Management 员手动 MetastoreManagement

Hive MetastoreManagement

Introduction

通过 Hive Metastore 访问 Hive 表和分区的所有元数据。元数据使用JPOX ORM 解决方案(Data Nucleus)持久化，因此 Hive 可以使用它支持的任何数据库。支持大多数商业关系数据库和许多开源数据库。请参阅下面的supported databases列表。

您可以找到元存储here的 E/R 图。

有两种使用不同的 Hive 配置来设置 Metastore 服务器和 Metastore 数据库的方法：

保留元数据的“元 Store 数据库”的配置选项：

• 本地/嵌入式 Metastore 数据库(Derby)

• 远程 Metastore 数据库

元 Store 服务器 的配置选项：

• 本地/嵌入式 Metastore 服务器

• 远程 Metastore 服务器

基本配置参数

相关配置参数在此处显示。 (非元存储参数在Configuring Hive中进行了描述。另请参见《语言手册》的配置单元配置属性，包括Metastore和Hive Metastore 安全。)

另请参见Configuring Hive下的 hivemetastore-site.xml 文档。

Hive 元存储库是 Stateless 的，因此可以有多个实例来实现高可用性。使用hive.metastore.uris可以指定多个远程元存储。 Hive 将默认使用列表中的第一个，但会在连接失败时随机选择一个，并尝试重新连接。

其他配置参数

以下 metastore 配置参数是从旧文档中继承来的，不能保证它们仍然存在。有关当前的 Hive 配置选项，请参见HiveConf Java 类，有关 metastore 参数的用户友好说明，请参见《语言手册》 配置单元配置属性的Metastore和Hive Metastore 安全部分。

Data Nucleus 自动启动

<property>
<name>datanucleus.autoStartMechanism</name>
<value>SchemaTable</value>
</property>

Default Configuration

默认配置将设置一个嵌入式元存储库，该存储库将在单元测试中使用，并将在下一节中进行介绍。在后续各节中将介绍更多实用的选项。

本地/嵌入式 Metastore 数据库(Derby)

嵌入式 metastore 数据库主要用于单元测试.一次只能有一个进程可以连接到 metastore 数据库，因此，它并不是一个切实可行的解决方案，但对于单元测试来说效果很好.

对于单元测试，与嵌入式数据库一起使用元存储服务器的本地/嵌入式 Metastore 服务器配置。

Derby 是嵌入式 Metastore 的默认数据库。

如果要将 Derby 作为 Web Service 器运行，以便可以从多个节点访问 metastore，请参阅Hive 在服务器模式下使用 Derby。

远程 Metastore 数据库

在此配置中，您将使用传统的独立 RDBMS 服务器。以下示例配置将在 MySQL 服务器中设置元存储。建议将 Metastore 数据库的此配置用于任何实际用途。

本地/嵌入式 Metastore 服务器

在本地/嵌入式元 Store 设置中，元 Store 服务器组件的使用就像 Hive Client 中的库一样。每个 HiveClient 端将打开与数据库的连接，并对数据库进行 SQL 查询。由于这是本地存储，因此请确保从执行 Hive 查询的计算机上可以访问该数据库。还要确保 JDBCClient 端库在 Hive Client 的 Classpath 中。此配置通常与 HiveServer2 一起使用(要仅将嵌入式 metastore 与 HiveServer2 一起使用，请在 hiveserver2 start 命令的命令行参数中添加“ --hiveconf hive.metastore.uris =''”，或使用 hiveserver2-site.xml(在 Hive 0.14 中可用)。 ))。

远程 Metastore 服务器

在远程 metastore 设置中，所有 HiveClient 端都将连接到 metastore 服务器，该服务器又查询数据存储(在此示例中为 MySQL)以获取元数据。 Metastore 服务器和 Client 端使用Thrift协议进行通信。从 Hive 0.5.0 开始，您可以通过执行以下命令来启动 Thrift 服务器：

hive --service metastore

在低于 0.5.0 的 Hive 版本中，必须通过直接执行 Java 运行 Thrift 服务器：

$JAVA_HOME/bin/java  -Xmx1024m -Dlog4j.configuration=file://$HIVE_HOME/conf/hms-log4j.properties -Djava.library.path=$HADOOP_HOME/lib/native/Linux-amd64-64/ -cp $CLASSPATH org.apache.hadoop.hive.metastore.HiveMetaStore

如果直接执行 Java，则必须正确设置 JAVA_HOME，HIVE_HOME，HADOOP_HOME。 CLASSPATH 应该包含 Hadoop，Hive(lib 和 auxlib)和 Java jar。

服务器配置参数

以下示例使用一个 **** 远程 Metastore 数据库。

从 Hive 3.0.0(HIVE-16452)开始，元存储数据库存储一个 GUID，元存储 Client 端可以使用 Thrift API get_metastore_db_uuid 查询该 GUID，以标识后端数据库实例。 HiveMetaStoreClient 可以使用方法 getMetastoreDbUuid()访问此 API。

Client 端配置参数

动态服务发现配置参数

从 Hive 4.0.0(HIVE-20794)开始，类似于 HiveServer2，ZooKeeper 服务可用于远程元存储服务器的动态服务发现。 Metastore 服务器和 Client 端均使用以下参数。

如果您将 MySQL 用作元数据的数据存储，请在启动 Hive Client 或 HiveMetastore Server 之前将 MySQL jdbc 库放入 HIVE_HOME/lib。

要更改元存储库端口，请使用以下hive命令：

hive --service metastore -p <port_num>

Metastore 支持的后端数据库

Metastore 架构一致性和升级

Hive 现在将模式版本记录在 metastore 数据库中，并验证 metastore 模式版本与要访问该 metastore 的 Hive 二进制文件兼容。请注意，默认情况下会禁用用于隐式创建或更改现有架构的 Hive 属性。 Hive 不会尝试隐式更改 Metastore 模式。当您对旧模式执行 Hive 查询时，它将无法访问元存储。

为了取消模式检查并允许 metastore 隐式修改模式，您需要在hive-site.xml中将配置属性hive.metastore.schema.verification设置为 false。

从版本 0.12 开始，Hive 还包括一个离线模式工具，用于初始化和升级 Metastore 模式。请参阅详细信息here。