Hive CLI

$ HIVE_HOME/bin/hive 是一个 shellUtil，可用于以交互或批处理模式运行 Hive 查询。

弃用 Beeline CLI

HiveServer2(在 Hive 0.11 中引入)具有自己的 CLI，名为Beeline，这是基于 SQLLine 的 JDBCClient 端。由于新的开发集中在 HiveServer2 上，因此Hive CLI 将很快被弃用支持 Beeline(HIVE-10511)。

请参阅 HiveServer2 文档中的使用 Beeline 替代 Hive CLI 的实现和直线–新命令行 Shell。

Hive 命令行选项

要获取帮助，请运行“ hive -H”或“ hive --help”。
用法(在 Hive 0.9.0 中是)：

usage: hive
 -d,--define <key=value>          Variable substitution to apply to Hive
                                  commands. e.g. -d A=B or --define A=B
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
 -h <hostname>                    Connecting to Hive Server on remote host
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable substitution to apply to hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -p <port>                        Connecting to Hive Server on port number
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

--database <dbname>      Specify the database to use

注意：支持变体“ -hiveconf”和“ --hiveconf”。

Examples

有关使用hiveconf选项的示例，请参见Variable Substitution。

• 从命令行运行查询的示例

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'

• 设置 Hive 配置变量的示例

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a' --hiveconf hive.exec.scratchdir=/home/my/hive_scratch  --hiveconf mapred.reduce.tasks=32

• 使用静默模式将数据从查询中转储到文件中的示例

$HIVE_HOME/bin/hive -S -e 'select a.col from tab1 a' > a.txt

• 从本地磁盘非交互运行脚本的示例

$HIVE_HOME/bin/hive -f /home/my/hive-script.sql

• 从 Hadoop 支持的文件系统非交互地运行脚本的示例(从Hive 0.14开始)

$HIVE_HOME/bin/hive -f hdfs://<namenode>:<port>/hive-script.sql
$HIVE_HOME/bin/hive -f s3://mys3bucket/s3-script.sql

• 进入交互模式之前运行初始化脚本的示例

$HIVE_HOME/bin/hive -i /home/my/hive-init.sql

hiverc 文件

在不使用-i选项的情况下调用 CLI 时，将尝试加载$ HIVE_HOME/bin/.hiverc 和$ HOME/.hiverc 作为初始化文件。

Logging

Hive 使用 log4j 进行日志记录。这些日志默认情况下不发送到标准输出，而是捕获到 Hive 的 log4j 属性文件指定的日志文件中。默认情况下，Hive 将使用 Hive 安装的conf/目录中的hive-log4j.default，该目录会将日志写到/tmp/<userid>/hive.log并使用WARN级别。

通常需要将日志发送到标准输出和/或更改日志记录级别以用于调试。这些可以从命令行完成，如下所示：

$HIVE_HOME/bin/hive --hiveconf hive.root.logger=INFO,console

hive.root.logger指定日志记录级别以及日志目标。将console指定为目标会将日志发送到标准错误(而不是日志文件)。

有关更多信息，请参见Hive 登录入门。

清除悬空的暂存目录的工具

有关可在 Hive CLI 和 HiveServer2 中使用的暂存目录和命令行删除悬空的暂存目录的工具的信息，请参阅“设置 HiveServer2”中的临时目录 Management。

Hive 批处理模式命令

当$HIVE_HOME/bin/hive与-e或-f选项一起运行时，它将以批处理模式执行 SQL 命令。

• hive -e '<query-string>'执行查询字符串。

• hive -f <filepath>从文件执行一个或多个 SQL 查询。

Hive Interactive Shell 命令

如果没有使用-e或-f选项运行$HIVE_HOME/bin/hive，它将进入交互式 shell 模式。

用 ”;” (分号)终止命令。脚本中的 Comments 可以使用“-”前缀指定。

Sample Usage:

hive> set mapred.reduce.tasks=32;
  hive> set;
  hive> select a.* from tab1;
  hive> !ls;
  hive> dfs -ls;

Hive Resources

Hive 可以 Management 向会话中资源的添加，在会话中需要在查询执行时使这些资源可用。资源可以是文件，jar 或存档。可以将任何本地可访问的文件添加到会话中。

一旦将资源添加到会话中，Hive 查询便可以通过其名称(在 map/reduce/transform 子句中)对其进行引用，并且该资源在整个 Hadoop 集群上的执行时都可以在本地使用。 Hive 使用 Hadoop 的 Distributed Cache 在查询执行时将添加的资源分配给集群中的所有计算机。

Usage:

ADD { FILE[S] | JAR[S] | ARCHIVE[S] } <filepath1> [<filepath2>]*
   LIST { FILE[S] | JAR[S] | ARCHIVE[S] } [<filepath1> <filepath2> ..]
   DELETE { FILE[S] | JAR[S] | ARCHIVE[S] } [<filepath1> <filepath2> ..]

• FILE 资源只是添加到分布式缓存中。通常，这可能类似于要执行的转换脚本。

• JAR 资源也已添加到 JavaClasspath 中。为了引用它们包含的对象(例如 UDF)，这是必需的。有关自定义 UDF 的更多信息，请参见Hive Plugins。

• 归档资源在分发时会自动取消归档。

Example:

hive> add FILE /tmp/tt.py;
  hive> list FILES;
  /tmp/tt.py
  hive> select from networks a 
               MAP a.networkid 
               USING 'python tt.py' as nn where a.ds = '2009-01-04' limit 10;

ADD { FILE[S] | JAR[S] | ARCHIVE[S] } <ivy://org:module:version?key=value&key=value&...> <ivy://org:module:version?key=value&key1=value1&...>*
DELETE { FILE[S] | JAR[S] | ARCHIVE[S] } <ivy://org:module:version> <ivy://org:module:version>*

ADD { FILE[S] | JAR[S] | ARCHIVE[S] } { <ivyurl> | <filepath> } <ivyurl>* <filepath>* 
DELETE { FILE[S] | JAR[S] | ARCHIVE[S] } { <ivyurl> | <filepath> } <ivyurl>* <filepath>*

hive>ADD JAR ivy://org.apache.pig:pig:0.10.0?exclude=org.apache.hadoop:avro;
hive>ADD JAR ivy://org.apache.pig:pig:0.10.0?exclude=org.apache.hadoop:avro&transitive=false;

hive>ADD JAR ivy://org.apache.pig:pig:0.10.0
hive>ADD JAR ivy://org.apache.pig:pig:0.11.1.15
hive>DELETE JAR ivy://org.apache.pig:pig:0.10.0

如果转换脚本中使用的文件已经在使用相同路径名的 Hadoop 集群中的所有机器上已经可用，则无需将文件添加到会话中。例如：

• ... MAP a.networkid USING 'wc -l' ...
wc是所有计算机上可用的可执行文件。

• ... MAP a.networkid USING '/home/nfsserv1/hadoopscripts/tt.py' ...
  此处tt.py可以通过在所有群集节点上配置均相同的 NFS 挂载点进行访问。

请注意，Hive 配置参数还可以指定 jar，文件和 Files。有关更多信息，请参见Configuration Variables。

HCatalog CLI

许多(但不是全部)hcat命令可以作为hive命令发布，反之亦然。有关更多信息，请参见HCatalog manual中的 HCatalog 命令行界面文档。