Hive学习之Hive配置管理

Hive是基于Hadoop的一种数据仓库，对查询和管理分布式存储中的超大数据集提供了很大帮助。正如绝大部分开源软件一样，Hive允许用户调整参数改变Hive的默认行为。用户可以使用下面三种方法中的任意一种对Hive进行配置管理：

1. 在Hive的CLI（命令行接口）使用set命令在会话层级为后续语句设置参数值，比如：set hive.exec.scratchdir=/tmp/mydir，将后续语句的临时目录（该目录用于存储Hive的临时输出和计划）设置为/tmp/mydir。
2. 使用--hiveconf选项为整个会话设置参数，比如：bin/hive --hiveconfhive.exec.scratchdir=/tmp/mydir，这样在启动hive后，在CLI中执行的所有语句的临时目录都为=/tmp/mydir。
3. 最后一种（也是本人最喜欢的一种，一劳永逸）是修改hive-site.xml文件，该方式的作用范围较上述两种方式都要大，用于为整个Hive的配置管理设置参数值，意思是每次启动hive时其参数值都是不变的。比如：

        <property>

        <name>hive.exec.scratchdir</name>

        <value>/tmp/mydir</value>

        <description>Scratchspace for Hive jobs</description>

        </property>

        Hive提供了hive-default.xml.template，该文件位于HIVE_HOME/conf目录中，包含了各个配置参数的默认值，用户可以通过在conf目录中创建hive-site.xml并新增特定参数的值来覆盖默认值。

        概括起来，Hive的配置参数可以分为以下四类：

1.  Hive管理参数
2.  Hive元存储（Metastore）管理参数
3. 与Hadoop交互的管理参数
4. 用于传递运行时信息的参数

        下面根据上面的分类分别学习配置参数的含义及默认值，首先是Hive管理参数，如下面的表格所示：

参数名

描述

默认值

hive.ddl.output.format

用于DDL输出的数据格式，其值可以为text或者json。

null

hive.exec.script.wrapper

hive调用的封装器，比如若该值设置为python，脚本将会按照python <脚本命令>的格式调用，若该值为null或者未设置，脚本将会按照<脚本命令>的格式调用。

null

hive.exec.plan

 Hive执行计划的文件路径

null

hive.exec.scratchdir

存储hive查询时不同map/reduce阶段的计划和这些阶段的中间输出结果的目录。

/tmp/hive-<user.name>

(Hive-0.8.1版本开始)

hive.exec.local.scratchdir

当Hive以本地模式运行时存储临时文件的目录（Hive-0.10.0版本开始）。

/tmp/<user.name>

hive.exec.submitviachild

以非本地模式运行时map/reduce作业是否提交给独立的JVM。

false – 默认情况下作业被提交给与编译器相同的JVM。

hive.exec.script.maxerrsize

通过TRANSFORM、Map或者Reduce调用用户脚本时允许的最大序列化错误数。

100000

hive.exec.compress.output

查询中最终Map/Reduce作业的输出是否进行压缩。

false

hive.exec.compress.intermediate

在某次查询中，中间Map/Reduce作业的输出是否被压缩。

false

hive.jar.path

hive-cli-<version>.jar的路径，该jar文件当在独立的JVM提交作业到时被使用。

 

hive.aux.jars.path

包含用户自定义函数和serdes 实现的jar文件的路径。

 

hive.map.aggr

Map是否进行聚集。

true

hive.join.emit.interval

在执行联接之前Hive可以在最右边的联接操作符中缓存多少行。

1000

hive.map.aggr.hash.percentmemory

 Map端聚集哈希表时所占用的内存比例。

(float)0.5

hive.default.fileformat

CREATE TABLE语句的默认文件格式，可选值为TextFile, SequenceFile, RCFile, and Orc。

TextFile

hive.merge.mapfiles

在只有map的作业执行完毕时是否合并小的文件。

true

hive.merge.mapredfiles

Map-reduce作业执行完毕时是否合并小的文件。

false

hive.merge.size.per.task

作业结束时合并文件的大小。

256000000

hive.merge.smallfiles.avgsize

当作业输出文件的平均大小小于该值时，Hive将会启动额外的map-reduce作业合并输出文件为较大的文件。对于只执行map的作业仅当hive.merge.mapfiles为true时该值有效，对于map-reduce作业仅当hive.merge.mapredfiles 为true时有效。

16000000

hive.querylog.enable.plan.progress

每次检查作业的进度时是否记录计划的进度到日志中。这些日志保存在hive.querylog.location指定的位置（Hive-0.10版本开始）。

true

hive.querylog.location

结构化的Hive查询日志被创建的目录。在该目录中，每个会话有相应的文件。如果该参数被设置为空字符串，结构化日志将不会被创建。

/tmp/<user.name>

hive.querylog.plan.progress.interval

记录计划执行进度的时间间隔，单位是毫秒。如果map或者reduce的进度有整数百分比的变化，则不考虑该值而该进度被记入日志。

60000

hive.stats.autogather

在INSERT OVERWRITE命令执行时是否自动收集统计信息的标记。

true

hive.stats.dbclass

存储临时Hive统计信息的方式。可选的值有fs、hbase、counter、custom和jdbc:.*。

fs

hive.stats.dbconnectionstring

存储临时Hive统计信息的数据库的默认连接字符串。

jdbc:derby:;databaseName=TempStatsStore;create=true

hive.stats.jdbcdriver

存储临时Hive统计信息的数据库JDBC驱动程序。

org.apache.derby.jdbc.EmbeddedDriver

hive.stats.reliable

由于统计信息不能完整准确地收集完成查询是否失败。如果该值为true，在统计信息不能完整准确地收集完的情况下，从分区读写可能失败。

false

hive.enforce.bucketing

如果为true，插入数据到表中时，执行分组。

false

hive.variable.substitute

Hive语句中的置换参数，此前使用set命令，系统变量或者环境变量设置（Hive-0.7.0开始）。

true

hive.variable.substitute.depth

置换引擎将要替换的最大数量。

40

hive.vectorized.execution.enabled

控制是否启用查询执行的向量模式。（Hive-0.13.0版本开始）

false

        Hive元存储（Metastore）管理参数将会在后面学习，下面是与Hadoop交互的管理参数。

参数名

描述

默认值

hadoop.bin.path

Hadoop脚本的位置，该脚本在使用独立的JVM提交查询时被用来提交作业到hadoop。

$HADOOP_HOME/bin/hadoop

hadoop.config.dir

Hadoop配置管理目录的位置。

$HADOOP_HOME/conf

fs.default.name

 

file:///

map.input.file

 

null

mapred.job.tracker

JobTracker的url路径。如果该值为local，map/reduce以本地模式运行。

local

mapred.reduce.tasks

查询计划中每个map/reduce阶段reducer的数量。

1

mapred.job.name

map/reduce作业的名称。

null

        最后是用于传递运行时信息的参数，如下面的表格所示：

参数名

描述

默认值

hive.session.id

Hive会话ID。

 

hive.query.string

传递给map/reduce作业的查询字符串。

 

hive.query.planid

map/reduce阶段的计划ID。

 

hive.jobname.length

作业名称的最大长度。

50

hive.table.name

Hive表名称。该值通过脚本操作符传递给用户脚本。

 

hive.partition.name

Hive分区名称。该值通过脚本操作符传递给用户脚本。

hive.alias

正在处理的别名。该值通过脚本操作符传递给用户脚本。

        Hive还有大量的参数用于各种用途，可以参考HiveConf.java和hive-default.xml.template，而要想正确理解其含义就需要动手实践，并在必要时阅读源代码。