Hive 内嵌模式安装指导

Hive内嵌模式说明：

在内嵌模式下（通过hive命令启动），CLI、Driver、metastore以及derby服务都运行在一个RunJar进程内。

1 安装环境介绍

1.1 相关组件版本

组件版本说明

 

 

组件名称

版本号

备注

Ubuntu

16.06

64-bit

Hadoop

hadoop-2.5.2

包括HDFS、YARN

Hive

hive-1.2.1

N/A

1.2 安装顺序

Hadoop-》Hive

2 安装过程

2.1 安装Hadoop

安装步骤略。运行时进行如下所示：

模块名称

操作系统

IP地址

主机名

账户

服务

Hadoop

Ubuntu

192.168.209.131

node1

root/root

主节点：

4865 DataNode

4759 NameNode

5306 NodeManager

5050 SecondaryNameNode

5195 ResourceManager

192.168.209.132

node2

root/root

4483 NodeManager

4372 DataNode

192.168.209.133

node3

root/root

4011 DataNode

4124 NodeManager

 

2.2 安装Hive

Hive的安装比较简单，本节示例中和hadoop一样安装在root用户下。

步骤 1    上传软件包。

将Hive安装包apache-hive-1.2.1-bin.tar.gz上传到node1节点的“/home”目录下。

步骤 2    解压安装包并修改名称。

tar -zxvf apache-hive-1.2.1-bin.tar.gz

mv apache-hive-1.2.1-bin  hive-1.2.1

步骤 3    配置环境变量。

vi /etc/profile

export HIVE_HOME=/home/hive-1.2.1

exportPATH=$PATH:$HIVE_HOME/bin:/home/hive-1.2.1/conf

source /etc/profile

步骤 4    修改Hive配置文件。

1.      修改配置文件hive-env.sh.

cd /home/hive-1.2.1/conf

cp hive-env.sh.template hive-env.sh

# SetHADOOP_HOME to point to a specific hadoop install directory

#HADOOP_HOME=${bin}/../../hadoop

HADOOP_HOME=/home/hadoop-2.5.2

 

# HiveConfiguration Directory can be controlled by:

 export HIVE_CONF_DIR=/home/hive-1.2.1/conf

 

# Foldercontaining extra ibraries required for hive compilation/execution can becontrolled by:

exportHIVE_AUX_JARS_PATH=/home/hive-1.2.1/lib

2.      修改配置文件hive-site.xml.

cd /home/hive-1.2.1/conf

cp hive-env.sh.template hive-env.sh

配置示例如下所示：

<property>

   <name>hive.exec.local.scratchdir</name>

   <value>/home/hive-1.2.1/iotmp</value>

    <description>Local scratch space forHive jobs</description>

</property>

 

<property>

   <name>hive.downloaded.resources.dir</name>

   <value>/home/hive-1.2.1/iotmp/${hive.session.id}_resources</value>

    <description>Temporary localdirectory for added resources in the remote file system.</description>

</property>

 

<property>

   <name>hive.querylog.location</name>

   <value>/home/hive-1.2.1/iotmp</value>

    <description>Location of Hive runtime structured log file</description>

</property>

 

<property>

    <name>hive.server2.logging.operation.log.location</name>

   <value>/home/hive-1.2.1/iotmp/operation_logs</value>

    <description>Top level directorywhere operation logs are stored if logging functionality isenabled</description>

</property>

 

<property>

 <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:derby:;databaseName=metastore_db;create=true</value>

  <description>JDBC connect string for aJDBC metastore</description>

</property>

 

 

<property>

 <name>javax.jdo.option.ConnectionDriverName</name>

 <value>org.apache.derby.jdbc.EmbeddedDriver</value>

  <description>Driver class name for aJDBC metastore</description>

</property>

 

3.      修改配置文件hive-config.sh

cd /home/hive-1.2.1/bin

vi hive-config.sh

配置示例如下所示：

export HADOOP_HEAPSIZE=${HADOOP_HEAPSIZE:-256}

export JAVA_HOME=/root/jdk1.8.0_131

export HADOOP_HOME=/home/hadoop-2.5.2

export HIVE_HOME=/home/hive-1.2.1

 

步骤 5    在HDFS上创建Hive仓库的目录（这些路径是在hive-site.xml里配置的默认路径）。

hadoop fs -mkdir /tmp

hadoop fs -mkdir /user/hive/warehouse

hadoop fs -chmod g+w /tmp

hadoop fs -chmod g+w /user/hive/warehouse

步骤 6    替换 jline.jar包
cp /home/hive-1.2.1/lib/jline-2.12.jar /home/hadoop-2.5.2/share/hadoop/yarn/lib/

步骤 7    启动Hive（需要先启动HDFS和YARN）。

启动Hive CLI: hive

启动过程中如有报错，在网上查找解决即可。