Hive的安装和配置(转)

一、hive版本及下载

1、首先清楚集群上hadoop的版本，hive的版本需要与hadoop的版本一致。目前（2011年6月20日），集群上hadoop的版本是hadoop-0.20.2-CDH3B4，与之对应的hive版本也应该是CDH3B4。同时，也要考虑到测试环境的机器类型，目前的机器类型是5u4。查询hadoop版本的hive的网址为 https://ccp.cloudera.com/display/DOC/Downloading+CDH+Releases

2、由第1步查询的hive版本应该为hive-0.7.0-CDH3B4，因此，应下载该版本的hive。

3、由于测试环境只有admin的帐号下具有写权限，因此需要在admin帐号下安装并配置hive。

二、hive安装

1、在admin帐号下创建文件夹yixia_hive，使用wget命令将hive包下载到该文件夹

2、使用$tar zxvf hive-0.7.0-CDH3B4.tar.gz 命令解压

三、hive配置

安装后的Hive一般已经可以直接使用。为了使Hive正常工作，需要额外的配置。

1、首先拷贝配置文件目录到用户主目录

$ cp -r /home/admin/yixia_hive/hive-0.7.0-CDH3B4 ~/hive-config

2、在~/hive-config配置文件中，复制hive-default.xml为hive-site.xml，修改hive-site.xml中的内容。

3、修改hive.metastore.warehouse.dir（HDFS上的数据目录）为/yixia/hive/warehouse

4、修改hive.exec.scratchdir（HDFS上的临时文件目录）为/yixia/hive/tmp

5、开放以上两目录的权限，$hadoop fs -chmod g+w 目录名

四、环境变量设置

在.bashrc中添加hive相关的环境变量。

#add hive

export HIVE_HOME=/home/admin/yixia_hive/hive-0.7.0-CDH3B4

export PATH=$PATH:$HIVE_HOME/bin:$ORACLE_HOME/bin:$PATH

export HIVE_CONF_DIR=$HOME/hive-config

在.alias中设置命令别名，方便运行。

alias hive='$HIVE_HOME/bin/hive'

五、注意事项

1、安装hive不需要安装derby数据库，即可使用；

2、如果仅是本人使用数据，则不必考虑并发性，不必修改mysql数据库链接，若需要并发使用元数据，则需要修改；

3、数据平台的hive属于淘宝定制的，与搜索的hive不一致，因此安装后讲无法顺利运行。原则是hive的版本要和hadoop的版本一致。

六、使用mysql作为元数据库

hive默认使用的是derby数据库，由于需要并发的需要，因此需要使用mysql作为数据库，保证并发响应。原机器上安装的是mysql的client，需要安装server才能运行。可以通过$/etc/init.d/mysqld status查看是否安装server，或服务是否启动。

1、安装mysql server。cm5上使用的mysql server版本是mysql-server-5.0.77-3.el5，从yum上下载rpm包，进行安装。建议使用命令$sudo yum install mysql-server-5.0.77来安装，可以将依赖的其他包也一起安装。

2、使用sudo权限启动mysql服务 $/etc/init.d/mysqld start

3、使用root帐号在mysql中创建用户与密码，并赋予权限。cm5中默认的用户名和密码均为hadoop。

mysql

mysql> CREATE USER 'hadoop'@'localhost' IDENTIFIED BY 'hadoop';

mysql> GRANT ALL PRIVILEGES ON * .* TO 'hadoop'@'localhost' WITH GRANT OPTION;

mysql> exit

4、设置hive-site.xml文件中的配置。

<property>

<name>hive.metastore.local</name>

<value>true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionURL</name>

<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>hadoop</value>

</property>

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>hadoop</value>

</property>

5、使用mysql作为数据库，需要mysql的jdbc驱动，需要下载该jar包到对应的hive/lib文件夹中。为保证与线上一致，cm5上的为 mysql-connector-java-5.1.11-bin.jar，下载地址为http://download.softagency.net/mysql/Downloads/Connector-J/