Hive的搭建及使用

来源:互联网 发布:淘宝二楼为何没有了 编辑:程序博客网 时间:2024/06/07 16:17

Hive是Hadoop生态中一个组件,Hive的出现使不懂编写MapReduce程序的人也能完成数据清洗、数据分析等工作。

Hive有三种模式:

内嵌模式:元数据保持在内嵌的derby模式,只允许一个会话连接

本地独立模式:在本地安装Mysql,把元数据放到mySql内

远程模式:元数据放置在远程的Mysql数据库

1、下载Hive安装包

http://hive.apache.org/downloads.html

2、将hive文件上传到HADOOP集群,并解压

 将文件上传到:/home/hive

tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /home/hive

cd /home/hive

ln -s apache-hive-1.2.1-bin hive


3、配置环境变量,编辑/etc/profile

#set hive env

export HIVE_HOME=/home/hive/hive

export PATH=$HIVE_HOME/bin:$PATH

#让环境变量生效

source /etc/profile

4、修改hive配置文件

进入配置文件的目录

cd    hive/conf/

修改hive-env.sh文件

cp hive-env.sh.template hive-env.sh

 

将以下内容写入到hive-env.sh文件中

export JAVA_HOME=your JAVA_HOME

export HADOOP_HOME=your HADOOP_HOME

export HIVE_HOME=/home/hive/hive


5.修改配置文件,这里使用mysql作为hive的数据库,需要配置一台mysql服务器,同时将mysql-connect-java包放入hive的lib中。

hive-site.xml

将以下信息写入到hive-site.xml文件中

<configuration>

        <property>

                <name>javax.jdo.option.ConnectionURL</name>

                <value>jdbc:mysql://hadoop02:3306/hivedb?createDatabaseIfNotExist=true</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionDriverName</name>

                <value>com.mysql.jdbc.Driver</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionUserName</name>

                <value>root</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionPassword</name>

                <value>root</value>

        </property>

</configuration>

6. 运行hive命令即可启动hive。

在hive2.x中可以使用  hiveserver2发布服务。

然后再其他机器中使用 $HIVE_HOME/bin/beeline 连接 “jdbc:hive2://localhost:10000”