程序博客网 > 淘宝订单金额字体

Hive部署（包括集成Hbase和Sqoop）

来源：互联网 发布：淘宝订单金额字体 编辑：程序博客网 时间：2024/05/20 18:16

1 安装环境

1.1 系统环境

    主要是选择软件版本。

  • Hadoop 1.0.3
  • Hbase 0.94.0
  • Hive 0.8.1
  • zookeeper-3.3.5
  • Mysql 5.5.28
  • JDK 1.6
  • Sqoop-1.4.2

1.2 环境变量

  • $HDOOP_HOME：/home/hadoop/hadoop
  • $HBASE_HOME：/home/hadoop/hbase
  • $HIVE_HOME：/home/hadoop/hive

2 下载

http://mirror.bit.edu.cn/apache/hive/hive-0.8.1/

3 解压

Linux代码 复制代码 收藏代码
  1. tar –xf hive-0.8.1.tar.gz  
tar –xf hive-0.8.1.tar.gz

将解压后的hive-0.8.1文件放在系统的/home/hadoop/hive/中。

Linux代码 复制代码 收藏代码
  1. mkdir /home/hadoop/hive  
mkdir /home/hadoop/hive
Linux代码 复制代码 收藏代码
  1. mv /home/hadoop/hive-0.8.1 /home/hadoop/hive  
mv /home/hadoop/hive-0.8.1 /home/hadoop/hive

4 修改配置文件

4.1 设置HADOOP_HOME

修改hive-0.8.1目录下/conf/hive-env.sh.template中的HADOOP_HOME为实际的Hadoop安装目录。

步骤一：进入/home/hadoop/hive/conf。

Linux代码 复制代码 收藏代码
  1. cd /home/hadoop/hive/conf  
cd /home/hadoop/hive/conf

步骤二：复制hive-env.sh.template命名为hive-env.sh。

Linux代码 复制代码 收藏代码
  1. cp hive-env.sh.template hive-env.sh  
cp hive-env.sh.template hive-env.sh

步骤三：修改HADOOP_HOME目录为/home/hadoop/hadoop。

Linux代码 复制代码 收藏代码
  1. vim hive-env.sh  
vim hive-env.sh

修改完成之后的效果如图所示。

配置设置HADOOP_HOME结束。

4.2 在HDFS中创建/tmp/user/hive/warehouse并设置权限

步骤如下所示：

Linux代码 复制代码 收藏代码
  1. bin/hadoop fs -mkdir /tmp   
bin/hadoop fs -mkdir /tmp
Linux代码 复制代码 收藏代码
  1. bin/hadoop fs -mkdir /user/hive/warehouse   
bin/hadoop fs -mkdir /user/hive/warehouse
Linux代码 复制代码 收藏代码
  1. bin/hadoop fs -chmod g+w /tmp  
bin/hadoop fs -chmod g+w /tmp
Linux代码 复制代码 收藏代码
  1. bin/hadoop fs -chmod g+w /user/hive/warehouse  
bin/hadoop fs -chmod g+w /user/hive/warehouse

修改完成之后的效果如图所示:


创建/tmp和/user/hive/warehouse结束。

4.3 修改hive-site.xml

hive-site.xml主要配置项说明如下所示：

  • hive.metastore.warehouse.dir：数据存放目录，默认路径为/user/hive/warehouse
  • hive.exec.scratchdir：临时文件目录，默认路径为/tmp

步骤一：创建hive-default.xml、hive-site.xml

将conf/hive-default.xml.template复制两份，分别命名为hive-default.xml（用于保留默认配置）和hive-site.xml（用于个性化配置，可覆盖默认配置）。命令如下所示：

Linux代码 复制代码 收藏代码
  1. cd /home/hadoop/hive/conf  
cd /home/hadoop/hive/conf
Linux代码 复制代码 收藏代码
  1. cp hive-default.xml.template hive-default.xml  
cp hive-default.xml.template hive-default.xml
Linux代码 复制代码 收藏代码
  1. cp hive-default.xml.template hive-site.xml  
cp hive-default.xml.template hive-site.xml

步骤二：修改hive-site.xml，命令如下所示：

Linux代码 复制代码 收藏代码
  1. cd /home/hadoop/hive/conf  
cd /home/hadoop/hive/conf
Linux代码 复制代码 收藏代码
  1. vim hive-site.xml  
vim hive-site.xml

下面是hive-site.xml文件的配置示例：

Xml代码 复制代码 收藏代码
  1. <property> 
  2. <name>hive.metastore.warehouse.dir</name> 
  3. <value>/user/hive/warehouse</value> 
  4. <description>location of default database for the warehouse 
  5. </description> 
  6. </property> 
  7.  
  8. <property> 
  9. <name>hive.exec.scratchdir</name> 
  10. <value>/tmp</value> 
  11. <description>Scratch space for Hive jobs</description> 
  12. </property>  
<property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value><description>location of default database for the warehouse</description></property><property><name>hive.exec.scratchdir</name><value>/tmp</value><description>Scratch space for Hive jobs</description></property>

修改hive-site.xml结束。

4.4 测试

在终端输入bin/hive，当你看到“hive>”，那么恭喜你，Hive已经正确安装，可以运行了。

5

5 设置Hive元数据存储

由于Hive的元数据可能要面临不断的更新、修改和读取，所以它显然不适合使用Hadoop文件系统进行存储。目前Hive将元数据存储在RDBMS中，比如MySQL、Derby中。本文选择MySQL。

5.1 连接数据库配置参数

  • javax.jdo.option.ConnectionURL：元数据连接字串
  • javax.jdo.option.ConnectionDriverName：DB连接引擎
  • javax.jdo.option.ConnectionUserName：DB连接用户名
  • javax.jdo.option.ConnectionPassword：DB连接密码

5.2 修改hive-site.xml

代码如下所示：

Xml代码 复制代码 收藏代码
  1. <property> 
  2. <name>javax.jdo.option.ConnectionURL</name> 
  3. <value> 
  4. jdbc:mysql://10.2.0.254:3306/hive?createDatabaseIfNotExist=true 
  5. </value> 
  6. <description> 
  7. JDBC connect string for a JDBC metastore 
  8. </description> 
  9. </property> 
  10.  
  11. <property> 
  12. <name>javax.jdo.option.ConnectionDriverName</name> 
  13. <value>com.mysql.jdbc.Driver</value> 
  14. <description> 
  15. Driver class name for a JDBC metastore 
  16. </description> 
  17. </property> 
  18.  
  19. <property> 
  20. <name>javax.jdo.option.ConnectionUserName</name> 
  21. <value>hive</value> 
  22. <description> 
  23. username to use against metastore database 
  24. </description> 
  25. </property> 
  26.  
  27. <property> 
  28. <name>javax.jdo.option.ConnectionPassword</name> 
  29. <value>exhive</value> 
  30. <description> 
  31. password to use against metastore database 
  32. </description> 
  33. </property>  
<property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://10.2.0.254:3306/hive?createDatabaseIfNotExist=true</value><description>JDBC connect string for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value><description>Driver class name for a JDBC metastore</description></property><property><name>javax.jdo.option.ConnectionUserName</name><value>hive</value><description>username to use against metastore database</description></property><property><name>javax.jdo.option.ConnectionPassword</name><value>exhive</value><description>password to use against metastore database</description></property>

5.3 拷贝MySQL的JDBC驱动包

把MySQL的JDBC驱动包（mysql-connector-java-5.1.21.jar）复制到Hive的lib目录下。

Hive元数据配置结束。

5.4 测试

在Hive中创建表成功后，数据库中自动创建表格，即说明配置成功。如图所示：





6

6 Hive集成Hbase

6.1 前置条件及原理

Hadoop、hive和hbase环境搭建完成。Hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive-hbase-handler.jar工具类（Hive Storage Handlers）。

6.2 配置hbase与hive结合包

将hbase-0.94.0.jar 、zookeeper-3.3.5.jar包copy至所有节点$HDOOP_HOME/lib及$HIVE_HOME/lib下。注意$HIVE_HOME/lib含有hbase包需要删除。

将protobuf-java-2.4.0a.jar包copy至所有节点$HADOOP_HOME/lib下，并需要重启集群（不重启该包不会被加载进classpath）。

将hbase-site.xml文件copy至所有节点$HDOOP_HOME/conf下。

6.3 配置hive-site.xml

代码如下所示：

Xml代码 复制代码 收藏代码
  1. <property> 
  2. <name>hive.aux.jars.path</name> 
  3. <value> 
  4. file:///home/hadoop/hive/lib/hive-hbase-handler-0.8.1jar, 
  5. file:/// home/hadoop/hive/lib/hbase-0.94.0.jar, 
  6. file:/// home/hadoop/hive/lib/zookeeper-3.4.5.jar 
  7. </value> 
  8. </property>  
<property><name>hive.aux.jars.path</name><value>file:///home/hadoop/hive/lib/hive-hbase-handler-0.8.1jar,file:/// home/hadoop/hive/lib/hbase-0.94.0.jar,file:/// home/hadoop/hive/lib/zookeeper-3.4.5.jar</value></property>

Hive与hbase集成到这里就结束了。

6.4 测试

1、启动hive，创建表。代码如下：

Linux代码 复制代码 收藏代码
  1. hive>CREATE TABLE hbase_hive(key string, value string) 
  2. STORED BY 
  3. 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
  4. WITH SERDEPROPERTIES 
  5. ("hbase.columns.mapping"=":key,info:value") 
  6. TBLPROPERTIES  ("hbase.table.name"= "hbase_hive");  
hive>CREATE TABLE hbase_hive(key string, value string)STORED BY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES("hbase.columns.mapping"=":key,info:value")TBLPROPERTIES  ("hbase.table.name"= "hbase_hive");

创建表成功，表名为：hbase_hive。

2、在hive和hbase查询表hbase_hive是否存在

在hive中：

Linux代码 复制代码 收藏代码
  1. hive> show tables;  
hive> show tables;

hbase_hive

在hbase中：

Linux代码 复制代码 收藏代码
  1. hbase(main):004:0> list  
hbase(main):004:0> list

TABLE                                                               

hbase_hive                                                                                                                                       

Hive和Hbase中都出现了hbase_hive这张表，表明Hive集成Hbase成功。

7

7 安装sqoop

7.1 下载sqoop

http://www.apache.org/dist/sqoop/1.4.2/sqoop-1.4.2.bin__hadoop-0.20.tar.gz

7.2 解压

Linux代码 复制代码 收藏代码
  1. tar –xf sqoop-1.4.2.bin__hadoop-0.20.tar.gz  
tar –xf sqoop-1.4.2.bin__hadoop-0.20.tar.gz

将解压后的sqoop-1.4.2.bin__hadoop-0.20文件放在系统的/home/hadoop/sqoop/中。

Linux代码 复制代码 收藏代码
  1. mkdir /home/hadoop/sqoop  
mkdir /home/hadoop/sqoop
Linux代码 复制代码 收藏代码
  1. mv /home/hadoop/sqoop-1.4.2.bin__hadoop-0.20 /home/hadoop/sqoop  
mv /home/hadoop/sqoop-1.4.2.bin__hadoop-0.20 /home/hadoop/sqoop

7.3 修改配置文件

修改sqoop目录下/conf/sqoop-env.sh.template中的HADOOP_HOME和HIVE_HOME安装目录。

步骤一：进入/home/hadoop/sqoop/conf。

Linux代码 复制代码 收藏代码
  1. cd /home/hadoop/sqoop/conf  
cd /home/hadoop/sqoop/conf

步骤二：复制sqoop-env.sh.template命名为sqoop-env.sh。

Linux代码 复制代码 收藏代码
  1. cp sqoop-env.sh.template sqoop-env.sh   
cp sqoop-env.sh.template sqoop-env.sh

步骤三：修改HADOOP_HOME目录为/home/hadoop/hadoop。

Linux代码 复制代码 收藏代码
  1. vim sqoop-env.sh  
vim sqoop-env.sh

修改完成之后的效果如图所示。
    到这里，sqoop就已经安装成功。 

如果您认为此文章有用，请点击底端的【顶】让其他人也了解此文章。

此博客为原创，转载请保留此出处，谢谢。http://free9277.iteye.com/blog/1847094

淘宝订单金额字体 淘宝订单金额字体
原创粉丝点击
热门IT博客
mysql 创建全文索引mysql 创建全文索引
网络信息安全资质网络信息安全资质
软件测试主要干什么
淘宝网时尚女鞋
数据库客户端
如何在ubuntu下编程c
手机淘宝网店认证
盘古建站 源码
linux ftp文件夹权限
网络和共享中心打不开
渔具行业淘宝客服
光伏数据采集器怎么用
mac更换硬盘克隆系统
linux tickcount
js动作标记有哪些
剑三天策成女捏脸数据
java实参和形参的传递
袁炜事件 知乎
客户无忧软件怎么样
淘宝质检资格证
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防，我是瞎子 奔拼音 苏州观前裸奔 奔现什么意思 奔的拼音 苏州裸奔事件 琼姐网络奔现第一人 苏州裸奔女 苏州观前街裸奔 奔爱 奔腾x 奔腾岁月 奔腾x40 奔腾b50 奔腾x40价格 奔腾b70 奔腾b30 奔腾b 奔腾50 奔腾年代 奔腾b90 t99奔腾 奔腾汽车 奔腾t77价格 奔腾suv 奔腾物流 奔腾b50报价 奔腾g5400 奔腾图片 奔腾t77图片 x40奔腾 奔腾车 一汽奔腾b30 奔腾红旗 奔腾b80 新款奔腾x40 b30奔腾 奔腾系列 x80奔腾 奔腾b50新款 奔腾电饭煲 奔腾x80价格

程序博客网，程序员的互联网技术博客家园。csdn论坛精品 msdn技术资料都在这里