CentOS7.0基于hadoop集群安装配置Hive
来源:互联网 发布:linux重启网络 编辑:程序博客网 时间:2024/06/08 06:03
前言
安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可(需要再有的namenode上安装),可以不在datanode节点的机器上安装。还需要说明的是,虽然修改配置文件并不需要把hadoop运行起来,但是本文中用到了hadoop的hdfs命令,在执行这些命令时你必须确保hadoop是正在运行着的,而且启动hive的前提也需要hadoop在正常运行着,所以建议先把hadoop集群启动起来。
有关如何在CentOS7.0上安装hadoop集群请参考:CentOS7.0下Hadoop2.7.3的集群搭建
1.下载Apache Hadoop
下载地址:http://hive.apache.org/downloads.html
点击下图中的链接:
点击下图中的某个下载地址,优先选择国内源:
我下载的上2.1.1版本,如下图所示:
2.安装Apache Hive
2.1.上载和解压缩
#解压[dtadmin@apollo ~]$ sudo tar -zxvf apache-hive-2.1.1-bin.tar.gz #把解压好的移到/user/local/下[dtadmin@apollo ~]$ sudo mv apache-hive-2.1.1-bin /usr/local/hive
2.2.配置环境变量
#编辑/etc/profile,添加hive相关的环境变量配置[root@apollo dtadmin]# vim /etc/profile#在文件结尾添加内容如下:export HIVE_HOME=/usr/local/hiveexport PATH=$PATH:$HIVE_HOME/bin#修改完文件后,执行如下命令,让配置生效:[root@apollo dtadmin]# source /etc/profile
2.3.Hive配置Hadoop HDFS
2.3.1 hive-site.xml配置
进入目录$HIVE_HOME/conf,将hive-default.xml.template文件复制一份并改名为hive-site.xml
#进入hive配置文件目录$HIVE_HOME/conf[root@apollo hive]# cd $HIVE_HOME/conf #拷贝并重命名[root@apollo conf]# cp hive-default.xml.template hive-site.xml
使用hadoop新建hdfs目录,因为在hive-site.xml中有如下配置:
<property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property> <property>
执行hadoop命令新建/user/hive/warehouse目录:
#新建目录/user/hive/warehouse[root@apollo conf]# $HADOOP_HOME/bin/hadoop dfs -mkdir -p /user/hive/warehouse#给新建的目录赋予读写权限[hadoop@apollo conf]$ sh $HADOOP_HOME/bin/hdfs dfs -chmod 777 /user/hive/warehouse#查看修改后的权限[hadoop@apollo conf]$ sh $HADOOP_HOME/bin/hdfs dfs -ls /user/hiveFound 1 itemsdrwxrwxrwx - impala supergroup 0 2017-06-06 01:46 /user/hive/warehouse#运用hadoop命令新建/tmp/hive目录[hadoop@apollo conf]$ $HADOOP_HOME/bin/hdfs dfs -mkdir -p /tmp/hive#给目录/tmp/hive赋予读写权限[hadoop@apollo conf]$ $HADOOP_HOME/bin/hdfs dfs -chmod 777 /tmp/hive#检查创建好的目录[hadoop@apollo conf]$ $HADOOP_HOME/bin/hdfs dfs -ls /tmpFound 1 itemsdrwxrwxrwx - hadoop supergroup 0 2017-06-06 05:06 /tmp/hive
2.3.2修改$HIVE_HOME/conf/hive-site.xml中的临时目录
将hive-site.xml文件中的${system:java.io.tmpdir}替换为hive的临时目录,例如我替换为$HIVE_HOME/tmp,该目录如果不存在则要自己手工创建,并且赋予读写权限。
[root@apollo conf]# cd $HIVE_HOME[root@apollo hive]# mkdir tmp
配置文件hive-site.xml:
- 将文件中的所有 ${system:java.io.tmpdir}替换成/usr/local/hive/tmp
- 将文件中所有的${system:user.name}替换为root
2.4安装配置mysql
2.4.1.安装mysql
CentOS7.0安装mysql请参考:CentOS7 rpm包安装mysql5.7
2.4.2. 把mysql的驱动包上传到Hive的lib目录下:
#上传[dtadmin@apollo ~]$ sudo cp mysql-connector-java-5.1.36.jar $HIVE_HOME/lib#查看文件是否上传到了$HIVE_HOME/lib目录下[dtadmin@apollo ~]$ ls -la $HIVE_HOME/lib/ | grep "mysql*"-r-xr-xr-x 1 root root 972007 Jun 6 07:26 mysql-connector-java-5.1.36.jar
2.4.3修改hive-site.xml数据库相关配置
搜索javax.jdo.option.connectionURL,将该name对应的value修改为MySQL的地址:
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.56.181:3306/hive?createDatabaseIfNotExist=true</value> <description> JDBC connect string for a JDBC metastore. To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL. For example, jdbc:postgresql://myhost/db?ssl=true for postgres database. </description></property>
搜索javax.jdo.option.ConnectionDriverName,将该name对应的value修改为MySQL驱动类路径:
<property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description></property><property>
搜索javax.jdo.option.ConnectionUserName,将对应的value修改为MySQL数据库登录名:
<property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>Username to use against metastore database</description></property>
搜索javax.jdo.option.ConnectionPassword,将对应的value修改为MySQL数据库的登录密码:
<property> <name>javax.jdo.option.ConnectionPassword</name> <value>Love88me</value> <description>password to use against metastore database</description></property>
搜索hive.metastore.schema.verification,将对应的value修改为false:
<property> <name>hive.metastore.schema.verification</name> <value>false</value> <description> Enforce metastore schema version consistency. True: Verify that version information stored in is compatible with one from Hive jars. Also disable automatic schema migration attempt. Users are required to manually migrate schema after Hive upgrade which ensures proper metastore schema migration. (Default) False: Warn if the version information stored in metastore doesn't match with one from in Hive jars. </description></property>
2.4.4 在$HIVE_HOME/conf目录下新建hive-env.sh
#进入目录[root@apollo dtadmin]# cd $HIVE_HOME/conf#将hive-env.sh.template 复制一份并重命名为hive-env.sh[root@apollo conf]# cp hive-env.sh.template hive-env.sh#打开hive-env.sh并添加如下内容[root@apollo conf]# vim hive-env.shexport HADOOP_HOME=/home/hadoop/hadoop2.7.3export HIVE_CONF_DIR=/usr/local/hive/confexport HIVE_AUX_JARS_PATH=/usr/local/hive/lib
3.启动和测试
3.1.MySQL数据库进行初始化
#进入$HIVE/bin[root@apollo conf]# cd $HIVE_HOME/bin#对数据库进行初始化:[root@apollo bin]# schematool -initSchema -dbType mysql
如下图:
执行成功后,查看mysql数据库:
3.2.启动Hive
[root@apollo bin]# ./hive
如下图:
3.3.测试
3.3.1.查看函数命令:
hive>show functions;OK!!=$sum0%&*+-/<<=<=><>===>>=^absacosadd_monthsaes_decryptaes_encrypt...
3.3.2.查看sum函数的详细信息的命令:
hive> desc function sum;OKsum(x) - Returns the sum of a set of numbersTime taken: 0.008 seconds, Fetched: 1 row(s)
3.3.3.新建数据库、数据表
#新建数据库hive> create database sbux;#新建数据表hive> use sbux;hive> create table student(id int, name string) row format delimited fields terminated by '\t';hive> desc student;OKid int name string Time taken: 0.114 seconds, Fetched: 2 row(s)
3.3.4.将文件写入到表中
3.3.4.1.在$HIVE_HOME下新建一个文件
#进入#HIVE_HOME目录[root@apollo hive]# cd $HIVE_HOME#新建文件student.dat[root@apollo hive]# touch student.dat#在文件中添加如下内容[root@apollo hive]# vim student.dat001 david002 fab003 kaishen004 josen005 arvin006 wada007 weda008 banana009 arnold010 simon011 scott
说明:ID和name直接是TAB键,不是空格,因为在上面创建表的语句中用了terminated by ‘\t’所以这个文本里id和name的分割必须是用TAB键(复制粘贴如果有问题,手动敲TAB键吧),还有就是行与行之间不能有空行,否则下面执行load,会把NULL存入表内,该文件要使用unix格式,如果是在windows上用txt文本编辑器编辑后在上载到服务器上,需要用工具将windows格式转为unix格式,例如可以使用Notepad++来转换。
3.3.4.2.导入数据
hive> load data local inpath '/usr/local/hive/student.dat' into table sbux.student;Loading data to table sbux.studentOKTime taken: 0.802 seconds
3.3.4.3查看导入数据是否成功
hive> select * from student;OK1 david2 fab3 kaishen4 josen5 arvin6 wada7 weda8 banana9 arnold10 simon11 scottTime taken: 0.881 seconds, Fetched: 11 row(s)
3.4.在界面上查看刚刚写入的hdfs数据
在hadoop的namenode上查看:
3.5.在mysql的hive数据里查看
- CentOS7.0基于hadoop集群安装配置Hive
- Hadoop集群之Hive安装配置
- Hadoop集群之Hive安装配置
- Hadoop集群之Hive HA 安装配置
- Centos7 hadoop集群 mysql、hive、sentry安装验证
- hadoop集群安装hive
- CentOS7基于Hadoop 2.7.3安装Hive 2.1.1
- CentOS7基于Hadoop 2.7.3安装Hive 2.1.1
- hadoop集群安装与配置---hive安装与配置
- 基于hadoop集群的hive安装(1)derby
- 基于hadoop集群的hive安装 mysql as metastore database
- 基于hadoop集群的hive 安装及异常解决方法
- 基于hadoop集群的hive 安装(mysql,derby)
- 基于hadoop集群的hive 安装及异常解决方法
- Hadoop之——CentOS7上Hadoop 2.6.0集群的安装与配置
- hadoop分布式集群hive-mysql的安装配置
- CentOS7安装Hadoop集群实例
- hive集群安装配置
- libcurl库的使用支持http、https、ftp上传下载
- POJ_2485 Highways
- hrbust 1048Calculate Fibonacci Recursivel【斐波那契数列】
- 获取枚举的对应值
- MFC动态创建控件并响应事件代码实现过程
- CentOS7.0基于hadoop集群安装配置Hive
- Spring JdbcTemplate详解
- dom4j 操作xml
- [RK3288][Android6.0] Audio播放时的pcm数据dump思路
- springmvc视图解析器.
- 下载服务端数据到本地保存为Excel
- angular指令:弹框点击空白处隐藏
- 二重循环解题思路
- 【报错】NoSuchElementException: null