Hive安装
来源:互联网 发布:c语言随机数 编辑:程序博客网 时间:2024/06/03 17:38
在Apache的网站上都有关于Hbase和Hadoop的详细过程,但是我在网站上并没有找到关于Hive的详细配置信息。网站只是说应该该更设置,但是并没有说怎样设置,我只能上网找别的资料,按照找到的资料进行设置,设置成功,先总结如下。
本系统环境:
1、Hadoop 2.8.0
2、Java 1.8
3、Hive 2.1.1
4、MySQL 5.7.19
5、MacOS Sierra 10.12.4
集群模式安装步骤:
1、设置Hive环境变量,这一步骤有些电脑可以省略,比如我用brew下载Hive,但是我没有设置。
2、复制配置文件,并重命名。将hive-env.sh.template,hive-default.xml.template, hive-log4j2.properties.template, hive-exec-log4j2.properties.template依次复制并重命名为hive-env.sh, hive-site.xml, hive-log4j2.properties, hive-exec-log4j2.properties
3、修改hive-env.sh,在该文件中指定Hadoop安装路径。我只配置了HADOOP_HOME和HIVE_CONF_DIR两个参数。
export JAVA_HOME=/opt/java ##Java路径export HADOOP_HOME=/opt/hadoop ##Hadoop安装路径export HIVE_HOME=/opt/hive ##Hive安装路径export HIVE_CONF_DIR=/opt/hive/conf ##Hive配置文件路径
4、创建HDFS目录,在Hive中创建表之前需要创建以下HDFS目录并给它们赋予相应的权限。
hdfs dfs -mkdir -p /user/hive/warehousehdfs dfs -mkdir -p /user/hive/tmphdfs dfs -mkdir -p /user/hive/loghdfs dfs -chmod g+w /user/hive/warehousehdfs dfs -chmod g+w /user/hive/tmphdfs dfs -chmod g+w /user/hive/log
5、修改hive-site.xml,将hive-site.xml文件中以下几个配置项的值设置成上一步中创建的几个路径。
<property> <name>hive.exec.scratchdir</name> <value>/user/hive/tmp</value> <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property><property> <name>hive.querylog.location</name> <value>/user/hive/log</value> <description>Location of Hive run time structured log file</description> </property>
Hive Metastore在默认的情况下,Hive的元数据保存在内嵌的Derby数据库里,但是在一般的情况下会使用MySQL来存放Hive元数据。
6、安装好MySQL,下面创建一个hive数据库用来存储Hive的元数据,数据库的用户名为hive,密码依据密码的登记而进行设定。我把密码设置为”hivehivehive”
mysql> CREATE DATABASE hive; mysql> USE hive; mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hivehivehive';mysql> GRANT ALL ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hivehivehive'; mysql> GRANT ALL ON hive.* TO 'hive'@'%' IDENTIFIED BY 'hivehivehive'; mysql> FLUSH PRIVILEGES; mysql> quit;
7、修改hive-site.xml,配置MySQL数据的连接信息。
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?characterEncoding=UTF-8</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> </property>
8、在hive-site.xml配置文件中,我只保存了文件和数据库的配置项,即(5)、(7)中的配置,剩下的配置全部都删除了。在命令行运行hive命令时,需要保证:HDFS已经启动;将MySQL java连接器添加到 $HIVE_HOME/lib 目录下,我使用的是mysql-connector-java-6.0.6-bin.jar。
9、从Hive 2.1版本开始,我们需要运行schematool 命令来执行初始化操作。
schematool -dbType mysql -initSchema
我在这一步,命令运行出错了,是因为MySQL数据库连接信息写错了个地方。
10、在命令行hive
来启动交互环境。
其实上面的这些我都是抄的别的博客(https://my.oschina.net/jackieyeah/blog/735424),照着这篇博客写的去做就行了。
————————————-分隔符—————————————-
最近在实验室里需要重新安装Hive,发现上边的博客上出现了很多错误,现在改正。并将安装过程中出现的错误记录如下:
1、Exception in thread "main" java.lang.RuntimeException: The root scratch dir: /user/hive/temp on HDFS should be writable. Current permissions are: rwxrwxr-x
原因:缺少写权限
解决办法:hdfs dfs -chmod a+w /user/hive/temp
2、Error: Syntax error:Encountered "<EOF>" at line 1, column 64.(state=42X01,code=30000)
、
原因:网上说是安装包自身的问题
解决:更换安装包。
这个问题困扰了我很多天,首先Hive无法读取hive-site.xml里的配置,这个我一直弄不懂,现在想想也有可能是我没有source .profile
,只是有可能。
- [Hive]Hive安装
- hive系列-hive安装
- Hive安装
- hive 安装
- hive安装
- Hive安装
- Hive 安装
- hive安装
- hive 安装
- hive安装
- Hive安装
- Hive安装
- Hive安装
- Hive安装
- hive安装
- hive安装
- Hive安装
- hive安装
- hash的基本原理与实现
- Android系统服务之LightsService实现架构
- 开始我的程序员之路
- 去掉字符串前后空白
- 五种方式让你在java中读取properties文件内容不再是难题
- Hive安装
- 以当前时间命名文件并保存实时采集数据
- 编译原理第一个项目——个人所得税PersonalTax
- awk简单使用
- 11【Leetcode】 Container With Most Water
- SPI通信协议(SPI总线)学习
- 伴随多态的可互换对象(thinking in java)
- Qt Multimedia::QMediaPlayer框架源码分析
- 卸载N卡驱动