Mac hive2.0.1 独立模式安装部署
来源:互联网 发布:网络拓客 编辑:程序博客网 时间:2024/06/15 08:25
Mac hive2.0.1 独立模式安装部署
版权声明:本文为博主原创文章,未经博主允许不得转载。
前提:安装好haoop和MySQL 这里我的hadoop2.7.1 mysql5.5版本
1、下载apache-hive-2.0.1-bin.tar.gz
2、解压apache-hive-2.0.1-bin。复制到 /Users/jing/Documents/soft/apache-hive-2.0.1-bin(路径可以改成你的路径)
3.修改~/.bash_profile 文件添加hive环境变量
HIVE_HOME=/Users/jing/Documents/soft/apache-hive-2.0.1-bin
PATH=$PATH:$HIVE_HOME/bin
4.在Hadoop中创建以下hdfs路径,并加上相关权限:
hdfs dfs -mkdir -p /usr/hive/warehouse
hdfs dfs -mkdir -p /usr/hive/tmp
hdfs dfs -mkdir -p /usr/hive/log
hdfs dfs -chmod -R 777 /usr/hive
5、确定你的hadoop环境里,hdfs-site.xml里的dfs.replication的值是1,否则会报拒绝链接的错误。
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
6、下载 mysql-connector-Java-5.1.32-bin.jar ,并且copy到你的hive下的lib里,我的是:
cp /Users/jing/Desktop/mysql-connector-java-5.1.39-bin.jar /Users/jing/Documents/soft/apache-hive-2.0.1-bin/lib
7、cd /Users/jing/Documents/soft/apache-hive-2.0.1-bin/
conf文件下有 hive-env.sh.template 这个文件
执行: cp conf/hive-env.sh.template conf/hive-env.sh
vi conf/hive-env.sh 修改以下几项:
HADOOP_HOME=/Users/jing/Documents/soft/hadoop-2.7.1 hive-log4j2.properties.template
export HIVE_CONF_DIR=/Users/jing/Documents/soft/apache-hive-2.0.1-bin/conf
export HIVE_AUX_JARS_PATH=/Users/jing/Documents/soft/apache-hive-2.0.1-bin/lib
8、还是在conf文件下,有hive-default.xml.template
执行 cp conf/hive-default.xml.template conf/hive-site.xml
修改以下几项,其他的不变:
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
<description>数据库链接地址</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>数据库驱动类</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>数据库用户名</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
<description>数据库密码</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/usr/hive/warehouse</value>
<description>数据相对路径</description>
</property>
<property>
<name>hive.exec.scratdir</name>
<value>/usr/hive/warehouse</value>
<description>数据临时路径</description>
</property>
9、在conf目录下,有 hive-log4j2.properties.template
cp conf/hive-log4j2.properties.template conf/hive-log4j2.properties
vi conf/hive-log4j2.properties 修改日志目录
property.hive.log.dir = /User/jing/Documents/hive/log/${sys:user.name}
10、初始化数据库,在mysql场景hivedb数据库后,执行 :schematool -initSchema -dbType mysql
11、启动hive12、hive>show tables;
OK
Time taken: 1.018 seconds
13、创建一个测试表 ,执行CREATE TABLE hive_test (aa int, bb int, cc int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
出现Ok字样就成功啦!
到此就安装成功啦。。。
-----------------下面说说我遇到的问题都有哪些-----------------
1、Duplicate key name 'PCS_STATS_IDX'
这个错误是因为,执行schematool -initSchema -dbType mysql的时候,hivedb数据库表里已经存在表了,所以在库里吧所有的表都删除了,再执行命令。
2、org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="jing":jing:supergroup:rwxr-xr-x
这个时候是因为,在你的hadoop里安全模式是开着的,所以
hdfs-site.xml里的dfs.replication的值是1
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
重启hadoop
- Mac hive2.0.1 独立模式安装部署
- Mac hive2.0.1 独立模式安装部署
- hive2.1.0安装部署
- hive2.1.1安装部署
- hive2.1.1 部署安装
- hive2.1.1安装部署
- hive2.1.1安装部署
- hive2.1.1 部署安装
- hive2.1.1安装部署
- hive2.1.1安装部署
- hive2.1.1 部署安装
- Apache Hive2.1.1安装部署
- Apache Hive2.1.1安装部署
- mac安装配置hive2.0
- ubuntu下hive2.1.1部署安装
- Spark独立部署模式
- Spark 独立部署模式
- Spark 独立部署模式
- VR预览
- 背景图片脱离流
- Android--从线程到线程池
- 1619-7 张良 十一月一号总结 [连续第三十二天]
- 单词1
- Mac hive2.0.1 独立模式安装部署
- 信号量操作
- Android为啥推荐用DialogFragment创建Dialog?
- edgesForExtendedLayout、extendedLayoutIncludesOpaqueBars、automaticallyAdjustsScrollViewInsets属性见解
- 为什么要分表和分区?
- CCPC杭州站 HDU5938 Four Operations 贪心 枚举
- 2013_nanjing_onsite
- 找⑨~~
- 11.1编程总结