hive 安装
来源:互联网 发布:离婚率 知乎 编辑:程序博客网 时间:2024/05/22 13:01
前提,需要安装hadoop 2.7
与 Hadoop 类似,Hive 也有 3 种运行模式:
1. 内嵌模式
将元数据保存在本地内嵌的 Derby 数据库中,这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显,因为一个内嵌的 Derby 数据库每次只能访问一个数据文件,这也就意味着它不支持多会话连接。
2. 本地模式
这种模式是将元数据保存在本地独立的数据库中(一般是 MySQL),这用就可以支持多会话和多用户连接了。
3. 远程模式
此模式应用于 Hive 客户端较多的情况。把 MySQL 数据库独立出来,将元数据保存在远端独立的 MySQL 服务中,避免了在每个客户端都安装 MySQL 服务从而造成冗余浪费的情况。
下载:http://mirrors.hust.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz
解压:
tar -zxvf apache-hive-2.1.1-bin.tar.gz
拷贝
mv apache-hive-2.1.1-bin /usr/local/hive
设置环境变量
vim /etc/profile
- 设置 Hive环境变量
- # Hive environment
- export HIVE_HOME=/usr/local/hive
- export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH
生效修改配制
source /etc/profile
修改配制文件:
- cd /usr/local/hive/conf
- cp hive-default.xml.template hive-site.xml
- cp hive-env.sh.template hive-env.sh
hive.metastore.warehouse.dir
该参数指定了 Hive 的数据存储目录,默认位置在 HDFS 上面的 /user/hive/warehouse 路径下。hive.exec.scratchdir
该参数指定了 Hive 的数据临时文件目录,默认位置为 HDFS 上面的 /tmp/hive 路径下。
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib
hdfs上创建必要的目录
/bin/hdfs dfs -mkdir -p /user/hive/warehouse
/bin/hdfs dfs -mkdir -p /tmp/hive/
hdfs dfs -chmod 777 /usr/hive/warehouse
hdfs dfs -chmod 777 /tmp/hive
- hadoop fs -chmod 777 /user/hive/warehouse
- hadoop fs -chmod 777 /tmp/hive
修改 hive-site.xml
vim hive-site.xml
将hive.exec.local.scratchdir
改成:
hive.exec.local.scratchdir
修改元数据存储位置
- <?xml version="1.0" encoding="UTF-8" standalone="no"?>
- <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
- <configuration>
- <property>
- <name>javax.jdo.option.ConnectionURL</name>
- <value>jdbc:mysql://192.168.169.134:3306/hive?createDatabaseIfNotExist=true</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionDriverName</name>
- <value>com.mysql.jdbc.Driver</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionUserName</name>
- <value>root</value>
- </property>
- <property>
- <name>javax.jdo.option.ConnectionPassword</name>
- <value>123456</value>
- </property>
- <property>
- <name>hive.metastore.schema.verification</name>
- <value>false</value>
- <description>
- Enforce metastore schema version consistency.
- True: Verify that version information stored in metastore matches with one from Hive jars. Also disable automatic
- schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures
- proper metastore schema migration. (Default)
- False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.
- </description>
- </property>
- </configuration>
下载msyql 驱动
https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.44.tar.gz
解压后,将里边的jar包,放入 /usr/local/hive/lib目录 中。
数据库初始化
bin/schematool -initSchema -dbType mysql
运行 bin/hive
hive> show databases;
OK
default
Time taken: 1.301 seconds, Fetched: 1 row(s)
- [Hive]Hive安装
- hive系列-hive安装
- Hive安装
- hive 安装
- hive安装
- Hive安装
- Hive 安装
- hive安装
- hive 安装
- hive安装
- Hive安装
- Hive安装
- Hive安装
- Hive安装
- hive安装
- hive安装
- Hive安装
- hive安装
- c2541 simpleBLEPeripheral工程 应用层协议栈分析
- C# 上传WPS Excel 后台转换成txt,再压缩为ZIP
- 【Grammar】And 和 With有什么区别???他们又有什么用?
- Java反射机制
- ubuntu 编译android 源码时Openjdk 问题
- hive 安装
- [洛谷P1658]购物
- cordova启动页面和图标的设置
- 舍得舍得,有舍才有得
- 每次打开unity脚本都新开一个vs解决方法
- 在树莓派raspbian系统上安装Mysql
- ubuntu 下安装nginx + tomcat实现负载均衡
- 栈 行编辑器 缓冲区
- SpringBoot定时获取微信access_token