centos 与hadoop2.7.3环境下hive2.1.1安装详解
来源:互联网 发布:淘宝网蜜袋鼯购买 编辑:程序博客网 时间:2024/04/29 12:42
1.准备
1>hive版本下载:hive2.1.1(百度云盘密码:rmcf)
2>mysql-connector-java-5.1.39
2.开始安装
我的hadoop安装目录: /home/hadoop/hadoop/hadoop
我把hive安装到:/home/hadoop/hive/ahive2.1下。
把hive的tar.gz包拷贝到/home/hadoop/hive下。
tar -zxvf hive的tar.gz包mv 解压后的文件夹 hive2.1
设置Hive的环境变量
编辑/etc/profile文件,添加以下内容:
export HIVE_HOME=/home/hadoop/hive/hive2.1export PATH=$PATH:$HIVE_HOME/bin
保存退出。使环境变量生效
source /etc/profile
配置Hive
配置文件重命名
在运行 Hive 之前需要使用以下命令修改配置文件:
cd /hive2.1/confcp hive-env.sh.template hive-env.shcp hive-default.xml.template hive-site.xmlcp hive-log4j2.properties.template hive-log4j2.propertiescp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
修改hive-env.sh
因为 Hive 使用了 Hadoop, 需要在 hive-env.sh 文件中指定 Hadoop 安装路径:
export JAVA_HOME=/usr/local/jdk ##Java路径export HADOOP_HOME=/home/hadoop/hadoop/hadoop ##Hadoop安装路径export HIVE_HOME=/home/hadoop/hive/hive2.1 ##Hive安装路径export HIVE_CONF_DIR=/home/hadoop/hive/hive2.1/conf ##Hive配置文件路径
修改hive-site.xml
替换hive-site.xml文件中所有的 ${system:java.io.tmpdir} 和 ${system:user.name},分别替换成/tmp和${user.name}
配置Hive Metastore
默认情况下, Hive的元数据保存在了内嵌的 derby 数据库里, 但一般情况下生产环境使用 MySQL 来存放 Hive 元数据。
- 将 mysql-connector-java.jar (上面下载的mysql-connect)放入 $HIVE_HOME/lib 下。
- hive-site.xml 中修改 MySQL 数据库连接信息。这些属性不是放在一起的
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value></property><property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value></property><property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value></property><property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value></property>
为Hive创建HDFS目录
在 Hive 中创建表之前需要使用以下 HDFS 命令创建 /tmp 和 /user/hive/warehouse (hive-site.xml 配置文件中属性项 hive.metastore.warehouse.dir 的默认值) 目录并给它们赋写权限。
hdfs dfs -mkdir /tmphdfs dfs -mkdir /usr/hive/warehousehdfs dfs -chmod g+w /tmphdfs dfs -chmod g+w /usr/hive/warehouse
安装mysql
sudo yum install -y mysql-server mysql mysql-devel
等等安装完
service mysqld start//启动mysql服务,重启restart
chkconfig mysqld --list//显示mysql服务在不同等级运行下的自启状态
chkconfig mysqld on//开机启动mysql服务
mysqladmin -u root password 'new-password' // 为root账号设置密码
登录root账号,创建hive-site.xml中指定用户
mysql -u root -p输入密码:
//创建用户hive
grant all privileges on *.* to hive@"localhost" identified by "hive" with grant option;
测试:用hive用户能否登录mysql
运行Hive
在命令行运行 hive 命令时必须保证 HDFS 已经启动。可以使用 start-dfs.sh 来启动 HDFS。
从 Hive 2.1 版本开始, 我们需要先运行 schematool 命令来执行初始化操作。
schematool -dbType mysql -initSchema
如果没有报错,登录mysql,会看见新创建的hive库
登录hive
hive
执行show tables 来显示所有的表:
hive>show tables;OK...
主要参考:Hive 2.1.0安装配置
0 0
- centos 与hadoop2.7.3环境下hive2.1.1安装详解
- CentOS下安装Hive2.1.0详解
- CentOS基于Hadoop2.7安装hive2.1
- CentOS下Hive2.0.0单机模式安装详解
- CentOS下Hive2.0.0集群模式安装详解
- CentOS下Hive2.3.0单机模式安装详解
- Hive2.1.1、Hadoop2.7.3 部署
- Hive2.1.1、Hadoop2.7.3 部署
- CentOS 7.0安装hive2.1.1
- centos(vm)下安装hive2.1.1单机模式(x86)
- centos hadoop2 环境安装
- CentOS-6.4下安装hadoop2.7.3
- mysql5.7.18安装、Hive2.1.1安装和配置(基于Hadoop2.7.3集群)
- Hive2.1.1安装与配置
- Centos 环境下,有关Nginx安装与配置详解
- Linux安装Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)
- CentOS环境下模拟Hadoop2.7.3环境搭建(虚拟机)
- Hadoop2.7.3环境下Sqoop1.99.5安装
- 前端解决跨域问题的8种方案
- Jstl---sql标签库和functions标签库
- H5 分行
- javascript-生成随机数
- Arduino简单实例之四_PS2游戏摇杆
- centos 与hadoop2.7.3环境下hive2.1.1安装详解
- 如何用github上传代码
- UVa129
- UML用户指南第二版-读书笔记-第2章-UML介绍
- 安卓断点续传核心代码DownloadTask
- POJ 1163 The Triangle
- USB2.0协议分析
- 菜鸟读文献系列(二)
- JAVA中Arrays.sort()使用两种方式(Comparable和Comparator接口)对对象或者引用进行排序