Mac系统下, Hdoop 2.6.2 + Hive 2.0.1 配置

标签： macmysqlhadoophive

2016-06-22 00:12 583人阅读 评论(0) 收藏 举报

 分类：

Hadoop相关（8） 

版权声明：本文为博主原创文章，未经博主允许不得转载。

目录(?)[+]

简介(百度百科)

        Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

环境介绍

• 操作系统：OSX EI Capitan 10.11.5
• Hadoop版本：2.6.2
• mySql版本：5.6.21
• mysql-connector-java版本：5.1.38
• Hive版本：2.0.1

Hadoop配置

        关于hadoop的详细配置，请移步博文：Hadoop2.6.2完全分布式配置。

下载安装

安装mySql

        1. 先去MySQL官网http://dev.mysql.com/downloads/mysql/下载安装包。 
        2. 双击安装包：mysql-5.1.38-osx10.11-x86_64.dmg（具体看你下载的版本）。 
        3. 按照提示界面一路安装即可，此处注意：在安装结束时，可能会弹出对话框，告知你默认的访问数据库的用户名和密码。第一次登陆时，需要用此用户名和密码登陆，否则会出现无法登陆的问题。 
        4. 修改用户密码： 
          a. 用刚才的用户名和密码登陆mysql：

mysql -u 用户名 -p 密码
1
1

          b. 输入下列语句：

#第一条命令，修改密码UPDATE user SET password=PASSWORD('新的密码') WHERE user='你登录的用户名';#第二条命令，使改动立即生效FLUSH PRIVILEGES;
1
2
3
4
1
2
3
4

安装Hive

        1. 先确保已经正确安装并运行了hadoop。

        2. 下载hive安装包 
        去官网https://hive.apache.org/downloads.html下载合适的安装包版本，将安装包移动至：/usr/hadoop/hadoop-2.6.2/ 目录下，此目录是本机安装hadoop的目录。 
        移动至此处后，解压缩，并将解压后的文件名改为hive，方便配置。 
        例如本机Hive的安装路径为：/usr/hadoop/hadoop-2.6.2/hive

        3. 配置系统环境变量 
          a. 修改~/.bash_profile文件或者修改/etc/profile文件

vim ~/.bash_profile
1
1

          b. 修改内容为：

export HIVE_HOME=/usr/hadoop/hadoop-2.6.2/hiveexport PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf
1
2
1
2

          c. 退出保存后，在终端输入，使环境变量立即生效：

source ~/.bash_profile
1
1

        4. 修改Hive配置文档： 
          a. 进入/usr/hadoop/hadoop-2.6.2/hive/conf，新建文件hive-site.xml

          b. 添加hive-site.xml内容：

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>    <property>        <name>hive.metastore.local</name>        <value>true</value>    </property>    <property>        <name>javax.jdo.option.ConnectionURL</name>        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;autoReconnect=true&amp;useSSL=false</value>    </property>    <property>        <name>javax.jdo.option.ConnectionDriverName</name>        <value>com.mysql.jdbc.Driver</value>    </property>    <property>        <name>javax.jdo.option.ConnectionUserName</name>        <value>root</value>    </property>    <property>        <name>javax.jdo.option.ConnectionPassword</name>        <value>root</value>    </property></configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

          c. 复制hive-env.sh.template为hive-env.sh

cp hive-env.sh.template hive-env.sh
1
1

          d. 修改hive-env.sh内容：

HADOOP_HOME=/usr/hadoop/hadoop-2.6.2export HIVE_CONF_DIR=/usr/hadoop/hadoop-2.6.2/hive/conf
1
2
1
2

        5. mySql配置 
          a. 登陆mySql，我的用户名为root，密码为root。

mysql -u root -p root
1
1

          b. 给用户赋予权限，以使得该用户可以远程登录数据库：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;
1
1

          c. 使改变立即生效：

FLUSH PRIVILEGES;
1
1

        6. 向/usr/hadoop/hadoop-2.6.2/hive/lib中添加mySql连接库： 
          a. 去网站http://dev.mysql.com/downloads/connector/j/下载mySql-connector包。 
          b. 将下好的包解压缩，如我解压缩后的文件夹为mysql-connector-Java-5.1.38，将此文件夹下mysql-connector-java-5.1.38-bin.jar复制到/usr/hadoop/hadoop-2.6.2/hive/lib下。 
        注意：需要给/tmp文件夹设置写权限，同时确保 hadoop不在安全模式下，可以执行此命令使hadoop退出安全模式：hadoop dfsadmin -safemode leave

启动Hive

        1. 如果是第一次启动Hive，则需要先执行如下初始化命令：

schematool -dbType mysql -initSchema
1
1

        2. 启动Hive:

hive
1
1

        完成基本的环境配置！