Hadoop+Hive+Mysql安装文档



软件版本

redhat enterprise server5.5

64

Hadoop

1.0.0

Hive

0.8.1

Mysql

5

Jdk

1.6

整体构架

共有7台机器，做4个数据节点，将name节点、jobtracker和secondaryname都分开，各机器分工如下

机器ip

主机名

用途

备注

123.456.789.30

Master.hadoop

Name节点

主节点

123.456.789.31

Slave1.hadoop

数据节点1

 

123.456.789.32

Slave2.hadoop

数据节点2

 

123.456.789.33

Slave3.hadoop

数据节点3

 

123.456.789.34

Slave4.hadoop

数据节点4

 

123.456.789.35

Job.hadoop

Jobtracker

 

123.456.789.36

Sec.hadoop

第二名称节点

 

所需的安装包

hadoop-1.0.0-bin.tar.gz

mysql-5.1.52.tar.gz

jdk-6u31-linux-x64.bin

hive-0.8.1.tar.gz

准备工作(使用root用户)

Hosts 文件配置

在所有机器上配置 /etc/hosts 文件 （一个都不能少必须所有机器全做）

vi /etc/hosts 

添加如下行：

123.456.789.30  master.hadoop

123.456.789.31  slave1.hadoop

123.456.789.32  slave2.hadoop

123.456.789.33  slave3.hadoop

123.456.789.34  slave4.hadoop

123.456.789.35  job.hadoop

123.456.789.36  sec.hadoop

 

修改各个主机的hostname

Linux 安装好后，其默认的名是 localhost。修改 /etc/sysconfig/network 配置文件

vi /etc/sysconfig/network

如：123.456.789.30机器上，修改为master.hadoop

123.456.789.31机器上，修改为 slave1.hadoop

特别说明：一个都不能少必须所有机器全做

建立 hduser 用户和 hadoop 组

groupadd hadoop

useradd -g hadoop hduser

passwd hduser 

上传文件

在/home/hduser下创建文件夹tools, 使用hduser用户将所有的安装包都ftp到这个文件夹

 

配置免验证

            为避免hadoop运行中需要密码，因此从主节点和JobTracker到机器机器需要做ssh免密码验证

              在主节点使用hduser用户执行

ssh-keygen -t rsa -P ""

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

ssh localhost

ssh master.hadoop

将密钥创送给其他主机

ssh-copy-id -i $HOME/.ssh/id_rsa.pub [e-mail]

ssh-copy-id -i $HOME/.ssh/id_rsa.pub [e-mail]

ssh-copy-id -i $HOME/.ssh/id_rsa.pub [e-mail]

ssh-copy-id -i $HOME/.ssh/id_rsa.pub [e-mail]

ssh-copy-id -i $HOME/.ssh/id_rsa.pub [e-mail]

ssh-copy-id -i $HOME/.ssh/id_rsa.pub [e-mail]

特别说明：执行ssh-copy-id的时候需要输入yes 和 该主机的密码。

安装hadoop(使用hduser用户)

在主机安装jdk及解压其他软件

      A 切换到/home/hduser/tools下，解压jdk

                            ./jdk-6u31-linux-x64

                     特别说明：如果提示权限不足，就赋权吧

                            chmod 777 *

      B  解压hadoop，并改名

                            tar -xvf hadoop-1.0.0-bin.tar

                           mv hadoop1.0.0  hadoop

                     C 解压mysql

tar –xvf   mysql-5.1.52.tar.gz

D 解压Hive，并改名

                            tar –xvf hive-0.8.1.tar.gz

mv hive-0.8.1 hive

修改配置文件

 

#vi /etc/profile 添加环境变量

export JAVA_HOME=/home/hduser/jdk1.6.0_30/

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export HADOOP_HOME=/home/hduser/hadoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

export HIVE_HOME=/home/hduser/hive

export PATH=$HIVE_HOME/bin:$PATH

特别说明：在所有机器上添加

执行#source /etc/profile ,使环境变量立即生效

修改hadoop-env.sh

 vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh

如下修改：

# The java implementation to use.  Required.

export JAVA_HOME=/home/hduser /jdk1.6.0_30

export HADOOP_PID_DIR=/home/hduser/pids

创建所需文件夹

在/home/hduser/hadoop下创建文件夹tmp

mkdir /home/hduser/hadoop/tmp

上传配置文件

将hadoop_conf文件夹中所有的文件上传到/home/hduser/hadoop/etc/hadoop文件夹下覆盖原有的。

修改hdfs-site.xml

增加：

<property>

        <name>dfs.permissions</name>

        <value>false</value>

</property>

修改core-site.xml

修改属性hadoop.tmp.dir值为：/home/hduser/hadoop/tmp

修改属性dfs.http.address值为：sec.hadoop:50070  （指向第二名称节点）

修改属性dfs.hosts.exclude 值为：/home/hduser/hadoop/etc/hadoop/excludes (用于删除节点的)

修改mapred-site.xml

       修改属性mapred.job.tracker值为：job.hadoop:54311   （指向jobtracker）

修改masters

       将内容修改为：sec.hadoop

修改slaves文件

       将内容修改为：

              slave1.hadoop

              slave2.hadoop

              slave3.hadoop

            slave4.hadoop

将jdk以及hadoop传送到其他主机

scp –r jdk1.6.0_31 [e-mail]:/home/hduser

scp -r jdk1.6.0_31 [e-mail]:/home/hduser

scp -r jdk1.6.0_31  [e-mail]:/home/hduser

scp -r jdk1.6.0_31 [e-mail]:/home/hduser

scp -r jdk1.6.0_31 [e-mail]:/home/hduser

scp -r jdk1.6.0_31  [e-mail]:/home/hduser

 

scp -r hadoop [e-mail]:/home/hduser

scp -r hadoop [e-mail]: /home/hduser

scp -r hadoop [e-mail]: /home/hduser

scp -r hadoop [e-mail]: /home/hduser

scp -r hadoop [e-mail]: /home/hduser

scp -r hadoop [e-mail]: /home/hduser

启动hadoop

 因为现在测试是不能直接使用start-all,因此启动顺序为（均在主节点上执行）
  a．使用hduser登录主节点，进入hadoop/sbin目录，启动name节点
   ./hadoop-daemon.sh start namenode
  b．启动数据节点(只是启动各个数据节点的datanode）
   ./start-dfs.sh
  c．登录job.hadoop启动jobtracker（同时会启动各个节点的tasktracker）
         ./start-mapred.sh
关闭顺序(在主节点sbin下执行）
关闭datanode及namenode
./stop-dfs.sh
登陆job主机（关闭tasktracker及jobtracker）
./stop-mapred.sh

启动时可能会报权限不足的问题，需要把每台主机上 hadoop/sbin下所有文件赋权。

 

验证启动效果

查看各个主机上运行的内容是否正常，使用jps，按照当前规划结果应该如下：     

 

节点名称

运行内容

备注

主节点

Namenode

 

数据节点

DataNode，taskTracker

 

Job节点

JobTracker

 

第二名称节点

Secondaryname

 

特别说明：也可以查看hadoop/logs/下的日志文件查看启动

 

安装mysql（使用root）

1.切换到mysql解压目录

       cd /home/hduser/tools/mysql

2../configure --prefix=/usr/local/mysql --sysconfdir=/etc --localstatedir=/data/mysql

注意修改localstatedir为你想要将数据库文件所放的位置

3.make

4.make install

5.make clean

6.groupadd mysql

7.useradd -g mysql mysql  （第一个mysql是组，第二个mysql是用户）

8.cd /usr/local/mysql

9.cp /usr/local/mysql/share/mysql/my-medium.cnf /etc/my.cnf

10．#bin/mysql_install_db --user=mysql #建立基本数据库，必须指明为mysql用户，只有这一步才能在usr/local/mysql下出现var目录

# bin/mysqld_safe --user=mysql &

11. bin/mysqladmin -u root password oracle

12．启动和关闭mysql(可跳过）

启动mysql

#bin/mysqld_safe &或/usr/local/mysql/share/mysql/mysql.server start 启动mysql

停止mysql方法1

　　#/usr/local/mysql/share/mysql/mysql.server stop 停止mysql

关闭mysql方法2

#ps -aux|grep mysql查看进程

　　#kill id号 ----这是杀mysql进程的，id号是在查看mysql进程里面看的到。

13.将mysql注册为服务

cp /usr/local/mysql/share/mysql/mysql.server /etc/init.d/mysqld

用root用户把mysql添加到系统服务中。

　　#/sbin/chkconfig --add mysqld 添加mysql为服务

　　#/sbin/chkconfig --del mysqld 删除mysql服务

　　/sbin/service  mysqld restart    #重新启动服务查看是否生效

　　/sbin/chkconfig --list mysqld    #查看是否345运行级别都打开mysql

14.为Hive建立相应的MySQL帐号，并赋予足够的权限

进入root /usr/local/mysql/bin下执行：./mysql -u root -p；

创建hive数据库：create database hive；

创建用户hive，它只能从localhost连接到数据库并可以连接到wordpress数据库：grant all on hive.* to hive@localhost identified by 'oracle'。

安装hive(hduser)

1. 修改hive目录下/conf/hive-env.sh.template中的HADOOP_HOME为实际的Hadoop安装目录：/home/hduser/hadoop

2.在hive下创建文件夹tmp和warehouse

       mkdir /home/hduser/hive/tmp

       mkdir /home/hduser/hive/warehouse

3. 在HDFS中创建/tmp和/user/hive/warehouse并设置权限：

hadoop fs -mkdir /home/hduser/hive/tmp

hadoop fs -mkdir /home/hduser/hive/warehouse

hadoop fs -chmod g+w /home/hduser/hive/tmp

hadoop fs -chmod g+w /home/hduser/hive/warehouse

4.将hive_conf中的配置文件拷贝到/home/hduser/hive/conf中

5.修改hive-site.xml文件

       修改属性hive.metastore.warehouse.dir值为：/home/hduser/hive/warehouse

       修改属性hive.exec.scratchdir值为：/home/hduser/hive/tmp

6.把MySQL的JDBC驱动包mysql-connector-java-5.0.7-bin.jar复制到Hive的lib目录下。

7.启动Hive，执行show tables;

8.如第七步无异常，就成功一大半了，建几个表，加载些数据测试

hive>

create table test_src

(

  ACCOUNT1          string,

  url        string)

row format delimited fields terminated by '\|' ;  

                    

touch  a.txt

123412342|http://www.sohu.com

454534534|http://qww.cocm.ccc

 

hive>

load data local inpath  '/data/myfile/a.txt' into table test_src;

 

 

 

目前采用的是最基本安装，未设置任何参数，生产需要时还需配置相关参数

 sqoop安装（hduser用户）

1.解压sqoop1.4.tar.gz

2.重新命名为sqoop

3.修改SQOOP的文件bin/configure-sqoop，注释掉所有关于hbase和zookeeper

4.将ojdbc6.jar 和 hadoop-core-1.0.0.jar  拷贝到sqoop/lib下

5.增加环境变量

export SQOOP_HOME=XXXX

                     export PATH=$SQOOP_HOME/bin:$PATH