1.4、hadoop安装文档（ok）

1.  关闭防火墙

防火墙分为两种：iptables和selinux，都关闭。

1.1.  关闭iptables

1、  su – root(切换用户)

2、临时关闭（不用重启机器）：service iptables stop

3、永久关闭：chkconfig iptables off 

4、查看状态chkconfig iptables –list

5、如果现实的都是关闭，就可以了。

1.2.  关闭Selinux：

1、临时关闭（不用重启机器）：setenforce 0（状态变为permissive即可）             

2、永久关闭（修改配置文件需要重启机器）：

vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

3、查看

命令：getenforce

结果：状态变为permissive即可

2.  配置windows和linix机器的域名

 

2.1.  修改windows的hosts文件：

打开：C:\Windows\System32\drivers\etc\hosts这个文件，将下面内容修改成你自己的ip和域名，并添加到hosts文件中，下面是个事例，你也需要设置好几个ip和域名才对，分别就是你的主和从。其中的ip是56网段的ip，因为56网段是hostonly的，可以随便配置静态ip，客户端连接方便。

注意：此处的域名必须和每台机器的机器名相同，机器名的查看方式为在命令行中直接输入hostname命令，即显示机器名。如果不相同，启动时会报错，unknow hostname，

如果报错，有两种修改方式，

一种是修改/etc/sysconfig/network文件，将文件中的机器名改为此处的域名。第二种方式是修改此处的域名，预计其名相对应。

vi /etc/hosts

192.168.56.200 master

192.168.56.201 slave1

192.168.56.202 slave2

192.168.56.203 slave3

2.2.  修改linux的hosts文件，需要每台机器都修改。

比如：

1、master机器相应的操作如下：

1、su – root

2、vi /etc/hosts

3、添加内容类似于下面的

192.168.56.200 hadoop1master

192.168.56.201 hadoop1slave1

192.168.56.202 hadoop1slave2

192.168.56.203 hadoop1slave3

 

4、添加完内容，按键盘的右上角的“Esc”，退出

5、输入“ :wq ”保存退出即可

 

2、slave1机器相应的操作如下：

1、su – root

2、vi /etc/hosts

3、添加内容类似于下面的

192.168.56.200 hadoop1master

192.168.56.201 hadoop1slave1

192.168.56.202 hadoop1slave2

192.168.56.203 hadoop1slave3

 

4、添加完内容，按键盘的右上角的“Esc”，退出

5、输入“ :wq ”保存退出即可

 

 

 

3、slave2同上。

 

 

3.  安装JDK（n台都要装）

3.1.  切换到root用户：

su – root

 

3.2.  查看以前是不是安装了openjdk：

命令：rpm -qa | grep java

显示如下：（有则卸载，没有就不用）

tzdata-java-2013g-1.el6.noarch

java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

3.3.  卸载openjdk：

（其中参数“tzdata-java-2013g-1.el6.noarch”为上面查看中显示的结果，粘进来就行）

 

rpm -e --nodeps  tzdata-java-2013g-1.el6.noarch

rpm -e --nodeps  java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

rpm -e --nodeps  java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

 

3.4.  安装sunjdk：

3.4.1.  安装jdk

1、  切换到root用户，如果已经是root用户就不需要切换了

命令：su - root

2、  进入usr目录

cd /usr

3、  在usr目录下创建java文件夹

mkdir java

4、  将jdk-6u24-linux-i586.bin拷贝到java目录下(用工具)

用上传下载工具，从windows中将文件“jdk-6u24-linux-i586.bin”上传到linux的/usr/java下

5、  进入/usr/java文件夹下

 cd/usr/java

6、 修改权限，参数“jdk-6u32-linux-x64.bin”为你自己上传的jdk安装文件，不要复制命令

chmod 755jdk-6u32-linux-x64.bin

7、  执行安装

./jdk-6u24-linux-i586.bin

8、  创建快捷方式，参数“/usr/java/jdk1.6.0_32/”为你jdk安装的路径，“/usr/jdk”为你需要创建的jdk快捷方式的路径，此“/usr/jdk”路径需要配置到环境变量。

ln -s/usr/java/jdk1.6.0_32/ /usr/jdk

 

 

9、  配置环境变量

vi /etc/profile

添加内容：

export JAVA_HOME=/usr/jdk

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME PATH CLASSPATH

 

10、执行下命令

source /etc/profile

11、其他几台机器，安装前10步的方法同样安装。

4.  创建hadoop用户和组（用于操作hadoop）

groupadd hadoop

useradd -g hadoophadoop

passwd hadoop

5.  一键安装jdk

1、  要用root用户

2、  进入/usr/local:cd /usr/local

3、  上传一键安装包：rz –y(rz上传的意思，-y覆盖的意思)

4、  进入安装目录:  cd /usr/local/initDir

5、  执行脚本：installJDK.sh

6.  安装hadoop

6.1.1.  上传

只需要上传到master机器即可。

用工具或命令将hadoop安装文件上传到/home/hadoop文件夹下。传上去之后，用“ll”命令查看一下安装文件的所属用户，如果是属于root的，修改为hadoop用户，命令如下：

cd /home/hadoop

ll

chown hadoop:hadoop hadoop-1.0.4.tar.gz

 

6.1.2.  解压

1、  切换用户到hadoop

su – hadoop

2、执行解压命令：

tar –zxvf  hadoop-1.0.4.tar.gz

6.1.3.  重命名

mv hadoop-1.0.4 hadoop

6.1.4.  修改环境变量

1、切换用户到root

 su –root

2、vi /etc/profile

3、添加内容：

export HADOOP_HOME=/home/hadoop/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

 

4、执行命令，重新编译文件

source /etc/profile

5、发送：

scp /etc/profile root@slave1:/etc/

scp /etc/profile root@slave2:/etc/

scp /etc/profile root@slave3:/etc/

6、切换回hadoop用户

su - hadoop

7、到其他几台机器上分别执行下面命令

su – root

source /etc/profile

su - hadoop

6.1.5.  修改hadoop配置文件

1、在master机器上修改即可

2、用工具将6个修改好的配置文件上传到master机器的/home/hadoop/hadoop/conf/路径下。

3、查看这几个文件的所有者是不是hadoop

4、如果不是hadoop用户，那么你需要用root用户修改文件的所属者，命令如下：

su – root

chown hadoop:hadoop 文件名

5、修改完事，切换回hadoop用户

su - hadoop

6、用hadoop用户创建存储文件夹(权限为755)

cd /home/hadoop/hadoop

mkdir data

mkdir tmp

chmod 755 data

chmod 755 tmp

6.1.6.  发送hadoop安装包到其他机器

scp –r /home/hadoop/hadoophadoop@192.168.10.208:/home/hadoop

scp –r /home/hadoop/hadoophadoop@192.168.10.209:/home/hadoop

scp –r /home/hadoop/hadoophadoop@192.168.10.210:/home/hadoop

 

6.1.7.  到此为止hadoop安装完毕

6.1.8.  安装ssh

0、在master机器上做操作。

1、 切换到hadoop用户:

su – hadoop

2、 执行下面命令

ssh localhost（创建.ssh文件夹）

exit（退出）

3、ll –a（查看隐藏文件）

4、进入.ssh

cd .ssh

5、删除其中的文件

rm -rf known_hosts

6、创建密钥对

ssh-keygen -t rsa (一直回车即可。#创建ssh秘钥，基于rsa算法的)

7、把公钥放到认证列表里

cat id_rsa.pub>> authorized_keys      

8、授权

chmod 600authorized_keys      

10、        保证权限为以下状态：

执行命令：ll

显示信息为：

-rw-------. 1 hadoophadoop 395 20:55 authorized_keys

-rw-------. 1 hadoophadoop 1675 20:52 id_rsa

-rw-r--r--. 1 hadoophadoop 395 20:52 id_rsa.pub

10、登陆slave1，执行命令

su – hadoop

ssh localhost

exit

11、登陆slave2，执行命令

su – hadoop

ssh localhost

exit

12、如果有slave3，同slave1和slave2操作。

 

13、在master机器上操作，将文件分发给每个slave

scp ~/.ssh/authorized_keyshadoop@slave1:~/.ssh/

scp ~/.ssh/authorized_keyshadoop@slave2:~/.ssh/

scp ~/.ssh/authorized_keyshadoop@slave3:~/.ssh/

11、修改master和slave1、slave2、slave3配置信息（4台都需要修改）

su – root

用工具将sshd_config文件上传到linux的/etc/ssh/文件夹下，并确保是属于root用户的。

其中修改的信息为下面所示，下面的信息只是展示：

RSAAuthentication yes

PubkeyAuthentication yes

AuthorizedKeysFile .ssh/authorized_keys

GSSAPIAuthentication no       

UseDNS no

11、        重新启动ssh

service sshd restart

12、        发送配置文件到其他机器

scp sshd_config root@slave1:/etc/ssh/

scp sshd_config root@slave2:/etc/ssh/

scp sshd_config root@slave3:/etc/ssh/

13、        登陆slave1、slave2、slave3，分别执行下面命令

su – root

service sshd restart

       su - hadoop

13、验证

在master机器上执行下面命令：

ssh slave1

如果不需要输入密码就是成功，成功后执行退出命令：

exit

 

6.1.9.  起动机群

1、 在master机器上格式化：

su - hadoop

hadoop namenode-format

cd/home/hadoop/hadoop

查看有无logs文件夹，如果没有，证明没报错，格式化成功。如果有，检查错误。

2、 在master机器上启动：

启动集群需要使用hadoop用户，如果使用了root用户，则有些hadoop的文件权限变成了root用户的，下次启动会有问题。

如果你用root用户启动了，那么需要执行下面命令：

su – root

cd /home/hadoop

chown –R hadoop:hadoophadoop

su – hadoop

每台机器都需要修改。

(此命令是将文件夹的所有者更改为hadoop，其中chown为更改所有者的命令，-R为级联修改子文件夹及其子文件，hadoop：hadoop是用户和组，最后的hadoop指的是hadoop文件夹。)

  

启动命令：start-all.sh

3、在每台机器上验证：（会出现进程）

Jps

会出现进程：

master：

namenode

secondrednamenode

jobtracker

jps

slave1：

              datanode

       tasktracker

       jps

4、页面监控：

http://master:50070 #监控HDFS

http://master:50030 #监控jobtraker（mapredus）

 

5、停止所有机器:  

停止命令也需要使用hadoop用户。

stop-all.sh