haodop 2.5.2完全分布式安装

1.  关闭防火墙

vi  /etc/selinux/config

在 SELINUX=enforcing 前面加个#号注释掉它

#SELINUX=enforcing

然后新加一行SELINUX=disabled

保存，退出，重启系统，就可以彻底关闭firewall了。

2.  修改IP

vi /etc/sysconfig/network-scripts/ifcfg-eth0  

 #编辑配置文件,添加修改以下内容

BOOTPROTO=static  #启用静态IP地址

 ONBOOT=yes #开启自动启用网络连接

 IPADDR=192.168.1.100  #设置IP地址

 NETMASK=255.255.255.0  #设置子网掩码

 GATEWAY=192.168.1.1   #设置网关

==重启网络连接

service network restart 

3.  设置机器hostname别名

# 当前ssh窗口即可生效

hostname master   

# 每次重启以后均生效

vi /etc/sysconfig/network       

HOSTNAME=master

4.Hosts映射关系

三台机器上面分别都执行操作 vi /etc/hosts 添加如下内容

192.168.1.100 master

192.168.1.101 slave01

192.168.1.102 slave02

5.SSH免密登录设置

生成公钥和私钥

　　ssh-keygen -t rsa

导入公钥到认证文件

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  

    scp ~/.ssh/id_rsa.pub xxx@host:/home/xxx/id_rsa.pub  

    cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 

 更改权限

   chmod 700 ~/.ssh

    chmod 600 ~/.ssh/authorized_keys  

6.安装jdk

1、解压 rpm -ivh  jdk-8u111-linux-x64.rpm 

7.安装Hadoop

这是下载后的hadoop-2.6.0.tar.gz压缩包，   

1、解压 tar -xzvf hadoop-2.6.0.tar.gz 

2、配置hadoop

主要涉及的配置文件有7个

hadoop-env.sh

yarn-env.sh

slaves

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

4.1、配置 hadoop-env.sh文件-->修改JAVA_HOME

export JAVA_HOME=/usr/java/jdk1.8.0_111

4.2、配置 yarn-env.sh 文件-->>修改JAVA_HOME

 export JAVA_HOME=/usr/java/jdk1.8.0_111

4.3、配置slaves文件-->>增加slave节点 

 salve1-hadoop

4.4、配置 core-site.xml文件-->>增加hadoop核心配置

<configuration>

 <property>

  <name>fs.defaultFS</name>

  <value>hdfs://master-hadoop:9000</value>

 </property>

 <property>

  <name>hadoop.tmp.dir</name>

  <value>file:/tmp</value>

 </property>

</configuration>

4.5、配置  hdfs-site.xml 文件-->>增加hdfs配置信息（namenode、datanode端口和目录位置）

<configuration>

  <property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/opt/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/opt/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

</configuration>

4.6、配置  mapred-site.xml 文件-->>增加mapreduce配置

<configuration>

  <property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>master:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>master:19888</value>

</property>

</configuration>

4.7、配置   yarn-site.xml  文件-->>增加yarn功能

<configuration>

  <property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8035</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>

5、将配置好的hadoop文件copy到另一台slave机器上

scp -r hadoop-2.6.0/ root@salve1-hadoop:~/opt/

6、验证

1、格式化namenode:

cd /opt/hadoop-2.5.2//bin/

hdfs namenode -format

2、启动hdfs:

/sbin/start-all.sh 

3、查看hadoop进程 jps

Master

Jps

Worker

NameNode

SecondaryNameNode

ResourceManager

4、停止hdfs:

./sbin/stop-all.sh