hadoop2.6.5配置

 我的配置参考了"我是菜鸟要早起"的博客，他的链接:http://blog.csdn.net/licongcong_0224/article/details/12972889

使用VMare建3个虚拟机（使用CentOS7系统），三个虚拟机IP为：

192.168.100.130、192.168.100.131、192.168.100.134     
192.168.100.130作为master节点，其他两个IP作为slave节点
一、在3个节点上的hosts文件配置IP与主机名的映射：
找到/etc/hosts，在里面加入三行：
192.168.100.130   master  
192.168.100.131   slave1  
192.168.100.134   slave2 

二、配置SSH免密码登录
1、找到/etc/ssh/sshd_config,去掉注释符”#“
RSAAuthentication yes
　　PubkeyAuthentication yes
　　AuthorizedKeysFile  .ssh/authorized_keys
2、在每个节点上生成公钥和私钥
ssh-keygen -t rsa -P ""  
3、在master 上，进到~/.ssh目录下，执行
cat id_rsa.pub >> authorized_keys
4、分别将slave1和slave2上的公钥加到master上
的authorized_keys文件里
在slave1：
scp id_rsa.pub   master:~/.ssh/id_rsa.pub.s1  slave1
在slave2：
scp id_rsa.pub   master:~/.ssh/id_rsa.pub.s2slave2
在master上（注意进到~/.ssh目录下）：
cat id_rsa.pub.s1 >> authorized_keysmaster
cat id_rsa.pub.s2 >> authorized_keysmaster
chmod  600  authorized_keys
可以尝试下是是否成功了
ssh localhost 
第一次应该会要求输入yes/no  
输入yes之后就登录成功了
同样的，ssh slave1\ssh  master\ssh  slave2，
会出现类似的结果,这时候应该不需要输密码了
如果还是要输入密码，
錯誤訊息：Agent admitted failure to sign using the key
使用 ssh-add 指令将私钥加进来（根据个人的密匙命名不同更改 id_rsa）
ssh-add  ~/.ssh/id_rsa （分别在master、slave1、slave2上执行）
如果还不行，那我也没办法了...........

三、新增账户，分配权限
为每台机器新建了一个账户hadoopuser.这里需要给每个账户分配sudo的权限。
（切换到root账户，修改/etc/sudoers文件，
增加：hadoopuser  ALL=(ALL) ALL ）

四、确认已安装jdk，若没有安装就安装一下JDK并配置一下环境变量，
过程自己百度

五、关闭防火墙（之前因为没做这一步，namenode和datanode节点虽然起来，
但在web控制台上看到的livenode 数目为0）
各个版本的linux稍有差异，在CentOS7上是：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动


六、拷贝hadoop包到各个节点的相同目录下，并进行解压


七、配置文件配置
进到hadoop安装根目录下的/etc/hadoop/下
共有7个文件要配置：
~/hadoop-2.6.5/etc/hadoop/hadoop-env.sh
~/hadoop-2.6.5/etc/hadoop/yarn-env.sh
~/hadoop-2.6.5/etc/hadoop/slaves
~/hadoop-2.6.5/etc/hadoop/core-site.xml
~/hadoop-2.6.5/etc/hadoop/hdfs-site.xml
~/hadoop-2.6.5/etc/hadoop/mapred-site.xml
~/hadoop-2.6.5/etc/hadoop/yarn-site.xml
以上个别文件默认不存在的，可以复制相应的template文件获得。

配置文件1：hadoop-env.sh
修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_40）

配置文件2：yarn-env.sh
修改JAVA_HOME值（exportJAVA_HOME=/usr/java/jdk1.7.0_40）


配置文件3：slaves （这个文件里面保存所有slave节点）
写入以下内容：
  slave1
  slave2


配置文件4：core-site.xml


<configuration>
    <property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
    </property>
    <property>
<name>io.file.buffer.size</name>
<value>131072</value>
    </property>
    <property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hduser/tmp</value>
<description>Abase for other temporary directories.</description>
    </property>
    <property>
  <name>hadoop.proxyuser.hduser.hosts</name>
  <value>*</value>
    </property>
    <property>
  <name>hadoop.proxyuser.hduser.groups</name>
  <value>*</value>
    </property>
</configuration>


配置文件5：hdfs-site.xml


<configuration>
   <property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
    <property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hduser/dfs/name</value>
    </property>
    <property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hduser/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
    <property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
    </property>
</configuration>


配置文件6：mapred-site.xml


<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
    <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
    </property>
</configuration>


配置文件7：yarn-site.xml


<configuration>
        <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value> master:8030</value>
        </property>
        <property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value> master:8031</value>
        </property>
         <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:8033</value>
        </property>
        <property>
            <name>yarn.resourcemanager.webapp.address</name>
             <value> master:8088</value>
       </property>
</configuration>


3、复制到其他节点


4、启动验证


4.1 启动hadoop

进入安装目录： cd  ~/hadoop-2.6.5/
格式化namenode：./bin/hdfs namenode –format


启动hdfs: ./sbin/start-dfs.sh
此时在master上面运行的进程有：namenode secondarynamenode
slave1和slave2上面运行的进程有：datanode

启动yarn: ./sbin/start-yarn.sh

此时在master上面运行的进程有：namenode secondarynamenoderesourcemanager
slave1和slave2上面运行的进程有：datanode nodemanaget

查看集群状态：./bin/hdfs dfsadmin –report
查看文件块组成：  ./bin/hdfsfsck / -files -blocks
查看HDFS:    http://192.168.100.130:50070
查看RM:    http://192.168.100.130:8088


**我在http://192.168.100.130:8088看到livenode只有2个，
是slave1和slave2的IP,以为是启动失败了，找了很久发现其实这个
跟slave文件的配置有关，只要把master加进去，关闭再重启hadoop，
就发现livenode变为3个了。这说明livenode指的是活着的datanode。