Hadoop2.X中Mapreduce，YARN等配置，启动和常见错误解决办法

本篇文章主要介绍一下 hadoop2.X 的启动的相关配置和启动过程常见错误的解决办法，废话不多少，下面开始按照官网的描述步骤开始介绍。

1.在opt目录下建立两个目录，分别为 modules,software ,建立这两个目录的目的是为了方便管理软件的安装和卸载

2.安装jdk ,由于本文中搭建的是hadoop2.X的环境，其中使用YARN，所以对jdk的版本有要求，最低为1.6.*以上，   将jdk拷贝到 /opt/software 下，使用减压命令将其减压到 /opt/modules 下面，然后再编辑 /etc/profile ,在文件末   尾加上如下内容：

   export JAVA_HOME=/opt/modules/jdk1.7.0_79

   export PATH=$JAVA_HOME:$PATH

  注意：在安装jdk前，先检查一下linux系统是否已经安装了openJDK，如果已经安装了，请先将其卸载掉，      然后再进行安装，我是用的是CentOS6.5，这些做完以后运行 resource /etc/profile 使配置文件生效 

3.接下来安装Hadoop，我用的是hadoop2.5.0，将其解压到 /opt/modules 下面。

   3.1）配置 /opt/modules/hadoop2.5.0/etc/hadoop/hadoop-env.sh，配置内容如下：

       export JAVA_HOME=/opt/modules/jdk1.7.0_79

   3.2）配置 /opt/modules/hadoop-2.5.0/etc/core-site.xml，配置内容如下：    

<configuration>
##配置hadoop的hdfs    <property>        <name>fs.defaultFS</name>        <value>hdfs://192.168.239.133:8020</value>    </property>
##配置hdfs的临时文件存储路径
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data/tmp</value>
</property>
##配置文件删除以后存放的时间，类似于垃圾箱的功能
<property>
<name>fs.trash.interval</name>
<value>102400</value>
</property></configuration>

3.3）配置/opt/modules/hadoop-2.5.0/etc/hdfs-site.xml，配置内容如下：

<configuration>
##配置备份的文件数    <property>        <name>dfs.replication</name>        <value>1</value>  </property></configuration>
3.4）配置完以上步骤以后，然后对hdfs文件系统进行格式化，执行如下代码：
bin/hdfs namenode -format
然后执行如下代码启动 namenode，datanode:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
通过浏览器访问 192.168.239.133：50030/50070，如果能正常访问则说明所有配置正确
      4.配置YARN，将hadoop运行在YARN上，配置内容如下:
4.1）配置/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-env.sh,配置内容如下：
export JAVA_HOME=/opt/modules/jdk1.7.0_09 
      
     配置/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-env.sh，配置内容如下：
export JAVA_HOME=/opt/modules/jdk1.7.0_79
 
4.2）配置/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-site.xml,这个文件之前名字叫mapred-site-template.xml,
     需要修改这个名字配置内容如下：
 
<configuration>
##将mapreduce运行在YARN上    <property>       <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>
4.3）配置/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml,配置内容如下：
<configuration>
 ##配置yarn的resourcemanager
 <property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.239.133</value>
 </property>
 ##配置yarn的nodemanager    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property>
##配置yarn日志显示功能
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</true>
</property>
##配置日志存放时间
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>204800</value>
</property></configuration>
4.4）至此，YARN配置完毕，通过以下命令启动 resourcemanager，nodemanager，historyserver
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
     通过浏览器访问192.168.239.133：8088 来查看yarn的管理界面，如果能正常访问则说明所有配置正确
      5.配置ssh无密码登陆：
5.1）切换到根目录下，cd 到 .ssh文件运行如下命令：
ssh-keygen -t rsa    然后一路回车即可
5.2）使用如下命令拷贝公钥到这台机器下，命令如下：
ssh-copy-id  192.168.239.133
到这里就完成了ssh免密码登录。
      6.下面说说配置过程中可能出现的问题：
6.1）格式化的时候出现问题。解决办法：查看etc/hadoop/core-site.xml文件配置是否有问题
6.2）启动namenode出错。解决办法：查看hadoop安装目录下的logs文件，查看出错信息并解决
   总结：以上便是配置hadoop所有步骤，如有问题，随时交流