Hadoop安装

hadoop伪分布式安装，配置和运行：
1.下载hadoop,解压到/usr/local/ 目录下
2.伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml
core-site.xml调整后如下：

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

hdfs-site.xml 调整后如下：

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>
3.执行命令
./bin/hdfs namenode -format    配置完成后，执行 NameNode 的格式化(注意，要把datanode目录下current下面的东西删除，不然datanode启动不了)


./sbin/start-dfs.sh    接着开启 NameNode 和 DataNode 守护进程。
访问 http://ip:50070/dfshealth.html#tab-overview

4.启动yarn
   4.1 修改mapred-site.xml
<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

       接着修改配置文件 yarn-site.xml：

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>
   4.2 启动yarn
./sbin/start-yarn.sh      # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况   
  开启历史服务器后，访问 http://ip:19888/jobhistory
新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）  

安装Hadoop：

如果安装过程中，找不到JAVA_HOME，那么可以直接修改hadoop-env.sh中的JAVA_HOME为相对路径（即java的java_home路径）；

如下：

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_91

参考：http://www.powerxing.com/install-hadoop/