Hadoop安装调试

本文介绍在CentOS7下安装Hadoop的基本步骤，并在安装结束时运行Hadoop自带的word count程序测试安装是否成功。

系统环境：CentOS7、Hadoop2.7.1、java1.7

Hadoop安装

1. Hadoop安装目录结构
   可以不按照下面的配置来，但是配置的时候路径要改成自己安装的相应路径。

   /home
   —-/hadoop(hadoop用户目录)
   ——–/hadoop_install
   ————/hadoop-2.7.1
   —————-…(hadoop核心文件)
   ————/dfs
   —————-/data
   —————-/name
   ————/tmp
   ————/mapred
   —————-/local
   —————-/system

2. 配置hadoop_env.sh
   

3. 配置yarn_env.sh
   
4. 配置core-site.xml
   
5. 配置hdfs-site.xml
   
6. 配置mapred-site.xml
   
7. 配置yarn-site.xml
   
8. 运行hdfs namenode –format(旧hadoop namenode -format)
   
   由上图可见，HDFS分布式文件系统已经成功格式化。
9. 运行sbin/start-all.sh (用jps确认进程已开启)
   
   由上图可见，HDFS和MapReduce已经正常启动。

Word Count程序运行

1. 本文使用Python任意抓取的英文Wiki百科网页数据为测试数据，数据经过去除HTML标签处理后存储为txt文件，具体数据如下：
   
2. 将测试数据拷贝到HDFS文件系统上，执行wordcount程序：
   
3. 程序执行结束后，在浏览器输入localhost:8088查看作业状态。
   
   由上图可见，程序已成功执行完毕。
4. 将HDFS文件系统上的结果数据拷贝回本地，用vim打开查看：
   
5. 当然，从MapReduce结束后的提示也可获知相关统计数据：
   
   由上图可知，词频统计过程中查找到了13299个单词(或数字等其他符号)。