配置Hadoop伪分布式模式并运行WordCount示例操作实例演示步骤

该篇博客是基于hadoop单机模式的构建成功的前提下，进行直接操作的，关于 

hadoop单机模式的构建可以参考为上一篇博文：http://blog.csdn.net/henni_719/article/details/77718642

PS：全程以root的角色进行配置安装

第一部分：伪分布式配置

伪分布模式主要涉及一下配置信息：

(1)修改hadoop的核心配置文件core-site.xml，主要配置hdfs的地址和端口号。

(2)修改hadoop中hdfs的配置文件hdfs-site.xml，只要配置replication(复制或备份)。

(3)修改hadoop中MapReduce的配置文件mapred-site.xml，主要配置JobTracker的地址和端口。

具体的操作步骤如下：

step_1:创建几个配置文件需要的目录，执行截图如下：

Step_2:配置core-site.xml文件

进入到相关目录下，打开core-site.xml文件，操作截图如下：

在文件中添加配置信息，添加后的内容同如下截图所示：

配置信息包括，hdfs默认端口号地址，临时文件存放目录信息！

Step_3：配置hdfs-site.xml文件

进入到相关目录下，打开hdfs-site.xml文件，操作截图如下：

在文件中添加配置信息，添加后的内容同如下截图所示：

设置hdfs的节点个数和信息，包括hdfs的节点路径、数据路径！

Step_4:配置mapred-site.xml文件

进入到相关目录，打开mapred-site文件，操作截图如下：

在打开的文件中添加相关配置信息，截图如下：

设置jobtracker的地址和端口号！

通过对上面三个文件的配置，最简单的伪分布式配置完成了！

第二部分：验证伪分布式开发环境是否搭建成功

通过第一部分对文件的修改，配置好了最简单的伪分布式，但不知道是否成功，第二部分，通过运行wordcount实例，用来测试是否配置成功！

Step_1:对hadoop的namenode格式化：

输入Y，完成格式化过程：

Step_2:启动hadoop并查询服务是否启动

使用java自带的jps命令查询出所有的守护进程：

Step_3:hadoop中用于监控集群的web页面：

dfs运行状态：http://localhost:50070/dfshealth.jsp

JobTracker信息界面：http:/localhost:50030/jobtracker.jsp

上述hadoop运行状态监控页面表明伪分布开发环境完全搭建成功！

第三部分：在伪分布式平台运行wordcount程序

通过第二部分，表明伪分布式开发环境搭建成，该部分通过实例，来测试伪分布式开发环境是否可以正常使用?

Step_1:在dfs中创建input目录：

此时创建的文件因为没有指定hdfs具体目录，所有会在当前用户下，创建input目录，查看web控制，操作截图如下：

Step_2:复制本地目录下的文件到dfs的input目录下：

可以在web端查看input目录下的文件，如下图所示

Step_3:在伪分户式模式下运行wordcount程序

由于之前单机模式下运行过，在目录下存储output目录，在执行中需要进行删除处理，运行wordcoutn程序，操作截图如下(注意操作目录)截图如下：

Step_4:查看程序运行结果：

在web端查看，截图如下：

通过命令行，显示运行结果截图：

此时在hadoop的web控制台会发现提交并运行成功的任务，截图如下：

第四部分：关闭Hadoop服务

通过四个部分，操作演示，Hadoop伪分布式环境搭建和测试完全成功，意味伪分布式能够正常使用！