hadoop单机模式的构建、配置与运行测试步骤(ubuntu14.04)

PS：全程以root的角色进行配置安装

本篇文章的前期准备工作可以看我之前的博客链接：

以root用户身份登录：http://blog.csdn.net/henni_719/article/details/77715021

关于文件夹共享：http://blog.csdn.net/henni_719/article/details/77680168

参照上面两篇文章，设置好机器环境和准备好文件包，这篇文章是以下载好相应的jdk、hadoop文件的前提下进行直接安装和环境配置!

第一部分：安装JAVA

创建目录/usr/lib/java，复制jdk文件到该目录下解压jdk文件，操作截图如下所示：

修改环境变量：

执行命令source ~/.bashrc命令使配置文件修改生效，并检验java是否安装成功：

第二部分 配置Hadoop单机模式

1.1安装并配置

ssh，Hadoop是采用ssh通信，安装ssh，执行命令：

安装成功之后，启动ssh服务，执行ps -e | grep ssh查看服务启动：

sshd服务没有启动，关于这个问题，我的操作方方法如下：

1.卸载ssh：apt-get purge ssh

2.安装如下ssh服务：apt-get install openssh-client 与apt-get install openssh-server

执行完上诉两步，执行命令：

/etc/init.d/ssh start 启动ssh服务

通过命令ps -e | grep ssh，查看ssh服务

PS:如果情况上图所示或者没有任何服务，个人建议重启机器，执行启动ssh服务与查看命令!

我操作结果如下，能成功启动ssh服务：

SSH正常启动后。设置免密登录，生成私钥和公钥，操作步骤如下：

在/root/.ssh中生成两个文件：id_rsa和id_rsa.pub，id_rsa为私钥，id_rsa.pub为公钥，将公钥id_rsa.pub追加到authorized_keys中，因为authorized_keys用于保存所有允许以当前用户身份登录到客户端的公钥内容并验证能否免密登录：

连接的时候弹出：Connection refused。这种问题可能是由于防火墙没有关，执行命令如下：

然后在执行命令：ssh localhost，截图如下：

如上图所示表示登录成功，执行命令：exit，退出localhost：

2.2安装rsync

2.3安装并配置hadoop

由于我创建的共享目录，设置了只读权限，我进行如下操作来解压hadoop压缩文件，截图如下：

创建目录：/usr/local/hadoop执行命令：mkdir /usr/local/hadoop，由于我创建个该目录，截图中缺少该步骤，把解压的文件移动到创建的目录中，在图中红色标注了：

在hadoop-env.sh中配置安装信息。执行图中步骤，显示该文件中的信息，截图如下：

执行命令：gedit hadoop-env.sh，在文件中添加的信息如下图所示：

执行命令：source hadoop-env.sh，使修改的配置信息生效。

为了方便开机启动时可以立即使用hadoop的病目录下的相关命令，可以把bin目录配置到“~/.bashrc”文件中，开启启动系统自动读取“~/.bashrc”文件的内容，就可以随时使用hadoop名。执行命令：gedit ~/.bashrc，修改文件配置如下所示：

执行命令：source ~/.bashrc检验hadoop配置成功如下：

第三部分 运行Hadoop自带的WordCount例子

在hadoop的目录(usr/local/hadoop/hadoop-1.2.1)下创建一个input目录，并把conf下的所有文件复制到该目录下，然后使用hadoop命令运行自带的wordcount程序把结果输出到output中，操作截图如下：

运行完部分截图：

执行查看运行结果命令：

上述命令执行后显示出wordcount运行中input中若干个文件中单词统计结果，给出结果部分的一部分截图：

至此，单机模式的构建、配置和运行测试彻底成功！以上都是自己实际操作和问题处理，如有问题可以私信我！