Hadoop 安装异常处理

hadoop异常解析

一、网页访问异常

异常:linux下hadoop4使用desktop火狐浏览器无法访问hadoop1的网址：hadoop:50070

原因：hadoop1、hadoop2、hadoop3、hadoop4均要关闭iptables（防火墙）和SELinux（Security-Enhanced Linux）

SELinux简介：
SELinux(Security-Enhanced Linux) 是美国国家安全局（NSA）对于强制访问控制的实现，是 Linux历史上最杰出的新安全子系统。NSA是在Linux社区的帮助下开发了一种访问控制体系，在


这种访问控制体系的限制下，进程只能访问那些在他的任务中所需要文件。


我的hadoop配置：
master节点：hadoop1（basicserver）
slaves节点：hadoop2（basicserver）、hadoop3（basicserver）、hadoop4（desktop）


解决方案：
在hadoop1到hadoop4下分别关闭防火墙和SELinux
关闭防火墙:
service iptables stop   \\临时关闭，重启后失效
service ip6tables stop
chkconfig iptables off   \\永久关闭，重启后仍关闭；ip6tables意思为ipv6
chkconfig ip6tables off
关闭SELinux:
setenforce 0
注意：关闭防火墙的命令，在root下方可执行，在普通用户下报错。同样地，在hadoop用户下启动网卡，ifup eth0也会报错：Users cannot control this device.

结果：关闭防火墙后，即可正常访问，问题解决。

二、启用datanode数在网页不显示

异常:访问hadoop1网址：hadoop：50070下的datanodes，Datanode Information下的node节点数不显示，无节点。


原因:/etc/hosts文件配置有问题


解决方案：


有问题前我的hosts文件配置：


127.0.0.1   localhost hadoop1 localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.88.138 hadoop1
192.168.88.139 hadoop2
192.168.88.140 hadoop3
192.168.88.142 hadoop4


修改后的hosts文件：
hadoop1：


127.0.0.1 hadoop1
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.88.138 hadoop1
192.168.88.139 hadoop2
192.168.88.140 hadoop3
192.168.88.142 hadoop4


hadoop2：


127.0.0.1 hadoop2
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.88.138 hadoop1
192.168.88.139 hadoop2
192.168.88.140 hadoop3
192.168.88.142 hadoop4


hadoop3：


127.0.0.1 hadoop3
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.88.138 hadoop1
192.168.88.139 hadoop2
192.168.88.140 hadoop3
192.168.88.142 hadoop4


hadoop4：


127.0.0.1 hadoop4
#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.88.138 hadoop1
192.168.88.139 hadoop2
192.168.88.140 hadoop3
192.168.88.142 hadoop4


原因分析：
hosts文件是hostname->IP的一个映射方法，hosts文件一般如下格式：


第一部份：网络IP地址。


第二部份：主机名.域名，注意主机名和域名之间有个半角的点。


第二部份：主机名(主机名别名） ，其实就是主机名。


注意：::1 指的是ipv6的本地地址写法，相当于ipv4的本地地址是127.0.0.1


当然每行也可以是两部份，就是主机IP地址和主机名；比如 192.168.88.138 hadoop1


而如下写法产生歧义：127.0.0.1   localhost hadoop1 localhost4 localhost4.localdomain4
127.0.0.1后面第一个hostname为localhost，所以机器默认本机名为localhost，每台机器都如此，机器名重复，无法识别，所以节点数无法显示或者只能显示一个。
只要按上述方法，127.0.0.1 后面只写一个主机名hadoop1、hadoop2、hadoop3、hadoop4即可。


127.0.0.1   localhost hadoop1 localhost4 localhost4.localdomain4     
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.88.138 hadoop1
192.168.88.139 hadoop2
192.168.88.140 hadoop3
192.168.88.142 hadoop4