hadoop集群出现live nodes为1的解决方案

来源:互联网 发布:知乎怎么解除绑定手机 编辑:程序博客网 时间:2024/06/05 08:12
今天在部署hadoop集群时,通过http://10.22.39.6:50070查看每个datanode的状态时,发现live nodes的数量为1。

先说说自己hadoop集群的部署情况:
hadoop-master 10.22.39.6 master
hadoop-slave1 10.22.39.7 slave
hadoop-slave2 10.22.39.8 slave
按照正常情况下,存活的datanode数量应该为2。而数量为1,说明hadoop的master节点和一个其中的一个datanode节点连接不上。

在每台机器上执行jps明命出显示:
27816 DataNode
27886 Jps
说明DataNode是启动成功的。

通过http://10.22.39.6:50070页面查看只可以显示10.22.39.8一个节点,而10.22.39.7无法显示。

进去10.22.39.7服务器,打开hadoop-2.6.5/logs文件夹下的hadoop-hadoop-datanode-hadoop-slave1.log文件,发现了一个警告:org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: hadoop-master/127.0.1.1:8020。该警告显示无法连接到hadoop-master服务器,IP地址为127.0.1.1,端口为8020。出现这个问题一般是在\etc\hosts文件中配置hadoop-master主机名对应的IP地址不准确引起的。查看该文件
127.0.0.1 localhost
127.0.1.1 hadoop-master

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
10.22.39.6 hadoop-master
10.22.39.7 hadoop-slave1
10.22.39.8 hadoop-slave2
看到上面第二行代码127.0.1.1 hadoop-master,这里指定了hadoop-master的IP地址为127.0.1.1。将其删除或注释掉。一个主机名只能和一个IP关联。

然后重启hadoop集群,live nodes的数量为2。



阅读全文
0 0
原创粉丝点击