hadoop测试时出现Too many fetch-failures错误

来源:互联网 发布:真人变卡通人物软件 编辑:程序博客网 时间:2024/05/18 23:54

由于Slaves配置都相同,因此建议,开始时建立两台虚拟机,一台配置Master,一台配置Slave,然后其它Slave在配置完成后克隆,再稍作修改。

下面的例子是以node1、node2、node3为例的,你只需要先配置node1、node2即可。
     说明:
     保证虚拟机的ip和主机的ip在同一个ip段,这样几个虚拟机和主机之间可以相互通信。
     为了保证虚拟机的ip和主机的ip在同一个ip段,虚拟机连接设置为Host-Only模式,虚拟机ip不要DHCP,要手动设置,防止重新开机后下面的配置文件失效。虚拟机网络设置请参考本博客前面介绍虚拟机网络搭建的文章。

     准备机器:一台master,若干台slave,配置每台机器的/etc/hosts保证各台机器之间通过机器名可以互访,例如:
     192.168.56.101 node1(master)   
     192.168.56.102 node2 (slave1)   
     192.168.56.103 node3 (slave2)

     除了修改/etc/hosts文件,还要修改/etc/hostname,改为对应的node1或者node2、node3,否则测试时会出现Too many fetch-failures错误。
     主机信息:  

机器名  IP地址作用node1192.168.56.101NameNode、JobTrackernode2192.168.56.102DataNode、TaskTrackernode3192.168.56.103DataNode、TaskTracker
0 0
原创粉丝点击