hadoop学习过程中遇到的问题记录

hadoop2.2.0 x86_64问题总结（持续更新）：
前提，hadoop正常启动，jps查看，所有都正常。

1.live node  为0

Answer：

stop-all后。删除dfs.namenode.name.dir和dfs.namenode.data.dir设置的两个文件夹下的内容。重新formate，start。

2.livenode 的个数和实际启动的datanode的个数不一致问题。

Answer：

所有slave中，配置core-site.xml文件中的fs.default.name中不应改写localhost。要写namenode的实际ip。

3.eclipse中一直提示 Call From xxx to xxx failed on connect

Answer：

run configration,检查run configuration的arguments的值。要与core-site.xml中的fs.default.name的值设置的ip一致。（一个是实际ip、一个是localhost也不行。）

4.DFS location中显示文件夹个数为0
（1）本来就没有文件.50070网页上查看dfs  filesystem,如果报错，还是live node 问题。
（2）有文件，还是因为live node问题。livenode问题解决后，刷新，就可以看到文件夹了。
显示为0时，可以尝试upload 文件，假如发现上传的文件的大小都是0.0b。应该就是有问题的。


5.网页查看各类信息
master's ip:50070    dfs
master's ip:9001    secondaryNameNode status

master's ip:8088    cluster

6.当jps查看到datanode无法启动：

Answer：

1. /etc/host 文件是否配置正确。我在试验过程中发现，127.0.0.1 后面只能加上locahost，假如写成12.0.0.1 localhost.localdomain，datanode都无法查看到。还有就是，下面写各个slave的ip时，不能光写ip，ip后面要加上name（我的是ip localhost.localdomain）

7.50070 无法查看到任务进度（程序能正常运行，job显示local）

Answer：

检查各个slave节点是否正常启动nodemanager。没启动的话，检查host 中ip问题；在yarn-site.xml尝试加入

  <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>master:8030</value>
       </property>
       <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>master:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
               <value>master:8033</value>
       </property>

“master”换成master的ip。

运行测试程序提示connection refused  -->  去掉所有hosts文件中127.0.0.1那一行试试。

（我目前的情况是，eclipse中只能local job，打包jar命令行运行才会集群。而且上面的connection refused第一次没出现后，后面又出现了。）

(个人遇到的问题总结，仅供参考)

在出现问题时，先查看一下相关的log文件。这样排错会稍微有目标点。