hadoop常见问题汇总(二)

来源:互联网 发布:关闭445端口 编辑:程序博客网 时间:2024/05/16 12:21

在hadoop安装过程中会出现各种小问题,如权限问题等。下面就几个进行分析:

1. 

ERROR hdfs.DFSClient: Exception closing file /tmp/input2 : org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/input2 could only be replicated to 0 nodes, instead of 1
理解:这个问题,可以很清楚地看到是有节点没启动或者没连接上。这里replicated 是我们在配置文件中hdfs-site.xml中配置的,单节点都是配置的数字1,这里说应该是0,就说明找不到节点。经过几番折腾,知道是由于datanode节点没开的原因。所以出现这个问题,可以jps看你的节点datanode有没有开,如果没有,就找没开的原因。可以看datanode的日志分析 在/var/...下可以查看。jps之后NameNode SecondaryNameNode DataNode JobTracker TaskTracker都有才是正常的。

2. 

关于插件hadoop-eclipse-plugin-1.0.2.jar放到eclipse plugin中之后不能用的问题。这个插件里面缺少jar包,所以需要自己做一个能用的插件,具体参见http://hi.baidu.com/wangyucao1989/blog/item/279cef87c4b37c34c75cc315.html 注意几点,如果是Ubuntu apt-get install 安装的eclipse,那么插件放在/usr/lib/eclipse/plugin 中才有效。还有就是INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. 出现这个问题,一般是hadoop的配置问题。jps看有没有都开启,然后查看端口配置有没有错误。



原创粉丝点击