Hadoop错误记录

来源:互联网 发布:薛杉杉同款毛衣淘宝 编辑:程序博客网 时间:2024/05/21 16:57

    在重启Hadoop时候遇到:INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

     其实错误有好几个简单记录下:

(1)查看Hadoop日志信息可以知道是否有配置信息错误

(2)查看 /etc/hosts是否配置正确

(3)进行 ../bin/hadoop namenode -format 记得选择的时候是 ** Y*** ,运行了几次y总以为成功了。。

 (4)使用jps查看守护进程,杀死后重启。。

使用Eclipse远程hadoop 由于前面安装的时候我选择的版本是1.2.1故,使用FIlezilla把hadoop的解压缩文件下载到window下,

下载Eclipse,Eclipse使用http://mirrors.neusoft.edu.cn/eclipse/technology/epp/downloads/release/kepler/R/eclipse-jee-kepler-R-win32-x86_64.zip下载

之后把plugin(可以从这里下载http://pan.baidu.com/s/1sjNdRkT)然后把插件放到eclipse的plugins中。重启eclipse

打开MapReduce:  window=========》》》open perspective ========》MapReduce


这里的hadoop的安装目录其实就是从linux下载的那个hadoop文件。。。

设置Hadoop Location 


这里的IP地址就是上次伪分布式安装的linux的ip地址。。。对了 Linux host里的ip地址也要改成跟这里一致的地址,不要设置localhost.....在设置后

启动hadoop可以通过 netstat -an |grep 9000 或者  netstat -an |grep 9001 查看服务是否启动。。。

在windows中可以通过打开telnet服务: telnet 172.16.89.85 9001 来测试是否可以连接。。。如果可以那么MapReduce的DFS Location就可以正确连接。。。。

最后成功的效果图:


。。。终于可以看到文件了。。。接下来就可以开发调试WordCount了。。。

在运行wordcount中可能遇到问题请参考。。http://blog.csdn.net/square_l/article/details/11829847,,有些我也没运行成功。。。探索中。。

0 0