使用eclipse连接hadoop失败情况

INFO: Retrying connect to server: vincent/192.168.56.101:9000. Already tried 0 time(s); maxRetries=45
INFO: Retrying connect to server: vincent/192.168.56.101:9000. Already tried 1 time(s); maxRetries=45

INFO: Retrying connect to server: vincent/192.168.56.101:9000. Already tried 2 time(s); maxRetries=45

因为是第一次在windows上通过eclipse连接hadoop

最开始一度以为是因为windows本身并不是hadoop node中的一员，所以无法访问。然后尝试把windows的公钥发布到ubuntu上面，让windows像其他datanode一样可以免密码登陆但是无济于事，然后又考虑是不是因为windows本身的登陆用户不是hadoop，造成的无法登陆呢，这个思考点是因为hadoop节点本身需要所有的node都是用hadoop(不一定是hadoop，但一定要求相同)作为用户名，才可以互相成功组成集群，否则master node会以mastr node的用户名登陆其他节点，造成无法登陆，也就使得hadoop无法成功启动。但其实对windows这个外部节点来说，并不是要求这样。网上也有很多人说需要修改windows本身的登陆用户，但是估计是因为他们都在windows上安装了hadoop，并且作为了hadoop的一个节点，才需要这样做的吧。

3 开始使用eclipse的hadoop插件来解决这个问题，但是插件同样也碰到了这个相同的无法连接的问题。会一直处于listing状态，最后报错。

以为是插件配置上造成的连接问题，所以查看了很多配置插件的文章，但是没有什么结果

因为是hadoop 1.2.1的插件，这个版本中没有hadoop.job.ugi的配置项目。

4 还有很多人帖子里面提到要关闭掉hadoop node的防火墙，经过查看，我的所有node的防火墙已经处于关闭状态

由于LInux原始的防火墙工具iptables过于繁琐，所以ubuntu默认提供了一个基于iptable之上的防火墙工具ufw。

ubuntu 9.10默认的便是UFW防火墙，它已经支持界面操作了。在命令行运行ufw命令就可以看到提示的一系列可进行的操作。

最简单的一个操作：sudo ufw status可检查防火墙的状态，我的返回的是：不活动

开启/关闭防火墙 (默认设置是’disable’)

sudo  ufw enable|disable

5 因为hadoop运行之后，可以在master node上通过50030端口访问到hdfs管理页面。所以我开始考虑能否在windows上访问到这个界面。结果是失败。

但是这个失败的访问导致我开始怀疑真正我连接master node失败的原因是网络连接的问题。

然后看到有人提议说，先检查下master node上的9000端口是否开启了，可以通过telnet的方式测试。

[html] view plaincopy

1. telnet 192.158.56.101 9000  

然后首先发现win7系统中telnet是禁用状态的。需要手动开启

如上图中，Control Panel-> Turn Windows features on or off -> 勾选Telnet Client。就可以打开telnet功能了。

然后在CMD中开始测试，但是很明显无法连接到对方的9000端口。这个时候我猜想应该是windows本身的防火墙功能屏蔽了telnet。电脑上安装的是赛门铁克，通过services.msc进入服务项，关闭相应的服务，然后再次尝试

上图就是telnet成功连接之后的图片，不过没有什么返回信息。

并且同时也可以通过浏览器访问master node 上的50030和50070端口，查看hadoop集群信息页面了。到此大功告成。无论是eclipse中的项目还是插件都可以访问到hadoop了。

总结：在这整个过程中学习了很多东西，但是最终发现竟然是本身windows上防火墙的原因，让我哭笑不得。如果hadoop运行过程中碰到什么问题，查看log是个很好的方法。

问题：最终的解决方案，带来了一个问题，就是为什么开着防火墙就无法访问呢，也许是防火墙没有开放这些端口吧。

http://blog.csdn.net/yunlong34574/article/details/21331927