hadoop 大规模集群配置

大家可以去参考下这篇文章，写得非常好。http://wahaha603.iteye.com/blog/1397800

上篇文章中我有提到让所有的机器都互相实现无密码ssh是比较麻烦的一个部分。但是实践中幸好我们不需要做那么多。我们其实只是需要让master机器可以不需要密码ping通所有的slaves机器。主要是因为namenode和jobtracker运行在master里，在程序运行的过程中，需要无密码地控制其余的slave机器。所以我们才需要把master的rsa_pub文件都附加到slave机器的authorized_keys文件中。

实现上面的方法主要有两种。

第一种是先用ssh-keygen 在master节点生成rsa的key，然后把rsa_pub复制到每台机器的tmp文件夹下，然后再在每台机器上同时执行

cat /tmp/id_rsa>>~/.ssh/authorized_keys.    这样每台机器上就有了master的public key.  于是master就可以无需密码就可以控制每台slave机器了。大功告成。

第二种我觉得比较简单。可以用linux的命令“ssh-copy-id  ip”(例 在master上运行 ssh-copy-id  172.16.0.1)就把master的public key自动加到了172.16.0.1的authorized_keys文件的末尾。在master节点写一个脚本，遍历所有的slave，就可以了。

至于hadoop的配置和jre的配置都是相同的，直接在一台机器上配置好，然后用scp -r 批量复制到所有的主机即可。