hadoop 分布式 集群配置 笔记

使用了两天的时间，终于将这个hadoop的集群配置弄好了。参考了很多的网页，受益非浅。

SSH无密码登陆配置

首先谈一谈ssh的无密码登陆问题。

按照网上的说法，比如说A想无秘密登陆B。

那么在A上使用ssh-keygen命令产生密钥id_rsa，和id_rsa.pub。然后将id_rsa.pub拷贝到B的相应的用户的主目录下面就可以了。

cat 到 authorized_keys中。

但是简单的上面的方法，登陆时B还是会要求输入密码，可以采用chmod 644 authorized_keys 。

之后，又碰见过几次需要输入密码，我的方法是直接重复上面的步骤就可以了。

Java安装

Java的安装，到处下载Jdk，之前下载的后缀为.rpm.bin一直安装不了，最后在官网上面下载了一个后缀为.bin的自解压程序进行安装。

安装之后还需要修改/etc/profile文件。我的java是按爪功能在了/usr/lib/jvm/java-6-sun文件夹下面。

采用了一个master，三个slave。

按照网上的说法，配置hadoop中conf文件夹下来的xml文件。

core-site.xml

<configuration>    <property><name>hadoop.tmp.dir</name>    <value>/root/hadoop/tmp</value>    <description>A base for other temporary directories.</description>    </property>    <property>        <name>fs.default.name</name>        <value>hdfs://master:9000</value>          <description>              The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation.          </description>      </property>  </configuration>

hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-6-sun

hdfs-site.xml

<configuration>   <property>        <name>dfs.replication</name>        <value>2</value>    </property></configuration>

mapred-site.xml

<configuration>    <property>          <name>mapred.job.tracker</name>          <value>master:9001</value>               <description>The host and port that the MapReduce job tracker runsat.</description>     </property></configuration>

由于在/etc/hosts中设置的ip映射为：

127.0.0.1      localhost

127.0.1.1      ubuntu.ubuntu-domain    ubuntu

192.168.0.189 master
192.168.0.104  slave1
192.168.0.135  slave2
192.168.0.149  slave3

（在所有的master和slave中都是这样的一个配置）

所以，在masters文件夹中写入：

master

在slaves文件夹中写入：

slave1

slave2

slave3

之后还需要配置/etc/profile文件，在该文件中写入java和hadoop的home位置。

JAVA_HOME=/usr/lib/jvm/java-6-sun
JRE_HOME=/usr/lib/jvm/java-6-sun/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export JAVA_HOME
export JRE_HOME
export CLASSPATH
export PATH

HADOOP_HOME=/root/hadoop（在master和slaves上面，我都是将hadoop安装在了这个文件夹里面）
PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_HOME
export PATH

在后面增加了上面几行。

Hadoop集群的配置

之后将配置好了的hadoop拷贝到masters，slaves机器的/root/hadoop目录下。

本以为这个样子就大功告成了，可惜总是出现datanode连接不上namenode的问题。在datanode也就是slave上面查看datanode的日志时，的错误为：

2011-10-26 17:57:05,231 INFO org.apache.hadoop.ipc.RPC: Server at /192.168.0.189:9000 not available yet, Zzzzz...
2011-10-26 17:57:07,235 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 0 time(s).
2011-10-26 17:57:08,236 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 1 time(s).
2011-10-26 17:57:09,237 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 2 time(s).
2011-10-26 17:57:10,239 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 3 time(s).
2011-10-26 17:57:11,240 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 4 time(s).
2011-10-26 17:57:12,241 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: /192.168.0.189:9000. Already tried 5 time(s).

也就是datanode连接不上namenode。而在namenode上面显示：

2011-10-26 14:18:49,686 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000, call addBlock(/root/hadoop/tmp/mapred/system/jobtracker.info, DFSClient_-1928560478, null, null) from 127.0.0.1:32817: error: java.io.IOException: File /root/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
java.io.IOException: File /root/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1448)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:690)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
        at java.lang.reflect.Method.invoke(Method.java:597)
        at org.apache.hadoop.ipc.WritableRpcEngine$Server.call(WritableRpcEngine.java:342)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1350)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1346)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:396)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:742)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1344)

也就是说namenode也在试图将jobtracker.info存入hdfs文件系统中，而又存不进去。然后查了一下网上的说法，之后发现原来是/etc/hosts中的ip映射的问题。由于在master中/etc/hosts的配置为：

127.0.0.1      master

127.0.1.1      ubuntu.ubuntu-domain    ubuntu

192.168.0.189 master
192.168.0.104  slave1
192.168.0.135  slave2
192.168.0.149  slave3

因此可能存在一个优先匹配第一个碰见的问题，之后是将前两行注释掉(后来又将第一行改为了127.0.0.1 localhost)。然后在进行正常的hadoop format和启动，就可以连接上了。

最后可能还有时候出现错误datanode自动关闭的问题。解决这个问题的方法是删除所有masters，slaves中的tmp文件。然后format，重启就可以了。

还有一个步骤是更改了所有机器的hostname，但是不知道是不是必要的，虽然在/etc/hosts中的ip映射中说明了各个名称对应的ip，但是各个机器的hostname仍然是ubuntu。所以使用了命令 hostname临时改变了hostname，分别为对应的master,slave1,..这些名称。