Hadoop完全分布式配置

环境：ubuntu、hadoop-1.2.1、jdk1.6.0_25

namenode:master(ip:192.168.168.137)

datanode:slave1(ip:192.168.168.136)、slave2(ip:192.168.168.135)

配置步骤：

（1）配置NameNode和DataNode

修改每台机器的/etc/hosts(包括namenode和datanode)

127.0.0.1                   localhost192.168.168.137             master192.168.168.136             slave1192.168.168.135             slave2

修改/etc/hostname（以master为例）

master

(2)在所有的机器上建立相同的用户

useradd cwpasswd 123456

成功建立grid用户后，输入用户密码就是该用户密码

（3）SSH设置

使用cw用户登录

在所有机器/home/cw下

mkdir .ssh

在namenode上生成密钥对

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

将文件复制到SLave主机在

$ scp authorized_keys slave1:~/.ssh/

$ scp authorized_keys slave2:~/.ssh/

输入：ssh slave1即可验证

网上的一些说法（参考）：

.ssh目录要设成700 有执行权限
authorized_keys要设成600 否则会出错
还有ssh 登陆要加入用户名的 比如
ssh root@localhost

（4）在所有机器上安装JDK

下载jdk-6u25-linux-i586.bin,安装到/usr/lib/jvm下，cd到usr/lib/jvm下

chmod u+x jdk-6u29-linux-i586.bin./jdk-6u25-linux-i586.bin

接下来要设置java的环境变量输入命令：

 gedit /etc/profile

在文件的最后添加以下语句：

JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_25
JRE_HOME=/usr/lib/jvm/jdk/jdk1.6.0_25/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/jt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH

保存退出，然后执行source /etc/profile即可。

输入java -version 命令，出现如下信息就表示配置成功

java version "1.6.0_25"

(5)在所有机器上安装配置Hadoop

首先在namenode上配置，配置后在分发到datanode上

在这里，下载hadoop-1.2.1.tar.gz，然后解压到/home/cw/下即可

tar -zxvf hadoop-0.20.203.tar.gz

接下来需要修改hadoop的conf文件夹下的配置信息：

修改hadoop-env.sh，加入如下语句，使得hadoop能够找到java的路径。：

export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_25

修改core-site.xml，如下：

<configuration><property><name>fs.default.name</name><value>hdfs://master:9000</value></property>

<property><name>hadoop.tmp.dir</name><value>/home/cw/tmp</value></property></configuration>

 注意：hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，在local和hdfs都会建有相同的目录，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。导致namenode启动不起来。

修改hdfs-site.xml，如下

<configuration><property><name>dfs.replication</name><value>3</value></property></configuration>

修改mapred-site.xml，如下：

<configuration><property><name>mapred.job.tracker</name><value>master:9001</value></property></configuration>

masters里写入作为namenode节点机器

master

slaves里写入作为datanode节点的机器

slave1

slave2

到此，hadoop的有关配置已经完成，namenode端通过如下命令把配置好的hadoop发送到各个datanode处：

scp -r hadoop-1.2.1 slave1:/home/cwscp -r hadoop-1.2.1 slave2:/home/cw

(6)

注意点：关闭所有机器上的防火墙，不然会导致datanode起不来

/etc/init.d/iptables stop

在namenode端cd到hadoop文件夹下，格式化分布式文件系统：

bin/hadoop namenode -format

下面接着在namenode端启动hadoop进程：

bin/start-all.sh

注意：如果这样的话会遇到错误，namenode可以启动，但是datanode启动不了，这是因为/home/cw/hadoop-1.2.1/hdfs/data的data文件夹没有权限，所以赋予data文件夹755权限：

chmod 755 data

如果没有其它差错的话，hadoop可以正常启动，并能够看到如下结果：

在namenode端用jps命令查看启动情况，如下：

xxxx Jpsxxxx Namenodexxxx Secondarynamenodexxxx JobTracker

然后可以通过如下地址来查看集群运行状况：

    http://centos1:50030    http://centos1:50070    http://centos2:50060

打完收工！！！

--------------------------------------------------------------------------------------------------------------------------

跑hadoop自带的wordcount程序

1、通过hadoop的命令在HDFS上创建/tmp/workcount目录，命令如下：bin/hadoop fs -mkdir /tmp/wordcount

 

2、通过copyFromLocal命令把本地的word.txt复制到HDFS上，命令如下：bin/hadoop fs -copyFromLocal /home/grid/word.txt  /tmp/wordcount/word.txt

 

3、通过命令运行例子，使用命令如下：bin/hadoop jar hadoop-examples-0.20.203.0.jar wordcount /tmp/wordcount/word.txt  /tmp/wordcount/out

 

4、查看运行结果，使用命令： bin/hadoop fs -ls /tmp/wordcount/out查看例子的输出结果，发现有两个文件夹和一个文件，使用命令查看part-r-00000文件， bin/hadoop fs -cat /tmp/wordcount/out/part-r-00000可以查看运行结果。