hadoop 配置安装（分布式）

一．安装环境：Ubuntu Server 9.04
Node                 User                  Ip address      备注
NameNode      nkwangtong    10.68.8.109    NameNode,Jobtracker为同一台主机
Jobtracker        nkwangtong    10.68.8.109
Datanode         nkwangtong    10.68.8.110
                           nkwangtong    10.68.8.111
                           nkwangtong    10.68.8.112

二．安装步骤
1．安装配置Java
2．下载Hadoop 0.20.2安装包
http://apache.etoak.com/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz
3．解压到/home/nkwangtong/下，改名为Hadoop并添加权限
sudo tar xzf hadoop-0.20.0.tar.gz     //解压至当前路径
mv hadoop-0.20.0.tar.gz hadoop      //重命名为hadoop
sudo chown -R nkwangtong:nkwangtong hadoop //添加权限
4．更新 hadoop 环境变量
vi hadoop/conf/hadoop-env.sh
将  #export JAVA_HOME=/usr/lib/jvm/java-6-sun
改为  export JAVA_HOME=/usr/lib/jvm/java-6-sun
5．修改 hosts,将 IP 与主机名对应上
sudo gedit /etc/hosts
添加如下四行
10.68.8.109     StorageServer1.Race     StorageServer1
10.68.8.110     StorageServer2.Race     StorageServer2
10.68.8.111     StorageServer3.Race     StorageServer3
10.68.8.112     StorageServer4.Race     StorageServer4
6．配置 ssh(保证 masters 无需密码可 SSH 到 slaves)
在master和slave上都执行：
ssh -keygen -t rsa
然后就会在/root/.ssh/下面产生id_ras.pub的证书文件
在slave上通过scp将Master机器上的这个文件拷贝到Slave上。
scp nkwangtong@StorageSever1:/home/nkwangtong/.ssh/id_rsa.pub /home/nkwangtong/.ssh/109_rsa_pub
cat /home/nkwangtong/.ssh 109_rsa_pub >> /home/nkwangtong/.ssh/authorized_keys
7．配置 conf/masters,conf/slaves
vi conf/masters
添加：StorageServer1
vi conf/slaves
添加：
StorageServer2
StorageServer3
StorageServer4
8．配置 core-site.xml、hdfs-site.xml、mapred-site.xml
conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://StorageServer1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/nkwangtong/hadoop/tmp/</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/nkwangtong/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/nkwangtong/hdfs/data</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>10.68.8.109:9001</value>
</property>
</configuration>
9．通过scp拷贝hadoop到所有slave上。
10．运行
1) 格式化分布式文件系统,在 NameNode 上
sudo bin/hadoop namenode -format
2)启动hadoop
bin/start-all.sh
3)将本地文件 a 上传到 hdfs:
bin/hadoop dfs -mkdir test1
bin/hadoop dfs -mkdir test2
bin/hadoop dfs -put ~/a test1/a
4)执行例子
bin/hadoop jar hadoop-*-examples.jar wordcount test1/ test2/
5）查看结果
bin/hadoop dfs -cat test2/part-r-00000
11．可能遇到的错误
1）/home/nkwangtong/hdfs/一定要设为可写，否则会出现错误。每次format之后都会变成不可写，需手动添加权限。
2）若出现Could only be replicated to 0 nodes, instead of 1 这个错误，把safemode置于off:
bin/hadoop dfsadmin -safemode leave