hadoop-1.2.1完全分布式安装

配置hadoop集群
首先选准备3台liunx机器（我用的Ubuntu虚拟机）
Ubuntu 还是 Centos 随便
192.168.1.101    h1 (准备装成namenode)
192.168.1.102    h2 (准备装成datanode)
192.168.1.103    h3 (准备装成datanode)
首先，联通这3台机子的使用ssh免密钥：
我自己使用的都是root用户，因为懒的使用其他用户还要赋值权限
生成ssh密钥 命令：    
[root@h1 ~]# ssh-keygen -t rsa
Enter file in which to save the key (/root/.ssh/id_rsa): （id_rsa）
Enter passphrase (empty for no passphrase): （密码）
Enter same passphrase again: （再输入密码






完成后进入 /root/.ssh/ 路径下
拷贝 id_rsa.pub 名字为 authorized_keys
cp id_rsa.pub authorized_keys


OK! h1的机子搞完 然后按照上面的步骤把 h2 h3 都生成一边 ssh密钥
接下来要把 h2 h3 的 authorized_keys 里面的内容 都复制到 h1的authorized_keys里面 保证里面所有的公钥都在，


配置下hosts 文件
root@h1:~# vim /etc/hosts                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                
127.0.0.1   localhost
127.0.1.1   ubuntu                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              
192.168.1.101   h1
192.168.1.102   h2
192.168.1.103   h3


把h1的authorized_keys 拷贝给h2 和 h3
scp -r /root/.ssh/authorized_keys h2:/root/.ssh/authorized_keys
scp -r /root/.ssh/authorized_keys h3:/root/.ssh/authorized_keys


这样以后就可以免密钥通信了 如果想试试的话 可以使用  # ssh h2 命令连过去  在 #exit 退出。
顺便也把刚才修改的hosts文件也拷贝过去 省得改了
scp -r /etc/hosts h2:/etc/hosts
scp -r /etc/hosts h3:/etc/hosts




下载hadoop1.2.1


接下来我们要修改几个配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
masters
slaves


修改第一个 vim hadoop-env.sh
# The only required environment variable is JAVA_HOME.  All others are
# optional.  When running a distributed configuration it is best to
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.
# The java implementation to use.  Required.
#这里默认是被注释掉的 现在取消注释 并修改为jdk路径
 export JAVA_HOME=/usr/local/jdk
# Extra Java CLASSPATH elements.  Optional.
# export HADOOP_CLASSPATH=
# The only required environment variable is JAVA_HOME.  All others are
# optional.  When running a distributed configuration it is best to
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.
# The java implementation to use.  Required.
 export JAVA_HOME=/usr/local/jdk
# Extra Java CLASSPATH elements.  Optional.
# export HADOOP_CLASSPATH=


修改第二个 vim core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.1.101:9000</value>
</property>
<name>hadoop.tmp.dir</name>
<!-- 目录如果不存在，需要手动创建 -->
<value>/root/hadoop-1.2.1/tmp</value>
</property
</configuration>
ip的位置也可以写域名 h1 


修改第三个 vim hdfs-site.xml
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/root/hadoop-1.2.1/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/root/hadoop-1.2.1/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>


修改第四个 vim mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.1.101:9001</value>
</property>
</configuration>


修改第五个 vim masters.xml
//里面写master节点的ip或域名
h1


修改第六个 vim slaves.xml
//里面写data节点的ip或域名
h2
h3


配置另外两台
root@h1:~# scp -r /root/hadoop-1.2.1 h2:/root/hadoop-1.2.1
root@h1:~# scp -r /root/hadoop-1.2.1 h3:/root/hadoop-1.2.1


格式化
bin/hadoop namenode -format


启动
bin/start-all.sh




http://jueshizhanhun.blog.51cto.com/4372226/1387535