hadoop

Hadoop 1.0 环境

1) 下载 Hadoop 安装包：

在http://pan.baidu.com/s/1qXSN3hM 地址中可以找到hadoop-1.2.1-bin.tar.gz文件

使用securtCRT的rz功能上传hadoop-1.2.1-bin.tar.gz这个文件到虚拟机的系统中

2) 安装 Hadoop 安装包：

 1.首先将安装包解压缩：

tar zxvf  ./adoop-1.2.1-bin.tar.gz

2.Linux 终端执行 cd 进入相应目:

cd adoop-1.2.1/

3.新增 tmp 目录

mkdir /home/hadoop/hadoop-1.2.1/tmp

3) 配置 Hadoop：

1.使用 vim 修改 master 文件内容：

将 localhost 修改成 master：

2.修改 slaves 文件

slave1

slave2

准备设置几台 slave 机器，就写几个

3.修改 core-site.xml 文件：

<configuration>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.2.1/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.2.55:9000</value>
</property>
</configuration>

【注意】中间的 ip 地址，不要输入 192.168.2.55，本机ip

4.修改 mapred-site.xml 文件：

<configuration>
<property>
<name>mmapred.jod.tracker</name>
<value>http://192.168.2.55:9001</value>
</property>
</configuration>
【注意】记得 value 的内容要以 http 开头。

5.修改 hdfs-site.xml 文件：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
【注意】有几台lave机器，就设置成 几台。

6.修改 hadoo-env.sh 文件

新增 export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

7.修改本地网络配置：

编辑/etc/hosts 文件:sudo vi /etc/host

192.168.2.55 master
192.168.2.56 slave1

4) 复制虚拟机

根据自己需求，复制 2 到 3 台虚拟机作为 slave，同样要确认网络连接方式为桥接。

设置所有机器的 IP 地址

5) 建立互信关系

生成公私钥，在 master 机器的虚拟机命令行下输入 ssh-keygen，一路回车，全默认

复制公钥  复制一份 master 的公钥文件，cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

同样，在所有的 slave 机器上，也在命令行中输入 ssh-keygen，一路回车，全默认

在所有的 salve 机器上，从 master 机器上复制 master 的公钥文件：

scp master:~/.ssh/authorized_keys /home/hadoop/.ssh/

测试连接

在 master 机器上分别向所有的 slave 机器发起联接请求：

ssh slave1

【注意】记得一旦联接上，所有的操作，就视同在对应的 slave 上操作，所以一定要记得使用 exit 退出联接

6) 启动 Hadoop：

初始化：

在 master 机器上，进入/home/hadoop/hadoop-1.2.1/bin 目录启动执行./start-all.sh，如果中间过程提示要判断是否，需要输入 yes

输入 jps

查看进程是否都正常启动。如果一切正常，应当有如上的一些进程存在。

7) 测试系统

输入./hadoop fs –ls /能正常显示文件系统。如此，hadoop 系统搭建完成。

否则，可以去/home/hadoop/hadoop-1.2.1/logs 目录下，查看缺少的进程中，对应的出错日志。