Ubuntu12 部署 Hadoop 全流程总结

环境：

VMware® Workstation 8.0.4 build-744019

ubuntu-12.04-desktop-i386.iso

jdk-7u7-linux-i586.gz

hadoop-0.20.203.0rc1.tar.gz

第一步：搭建虚拟机基础环境

至少需要3台虚拟机才能模拟hadoop的真实运行场景：一台作为master节点，跑namenode和jobtracker进程；两台作为slave节点，跑datanode和tasktracker。

具体过程：

1.安装VMware® Workstation 8.0.4 build-744019

2.使用ubuntu-12.04-desktop-i386.iso装一台虚拟机

3.安装jdk-7u7-linux-i586.gz，具体步骤参见：http://user.qzone.qq.com/26896185/blog/1346764350

4.设置虚拟机的网络连接为bridged模式，这样的话虚拟机就可以和宿主机器在同一个网段；

5.复制两台虚拟机，在VMware中修改机器名以方便识别，具体步骤参见：http://user.qzone.qq.com/26896185/blog/1346553654

6.用VMware加载复制出来的虚拟机，分别修改hostname文件（我将三台机器修改为masternode、slavenode1、slavenode2）：当使用VMware加载复制的虚拟机文件时，会提示“是否拷贝过”，选择“拷贝过”，vmware会自动帮修改mac地址等基本信息，但是hostname不会改动，所以复制后的虚拟机hostname和原来的虚拟机一致，千万别忘记手工修改  /etc/hostname 文件，主机名最好与 /etc/hosts 中的地址映射主机名保持一致！！！

7.为三台虚拟机配置固定IP ；

8.为三台虚拟机配置 /etc/hosts ；

9.为每台虚拟机创建专门用来管理Hadoop的用户账号（可以三台都相同，或者在复制之前就创建好,我建的用户是grid）；

10.配置SSH免登陆，具体步骤参见 http://user.qzone.qq.com/26896185/blog/1346862626

第二步：安装Hadoop

具体过程：

1.在目标目录解压hadoop安装包（我解压到/home/grid/hadoop）；

2.修改hadoop/conf/下的配置文件：hadoop-env.sh   ，   core-site.xml  ，hdfs-site.xml  ，mapred-site.xml  ， masters  ， slaves

hadoop-env.sh 文件主要修改如下语句，用于指明JDK位置：

# The java implementation to use.  Required.

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_07

 core-site.xml 文件主要编辑如下语句，用于指明namenode的域名/ip和端口：

 <property>

  <name>fs.default.name</name>

  <value>hdfs://masternode:9000</value>

 </property>

 <property>

  <name>hadoop.tmp.dir</name>

  <value>/home/grid/hadoop_tmp</value>

  <description>A base for other temporary directories.</description>

 </property>

hdfs-site.xml 文件主要编辑如下语句，用于指明namenode、datanode的数据存放位置，及数据副本的个数：

<property>

<name>dfs.name.dir</name>

<value>/home/grid/hadoop/namedata</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/grid/hadoop/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

mapred-site.xml 主要编辑如下语句，用于指明jobtracker进程所在节点的域名/ip和端口：

<property>

<name>mapred.job.tracker</name>

<value>masternode:9001</value>

</property>

masters文件添加master节点的域名或ip地址，我添加的是

masternode

slaves文件添加slave节点的域名或ip地址，我添加的是

slavenode1

slavenode2

3.向各节点复制hadoop文件夹；

4.在master节点上执行命令格式化namenode:hadoop/bin/hadoop namenode -format

5.启动hadoop:hadoop/bin/start-all.sh    (相反的关闭hadoop：hadoop/bin/stop-all.sh)

6.用jps检验各后台进程是否成功启动:进入到jdk安装目录，执行 bin/jps，在master节点应该能看到namenode、jobtracker、secondarynamenode 三个进程，在slave节点应该能看到datanode、tasktracker两个进程。

各种报错的解决办法请参见：

http://blog.csdn.net/u010967382/article/details/9069625  

和  

http://blog.csdn.net/u010967382/article/details/9069623