hadoop-1.2.0集群安装与配置

硬件环境1、windows 7 旗舰版 64位
2、VMware Workstation ACE 版 6.0.2
3、Redhat Linux 5
4、Hadoop-1.2.0

Windows
VM
[url=]虚拟机器Linux[/url]
IP
作用
Window 7 
64位
VMware Workstation 
Redhat1
192.168.24.250
NameNode、master、jobTracker
Redhat2
192.168.24.249
DataNode、slave、taskTracker
Redhat3
192.168.24.248
DataNode、slave、taskTracker



三、安装 VMware Workstation 和Redhat Linux 5
1、VMware Workstation和Redhat Linux 5的安装，网上到处都是，我也是在网上随便找的，你可以找写得更详细准确的，这里不再赘述，可参考：



注：当你在虚拟机上安装完一个Linux后，不要重复安装步骤，使用虚拟机带的克隆功能，可以很容易复制出多台一模一样的Linux。
可参考：

完成这一步骤后的效果

四、安装配置Hadoop
1、安装hadoop前先配置Linux
（1）更改三台机器的网络连接方式

选中要更改的虚拟机，右击-设置（Settings）

（2）以root用户登录Linux，设置IP地址和默认网关（三台机器都要设置）


输入vi /etc/sysconfig/network-scripts/ifcfg-eth0 ，（vi的使用不再赘述，不懂自己网上查）修改该文件内容为：

DEVICE=eth0
BOOTPROTO=static
IPADDR=192.168.24.250
GATEWAY=192.168.27.254
NETMASK=255.255.255.0
ONBOOT=yes


IP地址和默认网关根据自己需要进行设置

（3）配置虚拟机的主机名（三台机器都要设置）

输入vi /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=redhat1

（4）配置主机名与ip地址的对应关系（三台机器都要设置）

输入 vi /etc/hosts

127.0.0.1 localhost
192.168.24.250 redhat1
192.168.24.249 redhat2
192.168.24.248 redhat3



这是标准内容。去掉多余的，否则可能出现Hadoop在master查看live nodes为0


（5）关闭防火墙（三台机器都要设置）

输入 chkconfig iptables off    开机不启动防火墙
输入 service iptables  stop 关闭当前防火墙服务


当然也可以设置防火墙对hadoop放行，为了简单起见，我这里就直接关闭防火墙了。

（6）测试网络是否联通
设置完成之后，在每台虚拟机之间执行ping命令，保证虚拟机之间网络没有问题
如：ping 192.168.24.249

2、建立linux之间ssh无密码登录




到此为止，铺垫工作算是做完了。

3、安装和配置JDK（三台机器都要安装）




4、安装hadoop（三台机器都要安装）
（1）到hadoop官网下载hadoop1.2.0
（2）使用ftp上传到linux，如果不懂，可以参考我的文章：

（3）解压安装
进入hadoop-1.2.0.tar.gz所在的目录
输入：
tar -zvxf hadoop-1.2.0.tar.gz

即安装完毕

5、配置Hadoop（三台机器都要设置）
（1）配置hadoop环境变量
和设置jdk环境变量一样

命令：vi /etc/profile
在文件最后输入：
export HADOOP_HOME=/usr/local/hadoop-1.2.0
export PATH=$PATHHADOOP_HOME/bin


执行命令source /etc/profile   使profile生效



（2）配置hadoop运行参数

更改hadoop安装路径下/conf/hadoop-env.sh的文件（三台机器都要设置）

第9行加入export JAVA_HOME=/usr/java/jdk1.7.0_21

更改hadoop安装路径/conf/masters和slaves两个文件。（只配置192.168.24.250虚拟机）
masters中输入：192.168.24.250
slaves中输入：
192.168.24.249
192.168.24.248

配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。(三台机器都要设置)

core-site.xml:

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://192.168.24.250:9000</value>
        </property>
         <property>
                <name>hadoop.tmp.dir</name>
                <value>/tmp</value>
        </property>
</configuration>


hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>


mapred-site.xml：

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>192.168.24.250:9001</value>
    </property>
</configuration>


（3）格式化文件系统
命令：Hadoop  namenode  –format


至此hadoop已经安装配置完毕了。

五、测试

1、启动hadoop
在192.168.24.250机器上执行如下指令，启动hadoop安装目录bin下：
Start-all.sh   
对于hadoop来说，启动所有进程是鼻血的，但是如果有必要，你依然可以只启动HDFS（start-dfs）或MapReduce（start-mapred.sh）


Web浏览器监视HDFS文件系统状态和MAPREDUCE执行任务的情况。
HDFS文件系统

本帖最后由 易可 于 2013-8-9 23:21 编辑

、硬件环境1、windows 7 旗舰版 64位
2、VMware Workstation ACE 版 6.0.2
3、Redhat Linux 5
4、Hadoop-1.2.0

Windows
VM
[url=]虚拟机器Linux[/url]
IP
作用
Window 7 
64位
VMware Workstation 
Redhat1
192.168.24.250
NameNode、master、jobTracker
Redhat2
192.168.24.249
DataNode、slave、taskTracker
Redhat3
192.168.24.248
DataNode、slave、taskTracker



三、安装 VMware Workstation 和Redhat Linux 5
1、VMware Workstation和Redhat Linux 5的安装，网上到处都是，我也是在网上随便找的，你可以找写得更详细准确的，这里不再赘述，可参考：



注：当你在虚拟机上安装完一个Linux后，不要重复安装步骤，使用虚拟机带的克隆功能，可以很容易复制出多台一模一样的Linux。
可参考：



完成这一步骤后的效果


四、安装配置Hadoop
1、安装hadoop前先配置Linux
（1）更改三台机器的网络连接方式

选中要更改的虚拟机，右击-设置（Settings）



（2）以root用户登录Linux，设置IP地址和默认网关（三台机器都要设置）


输入vi /etc/sysconfig/network-scripts/ifcfg-eth0 ，（vi的使用不再赘述，不懂自己网上查）修改该文件内容为：

DEVICE=eth0
BOOTPROTO=static
IPADDR=192.168.24.250
GATEWAY=192.168.27.254
NETMASK=255.255.255.0
ONBOOT=yes


IP地址和默认网关根据自己需要进行设置

（3）配置虚拟机的主机名（三台机器都要设置）

输入vi /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=yes
HOSTNAME=redhat1

（4）配置主机名与ip地址的对应关系（三台机器都要设置）

输入 vi /etc/hosts

127.0.0.1 localhost
192.168.24.250 redhat1
192.168.24.249 redhat2
192.168.24.248 redhat3



这是标准内容。去掉多余的，否则可能出现Hadoop在master查看live nodes为0


（5）关闭防火墙（三台机器都要设置）

输入 chkconfig iptables off    开机不启动防火墙
输入 service iptables  stop 关闭当前防火墙服务


当然也可以设置防火墙对hadoop放行，为了简单起见，我这里就直接关闭防火墙了。

（6）测试网络是否联通
设置完成之后，在每台虚拟机之间执行ping命令，保证虚拟机之间网络没有问题
如：ping 192.168.24.249

2、建立linux之间ssh无密码登录




到此为止，铺垫工作算是做完了。

3、安装和配置JDK（三台机器都要安装）




4、安装hadoop（三台机器都要安装）
（1）到hadoop官网下载hadoop1.2.0
（2）使用ftp上传到linux，如果不懂，可以参考我的文章：

（3）解压安装
进入hadoop-1.2.0.tar.gz所在的目录
输入：
tar -zvxf hadoop-1.2.0.tar.gz

即安装完毕

5、配置Hadoop（三台机器都要设置）
（1）配置hadoop环境变量
和设置jdk环境变量一样

命令：vi /etc/profile
在文件最后输入：
export HADOOP_HOME=/usr/local/hadoop-1.2.0
export PATH=$PATHHADOOP_HOME/bin


执行命令source /etc/profile   使profile生效



（2）配置hadoop运行参数

更改hadoop安装路径下/conf/hadoop-env.sh的文件（三台机器都要设置）

第9行加入export JAVA_HOME=/usr/java/jdk1.7.0_21

更改hadoop安装路径/conf/masters和slaves两个文件。（只配置192.168.24.250虚拟机）
masters中输入：192.168.24.250
slaves中输入：
192.168.24.249
192.168.24.248

配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。(三台机器都要设置)

core-site.xml:

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://192.168.24.250:9000</value>
        </property>
         <property>
                <name>hadoop.tmp.dir</name>
                <value>/tmp</value>
        </property>
</configuration>


hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>


mapred-site.xml：

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>192.168.24.250:9001</value>
    </property>
</configuration>


（3）格式化文件系统
命令：Hadoop  namenode  –format


至此hadoop已经安装配置完毕了。

五、测试

1、启动hadoop
在192.168.24.250机器上执行如下指令，启动hadoop安装目录bin下：
Start-all.sh   
对于hadoop来说，启动所有进程是鼻血的，但是如果有必要，你依然可以只启动HDFS（start-dfs）或MapReduce（start-mapred.sh）


Web浏览器监视HDFS文件系统状态和MAPREDUCE执行任务的情况。
HDFS文件系统









2、运行hadoop自带的wordcount示例

依次执行命令：
echo “It is a dog”> input1
echo   "it is not a dog" > input2
hadoop fs -mkdir input
hadoop fs -copyFromLocal /root/input* input
hadoop jar /usr/local/hadoop-1.2.0/hadoop-examples-1.2.0.jar wordcount input output

可以查看运行状态



查看运行结果



至此全部成功！

六、总结
利用多台虚拟机模拟的hadoop集群环境基本搞定，剩下的就是根据需要再做详细的配置了。如果要移植到物理存在的机器上，只需把虚拟机上的安装方式直接搬过去用就可以了。
接下来，还会继续出一篇文章介绍eclipse连接远程hadoop集群进行开发，其中也涉及一些比较麻烦的问题，不过幸好都解决了，马上整理出来，期待吧。