hadoop-1.0.4集群部署

一、安装准备

      1.操作系统 ubuntu 

      2.JDK1.6

      3.ssh免登录设置

      4.hadoop安装包下载

      5.两台主机：192.168.58.141/140，具有相同的用户hadoop,在/etc/sudoers下配置与root具有相同的权限

二、安装配置

      1.下载安装包到路径（自由选择）/opt/hadoop_insft/hadoop-1.0.4.tar.gz,并解压到目录下

       2.修改服务器主机名

            141 hadoop.main,140 hadoop.salves

       3.vi /etc/hosts修改两台主机hosts文件

     4.cd /opt/hadoop_insft/hadoop-1.0.4/conf 修改配置文件

         1）修改masters文件

         

         2）修改slaves文件

        

      3）修改hdfs-site.xml

       <configuration>
   <property>
        <name>dfs.name.dir</name>
        <value>/opt/hadoop_insft/hadoop-1.0.4/name</value>
    </property>


    <property>
        <name>dfs.data.dir</name>
        <value>/opt/hadoop_insft/hadoop-1.0.4/data</value>
    </property>


    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

    4）修改mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>hadoop.main:9001</value>
  </property>
</configuration>

 5）修改core-site.xml

<configuration>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://hadoop.main:9000</value>
  </property>


  <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop_insft/hadoop-1.0.4/tmp</value>
  </property>
</configuration>

5.将部署分发至各节点

scp -r /opt/hadoop_insft/hadoop-1.0.4 [e-mail]:/opt/hadoop_insft/hadoop-1.0.4

6.格式化分布式文件系统

 cd /opt/hadoop_insft/hadoop-1.0.4 进步安装目录，执行 bin/hadoop namenode -format

 此处如果是由单机部署拷贝来的项目需要将单机时候的文件删除，如 rm -r tmp

7.启动hadoop

8.检查是否部署成功

   

NameNode            http://192.168.58141:50070/

JobTracker           http://192.168.58141:50030/