hadoop2.2 在centos6.4上建立伪分布式集群

• 解压到opt目录下

          $ sudo tar -zxvf hadoop-2.2.0.tar.gz /opt

• 配置hadoop

         $  vim /etc/profile

   1)在/etc/profile文件的末尾加上以下配置

export HADOOP_HOME=/opt/hadoop-2.2.0export PATH=$PATH:${HADOOP_HOME}/binexport PATH=$PATH:${HADOOP_HOME}/sbinexport HADOOP_MAPARED_HOME=${HADOOP_HOME}export HADOOP_COMMON_HOME=${HADOOP_HOME}export HADOOP_HDFS_HOME=${HADOOP_HOME}export YARN_HOME=${HADOOP_HOME}export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

 为了让刚刚的设置生效，运行下面的命令

 $ source /etc/profile

 2)接下来修改Hadoop的hadoop-env.sh配置文件，设置jdk所在的路径：

$ vim etc/hadoop/hadoop-env.sh在里面找到JAVA_HOME，并将它的值设置为你电脑jdk所在的绝对路径# The java implementation to use.export JAVA_HOME=/usr/jdk1.6.0_45

 设置好之后请保存退出。

3)添加namenode和datanode目录

   mkdir -p $HADOOP_HOME/yarn/yarn_data/hdfs/namenode

   mkdir -p $HADOOP_HOME/yarn/yarn_data/hdfs/datanode

  注：请将$HADOOP_HOME替换成hadoop的安装目录

4）接下来请配置好一下几个文件（都在hadoop目录下的etc/hadoop目录下）：

     4.1) 编辑yarn-site.xml,加入以下配置：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

4.2)编辑core-site.xml，添加以下配置：

<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value> 
    <final>true</final> 
</property>

4.3)编辑hdfs-site.xml，添加以下配置：

  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/hadoop-2.2.0/yarn/yarn_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/hadoop-2.2.0/yarn/yarn_data/hdfs/datanode</value>
  </property>

  <property>
    <name>dfs.permissions</name>
    <value>false</value>
  </property>

4.4)编辑mapred-site.xml，添加以下配置：

<property>

   <name>mapreduce.cluster.temp.dir</name>

     <value></value>

     <description>No description</description>

     <final>true</final>

   </property>

   <property>

<name>mapreduce.cluster.local.dir</name>

<value></value>

    <description>No description</description>

     <final>true</final>

   </property>

注：如果该文件不存在，可通过复制mapred-site.xml.template文件而得。

5)修改/opt/hadoop.2.2的访问权限

      $ sudo chown -R username:usergroup /opt/hadoop2.2.0

6）初始化noamenode

      $ bin/hadoop namenode -format

      启动hadoop进程。依次执行以下命令：

           $   sbin/hadoop-daemon.sh start namenode

           $   sbin/hadoop-daemon.sh start datanode

           $  sbin/hadoop-daemon.sh start secondarynamenode

           $   sbin/yarn-daemon.sh start resourcemanager

           $   sbin/yarn-daemon.sh start nodemanager

           $   sbin/mr-jobhistory-daemon.sh start historyserver

     或者 执行以下两条命令:

            $ sbin/start-dfs.sh

            $ sbin/start-yarn.sh

     查看一下是否安装好了Hadoop，命令如下：

           $ jps

     输出

2624 JobHistoryServer

2050 SecondaryNameNode

1716 NameNode

1868 DataNode

2191 ResourceManager

2329 NodeManager

4230 Jps

    如果输出有NameNode、SecondaryNameNode、NodeManager、ResourceManager、DataNode这五个进程,那就恭喜你了，

    你的Hadoop已经安装好了！运行以下命令可以查看各服务状态：

http://localhost:50070

http://localhost:8088

http://localhost:19888

 如果需要停止以上服务，可依次运行以下命令：

 $ sbin/hadoop-daemon.sh stop namenode

 $ sbin/hadoop-daemon.sh stop datanode

 $ sbin/hadoop-daemon.sh stop secondarynamenode

 $ sbin/yarn-daemon.sh stop resourcemanager

 $ sbin/yarn-daemon.sh stop nodemanager

 $ sbin/mr-jobhistory-daemon.sh stop historyserver

  或者

        $ sbin/stop-dfs.sh

$ sbin/stop-yarn.sh