hadoop伪分布模式环境安装

一：本地模式配置

1.安装jdk，解压jdk到/opt/modules下

2.配置环境变量,修改/etc/profile

export JAVA_HOME=/opt/modules/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

3.解压hadoop到/opt/modules下

4.配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh，添加java环境变量

export JAVA_HOME=/opt/modules/jdk1.7.0_67

5.在$HADOOP_HOME下新建一个input文件夹

6.拷贝$HADOOP_HOME/etc/hadoop文件夹下的所有xml文件到$HADOOP_HOME/的input目录下

启动：

bin/hadoop

二：伪分布式配置

|.HDFS配置

    1.  配置$HADOOP_HOME/etc/hadoop/core-site.xml，添加

    <!--hdfs文件系统所在的主机-->

     <property>

          <name>fs.defaultFS</name>

          <value>hdfs://hadoop-senior.ibeifeng.com1:8020</value>

     </property>

     <!--hadoop运行是的临时目录-->

     <property>

          <name>hadoop.tmp.dir</name>

          <value>/opt/modules/hadoop-2.5.0/data/tmp</value>

     </property>

2.配置$HADOOP_HOME/etc/hadoop/hdfs-site.xml，添加

<!--hdfs文件系统上默认存储的备份数量-->

     <property>

          <name>dfs.replication</name>

          <value>1</value>

     </property>

3.配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改java环境变量

export JAVA_HOME=/opt/modules/jdk1.7.0_67

格式化文件系统

$ bin/hdfs namenode -format

启动NameNode和DataNode

$ sbin/start-dfs.sh

停止NameNode和DataNode

$ sbin/stop-dfs.sh

||.YARN配置

    1.配置$HADOOP_HOME/etc/hadoop/yarn-env.sh

    export JAVA_HOME=/opt/modules/jdk1.7.0_67

    2.配置$HADOOP_HOME/etc/hadoop/yarn-site.xml

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!--resourcemanager节点的主机名-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop-senior.ibeifeng.com1</value>

    </property>

    3.$HADOOP_HOME/etc/hadoop/yarn-env.sh

        export JAVA_HOME=/opt/modules/jdk1.7.0_67

    4.$HADOOP_HOME/etc/hadoop/yarn-site.xml

        <!--NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序-->

     <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <!--resourcemanager节点的主机名-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoop-senior.ibeifeng.com1</value>

    </property>

    5.$HADOOP_HOME/etc/hadoop/mapred-site.xml

    <!--指定mapreduce在yarn上运行-->

     <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

   

    6.$HADOOP_HOME/etc/hadoop/slaves

    hadoop-senior.ibeifeng.com1

启动ResourceManager和NodeManager

$ sbin/start-yarn.sh

停止ResourceManager和NodeManager

$ sbin/stop-yarn.sh