hadoop安装

SSH免密码登录参照博客（点击进入），本篇博客内容在该篇博客的基础上完成

3台机器均需在/etc/profile文件中配置java、hadoop的环境变量

进入到hadoop的根目录下，修改以下文件


修改hadoop-env.sh文件
export JAVA_HOME=/usr/java/jdk1.8.0_131 


修改core-site.xml文件
<configuration>
       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:8020</value>
       </property>
       <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
       <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/usr/hadoop/hadoop-2.7.4/tmp</value>
               <description>Abase for other temporary   directories.</description>
       </property>
        <property>
               <name>hadoop.proxyuser.u0.hosts</name>
               <value>*</value>
       </property>
       <property>
               <name>hadoop.proxyuser.u0.groups</name>
               <value>*</value>
       </property>
</configuration>


修改hdfs-site.xml文件
<configuration>
       <property>
                <name>dfs.namenode.secondary.http-address</name>
               <value>master:9001</value>
       </property>
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/hadoop/hadoop-2.7.4/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/usr/hadoop/hadoop-2.7.4/dfs/data</value>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>3</value>
        </property>
        <property>
                 <name>dfs.webhdfs.enabled</name>
                  <value>true</value>
         </property>
</configuration>


修改mapred-site.xml文件
<configuration>
          <property>                                                                  
　　　　　　　　<name>mapreduce.framework.name</name>
                <value>yarn</value>
           </property>
          <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>master:10020</value>
          </property>
          <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
       </property>
</configuration>


修改yarn-site.xml文件
<configuration>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>                                                                
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>master:8030</value>
       </property>
       <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>master:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
               <value>master:8033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>master:8088</value>
       </property>
</configuration>


修改slaves文件
slave1
slave2


将hadoop传输到slave1和slave2根目录
scp -r /usr/hadoop/hadoop-2.7.4 hadoop@slave1:~/
scp -r /usr/hadoop/hadoop-2.7.4 hadoop@slave2:~/
进入到slave1、slave2的/home/hadoop目录下，将master传过来的hadoop-2.7.4文件移动/usr/hadoop目录下,
若/usr目录下没有hadoop文件夹，记得重新创建。

第一次启动得格式化

./bin/hdfs namenode -format
启动dfs
./sbin/start-dfs.sh
启动yarn
./sbin/start-yarn.sh

在master、slave1、slave2机器下输入jps命令，查看显示内容

在master主机下，代开网址master:8088 master:50070两个网址查看内容