hadoop 2.7.3 单机模式

1.下载hadoop包

   命令：wget https://archive.apache.org/dist/hadoop/core/stable/hadoop-2.7.3.tar.gz

   当前稳定版本的最新包

2.解压

   命令：tar -zxvf hadoop-2.7.3.tar.gz

3.修改配置文件

   hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml(mv mapred-queues.xml.template mapred-site.xml)，yarn-site.xml

  1.hadoop-env.sh

   修改export JAVA_HOME=java的目录

  2.core-site.xml

  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://服务器名称:9000</value>
  </property>

  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/hadoop运行时产生的文件目录</value>
  </property>

  3.hdfs-site.xml

  #备份几份

 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/namenode的目录</value>
    </property>

    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/datanode的目录</value>
    </property>

  4.mapred-site.xml

  #mapreduce运行在yarn上

  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>

  5.yarn-site.xml

 

  #resourceManager地址

  <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>服务器名称</value>
   </property>

  #获取数据的方式

    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>

  #mapreduce访问的地址
   <property>
      <name>yarn.resourcemanager.webapp.address</name>
      <value>服务器的ip:端口</value>
   </property>

4.安装jdk

   查看安装jdk

5.修改环境变量

   命令：vim /etc/profile

   在文件最下方写上
   export HADOOP_HOME=hadoop目录

   export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   保存之后，输入命令source /etc/profile

6.格式化namenode

   命令：hdfs namenode -format

7.启动

   命令：./start-all.sh

   提示：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh

8.ssh

   启动关闭过程中需要输入多次密码，非常麻烦，利用ssh免登陆解决。

   1.ssh-keygen -t rsa -P ''

   2.touch ~/.ssh/authorized_keys

   3.chmod 600 ~/.ssh/authorized_keys

   4.vim /etc/ssh/sshd_config

      打开注释

      RSAAuthentication yes
      PubkeyAuthentication yes
      AuthorizedKeysFile      .ssh/authorized_keys

  5.ssh-copy-id localhost

  6.service sshd restart

9.关闭防火墙

    命令：service iptables stop

10.访问网站

服务器ip:50070

服务器ip:8088

访问成功 ， 配置已完成。