window 下安装Hadoop2.7.2教程

来源:互联网 发布:密码签到软件破解 编辑:程序博客网 时间:2024/06/07 01:32

window 下安装Hadoop2.7.2教程
安装Hadoop首先确保自己本地安装的jdk以及配置好了jdk的环境变量
首先在Hadoop官网下载Hadoop的文件,下载地址:
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
选择hadoop-2.7.2.tar.gz 下载完成之后解压,在window上面安装还需要下载Hadoop.dll文件和winutils.exe文件,下载地址:https://github.com/sardetushar/hadooponwindows/tree/master/bin,选中文件进去点击右边下载即可,下载成功之后将下载的两个文件拷贝到自己本地的Hadoop文件的bin目录下面。
上述工作都完成之后,我们开始配置Hadoop的环境变量,像配置Java环境变量一样,新建系统环境变量,变量名 HADOOP_HOME 变量值 D:\hadoop-2.7.2\hadoop-2.7.2 这里一定选择自己Hadoop的安装路径,我自己的安装在D盘下面,HADOOP_HOME配置成功之后再编辑path路径的值,在最后面加上 ;%HADOOP_HOME%\bin; 一定不能少了分号;配置成功之后全部确认。
然后我们测试安装是否成功,进入到Hadoop的bin目录下面,运行命令hadoop version 成功的会出现这里写图片描述
不成功的会出现一个这样的错误
这里写图片描述
不要着急,这里并不是我们上面配置的错误,而是我们在安装jdk,指定jdk的路径的时候window的路径出现空格的问题,在Hadoop里面不识别空格造成的,这里我们只需修改jdk环境变量的java_home的变量值即可,在这里我们将原有的带有空格的部分换成 C:\PROGRA~1 即可,jdk的安装就不多说了,这里一定要是自己本地的jdk安装路径,此时我们再次在bin目录下面输入命令hadoop version 就会出现上面成功的部分。
环境变量配置成功之后我们要配置Hadoop的基本文件配置:hadoop配置文件位于:hadoop/etc/hadoop下:core-site.xml / hdfs-site.xml / mapred-site.xml / yarn-site.xml
core-site.xml:

<configuration>     <property>         <name>fs.defaultFS</name>         <value>hdfs://localhost:9000</value>     </property>  </configuration>  

hdfs-site.xml:

<configuration>         <property>                      <name>dfs.replication</name>          <value>1</value>         </property>         <property>                     <name>dfs.namenode.name.dir</name>                                 <value>file:/hadoop/hadoop272/data/dfs/namenode</value>         </property>        <property>                    <name>dfs.datanode.data.dir</name>                <value>file:/hadoop/hadoop272/data/dfs/datanode</value>         </property>  </configuration>  

mapred-site.xml:

<configuration>         <property>            <name>mapreduce.framework.name</name>            <value>yarn</value>         </property>  </configuration>  yarn-site.xml:  <configuration>         <property>            <name>yarn.nodemanager.aux-services</name>            <value>mapreduce_shuffle</value>         </property>         <property>            <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>            <value>org.apache.hadoop.mapred.ShuffleHandler</value>         </property>  </configuration> 

格式化系统文件:

hadoop/bin下执行 hdfs namenode -format

待执行完毕即可,不要重复format。
格式化完成后到hadoop/sbin下执行 start-dfs启动hadoop

访问:http://localhost:50070
这里写图片描述
在hadoop/sbin下启动start-yarn,访问http://localhost:8088可查看 资源、节点管理
这里写图片描述

第一次搭建Hadoop环境,一切皆上网查找,不对的地方欢迎指正。
参考链接:http://blog.csdn.net/fly_leopard/article/details/51250443

原创粉丝点击