win7 安装hadoop2.2.0

来源:互联网 发布:开源电商系统 php 编辑:程序博客网 时间:2024/05/01 20:52

 想了解hadoop,所以就下了最新的文件,搭建相关的环境,以下为自己在win7上搭建hadoop的相关步骤。

        1、下载hadoop,用winRAR解压。(路径不能有空格)

        2、安装java,此处就不做讲解了。(java路径不能有空格)

        3、配置hadoop的环境变量HADOOP_HOME=”HADOOP的安装目录”

        4、在环境变量的PATH中加入HADOOP的安装目录/bin

        5、修改hadoop目录下etc/hadoop/hadoop-env.cmd文件中的JAVA_HOME变量为当前java的安装路径。

        6、下载hadoop-commin-2.2.zip,因为在windows下运行,压缩包里面缺少 winutils.exe, hadoop.dll等文件,下载完成后,将要报下面的bin目录下的所有文件全部拷贝到hadoop目录下的bin文件夹下。

        7、修改配置文件,以下四个文件全部在hadoop目录下的etc/hadoop目录下

我的Hadoop解压缩目录是D:\Hadoop_2_4_0,以下简称h_home

首先,修改%h_home%\etc\hadoop的hadoop-env.cmd脚本文件,在文件末尾增加环境变量定义。注意找到文件最初的JAVA_HOME设置,改成你的64位JDK路径,这一点一定要注意!比如我的:“set  JAVA_HOME=D:\OLD_JDK\jdk1.7.0_51”:特别注意路径不能有空格,加入有空格需要用java_home = C:\PROGRA~1\Java\jdk1.5.0_14代替java_home = C:\Program Files\Java\jdk1.5.0_09 或者"%java_home%"\bin\java 或者 "C:\Program Files"\Java\jdk1.5.0_09\bin\java

[plain] view plaincopy
  1. set HADOOP_PREFIX=D:\Hadoop_2_4_0 
  2. set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop  
  3. set YARN_CONF_DIR=%HADOOP_CONF_DIR%  
  4. set PATH=%PATH%;%HADOOP_PREFIX%\bin  

之后在该路径下找到或创建core-site.xml文件,修改内容如下:

[html] view plaincopy
  1. <configuration>  
  2.   <property>  
  3.     <name>fs.default.name</name>  
  4.     <value>hdfs://0.0.0.0:19000</value>  
  5.   </property>  
  6. </configuration>  

接下来是 hdfs-site.xml 文件,一样的修改内容如下。配置文件默认使用\tmp目录作为hdfs文件的存储位置,比如我解压hadoop在D:\下,则它就会创建D:\tmp来存放HDFS文件系统。

[html] view plaincopy
  1. <configuration>  
  2.   <property>  
  3.     <name>dfs.replication</name>  
  4.     <value>1</value>  
  5.   </property>  
  6. </configuration>  

基本配置ok。

接下来我们配置一个YARN示例:

还是在该配置文件路径下,修改或者创建一个mapred-site.xml文件,路径下有个同名的模板文件,可以直接复制,然后修改其中的内容。注意替换配置文件中%USERNAME% 为你windows的用户名

[html] view plaincopy
  1. <configuration>  
  2.   
  3.    <property>  
  4.      <name>mapreduce.job.user.name</name>  
  5.      <value>%USERNAME%</value>  
  6.    </property>  
  7.   
  8.    <property>  
  9.      <name>mapreduce.framework.name</name>  
  10.      <value>yarn</value>  
  11.    </property>  
  12.   
  13.   <property>  
  14.     <name>yarn.apps.stagingDir</name>  
  15.     <value>/user/%USERNAME%/staging</value>  
  16.   </property>  
  17.   
  18.   <property>  
  19.     <name>mapreduce.jobtracker.address</name>  
  20.     <value>local</value>  
  21.   </property>  
  22.   
  23. </configuration>  

最后,创建yarn-site.xml文件,变更内容如下:

[html] view plaincopy
  1. <configuration>  
  2.   <property>  
  3.     <name>yarn.server.resourcemanager.address</name>  
  4.     <value>0.0.0.0:8020</value>  
  5.   </property>  
  6.   
  7.   <property>  
  8.     <name>yarn.server.resourcemanager.application.expiry.interval</name>  
  9.     <value>60000</value>  
  10.   </property>  
  11.   
  12.   <property>  
  13.     <name>yarn.server.nodemanager.address</name>  
  14.     <value>0.0.0.0:45454</value>  
  15.   </property>  
  16.   
  17.   <property>  
  18.     <name>yarn.nodemanager.aux-services</name>  
  19.     <value>mapreduce_shuffle</value>  
  20.   </property>  
  21.   
  22.   <property>  
  23.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
  24.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  25.   </property>  
  26.   
  27.   <property>  
  28.     <name>yarn.server.nodemanager.remote-app-log-dir</name>  
  29.     <value>/app-logs</value>  
  30.   </property>  
  31.   
  32.   <property>  
  33.     <name>yarn.nodemanager.log-dirs</name>  
  34.     <value>/dep/logs/userlogs</value>  
  35.   </property>  
  36.   
  37.   <property>  
  38.     <name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>  
  39.     <value>0.0.0.0</value>  
  40.   </property>  
  41.   
  42.   <property>  
  43.     <name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>  
  44.     <value>0.0.0.0</value>  
  45.   </property>  
  46.   
  47.   <property>  
  48.     <name>yarn.log-aggregation-enable</name>  
  49.     <value>true</value>  
  50.   </property>  
  51.   
  52.   <property>  
  53.     <name>yarn.log-aggregation.retain-seconds</name>  
  54.     <value>-1</value>  
  55.   </property>  
  56.   
  57.   <property>  
  58.     <name>yarn.application.classpath</name>  
  59.     <value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>  
  60.   </property>  
  61. </configuration>  


ok,全部配置都改完了。点击命令提示符(管理员)运行命令提示符,切换到hadoop的安装目录。进行以下操作

1、切换到etc/hadoop目录,运行hadoop-env.cmd脚本,设置当前命令窗口执行环境变量。

2、格式化HDFS文件系统(建议切换到bin目录然后执行命令):

[plain] view plaincopy
  1. %HADOOP_PREFIX%\bin\hdfs namenode -format  
[plain] view plaincopy
  1. 3、运行HDFS示例:  
[plain] view plaincopy
  1. %HADOOP_PREFIX%\sbin\start-dfs.cmd  


不报错的话,部署就ok了!!!

然后在cmd下切换目录到hadoop目录下的sbin目录下,运行start-all 会打开四个cmd窗口,可以打开浏览器输入 http://localhost:8042以及http://localhost:50070查看是否配置成功!

0 0
原创粉丝点击