windows10（64x）平台下eclipse里运行hadoop2.2程序

来源：互联网发布：ip8823网络广播终端编辑：程序博客网时间：2024/06/07 16:46

今天总算可以抛开黑漆漆的linux系统，以可视界面运行hadoop了。おめでとうO(∩_∩)O

中间虽然也报了很多异常erro，包括缺少winutils.exe，没有输入路径等问题，不过一个一个解决了，最后整理出这样一份环境配置手册。

1、连接hadoop的hdfs

a.将hadoop-eclipse-plugin-2.2.0.jar放入eclipse的plugin中，重新启动eclipse

b.进入eclipse，连接hdfs。连接部分和效果部分如下。注意map/reduced对应mapred-site.xml文件，dfs master对应core-site.xml

c.配置下面的路径，目的是将所有的hadoop-jar包导入工程中注：该文件由来是linux-hadoop环境里配置好的hadoop文件夹拷贝到windows本机

2、配置windows大环境

将hadoop-common-2.2.0-bin-master.zip解压，（下载地址：http://download.csdn.net/detail/luoyepiaoxin/88600290）

配置环境变量，增加变量HADOOP_HOME，值是下载的zip包解压的目录，然后在系统变量path里增加$HADOOP_HOME\bin 即可。　　

3、新建mapreduce工程(wordcount为例)

a.创建log4j.properties文件
在src目录下创建log4j.properties文件，内容如下：
log4j.rootLogger=debug,stdout,R
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n
log4j.appender.R=org.apache.log4j.RollingFileAppender
log4j.appender.R.File=mapreduce_test.log
log4j.appender.R.MaxFileSize=1MB
log4j.appender.R.MaxBackupIndex=1
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n
log4j.logger.com.codefutures=DEBUG

b.拷贝wordcount源码到wordcount.java中

c.点击WordCount.java，右键，点击Run As—>Run Configurations，配置运行参数，即输入和输出文件夹
hdfs://hadoopm:8010/data/wordcount
hdfs://hadoopm:8010/output1 （其中output1为hdfs里原本没有的文件）

路径就是连接的dfs的路径，上图可供参考

最后run on hadoop即可~♪(^∇^*)

可以查看dfs文件，看运行结果

0 0