MapReduce-------------Win7下使用Eclipse玩转Linux端的MapReduce

来源：互联网发布：蘑菇软件是什么编辑：程序博客网时间：2024/06/06 03:14

重要参考网址：http://www.powerxing.com/hadoop-build-project-using-eclipse/

配置过程中需要注意以下几点：

1、Eclipse需要下载：hadoop-common-2.7.3.jar 和 hadoop-eclipse-plugin-2.7.0.jar 到 Win7的目录：E:\Eclipse64\eclipse\plugins(一定要注意版本) 下。

2、WIN7下需要配置与Linux系统配套的 hadoop.dll和winutils.exe文件到 Win7目录：E:\hadoop\hadoop-2.7.3\bin 内(一定要注意版本对应)。

3、Eclipse里需要设置的Define Hadoop location->Map/Reduce(V2)Master的port端口为Linux端mapred-site.xml内的“mapreduce.jobtracker.address”属性端口。

4、一定要把Linux端的core-site.xml、hdfs-site.xml和log4j.properties三个文件复制到工程的src文件目录下。

5、出现Permission denied错误时是没有配置：HADOOP_HOME 系统变量。或者在JAVA程序中添加：System.setProperty("hadoop.home.dir", "E:\\hadoop\\hadoop-2.7.3");

6、注意将Eclipse需要操作的HDFS中的工作目录设置成对所有用户可读可写： hadoop fs -chmod -R 777 /user/hadoop/hw2/

0 0