Hadoop在eclipse上实践之一——WordCount

1、新建一个Map-Reduce

eclipse的WIndows-->Preferences-->Hadoop Map-Reduce-->右边选择至本机的hadoop文件夹，apply

点击鼠标处，新加一个Map-Reduce Location，然后设置Location名称为local(自选)，Map-Reduce Master端口9001，DFS Master端口为9000，这个与配置文件mapred.xml与core-site.xml中保持一致。然后就会连接Hadoop Master（此处也是本机）并在上面新建对应文件，并在本地eclipse上显示。

重启eclipse，刷新之后才能看到新的状态，如图页面编辑Location。

fs.defualt.name：这个在General tab页已经设置了
mapred.job.tracker：这个在General tab页也设置了
dfs.replication：这个这里默认是3，因为我在hdfs-site.xml里面设置成了1，所以这里也要设置成1 

接下来就可以像java工程一样进行hadoop开发了。

2、新建一个Map-Reduce工程，然后将/home/cc/local/hadoop-1.2.1/src/examples/org/apache/hadoop/examples/WordCount.java拷贝到相应工程目录下，

在tmp目录下新建文件夹wordcount，然后在个人单机上新建input.txt，输入相应内容，Upload files to DFS，将input.txt导入。

以上可以用hadoop fs -mkdir 指令等实现

然后Run Configuration工程：Arguments  hdfs://localhost:9000/home/cc/local/hadoop-1.2.1/tmp/wordcount/input.txt   hdfs://localhost:9000/home/cc/local/hadoop-1.2.1/tmp/wordcount/out_result，设置输入文件及输出文件夹。