eclipse hadoop

来源:互联网 发布:怎么删淘宝评论 编辑:程序博客网 时间:2024/05/29 10:51

要用eclipse修改hadoop源码 比较方便的做法是先在eclipse上装eclipse-plugin-***插件 可以自己去编译HADOOP_HOME/src/eclipse-plugin,编译生成hadoop-eclipse-plugin-x.y.z.jar。我尝试了网上各种版本的方法,都没有编译成功,所以去下了一个别人编译好的jar包,放到eclipse安装目录下的plugin文件夹里,重启eclipse

如果安装成功了那么在windows->show view->others里面会找到map/reduce locations。点完之后会出现一个新界面,然后点new hadoop location


location name随便写一个,host就写集群对应的ip就行了(我是windows系统,在虚拟机里配置的hadoop,一开始在win里面写虚拟机IP并不能连接上,原因是hadoop配置文件里一开始配置的时候写的是localhost,改成虚拟机对外的IP就可以了),端口要写在hadoop配置文件里配置的端口号。配置结束保存。

注意 这个时候去Project Explore里看 看到DFS Locations 看到了Hadoop上的文件就对了。


map/reduce程序是需要打成jar包,然后传到虚拟机里,通过hadoop jar命令来执行的。

如果只是普通的操作hadoop文件系统的java程序,直接运行在本地就ok了。

注意文件路径要写成hdfs://192.168.222.128:9000/user/hadoop/*****。

然后就可以快乐的 写代码了。


0 0
原创粉丝点击