Fedora 20下Eclipse Ingido中配置hadoop插件,并运行Wordcount例程
来源:互联网 发布:淘宝开店怎么找不到了 编辑:程序博客网 时间:2024/06/06 08:35
1. 启动hadoop
进入root权限,进入Hadoop安装目录$HADOOP_HOME
执行Bin/start-all.sh
Jps查看hadoop进程
2. 启动eclipse
进入eclipse的安装目录,在root权限下运行eclipse
./eclipse& 后台运行以便进行其它操作。
3. Eclipse装Hadoop插件
Window->preference->HadoopMapReduce 设置好Hadoop的安装目录
/usr/programFiles/hadoop-1.0.1
Eclipse中本没有hadoop插件,
按照http://www.cnblogs.com/chenying99/archive/2013/05/09/3069228.html 安装eclipse的hadoop插件
4. 配置Map/Reduce Locations
Windows->Show View->Map/Reduce Locations 打开Map/ReduceLocations
右键->New Hadoop Location
填入mapred-site.xml、core-site.xml中配置的地址及端口,如下所示:
5. 新建项目
File-->New-->Other-->Map/Reduce Project,项目名可以随便取如WordCount_root。
复制 hadoop安装目录/src/example/org/apache/hadoop/examples/WordCount.java到刚才新建的项目WordCount下,修改WordCount.java首行package为mypackage。
6. 在hadoop安装目录下创建文件夹:
在/usr/programFiles/hadoop-1.0.1下创建test_wordCount_0103
在test_wordCount_0103文件夹下创建file0、file1文件,分别写入一些单词。
在HDFS分布式文件系统中创建目录input:bin/hadoop fs –mkdir input
7. 将数据从Linux文件系统复制到HDFS分布式文件系统中
bin/hadoop fs –put/usr/programFiles/hadoop-1.0.1/test_wordCount_0103 input
8. Run
右键项目->Run As->Run Configurations
点Java Application,右键-->New,这时会新建一个application名为WordCount。
配置运行参数,点Arguments,在Program arguments中输入你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹,如下图所示。注意这里的output一定是不存在的文件,存在就会报错!
点击Run,运行程序。
9. 查看结果
bin/hadoop fs –ls output
bin/hadoop fs –cat output/part-r-00000 或者直接output/*也行
其中input的内容是:
- Fedora 20下Eclipse Ingido中配置hadoop插件,并运行Wordcount例程
- Eclipse运行Hadoop WordCount例程
- hadoop学习之HDFS(2.1):linux下eclipse中配置hadoop-mapreduce开发环境并运行WordCount.java程序
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- Eclipse配置Hadoop环境并运行WordCount样例
- eclipse配置hadoop开发环境并运行WordCount小程序
- Hadoop Eclipse下运行WordCount
- 在windows7下Eclipse中运行Hadoop的WordCount程序
- Eclipse连接远程Hadoop集群&运行WordCount例程
- 配置Hadoop单机模式并运行Wordcount
- Eclipse下运行Hadoop测试WordCount
- Hadoop eclipse插件安装和在eclipse运行wordcount程序
- eclipse中配置hadoop开发环境-----删除之前版本的hadoop插件、编译hadoop eclipse插件、安装插件、eclipse下运行hadoop程序
- 在eclipse中配置hadoop插件并尝试运行一个小程序
- Hadoop中运行WordCount
- Ubuntu中安装配置hadoop 2.6.0并编译运行WordCount
- 配置Hadoop伪分布模式并运行Wordcount示例
- UITextView:定制选中文字的菜单和用代码选择文字
- 计算机操作系统——存储器管理(6)
- modem建链过程详述
- 即使没有读者,你应该写博客(You should blog even if you have no readers)
- poj 2524 Ubiquitous Religions
- Fedora 20下Eclipse Ingido中配置hadoop插件,并运行Wordcount例程
- SQL join
- .net序列化及反序列化
- Eclipse快捷键大全
- 九度:题目1008:最短路径问题
- zsh 使用 安装
- 两个数组比较,去掉重复的数据后生成第三个数组,这个怎么实现?
- Pajek的数据录入与参数计算
- 嵌入式MODEM通迅技术