如何在linux下开发mapreduce应用程序(基于单机)
来源:互联网 发布:破解大陆封锁网络 编辑:程序博客网 时间:2024/06/07 18:59
开发环境:
操作系统:ubuntu10.10
jdk:java version "1.6.0_20" (ps:这个版本一定要在1.6以上),这个可以通过ubuntu软件中心下载
IDE:Eclipse
步骤:
1.下载hadhoop:到http://hadoop.apache.org/下载,我下载的是hadoop-0.20.2.tar.gz,解压;
2. 解压后,在hadoop-0.20.2/contrib/eclipse-plugin/下有hadoop-0.20.2-eclipse-plugin.jar,将这个jar包拷贝到eclipse安装目录下的plugins里,然后打开eclipse,点击主菜单上的window—preferences,在左边栏中找到Hadoop Map/Reduce,点击后在右边对话框里设置hadoop的安装路径即主目录;
3.在eclipse中创建一个MapReduce Project,点击eclipse主菜单上的File—New—Project,在弹出的对话框中选择MapReduce Project,之后输入Project的名字;
4.测试:在hadoop-0.20.2/src/examples/org/apache/hadoop/examples目录下有个WordCount.java,将它加到project的src,在project的目录下创建一个in文件夹,在这个文件夹里面创建一个文本文件,里面写些东西,在run configurations的program arguments中加入in 和out就可以运行了;
5.结果:运行完毕后,可以在project的目录下找到一个out文件夹,打开后,里面有一个文本文件,打开后就是单词的统计信息了,如下:
baby 1
come 1
on 1
wero 2
word 3
平台搭建成功,接下来就可以在上面开发自己的应用程序了.......
- 如何在linux下开发mapreduce应用程序(基于单机)
- 如何在linux下安装应用程序qq
- Linux下maven开发MapReduce
- Sqlite数据库在各种平台下的C语言应用程序开发(windows,linux,arm-linux)
- 如何在linux终端下编写C++应用程序
- 使用Mono 在 linux 下进行.net应用程序开发
- 在linux下如何进行流媒体开发
- 如何在linux 下开发memcached
- 如何在linux下开发C++项目
- 4 开发MapReduce应用程序
- CentOS linux 下rabbitmq基于单机的集群配置
- 如何在linux嵌入式开发板上开机自动运行用户应用程序(转载)
- Linux下Eclispe开发MapReduce环境搭建
- 在linux中使用eclipse开发mapreduce
- 在基于ZedBoard的Linux系统下添加自定义硬件IP(4) ——驱动程序和应用程序编写
- 在linux下安装应用程序
- linux 下蓝牙应用程序开发
- 在linux下搭建基于S3C6410的嵌入式开发环境
- MSDU(A-MSDU)
- ubuntu下查看chm文件的工具
- Eclipse + PyDev SyntaxError: Non-ASCII character问题解决方案
- ibatis
- C#正则表达式小结
- 如何在linux下开发mapreduce应用程序(基于单机)
- C语言宏定义(error and pragma)
- vs2008的几种数据工具比较
- 使用Pmcmd远程调用Informatica技术实现方法
- MySQL时间格式函数
- 利用iptable屏蔽特定网站(转载)
- Oracle中:已请求写入 SPFILE, 但是在启动时未指定 SPFILE
- asp.net跳转页面的三种方法比较
- 两个已排序链表的合并