基于Hadoop的应用程序开发
来源:互联网 发布:让其响彻mmd镜头数据 编辑:程序博客网 时间:2024/05/17 23:18
第一步:先启动hadoop守护进程。进入hadoop安装目录,输入:bin/hadoop namenode -format bin/start-all.sh
第二步:在eclipse上安装hadoop插件
1.复制 hadoop安装目录/contrib/eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar 到 eclipse安装目录/plugins/ 下。
2.重启eclipse,配置hadoop installation directory。
如果安装插件成功,打开Window-->Preferens,你会发现Hadoop Map/Reduce选项,在这个选项里你需要配置Hadoop installation directory。配置完成后退出。
3.配置Map/Reduce Locations。
在Window-->Show View中打开Map/Reduce Locations。
在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,如Ubuntu,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口
配置完后退出。点击DFS Locations-->Hadoop如果能显示文件夹(2)说明配置正确,如果显示"拒绝连接",请检查你的配置。
第三步:新建项目。
File-->New-->Other-->Map/Reduce Project
项目名可以随便取,如WordCount。
复制 hadoop安装目录/src/example/org/apache/hadoop/example/WordCount.java到刚才新建的项目下面。
第四步:上传模拟数据文件夹。
为了运行程序,我们需要一个输入的文件夹,和输出的文件夹。比如在hadoop的安装目录下创建input文件夹,然后在该目录新建word.txt
java c++ python cjava c++ javascript helloworld hadoopmapreduce java hadoop hbase
通过hadoop的命令在HDFS上传文件:bin/hadoop fs -put input/word.txt /test/word.txt
第五步:运行项目(这里是IDE环境下运行项目,还有种方法是命令行运行项目)
1.在新建的项目Hadoop,点击WordCount.java,右键-->Run As-->Run Configurations
2.在弹出的Run Configurations对话框中,点Java Application,右键-->New,这时会新建一个application名为WordCount
3.配置运行参数,点Arguments,在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”,如:
hdfs://localhost:9000/test/word.txt hdfs://localhost:9000/output
4、如果运行时报java.lang.OutOfMemoryError: Java heap space 配置VM arguments(在Program arguments下)
-Xms512m -Xmx1024m -XX:MaxPermSize=256m
5.点击Run,运行程序。
点击Run,运行程序,过段时间将运行完成
c 1c++ 2hadoop 2hbase 1helloworld 1java 3javascript 1mapreduce 1python 1
- 基于Hadoop的应用程序开发
- 基于Hadoop的应用程序开发
- 基于Eclipse的Hadoop应用程序开发(在附件中能看到有图片的)
- 基于JNDI的应用程序开发
- 基于JNDI的应用程序开发
- 基于JNDI的应用程序开发
- 开发基于JNDI的应用程序
- 开发基于JNDI的应用程序
- 基于JNDI的应用程序开发
- 基于Hadoop的MR开发
- 开发Hadoop应用程序
- 基于Grove的.NET应用程序开发提示
- 基于VFW的视频应用程序开发
- 基于VFW的视频应用程序开发
- 基于VFW的视频应用程序开发
- 基于Grove的.NET应用程序开发提示
- 基于Smartphone 的嵌入式应用程序开发初探
- 基于Smartphone 的嵌入式应用程序开发初探
- 深入浅出MFC学习笔记(第9章:消息映射与命令传递。)
- 去掉ListView GridView 点击内容,item背景出现黄色背景
- CRC16校验代码
- 在杭州培训IBM AIX ADMIN 一周。
- Failed to shutdown database console gracefully
- 基于Hadoop的应用程序开发
- 在VC 6.0里Win32 Application和Win32 console Application的区别
- CRC校验码的生成编码
- android 权限设置
- Drools 5.1.1_DOC (54)
- 超人不能没0day
- 项目(meeting)环境常用命令
- 游卡桌游王锐杰:桌游网游化是必然趋势
- 放飞,呼吸