eclipse开发hadooop2.2.0程序
来源:互联网 发布:录制视频软件 知乎 编辑:程序博客网 时间:2024/06/06 05:19
转载地址
http://mmicky.blog.163.com/blog/static/150290154201310237543291/
1:下载hadoop2部署文件和源代码,解压缩至/app/hadoop/hadoop220和/app/hadoop/hadoop220_src。然后建立一个放置jar包的文件夹/app/hdaoop2lib,将/app/hadoop/hadoop220/share/hadoop各项目(common、hdfs、mapreduce、yarn)下的JAR包以其lib目录下的JAR包都复制到/app/hdaoop2lib
2:Eclipse设置及新增项目
A:Windows->Prefernces->Java->Build Path->User Libraries->New...增加一个hadoop2lib用户库
B:Add External JARS..->将/app/hadoop2lib/目录中所有JAR文件加入
3:测试
A:新增一个java project,其中Libraries->Add Library...->User Library->hadoop2lib
B:在源码增加hadoop2samples package和WordCount class,然后将hadoop2源码包中自带的WordCount源码(/app/hadoop/hadoop220_src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples)复制过来并修改正确。
C:在hadoop2集群建立要测试数据,然后在eclipse配置Run Configurations
D:运行
4:TIPS
A:在建立hadoop2lib时,最好是将common、hdfs、mapreduce、yarn都复制过来,一般的mapreduce程序都会涉及到,笔者忘了将yarn下的JAR包复制过来,运行时报错。
B:在hadoop集群缺省配置下,存取hdfs是需要权限的,如果在开发客户端使用的用户不是hadoop集群的启动用户,会报文件存取权限的错误,只需要重新配置一下hdfs-site.xml,增加下面配置:
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
- eclipse开发hadooop2.2.0程序
- eclipse开发hadooop2.2.0程序
- eclipse 开发 Qt 程序
- Eclipse程序开发
- eclipse开发C++程序
- eclipse开发c程序
- Eclipse开发Hadoop程序
- Eclipse NDK 程序开发
- Eclipse开发JAVA程序
- Eclipse程序开发
- Eclipse开发java程序
- eclipse+HibernateSynchronizer开发Hibernate程序
- Eclipse RCP开发桌面程序
- 使用Eclipse开发Android程序
- Eclipse开发J2ME手机程序
- Eclipse RCP开发桌面程序
- Eclipse RCP开发桌面程序
- eclipse+tomcat开发web程序
- HTTP请求报文和HTTP响应报文
- 解读ENVI Services Engine云解决方案
- Repeater的嵌套
- Android线程学习(三)之AsyncTask
- Android Intent 调用其他应用 setComponent
- eclipse开发hadooop2.2.0程序
- 学习笔记:android关于xml文件的操作
- Java Web开发环境的搭建
- clr via C#笔记(4)
- 如何通过ADO获得Access数据库中的所有用户表和表信息
- 大数据:技术与应用实践指南(中国工程院院士倪光南倾情作序,雷万云、毛新生、段永朝、安晖联合力荐)
- 怎样编写Apple Push Notification服务器
- initrd网络转载
- 结构和类的区别