Hadoop2.x eclipse下编程环境配置
来源:互联网 发布:程序员谈恋爱被动吗 编辑:程序博客网 时间:2024/05/17 03:58
这个过程,是针对如何在eclipse中编写hadoop2.x对应的MapReduce程序,然后打包并上传到hadoop集群执行的过程。
1. 下载hadoop2.x的tar包,解压到某个目录下(注: 不是源码包,是安装包)
2. 将hadoop2x-eclipse插件导入eclipse:
(1) 编译插件。插件源码地址 https://github.com/winghc/hadoop2x-eclipse-plugin
(2) 把编译后的hadoop2x-eclipse*.jar包拷贝到eclipse/plugins目录下
(3) 重启eclipse
(4) eclipse —> windows —> open perspective,打开MapReduce视图
(5) eclipse —> windows —>preferences —> Hadoop MapReduce, 配置hadoop安装路径,指向1中解压hadoop tar包后的目录。
3. 创建MapReduce项目
(1) 创建项目: eclipse —> File —> New —> Map/Reduce Project。 创建完项目后,会在项目目录下发现一系列依赖的jar包,包括hadoop-hdfs*, hadoop-yarn*等包。如果没有,那么写代码的时候会报错,需要手工导入。
项目中会看到的一系列jar包:
(2) 然后可以开始开发了。在项目中通过new —> Mapper / Reducer / Driver 创建出的map或reduce文件,会自动把引用,继承和结构都生成,只需要添加实现就好。
结构已经自动生成好了的map文件:
4. 打包,上传到集群,运行
(1) eclipse —> File —> Export —> Jar File。 导出jar包
(2) 把jar包上传到集群中,运行:
hadoop jar wordcount.jar org.apache.hadoop.wordcount arg0 arg1 ...
- Hadoop2.x eclipse下编程环境配置
- hadoop2.x 环境配置
- Eclipse配置hadoop2.2.0环境
- [置顶] Centos环境下:使用ant编译hadoop2.X版eclipse插件及其通用教程
- win7下配置eclipse mapreduce编程环境
- windows7+eclipse+hadoop2.5.2环境配置
- windows7+eclipse+hadoop2.5.2环境配置
- windows7+eclipse+hadoop2.5.2环境配置
- windows7+eclipse+hadoop2.5.2环境配置
- windows7+eclipse+hadoop2.5.2环境配置
- win7+eclipse+hadoop2.5.2开发环境配置
- windows7+eclipse+hadoop2.5.2环境配置
- windows7+eclipse+hadoop2.5.2环境配置
- windows7+eclipse+hadoop2.5.2环境配置
- Eclipse下搭建Hadoop2.4.0开发环境
- Eclipse下搭建Hadoop2.4.0开发环境
- Eclipse下搭建Hadoop2.4.0开发环境
- Eclipse下搭建Hadoop2.7.0开发环境
- 1.精度计算——大数阶乘
- poj-1458 Common Subsequence
- 【OSS】OSS的Multipart上传
- 彻底理解C#中值类型和引用类型的区别
- android MVP
- Hadoop2.x eclipse下编程环境配置
- 使用Android design support library在Eclipse和Android Studio
- 响应式开发(一)-----响应式网页设计学习导航
- treap模板
- 结构体偏移量
- php小程序--记事本--messagebox
- NSFileManager操作文件及目录
- jmeter与apache测试网站并发
- Linux下使用popen()执行shell命令