Windows下写Hadoop MapReduce程序
来源:互联网 发布:装小蜜 知乎 编辑:程序博客网 时间:2024/05/01 22:44
之前一直在Ubuntu下操作自己搭建的Hadoop伪分布集群,然后可以直接在Ubuntu环境下开发MR程序,这段时间有幸得到实验室集群的操作权限,但是要用SSH远程管理集群,在Ubuntu下不知道怎么用代理进行SSH代理链接,所以只能在windows环境下用xshell进行通信。
直接上过程吧:
1、在eclipse直接新建java工程,然后对项目名右键-->Build Path-->Config Build Path。看到如下界面
2、Add External Jar.把hadoop包解压缩,将lib文件架中的所有jar包都点选,还有hadoop-core-1.2.1.jar 也加入。
3、最后在Order and Export勾选所有jar,确定后就可以新建java文件了些代码了。
最后导出jar包再put到集群服务器就好了。
这样搞完,以后就不用在Ubuntu写MR程序然后拷到windows在用XFTP传到集群了。因为在搭建了Hadoop环境的Ubuntu下加入Hadoop插件后建MR工程实在太方便了,可惜折腾了很久都没弄明白怎样用SSH代理连接集群...哪位大大知道赐教一下呗。
0 0
- Windows下写Hadoop MapReduce程序
- windows MyEclipse下连接hadoop并且编写调试mapReduce程序
- windows下连接hadoop并且编写调试mapReduce程序
- Windows下eclipse上安装hadoop插件,编写mapreduce 程序
- 在Windows下用eclipse写MapReduce程序
- 用PHP写hadoop的mapreduce程序
- 用Python写一个 Hadoop MapReduce 程序
- 用Python写一个 Hadoop MapReduce 程序
- Hadoop MapReduce初探 自己写的MapReduce程序
- Hadoop框架下运行MapReduce程序
- 用Python编写Hadoop下MapReduce程序
- windows下maven环境开发hadoop mapreduce程序报Cannot initialize Cluster
- Windows下Eclispe远程开发Mapreduce程序
- Windows下Eclispe远程开发Mapreduce程序
- Windows下Eclispe远程开发Mapreduce程序
- Windows下Eclispe远程开发Mapreduce程序
- Hadoop MapReduce排序程序
- <hadoop> mapreduce程序分块
- 环境: OpenMp入门系列1: OpenMP QT 编译配置
- hdu-1172 猜数字
- java 项目配置 伪静态
- Centos网站服务器使用DropBox定时备份方案
- 百度定位不成功后 android系统4.0.1不兼容 去掉option.setLocationNotify 就好了
- Windows下写Hadoop MapReduce程序
- 优惠券码生成
- mysql彻底卸载-增加远程权限-修改root密码
- iPads和iPones的Media Queries
- HDU - 3336 Count the string
- 中兴通讯宋国栋:IMS全业务运营部署探讨
- 基于rsync同步算法的文件同步系统JAVA实现(一)——项目介绍
- cisco路由器如何查看内网流量情况
- alter tablespace