Windows下eclipse上安装hadoop插件,编写mapreduce 程序
来源:互联网 发布:cf手游尼泊尔战龙 数据 编辑:程序博客网 时间:2024/05/16 15:40
前言:几经周折 终于搞定了eclipse上对 hadoop 编写的配置,写此博文,给后来者一些帮助,少走弯路。
电脑配置:
虚拟机:vmm 上 centos 6.5
hadoop: hadoop-2.6.0-cdh5.4.5
Windows: Windows10_x64
配置过程:
1.下载JDK并配置好,下载解压好eclipse
2.编译 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar
1)、工具 ant 下载地址:http://ant.apache.org/bindownload.cgi
或者 http://download.csdn.net/detail/u014167893/9841700
下载完成,解压到人任意盘,配置好环境变量: 新建:ANT_HOME
内容为:D:\apache-ant-1.10.1
path添加内容:%ANT_HOME%\bin
配置完成在cmd中测试一下 ant -version;
如图:
配置信息:
2).下载hadoop2x-eclipse-plugin源代码 下载地址:https://github.com/winghc/hadoop2x-eclipse-plugin
解压到任意盘。
3).将安装的hadoop-2.6.0-cdh5.4.5
解压到任意盘,如图:
4).编译 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar
控制台进入刚刚解压的hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录下
运行:ant jar -Dversion=2.6.0 -Declipse.home=D:\eclipse\JavaWeb\eclipse -Dhadoop.home=D:\hadoop\hadoop-2.6.0-cdh5.4.5
-Declipse.home=eclipse 的 home目录 -Dhadoop.home=hadoop-2.6.0-cdh5.4.5 的home目录
如图:
如果编译失败,提示文件找不到可以修改配置文件 hadoop2x-eclipse-plugin-master\src\ivy\libraries.properties 如图:
还需要配置hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin\build.xml 将里面的
${hadoop.home} 替换成2.6.0-cdh5.4.5 保存重新编译。
编译好的jar包在hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin目录下。
2.配置eclipse
1).将编译好的 hadoop-eclipse-plugin-2.6.0-cdh5.4.5.jar 放到eclipse的plugin目录下
2).重启eclipse
3).配置hadoop 目录选择解压的hadoop目录
4).配置Map/ReduceLocations
点击Window-->Show View -->MapReduce Tools 点击Map/ReduceLocation
点击Map/ReduceLocation选项卡,右击新建hadoop location,打开Hadoop Location配置窗口:
输入Location Name,任意名称即可.配置Map/Reduce Master和DFS Mastrer,Host
和Port配置成hdfs-site.xml与core-site.xml的设置一致即可。
5). 看见如图即表示配置成功:
3.创建项目需要用到的工具 hadoop.dll和
下载地址:链接:http://pan.baidu.com/s/1o8uh2NS 密码:3bqa
4.创建项目课程出现错误 可以参考
http://blog.csdn.net/u010911997/article/details/44099165/
- Windows下eclipse上安装hadoop插件,编写mapreduce 程序
- Windows下编译、安装Hadoop eclipse插件,编写HelloWord程序
- windows MyEclipse下连接hadoop并且编写调试mapReduce程序
- windows下连接hadoop并且编写调试mapReduce程序
- Windows下安装hadoop-eclipse-plugin插件
- Windows下使用eclipse插件运行自己的MapReduce程序
- 如何在Hadoop上编写MapReduce程序
- 如何在Hadoop上编写MapReduce程序
- 如何在Hadoop上编写MapReduce程序
- 如何在Hadoop上编写MapReduce程序
- 在 Hadoop 上编写 MapReduce 程序
- 如何在Hadoop上编写MapReduce程序
- 如何在Hadoop上编写MapReduce程序
- 用Python编写Hadoop下MapReduce程序
- eclipse环境下使用hadoop-eclipse插件配置并开发mapreduce程序
- 在eclipse下编写简单mapreduce程序
- Windows下写Hadoop MapReduce程序
- windows下Eclipse安装hadoop1.1.2插件连接hadoop集群
- git仓库迁移
- 算法题——Maximum Gap(JAVA)基数排序
- 模拟实现myshell
- 1001. 害死人不偿命的(3n+1)猜想 (15)
- 《CUDA并行程序设计-GPU编程指南》读书笔记--(2)CUDA内存处理
- Windows下eclipse上安装hadoop插件,编写mapreduce 程序
- 默认表空间+查询默认表空间+设置默认表空间
- 1002. 写出这个数 (20)
- nginx,php-fpm的安装配置
- 1004. 成绩排名 (20)
- [Redis]Redis持久化之RDB快照
- java继承中new子类对象的执行顺序
- final、finally、finalize的区别
- 1006. 换个格式输出整数 (15)