Windows Eclipse Hadoop 开发
来源:互联网 发布:node.js w3cschool 编辑:程序博客网 时间:2024/05/18 03:58
1. eclipse添加hadoop-eclipse-plugin插件
下载: hadoop2x-eclipse-plugin
hadoop-2.5.2和hadoop-2.6.4版本选择hadoop-eclipse-plugin-2.6.0.jar(亲测可用)
将hadoop-eclipse-plugin-2.6.0.jar拷贝到eclipse\plugins下
重启eclipse
eclipse.exe -clean
这时,在eclipse Project Explorer视图下,能看到,多出了DFS Locations
2. eclipse 设置Hadoop Map/Reduce Locations
Windows -> Preferences
Windows -> Perspective -> Open Perspective -> Other… 选中 Map/Reduce
进入Map/Reduce视图,新建 Hadoop location…
设置集群地址
3. Windows 本地配置
下载64位的hadoop2.6版本插件,放在某一目录的bin目录下(一定要为bin目录)
下载: hadoop2.6-x64
将其中的hadoop.dll 拷贝至 C:\Windows\System32目录下
4. 工程配置
新建MapReduce工程
将集群中hadoop-2.6.4/etc/hadoop下的配置文件拷贝到工程下
利用hadoop-wiki例子:WordCount
测试:
代码添加设置系统属性”hadoop.home.dir”,value值为第三步设置bin目录的父目录。
System.setProperty("hadoop.home.dir", "D:\\hadoop\\hadoop2.6-x64" );
5. 常见错误
- Exceptionin thread “main” java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V
这是hadoop.dll 版本问题,2.4之前的版本和之后的使用hadoop.dll不一样
解决:需要选择正确的版本并且在 hadoop\bin和 C:\windows\system32上将其替换
0 0
- Windows Eclipse Hadoop 开发
- windows安装eclipse开发hadoop
- windows下搭建hadoop开发环境(Eclipse)
- Windows下使用Eclipse开发Hadoop程序
- windows下搭建hadoop+eclipse开发环境
- Windows下使用Eclipse开发Hadoop程序
- windows eclipse下hadoop开发,常见问题
- windows eclipse下hadoop开发,常见问题
- windows下使用eclipse开发hadoop
- Windows的eclipse下开发Hadoop
- windows下搭建hadoop+eclipse开发环境
- windows下eclipse开发hadoop的坑
- 在windows xp系统下配置eclipse集成hadoop开发
- 在windows xp系统下配置eclipse集成hadoop开发
- Windows下基于Eclipse的Hadoop开发环境完全配置
- Windows 下配置 Eclipse 连接 Hadoop 开发环境
- Windows下Cygwin+Eclipse搭建Hadoop开发环境
- Windows 下配置 Eclipse 连接 Hadoop 开发环境
- 日常解决的细节
- iOS开发之计时器
- sqlserver 中临时表、临时变量和with as关键词创建“临时表”的区别
- 【Unity3D】游戏研发团队及岗位职责
- 如何生成内部hide接口实例并通过反射作为参数进行传递
- Windows Eclipse Hadoop 开发
- Hibernate中的Entity类中的无参数构造函数
- 个人用户目录通过rysnc迁移
- Java Set转List,排序,去重
- map,mulitmap,set,mulitset,unordered_map,unorderer_set
- asp.net控件,服务器标记的格式不正确问题解决方法
- iOS开发~UITableView区头跟随移动
- Xcode真机调试出现 “Could not find Developer Disk Image”
- K好数