eclipse连接hadoop 2.6 ha配置
来源:互联网 发布:java多线程 无等待 编辑:程序博客网 时间:2024/06/06 02:05
以前都是直接在linux上运行的,昨天配置eclipse连接hadoop,可以正常连接hdfs,但是运行mapreduce的时候就一直有错误,今天终于解决了。我也不知道为什么有这么多错误,我只写我能运行的步骤。
1. 我的hadoop是2.6版本的,就下hadoop-eclipse-plugin-2.6.0.jar,然后放到eclipse插件位置,重启eclipse。
2.在eclipse-window-perspective-open perspective-other,选择map/reduce。
然后在map/reduce Locations中右键选择new hadoop location。
我的hadoop ha配置为:
<property> <name>dfs.nameservices</name> <value>myha</value></property><property> <name>dfs.ha.namenodes.myha</name> <value>nn1,nn2</value></property><property> <name>dfs.namenode.rpc-address.myha.nn1</name> <value>master:8020</value></property><property> <name>dfs.namenode.rpc-address.myha.nn2</name> <value>node1:8020</value>
master对应192.168.0.110。当然host是有配置的。user name的话我的就是自己计算机用户,我把权限关闭了:
<property><name>dfs.permissions</name><value>false</value></property>这样就可以看到hdfs的内容了。
3.window-perferences-hadoop map/reduce中选择hadoop目录。
hadoop目录就是把linux中的hadoop拉倒本地后的目录,我的是D:/hadoop。
然后下载了hadoop.dll和winutils.exe 64位的包,解压后的文件放到本地hadoop目录的bin目录下。
然后把hadoop.dll放到c:/windows/system32中。配置环境变量Path中加入hadoop目录的bin目录。
4.创建项目之后,把core-site.xml,hdfs-site.xml放到resource文件夹,创建mapreduce就可以运行了
阅读全文
0 0
- eclipse连接hadoop 2.6 ha配置
- Hadoop HA MR1配置
- hadoop-ha配置
- Hadoop HA 配置
- hadoop配置HA原理
- eclipse 配置连接hadoop集群
- Eclipse连接Hadoop2.7.3 HA 集群配置及测试
- Hadoop 配置及hadoop HA 的配置
- Hadoop 2.2.0 HA配置
- hadoop HA集群环境配置
- Hadoop完全分布式+HA配置
- Hadoop-2.4.1 HA配置
- Hadoop HA模式升级配置
- Hadoop HA高可用配置
- Hadoop Ha (High avilable)配置
- Hadoop HA的安装配置
- hadoop配置HA简单总结
- hadoop HA环境安装配置
- Mysql中的索引
- Python3学习(13)--排序函数sorted
- opencv3学习之五种滤波器的简单应用
- iOS项目的完整重命名方法图文教程
- Unity3D研究院之与Android相互传递消息
- eclipse连接hadoop 2.6 ha配置
- vs自动获取svn版本
- PAT 乙级 1037.在霍格沃兹找零钱(20)
- 文件的拆分
- Quectel招聘要求会 dump 内存分析,什么东东?
- 明小子注入工具+啊D注入工具+御剑后台扫描工具+中国菜刀一句话木马
- jdbc测试 -- 登录的实现(自己小笔记)
- 位运算
- js中的事件委托或是事件代理详解