windows下的eclipse连接hadoop集群中遇到的问题
来源:互联网 发布:知乎段子手 编辑:程序博客网 时间:2024/06/03 23:38
前提条件:
虚拟机上已部署好hadoop集群(hadoop-2.5.0)
在网上下载hadoop-eclipse-plugin-2.5.0.保存至eclipse\plugins中
配置步骤:
1 window->preferences,添加hadoop的解压包所在的路径
2 window->Open perspective->other->map/reduce->ok
右键->new hadoop location
map/reduce Master port所对应的参数是
yarn-site.xml中yarn.resourcemanager.scheduler.address
参数默认值是8030
DFS master port 所对应的参数是
hdfs-site.xml中dfs.namenode.rpc-address
port默认值是8020
完成后点击finish即可
遇到的问题:
Eclipse远程连接hadoop时 报 Permission denied
解决
<property> <name>dfs.permissions.enabled</name> <value>false</value> <description> If "true", enable permission checking in HDFS. If "false", permission checking is turned off, but all other behavior is unchanged. Switching from one parameter value to the other does not change the mode, owner or group of files or directories. </description> </property>
测试运行(以wordcount程序为例)
运行时报错:
log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.Exception in thread "main" java.lang.NullPointerException at java.lang.ProcessBuilder.start(ProcessBuilder.java:1010) at org.apache.hadoop.util.Shell.runCommand(Shell.java:482) at org.apache.hadoop.util.Shell.run(Shell.java:455) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702) at org.apache.hadoop.util.Shell.execCommand(Shell.java:791) at org.apache.hadoop.util.Shell.execCommand(Shell.java:774) at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:646) at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:434) at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:281) at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:348) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1614) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303) at WordCount.main(WordCount.java:70)
上面的提示信息是log4j没有配置导致的。但是出现上面的错误,是因为在Windows下运行Map/Reduce程序需要winutils.exe和hadoop.dll的支持,选择32位或者64位的,然后拷贝上面两个文件放到HADOOP_HOME/bin目录下,然后拷贝hadoop.dll到C:\Windows\System32目录下,做完上面的工作时候,再次运行WordCount。
0 0
- windows下的eclipse连接hadoop集群中遇到的问题
- windows下eclipse远程连接linux上的hadoop集群
- 在windows下,用eclipse链接hadoop遇到的问题。
- hadoop 集群中所遇到的问题
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- hadoop学习之HDFS(2.5):windows下eclipse远程连接linux下的hadoop集群并测试wordcount例子
- windows+eclipse 连接hadoop集群
- Windows下用Eclipse开发Hadoop程序遇到的问题及解决方法
- hadoop集群配置以及配置中遇到的问题详解
- Hadoop-2.7.3集群搭建中遇到的问题总结
- Hadoop-2.7.3集群搭建中遇到的问题总结
- windows下Eclipse安装hadoop1.1.2插件连接hadoop集群
- windows下Eclipse安装hadoop1.1.2插件连接hadoop集群
- windows下eclipse非插件连接Hadoop集群
- windows下eclipse开发hadoop连接虚拟机linux配置的问题
- Hadoop集群安装遇到的问题
- HADOOP 集群配置遇到的问题
- hadoop集群遇到的奇怪问题
- UGUI实现回合制游戏多技能滑动条与血条伤害(新)
- 2-PROCESSES AND THREADS
- Material Design:利用RecyclerView CardView实现新闻卡片样式
- 数据库优化的目的
- android--xUtils开发框架
- windows下的eclipse连接hadoop集群中遇到的问题
- 拿石头游戏算法题
- Android基础知识---监听事件及OnXxxListener事件
- 如何将慕课网中的视频下载到本地
- jQuery对象与DOM对象之间的转换方法
- Django新手需要注意的10个要点
- 数据库优化之mysql系统的优化方式
- CentOS7下的mysql的安装
- 自动释放池