Hadoop系列-开发中常见问题处理(十一)
来源:互联网 发布:手机突然只能用2g网络 编辑:程序博客网 时间:2024/05/20 08:22
问题三.Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
在运行WordCount.java代码时,出现这样的问题
分析:
C:\Windows\System32下缺少hadoop.dll,把这个文件拷贝到C:\Windows\System32下面即可。
解决:
hadoop-common-2.2.0-bin-master下的bin的hadoop.dll放到C:\Windows\System32下,然后重启电脑,也许还没那么简单,还是出现这样的问题。
我们在继续分析:
我们在出现错误的的atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)我们来看这个类NativeIO的557行,如图所示:
Windows的唯一方法用于检查当前进程的请求,在给定的路径的访问权限,所以我们先给以能进行访问,我们自己先修改源代码,return true 时允许访问。我们下载对应hadoop源代码,hadoop-2.6.0-src.tar.gz解压,hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 复制到对应的Eclipse的project,然后修改557行为return true如图所示:
问题四:org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output":root:supergroup:drwxr-xr-x
我们在执行运行WordCount.java代码时,出现这样的问题
分析:
我们没权限访问output目录。
解决:
我们 在设置hdfs配置的目录是在hdfs-site.xml配置hdfs文件存放的地方,我在hadoop伪分布式部署那边有介绍过,我们在这边在复习一下,如图所示:
我们在这个etc/hadoop下的hdfs-site.xml添加
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
设置没有权限,不过我们在正式的 服务器上不能这样设置。
问题五:File/usr/root/input/file01._COPYING_ could only be replicated to 0 nodes instead ofminRepLication (=1) There are 0 datanode(s) running and no node(s) are excludedin this operation
如图所示:
分析:
我们在第一次执行#hadoop namenode –format 完然后在执行#sbin/start-all.sh
在执行#jps,能看到Datanode,在执行#hadoop namenode –format然后执行#jps这时看不到Datanode ,如图所示:
然后我们想把文本放到输入目录执行bin/hdfs dfs -put/usr/local/hadoop/hadoop-2.6.0/test/* /user/root/input 把/test/*文件上传到hdfs的/user/root/input中,出现这样的问题,
解决:
是我们执行太多次了hadoopnamenode –format,在创建了多个,我们对应的hdfs目录删除hdfs-site.xml配置的保存datanode和namenode目录。
参考资料:
http://blog.csdn.net/congcong68/article/details/42043093
http://blog.csdn.net/liuxingjiaofu/article/details/7094131
http://blog.csdn.net/ruidongliu/article/details/10006905
http://www.cnblogs.com/hxsyl/p/6145225.html
- Hadoop系列-开发中常见问题处理(十一)
- Android开发中常见问题处理
- Hadoop 常见问题处理汇总
- hadoop常见问题处理
- Mysql系列(十一)异常处理
- iOS开发中两个常见问题的处理
- iOS开发中两个常见问题的处理
- 【招聘系列1】Hadoop常见问题
- Hadoop中常见问题汇总
- C/C++实际开发中常见问题及预防、定位方法系列(一)
- C++中常见问题处理
- hadoop 配置中常见问题记录
- mac中配置hadoop常见问题
- 开发中常见问题集锦
- 开发中常见问题集锦
- 开发中常见问题集锦
- 开发中常见问题集锦
- 开发中常见问题集锦
- 把玩jenkins docker镜像遇到的volume权限问题
- markdown加空格
- 简述%TYPE和%ROWTYPE的用法
- 多年iOS开发经验总结
- 字符串工具类
- Hadoop系列-开发中常见问题处理(十一)
- window系统中redis 启动报错
- java中对跳出多重循环的知识总结
- hibernate.hbm2ddl.auto配置详解
- linux下PHP的命令行模式介绍
- IntelliJ IDEA 快捷键快速入门
- currentStyle,runtimeStyle,getComputedStyle style
- CSS基础————千本樱滑落的瞬间
- Visual Studio 2015与C#6.0新特性