《Hadoop常见问题整理》

来源:互联网 发布:des数据加密算法流程 编辑:程序博客网 时间:2024/05/09 12:41

1、Namenode问题


cannot delete name node is in safe mode

Hadoop namenode无法启动


2、环境变量问题


bash:haoop:command not found


3、权限问题:


① YARN执行作业遇到Unauthorized request to start container问题:

datanode与namenode之间未设置时间同步,所以引起该异常。
解决方案:多个datanode与namenode进行时间同步。

HDFS客户端的权限错误:Permission denied

1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME,这个值具体等于多少看自己的情况,以后会运行HADOOP上的Linux的用户名。(修改完重启eclipse,不然可能不生效)
2、将当前系统的帐号修改为hadoop
3、使用HDFS的命令行接口修改相应目录的权限,hadoop fs -chmod 777 /user,后面的/user是要上传文件的路径,不同的情况可能不一样,比如要上传的文件路径为hdfs://namenode/user/xxx.doc,则这样的修改可以,如果要上传的文件路径为hdfs://namenode/java/xxx.doc,则要修改的为hadoop fs -chmod 777 /java或者hadoop fs -chmod 777 /,java的那个需要先在HDFS里面建立Java目录,后面的这个是为根目录调整权限。

推荐第一种


4、拒绝连接问题


ERROR:格式化hdfs时出现connection-refused


5、HDFS问题


hdfs问题


6、系列问题


hadoop2.0 遇到的问题 (持续更新)


7、Datanode无法启动问题


hadoop 完全分布式 下 datanode无法启动解决办法


8、参考文献


YARN执行作业遇到Unauthorized request to start container问题

HDFS客户端的权限错误:Permission denied



0 0
原创粉丝点击