hadoop常见错误及解决方法
来源:互联网 发布:网络上桂枝什么意思 编辑:程序博客网 时间:2024/05/21 17:39
1、解决"no datanode to stop"问题
jps 中看不到namenode
删除/tmp 文件中 红色框 中的文件
节点
$rm -rf /usr/hadoop/tmp/*
$rm -rf /tmp/hadoop*
主管理
$rm -rf /usr/hadoop/tmp/*
$rm -rf /tmp/hadoop*
$hadoop namenode -format
$start-all.sh
2、节点jps没有datanode 和tasktracker 进程
查看节点日志 cat hadoop-hadoop-datanode-Slave2.Hadoop.log日志
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.IllegalArgumentException:Does not contain a valid host:port authority: file:///
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
Master core-site.xml
fs.default.name
hdfs://192.168.19.100:9000</ value>
解决方式:因为需要在每个节点上配置core-site.xml文件 、 mapred-site.xml文件 、hdfs-site.xml文件、mapred-site.xml文件和conf/Master文件
,所以建议在Master机上 scp -r /usr/hadoop root@节点IP:/usr/ 这样只需要修改下conf/slaves文件即可。
3、:50070/nn_browsedfscontent.jsp 无法打开
因为用的虚拟机进行测试,本机电脑无法浏览,但是在虚拟机里面可以打开。
jps 中看不到namenode
删除/tmp 文件中 红色框 中的文件
节点
$rm -rf /usr/hadoop/tmp/*
$rm -rf /tmp/hadoop*
主管理
$rm -rf /usr/hadoop/tmp/*
$rm -rf /tmp/hadoop*
$hadoop namenode -format
$start-all.sh
2、节点jps没有datanode 和tasktracker 进程
查看节点日志 cat hadoop-hadoop-datanode-Slave2.Hadoop.log日志
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.IllegalArgumentException:Does not contain a valid host:port authority: file:///
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:164)
Master core-site.xml
fs.default.name
hdfs://192.168.19.100:9000</ value>
找个3天才发现,配置节点的时候遗漏的内容。
解决方式:因为需要在每个节点上配置core-site.xml文件 、 mapred-site.xml文件 、hdfs-site.xml文件、mapred-site.xml文件和conf/Master文件
,所以建议在Master机上 scp -r /usr/hadoop root@节点IP:/usr/ 这样只需要修改下conf/slaves文件即可。
3、:50070/nn_browsedfscontent.jsp 无法打开
因为用的虚拟机进行测试,本机电脑无法浏览,但是在虚拟机里面可以打开。
0 0
- hadoop常见错误及解决方法
- Hadoop常见错误问题及解决方法(1)
- Hadoop常见错误问题及解决方法(1)
- hadoop常见错误问题及解决方法(2)
- hadoop常见错误问题及解决方法(3)
- hadoop常见错误问题及解决方法(2)
- hadoop常见错误问题及解决方法(3)
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 运行hadoop MapReduce程序常见错误及解决方法整理
- 常见错误及解决方法
- 常见错误及解决方法
- hadoop常见错误及解决办法!
- hadoop常见错误及解决办法!
- Hadoop常见错误及解决办法
- hadoop常见错误及解决办法!
- hadoop常见错误及解决
- Hadoop常见错误及解决办法
- vmware workstation中克隆(clone)CentOS 6的虚拟机网卡无法启动问题
- WINDOWS SERVER 2008/2008 R2/2012 最大内存支持
- validation query
- JAVA读取Excel文件
- 大数据处理常用技术有哪些?
- hadoop常见错误及解决方法
- hadoop配置文件说明
- innerText和textContent区别
- Oracle 正确删除 archivelog文件
- 如何配置Windows Server 2008 R2防火墙 - 允许被Ping
- reset是js的方法,在jquery中使用应注意
- Hibernate 不同数据库的连接及SQL方言
- Linux glibc幽灵(GHOST)漏洞检测及修复方案
- Linux YUM或RPM修复 glibc幽灵(GHOST)漏洞