异常:hadoop 上传文件报错 WARN hdfs.DFSClient: DataStreamer Exception,hadoop datanode 启动不起来
来源:互联网 发布:php 商城好评怎么写 编辑:程序博客网 时间:2024/05/01 12:06
如果大家在安装的时候遇到问题,或者按步骤安装完后却不能运行Hadoop,那么建议仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。
无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均存有日志文件以供分析。
例如:
NameNode和DataNode的namespaceID不一致,这个错误是很多人在安装时会遇到的,日志信息为:
java.io.IOException: Incompatible namespaceIDs in /root/tmp/dfs/data:
NameNode namespaceID = 1307672299; DataNode namespaceID = 389959598
若HDFS一直没有启动,读者可以查询日志,并通过日志进行分析,以上提示信息显示了NameNode和DataNode的namespaceID不一致。
这个问题一般是由于两次或两次以上的格式化NameNode造成的,有两种方法可以解决,第一种方法是删除DataNode的所有资料(及将集群中每个datanode的/hdfs/data/current中的VERSION删掉,然后执行hadoop namenode -format重启集群,错误消失。<推荐>);第二种方法是修改每个DataNode的namespaceID(位于/hdfs/data/current/VERSION文件中)<优先>或修改NameNode的namespaceID(位于/hdfs/name/current/VERSION文件中),使其一致。
下面这两种方法在实际应用中也可能会用到。
1)重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时,一般不必重启整个系统,只须重启这个节点,它会自动连入整个集群。
在坏死的节点上输入如下命令即可:
bin/Hadoop-daemon.sh start DataNode
bin/Hadoop-daemon.sh start jobtracker
2) 动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。
bin/Hadoop-daemon.sh --config ./conf start DataNode
bin/Hadoop-daemon.sh --config ./conf start tasktracker
0 0
- 异常:hadoop 上传文件报错 WARN hdfs.DFSClient: DataStreamer Exception,hadoop datanode 启动不起来
- Hadoop异常 hdfs.DFSClient: DataStreamer
- 向HDFS上传文件时报错16/07/23 01:13:30 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.Rem
- Hadoop异常 hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException
- Hadoop异常 hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException
- hadoop datanode启动不起来
- hadoop datanode启动不起来
- hadoop datanode启动不起来
- hadoop datanode启动不起来
- hadoop datanode启动不起来
- hadoop datanode启动不起来
- hadoop datanode启动不起来
- hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException:
- Hadoop笔记11之 Hadoop异常 hdfs.DFSClient(hdfs 不能上传文件)
- hadoop的datanode启动不起来
- (转载)hadoop datanode启动不起来
- hadoop datanode启动不起来
- hadoop datanode启动不起来
- C# 正则表达式判断IP,URL等及其解释
- 【扯闲篇儿】关于PHP写爬虫的一些吐槽
- ppt 解析为图片几种方式
- 第十三周 项目一 (1)
- FastDFS之集群部署
- 异常:hadoop 上传文件报错 WARN hdfs.DFSClient: DataStreamer Exception,hadoop datanode 启动不起来
- url 特殊字符 传递参数解决方法
- mysql常用语句
- 菜鸟学Android(四):XML约束之DTD1
- 123这里是标题123
- 编程之美---求1的数目
- [dp]poj1664 放苹果 dp解法
- Ubuntu hadoop1.2.1 单机版搭建图文详解
- RTK2969平台android4.4添加新红外遥控器(一)