hadoop append 追加文件错误
来源:互联网 发布:windows snmp命令 编辑:程序博客网 时间:2024/05/20 14:16
- java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.168.200:50010,DS-039c3e9e-2b2a-44e8-9f3e-8584b6c3f2c3,DISK]], original=[DatanodeInfoWithStorage[192.168.168.200:50010,DS-039c3e9e-2b2a-44e8-9f3e-8584b6c3f2c3,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.
原因:无法写入;我的环境中有3个datanode,备份数量设置的是3。在写操作时,它会在pipeline中写3个机器。默认replace-datanode-on-failure.policy是DEFAULT,如果系统中的datanode大于等于3,它会找另外一个datanode来拷贝。目前机器只有3台,因此只要一台datanode出问题,就一直无法写入成功。
解决办法:修改hdfs-site.xml文件,添加或者修改如下两项:
- <property>
- <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
- <value>true</value>
- </property>
- <property>
- <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
- <value>NEVER</value>
- </property>
对于dfs.client.block.write.replace-datanode-on-failure.enable,客户端在写失败的时候,是否使用更换策略,默认是true没有问题。
对于,dfs.client.block.write.replace-datanode-on-failure.policy,default在3个或以上备份的时候,是会尝试更换结点尝试写入datanode。而在两个备份的时候,不更换datanode,直接开始写。对于3个datanode的集群,只要一个节点没响应写入就会出问题,所以可以关掉。/
或者在客户端的代码里面加入:
- conf = new Configuration();
- conf.set("dfs.client.block.write.replace-datanode-on-failure.policy","NEVER");
- conf.set("dfs.client.block.write.replace-datanode-on-failure.enable","true");
阅读全文
0 0
- hadoop append 追加文件 错误
- hadoop append 追加文件 错误
- hadoop append 追加文件错误
- Hadoop支持文件追加"append"
- HDFS文件内容追加(Append)
- HDFS文件内容追加(Append)
- HDFS文件内容追加(Append)
- HDFS文件内容追加(Append)
- HDFS文件内容追加(Append)
- HDFS文件内容追加(Append)
- hadoop 文件append异常
- HDFS文件追加append里的坑
- append 追加元素
- jquery追加内容append
- Hadoop 文件追加(断点继传)
- jquery append追加,preppend预置
- StringBuilder 追加 append 截取 delete
- VC++ VS2010 MFC CString 追加append 写入文件 txt 捕捉键盘按键消息
- javaee学习日记之java基础之多线程
- (二十四)解释器模式详解
- java 多线程之Exchanger
- 句子的逆序 类似[LintCode]53
- 关于进制转换 二进制与十六进制
- hadoop append 追加文件错误
- Hibernate12_映射关系---manyTomany
- 集成学习(ensemble learning)原理详解
- 设计模式大杂烩(24种设计模式的总结以及学习设计模式的几点建议)
- javaEE中使用webservice
- [IntelliJ IDEA] IntelliJ IDEA 16 本地LicenseServer激活(破解)
- 大数据处理
- Struts2拦截器
- 大话设计师 第二章 策略模式