云计算(十三)- Offline Edits Viewer Guide
来源:互联网 发布:社会主义 知乎 编辑:程序博客网 时间:2024/06/06 00:36
综述
Offline Edits Viewer是一个解析Edits日志的工具。实现不同格式的转换,包括可以被人们方便阅读的XML格式和比较容易编辑的二进制格式。
工具可以解析可以解析编辑-18(大约Hadoop 0.19)或更晚的版本。工具只是在文件上运行,可以不需要Hadoop集群启动。
输入的格式包括:
1.二进制:Hadoop内部使用二进制格式
2.xml:XML格式
Offline Edits Viewer提供了几种输出格式(除所述处输出否则转换回原来的编辑文件):
- binary:Hadoop内部使用二进制格式
- xml: XML格式
- stats: 打印统计数据,不能输出会Edits文件
用法
bash$ bin/hdfs oev -i edits -o edits.xml
[-v ; --verbose]打印输入输出文件到控制台和指定的文件,如果比较大,会需要很多时间。[-h ; --help]显示帮助信息
案例:集群恢复
在这个案例中,Hadoop的集群和edits文件被损坏,但是至少部分的edits文件是正确的。这可以通过将二进制编辑转换为XML,手动编辑它,然后将它转换为二进制。最常见的问题是,编辑文件丢失closing记录(记录opCode为-1)。这应该可以被工具识别和XML格式应该正确地关闭。
如果在xml文件中没有closing记录你应该在最新的正确的记录后面手动添加一条,任何在opCode为-1后面的记录都是被忽略的。
closing记录的例子:
<RECORD> <OPCODE>-1</OPCODE> <DATA> </DATA> </RECORD>
0 0
- 云计算(十三)- Offline Edits Viewer Guide
- Offline Edits Viewer Guide
- Offline Edits Viewer Guide
- Offline Edits Viewer Guide
- 云计算(十四)- Offline Image Viewer Guide
- Offline Image Viewer Guide
- Offline Image Viewer Guide
- Effect & HLSL Guide – Semantics(十三)
- SITTC教你云计算基础知识入门(十三)
- offline
- 云计算(十五)- HDFS权限管理指南(HDFS Permissions Guide)
- 云计算(十六)- HDFS配额指南(HDFS Quotas Guide)
- 云计算(二十三)-编写WordCount并使用MRUnit测试
- 云计算设计模式(十三)——领导人选举模式
- 云计算设计模式(二十三)——Throttling节流模式
- 《Advanced Bash-scripting Guide》学习(十三):引用变量的两个例子
- 大数据学习笔记之十三 云计算调度
- 十三、Python编程计算24点(之一)
- 初探nginx架构(100%)
- mysql自动执行EVENT事件
- tar.bz2 && .tar.xz 解压命令
- java中的IO整理(转)
- hadoop&hive优化
- 云计算(十三)- Offline Edits Viewer Guide
- [APUE] 第三章部分习题
- java运行命令解释
- C++内存管理详解
- Clojure 学习入门(13)—— binding
- Redis的安装配置介绍<转>
- 游戏行业成功基本与程序猿无关
- Strom Topology执行分析:worker数,Bolt实例数,executor数,task数
- 从表里删除行