ceph-dencoder的使用

0 简介

贯穿Ceph OSD端数据处理的一个核心结构就是ObjectStore::Transaction，OSD处理的所有操作以及其关联的数据都会封装进入Transaction中的bufferlist结构里，这里的封装也就是序列化(encode)，它将各种数据结构无论简单或者复杂都作为字节流，存入bufferlist中。最终Transaction会由具体的ObjectStore后端实现来处理，当然，处理时会对bufferlist中的数据进行反序列化（decode）。而本文介绍的ceph-dencoder工具就是Ceph提供的可以进行encode、decode以及dump ceph相关数据结构的工具，同时它也可以用来调试以及测试Ceph不同版本之间的兼容性。今天这里主要介绍它的decode功能，其他功能大家可以自行研究。

1 安装

ceph-dencoder工具是默认安装的。

2 使用

可以通过它的manpage或者help文档来了解它的使用

[html] view plain copy

1. [root@ceph03 ~]# man ceph-dencoder  

[html] view plain copy

1. [root@ceph03 ~]# ceph-dencoder -h  
2. usage: ceph-dencoder [commands ...]  
3.   
4.   version            print version string (to stdout)  
5.   import <encfile>   read encoded data from encfile  
6.   export <outfile>    write encoded data to outfile  
7.   set_features <num>  set feature bits used for encoding  
8.   get_features        print feature bits (int) to stdout  
9.   list_types          list supported types  
10.   type <classname>    select in-memory type  
11.   skip <num>          skip <num> leading bytes before decoding  
12.   decode              decode into in-memory object  
13.   encode              encode in-memory object  
14.   dump_json           dump in-memory object as json (to stdout)  
15.   copy                copy object (via operator=)  
16.   copy_ctor           copy object (via copy ctor)  
17.   count_tests         print number of generated test objects (to stdout)  
18.   select_test <n>     select generated test object as in-memory object  
19.   is_deterministic    exit w/ success if type encodes deterministically  

它的用法比较简单，即ceph-dencoder跟上相应的子命令即可。

在具体使用时，可以通过以下命令查看ceph-dencoder当前支持哪些结构：

[html] view plain copy

1. # ceph-dencoder list_types  

要确定需要通过哪种结构来进行数据解析，只能通过阅读源码，找到encode数据时，数据对应的数据结构。

3 使用事例

下面以查看object的object_info信息为例，介绍一下这个工具的使用。

在使用XFS作为后端存储时，一个object就对应一个文件，obejct的object_info信息通常是作为文件的扩展属性存在的。

首先先找到一个object对应的文件，并查看object文件的扩展属性，这里会用到XFS一个工具attr，主要用于操作XFS文件的扩展属性的：

[plain] view plain copy

1. [root@ceph03 0.0_head]# pwd  
2. /var/lib/ceph/osd/ceph-2/current/0.0_head  
3. [root@ceph03 0.0_head]# ls  
4. __head_00000000__0  
5. rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0  
6. [root@ceph03 0.0_head]# attr -l rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0  
7. Attribute "cephos.spill_out" has a 2 byte value for rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0  
8. Attribute "ceph._" has a 250 byte value for rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0  
9. Attribute "ceph._@1" has a 16 byte value for rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0  
10. Attribute "ceph.snapset" has a 31 byte value for rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0  

从上面的输出可以看到扩展属性中总共有3部分，其中"ceph._"和"ceph._@1"应该算是一部分，因为ceph._超出了XFS扩展属性的长度限制，所以拆成了两个。而它里面就存放了我们要找的object_info_t的数据。"cephos.spill_out"是一个两个字节的字符数组，用于记录文件的扩展属性是否溢出到了Omap里，一般它的值是“0”或者“1”，“0”就是源码里的宏定义XATTR_NO_SPILL_OUT，表示没有溢出，而“1”是XATTR_SPILL_OUT，表示有溢出。“ceph.snapset"用来记录和Object相关的Snapshot信息，它的数据以SnapSet这个结构的形式存在。

另外还有一个通用的命令getfattr也可以干类似的事情。

[html] view plain copy

1. [root@ceph03 0.0_head]# getfattr -d rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0 -m 'user\.ceph\._'  
2. # file: rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0  
3. user.ceph._=0sDwgEAQAABANAAAAAAAAAAB8AAAByYi4wLjVlOWEuMmFlODk0NGEuMDAwMDAwMDAwMDJl/v////////9A1gYPAAAAAAAAAAAAAAAAAAYDHAAAAAAAAAAAAAAA/////wAAAAAAAAAA//////////8AAAAANAwAAAAAAAB4AQAAMwwAAAAAAAB4AQAAAgIVAAAACJ1eAAAAAAAAExcCAAAAAAABAAAAAABAAAAAAAAL2pBXQLuEOQICFQAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAADQMAAAAAAAAAAAAAAAAAAAAJAAAAA==  
4. user.ceph._@1=0sDNqQV32Low///////////w==  

接着，我们将扩展属性中的数据dump到一个文件当中，注意应该将"ceph._"和"ceph._@1"的数据拼起来。

[html] view plain copy

1. [root@ceph03 0.0_head]# attr -q -g "ceph._" rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0 > 1.txt  
2. [root@ceph03 0.0_head]# attr -q -g "ceph._@1" rb.0.5e9a.2ae8944a.00000000002e__head_0F06D640__0 >> 1.txt  

最后使用ceph-dencoder工具将其内容解析出来。

[plain] view plain copy

1. [root@ceph03 0.0_head]# ceph-dencoder import 1.txt type object_info_t decode dump_json  
2. {  
3.     "oid": {  
4.         "oid": "rb.0.5e9a.2ae8944a.00000000002e",  
5.         "key": "",  
6.         "snapid": -2,  
7.         "hash": 252106304,  
8.         "max": 0,  
9.         "pool": 0,  
10.         "namespace": ""  
11.     },  
12.     "version": "376'3124",  
13.     "prior_version": "376'3123",  
14.     "last_reqid": "client.24221.1:136979",  
15.     "user_version": 3124,  
16.     "size": 4194304,  
17.     "mtime": "2016-07-21 22:19:55.965000",  
18.     "local_mtime": "2016-07-21 22:19:56.262376",  
19.     "lost": 0,  
20.     "flags": 36,  
21.     "snaps": [],  
22.     "truncate_seq": 0,  
23.     "truncate_size": 0,  
24.     "data_digest": 4294967295,  
25.     "omap_digest": 4294967295,  
26.     "watchers": {}  
27. }