RRD文件格式分析

一、 文件格式：

rrd 文件格式大体分为两部分：
1．文件头信息区：

   该区域包含一些版本信息和一些于数据存储区相关的一些信息。例如：RRD的版本号，DS数量，DS名称，DS类型，RRA数量，RRA类型，PDP数据区，CDP数据区，最后更新时间，RRA目前更新到的位置等等信息。

2．数据存储区：

   该区域存储了实际的数据。数据的来源是根据在创建RRD文件时DS的类型及相关RRA定义，并通过相关的计算得出的（CF，DST）。注意：数据源（DS）是存储的实体，而RRA是数据存储的载体。在逻辑上，每个RRA都有所有DS的数据（计算）。RRA和DS的关系如下图所示：

 

RRD文件大体格式如下 

                数据结构：           typedef struct rrd_t {              stat_head_t      *stat_head;                       ds_def_t         *ds_def;                         rra_def_t        *rra_def;                         live_head_t      *live_head;                             pdp_prep_t       *pdp_prep;                         cdp_prep_t       *cdp_prep;                        rra_ptr_t        *rra_ptr;                        rrd_value_t      *rrd_value;                   } rrd_t;         下面分别详细介绍RRD头部区域和RRD数据区域：         1．RRD头区域：         a)        RRD头区域包括：                                                i.              静态头部：         数据结构：                                          typedef struct stat_head_t {                                         char             cookie[4];    //“RRD”                                         char             version[5];    //RRD版本信息                                        double           float_cookie;  //                                        unsigned long    ds_cnt;        //（DS）数据源的个数                                        unsigned long    rra_cnt;        //RRA个数                                        unsigned long    pdp_step;       //数据插入间隔                                        unival           par[10];              } stat_head_t;         说明：         重要的信息要素：         ds_cnt－数据源个数：该数据值是在创建RRD文件的         时候获取到，作用为标识该RRD文件有多少个DS。         rra_cnt－RRA个数：该数据值是在创建RRD文件的时         候获取到，作用为标识该RRD文件有多少RRA。         pdp_step－间隔时间：期望多长时间接受到数据。         该数据值是在创建RRD文件的时候获取到。         举例：         RRD文件命令如下所示：         Rrdtool create first.rrd –start N --step 1  \         DS:fir:COUNTER:2:U:U  \         DS:sec:GAUGE:2:U:U \         RRA:AVERAGE:0.5:1:60 \         RRA:MAX:0.5:60:60 \         RRA:MIN:0.5:3600:24 \         RRA:LAST:0.5: 86400:7 \        命令说明：        命令的格式请参考相关的RRD文档，这里我们只针对        相关上面的数据结构进行解释         ds_cnt   ＝ 2；         rra_cnt   ＝ 4；         pdp_step ＝ 1；                                               ii.              DS定义域：         数据结构：         typedef struct ds_def_t {       char    ds_nam[DS_NAM_SIZE];  //数据源名称             char    dst[DST_SIZE];          //数据源类型             unival   par[10];                         } ds_def_t;         说明：         ds_nam：数据原名称。在创建的时候指定。         dst：数据源类型。创建时指定。         ds_def [0].ds_nam = fir         ds_def [0].dst    = COUNTER         ds_def [1].ds_nam = sec         ds_def [1].dst    = GAUGE                                              iii.              RRA定义域：         数据结构：         typedef struct rra_def_t          {             char          cf_nam[CF_NAM_SIZE];  //CF（合并类型）             unsigned long  row_cnt;                //RRA行数             unsigned long  pdp_cnt;                //pdp个数             unival        par[MAX_RRA_PAR_EN];                     } rra_def_t;         说明：         cf_nam：合并数据的类型。（PDP数据合成CDP数据时的         类型）         例如：RRA1.         Rrdtool create first.rrd –start N --step 1  \         DS:fir:COUNTER:2:U:U  \         DS:sec:GAUGE:2:U:U \         RRA:AVERAGE:0.5:1:60 \         RRA:MAX:0.5:60:60 \         RRA:MIN:0.5:3600:24 \         RRA:LAST:0.5: 86400:7 \                                     将60个，间隔时间为1s的数据（PDP）合成，计算其60个中最大的作为该RRA中的数据源（DS）的计算值进行存储。                                            row_cnt：RRA的行数（每一行有所有数据源的数据）                                            pdp_cnt:该RRA在合并数据时所占用的pdp数量。            rra_def_t [0]. cf_nam = AVERAGE            rra_def_t [0]. row_cnt = 60            rra_def_t [0]. pdp_cnt = 1            rra_def_t [1]. cf_nam = AVERAGE            rra_def_t [1]. row_cnt = 60            rra_def_t [1]. pdp_cnt = 60            rra_def_t [2]. cf_nam = AVERAGE            rra_def_t [2]. row_cnt = 24            rra_def_t [2]. pdp_cnt = 60*60            rra_def_t [3]. cf_nam = AVERAGE            rra_def_t [3]. row_cnt = 7            rra_def_t [3]. pdp_cnt = 60*60*24

    小节：       根据上面的分析，到现在应该清楚了RRD文件中RRA和DS的具体关系了。       具体如下：活动头部：
数据结构：
typedef struct live_head_t {
    time_t           last_up;  //最后更新时间（秒）
    long            last_up_usec;     //最后更新毫秒
} live_head_t;
说明:
last_up : RRD文件最后更新的时间(秒级)
last_up_usec:RRD文件最后更新时间(微秒级)
*仅一条数据
                                     ii.              PDP数据域：
数据结构：
typedef struct pdp_prep_t{    
    char last_ds[LAST_DS_LEN];  //目前更新rrd 文件的数据
    unival        scratch[10];    
} pdp_prep_t; 
说明:
    unival        scratch[10]:该变量类型是一个结构体,变量的功能就是存储计算CDP,计算多长时间没有接受到数据,等相关的信息.在实际的rrd文件中PDP的数量为DS的数量.存储的是每个DS的相关数据信息(时间,真实数据).
                                    iii.              CDP数据域：
typedef struct cdp_prep_t{
    unival         scratch[MAX_CDP_PAR_EN];          
} cdp_prep_t;
说明: 
scratch:该变量存储了与计算CDP相关的数据,如多少个PDP没有数据(与该RRA中PDP的数量有关),目前CDP数据的计算值等信息.
改CDP的数量与RRA的数量相同,同时每一条CDP数据里面包含所有的DS.简单的说就是CDP是RRA的缩小集合,目的是为计算相同RRA中下一条RRA记录做准备.
                                   iv.              RRA指针域：
typedef struct rra_ptr_t {
    unsigned long    cur_row; //目前不同RRA数据已经更新到的
//位置
} rra_ptr_t;
小节:
       到目前位置已经清楚的看到了RRD头文件的大体面貌,至于具体的结构体内部请参考相应的代码.
       RRD头文件结构图如下(根据上面创建命令绘制)







1．RRD数据区：
数据结构: 
typedef    double   rrd_value_t;  //RRD数据类型
rrd_value_t      *rrd_value;            //RRD在内存中存储形式
说明:RRD文件文件中除了RRD文件头部区域剩下的就是RRD文件数据区域.数据区域可以想象成为n*k*m 的矩阵,n为RRA的数量,k为不同RRA的行数,m为数据源DS的数量.
RRD数据区域的图形请参考上面RRA与DS的小节.