Tair LDB基于Prefixkey的范围查找性能优化项目之如何提取key的prefix_size
来源:互联网 发布:凸轮的设计软件 编辑:程序博客网 时间:2024/05/22 15:24
目前项目已快截止,编码任务也基本完成,现在主要是性能测试。
项目是按照“Tair LDB基于Prefixkey的范围查找性能优化项目提议方案”的步骤一步步完成的,首先先介绍第一个关键问题是如何解决的。在提案中有以下描述:
由于getrange接口的数据是从prefixput/prefixincr接口进来的,那么prefix的长度信息就可以从它们的pkey参数得到,pkey的数据类型是dataentry,有属性prefixsize,那么我们在客户端将pkey和skey合并为mkey(已经设置mkey的prefixsize为pkey的size)后与value一起传送到服务器端。
在客户端与服务器端的连接过程中,将key的类型封装成LdbKey类,value的类型封装成LdbItem类,LdbItem里面含有key的prefixsize信息,然后两者都转化为Slice类型发送到leveldb底层进行存储操作。注意此时value里面包含了prefixszie信息(序列化信息,不能直接提取),因此我们在生成filter block时可以从value中提取出prefix_size信息(按LdbItem的格式进行分析提取)以生成我们所需要的prefix bloomfilter。提取的具体实现可以放在leveldb层的外面,在leveldb里面进行调用即可(分离操作)。
这里面提到一个关键信息:key的prefix_size信息在db中是存储在value中而不是在key中.
那么value的格式是什么样的呢?
首先value的内容是由LdbItem的数据得到的,知道了LdbItem里数据的存储格式也就知道了value的数据存储格式。LdbItem里data_的数据构成是由下面这个set函数完成的:
// meta_ MUST already be set correctlyvoid set(const char* value_data, const int32_t value_size){ if (value_data != NULL && value_size > 0) { char *metap = reinterpret_cast<char *>(&meta_); int real_meta_size = LDB_ITEM_META_BASE_SIZE; LdbItemMetaBase *metabp = reinterpret_cast<LdbItemMetaBase *>(&meta_); free(); if (metabp->flag_ & TAIR_ITEM_FLAG_NEWMETA) { if (META_VER_PREFIX == metabp->meta_version_) real_meta_size = LDB_ITEM_META_SIZE; else if (META_VER_BASE == metabp->meta_version_) real_meta_size = LDB_ITEM_META_BASE_SIZE; } data_size_ = value_size + real_meta_size; data_ = new char[data_size_]; memcpy(data_, metap, real_meta_size); memcpy(data_ + real_meta_size, value_data, value_size); alloc_ = true; }}
可以知道data_的内容由两部分构成:
| LdbItemMeta数据 | 真实的value内容 |
或者
| LdbItemMetaBase数据 | 真实的value内容 |
两者的区别在于LdbItemMeta数据包含prefix_size信息而LdbItemMetaBase数据不包含,这通过这两个简单的数据结构组成部分就知道了。
struct LdbItemMetaBase { LdbItemMetaBase() : meta_version_(0), flag_(0), version_(0), cdate_(0), mdate_(0), edate_(0){} uint8_t meta_version_; // meta data version uint8_t flag_; // flag uint16_t version_; // version uint32_t cdate_; // create time uint32_t mdate_; // modify time uint32_t edate_; // expired time(for meta when get value. dummy with key) }; struct LdbItemMeta // change value() and set() ,if you want to add new metadata { LdbItemMeta(): prefix_size_(0) {} struct LdbItemMetaBase base_; uint16_t prefix_size_; // prefix key size(for getRange conflict detect) uint16_t reserved; // };
因此如果value的第一部分是LdbItemMeta数据,就说明它包含prefixsize信息,我们就可以将value内容按LdbItemMeta的格式进行解析,从而提取出其中的prefixsize信息。
下面是具体的解析提取程序:
// get prefix size from slice value contentint get_prefix_size(const leveldb::Slice &value) { // parse LdbItemMetaBase from value char *val = const_cast<char*>(value.data()); LdbItemMeta *metap = reinterpret_cast<LdbItemMeta*>(val); // check if prefix is set if (metap->base_.flag_ & TAIR_ITEM_FLAG_NEWMETA) { // if prefix is set, parse it from LdbItemMeta. if not, return 0 if (META_VER_PREFIX == metap->base_.meta_version_) { return metap->prefix_size_; } else { return 0; } } return 0;}
- Tair LDB基于Prefixkey的范围查找性能优化项目之如何提取key的prefix_size
- Tair LDB基于Prefixkey的范围查找性能优化项目之如何建立prefix bloomfilter
- Tair LDB基于Prefixkey的范围查找性能优化项目之后续问题解决记录
- Tair LDB基于Prefixkey的范围查找性能优化项目之如何使用prefix bloomfilter进行过滤
- Tair LDB基于Prefixkey的范围查找性能优化项目提议方案
- Tair LDB基于Prefixkey的范围查找性能优化项目中期总结
- Tair LDB基于Prefixkey的范围查找性能优化项目测试及完成总结报告
- Tair LDB基于Prefixkey的范围查找
- tair ldb存储引擎性能测试方案
- 基于Tair存储的广告服务性能优化总结及思考
- Tair: 淘宝的key/value解决方案
- Tair: 淘宝的key/value解决方案
- Tair: 淘宝的key/value解决方案
- Tair: 淘宝的key/value解决方案
- tair 淘宝的分布式key/value存储系统
- EBS开发性能优化之查找需要优化的程序
- access 下的ldb
- 如何基于CPU的架构来优化软件的性能?
- AIDL通信
- 素数的距离
- 版本号,json解析,安装apk,签名,无标题栏,滚动Textview,自定义组合控件
- 表白程序源码,android
- 【算法分析】三维曲面的三角剖分算法分析
- Tair LDB基于Prefixkey的范围查找性能优化项目之如何提取key的prefix_size
- 用Word宏来实现批量将HTML转换成DOC
- HDU 1242 Rescue【优先队列BFS】
- Spring动态切换数据库
- viewpager放在scrollview中时,滑动viewpager里的内容会不顺畅
- 新人报道,多多关注
- 求一个字符串中连续出现的次数最多的子串
- hdu1335
- MapBox教程