hbase三维(rowkey、olumn key、timestamp)设计
来源:互联网 发布:cab软件下载网 编辑:程序博客网 时间:2024/06/06 07:15
hbase所谓的三维存储的三维是指:rowkey(行主键),column key(columnFamily+qualifier),timestamp(时间戳)
先说rowkey,我们知道rowkey是行的主键,而且hbase只能用个rowkey,或者一个rowkey范围即scan来查找数据。所以rowkey的设计是至关重要的,关系到你应用层的查询效率。我们知道,rowkey是以字典顺序排序的。而存储的字节码,字典排序,我们知道,如果是字母,那就是字母的顺序,比如,有两个rowkey,rowkey1:aaa222,rowkey2:bbb111,那么rowkey1是排在rowkey2前面的,因为按字典,a排在b前面,如果rowkey2的第一位也是a,那么就根据第二位来比较,如果还相同,则比较第三为,后面同样。这个理解了,我们在根据rowkey范围查询的时候,我们一般是知道startRowkey,如果我们通过scan只传startRowKey : d开头的,那么查询的是所有比d大的都查了,而我们只需要d开头的数据,那就要通过endRowKey来限制。我们可以通过设定endRowKey为:d开头,后面的根据你的rowkey组合来设定,一般是加比startKey大一位。比如说rowkey设计为:用户ID-日期,那么查某个用户某天的数据,startKEY为3231-20121212,endKey为:3231+201213,那么你查到的就是用户为3231在20121212这一天的数据。
column key
column key是第二维,数据按rowkey字典排序后,如果rowkey相同,则是根据column key来排序的,也是按字典排序。
我们在设计table的时候要学会利用这一点。比如我们的收件箱。我们有时候需要按主题排序,那我们就可以把主题这设置为我们的column key,即设计为columnFamily+主题.,这样的设计。
timestamp
timestamp 时间戳,是第三维,这是个按降序排序的,即最新的数据排在最前面。这个就没有什么说的了。网上其他的博客也提到比较多。
先说rowkey,我们知道rowkey是行的主键,而且hbase只能用个rowkey,或者一个rowkey范围即scan来查找数据。所以rowkey的设计是至关重要的,关系到你应用层的查询效率。我们知道,rowkey是以字典顺序排序的。而存储的字节码,字典排序,我们知道,如果是字母,那就是字母的顺序,比如,有两个rowkey,rowkey1:aaa222,rowkey2:bbb111,那么rowkey1是排在rowkey2前面的,因为按字典,a排在b前面,如果rowkey2的第一位也是a,那么就根据第二位来比较,如果还相同,则比较第三为,后面同样。这个理解了,我们在根据rowkey范围查询的时候,我们一般是知道startRowkey,如果我们通过scan只传startRowKey : d开头的,那么查询的是所有比d大的都查了,而我们只需要d开头的数据,那就要通过endRowKey来限制。我们可以通过设定endRowKey为:d开头,后面的根据你的rowkey组合来设定,一般是加比startKey大一位。比如说rowkey设计为:用户ID-日期,那么查某个用户某天的数据,startKEY为3231-20121212,endKey为:3231+201213,那么你查到的就是用户为3231在20121212这一天的数据。
column key
column key是第二维,数据按rowkey字典排序后,如果rowkey相同,则是根据column key来排序的,也是按字典排序。
我们在设计table的时候要学会利用这一点。比如我们的收件箱。我们有时候需要按主题排序,那我们就可以把主题这设置为我们的column key,即设计为columnFamily+主题.,这样的设计。
timestamp
timestamp 时间戳,是第三维,这是个按降序排序的,即最新的数据排在最前面。这个就没有什么说的了。网上其他的博客也提到比较多。
- hbase三维(rowkey、olumn key、timestamp)设计
- hbase rowkey 设计(三维有序)
- hbase rowkey 设计(三维有序)
- hbase的rowkey的字典排序(三维有序)
- HBase的Rowkey设计(mark)
- HBase RowKey设计原则(全面)
- HBASE rowkey设计
- 【HBase】Rowkey设计
- hbase rowkey设计
- Hbase rowkey设计
- 【HBase】Rowkey设计
- 【HBase】Rowkey设计
- HBase RowKey设计原则
- HBase的rowkey设计
- hbase rowKey设计
- HBase的rowkey设计
- HBase的rowkey设计
- HBase的rowkey设计
- OpenCV中矩阵类型的个人理解
- IOS 后台执行代码(voip socket)
- 写代码如坐禅:你是哪一类程序员
- 修改Tomcat默认编码,防止页面中文参数乱码
- perl printf的格式化转换符和标记修饰符--2013-4-8
- hbase三维(rowkey、olumn key、timestamp)设计
- QT中|Qt::Tool类型窗口自动退出消息循环问题解决
- 浅谈android的selector,背景选择器
- python的datetime模块功能详解
- 无法识别的属性“targetFramework”。请注意属性名称区分大小写。错误解决办法
- 一个安全删除文件的shell命令
- WITH (NOLOCK)
- 10066 - The Twin Towers
- 【iOS开发必收藏】详解iOS应用程序内使用IAP/StoreKit付费、沙盒(SandBox)测试、创建测试账号流程!