hbase之scan的rowkey问题
来源:互联网 发布:台湾视频聊天软件 编辑:程序博客网 时间:2024/05/21 09:00
最近使用到hbase做存储,发现使用scan的时候,返回的rowkey并不是特别友好
例如我insert的rowkey是 xyz_123_abc
调用KeyValue的getKeyString方法返回的String为
- kv\x00\x0Bxyz_123_abc\x02kvobj\x00\x00\x011\xD7\xB9\xDD\x1B\x04
kv\x00\x0Bxyz_123_abc\x02kvobj\x00\x00\x011\xD7\xB9\xDD\x1B\x04
可以看到我的rowkey已经被处理过了,不过这个处理只是拼接处理,没有其他译码的过程。
好吧,这下需要考虑如何提取出我的真实的rowkey了,看了下KeyValue中,生成key的算法太繁琐了,直接跳过,debug看下rowkey的返回过程,发现KeyValue对象本身其实是正常的,也就是说KeyValue的toString方法其实有正常的rowkey,ok找到入口点了,直接看toString的方法
- public String toString() {
- if (this.bytes == null || this.bytes.length == 0) {
- return "empty";
- }
- return keyToString(this.bytes, this.offset + ROW_OFFSET, getKeyLength()) +
- "/vlen=" + getValueLength();
- }
public String toString() { if (this.bytes == null || this.bytes.length == 0) { return "empty"; } return keyToString(this.bytes, this.offset + ROW_OFFSET, getKeyLength()) + "/vlen=" + getValueLength(); }
接着看keyToString方法,摘取最前面重要的2段
- public static String keyToString(final byte [] b, final int o, final int l) {
- if (b == null) return "";
- int rowlength = Bytes.toShort(b, o);
- String row = Bytes.toStringBinary(b, o + Bytes.SIZEOF_SHORT, rowlength);
public static String keyToString(final byte [] b, final int o, final int l) { if (b == null) return ""; int rowlength = Bytes.toShort(b, o); String row = Bytes.toStringBinary(b, o + Bytes.SIZEOF_SHORT, rowlength);
这次终于找到了他的构成方法了,ok 对照KeyValue的API 可以写个util方法来获取真实的rowkey字符串了
- public static String getRealRowKey(KeyValue kv) {
- int rowlength = Bytes.toShort(kv.getBuffer(), kv.getOffset()+KeyValue.ROW_OFFSET);
- String rowKey = Bytes.toStringBinary(kv.getBuffer(), kv.getOffset()+KeyValue.ROW_OFFSET + Bytes.SIZEOF_SHORT, rowlength);
- return rowKey;
- }
public static String getRealRowKey(KeyValue kv) {int rowlength = Bytes.toShort(kv.getBuffer(), kv.getOffset()+KeyValue.ROW_OFFSET);String rowKey = Bytes.toStringBinary(kv.getBuffer(), kv.getOffset()+KeyValue.ROW_OFFSET + Bytes.SIZEOF_SHORT, rowlength); return rowKey;}
- hbase之scan的rowkey问题
- hbase组合rowkey和partial key scan
- Hbase根据rowkey利用scan查询
- Hbase表Scan方法获取rowkey
- Hbase scan通过rowkey条件查询
- hbase的rowkey设计之字典顺序
- HBase学习之五:HBase的RowKey设计原则
- HBase学习之HBase的RowKey设计原则
- HBase学习之五:HBase的RowKey设计原则
- HBase的rowkey设计
- HBase的rowkey设计
- HBase的rowkey设计
- HBase的rowkey设计
- HBase的rowkey设计
- HBase的RowKey设计
- HBase的RowKey设计
- HBase的RowKey设计
- hbase的rowkey设计
- ArcGIS Engine + C# 开发过程中,鼠标在地图上滑过时,显示地图相关信息
- 关于将要到来的WEB安全专题
- Flex项渲染器
- UIViewController: viewDidLoad vs. viewWillAppear:
- postgresql常用攻略
- hbase之scan的rowkey问题
- coreldraw选中对象无法移动解决方法
- malloc分配原理浅析 mmap关注焦点 如何优化分配内存
- loner_li 线程池之 方法执行顺序与方法位置的先后无关
- 1342 open source and commercial UI components for iOS and OS X.
- hbase rowkey 设计(三维有序)
- 密码加密MD5
- postgresql insert
- mybaits 环境搭建简单示例