HBase scan setBatch和setCaching的区别
来源:互联网 发布:深圳市国税开票软件 编辑:程序博客网 时间:2024/06/02 03:08
转自:http://blog.csdn.net/caoli98033/article/details/44650497
HBase的查询实现只提供两种方式:
1、按指定RowKey获取唯一一条记录,get方法(org.apache.hadoop.hbase.client.Get)
2、按指定的条件获取一批记录,scan方法(org.apache.Hadoop.Hbase.client.Scan)
实现条件查询功能使用的就是scan方式,scan在使用时有以下几点值得注意:
1、scan可以通过setCaching与setBatch方法提高速度(以空间换时间);
2、scan可以通过setStartRow与setEndRow来限定范围([start,end)start是闭区间,end是开区间)。范围越小,性能越高。
通过巧妙的RowKey设计使我们批量获取记录集合中的元素挨在一起(应该在同一个Region下),可以在遍历结果时获得很好的性能。
3、scan可以通过setFilter方法添加过滤器,这也是分页、多条件查询的基础。
scan中的setCaching与setBatch方法的区别是什么呢?
setCaching设置的值为每次rpc的请求记录数,默认是1;cache大可以优化性能,但是太大了会花费很长的时间进行一次传输。
setBatch设置每次取的column size;有些row特别大,所以需要分开传给client,就是一次传一个row的几个column。
batch和caching和hbase table column size共同决意了rpc的次数。
通过下表可以看出caching/batch/rpc次数的关系:
- HBase scan setBatch和setCaching的区别
- HBase scan setBatch和setCaching的区别
- HBase scan setBatch和setCaching的区别
- HBase scan setBatch和setCaching的区别
- Hbase里scan的批量处理setCaching
- HBase 设置 合理的setCaching提高效率
- HBase设置合理的setCaching提高效率HBase提供了setCaching设置cache
- hbase scan和bloom filter的讨论
- hbase scan中匪夷所思的SingleColumnValueFilter和COLUMNS
- Letterbox, Pillarbox和Pan&Scan的区别
- annotation-config 和 component-scan 的区别
- HBase scan的客户端分析
- hbase中scan的用法
- Hbase scan过滤器的使用
- SCAN和KEYS 区别
- Bluetooth Page Scan和Inquiry Scan区别
- Hbase scan
- hbase组合rowkey和partial key scan
- 欢迎使用CSDN-markdown编辑器
- 当上测试经理都需要懂哪些?
- C#使用System.Speech制作语音提示功能。
- 2D制图实战之仿QQ截图工具
- harbor-offline-installer-v1.1.1.tgz 下载地址
- HBase scan setBatch和setCaching的区别
- Linux搭建SVN服务器及服务端代码自动更新
- Spark Streaming+kafka订单实时统计实现
- 机房重构—注册
- golang日記
- linux 读写锁的几种实现方式
- Revit二次开发之创建共享参数及绑定共享参数【比目鱼原创】
- POJ-3735 Training little cats
- 图片缩放