hbase数据导出方案
来源:互联网 发布:模拟人生3 mac 编辑:程序博客网 时间:2024/05/16 02:15
当hbase里的数据量很大时,想要查找导出某些数据是非常耗时的。针对于我们一般的应用,对于有批次或任务性质概念的数据,我们可以这样:
首先,在进行数据存存时,需要对其ROWKEY进行规范化生成,
如生成规格为:自定义ID+任务/批次ID+UUID(注意,整个ROWKYE尽可能保证只有数据和字母,UUID的-字符需替换掉)
这样,当我们想找到某一批次或任务或某ID标识的数据时,可以:
使用scan,以设置其startrow,stoprow实现:
startrow:ID+任务ID+32位0
stoprow:ID+任务ID+32位z
因为对应于ASCII码,其排序顺序是:数字-大写字母-小写字母,所以SCAN的起码行可以如上设置,即可找出某任务的所有数据,且这样寻找的速度非常快。
首先,在进行数据存存时,需要对其ROWKEY进行规范化生成,
如生成规格为:自定义ID+任务/批次ID+UUID(注意,整个ROWKYE尽可能保证只有数据和字母,UUID的-字符需替换掉)
这样,当我们想找到某一批次或任务或某ID标识的数据时,可以:
使用scan,以设置其startrow,stoprow实现:
startrow:ID+任务ID+32位0
stoprow:ID+任务ID+32位z
因为对应于ASCII码,其排序顺序是:数字-大写字母-小写字母,所以SCAN的起码行可以如上设置,即可找出某任务的所有数据,且这样寻找的速度非常快。
0 0
- hbase数据导出方案
- Hbase数据导入方案
- Hbase数据恢复方案
- Hbase导入导出数据
- Hbase数据导入导出
- hbase导入导出数据
- hive导出hbase数据
- HBase集群数据迁移方案
- HBase数据的导入导出
- HBase数据的导入导出
- HBase数据导出到HDFS
- hbase 数据的导入导出
- Hbase导出数据执行过程
- hbase 导入导出/数据迁移
- HBase数据导出到HDFS
- PHP方案实现数据导出
- HBase数据同步到ElasticSearch的方案
- hbase数据备份或者容灾方案
- hibernate常用主键生成策略简略
- Spring如何使用JdbcTemplate调用存储过程的三种情况
- 图解正向代理、反向代理、透明代理
- 分布式消息队列Kafka集群安装
- Ubuntu下adb出现????? no permission
- hbase数据导出方案
- [Pycharm]设置字体
- Qt4过渡至Qt5
- 九度OJ 1348 数组中的逆序对 -- 归并排序
- Hash表的一种实现
- 浅谈响应式布局
- BigInteger类实例的构造过程——JDK源码解析
- gtest调研手册
- iphone中加速器,陀螺仪,磁力计的使用和实现