org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数
来源:互联网 发布:淘宝网哥弟正品女装 编辑:程序博客网 时间:2024/06/13 07:38
hbase自带了一个聚合coprocessor类:org.apache.hadoop.hbase.coprocessor.AggregateImplementation。使用该类可以count一张表的总记录数。
当然在hbase shell下面也可以count <table_name>来统计。我这里比较了一下两者的执行时间,我有一张表有700多万的数据,在hbase shell下count足足花费了我12分钟的时间,而用coprocessor来统计,只花费了78秒!!!由此可见coprocessor的强大。
hbase aip 添加协处理器:
Configuration hbaseconfig = HBaseConfiguration.create(); HBaseAdmin hbaseAdmin = new HBaseAdmin(hbaseconfig); hbaseAdmin.disableTable(TABLE_NAME); HTableDescriptor htd = hbaseAdmin.getTableDescriptor(TABLE_NAME); htd.addCoprocessor(AggregateImplementation.class.getName()); hbaseAdmin.modifyTable(TABLE_NAME, htd); hbaseAdmin.enableTable(TABLE_NAME); hbaseAdmin.close();
使用hbase提供的聚合coprocessor:
AggregationClient aggregationClient = new AggregationClient(hbaseconfig); Scan scan = new Scan(); scan.addFamily(Bytes.toBytes("fr")); Date start = new Date(); long rowcount = aggregationClient.rowCount(TABLE_NAME, new LongColumnInterpreter(), scan); Date end = new Date(); System.out.println("rowcount:" + rowcount); System.out.println("timecost:" + (end.getTime() - start.getTime()));
hbase shell添加coprocessor:
disable 'member'
alter 'member',METHOD => 'table_att','coprocessor' => 'hdfs://master24:9000/user/hadoop/jars/test.jar|mycoprocessor.SampleCoprocessor|1001|'
enable 'member'
hbase shell 删除coprocessor:
disable 'member'
alter 'member',METHOD => 'table_att_unset',NAME =>'coprocessor$1'
enable 'member'
1 0
- org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数
- org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数
- org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计hbase表的行数
- HBase源码分析之org.apache.hadoop.hbase.coprocessor包
- HBase源码分析之org.apache.hadoop.hbase.client.coprocessor包
- trafodion Exception ERROR Class org.apache.hadoop.hbase.coprocessor.transactional.TrxRegionEndpoint
- HBase java 统计表行数
- 【HBase】1009-HBase的协处理器(coprocessor)统计行数
- HBase学习笔记-统计表行数
- HBase学习笔记-统计表行数
- Hbase 统计表行数的3种方式总结
- HBASE自带小工具,统计表的行数
- Hbase 统计表行数的3种方式总结
- Hbase 统计表行数的3种方式总结
- Hbase 统计表行数的3种方式总结
- Hbase 统计表行数的3种方式总结
- 【HBase】org.apache.hadoop.hbase包及其类的说明
- org.apache.hadoop.hbase.ClockOutOfSyncException
- 服务器提交了协议冲突. Section=ResponseStatusLine
- 原子操作 atomic_t
- JAVA代码编写的30 条建议
- 如何删除数据库中的重复记录
- Java_搭建eclipse+tomcat开发环境
- org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数
- linux syslogd服务
- Matlab 中的 “Out of Memory”问题解决
- 基于TCP的项目学习历程(二)mina框架的学习。会用就行。随后深究。。
- 泛泰A850L 刷4.4专用CWM recovery 6.0.4.8 英文版
- Entity Framework底层操作封装V2版本(6)
- 一不小心点错了
- 百度地图实例
- 查看手机CPU信息