Hbase 统计表行数的3种方式总结
来源:互联网 发布:曾舜晞粤读软件 编辑:程序博客网 时间:2024/05/17 03:56
有些时候需要我们去统计某一个hbase表的行数,由于hbase本身不支持SQL语言,只能通过其他方式实现。可以通过一下几种方式实现hbase表的行数统计工作:
1.count命令
最直接的方式是在hbase shell中执行count的命令可以统计行数。
hbase> count ‘t1′hbase> count ‘t1′, INTERVAL => 100000hbase> count ‘t1′, CACHE => 1000hbase> count ‘t1′, INTERVAL => 10, CACHE => 1000
其中,INTERVAL为统计的行数间隔,默认为1000,CACHE为统计的数据缓存。这种方式效率很低,如果表行数很大的话不建议采用这种方式。
2. 调用Mapreduce
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’
这种方式效率比上一种要搞很多,调用的hbase jar中自带的统计行数的类。
3.hive over hbase
如果已经见了hive和hbase的关联表的话,可以直接在hive中执行sql语句统计hbase表的行数。
hive over hbase 表的建表语句为:
/*创建hive与hbase的关联表*/
CREATE TABLE hive_hbase_1(key INT,value STRING)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf:val")TBLPROPERTIES("hbase.table.name"="t_hive","hbase.table.default.storage.type"="binary");
/*hive关联已经存在的hbase*/
CREATE EXTERNAL TABLE hive_hbase_1(key INT,value STRING)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,cf:val")TBLPROPERTIES("hbase.table.name"="t_hive","hbase.table.default.storage.type"="binary");
0 0
- Hbase 统计表行数的3种方式总结
- Hbase 统计表行数的3种方式总结
- Hbase 统计表行数的3种方式总结
- Hbase 统计表行数的3种方式总结
- Hbase 统计表行数的3种方式总结
- HBase java 统计表行数
- Hbase统计表总行数的三种方式
- HBase学习笔记-统计表行数
- HBase学习笔记-统计表行数
- org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数
- org.apache.hadoop.hbase.coprocessor.AggregateImplementation 来统计表的行数
- HBASE自带小工具,统计表的行数
- SQL Server统计表的行数
- 如何教大家正确统计表的行数
- 统计表记录行数
- Oracle 统计表行数
- 几种实现统计表的方法
- 蛋疼需求-精确统计表行数
- js提交form表单,并传递参数
- JSP显示服务器图片
- sed 使用 $var
- C#——WinForm登录界面
- 让webView适应屏幕大小
- Hbase 统计表行数的3种方式总结
- IOS开发之实现App消息推送(最新)
- 基类加析构函数加virtual的重要性
- css3圆角tab选项卡代码
- 【趋势科技实习录】UI添加滚动条
- CKEditor实现图片上传
- mysql 高性能的索引
- 上传头像功能
- 模拟日历计算 poj1008