HBase 高性能获取数据 - 多线程批量式解决办法
来源:互联网 发布:迅雷 2.7.5 mac 破解 编辑:程序博客网 时间:2024/05/17 17:38
Solr和HBase专辑
1、“关于Solr的使用总结的心得体会”(http://www.cnblogs.com/wgp13x/p/3742653.html)
2、“中文分词器性能比较”(http://www.cnblogs.com/wgp13x/p/3748764.html)
3、“Solr与HBase架构设计”(http://www.cnblogs.com/wgp13x/p/a8bb8ccd469c96917652201007ad3c50.html)
4、 “大数据架构: 使用HBase和Solr将存储与索引放在不同的机器上”(http://www.cnblogs.com/wgp13x/p/3927979.html)
5、“一个自定义 HBase Filter -通过RowKeys来高性能获取数据”(http://www.cnblogs.com/wgp13x/p/4196466.html)
6、“HBase 高性能获取数据 - 多线程批量式解决办法”(http://www.cnblogs.com/wgp13x/p/4245182.html)
1、 如何存储十亿、百亿数据? 答:使用数据存储集群,增加水平拓展能力,以容纳上百亿数据量
2、 如何保证在十亿、百亿数据上面的查询效率? 答:使用分布式搜索引擎
数据量过亿,无论是存储在关系型数据库还是非关系型数据库,使用非索引字段进行条件查询、模糊查询等复杂查询都是一件极其缓慢甚至是不可能完成的任务,数据库索引建立的是二级索引,大数据查询主要依靠搜索引擎。
根据Solr中国资料显示,在2400亿每条数据大概200字节的数据建立索引,搭建分布式搜索引擎,在50台机器进行搜索测试,其中有条件查询、模糊查询等,其中80%的搜索能够在毫秒内返回结果,剩下一部分能够在20秒内返回,还有5%左右的查询需要在50秒左右的时间完成查询请求,客户端查询请求的并发量为100个客户端。
MySQL单机随机读写能力测试
MySQL(InnoDB)
运行环境
Window Server 2008 x64
存储引擎
InnoDB
最大存储容量
64T
列数
39列
每条数据的大小
Avg=507Byte
总数据量
302,418,176条
占用的磁盘空间
210G
插入效率
总共耗时13个小时,每秒约6500条,随着数据量的增大,插入的效率影响不大
单条数据全表随机读取时间
30ms
百条数据全表随机读取时间
1,783ms;1,672ms
千条数据全表随机读取时间
18,579ms;15,473ms
其他
条件查询、Order By、模糊查询基本上是无法响应的
HBase基本说明与性能测试
HBase
数据库类型
NoSql—列式数据库
运行所需要的环境
Linux
是否可以搭建集群
天然的分布式数据库,具有自动分片功能
可扩展性
强,无缝支持水平拓展
插入
与设置的参数关系很大,批量插入和单条插入差别大,单台机器能够实现1w~3w之间的插入速度
更新
删除
查询
只支持按照rowkey来查询或者全表扫描
范围查询
不支持
模糊匹配
不支持
时间范围查询
不支持
分页查询
可以做到
数据库安全性
低
大数据量下的查询响应时间
各个数据级别下的响应时间: (均为随机读取,不命中缓存)
1、3亿-------------------5ms(单行)
2、3亿-------------------124ms(30行)
大数据量下占用的磁盘空间
各个数据级别下的磁盘占用空间(以出租车表为例,17个字段,一行200个字节):
1、1亿-------------------18G(使用GZ压缩)
是否有良好的技术支持
社区活跃,但是配置复杂,参数繁多,学习代价比较大
数据导入和导出
有从RDBMS导入数据的工具Sqoop
热备份
异步复制
是否需要商业付费
否
是否开源
是
优点
1、 支持高效稳定的大数据存储,上亿行、上百万列、上万个版本,对数据自动分片
2、 列式存储保证了高效的随机读写能力
3、 列数可以动态增长
4、 水平拓展十分容易
5、 拥有良好的生态系统,Sqoop用户数据的导入、Pig可以作为ETL工具,Hadoop作为分布式计算平台
缺点
1、 学习复杂
2、 不支持范围查询、条件查询等查询操作
从上面的测试结果表中可以看出,MySQL单表插入速度为每秒6500条,HBase单台机器能够实现1w~3w之间的插入速度,这充分说明HBase插入数据的速度比MySQL高很多。在MySQL单机随机读写能力测试中,单条数据全表随机读取时间是指依据主键去MySQL单表取数据花费的时间;在HBase基本说明与性能测试中,大数据量下查询响应时间是指依照Rowkey到HBase取数据所花费的时间。30ms对5ms,这说明HBase取数据的速度之快也是MySQL望尘莫及的。
在进行上面的性能测试中,无论是从MySQL通过主键读取,还是从HBase通过Rowkey读取,读取的数据量都不大,不超过1000条。当需要一次性读取万级数据时,需要通过设计优化的代码来保证读取速度。
在实现过程中,发现当批量Get的数据量达到一定程度时(如10W),向HBase请求数据会从innerGet发生EOFExeption异常。这里附加上一段从HBase依照多Rowkey获取数据的代码,它采用了性能高的批量Get。在这里,我将这种大批量请求化为每1000个Get的请求,并且采用多线程方式,经过验证,这种方法的效率还是蛮高的。
不得不提的是:在实现过程中,我曾将这种大批量请求化为每4000个Get的多线程请求方式,我们的HBase版本为0.94,这样在一次性请求200000条数据时,HBase直接挂机,client抛出EOFException异常,【processBatchCallback(HConnectionManager.java:1708),processBatch(HConnectionManager.java:1560),(HTable.java:779)】,查看并发连接数与每1000个Get请求一样保持为10个左右,没有异常。查阅相关资料后,我们怀疑,这是由于HTable的非线程安全特性导致的,但经过多时纠缠,最终也没得到可靠结论。后来确定这是由于HBase0.94版自身的问题,在使用0.96版后,此问题便不再出现了。而且我们发现0.94版HBase并不稳定,经常有挂掉情况出现。0.96版HBase要好得多。
转载自:http://www.cnblogs.com/wgp13x/p/4245182.html
- HBase 高性能获取数据 - 多线程批量式解决办法
- HBase 高性能获取数据(多线程批量式解决办法) + MySQL和HBase性能测试比较
- HBase 高性能加入数据 - 按批多“粮仓”式解决办法
- hbase高性能读取数据
- hbase高性能读取数据
- 关于大数据批量更新的问题(高性能)
- StackExchange.Redis 管道 批量 高性能插入数据
- 使用游标批量获取数据提高查询性能
- 多线程高并发解决办法
- 面向高稳定,高性能之-Hbase数据实时同步到ElasticSearch(之一)
- 面向高稳定,高性能之-Hbase数据实时同步到ElasticSearch(之二)
- Hbase之批量数据写入
- java(多线程)实现高性能数据同步
- Hbase coprocessor获取数据
- OCI批量获取数据
- Spark 批量写数据入HBase,spark数据入hbase
- HBase高性能复杂条件查询引擎
- HBase高性能复杂条件查询引擎
- 初探并查集
- android 的webview调用php服务器js , js 调用Android的webview
- 二叉树基础-由中根序列和后根序列重建二叉树(数据结构基础 第5周)
- laravel资源路由,控制器中的接收方式,详解
- 关于Fragment使用的一些见解
- HBase 高性能获取数据 - 多线程批量式解决办法
- UIImagePickerController详解
- dplyr do: Some Tips for Using and Programming
- 让Gradle支持中文 -- 关于 "编码 GBK 的不可映射字符"错误的解决
- EXTJs前后台交互 常用哦3种方式
- Android中实现全屏、无标题栏的两种办法(另附Android系统自带样式的解释)
- UEditor图片不能居中,首行缩进无效等问题的解决
- Android下led控制(下)--Linux驱动部分--script与gpio(全志)
- 虚拟现实-VR-UE4-创建一个自定义的角色 Character