查询MYSQL和查询HBASE速度比较
来源:互联网 发布:免费数据接口api平台 编辑:程序博客网 时间:2024/05/16 09:17
Mysql,关系型数据库;
HBase,NoSql数据库。
查询Mysql和查询HBase,到底哪个速度快呢?
与一些真正的大牛讨论时,他们说HBase写入速度,可以达到每秒1W。而HBase的理想速度为每秒10W。
来个实验说明一下,此实验只能表明,当前环境下运行状态。我的实验效果,没有到1W,还在优化中…
环境:
有3台虚拟机,运行Hadoop集群;3台虚拟机也在跑HBase:master,node1,node2
master上,同时安装了Mysql数据库。
目前有这样一个需求:
有一堆文本文件,每个文本文件内,存储着日志;
每一行为一条记录;
现在需要,逐行读取记录,并根据记录中的mac地址和sn号,去从HBase或Mysql中,获取账号信息。
然后合并成一条记录,写入HBase的“SHUJU”表内。
Mysql表结构:
id,mac,sn,addtime,account
HBase表结构:
ROWKEY为mac+sn,mac,sn,account,addtime
测试效果如下:
每隔一分钟,执行一次count操作,统计当前数据条数。
select count(1) from SHUJU
结果如下
=====================================
Mysql上,第一次测试。
开始时间11:03:15
28135(条数)
39014
49659
264564
274379
285174(条数)
结束时间11.26.15
285174 – 28135 = 257039
257039 / 23 = 11 175.608695652
也是1W以上。。。
=====================================
查询的 HBase库
开始时间14:43:00
5622(条数)
16671
25062
34848
46652
58001
69690
79908(条数)
结束 14:50:00
79908 – 5622 = 74 286
74286 /7 = 10 612 每分钟个数。
=====================================
mysql
开始 14:58:30
19248(条数)
26526
36389
45837
51945
62497
72319
82695(条数)
结束时间:15:04:30
间隔 七分钟
82695 – 19248 = 63 447
93447 / 7 = 9 063.8571428571
======================================
可以看出在HBase中速度,比mysql中速度略快一点。
但是总的速度,还是有待提高。。。
文章来自: 大牛笔记
CSDN博客地址:http://blog.csdn.net/weixuehao/article/details/41647185
博客园博客地址:http://www.cnblogs.com/laov/p/4134998.html
- 查询MYSQL和查询HBASE速度比较
- 查询MYSQL和查询HBASE速度比较
- Mysql多种查询速度比较
- 优化Hbase查询速度
- 比较有索引和无索引的查询速度(在mysql数据库中)
- mysql 查询速度优化
- 提高mysql查询速度
- mysql 查询速度优化
- 提高mysql查询速度
- mysql提高查询速度
- hbase 为什么查询比较快
- mysql 提高mysql查询速度
- Hbase查询速度快的缘由
- 如何提高MySQL查询速度
- 提高mysql数据查询速度
- MySQL如何优化查询速度
- Mysql优化查询速度方法
- mysql查询速度优化方法
- jQuery 效果 - 滑动
- Android休眠唤醒机制简介(二)
- 真的不会做搜索题!!!!!!!!!!!!!
- SQL Server 2008 安装过程中遇到“性能计数器注册表配置单元一致性”检查失败 问题的解决方法【已验证
- JAVA学习笔记(复习)-----5、 JAVA基础(四)
- 查询MYSQL和查询HBASE速度比较
- sunday 算法
- struts2+poi导出数据为excel
- Mac osx 10.10系统下MySQL的安装(安装失败解决方法)
- ubuntu14.04 设置开机启动到命令行模式
- android DDMS找不到设备
- ”Microsoft Office Professional Plus在安装过程中出错“解决办法
- 有些累了~
- 黑马程序员——C语言函数及多文件团队开发