MySQL随机获取数据的方法,支持大数据量
来源:互联网 发布:单片机中断初始化程序 编辑:程序博客网 时间:2024/06/05 07:47
最近做项目,需要做一个从mysql数据库中随机取几条数据出来。
总所周知,order by rand 会死人的。。因为本人对大数据量方面的只是了解的很少,无解,去找百度老师。。搜索结果千篇一律。特发到这里来,供大家学习。
在mysql中带了随机取数据的函数,在mysql中我们会有rand()函数,很多朋友都会直接使用,如果几百条数据肯定没事,如果几万或百万时你会发现,直接使用是错误的。下面我来介绍随机取数据一些优化方法。
RAND()
RAND(N)
返回在范围0到1.0内的随机浮点值。如果一个整数参数N被指定,它被用作种子值。
网上基本上都是查询max(id) * rand()来随机获取数据。
上面的语句采用的是JOIN,mysql的论坛上有人使用
后来请教了baidu,得到如下代码
完整查询语句是:
前者花费时间 0.147433 秒
后者花费时间 0.015130 秒
执行效率需要0.02 sec.可惜的是,只有mysql 4.1.*以上才支持这样的子查询.
注意事项 查看官方手册,也说rand()放在ORDER BY 子句中会被执行多次,自然效率及很低。
以上的sql语句最后一条,本人实际测试通过,100W数据,瞬间出结果。
总所周知,order by rand 会死人的。。因为本人对大数据量方面的只是了解的很少,无解,去找百度老师。。搜索结果千篇一律。特发到这里来,供大家学习。
在mysql中带了随机取数据的函数,在mysql中我们会有rand()函数,很多朋友都会直接使用,如果几百条数据肯定没事,如果几万或百万时你会发现,直接使用是错误的。下面我来介绍随机取数据一些优化方法。
- SELECT * FROM table_name ORDER BY rand() LIMIT 5;
复制代码
rand在手册里是这么说的:RAND()
RAND(N)
返回在范围0到1.0内的随机浮点值。如果一个整数参数N被指定,它被用作种子值。
- mysql> select RAND();
- -> 0.5925
- mysql> select RAND(20);
- -> 0.1811
- mysql> select RAND(20);
- -> 0.1811
- mysql> select RAND();
- -> 0.2079
- mysql> select RAND();
- -> 0.7888
复制代码
你不能在一个ORDER BY子句用RAND()值使用列,因为ORDER BY将重复计算列多次。然而在MySQL3.23中,你可以做: SELECT * FROM table_name ORDER BY RAND(),这是有利于得到一个来自SELECT * FROM table1,table2 WHERE a=b AND c<d ORDER BY RAND() LIMIT 1000的集合的随机样本。注意在一个WHERE子句里的一个RAND()将在每次WHERE被执行时重新评估。网上基本上都是查询max(id) * rand()来随机获取数据。
- SELECT *
- FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * (SELECT MAX(id) FROM `table`)) AS id) AS t2
- WHERE t1.id >= t2.id
- ORDER BY t1.id ASC LIMIT 5;
复制代码
但是这样会产生连续的5条记录。解决办法只能是每次查询一条,查询5次。即便如此也值得,因为15万条的表,查询只需要0.01秒不到。上面的语句采用的是JOIN,mysql的论坛上有人使用
- SELECT *
- FROM `table`
- WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `table` )
- ORDER BY id LIMIT 1;
复制代码
我测试了一下,需要0.5秒,速度也不错,但是跟上面的语句还是有很大差距后来请教了baidu,得到如下代码
完整查询语句是:
- SELECT * FROM `table`
- WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`)) + (SELECT MIN(id) FROM `table`)))
- ORDER BY id LIMIT 1;
复制代码
- SELECT *
- FROM `table` AS t1 JOIN (SELECT ROUND(RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`))+(SELECT MIN(id) FROM `table`)) AS id) AS t2
- WHERE t1.id >= t2.id
- ORDER BY t1.id LIMIT 1;
复制代码
最后在php中对这两个语句进行分别查询10次,前者花费时间 0.147433 秒
后者花费时间 0.015130 秒
执行效率需要0.02 sec.可惜的是,只有mysql 4.1.*以上才支持这样的子查询.
注意事项 查看官方手册,也说rand()放在ORDER BY 子句中会被执行多次,自然效率及很低。
以上的sql语句最后一条,本人实际测试通过,100W数据,瞬间出结果。
阅读全文
0 0
- MySQL随机获取数据的方法,支持大数据量
- MySQL随机获取数据的方法,支持大数据量
- mysql如何随机获取数据的方法
- mysql大数据量导入的几个方法
- 关于SSM+mysql框架大数据量的支持优化
- mysql实现随机获取几条数据的方法
- sphinx+mysql+mongodb 大数据量的数据显示
- 大数据量下MySQL插入方法的性能比较
- 大数据量下MySQL插入方法的性能比较
- 大数据量及海量数据的处理方法总结
- 基于矢量数据的大数据量遥感影像裁剪方法
- mysql-大数据量的导入
- 关于mysql大数据量分页方法
- 大数据量,海量数据 处理方法总结
- 大数据量,海量数据 处理方法总结
- 大数据量,海量数据 处理方法总结
- 大数据量,海量数据 处理方法总结
- 大数据量,海量数据 处理方法总结
- 杭电1037题-轮子过地下通道
- Mongodb在renameCollection之后,记得千万要立即补建索引
- mmc_init函数流程分析
- qt5快捷按不好用如何设置?
- poj 2828 BuyTickets(线段树+插队问题)
- MySQL随机获取数据的方法,支持大数据量
- windows7 anaconda2 cpu caffe 环境搭建
- string类的实现
- 批量查杀后台driver进程及常见问题
- 【Python3.6】糗事百科爬虫
- centos新增用户以及赋权
- Evaluate the value of an arithmetic expression in Reverse Polish Notation.
- Sucuri 安全平台
- 9应用系统负载分析与磁盘容量预测