千万级数据库分页优化
来源:互联网 发布:私募股权基金待遇 知乎 编辑:程序博客网 时间:2024/06/06 13:07
今天接到一个五千万的数据库文件,需要洗一遍数据,洗数据的时候遇到两个问题
原始数据没有主键 需要手动添加
ALTER TABLE `tablename` ADD COLUMN `id` int(11) NOT NULL AUTO_INCREMENT FIRST ,ADD PRIMARY KEY (`id`);
5000万数据大概执行了十五分钟左右
limit 查询数据变慢
优化查询语句由
select * from `tablename` limit 10000, 1000
改为
select * from `tablename` where id >10000000 limit 0, 1000
这样修改后查询效率由原来的8s左右变为1s以内
分析 : mysql分页查询是先把分页之前数据都查询出来了,然后截取后把不是分页的数据给扔掉后得到的结果。所以数据量太越大分页越慢。
但是我们可以先把需要分页的id查询出来,因为id是主键id主键索引,查询起来还是快很多的,然后根据id连接查询对应的分页数据
阅读全文
0 0
- 千万级数据库查询+分页优化
- 千万级数据库分页优化
- Mysql 千万级数据分页优化
- 千万级数据库高速分页显示
- 千万级数据量mssql分页查询优化和算法
- 千万级数据分页优化-1秒内处理完毕
- 千万级数据库查询优化
- 千万级数据分页实现
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!
- 千万级数据库分页 与aspnetpager 的联合应用
- 实现千万级数据的分页显示!
- 实现千万级数据的分页显示!
- 实现千万级数据的分页显示!
- 实现千万级数据的分页显示
- 实现千万级数据的分页显示
- 实现千万级数据的分页显示!
- 实现千万级数据的分页显示!
- 数据结构实验之二叉树六:哈夫曼编码
- 上传
- 嵌入式 双向链表实现视频预录(hi3518c)
- Java并发编程:volatile关键字解析
- NOIP2016 换教室
- 千万级数据库分页优化
- ${param.id}的使用
- 多线程的安全隐患
- 《JAVA与模式》之观察者模式
- OpenStack虚机dhcp失败,获取不到小网IP
- UE4 蓝图之相关知识点总结(持续更新)
- win/linux下程序的TCP/UDP/COM测试
- 一个vs2015 WPF treeview的例子
- VS配置QT。"Could not connect to AppWrapper, Please make sure TCP port 12005 is not blocked