千万级的数据如何优化
来源:互联网 发布:网络脆弱性的原因 编辑:程序博客网 时间:2024/06/06 17:02
https://www.zhihu.com/question/19719997
主从复制:http://www.cnblogs.com/Aiapple/p/5792939.html
读写分离原理:让主数据库(master)处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库(slave)处理SELECT查询操作。
第一优化你的sql和索引;
第二加缓存,memcached,redis;
第三以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率不高,要么没人维护
mysql自带分区分表,sql条件中要带上分区条件的列,从而使查询定位到少量的分区上,否则就会扫描全部分区
以上都做了,那就先做垂直拆分,其实就是根据你模块的耦合度,将一个大的系统分为多个小的系统,也就是分布式系统
第六才是水平切分,针对数据量大的表,这一步最麻烦,最能考验技术水平,要选择一个合理的sharding key,为了有好的查询效率,表结构也要改动,做一定的冗余,应用也要改,sql中尽量带sharding key,将数据定位到限定的表上去查,而不是扫描全部的表
作者:zhuqz
链接:https://www.zhihu.com/question/19719997/answer/81930332
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
阅读全文
0 0
- 千万级的数据如何优化
- 如何处理千万级以上的数据
- 千万级大数据的Mysql数据库SQL语句优化
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!(zz)
- 如何优化Mysql千万级快速分页,limit优化快速分页,MySQL处理千万级数据查询的优化方案!(zz)
- MySQL如何设计或优化千万级别的大表
- 如何设计或优化千万级别的大表
- MySQl优化千万数据级快速分页sql语句
- mysql千万级大数据SQL查询优化
- mysql千万级大数据SQL查询优化
- mysql千万级大数据SQL查询优化
- mysql千万级大数据SQL查询优化
- mysql千万级大数据SQL查询优化
- mysql千万级大数据SQL查询优化
- MySQl优化千万数据级快速分页sql语句
- mysql千万级大数据SQL查询优化
- C#端实现安卓APP推送功能
- 电子商务之 网店客服中心服务用语规范
- 自动化的基于TypeScript的HTML5游戏开发
- pybitcointools源码分析之BIP32实现
- PCL:关于pcd数据显示的一个小问题
- 千万级的数据如何优化
- 编解码器的世界
- Caffe Installation安装笔记
- android NDK——搭建Android Studio的NDK环境
- 在阿里云上搭建Git 服务器
- ZooKeeper的Znode剖析
- activiti源码获取
- 手机红外遥控器发送红外信号到STM32【HAL库】
- [自用门户]三种单双背景换色方法,二和三类似