Java 大型系统高并发大数据的处理方式
来源:互联网 发布:阿里云香港主机架设VPN 编辑:程序博客网 时间:2024/06/05 18:08
页面静态化 (页面层面的缓存)
缓存 (memcached、Redis等,数据缓存、避免多次请求)
集群负载均衡(单机处理能力不足)
分库分表(大量数据的处理、原则分、分、分)
读写分离
队列、MQ、数据库增加加锁(防止并发)
存储(IO最耗性能)
小型机(提交硬件性能,呵呵)
..... 等待再补充
数据库层面:
当数据增加到100万以上,那么,MySQL的效能急剧下降
常用的优化措施是M-S(主-从)方式进行同步复制
M-M-Slaves方式,两个M可进行切换,Slaves可进行负载均衡
随着用户进一步增加,你的用户表数据超过1千万,这时那个M变成了SPOF
不能任意扩充Slaves,否则复制同步的开销将直线上升
方法是表分区,从业务层面上进行分区
最简单的,以用户数据为例。根据一定的切分方式,比如id,切分到不同的数据库集群去
需要注意的是:
1、禁用全部auto_increment的字段
2、id需要采用通用的算法集中分配
3、要具有比较好的方法来监控mysql主机的负载和服务的运行状态。如果你有30台以上的mysql数据库在跑就明白我的意思了。
4、不要使用持久性链接(不要用pconnect),相反,使用sqlrelay这种第三方的数据库链接池,或者干脆自己做。
0 0
- Java 大型系统高并发大数据的处理方式
- Java 大型系统高并发大数据的处理方式
- 高并发和大数据的解决方式
- 高并发大数据数据库层面的处理
- MySQL大数据高并发处理之-查询的优化
- MySQL大数据高并发处理之-查询的优化
- MySQL大数据高并发处理之-查询的优化
- MySQL大数据高并发处理之-查询的优化
- 大数据下高并发的处理详解
- 大数据01_高并发的处理Nginx
- 处理高并发、大数据存储的网站技术架构
- mysql大数据高并发处理(转载)
- mysql大数据高并发处理
- mysql大数据高并发处理
- mysql大数据高并发处理
- mysql大数据高并发处理
- MySql大数据高并发处理
- mysql大数据高并发处理
- IOS对异常进行处理
- DownloadManager的使用
- 自定义progressbar进度条颜色
- windows8.1下安装python2的pip
- python 批量数据插入数据库 遇到(TypeError: expecting numeric data)
- Java 大型系统高并发大数据的处理方式
- 连接线下场景,小程序开启下一波流量红利?
- 属性选择器div[class*="test"]
- 反向查找指定字符
- JS字符串方法应用
- Android进程中通信的方式
- java web开发 高并发处理
- Reverse Integer问题及解法
- Adapter.notifyDataSetChanged()无法更新的问题