数据更新快量大的业务设计数据库

来源:互联网 发布:淘宝店铺海报怎么制作 编辑:程序博客网 时间:2024/04/28 11:08

对于千万到几亿级别的数据
设备id分表,按区段或者取模这种传统手段都可以
时间long型做主键
最后去掉自增列

并发如果超过一定量级(比如每秒100次了)
就开始读写分离
主库无索引只写入
从库建索引调整索引大小

如果超大并发(比如每秒500-1000次及以上写入)就这样子:
原始数据用aof式的log存
然后异步的存入数据库
数据库本身再读写分离

写入log后,多个worker并发的往数据库里面写,近乎于即时了。

说白了,这种规模的系统,关键就是索引
拿关系数据库就个多快好省的索引系统用了 

 

数据归档也是应该做的,冷热数据分离,老数据根据不同维度做一定的合并