nosql 海量数据存储 架构选择

来源:互联网 发布:人工智能的未来展望 编辑:程序博客网 时间:2024/06/08 11:21

开始用的 ssdb,但是存在同步经常 OUT_OF_SYNC 的问题,只能自己在程序里,往master 和slave 分别执行一次写入; 

很快 ssd 120g 满了,于是需要水平扩展了。

选择的 twemproxy,然后用程序手工迁移数据,100来G,100多个hash,几亿field,迁移花了近1天。前几天由于一个傻逼操作,把全部硬盘上的文件都搞坏了。数据全没了,一切得重新搞,于是想找个新架构


陌的 goredis server:  

陌陌CTO李志威《GoRedis:SSD替代内存方案》

https://github.com/latermoon/GoRedis

360 的pika

360开源的类Redis存储系统:Pika

https://github.com/Qihoo360/pika/blob/master/README_CN.md

存储打算在这2个里面选。然后就是 分片扩展, twemproxy 扩展太麻烦,通过 twemproxy 搜到了 

Codis对比Twemproxy


决定选择 codis, codis 跟 哪个配合好呢?

环信实操干货:pika新特性支持codis slot迁移


codis 可以配合他们改造的 codis redis, ssdb, pika 

陌的 goredis 文档比较少,可能是公司人少,没人写文档了, 360的pika 文档多一些。 使用过程中总会遇到一些问题,文档多比较容易解决问题。

最后决定选  codis +pika。 选好了,就开始准备安装

0 0
原创粉丝点击