飞信SNS FEED分享
来源:互联网 发布:infinite综艺知乎 编辑:程序博客网 时间:2024/05/20 22:39
感谢飞信首席架构师@steadwater的分享和@suxiaoyong的总结。
SNS feed的特点:写入密集,高频度,小数据量,数据失效快。读写比大约50/1
飞信的技术选型:
1. 消息异步写入;
2. 推拉结合,对于粉丝多的用户用拉,普通用户用推,在应用层进行合并;
3. 普通用户的事件尽量保证实时性,名博可以异步处理;
4. 在数据sharding时,对名博和普通用户分别处理;
5. sharding时采用两级分组,加强灵活性;
6. 使用DRDB做mysql的master灾备;
7. 内容分发时,对于当前在线用户,使用redis的list作为cache,解决频繁请求时的刷新问题(相对于memcached也减少了内部通讯数据量)。
8. 使用redis作为队列;
9. 尽量存储json数据,减少序列化开销;
10. 使用Mysql HandleSocket作为key value存储,cpu显著下降;
11. 数据过滤等交java中间件去做,减少数据库操作复杂性;
12. sns feed对数据完整性要求不高,必要时可以丢弃舍弃部分数据
补充:
设计规模:满足14天-一个月的增长需求
使用perona发行的Mysql XtraDB 4.1
几个SNS网站数据库对比
Facebook Cassandra->HBase
Dena MySQL HandlerSocker
Sina MCDB,Redits
Taobao TAIR
SNS feed的特点:写入密集,高频度,小数据量,数据失效快。读写比大约50/1
飞信的技术选型:
1. 消息异步写入;
2. 推拉结合,对于粉丝多的用户用拉,普通用户用推,在应用层进行合并;
3. 普通用户的事件尽量保证实时性,名博可以异步处理;
4. 在数据sharding时,对名博和普通用户分别处理;
5. sharding时采用两级分组,加强灵活性;
6. 使用DRDB做mysql的master灾备;
7. 内容分发时,对于当前在线用户,使用redis的list作为cache,解决频繁请求时的刷新问题(相对于memcached也减少了内部通讯数据量)。
8. 使用redis作为队列;
9. 尽量存储json数据,减少序列化开销;
10. 使用Mysql HandleSocket作为key value存储,cpu显著下降;
11. 数据过滤等交java中间件去做,减少数据库操作复杂性;
12. sns feed对数据完整性要求不高,必要时可以丢弃舍弃部分数据
补充:
设计规模:满足14天-一个月的增长需求
使用perona发行的Mysql XtraDB 4.1
几个SNS网站数据库对比
Facebook Cassandra->HBase
Dena MySQL HandlerSocker
Sina MCDB,Redits
Taobao TAIR
0 0
- 飞信SNS FEED分享
- SNS网站Feed功能设计
- SNS网站Feed功能设计
- 类SNS网站feed系统设计
- SNS应用好友动态Feed模块设计
- SNS网站feed的设计思考
- SNS经典案例 分享
- sns社会化分享,同步
- (研究)SNS类网站之feed架构
- js 分享到SNS网站示例
- 关于SNS网站分享功能描述
- cocos2d-x 之 添加sns分享
- 使用umeng sdk实现sns分享
- SNS
- sns
- sns
- SNS
- SNS
- 编程算法 - 最小的k个数 红黑树 代码(C++)
- Session超时跳转到指定页面(filter实现)解决了图片被过滤问题
- java ClassLoader入门
- MongoDB practice:基于MongoDB的好友消息动态的实现思路(How to build activity-streaming with MongoDb)
- Red Hat Enterprise Linux 6.5 Server 正式版发布 附文件MD5及SHA-256
- 飞信SNS FEED分享
- eclipse中文乱码问题解决方案
- 插值方法
- Oracle中in和exists的选择
- c语言结构体注意点
- static、extern的用法与区别
- apr_pool -- 内存池
- 黑马程序员_面向对象的三大特性
- Apache、Tomcat负载均衡与集群