分布式系统设计实践
来源:互联网 发布:网络滤波器厂家 编辑:程序博客网 时间:2024/05/21 10:31
分布式系统设计实践
-----分布式任务执行系统设计
作者: 子游
具体案例: 速强软件 邮件营销平台
背景介绍
我公司的系统是面向全球的在线互动营销平台(以下称营销平台),系统平台主要包括智能邮件发送、在线调查数据提交、各种平台集成接入(CMS,CRM,ERP,B2C,B2B)。我们主要面向的客户是来自欧美和中国。
来自全球的客户平均每天通过营销平台发送大于1000万的邮件、导入1000万条以上联系人人信息,处理超过250万点击回馈,20GB图片下载,超过50万来自各种集成系统的数据提交。
基于上述需求,单机硬件的结构设计完全不能满足需求,而且对于一家面向服务的公司,这样也是极度不安全和稳定。
而作为该平台的主要设计者之一,很荣幸的全程参与了这一项目的各模块的重要设计与研发工作。基于此,总结一下经验分享给大家,欢迎并且希望对大家提出批评和讨论。
分布式功能要求
任务系统需要执行任务如下:
l 批量短信提交。
l 批量邮件推送。
l 批量导入联系人。
l 批量导出联系人。
l 处理邮件点击回馈。
l 处理邮件图片下载。
l 接受各种集成系统数据提交。
分布式性能要求
结构设计
硬件信息
l 20台 Web servers服务器
10台Linux邮件点击收集,
3台 Web application的Windows server 2008服务器
10台邮件网关服务器
l 5台分布式缓存服务器
l 150以上台的图片存储服务器
l 100台Mysql数据库服务器
面向层次型存储的底层框架
基于lucene的索引查询
分布式图片存储系统
邮件大多数是由图片与文字制作而成,其中图片是主要内容之一,平均1封邮件64kb的图片。要求图片能满足迅速增长的存储空间和满足客户的邮件阅读,下载图片。这要求分布式图片存储系统必须具有以下功能:
l 扩展简单存储节点简单。
l 图片访问具有缓存功能。
l 宕机不影响用户访问。
l 支持最高峰值美妙2000次下载。
基于以上综合考虑,我公司最后选定MogileFS图片存储系统。它是开源的,基于Linux服务器的应用系统。
下载地址如下:http://www.danga.com/mogilefs/
Web Servers
分布式缓存 (Memory cache)
分布式缓存主要解决以下问题:
l 加快用户放过速度。
l 降低数据库查询访问的压力。
下载地址如下:http://memcached.org/
代码框架
- 分布式系统设计实践
- 架构设计实践:基于WCF大型分布式系统
- 架构设计实践:基于WCF大型分布式系统
- 【大型分布式网站架构设计与实践】-系统稳定性
- 分布式会话跟踪系统架构设计与实践
- <大型分布式网站架构设计与实践>笔记 2、分布式系统基础设施
- 系统限流实践 - 分布式限流
- 分布式电子邮件系统设计
- 分布式系统设计
- 分布式系统设计原则
- 分布式系统设计准则
- 分布式系统之设计
- 分布式系统设计理念
- 分布式系统设计导论
- 分布式系统架构设计
- 分布式系统节点设计
- 分布式系统设计理念
- 分布式系统设计原则
- perl中的引用
- [C++][参考]字符串格式化控制符
- c#中的get/set方法
- 主题:深入了解字符集和编码
- xsd与xml和类(class)对象之间的互相转换
- 分布式系统设计实践
- Linux启动(2)-
- Delphi中的Windows消息处理
- cat命令详解
- 协同设计制造3D模型浏览批注方案
- apache实现虚拟主机的配置
- MSP 430问题!
- VII 在防火墙测试中应用
- 机顶盒和中间件