MySpace 系统架构
来源:互联网 发布:刺猬缩水软件下载 编辑:程序博客网 时间:2024/05/21 15:49
在前不久结束的 QCon 2008 上,MySpace 的首席架构师 Dan Farino 做了题为 Behind the Scenes at MySpace.com (PDF 下载)的技术演讲。
架构概况
超过 4,500 台 Web 服务器,配置为 Windows 2003/IIS 6.0/ASP.NET ;超过 1200 台 Cache 服务器,64 位的 Windows 2003,超过 500 台的数据库服务器,配置为 64 位的 Windows 2003,数据库为 SQL Server 2005 。
之前曾有一篇 揭秘 MySpace 架构的文章,也有中文版本《亿万用户网站MySpace的成功秘密》,请 Google 之!
运维数据收集
其实这个演讲我感觉主要讲的是这个数据收集模块 :) MySpace 的方案倒是让我们看到了在超大规模的 Windows 环境下如何进行数据收集的。
每个客户端通过一个 TCP 连接到收集上服务器。收集的信息包括:Windows 性能计数器 Performance Counters、 WMI 对象(定制后的 WMI 对象)、事件日志、 硬件数据等等。收集器服务(Agent) 用 C#实现的,完全的异步 I/O,用了微软的 Concurrency and Coordination Runtime 库。每台主机上一个 Agent。其实国内也有超大规模的 Windows 环境 -- 比如盛大,数据采集和监控的机制倒是类似的。
数据协议用的 Google 的 Protocol buffers。这倒是看到 Google 的这玩意儿公开后第一家大站点在用。也是因为用 Protocol buffers 从而不用 XMPP+ejabberd 的消息处理方案。
QCon 是我非常心仪的技术会议。可惜今年因为客观原因没能组织同事去参加。期待 2009 年在伦敦的会议。
--EOF--
延伸阅读:InfoQ 对 DanFarino 的专访。
Generator | Trampoline | 外贸英才网 | Vinyl fence
Vertical Packaging Machine | Digital Blood Pressure Monitor
- MySpace 系统架构
- myspace的架构方案
- MySpace架构演进
- Dan Farino谈MySpace架构
- Dan Farino谈MySpace架构
- myspace架构及大型网站架构经验
- MySpace 系统的变迁日志
- MySpace.com服务器架构的六次重构
- MySpace:.Net架构网站的王者 (转)
- 看myspace架构成长,感觉比较失败
- 亿万用户网站MySpace的架构经验
- 回顾MySpace架构的坎坷之路
- 回顾MySpace架构的坎坷之路
- 回顾MySpace架构的坎坷之路
- 回顾MySpace架构的坎坷之路
- 回顾MySpace架构的坎坷之路
- 回顾MySpace架构的坎坷之路
- .NET网站架构实例--MySpace的体系架构
- A*算法的最短路径实现!
- 如何用sql语句创建数据库
- Cannot create PoolableConnectionFactory
- Facebook 的 Memcached 扩展经验
- 使用工作队列
- MySpace 系统架构
- Log4j在Java中的使用
- 语言分析包org.apache.lucene.analysis
- 145条民间偏方收藏
- 什么是smarty?
- winform拖拽实现获得文件路径
- Amazon EC2
- HTTP请求:get与psot的区别
- 一个模块的功能为何要单一,为何代码不要太长
会后还做了采访:
http://www.infoq.com/interviews/MySpace-Architecture-Dan-Farino
他们居然是从两层的ColdFusion渐变到.NET,很神奇。
BTW,别忘了明年4月还有QCon北京。
讲地这么精简*_*, 那偶去啃PDF去了