网站如何做分布式

来源：互联网发布：asp手机网站源码下载编辑：程序博客网时间：2024/04/25 07:59

下面是我准备在BOF中抛砖引玉用到的砖：

网站如何做分布式（集群）的大纲

何时要用分布式

单台服务器无法承受压力。
需要实现发生错误时候，自动切换
学习或者测试分布式技术

应用分布式的场景

一、提供多个对外的接口，按照一定规则，分派不同请求由不同接口来处理。
这时候需要考虑：

如何实现负载均衡

在哪个层次实现转移负载
负载的均衡如何实现

如何实现故障转移

如何监控故障
如何切换服务

二、把一个功能拆分成多个功能，不同功能分布部署到不同服务器上

对外功能的拆分

http://news.sina.com.cn/ http://sports.sina.com.cn/ http://mobile.sina.com.cn/
http://www.microsoft.com/china/ http://www.microsoft.com/downloads/
SOA

n层架构，其中的一些层分布到不同服务器上

WEB + DB 模式

网站请求中的分布式

按照请求流程，我们可以在以下环节按照一定规则，把用户的请求分流到不同服务器上：

Web Client Level

例子：QQ 设置中你可以选择登陆的服务器IP

DNS Based Selection

优点：
缺点：

不能区分服务器的差异，也不能反映服务器的当前运行状态。
DNS 的刷新需要时间，无法及时故障切换。

TCP balancing proxies

硬件
软件

HTTP-aware routers

URL重定向

网站应用中的分布式

代理服务器实现请求的分离

Squid是Linux下一个缓存Internet数据的代理服务器软件

拆分网站对外功能

不同域名前、后缀
URL 重写

每个Service 分布到一台服务器上

n 层架构

缓存分布式部署

文件Cache
内存Cache （memcached ）

http://www.danga.com/memcached/
https://sourceforge.net/projects/memcacheddotnet/

DB分布式集群部署

故障转移
发布订阅
分布式分区视图

应用服务器（比如定时发送邮件通知的服务）

相关技术：

企业服务
.net Remoting
WCF
Web Service

如何判断一个应用是否支持分布式

如果发现某一部分应用需要做分布式了，就可以按照以下思路来考虑如何改造：

从应用所用数据看是否支持分布式

多份并存数据（一个数据存在多份）最大多长时间同步一次是可接受的。

内存缓存的数据跟数据库的数据（页面级缓存和业务逻辑缓存）
静态文件跟数据库
查询数据库跟业务变更数据库

数据按照一定规则拆分（一个数据只存在一份）对业务是否有影响

过去每年的数据迁移到一个对应历史库中。
专用的图片服务器 http://pics.ebaystatic.com/

此处可分析：QQ的在线用户数据，会是如何处理的呢？

从应用逻辑过程看是否支持分布式

是否可以并行执行这个逻辑过程

这个逻辑过程是否可以拆分成几个松耦合的过程

Windows的第五种群集方案 - CCS

2006年9月19日 17:01

引：要不是TechEd，还真不知道微软出了Compute Cluster Pack这么个东西。

微软在群集/分布式领域已经做了大量的工作，在Windows 2000发布时，它就已经支持了四种分布式模型，分别对应于不用的应用场合。他们是：Microsoft群集服务（MSCS）、网络负载平衡（NLB）、组件负载平衡（CLB）和Application Center 2000。详情见：http://www.microsoft.com/china/technet/archives/columns/tips/w2kclust.asp

我对分布式计算一直比较有兴趣，今年在上海TechEd听了一个讲Windows Compute Cluster Server（CCS）的Session，才知道有这么个东西存在。MSDN上已经有下载了，发布日期是2006/07/17。但不知何故微软似乎没有怎么给这个产品作市场宣传嗯。

Product Overview：http://www.microsoft.com/windowsserver2003/ccs/overview.mspx

我在TechEd会后和微软的工作人员（来自开发团队）小聊了一会儿，得知这个产品最佳的应用领域在于那些“Task的数量很少，但每个Task都需要很长时间计算”的问题，比如Pi的计算。实际上这个产品是为科学计算准备的，比如气象模拟、地质勘探等领域。

CCS基于MPI 2.0标准，所以它可以和其他基于MPI 2.0栈的服务器协同工作。CCS目前可以安装在Windows Server 2003/R2 64bit版本上。32-bit对于高性能计算（HPC）可能确实字长太短了，所以微软的方案也根本没有打算支持。

这里有个从微软网站copy过来的table，我在最右边加了一列，来描述CCS和它们的不同之处：

MSCS

NLB

CLB

Application Center

CCS

用途

应用程序故障恢复与故障返回

IP通信负载平衡

COM+对象负载平衡

创建并管理Web区

高性能计算
（High Performance Computing/HPC）

优势

可用性与可管理能力

可用性与可伸缩性

可用性、可伸缩性与可管理能力

可伸缩性与可管理能力

每个群集中的最大节点数量

2个（针对Win2k AS）或4个（针对Datacenter）

无限制

群集类型

共享存储机制

无共享资源

N/A

状态信息

有状态

无状态（如果需要的话，可以支持有状态连接）

无状态

N/A

是否需要对服务器应用程序进行修改

需要

不需要

需要（使用MPI 2.0库，只支持Fortran77、Fortran90和C语言）

是否需要使用专用硬件设备

需要

不需要

64-bit CPU from Intel or AMD ...

是否独立

是

否（需要使用AppCenter）

是

否（需要使用Compute Cluster Pack）

分布式计算可以让你的程序或者服务拥有更好的可靠性，或更高的可伸缩性。CCS是为性能而生的产品，它可以以高度scalable的方式增强群集的性能。微软在多CPU/多核方面已经提供了对了SMP的支持（通过VC2005的OpenMP 2.0支持 — 同时支持Managed和Unmanaged代码！），在多机并行运算方面又实现了MPI 2.0，它的计算机群集方面的产品线应该已经相当完善了。

以上信息来自网上资料汇总（大部分来自官方），有不对之处请指正。