大型互联网网站架构心得之

大型互联网网站架构心得之一：分

我们知道，对于一个大型网站来说，可伸缩性是非常重要的，怎么样在纵向和横向有良好的可伸缩性，就需要在做架构设计的时候考虑到一个分的原则，我想在多个方面说一下怎么分：

首先是横向的分：1. 大的网站化解为多个小网站：当我们一个网站有多个功能的时候，可以考虑把这个网站拆分成几个小模块，每一个模块可以是一个网站，这样的话我们到时候就可以很灵活地去把这些网站部署到不同的服务器上。2. 静态动态分离：静态文件和动态文件最好分离开成2个网站，我们知道静态网站和动态网站对服务器来说压力的侧重不同，前者可能重IO后者重CPU，那么我们在选择硬件的时候也可以有侧重，而且静态和动态内容的缓存策略也不一样。典型的应用，我们一般会有独立的文件或图片服务器。3. 按照功能来分：比如有一个模块是负责上传的，上传操作很消耗时间，如果和其它应用混在一起的话很可能，一点点访问就会使服务器瘫痪，这种特殊的模块应该分开。安全的不安全的也要分开，还需要考虑到以后SSL的购买。4. 我们不一定要全部用自己的服务器，搜索、报表可以依靠别人的服务，比如google的搜索和报表服务，自己做的不一定比得过别人，服务器带宽都省了。其次是纵向的分：1. 文件也相当于数据库，IO的流量可能比数据库还大，这也算是纵向级别的访问，上传的文件图片一定要和WEB服务器分开。当然，数据库和网站都放在一个服务器上的很少了，这是最基本的。2. 对于涉及到数据库访问的动态程序来说，我们可以使用一个中间层（所谓的应用层或逻辑层）来访问数据库（部署在独立的服务器上），最大的好处就是缓存和灵活性。缓存的内存占用比较大，我们要把它和网站进程分开，而且这样做我们可以很方便的去改变一些数据访问的策略，即使到时候数据库有分布的话在这里可以做一个调配工作，这样灵活性就很大了。还有好处是中间层可以做电线网通桥梁，可能网通访问双线再访问电信会比网通直接访问电信服务器快。有人说我不分，我可以做负载均衡，对，是可以的，但是如果分的话，同样的10台机器肯定比不分10台机器可以承受更多的访问量，而且对硬件的需求可能不会很高，因为知道需要哪个硬件特别好。争取让每一个服务期都不空闲，又都不是太忙，合理进行组合调整和扩充，这样的系统伸缩性就高了，能根据访问量来调整的前提就是之前有考虑到分，分的好处是灵活性、伸缩性、隔离性以及安全性。

对服务器来说，我们有几点是要长期观察的，任何一点都可能是瓶颈：1. CPU：动态文件的解析需要比较多的CPU，CPU出现瓶颈就要看是不是哪个功能过长时间占用线程，如果是就分出去。或者就是每一个请求处理时间不长，但是访问量很高，那么就加服务器。CPU是好东西，不能让他干等，不做事情。2. 内存：缓存从IIS进程独立出去，一般对WEB服务器来说内存不够的情况不是很多。内存比磁盘快，要合理利用。3. 磁盘IO：用性能监视器找到哪些文件IO特别大，找到了就分到独立的一组文件服务器上去，或者直接做CDN。磁盘慢，大规模读取数据的应用靠缓存，大规模写入数据的应用可以靠队列来降低突发的并发。4. 网络：我们知道，网络的通讯是比较慢的，比磁盘还慢，如果是做分布式缓存，分布式计算的话，要考虑到物理服务器之间网络通讯的时间，当然，在流量大了以后，这可以提高系统的接纳能力一个等级。静态内容可以借助CSD分担一部分，在做服务器假设的时候还要考虑中国特色的电信网通情况以及防火墙。对SQL SERVER数据库服务器来说[UPDATE]：其实还是水平分割和纵向分割，一个二维表，水平分割就是横过来切一刀，纵向分割就是竖直切一刀：1、纵向分割就是，我们不同的应用可以分到不同的DB中，不同的实例中，或者说把某个拥有很多字段的表拆分成小表。2、横向分割就是，某些应用可能不负载，比如用户注册，但是用户表会非常大，可以把大表分开。可以采用表分区，数据存储在不同文件上，然后再部署到独立物理服务器增加IO吞吐以改善读写性能，土一点的做法就是自己定期把老的数据存档。表分区的另外一个优势可以增加数据查询速度，因为我们的页索引可以有多层了，就像一个文件夹中的文件不要太多，多分几层文件夹一样。3、还可以通过数据库镜像、复制订阅、事物日志，把读写分开到不同的镜像物理数据库上，一般来说够用，如果还不行可以用硬件来实现数据库的负载均衡。当然，对于BI，我们可能还会有数据仓库。架构上考虑到了这些之后，流量大了，就可以在这个的基础上再去调整或者做WEB服务器或者应用服务器的负载均衡。很多时候我们都是在重复发现问题-》找到瓶颈-》解决这个过程。典型的架构如下：动态WEB服务器配好点的CPU，静态WEB服务器和文件服务器磁盘好点应用服务器内存大点，缓存服务器也是，数据库服务器当然内存和CPU都要好请大家讨论。。。。

发表于 @ 2008年06月19日 10:07:00|评论(18)|编辑|收藏

旧一篇: 使用LINQ来简化编程的7个技巧

10 种最良好的 XML 习惯和技巧

提高 XML 处理效率

让 Web 站点易于维护

任务变得易于管理，让您取得卓越的成效

评论

#liugaofeng2004 发表于2008-06-19 10:56:03  IP: 121.35.61.*

内容不错，谢谢分享~~

#benjiam 发表于2008-06-19 11:11:34  IP: 222.68.181.*

不错，不过过于宽泛。实际应用来说可能很难借鉴到实质的东西。而且设计和架构还涉及到初级设计的整体灵活性。如果初级设计不够灵活，机动。 你现在的架构意见也是很难实现的。 所以网站的架构和设计在一开始就要同步开始。

#Hatrim 发表于2008-06-19 11:38:46  IP: 218.241.167.*

同意benjiam 的观点，因为比较泛，所以感觉言之无物。不过还是赞赏楼主的分享精神。

#treeqian 发表于2008-06-19 11:39:42  IP: 125.46.31.*

分，置顶向下的精髓，分的多了常常会带来部署上的麻烦，有个度是难以把握的。

#newpeak 发表于2008-06-19 12:32:35  IP: 116.226.194.*

这也能跑到首页，CSDN彻底没落了

#indexchen 发表于2008-06-19 13:04:47  IP: 222.66.147.*

newpeak: 你搞出点可以放到首页的东西

#kaoloveting 发表于2008-06-19 13:08:42  IP: 210.21.254.*

xuexi ,thx

#cxzhq2002 发表于2008-06-19 13:39:21  IP: 59.41.226.*

不错，不过分要有度，这度了就会给程序设计及部署带来不必要的麻烦。

#mimi_2034 发表于2008-06-19 14:28:59  IP: 221.222.240.*

好东西 ，顶

#LoveCherry 发表于2008-06-19 17:56:33  IP: 210.13.83.*

大家好，放在首页是CSDN编辑的行为，和我无关哦

#hepenghit 发表于2008-06-19 18:17:25  IP: 222.171.7.*

不错：学到了点儿东西

#zhubian1959 发表于2008-06-19 18:21:26  IP: 121.8.101.*

不错,这方面还没有什么经验,学习了...以后多发一些这方面的东西就好了.

#guowd 发表于2008-06-19 23:34:29  IP: 116.235.59.*

好东西 ，顶，多发一些 好东西。

#phphot 发表于2008-06-20 00:34:02  IP: 123.120.73.*

有没有里面那些群的具体的案例和分析.希望能给大家讲一下.谢谢了.这篇文章不错.

#GT7466 发表于2008-06-20 09:26:05  IP: 210.5.145.*

关注

#sodme 发表于2008-06-20 09:43:27  IP: 218.107.55.*

有个疑问想确认一下，这里的“动态WEB”和“静态WEB”，是何含义？前者是指：使用了PHP,ASP这样动态程序的WEB？后者是指：只使用静态HTML文件的WEB？是这个概念吗？

#cc555 发表于2008-06-20 11:46:15  IP: 118.26.231.*

作个标记

#lnczly 发表于2008-06-20 15:14:24  IP: 218.1.21.*

.....................................可以把大表分开。可以采用表分区，数据存储在不同文件上，然后再部署到独立物理服务器增加IO吞吐以改善读写性能......................................这样也会产生其他的问题，比如表分区。在去查询和修改用户的时候，如果没做merge。或者分区不合理。还是比较不好操作的针对图片或者文件的处理不仅仅是分离到服务器。因为IO问题不仅仅是磁盘读取的问题。硬盘的读取和缓存可以起到一部分作用，但是自己对上传文件按照目录hash也很重要。。每个目录下不要存在太多文件。异步队列。缓存表等应用也很有用户。