你想建设一个能承受500万PV/每天的网站吗？如何计算呢？

作者：赵磊

博客：http://elf8848.iteye.com

 

你想建设一个能承受500万PV/每天的网站吗？ 500万PV是什么概念？服务器每秒要处理多少个请求才能应对？如果计算呢？ 

PV是什么：

PV是page view的简写。PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv。 

计算模型： 
每台服务器每秒处理请求的数量=((80%*总PV量)/(24小时*60分*60秒*40%)) / 服务器数量 。
其中关键的参数是80%、40%。表示一天中有80%的请求发生在一天的40%的时间内。24小时的40%是9.6小时，有80%的请求发生一天的9.6个小时当中（很适合互联网的应用，白天请求多，晚上请求少）。 

 

简单计算的结果：
((80%*500万)/(24小时*60分*60秒*40%))/1 = 115.7个请求/秒 
((80%*100万)/(24小时*60分*60秒*40%))/1 = 23.1个请求/秒 

初步结论： 
现在我们在做压力测试时，就有了标准，如果你的服务器一秒能处理115.7个请求，就可以承受500万PV/每天。如果你的服务器一秒能处理23.1个请求，就可以承受100万PV/每天。

 

留足余量：

以上请求数量是均匀的分布在白天的9.6个小时中，但实际情况并不会这么均匀的分布，会有高峰有低谷。为了应对高峰时段，应该留一些余地，最少也要x2倍，x3倍也不为过。

115.7个请求/秒 *2倍=231.4个请求/秒

115.7个请求/秒 *3倍=347.1个请求/秒

23.1个请求/秒 *2倍=46.2个请求/秒

23.1个请求/秒 *3倍=69.3个请求/秒

 

最终结论：

如果你的服务器一秒能处理231.4--347.1个请求/秒，就可以应对平均500万PV/每天。

如果你的服务器一秒能处理46.2--69.3个请求，就可以应对平均100万PV/每天。

 

说明：

这里说明每秒N个请求，就是QPS。因为我关心的是应用程序处理业务的能力。 

 

实际经验：

1、根据实际经验，采用两台常规配置的机架式服务器，配置是很常见的配置，例如一个4核CPU+4G内存+服务器SAS硬盘。

2、个人武断的认为在服务器CPU领域Intel的CPU要优于AMD的CPU，有反对的就反对吧，我都说我武断了（请看CPU性能比较），不要太相信AMD的广告，比较CPU性能简单办法就是比价格，不要比频率与核心数，价格相差不多的性能也相差不多。

3、硬盘的性能很重要，由其是数据库服务器。一般的服务器都配1.5万转的SAS硬盘，高级一点的可以配SSD固态硬盘，性能会更好。最最最最重要的指标是“随机读写性能”而不是“顺序读写性能”。（本例还是配置最常见的1.5万转的SAS硬盘吧）

4、一台服务器跑Tomcat运行j2ee程序,一台服务器跑MySql数据库,程序写的中等水平(这个真的不好量化)，是论坛类型的应用(总有回帖,不太容易做缓存,也无法静态化)。

5、以上软硬件情况下，是可以承受100万PV/每天的。(已留有余量应对突然的访问高峰)

 

注意机房的网络带宽：

有人说以上条件我都满足了，但实际性能还是达不到目标。这时请注意你对外的网络的带宽，在国内服务器便宜但带宽很贵，很可能你在机房是与大家共享一条100M的光纤，实际每个人可分到2M左右带宽。再好一点5M,再好一点双线机房10M独享，这已经很贵了（北京价格）。

一天总流量：每个页面20k字节*100万个页面/1024=19531M字节=19G字节，

19531M/9.6小时=2034M/小时=578K字节/s   如果请求是均匀分布的，需要5M（640K字节）带宽（5Mb=640KB 注意大小写，b是位，B是字节，差了8倍），但所有请求不可能是均匀分布的，当有高峰时5M带宽一定不够，X2倍就是10M带宽。10M带宽基本可以满足要求。

以上是假设每个页面20k字节，基本不包含图片，要是包含图片就更大了，10M带宽也不能满足要求了。你自已计算吧。

（全文完）

 

 

 

附：性能测试基本概念
--------------------------------------------------------------------------------------- 
基本概念： 
Throughput（吞吐量）：按照常规理解网络吞吐量表示在单位时间内通过网卡数据量之和，其中即包括本机网卡发送出去的数据量也包括本机网卡接收到的数据量。 一个100Mb(位)的双工网卡，最大发送数据的速度是12.5M字节/s ， 最大接收数据的速度是12.5M字节/s， 可以 同时 收发 数据。 
并发用户数：是同时执行操作的用户(线程数)。 
响应时间：从请求发出到收到响应花费的时间 。

QPS - Queries Per Second  每秒处理的查询数（如果是数据库，就相当于读取）
TPS - Transactions Per Second  每秒处理的事务数(如果是数据库，就相当于写入、修改)
IOPS，每秒磁盘进行的I/O操作次数

例如对某个数据库测试，分开两次测QPS与TPS。
QPS（读取）值总是高于TPS(写、改)，并且有倍率关系，因为：
1、数据库对查询可能有缓存。
2、机械硬盘或SSD硬盘的读就是比写快。 
--------------------------------------------------------------------------------------- 
JMeter测试参数说明： 

Label：每一个测试单元的名字。 

#Samples：表示一个测试单元一共发出了多少个请求。 

Average：平均响应时间——默认情况下是单个 Request 的平均响应时间，当使用了 Transaction Controller 时，也可以以Transaction 为单位显示平均响应时间。，不重要。 

Median：中位数，也就是 50％ 用户的响应时间，如果把响应时间从小到大顺序排序，那么50％的请求的响应时间在这个范围之内。重要。 

90% Line：90％ 用户的响应时间，如果把响应时间从小到大顺序排序，那么90％的请求的响应时间在这个范围之内。重要 。 

Min：最小响应时间，不重要。 

Max：最大响应时间，出现几率只不过是千分之一甚至万分之一，不重要。 

Error%：本次测试中出现错误的请求的数量 

Throughput：吞吐量——默认情况下表示每秒完成的请求数（Request per Second），当使用了 Transaction Controller 时，也可以表示类似 LoadRunner 的 Transaction per Second 数 

KB/Sec：每秒从服务器端接收 到的数据量(只是接收)，相当于LoadRunner中的Throughput/Sec 
--------------------------------------------------------------------------------------- 
loadrunner测试参数说明： 

响应时间： 取90%值，如果把响应时间从小到大顺序排序，那么90％的请求的响应时间在这个范围之内。重要。 

每秒点击数 ：hits per Second,每秒钟向服务器提交请求的数量。 

TPS： Transaction per Second ，每秒事务数，一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程 

Throughput（吞吐量）： Loadrunner记录的Throughput是接收到服务器返回的所有字节数之和，与本地发出的字节数无关。 

Throughput/Sec： 每秒的吞吐量。 

对于BS架构的一般分析 响应时间、点击率、吞吐量、TPS（每秒事务数）。 
对于CS架构的一般分析 TPS（每秒事务数） 

--------------------------------------------------------------------------------------- 
Apache ab测试参数说明： 

RPS： Request per Second,每秒处理的请求数 
详见： 

http://blog.chinaunix.net/u3/108043/showart_2260477.html

如何估算网站日承受最大访问PV

分类： 备份参考资料2014-10-26 22:18 441人阅读 评论(0) 收藏 举报

目录(?)[+]

每个老板或客户都会问架构师这个问题. 你设计的网站能承受多大的日访问量. 程序员都会拍胸脯说出一个心理最大数字.说的时候很有信心.其实这个数字大多是猜的.作为一个理性的程序员怎么能用猜呢? 这里就介绍如何计算网站能承受的最高日访问数.

 

一. 我们得先做测试确认基本数据.

多数情况只计算网站日最大访问pv数,而不是ip或uv(用户访问次数).因为对大多数网站来说,相同pv下无论多少IP造成的访问压力是一样的.

造成服务器压力的访问多是对动态页面的请求,因为这些页面需要读写数据库或做更复杂的即时计算.我们的先做实验确定网站动态页面每秒访问成功响应数和每个请求响应时长. 对于网站来说,多数情况响应时长最多不能超过0.6s.否则用户会感到很慢.理想的情况是0.3s以内. 这个结果可以在网站开发完成后用测试工具获得. 例如我用jmeter工具测试我笔记本上的网站得出如下结果:

上图表明此网站部署. 每秒响应241.7个请求,每个请求平均响应时间为0.081s, 超过90的响应大于0.121s, 其中最长的响应请求时长为0.701s. 我们就以此值为最大测试结果来计算整天此网站能承受的访问PV

二. 计算方法和计算缘由.

根据以上测试结果得知每秒的合理请求相应数约241.7个. 由于每日小时访问数并不均衡,所以我们需要知道每日24小时的每小时流量占日总流量比例和小时最高访问压力. 假设通过其他的类似站点日流量统计得知,此类站点访问压力最大的时间是晚上21点.此时访问流量占了日总PV的33%. 由于统计站点能统计到的最小尺度为小时,而我们的本地测试尺度是秒. 很显然一个小时内每秒的流量也是不均衡的. 所以我们这里要估计晚上21点中最大访问秒的请求数.按照经验可以估计为 “小时pv/3600秒*3″ 也就是把21点的请求按平均分配到每秒.并且把三倍每秒请求作为日最高的秒请求数.　注意不同的站点这个常量是不一样的.　具体要根据实际业务估算(有些网站例如定时发售什么的这么计算就明显不合适).　对于大部分企业站点来说常量3是可行的.

好了,现在我们知道了本地测试的每秒最大访问,也知道了高烽小时占日访问百分比,也知道了高峰秒的估算值.要计算日最大访问就很容易了.以上估算为例, 日最大访问:

PV = 241.7 ÷ 3　×　3600 ÷ 0.33 ≈　878909

日最大可承受87.9万pv. 按多数情况的每Ip访问7-10页计算,日可承受IP:10万左右.

三. 可能的意外和需要注意的事项.

1. 在真实网站项目中存在多个动态网页. 在本地压力测试时，需要模仿真实访问比例测试多个动态页并且合计出每秒最大压力pv结果，此结果取值于最慢的动态页(千万注意不是取平均值).　模拟真实动态页面访问比例测试以尽可能做到准确.　在这里要多参考已有同类型站点的页面访问统计结果.
2. 网站中往往还存在img,js,css等等其他文件访问，这个也会拖慢服务器响应.做模拟测试时要考虑进去.当然还要考虑带宽问题(对于多数动态页面来说带宽不是瓶颈).
3. 日最高峰小时的秒高峰倍率估算，不同类型的网站根据其业务不同有变化,有两个办法可以解决,一靠长期的观察估算倍率.　二是最好给测试结果留更多的余量以应付突发访问压力增大的情况.毕竟这个计算测试值是理论极限，超过此极限性能会急剧下降.
4. 对于动态页面来说，一但某个请求程序出错会极大延长响应时间，做压力估算时也要为此留出余量.
5. 其实在一年中不同的日访问流量也是不同的，节假日流量甚至可以达到平日的两倍或更多.为了网站访问稳定，最好以年最大日访问并且预留30%压力.

 

转载自：http://www.shizhuolin.com/20140530/543.html