性能测试实施(3)之指标及指标值确认

性能测试指标及指标值确认是性能测试工作的重中之重，但在实际操作过程中，却往往被性能测试工作者随意为之，带来一系列的恶劣的影响。如后续压测过程中，指标值不达标，经过排查后发现是指标值由测试随意确定，导致指标值过大；如指标值达标，但在实际运行中不能满足客户需要，经排查后发现指标选取错误等等现象不一而足。

1.性能测试指标

常见性能测试指标：并发用户数、TPS、每秒点击数、平均响应时间、峰值响应时间、CPU利用率、内存使用率、IO使用率等等；

用户数主要分为：注册用户数、在线用户数、并发用户数、超并发用户数。

注册用户数：指注册该系统的用户数。包含所有注册该系统的用户，无论该用户是否登录；即为常见的背景用户数。经常在测试登录性能的时候用到，相当于普通交易的背景数据量。

在线用户数：指在某一时间段登录系统的用户。包含该时间段所有登录该系统的用户，无论该用户是否有操作；即为常见的登录用户。用到的情况较少，部分情况下，为了模拟真实场景，我们会通过设置思考时间等方式，将通常意义下的并发用户数实际转变为在线用户数。

并发用户数：指在某一时间段对系统进行操作的用户。包含该时间段对该系统操作的用户，无论该用户目前操作的压力施压在哪一层服务器。即为常见的并发用户。使用场景最多最常见，在查询等非交易类业务中是最重要的参考指标之一。

超并发用户数：指在某一时间段对系统的某一个环节进行同时操作的用户，要求必须是同时，压力在同一层。即可以通过loadrunner中的集合点设置。通常在针对某一服务器节点测试时使用超并发用户数这一概念。

吞吐量指单位时间内系统处理的客户请求数量，体现系统的整体处理能力。主要包括：TPS、RPS、PPS、PV、QPS

TPS（每秒事务数）：(单位时间内)事务数/时长(秒)。是衡量交易类业务性能的最重要的指标。

RPS：(单位时间内)请求数/时长(秒),描述系统每秒能够处理的最大请求数量。

PPS：(单位时间内)页面数/时长(秒)，描述系统每秒能够显示的页面数量。

PV：(单位时间内)页面数/时长(天)，描述系统每天总的Page View数量。

QPS：(单位时间内)查询/时长(秒)，描述系统每秒能够处理的查询请求数量。

由于系统的不同业务特点不同，我们应该根据业务的不同选取不同的吞吐量指标。如：交易类业务的吞吐量指标重点参考TPS、新闻门户网站的吞吐量指标重点参考PPS、查询类业务的吞吐量指标重点参考TPS与QPS等。

响应时间主要包括：平均响应时间、峰值响应时间

平均响应时间：系统在正常压力下的平均响应时间

峰值响应时间：系统的响应时间已经达到了用户能够接受的上限。

资源使用率主要包括：CPU使用率、内存使用率、IO使用率、磁盘使用率等

另：

最大并发用户数：指在峰值访问情况下的并发用户数。判断标准如下：

1.系统的响应时间达到了峰值响应时间，即系统的响应时间已经达到了用户能够接受的上限。

2.系统的服务器资源利用率已经达到了上限，即服务器的CPU利用率、内存利用率等指标已经达到了需求规定的上限

3.系统请求成功率，即成功请求数/总请求数。

2.性能测试指标值确认方法

性能测试指标值应该根据不同的业务特点，软硬件部署情况，结合业界规范与已有经验，会同需求分析师、业务专家、运维工程师、架构师、性能测试工程师等，利用数学建模的方法来进行确定。

如：查询类业务的响应时间通常为1:3:5；

交易类业务的响应时间通常为2:5:8；

跨境类业务的响应时间通常为5:20:60；

如：在原有的系统上升级开发。业务1与原有业务2完全相同，这种情况下，应该根据业务专家的意见，结合运维工程师提供的历史数据，建立吞吐量变化模型，确定TPS等吞吐量的值

其中种种，不一而足，但不外乎是经验、数学等知识的运用，需要我们不断的积累经验，总结发展，有兴趣的，可以阅读统计或数学建模等相关知识。