Jmeter测试结果分析

Jmeter测试结果分析这一篇，我打算分成上下两部分。上篇，主要讲述如何使用jmeter中Assertion对结果进行简单的分类；下篇，主要讲述的是当我们拿到测试结果后，我们应该如何去看待这些测试结果。

用过LoadRunner的人都知道，LoadRunner本身提供了很多函数可以对收集回来的结果进行一些初步的分析。例如可以做到判断返回的结果是否正确；判断request的response time是否大于x秒之类的。相比起LoadRunner，Jmeter在这方面没有那么强大，但是个人认为，对于一些编程基础不是太好的测试人员来说，Jmeter比LoadRunner易用性上面做得更出色。

Assertion--断言，通常是用于对每一个request sampler进行额外验证的工具。下面通过一个例子来介绍一下常用的几个Assertions。

假设现在要进行一个登陆的压力测试，下面是对pass的几个定义：

1.正确login后，必须收到返回的身份验证和用户个人信息下载的完成信息；

2.响应时间不能超过150毫秒

3.返回的结果大小不能小于750bytes

根据以上的要求，我们在对应的request sampler下面添加了以下的Assertions。

 

A.Response Assertion

 

 Response Field to Test -- 标示被检查对象是什么？

 Pattern Matching Rules -- 标明被检查对象与验证内容之间的关系，Contains（包含关系）；Matches（匹配关系）；Equals（相等关系）；Not（非关系）

 Pattern to Test -- 需要验证的内容列表

B.Duration Assertion

 

 Duration to Assert -- 允许的响应时间的最大值

C.Size Assertion

 

 Size to Assert -- 对于返回结果文件大小的标准定义

 

二、结果分析

添加了以上的Assertions后，我运行了一次脚本。以下是存放结果的.jtl文件的内容：

timeStamp,elapsed,label,responseCode,responseMessage,threadName,dataType,success,failureMessage,bytes,Latency
11/04/08 13:22:03,172,Do Login,200,OK,Thread Group 1-1,text,false,The operation lasted too long: It took 172 milliseconds, but should not have lasted longer than 150 milliseconds.,835,172
11/04/08 13:22:03,156,Do Login,200,OK,Thread Group 1-2,text,false,Test failed: text expected to contain /loginMsg="OK"/,633,156
11/04/08 13:22:03,156,Do Login,200,OK,Thread Group 1-3,text,false,The operation lasted too long: It took 156 milliseconds, but should not have lasted longer than 150 milliseconds.,839,156
11/04/08 13:22:03,156,Do Login,200,OK,Thread Group 1-4,text,false,The operation lasted too long: It took 156 milliseconds, but should not have lasted longer than 150 milliseconds.,836,156
11/04/08 13:22:03,78,Do Login,200,OK,Thread Group 1-5,text,true,,779,78
11/04/08 13:22:03,63,Do Login,200,OK,Thread Group 1-7,text,false,Test failed: text expected to contain /loginMsg="OK"/,570,63
11/04/08 13:22:03,141,Do Login,200,OK,Thread Group 1-6,text,false,The result was the wrong size: It was 721 bytes, but should have been greater than 750 bytes.,721,141
11/04/08 13:22:03,78,Do Login,200,OK,Thread Group 1-9,text,false,The result was the wrong size: It was 724 bytes, but should have been greater than 750 bytes.,724,78
11/04/08 13:22:03,204,Do Login,200,OK,Thread Group 1-10,text,false,The operation lasted too long: It took 204 milliseconds, but should not have lasted longer than 150 milliseconds.,1137,204
11/04/08 13:22:03,2985,Do Login,200,OK,Thread Group 1-8,text,false,Test failed: text expected to contain /loginMsg="OK"/,570,2985

我们可以看到，每一个Sampler都会经过Assertions的判断，只要有一个不符合条件的都会标示为False。

其实除了以上讲到Assertion，jmeter还提供了其他一些比较实用的Assertion，而我在这也不一一介绍了。

有兴趣的可以看一下jmeter的user manual，然后再自己动手试验一下。

那么，当我们拿到了测试结果之后，我们应该如何去看待它们呢？它们又是怎么来的呢？

一、Listener的使用

用过LoadRunner的人应该都知道，LoadRunner会为我们提供一大堆图标和曲线。但是在Jmeter里，我们只能找到几个可怜的Listener来方便我们查看测试结果。但是，对于初学者来说，一些简单的结果分析工具可以使我们更容易理解性能测试结果的分析原理。所以，千万别小看这几个简单的Listener啊。

A.Aggregate Report 聚合报告

我们可以看到，通过这份报告我们就可以得到通常意义上性能测试所最关心的几个结果了。

Samples -- 本次场景中一共完成了多少个Transaction

Average -- 平均响应时间

Median -- 统计意义上面的响应时间的中值

90% Line -- 所有transaction中90%的transaction的响应时间都小于xx

Min -- 最小响应时间

Max -- 最大响应时间

PS: 以上时间的单位均为ms

Error -- 出错率

Troughput -- 吞吐量，单位：transaction/sec

KB/sec -- 以流量做衡量的吞吐量

B.View Results Tree 以树状列表查看结果

通过这个Listener，我们可以看到很详细的每个transaction它所返回的结果，其中红色是指出错的transaction，绿色则为通过的。

如果你测试的场景会有很多的transaction完成，建议在这个Listener中仅记录出错的transaction就可以了。要做到这样，你只需要将Log/Display:中的Errors勾中就可以了。

二、.jtl文件的分析

在性能测试过程中，我们往往需要将测试结果保存在一个文件当中，这样既可以保存测试结果，也可以为日后的性能测试报告提供更多的素材。

Jmeter中，结果都存放在.jtl文件。这个.jtl文件可以提供多种格式的编写，而一般我们都是将其以csv文件格式记录，这样做是因为csv文件格式看起来比较方便，更重要的是这样做可以为二次分析提供很多便利。

我这里所说的二次分析是指除了使用Listener之外，我们还可以对.jtl文件进行再次分析。

a.设置jtl文件格式

我们从jmeter官方网站中下载下来的Jmeter解压后是可以直接使用的。但是，使用默认配置生成的jtl文件内容并不能满足我们的需要。于是我们必须进行必要的设置。在2.2版本中，如果要修改jtl设置必须要到jmeter.properties文件中设置；但是在2.3版本中，我们只需要在界面上设置就可以了。你只需要选择某个Listener，点击页面中的configure按钮。此时，一个设置界面就会弹出来，建议多勾选如下项：Save Field Name，Save Assertion Failure Message。

b.jtl文件中的各项

经过了以上设置，此时保存下来的jtl文件会有如下项：

timeStamp,elapsed,label,responseCode,responseMessage,threadName,dataType,success,failureMessage,bytes,Latency

请求发出的绝对时间，响应时间，请求的标签，返回码，返回消息，请求所属的线程，数据类型，是否成功，失败信息，字节，响应时间

其中聚合报告中的，吞吐量=完成的transaction数/完成这些transaction数所需要的时间；平均响应时间=所有响应时间的总和/完成的transaction数；失败率=失败的个数/transaction数

温馨提示：在jmeter2.2和2.3版本中，都存在的一个问题是当我们重新打开jmeter，使用某个Listener来查看jtl文件时，jmeter是会报错的。因此当你使用命令行方式完成了一个场景的测试后，你得到的只是一堆保存在jtl文件中的原始数据。所以知道聚合报告中的各项的来源是可以方便大家摆脱测试工具来进行结果的分析。

 

总的来说，对于jmeter的结果分析，主要就是对jtl文件中原始数据的整理，我是使用一些小脚本进行相关的分析的，不知道你打算怎么做呢？

反正实践后，你总能找到一条属于自己的数据分析之路。