软件性能测试过程详解与案例剖析
来源:互联网 发布:温州天勤网络做什么的 编辑:程序博客网 时间:2024/05/23 10:45
LoadRunner中的90%响应时间是什么意思?这个值在进行性能分析时有什么作用?本文争取用最简洁的文字来解答这个问题,并引申出“描述性统计”方法在性能测试结果分析中的应用。
为什么要有90%用户响应时间?因为在评估一次测试的结果时,仅仅有平均事务响应时间是不够的。为什么这么说?你可以试着想想,是否平均事务响应时间满足了性能需求就表示系统的性能已经满足了绝大多数用户的要求?
假如有两组测试结果,响应时间分别是 {1,3,5,10,16} 和 {5,6,7,8,9},它们的平均值都是7,你认为哪次测试的结果更理想?
假如有一次测试,总共有100个请求被响应,其中最小响应时间为0.02秒,最大响应时间为110秒,平均事务响应时间为4.7秒,你会不会想到最小和最大响应时间如此大的偏差是否会导致平均值本身并不可信?
为了解答上面的疑问,我们先来看一张表:
在上面这个表中包含了几个不同的列,其含义如下:
CmdID 测试时被请求的页面
NUM 响应成功的请求数量
MEAN 所有成功的请求的响应时间的平均值
STD DEV 标准差(这个值的作用将在下一篇文章中重点介绍)
MIN 响应时间的最小值
50 th(60/70/80/90/95 th) 如果把响应时间从小到大顺序排序,那么50%的请求的响应时间在这个范围之内。后面的60/70/80/90/95 th 也是同样的含义
MAX 响应时间的最大值
我想看完了上面的这个表和各列的解释,不用多说大家也可以明白我的意思了。我把结论性的东西整理一下:
1. 90%用户响应时间在 LoadRunner中是可以设置的,你可以改为80%或95%;
2. 对于这个表,LoadRunner中是没有直接提供的,你可以把LR中的原始数据导出到Excel中,并使用Excel中的PERCENTILE 函数很简单的算出不同百分比用户请求的响应时间分布情况;
3. 从上面的表中来看,对于Home Page来说,平均事务响应时间(MEAN)只同70%用户响应时间相一致。也就是说假如我们确定Home Page的响应时间应该在5秒内,那么从平均事务响应时间来看是满足的,但是实际上有10-20%的用户请求的响应时间是大于这个值的;对于Page 1也是一样,假如我们确定对于Page 1 的请求应该在3秒内得到响应,虽然平均事务响应时间是满足要求的,但是实际上有20-30%的用户请求的响应时间是超过了我们的要求的;
4. 你可以在95 th之后继续添加96/ 97/ 98/ 99/ 99.9/ 99.99 th,并利用Excel的图表功能画一条曲线,来更加清晰表现出系统响应时间的分布情况。这时候你也许会发现,那个最大值的出现几率只不过是千分之一甚至万分之一,而且99%的用户请求的响应时间都是在性能需求所定义的范围之内的;
5. 如果你想使用这种方法来评估系统的性能,一个推荐的做法是尽可能让你的测试场景运行的时间长一些,因为当你获得的测试数据越多,这个响应时间的分布曲线就越接近真实情况;
6. 在确定性能需求时,你可以用平均事务响应时间来衡量系统的性能,也可以用90%或95%用户响应时间来作为度量标准,它们并不冲突。实际上,在定义某些系统的性能需求时,一定范围内的请求失败也是可以被接受的;
7. 上面提到的这些内容其实是与工具无关的,只要你可以得到原始的响应时间记录,无论是使用LoadRunner还是jmeter/" href="http://jakarta.apache.org/jmeter/" target=_blank>JMeter或者OpenSTA,你都可以用这些方法和思路来评估你的系统的性能。
事实上,在性能测试领域中还有更多的东西是目前的商业测试工具或者开源测试工具都没有专门讲述的——换句话说,性能测试仅仅有工具是不够的。我们还需要更多其他领域的知识,例如数学和统计学,来帮助我们更好的分析性能数据,找到隐藏在那些数据之下的真相。
- 软件性能测试过程详解与案例剖析
- 【推荐书籍】软件性能测试过程详解与案例剖析
- 《软件性能测试过程详解与案例剖析》--读书笔记之性能测试过程模型PTGM
- 对《软件性能测试过程详解与案例剖析》的看法
- 《软件性能测试与LoadRunner实战》中案例的错误
- 剖析软件测试过程和V模型
- JAVA性能测试与调优案例
- 性能测试常见问题案例与原因
- 软件开发过程与案例》读后感
- 性能测试一般过程与LR性能测试过程
- 软件性能测试与可靠性测试
- 【推荐】 RAC 性能优化全攻略与经典案例剖析
- 【推荐】 RAC 性能优化全攻略与经典案例剖析
- 【推荐】 RAC 性能优化全攻略与经典案例剖析
- Kafka性能测试与详解
- 性能测试流程剖析
- 性能测试之性能测试定义与过程
- 性能测试指标+案例
- 《架构模式应用 ● 设计模式》之装饰者
- SQL语句在什么情况下使用全表扫描?
- Packing Space(填充区域) & Display Space(显示区域)
- action-mappings之attribute 和 parameter属性
- FsRtlEnterFileSystem(KeEnterCriticalRegion)使用说明
- 软件性能测试过程详解与案例剖析
- 分解作者
- 关于线程小结
- Linux 2.6.19.x 内核编译配置选项简介
- Servlet介绍(7)-----HttpServletRequest、HttpSession、ServletContext、RequestDispatcher
- 输入/输出系统
- 游戏项目开发常用且重要的工具
- 积小胜为大胜 投资大师教你三种有效的投资方法
- Linux下的18个Windows应用代用品