测试组自动化解决方案论述

就本公司情况及人员配置的一个测试策略

本公司自动化包含终端UI随机压力测试, 稳定性测试, 性能自动化, Android兼容性自动化, 服务接口自动化, 服务接口压力, Web UI测试自动化, 端到端自动化

1. 稳定性测试自动化方案
   根据用户场景设计最常用的测试用例,根据比重,不断的循环测试,进5*7*24/7*7*24小时测试,根据业界及运营商要求, MTBF KPI值定位为400小时
   计算方式: 如果进行其内无死机重启,冻屏,掉网,应用崩溃/无响应等是,MTBF=运行时间
   如果死机/重启/冻屏/掉网出现一次算一次, 如果相同的应用崩溃无响应,在同一手机出现多次记一次,在不同手机出现再累计+1, MTBF=Total sum/total num crash
2. UI随机压力测试方案
   使用Android UI压力测试工具Monkey, 最经济最有效的发现人工难以发现的压力bug
   可以根据应用调整系统事件比例
   融合自动化遍历测试方案以达到最佳覆盖率.
3. Android CTS兼容性测试
   Android官方兼容性测试,是所有android手机必须做的兼容性, 如果不兼容的情况可能会导致后续应用兼容性问题.
   测试方法: 采用多机并行测试的方式
4. 性能自动化
   目前包含: Memory监控, Memory leak监控, 绘制FPS监控, CPU前台及后台监控, 本身属于监控工具,配合Monkey及MTBF等测试进行监控,发现异常情况.
5. 服务接口自动化
   根据服务器提供的接口, 使用Jmeter等工具进行压力测试.
6. 服务接口压力测试
   根据服务器提供的接口以及性能要求,使用Loadrunner或jmeter进行压力测试,查看服务器的接口性能是否满足设计需求
7. Web UI测试
   使用Selenium进行Web Browser的UI自动化测试,主要针对后台管理页面的测试
8. 端到端测试自动化
   结合Jmeter接口测试以及UI自动化方案, 两方向融合,组成一个能够覆盖后台服务器以及手机端的管控验证等自动化验证方案.
9. 端到端自动化延伸
   通过Selenium/Jmenter操作后台服务器接口/界面, 只要能通过计算机控制的其他附件,机器人等设备都可以被自动化