游戏测试技术专场答疑（腾讯互娱WeTest测试专家）

1、请简述下渗透测试的学习路线

答：

渗透测试就是给你一个黑盒的产品，你在没有产品相关的内部资料的（如产品源代码、配置档、产品协议内容等）的条件下，完全模拟外网黑客去从零开始研究产品实现，在对产品实现有一定了解程度的基础上找出产品的安全漏洞。

这个也没有标准的学习路线，我觉得第一要有对各个平台如Java虚拟机、游戏引擎、二进制等有逆向能力，其次是漏洞分析能力，需要你对软件的实现和架构有一定经验，逻辑思维能力强；还有工具也很重要，针对各种语言逆向分析工具、动态调试工具，模糊测试工具也需要有和掌握。

2、关于客户端的保护问题，是否会用最新TP驱动，是否会加入VT技术，如果和用户电脑冲突了怎么办

答：这个问题我咨询了TP团队，得到的答复是：无论TP是否使用VT技术，都会最大限度保障游戏在各个平台的兼容性。

3、你好，我在使用network emulator for windows toolkit时，输入搭建好的测试用例后，运行提示fail to creat virtual channel 我找了很多资料都没有找到具体解决的办法，这是什么原因呢？

答：我身边没有遇到这样的情况，所以不太了解，建议你描述一下你机器的软硬件环境信息及重现步骤，到微软官方论坛咨询，这个工具是微软开发的。

https://social.microsoft.com/Forums/en-US/home

https://social.msdn.microsoft.com/Forums/zh-CN/home

4、能否介绍一下贵方实施压力测试的方法论以及工具？请问贵方的服务端是用java平台还是cpp平台的呢？谢谢

答：

服务器端开发语言不做限制的，有C++、Java、PHP、Python等各种语言，但是游戏服务器一般以C++为主。

服务器压力测试方法主要分为三大步骤：

1. 制定测试方案

主要是体验游戏，理解服务器架构，设计测试方案。

要弄清楚游戏的玩法是什么，在什么场景下会有比较大的压力，比如登录场景、战斗场景、聊天场景；同时要搞清客户端和服务器之间交互的协议，是用的长连接还是短连接，是PB还是自定义协议等，进一步定制出性能测试方案，其中包含性能基线。

2. 开发机器人&执行测试

这一步主要是开发压测机器人，反复进行测试。

公司内部压测，机器人都使用WeTest压测大师，在开发之前，需要从封测数据或用户行为的分析，构建出玩家的行为树，通过数据开发机器人。在开发过程中，会通过服务器日志或者抓包的形式，填充每条协议的字段。然后反复进行测试，暴露服务器的问题。

3. 数据分析

测试完成后，会根据测试数据，出一份完善的测试报告。

报告包含测试结论、存在的问题、性能数据、优化建议等。

5、

1、手游耗电一般如何测试得知，有什么软件吗？

2、哪些工具能像GPU-Z那样看到带宽信息~

答：

手游测试涉及到的功耗测量，以及其他APP与移动端相关的功耗测量主要有两种方式。一种是利用了Android系统提供的API获取某个进程功耗。但需要明确的是，这种方式的原理是通过对CPU占比、设备使用情况、温度变化等方式估算得到，准确度值得商榷。
另一种方案是通过测量测量整机功耗方式，通过拆解手机电池芯，替换成外部设备供电，并测量外部供电的电流、电压，以获取功耗。这种测量方式的精度较高，但缺点就是测试的是整机功耗，并非某个单一游戏或应用的功耗。为了弥补这个问题，一般可以测试待机功耗和游戏运行时功耗，对比获取游戏运行时的相对功耗增量。开发人员往往关注某些代码修改后引起的功耗变化，整机测试只要变化前后测试目标场景，就能够获取。功耗测试时，需要特别注意，功耗是非常敏感的，Wi-Fi、屏幕亮度、音量大小都会有较大影响，务必要保持多次测试的一致。

WeTest目前采用了第二种方案，即拆机替换电池芯供电，通过仪器测量，准确度高。

6、

用wetest，怎么编写测试脚本，socket+pb协议这种的，

测试步骤，流程，性能参数如何解读？

答： 

用wetest的压测大师啊，socket+pb协议，还提供了自动化代码生成功能，协议序列化，反序列化都一套框架，自己只需要实现具体的客户端收发包解析逻辑即可，并通过lua脚本来控制游戏压测客户端的业务逻辑，代码写完，在线编译，配置好测试用例，就可以发起测试了，并有对各个性能指标，包括硬件参数做统计，不过这种非http/https的协议目前主要对内，需要使用的可通过线下联系开白名单的方式来体验

WeTest是支持Socket + PB这种协议的，只是对外还没有开放出来。

测试的步骤：代码开发 -> 调试 -> 用例配置 -> 压测执行 -> 看报告。

代码开发步骤中，是用C++实现协议，用Lua脚本实现逻辑。

测试报告中的数据比较全面，包含了负载机、被测服务器、机器人自身的测试数据，具体发现了什么问题，需要根据数据针对性的去排查。

7、对于客户端，腾讯内部有没有一系列自动化工具，对于测试人员的工作又是怎么分配的？

答：对于手游客户端来说腾讯内部是有一系列自动化工具的。

对于功能和兼容性来说，有基于Unity控件的GAutomator（https://github.com/Tencent/GAutomator），还有基于图像识别的工具；

对于性能自动来说来说，主要是通过UI自动化工具配合UPA（以前叫Cube）工具一起使用；

安全测试，内部手游项目主要是使用SR手游漏洞分析工具，可以自动化分析一些常见的漏洞；

其他的一些专项测试也都会有相关的自动化工具。

上面只是说的手游，端游也会有对应的工具链。

腾讯测试人员主要分为：游戏测试，专项测试，测试开发，游戏测试主要负责业务逻辑方面，专项测试就是负责比如压测，安全，性能诸如此类专项测试内容，测试开发主要负责一些自动化脚本开发和工具开发，但是实际工作中界线其实并没有这么明显啦，都可以做的。

8、棋牌游戏如何进行弱联网测试

答：1、弱网环境的搭建，在内部已经有一个弱网的系统，通过在页面上配置一些网络的参数，比如带宽，丢包，延迟，乱序，抖动等，这些参数的获取主要是通过一些设备在实际环境下采集获取的。没有这套环境外面也有一些工具，比如微软的network emulator for windows toolkit，还有FaceBook有一个ATC的弱网络模拟的工具可以使用，还有其他的。

2、设定几个要测试的弱网络模型，比如3G高延时，请求无响应，2G高速移动等，每个模型对应着一组网络模拟参数。

3、弱网测试用例测试，主要是一些比较关键的点，比如登录，断线重连机制，结算，支付等方面。

4、测试用例与上面几个弱网络模拟进行组合测试，再设计一些随机的网络模型组合进行测试，观察被表现是否符合预期。

9、如何测试游戏平衡，是否有专门的分析工具测试游戏的延迟

答：

首先感谢提问和关注GAD平台，

问题呢，这块首先是个比较大的问题，比较宽泛，看上去又像两个问题，不过在聚焦具体场景下，又可以是一个问题，那么我先看着两个问题来回答，如果有进一步需求，可以提出更加具体场景后，我们在深入探讨，如何？

先说第一个： 如何测试游戏平衡？

游戏平衡是个很大的问题，这里涉及到游戏类型，确定游戏类型后，要做游戏核心玩法和周边玩法来拆分，并在梳理分析后，在切分到具体场景下做一些局部平衡性分析，例如：如果是RPG玩法，就有职业平衡性测试、战斗核心玩法平衡性测试； 如果是FPS，就有枪械的相对的平衡性测试、地图场景设计对战斗影响的平衡性测试等等，所以还得看提问的同学关注的是什么，具体问题具体分析；每个小点分析平衡性后，才能在从宏观上对整体平衡性做出一个系统性的分析，因为每个具体不都是相对平衡后，才有全局的测评，否则也没有太大意义（个人感觉，言错轻喷）；

我们再看第二个问题： 专门的分析游戏延迟的工具

有的哈，在Wetest平台，我们将会推出一些客户端性能测试的工具，需要结成sdk，可以将关注的延迟点，上报回来，供策划同学去分析验证合理性和可接受程度；

如果担心这个点没有很好的覆盖到所有机型、所有玩家的延迟信息，可以使用wetest适配测试、先游平台来协助达成，这些都是工具和平台可以提供使用；

最后针对第二个问题，也是个比较大而抽象的问题，游戏存在延迟的地方太多了，解决的方法和工具，有时候也完全不一样，如果需要，还请具化，谢谢~

10、测试中有时会遇到一些bug，但用了很多种方式都不能重现，如果对这类bug快速定位。

答：

这种bug最好有录屏软件录下来，然后通过回放视频找到可疑操作

这确实是一个比较难的问题，但也是经常要面临的，我觉得首先要评估这个bug出现后的影响面和出现频率，这个决定了后面需要投入多大的精力来解决它，如果这个Bug影响面很小又极少出现，那我想我们可能应该把精力放到其他更重要的点上，反之我们就需要想一些办法来解决它了。

在手工测试的过程中使用一些辅助工具，可以全程录制测试的步骤视频，当问题出现的时候可以自动的把软硬件环境信息抓取出来，比如系统配置，系统性能消耗，系统日志，Crash日志，业务自己的日志，被测游戏当时性能表现等现场信息尽可能的收集全，对于偶现问题在找到重现步骤之前开发基本上只能通过这些现场信息来分析可能问题产生的原因，然后再去验证重现并解决，在自动化测试的时候上面一些问题现场当然都是应该自动记录并保留的。

具体分析的时候，可能也没有一些捷径了，根据问题现场的视频日志堆栈，分析代码，模拟一些因素和场景进行验证，也可能需要一些针对性的自动化脚本，长时间去执行，以待问题复现等等。

如果是一些诸如性能之类的bug，比如内存泄露，还可以借助一些静态和动态分析工具可以帮助我们来加速分析进度。

先回答这么多，可能并不全，只是我自己的一些理解，其他大神可能还有更好的办法。

11、

我们公司的一款游戏(Unity RPG手游)研发已接近尾声，但客户端在某些战斗场景里内存占用飙升，

退出场景后并内存没有完全释放，如此几个来回，客户端就容易卡顿或闪退，

而且诡异的是同一个包 在iPhone6上最好复现，iPhone5上却很少出现闪退

使用WeTest有办法快速定位问题吗？

答：

WeTest平的的UPA工具可以解决绝大部分Unity游戏的内存问题。Unity内存优化一般从资源内存和脚本内存（Mono内存）两部分入手，资源内存较高主要是因为资源的尺寸不合理（比如纹理太大），或者资源的卸载不及时，UPA工具提供了资源分析功能，可以输出资源的尺寸、生命周期及卸载情况。Mono内存较高主要是因为脚本里面分配了一些较大的对象没有释放，UPA工具提供了Mono内存分析功能，可以进行Mono内存快照的对比，并精确到函数堆栈。

12、

如何分析测试对象的？

安全测试、兼容性测试都属于专项测试吗？

答：

手游一般会分为三个步骤来进行安全测试：

第一步是安全测试工具的接入，腾讯内部基本上都接入SR手游漏洞检测工具。

第二步自动化进行漏洞的检测，检测出容易发现的风险和漏洞，这些自动化的检查点都已经固化到了第一步接入的SR上了，使用SR即可以完成。

第三步是安全测试专家，针对性的对游戏设计安全用例，人工执行安全测试用例，进行风险验证，这一步要求相对来说就比较高了。

技能方面，基础的需要对C/C++，进程间通讯，网络通讯比较熟悉，另外对手游安全要熟悉ARM汇编语言和指令集，对端游来说要熟悉X86的汇编语言和指令集，具备程序逆向和反汇编能力，熟练使用ida，gdb，jeb等主流平台调试分析工具，业务上还要熟悉不同类型游戏的玩法和安全特点。

安全测试和兼容性测试都属于专项测试。

13、

有幸成为UPA的测试用户，也是立即在项目中测试了一番，但是发现现在UPA导出的数据还是有一些不能满足一些需求，他能从很宏观 大面上总结当前游戏性能，不过要是针对游戏中某一个点的测试 就比较难以控制或者难以对比。 请问是否考虑未来加入一些 针对游戏某一个点的性能消耗 可以做深入的对比分析 比如这一帧的内存分类CPU消耗，MONO上的分配等 此类集合与一体的这种工具流？

答：后面还会增加截图、资源快照 和 “帧对比”功能，选择任意两帧，查看数据差异。:)

14、如何搭建一套棋牌测试的弱网环境，具体的搭建步骤和流程，以及需要注意的细节

你好，请参考这两个文章看看

http://blog.csdn.net/lluozh2015/article/details/50545159

http://blog.sina.com.cn/s/blog_44d19b500102w65u.html

15、棋牌游戏有极小概率出现闪退，有什么方法快速定位闪退原因

答：这种问题只能通过Crash监控上报的方式，没有其他特别好的方法。同时，也考虑可以加入在线性能监测，比如说WeTest的APM，有部分闪退，可能是因为手机性能较差，APK又占有较大内存，引起的am_low_memory，导致系统杀死应用。

16、unity手游切换到手机后端以后，经常会出现莫名其妙的问题？如何更好的测试这些问题？，有没有好的测试手机游戏动画切到后台以后的问题的方法？

答：Unity游戏切换到后台以后，主线程和协程都不会继续运行，但是通过脚本开启的线程会继续运行，建议重点关注线程是否有切到后台的处理逻辑。此外，有些手机会对后台程序进行一定限制，比如关闭网络功能等，也需要关注。

17、

有时候有玩家在战斗中感觉到卡顿，回拉现象

我们一般总结为该玩家网络不好

但是该玩家自己测试说，玩别的同类游戏时不会发生这种现象，测试自己家网络也很快

我们自己测试并没有遇到这种情况

请问有什么办法能测试到这种现象的发生

答：

不知道是不是像你说的“回拉现象”是不是像魔兽世界那种，比如人物在跑，但是可能只是本地客户端在跑，因为网络短暂不好，客户端不能与服务器同步位置，服务器上并没有跑，当网络恢复后，客户端与服务器同步后，人物回到了之前的某个点上，这种现象。

如果是这样，建议做一下弱网络测试，模拟一些比较差的网络情况，先确认一下是不是网络问题导致出现你说的回拉现象。

文章来源：http://gad.qq.com/wenda/activity/10022