【腾讯TMQ】众测白皮书

一、引言

随着移动互联网的蓬勃发展，国内手机用户已经达到6亿以上，但由于移动APP的产品迭代周期短，且使用的机型、网络和场景，都比原来PC端更加多样化和复杂化。传统的测试方法，在测试时间、机型网络覆盖等问题上，都显得力不从心。企鹅众测（也称Tesly平台）力图通过让用户协助测试的方式，来解决上述问题。

企鹅众测产品白皮书（下称”白皮书”）将从产品研发背景、Tesly功能特点、典型应用、工作流程和收费模式几个方面来介绍企鹅众测平台。

二、产品研发背景

1、行业现状

目前，国内在软件众测领域，主要有企鹅众测、百度众测和Testin众测三个众测平台。

（1）百度众测

主要服务于内部的数据收集类任务，偏向于众包形式。

（2）Testin众测

提供第三方产品的Bug探索服务，团队作业（21人），业务模式单一。

（3）企鹅众测

累计服务腾讯内部几十款产品，并获得良好口碑。业务模式上，除了Bug探索，还提供竞品对比评测、软件性能评测、跨APP H5测试、Crash定位、产品体验等服务，并可动态指定测试用户人数（最多单任务可达到千人级别）。

2、企鹅众测的优势

图1企鹅众测的优势

（1）用户覆盖广

主要体现在遍布全国的真实用户、覆盖上千款机型和所有运营商网络，真实的用户使用场景。

同时，Tesly支持按照地区、网络、机型的多重条件过滤

（2）快速的交付

普通任务两天内交付结果报告。

紧急任务4小时内交付报告。

（3）详尽的报告

任务用户反馈统计报告，版本质量一目了然

反馈详情：提供文字、图片、视频、logcat、机型等各种信息

三、企鹅众测介绍

1、概述

企鹅众测是让真实用户参与测试的一个平台，APP研发团队提出众测需求给Tesly平台，平台将众测需求下发给用户，并收集用户反馈，最后生成测试报告给APP研发团队。

企鹅众测支持应用、游戏、H5混合应用等多种产品形态，3.2节将详细介绍Tesly支持的能力类型。

2、能力介绍

目前Tesly支持下面的服务Bug探索、产品调研、数据收集和产品评测四大类任务类型。

图2企鹅众测支持的任务类型

（1）Bug探索

1）真人真机众测

真实用户参与测试，包括模块化测试、全量测试等，用户的使用场景多样，机型、网络和地域分布广泛，能够发现更多内部测试无法发现的问题。同时，可以让产品预先知道产品上线后的情况，增加发布信心。

2）机型适配（兼容性测试）

针对某个或者部分出现问题的机型，下发给该机型的用户进行测试，节省了大量购买手机的费用和时间。

3）Bug复现

对于某些用户反馈的bug，内部无法复现或者复现代价过大，可以交给众测，让成千山万用户同时协助进行Bug复现。

（2）产品调研

1）问卷调查

针对产品的某项功能或产品原型，下发调查问卷收集用户的想法和意见，辅助产品经理对功能进行决策和了解功能在用户中的口碑。

（3）数据收集

1）数据标注

数据标注类任务，主要解决因数量庞大而内部需耗费大量人力和时间的问题。最常见的是：地理位置收集类、小说内容错误类等。

2）问题库建设

问题库建设，主要是满足项目组可以快速拿到出现问题的样本进行验证的需求，问题库一般包括但不限于：文件库、视频库、网页库等。

在产品开发过程中，经常出现用户反馈了问题，但是内部无法拿到相应的问题样本进行验证的情况，比如：手机浏览器的文件打开功能，经常出现用户反馈某类文件显示有问题，但是内部无法找到出现该问题的文档。

（4）产品评测

1）产品评测

产品评测类，主要是让用户对产品进行深度体验，并提供功能体验报告，报告内容涉及：产品各项功能体验情况、对产品的建议，并提出不合理的设计和Bug。

2）竞品对比

竞品对比主要是从用户角度，实际体验产品和竞品之间在功能、性能等负面的差异，包括但不限于：用户主观感受、性能数据、优劣势等。

3、用户介绍

（1）平台用户量

目前，众测平台用户注册数10万，每月活跃用户接近1万，用户来自全国各个省份地区，覆盖了国内所有的运营商网络，基本覆盖了所有安卓主流机型（上千款）。

（2）年龄和职业分布

众测平台的用户偏向于年轻化，24岁以下的用户居多，大部分是高中和大学生。

图3众测用户年龄、学历分布

（3）机型覆盖

众测用户覆盖上千款机型，top机型为小米、魅族、华为、联想等国内主流机型；安卓系统方面，覆盖了Android2.3~6.0的所有操作系统。

图4众测用户机型分布

图5众测用户系统分布

（4）网络覆盖

众测用户覆盖国内三大运营商的所有网络类型，运营商包括：移动、联通和电信；网络类型包括：WIFI、4G、3G和2G。

图6众测用户网络分布

（5）地域覆盖

从地域上看，众测用户覆盖全国所有省份和地区，其中以广东、河南、山东为最。

图7众测用户地域分布

四、典型应用和案例

1、典型应用场景

表1：企鹅众测典型应用场景

2、典型应用案例

（1）Bug探索

1）真人真机众测

表2：企鹅众测案例-Bug探索

2）机型适配（兼容性测试）

表3：企鹅众测案例-Bug探索

3）Bug复现

表4：企鹅众测案例-Bug探索

（2）数据收集

1）数据标注(快速判断)

表5：企鹅众测案例-数据收集

表6：企鹅众测案例-数据收集

2）问题库建设

表7：企鹅众测案例-数据收集

（3）产品评测

1）竞品对比

表8：企鹅众测案例-产品评测

五、工作流程

图8众测接入流程

1、需求沟通

需求提供方，只需要提供下面材料给众测平台接口人即可：

1）需求关注点；

2）需求关注点对应的截图；

3）如果是内测软件，请提供安装包；

4）『可选』众测平台提供自动上传附件功能（包括项目组自己打的log、记录文件等），如果需要众测协助上传，只需要将附件写到Tesly指定目录下即可；

众测平台接口人收到测试需求后，会第一时间与需求提供方进行沟通确认，确认完毕便可向用户发布众测任务，确认阶段耗时一般不会超过半小时。

2、任务分发

Tesly通过众测平台后台，向用户分发众测任务，发布的用户群体支持机型、地区、网络等多种维度的筛选，满足任务条件的用户可以在Android客户端/PC网页端接收测试任务。

任务分发到用户侧，1天内召集300~500的测试用户，2天内可以召集500~1000的测试用户。任务分发的时间长短，由需求提供方指定。分发过程由众测平台完成，项目组不需要投放人力参与。

3、反馈收集

用户通过Tesly客户端/PC端网页端，可以方便的提交反馈到Tesly后台，后台会自动将反馈提交到对应的任务。

普通任务上线1~2天，便可以完成反馈收集的目的。反馈的数量，跟众测的产品和任务需求息息相关，普通测试类任务，一般能够收到100个以上的用户反馈。

4、反馈跟进

需求提供方通过众测后台对反馈进行跟进，包括对反馈进行查看和标注（标为重点关注，标注完成后，非重点关注的反馈，将由众测平台统一关闭）。反馈支持一键导出到Excel，如果是腾讯内部产品，支持一键转到Tapd。

在此阶段，需求提供方需要投入人力对用户反馈进行跟进，而如果对每个用户反馈的问题都跟进，势必会投入过多的人力和时间，众测平台建议按照优先级从高到底来跟进用户反馈：

1）严重Bug提单跟进；

2）反馈人数在两个以上的Bug提单跟进；

3）可复现或者有Logcat信息充足的Bug提单跟进；

4）其他的Bug，视投入产出比而定。

5、任务报告

当项目组筛选完用户反馈之后，众测平台会自动生成任务报告。

6、反馈举例

下面通过一个具体的bug，来介绍用户反馈包含的内容：文字描述、截图、视频、log、机型、网络等信息。

在bug详情页面，可以通过点击用户QQ号，直接跟用户进行联系，省去添加好友的繁琐步骤。

图9众测Bug详情举例

关注微信公众号：腾讯移动品质中心TMQ，获取更多测试干货！