运营效果分析的典型应用

1. 业务落地应用得到检验，有两类检验，A、模型本身是否稳定，即在新数据中得到的验证结果是否与模型拟合时的表现相一致 B、运营效果分析，好的模型、好的分析报告能否在业务实践中通过业务图但对的工作有效转化成为生产力
2. 为什么要做运行效果分析？
   A、衡量运营工作的效率和效果
   B、指导运营技巧的优胜劣汰
   C、提升运营团队的专业能力
   D、增强运营工作的商业价值
3. 统计技术在数据化运营中最重要最常见的应用
   在效果分析类型的业务场景中，统计技术力的假设检验是应用的最集中、最普遍、最频繁的，并且能够有效提供最终的评判结论
   为什么要进行假设检验？
   A、为了精确地区分运营效果的差别到底是随机因素引起的，还是因为运营的因素引起的，以及在多大的置信度内可以肯定是因为随机因素引起的，或者是因为运营的因素引起的
   B、在很多情况下，效果的评估是基于样本的观测进行的，为了从样本的结论里推论出总体的结论，也必须进行假设检验来判断样本的差异能够代表总体的差异
   假设检验应用最密切、最常用的一些技术和方法：
   包括T检验、F检验、非参数检验、卡方检验、控制变量的方法和ABtest方法
   假设检验的基本思想
   在日常生活中，经常会碰到一些对总体的一些判断，比如用户群体的活跃度提示是否显著，答案要么是显著、要么是不显著，即是非判断，这两种选择对应的就是两个 假设，一个是原假设H0，一个是备选假设H1
   在一次观察或者试验中几乎不可能发现的事情，称之为小概率事件，小概率事件再一次试验中发生的概率被称为显著性水平
   假设检验的基本思想和原理就是小概率事件原理，即观测小概率事件在假设成立的情况下是否会发生，如果在一次试验中，小概率发生了，那么说明假设在一定显著性水平下不可靠，因此有理由拒绝原假设，而接受备选假设，如果在一次试验中，小概率事件没有发生，只能说明没有足够的理由相信假设是错误了，但是并不能说明假设是正确的
   第I类错误：当原假设为真时，却否定它而犯的错误，称为弃真错误
   第II类错误：当原假设为假时，却肯定它而犯的错误，称为纳伪错误
   在其他条件不变的情况下是相反的，
   T检验
   T检验主要用于检验两组样本的均值相等的原假设，比如两组测试样本群体，一组是运营组，一组是对照组，运营组的样本是用来进行有针对性的运营活动，而对照组的样本则会刻意避免有针对性的运营活动，前者的独立对比是在两组观察值相互独立的情况下进行的，称为独立组样本T检验，后者的配对比较是在观察值本身进行前后对比，称为配对组样本T检验

两组独立样本T检验的假设和检验
两组独立样本T检验要求数据符合以下数据符合以下三个条件
A: 观察值之间是独立的，指的是观察值相互之间没有牵连关系
B: 每组观察值来自正态分布的总体，这个要求决定了数据必须是区间型的变量
C: 两个独立组的方差相等
两组独立样本的非参数检验
虽然两组观察值是各自独立的，但是每组观察值不一定来自正态分布的总体，同时两个独立样本组的方差不一定相等，通常采用的方式是Wilcoxon秩和的一种比较两个独立组观察值的非参数检验
配对差值的T检验
使用配对组差值进行T检验的条件
A: 每组观察值与其他观察值之间相互独立
B: 配对差值来自正态分布
配对差值的非参数检验
如果每对观察值与其他观察值相互之间是独立的，但是每组观察值不一定来自正态分布，这个时候就不能采用配对差值的T检验了，而应该使用配对差值的Wilcoxon秩和检验
方差分析
当我们的分析不限于两个独立样本组的时候，而应该扩展到多个样本组，T检验就不适用了，在这个情况下，就需要进行方差分析（ANOVA）或者F检验
方差分析是利用样本数据检验两个以上的总体均值是否有差异来进行分析的一种方法，能够解决多个总体的均值是否相等的检验问题
方差分析满足以下三个前提条件：
A: 各组观察值是来自于正态分布的总体的随机样本
B: 各组观察值之间是相互独立的
C: 各组观察值具有同方差性
根据分析因素的个数不同，方差分析可以分为单因素方差分析和多因素方差分析
单因素方差分析
单因素方差分析主要研究单个因素对目标变量的影响，这种方式将通过因素的不同水平对目标变量进行分组计算，得到组间和组内方法，并利用方差比较对分组所形成的总体均值进行比较，从而对各总体均值相等的原假设进行检验
多个样本组的非参数检验
如果多个与昂本组的数据不是来自正态分布的总体，或者各样本组的方差不相等，在这些场景中就不能使用方差分析的方法了，而只能采用非参数检验的方法
卡方检验
卡方检验是一种应用非常广泛的假设检验方法，属于非参数检验的范畴，主要是比较两个和两个以上的样本率，以及对两个分类变量的关联性进行关联分析，其根本思想是比较理论频数和实际频数的吻合程度或者拟合度
控制变量的方法
控制变量就是指在分析某个核心因素针对不同群体的运营效果时，为了防止其他因素的干扰，而人为的将考虑到的其他因素，即一些潜在的、重要的、可能影响运营效果的因素进行固话或者排除，从而在一个人为控制的比较单纯的数据中专门分析核心因素的影响
AB test
AB test ，最容易想起的就是他实在网页设计优化中的一种比较策略，同一个功能页面，设计两种不同的页面布局，通过技术手段将两种不同风格的页面设计随机分配给浏览该功能页面的不同访问者，根据随机分配的页面浏览转换效果，来评价不同设计风格的优劣
AB Test 最基本的含义就是对于一个运营活动的效果进行评价，在使用此方法时，一定要实现把同一类客户群体随机分成A组和B组，一组进行运营，一组不进行运营，这样才能比较合理的评估运营的效果
使用AB Test
A: 参与AB Test的客户群体总是来自同一个总体的，应具有相同的特征或属性
B: 与AB Test相关的其他业务因素应该一直，也就是说除了要分析的特定运营条件外，其他的业务因素应该一致