P值已经被废,学的东西有多少是真的?

美国统计协会发布有关统计学意义和P值的声明

–提供提高定量科学的行为和解释的准则

美国统计协会(ASA)发布了”统计意义和P值的声明”,其中包含正确使用,解释p值的6个原则.ASA发布这个P值的指南,以提高定量科学的行为和解释,并告知越来越重视科学重复性的研究.声明中同时指出,科学研究和大型复杂数据集的扩散的量化扩大了统计范围和选择适当技术的重要性,进行得当分析以及正确的解释.

良好的统计实践是科学实践的重要组成部分,声明指出,这种实践”强调良好研究设计和实施,各种数据的数值和图形会汇总,所研究现象的认识,背景下结果解释,完整报告和合适的逻辑以及定量的理解数据汇总含义的原则”.

“P值从来不是为了科学推理的替代品,”ASA执行董事Ron Wasserstein讲到,”理由充分的统计参数不仅仅包括但数值的变量,还有这个数值是否 超过了任意阈值.ASA声明预计引导研究到’后p<0.05时代’”.

“随着时间的推移,P值成为了一些领域工作是否可发布的标准”,ASA总裁Jessica Utts说.”这种明显的编辑变差导致了’文件-抽屉效应’,其中统计显著的结果更容易出版,然而其他的结果可能同样重要的确没有看见发表.同样导致所谓的’p-hacking’(通常增加样本容量)和’data dredging’做法,强调搜索小的p值而不是统计科学推理.”

声明的6项原则如下所示,其中包含很多p值的误解和滥用:

1. 对于指定统计模型p值可以表明数据如何不相容.
   例如在零假设通常用来假设一个效应不存在，如两组之间没有差异，两个因素没有相关性。此时P值越小，数据与零假设的不相容性（incompatibility）越大，可以解释为这些数据怀疑或否定了零假设。
2. p值不能衡量研究假设为真的概率,或者随机单独产生的数据的概率.
   P值是所得数据与解释之间关系的说明，而不是对解释本身的说明。
3. 科学结论和商业或政府决策不应该基于p值是否超过某一特定阈值.
   重大决策与结论中，需要考虑诸多因素，如实验设计、数据质量、外部证据、假设的合理性等等，不能只由P值决定Yes or No的问题。
4. 正确的推断需要全面的报告和透明度.
   正确的科学推理，需要研究者公布研究中包含的所有假设，所有数据收集的决定，所有进行的统计分析和所有P值。
5. p值或统计显著不能衡量结果重要或效果的大小.
   P值大小不代表效应大小。再微小的效应，达到一定的样本量和测量精度，都能得到小的P值；再大的效应，在样本量和测量精度不那么高的时候，也可能只能得到普普通通的P值。
6. p值不能提供关于模型或假设证据的良好度量.
   单独的P值只能提供有限信息。用一个略小于0.05的P值来拒绝零假设就难以有说服力；相反，一个相对较大的P值也不能说就赞成零假设。当有其他方法可选时，数据分析不应该以一个简单的P值计算作为结束。

该声明包含小段内容阐述每个原则.

按照有关p值的误用和误解,声明指出,统计学家经常补充或用其他方法代替p值.这些方法包括”强调测试评估如可信度,置信度或预测区间;贝叶斯方法;证据的替代方法似然比或贝叶斯因子;以及其他方法例如决策理论建模和错误发现率”.

“ASA声明和背后理论内容不是新统计学家或其他科学家一直在写的话题,”Utts说.”这是统计社区,ASA董事局第一次发布声明以解决这些问题”.

“参与统计推断的问题是困难的,因为推理本身具有挑战性,”Wasserstein说.他指出,十多篇研讨论文被发表在ASA美国统计学家杂志上,声明提供有关这一广泛而复杂的话题更多的视角.”我们希望遵循跨科学界讨论,引导更微妙的方式来解释,沟通,并使用研究中统计方法的结果.”