第七章 假设检验

假设检验的目的是通过收集到的数据，来验证某个想要得到的结论。
假设检验的思想是：小概率反证法思想。
显著性检验是本章的主要内容。下面从实际例子来通俗的理解一下显著性检验。
显著性检验中有几个概念不太好理解。

嫌犯X是否有罪

　有这样一个事件：2016年5月5日下午3-4点之间张三家里的电视机被偷了。邻居王五看到嫌犯X，在2016年5月5日下午3点15从张三家里拿着一台电视机鬼鬼祟祟地走出来。警察到嫌犯X家里，发现了张三家的电视。
　依据上面的描述判断嫌犯X是否真的偷了张三家的电视。这就是：通过收集到的数据，来验证某个想要得到的结论。
　事件A：王五看到嫌犯X从张三家里拿着一台电视机(人证)。
　事件B：嫌犯X家里有张三家的电视(物证)。
　事件C：张三报警说家里丢了一台电视机。

1设立假设

　做原假设H0：嫌犯X无罪。这是基于“疑罪从无”的原则出发的。先假设一个人没有罪，再用证据证明有罪，才可以确定有罪。这就是说为什么H0假设是一个强假设，是被保护的假设。
　备择假设H1:嫌犯X有罪。

真实情况 根据证据 证明 - 无罪 有罪 无罪 正确 犯第I类错误 有罪 犯第II类错误 正确

2判断依据

　真实情况只有嫌犯X知道，但是又没有依据可以判定X说的是否正确。所以只能做假设检验。　
　在X无罪的前提下，事件A和B同时发生的概率：P{(A∩B)|X无罪}≤α=0.00001 ，就证明嫌犯X有罪。证据是已经存在的事实。一个概率万分之一的事情是一个小概率事件。在一次试验中小概率事件发生的可能性几乎不存在，可以推测一定是前提错了。也就是说H0:嫌犯X无罪 是错误的。证明H1:嫌犯X有罪 成立。
　那么这个结果要求在多大概率上保证了嫌犯X有罪呢？是在(1-α)概率上保证了嫌犯X有罪。
　大家可以看到，这里只考虑了可以证明嫌犯X有罪的证据，并没有考虑嫌犯X无罪的证据。因为前提就是嫌犯X无罪。

3根据资料，计算概率

　如果X无罪，也就是说如果X没有偷东西，并且张三报警自己丢了电视机，那X从张三家里拿电视机这件事情发生的概率应该为0。这是依据常识（社会规范）来的。P(A|嫌犯X无罪)=0
　如果X没有偷东西，那张三家的电视在他家里这件事情(事件B)的概率大于0，暂时随意给定一个值例如0.5，可能是真正的小偷为了栽赃陷害X放在他家里。P(B|嫌犯X无罪)=0.5
　P{(A∩B)|X无罪}=0
　

4根据样本得出结论

　P{(A∩B)|X无罪}=0≤α成立。推出H0不成立，H1成立。嫌犯X有罪。在这个例子中以(1-0)的概率保证了这个结论是正确的。
　

假设检验的步骤

　下面用数理统计的语言描述一下假设检验。

1 建立两个完全对立的假设

　原假设H0，备择假设H1

选择原假设的一些原则

　1 错误拒绝假设A的后果更严重，则选择做原假设。
　假设Ａ：新药有某种毒副作用。
　假设Ｂ：新药没有毒副作用。
　如果把“有毒副作用”错认为“无毒副作用”后果更严重。如果把“没有毒副作用”错认为“有毒副作用”后果较轻。则选择Ａ做原假设。
　这里有一个原则是“疑罪从无”。如果认为有罪则一定要有证据证明有罪，否则就是无罪。如果法官判犯人无罪，只能说明没有证据证明这个人有罪。所以一定要用证据来证明后果比较严重的结论。原假设，就是用证据来证明的那个结论。
　2 原假设一般为维持现状的假设。
　例如：原假设：药物没有减肥效果。
　3 原假设取简单假设。
　原假设选择只有一种情况的假设。
　H0是一个被保护的假设，一定要慎重选择。
　

参数假设的形式

1. 左边检验 H0:θ=θ0，H1:θ<θ0
   左边检验的第二种形式是H0:θ≥θ0，H1:θ<θ0
2. 右边检验 H0:θ=θ0，H1:θ>θ0
   右边检验的第二种形式是H0:θ≤θ0，H1:θ>θ0
3. 双边检验 H0:θ=θ0，H1:θ≠θ0

检验假设的方法

　1 临界值法
　2 P值法
　

2 给出检验统计量，确定拒绝域的形式

　检验统计量：如果统计量T=T(X1,X2,...Xn)的取值大小和原假设H0是否成立有密切联系，则被称为检验统计量。
　拒绝域：对应于拒绝原假设H0时，样本值的范围称为拒绝域。拒绝域是参考H1得到的。
　两类错误：如果原假设为真，根据样本拒绝了原假设，这时候的错误称为第I类错误–弃真。如果原假设为假，根据样本接受了原假设，这时候的错误称为第II类错误–取伪。
　α=P{第I类错误}=P{拒绝H0|H0是真实的}
　β=P{第II类错误}=P{接受H0|H0是错误的}
　例如：H0:μ=0，H1:μ>0，注意到X¯¯¯是μ的无偏估计X¯¯¯取值的大小反映了μ的取值情况。当原假设成立的时候，X¯¯¯的取值应该比较小。所以
　当X¯¯¯≥C的时候，拒绝原假设H0；
　当X¯¯¯<C的时候，接受原假设H0。
　
　图中蓝色曲线表示H0为真，X¯¯¯≥C拒绝原假设，也就是犯了第I类错误。
　图中红色的线表示H0为假，X¯¯¯<C接受了原假设，也就是犯了第II类错误。
　在样本量n一定的情况下，这两类错误的概率是互相制约的。Neyman-Pearson原则要求首先控制第I类错误的概率不能超过某个常数α∈(0,1)，再寻找检验，使得第II类错误的概率尽可能得小。α称为显著性水平。α的取值多为:0.001,0.005,0.1。
　只对第I类错误的概率加以控制，而不考虑第II类错误的概率的检验，称为显著性检验。
　

3 根据显著性水平和统计量的分布确定临界值

临界值法

P值法

　无论哪种形式都要求知道统计量的分布。

4 根据样本得出结论

临界值法

P值法

　结合第三步算出来的数值，与拒绝域想比较看是否成立。

例子

　题目：某种减肥药广告宣称, 连续使用该种减肥药一个星期便可达到减肥的效果。为了测定其广告是否有效做了测试。记录服用减肥药前后的体重。测得服药前体重-服药后体重差值：1.5,0.6,-0.3,1.1,-0.8,0,2.2,-1.0,1.4。假定总体σ2=0.36。取显著水平α=0.05。

假设

　原假设H0:该减肥药无效，μ=0；(减肥药如果没有效果，平均每个人的体重变化应该是0)
　备择假设H1:该减肥药有效，μ>0

提出检验统计量和拒绝域的形式

　需要判断的是总体均值μ，根据第六章参数估计得知样本均值X¯¯¯是μ的无偏估计。所以选择X¯¯¯作为检验统计量。
　在第五章抽样分布中知道单个正态总体的抽样分布X¯¯¯~N(μ,σ2/n)或者X¯¯¯−μσ/(√n)~N(0,1)。
　H0中μ=0，所以X¯¯¯也要尽可能等于0。可以设定一个值C，当X¯¯¯<C的时候，接受原假设。当X¯¯¯≥C，时拒绝原假设。根据H1得到拒绝域:W={(X1,X2,...Xn):X¯¯¯>C}

确定临界值

　当H0:μ=0成立的时候，X¯¯¯σ/(√n)~N(0,1)，也就是说X¯¯¯0.6/3~N(0,1)

临界值法

　P{X>C|μ=0}=P{X¯¯¯0.6/3>C0.6/3}=1−Φ(C0.6/3)≤α=0.05
　Φ(C0.6/3)≥1−0.05=0.95
　查表知道Φ(1.645)=0.95，得到C0.6/3≥1.645，得到C≥0.329。要使得第II类错误尽可能小，所以C=0.329。
　根据样本值计算x¯=0.522

P值法

　根据样本值计算x¯=0.522
　计算一下在H0条件下，目前的样本发生的概率：P{X¯¯¯>x¯|μ=0}＝P{X¯¯¯0.6/3>0.5220.6/3}=1−Φ(2.61)=1−0.9955=0.0045 (这里如果忘记了参考第二章随机变量中，普通正态分布与标注正态分布的换算)

4 根据样本得出结论

临界值法

　临界值C=0.329，x¯=0.522，x¯>C符合拒绝域W={(X1,X2,...Xn):X¯¯¯>C}。所以拒绝H0，接受H1。

P值法

　P{X¯¯¯>x¯|μ=0}=0.0045<α=0.05，所以拒绝H0，接受H1。在这个例子中，可以保证 0.9955的概率，接受H1是一件正确的事情。

心得

　我认为P值法是比较好理解的。我只要计算一下在H0条件下，已经发生的事情（样本）落在拒绝域的概率P。P比显著性水平要小的时候，结合小概率事件不会在一次试验中发生，就可以拒绝H0，接受H1。否则就接受H0。
　临界值法是根据要求的显著性水平，算出统计量的一个临界值。
　记住拒绝域是由H1决定的。