推断性统计部分(三)---假设检验

来源:互联网 发布:网络教育 高起专 时间 编辑:程序博客网 时间:2024/03/29 16:57

推断性统计部分(三)—假设检验

标签(空格分隔): 概率论与数理统计


假设检验

假设检验与置信区间其实是一样意思,区别就是再多做两步工作(假设及判断),仅此而已。
我们先回顾置信区间是计算的

1、判断是否正态总体
2、找到枢轴量(简单的说,就是一个关于随机变量X及参数的函数,它有自己单独的,与变量及参数都无关的分布,这样就可以用过这个分布来确定函数内的参数的置信区间)
3、利用枢轴量的分布求出置信水平的置信区间,根据枢轴量函数计算出的置信区间

然后看一下假设检验的计算方式(置信区间法)

1、判断是否正态总体及建立假设
2、找到枢轴量(在假设检验中叫检验统计量)
3、利用枢轴量的分布求出置信水平的置信区间,根据枢轴量函数计算出的置信区间,若原假设的值落在置信区间之内,则不能拒绝原假设(注意,是不能拒绝原假设,不是接受原假设,这个是不一样的,不能拒绝的意思是不能判断,而接受则为可以判断,比如原假设是有只有1块钱在身上,不能拒绝原假设的意思是,我不知道你有没有1块钱在身上,你有可能没钱,有可能只有1块钱,也有可能有很多钱,而接收原假设的意思是,你只有1块钱,这个要非常注意,不能乱作判断!)

另外介绍另外两种常用的假设检验方法:
1、临界值法
与置信区间法的区别就是,置信区间法是μ0与样本均值X¯的置信区间(X¯±Zασn)(假设为Z检验统计量),而临界值法则是把假设代入检验统计量中计算,即(X¯μ0σ/n),并把结果与Zα对比,若结果落在Zα以外(意为落在显著水平下认为不可能的范围),则拒绝原假设,接受备择假设,若不是,则不能拒绝原假设

2、P值法
与临界值法的区别就是,把假设代入检验统计量中计算,并计算在这个结果下,P值的大小,由P值与显著水平α进行比较,若P值小于显著水平,则为显著拒绝原假设。另外,P值也代表着拒绝原假设的最小显著水平。

同样,假设检验由检验统计量可以分为Z检验、t检验、χ2检验、F检验,单正态总体,双正态总体检验如下图:
假设检验

前提条件检验

由假设检验,我们倒过来看它所需要的条件,独立、正态,这两个是大部分检验所需要的前提条件,所以讨论一下这两项性质的检验:

  • 独立性检验:所使用的检验方法叫游程检验,方法如下:
    检验样本的随机性:将取自某一总体的样本的观察值按从小到大顺序排列,找出中位数(或平均数),分为大于中位数的小于中位数的两个部分。用上下交错形成的游程个数来检验样本是否是随机的。
    检验规则(小样本n<20) 应用游程检验临界表,(α=0.05,r为临界值)
    单侧检验:观察到的游程个数r0≤临界值(上行值)或r0≥临界值(下行值),否定H0;反之,接受H0。
    双侧检验: 观察到的游程个数r0,r()<r0<r(),接受Ho,反之,拒绝H0。
    游程检验表如下:
    游程检验

  • 正态检验:很复杂,偏度、峰度检验法(基于对称性及平坦性的检验);MiniTab中的Anderson-Darling(基于 ECDF(经验累积分布函数)的检验);Ryan-Joiner(类似于 Shapiro-Wilk 检验,基于相关的检验);Kolmogorov-Smirnov基于 ECDF 的检验)。后续有空了再单独开文详数正态检验方法。

假设检验的两类错误

基于显著水平α的检验,那么,这个α又代表什么东西呢,它代表的是犯第一类的概率,即弃真概率,即当参数为真时,他落在拒绝域中了,被认为是假的从而舍弃掉了。相对应的还有第二类概率,叫受假概率。我们做假设检验,通过只是考虑了犯第一类错误概率,而不考虑犯第二类错误的概率。当真值落在拒绝域以外,即属于备择假设时,检验法正确判断(即拒绝接受此数值)的概率我们称之为检验功效,犯第一类错误的概率与犯第二类错误的概率是相对的,在同一样本容量下,是此消彼长的关系,所以,为了减少犯第二类错误的概率,需要通过调样本容量去减少。
对Z检验右单侧检验问题,从下面的一张图上看,其实它可以简单的判断为一个双总体均值差的假设检验,其它检验法较复杂,未学会,只给出公式。
错误分类
图中,δ代表着μ1μ0的距离,即我确定一个最小值μ1,它及其右侧区域一定属于拒绝域之内,若实际均值落在μ1,我们希望能尽可高比例的拒绝这部分的数值。从图上看,当实均值落在μ1上时,我们有β(第二类错误概率)的可能接受了这批数据,有1β(检验功效)的可能拒绝这批数据。
公式汇总如下:
公式汇总

χ2检验

  • 分布拟合(现在一般叫优度拟合)
    我们设原假设为分布是假设分布F(X),备择假设是分布不是假设分布F(X)。于是,采用统计量
    χ2=i=1knpi(finpi)2=i=1kf2inpin=i=1k(finpi)2npi=i=1k(fiEi)2Eiχ2(k1)
    其中,n为进行试验的总次数,fi为落在子集的频数,fin则是子集A的频率,pi为拟合函数在子集A中的概率,公式的意思就是各子集的频率和概率不应该相差太大。同时,此公式也可化为各子集的频数与期望的差平方除以期望。拒绝域由χ2α(k1)给出
    上面是参数已知的χ2优度拟合,当分布参数未知时,需要使用最大似然估计对参数时行估计,估计了多少个参数(λ),就需要减掉多少个(λ)自由度上述式子的拒绝域相应变为χ2α(kλ1)
  • 列联表
    卡方检验另一大作用,使用列联表来进行独立性检验,方法如下:
    1、建立假设,原假设行列元素相互独立;
    2、确定检验统计量,此时整理为列联表格式
项目 B1B2B3Bc 行和 A1A2A3Ar O11O21O31Or1O12O22O32Or2O13O23O33Or3O1cO2cO3cOrc O1O2O3Or 列和 O1O2O3Oc 总和n

此时,表格中各Oij对应的期望应为Eij=E(Oij)=npij=nOinOjn=OiOjn
当表格中实际观测值与期望相差不大时,可以认为各组数据是相互独立的(由独立性定义P(AB)=P(A)P(B)可知期望E(Oij)就是假设独立求得的期望),选用统计如下

χ2=i=1rj=1c(OijEij)2Eijχ2[(r1)(c1)]

3、拒绝域由χ2>χ21α[(r1)(c1)]给出

非参数检验

上面所说的均值、方差或比率检验都是参数检验,它要求所有观测数据独立、总体是正态分布或近似正态分布或二项分布,而对观测数据的前提条件检验,如游程检验独立性、正态性检验、卡方检验等,这些是非参数检验,它不是针对分布的参数进行检验描述。
非参数检验方法:问题仍然是参数问题(均值相等等问题),但方法是非参数的,即使用符号、秩、游程等和原分布无关的工具进行分析,这就是非参数检验的基本思想。从上文中游程检验就可以知道这类工具的大概,下面介绍另外几种工具:

1)符号检验法
对于一些问题,如满意度检验(满意,不满意),产品合格(合格,不合格),心情(高兴,不高兴)等只有两个对立结果(假如两个产品(M产品和N产品)的效果对比,由抛硬币决定先用M还是先用N,然后可以得到四个结果,MN都有效,M有效而N无效,M无效而N有效,MN都无效,此时,对立的结果应该是中间的两个,MN都有效或无效的都不应计算,因为它们并不能反映两个效果的对比)的问题检验,可以使用符号检验法,方法为:使用对立的两个数据,相加为总数n,小者为检验量,查表得某个显著水平α下的拒绝临界值,小于临界值即为显著差异。
由符号检验法引申出中位数符号检验法,即把一组中的中位数作为对立结果进行区分后,使用符号检验。
符号检验表:
符号检验表

2)秩和检验
首先说明两个概念:秩(即名次,为两组数据混合后放在一起进行排列得到的名次(称之为秩),可以由小到大排,可以按时间排,可以按任意规定的方式排),结(数据相等的情况,它是由排列出秩之后,对相等数据的秩进行平均替换),例子如下表:

数据 11 12 13 13 14 15 22 22 22 31 秩 1 2 3.5 3.5 5 6 8 8 8 10

表中3.5的来源是,原位置是3、4两个秩,但因数值相等,则需要把它们加起来再除以个数,即3+42=3.5,同样,第7、8、9三个数据同样因为数值相等,因此为7+8+93=8

基本思想:秩和检验的基本思想就是基于二项分布概率,假如有个数m=3,n=4两组数据,那么秩的排列应该就存在C33+4=35种组合方式,从小到大把秩和排列,对应的概率可以由分布律给出,此时,存在显著水平使双侧或单侧的概率落在拒绝域中,即表示显著差异

秩和检验方法如下:
1、混合两组数据(个数分别为m,n)排列求秩,把两个分组对应数据的秩求和,得到两个秩和R1R2,取其中一个即可,如R1
2、通过查表,可以查得在两组数据个数(m,n)下,某个显著水平α的单侧或双侧的秩和拒绝域R
3、对比R1R即可得到结果。

秩和检验表如下:
秩和检验表

1 1
原创粉丝点击