1、第四章第四章 假设检验假设检验4.1 基本概念4.2 参数型假设检验4.3 非参数型假设检验方法篇：假设检验(第四章）第四章第四章 假设检验假设检验 这是一种应用极其宽泛的统计方法，是很多实际问题这是一种应用极其宽泛的统计方法，是很多实际问题的处理方式之一。的处理方式之一。一个问题一个问题一对假设一对假设一个样本一个样本一套方法一套方法一个结论一个结论 参数型参数型 背景背景 方法很多方法很多(依然层出不穷依然层出不穷)非参数型非参数型方法篇：假设检验(第四章）4.1 基本概念例例1 1：国家对定量包装商品净含量的规定很严格，据国家相关法律法规规定，500g装的物品净含量偏差不超过15克(3
2、),某月某厂抽检15件得到如下数据 497,502,501,501,498,500,501,503,500,502,500,499,503,498,504 问该厂包装的产品在0.05显著性水平上是否符合净含量规定？分析：通常意义下，工厂的生产应该符合国家规定，所以此时问题可以转化成假设：这样的假设如何计算?一种处理方式是将“符合规定”转化成：方法篇：假设检验(第四章）01:HH产品包装符合规定 产品包装不符合规定01:=500:500HH 此处称H0,H1为原(或零)假设和备择假设！这是一对互为对立的假设。4.1 基本概念(1)假设与总体、样本的关系净重500g是生产标准，因此若生产合规，则产
3、品与标准的偏差应较小，显然抽检的15件产品的平均净重平均净重与标准的偏差应该很小。反之，若偏差较大(该事件发生的概率很小该事件发生的概率很小)，则认为生产不合规。于是引入一个条件：if then 支持 要在概率意义下求得上述临界值，这涉及到总体的具体分布。遗憾的是本题样本所在的总体的分布是未知。方法篇：假设检验(第四章）|X临界值0HP(|X临界值)=(0,1)/XNn4.1 基本概念(3)假设检验的基本原理基本原理和反证法反证法使用假定原假设成立，则构造的事件是个小概率事件，即将总体的样本数据代入计算，若上述事件发生，则表明小概率事件在一次抽样中就“轻易”发生了，这明显与假设不符，故有理由推
4、翻原假设。“概率很小的事件在一次试验中几乎不会发生”被称为小概率事件原理小概率事件原理。应用小概率事件原理进行决策的过程其实就是利用了“反证法反证法”。称 为拒绝域拒绝域(小概率事件发生的区域),反之则称为接接受域受域。方法篇：假设检验(第四章）P(|X临界值)=|WX临界值4.1 基本概念(4)假设检验的错误描述 使用概率解决问题，就必须承受随机性(通过一个样本作出决策)带来的风险，在假设检验中就是要分析决策可能带来的错误情况。第一类错误：拒绝Ho|Ho为真，弃真错误，概率为 第二类错误：接受Ho|Ho不真，取伪错误，概率为这两个概率值此消彼长，如右图所示：注:这是一个右侧检验的示意图。而同
5、时减小犯错误概率的条件是：增大样本容量 n方法篇：假设检验(第四章）4.1 基本概念(关于两类错误)一个正态总体若一容量为n n的样本，其均值为2.6，假设拒绝域为(),求两类错误的概率分别为多少？方法篇：假设检验(第四章）2(,2)XN01:=2:=3HVSH2.6X(2.6|2)(2.6|3)P XP X22.62(|2)1(0.3)2/2/32.63(|3)1(0.2)2/2/XPnnnXPnnn 2.6limn增大一点会怎样？会怎样？4.1 基本概念(5)临界值到检验p值的转化由给定的显著性水平，根据总体分布假定，解方程 得到临界值，再构造拒绝域，最后作出决策。这个流程呈现两个特点：A
6、.需预设水平，必须预先给出水平才能确定拒绝域 B.过程被动，每指定一个显著水平都要从头计算出拒绝域才能作决策根据总体分布假定，计算检验统计量的检验p值，通过p值大小灵活决策。检验p值：Ho成立且发生了不利于Ho又比取现值的更极端事件 的概率。方法篇：假设检验(第四章）P(|X临界值)=0(0,1)(|)/xXXNPpnnn值0|/xXnn4.1 基本概念(6)基本流程1、确定假设检验问题和检验类型，如参数型，Ho,H12、构建假设检验统计量并确定其概率分布,如3、在假定原假设成立时，构造小概率事件，得到临界值，确定拒绝域4、代入样本观测值，确定是否落在拒绝域中 或者略过3，直接计算检验p值5、
7、给出决策：拒绝或接受原假设。方法篇：假设检验(第四章）(0,1)/XNn4.2 参数型假设检验在例1中，假定总体服从N(500,25)，问生产是否符合规定？理论推导：因此，接受原假设，认为生产符合规定！方法篇：假设检验(第四章）010:500:500(0,1)/500(0,1)500.6/500500.6500|)0.64210480.05/5/15HvsHXNnXHNxnXpPn问题：构造：（还不能称为统计量)假定成立，则统计量，计算得容易得 值=(4.2 参数型假设检验在例1中，假定总体服从N(500,)，问生产是否符合规定？理论推导：因此，接受原假设，认为生产符合规定。方法篇：假设检验(
8、第四章）010:500:500(1)/500(1)500.6,2.02837/500500.6500|)0.2711490.05/2.02837 15HvsHXt nSnXHt nxSSnXpPSn问题：构造：（还不能称为统计量)假定成立，则统计量，计算得容易得 值=(24.2 参数型假设检验关于正态总体的参数型假设检验，内容丰富，理论完备，注意的是：前提只有一个，即总体服从正态分布前提只有一个，即总体服从正态分布。在R统计软件中，help.search(.test)可罗列出检验函数：比如：1、t.test解决单/双总体均值的假设检验2、var.test解决双总体方差比的假设检验3、binom
9、.test二项分布检验课后探索：课后探索：如何仿照R的var.test完成单总体方差的假设检验？方法篇：假设检验(第四章）4.24.2 参数型假设检验参数型假设检验var.one.test=function(x,alternative=c(two.sided,less,greater),var0,conf.level=0.95)n=length(x);s2=var(x)*(n-1);STATISTICSTATISTIC=s2/var0;names(STATISTIC)=chisq parameterparameter=c(var0,n);names(parameter)=c(var0,n);p
10、value=pchisq(STATISTIC,n-1)alternative=match.arg(alternative)PVALPVAL=switch(alternative,two.sided=2*min(pvalue,1-pvalue),less=pvalue,greater=1-pvalue)#P-值 MUINTMUINT=switch(alternative,two.sided=c(s2/qchisq(1+conf.level)/2,n-1),s2/qchisq(1-conf.level)/2,n-1),less=c(0,s2/qchisq(1-conf.level,n-1),gre
11、ater=c(s2/qchisq(conf.level,n-1),Inf)#区间 attr(MUINT,conf.level)=conf.level ESTIMATEESTIMATE=s2/(n-1)#估计 names(ESTIMATE)=var#点估计的描述 DNAMEDNAME=deparse(substitute(x)#数据的名称 METHODMETHOD=One-Sample var.test with mean unknown#方法的名称 nm_alternative=switch(alternative,two.sided=paste(true var is not equal t
12、o,var0,sep=),less=paste(true var is less than,var0,sep=),greater=paste(true var is greater than,var0,sep=)#对备择假设进行说明 RVAL=list(statistic=STATISTIC,p.value=PVAL,alternative=nm_alternative,method=METHOD,data.name=DNAME,conf.int=MUINT,parameter=parameter,estimate=ESTIMATE)class(RVAL)=class(RVAL)=htesth
13、test#生成返回值到列表，再把列表转化成htest类，也可用structure return(RVAL)var.one.test(x,alternative=two.sided,var0=5)方法篇：假设检验(第四章）4.2 参数型假设检验非正态总体(1)泊松分布参数的假设检验(2)0-1 分布参数的假设检验(3)均匀分布参数的假设检验(4)指数分布参数的假设检验方法篇：假设检验(第四章）22(2)n Xn(0,1)(1)/XpNpp n近似()()nnxP Xx()nXP n4.2 参数型假设检验非正态总体(1)泊松分布参数的假设检验（分析）方法篇：假设检验(第四章）()nXP n0010
14、00*01/2/2:(),()(0,max|()/2min|()1/2,)HvsHHnXP nTnXnTPWTTTTWx P Txx P Tx 若成立则，则给定显著性水平令=可得拒绝域即2min(),()pP TnxP Tnx检验 值4.2 参数型假设检验非正态总体lambda=5;x=rpois(10,lambda)#实际区间概率conf.levellsl.pois.test=function(x,lambda0,conf.level=0.95)n=length(x);locallambda=n*lambda0;lower=qpois(1-conf.level)/2,locallambda)
15、upper=qpois(1+conf.level)/2,locallambda)p.value=2*min(ppois(sum(x),locallambda),1-ppois(sum(x)-1,locallambda)list(interval=c(lower,upper),p.value=p.value)lsl.pois.test(x,lambda0=4.5)#是否有更精确的区间估计？是否有更精确的区间估计？方法篇：假设检验(第四章）4.3 非参数型假设检验(1)分布的拟合优度检验(2)正态性检验(3)列联表检验(4)一致性kappa检验(5)秩检验方法篇：假设检验(第四章）4.3 非参数型
16、假设检验(1)分布的拟合优度检验用来解决由样本推断的总体分布与理论分布是否一致的检验问题，通常需要刻画两分布之间的拟合程度(偏差程度)的统计量及其概率分布。比如常用的分布性检验、正态性检验等都属于拟合优度检验。具体的方法有：Pearson 卡方检验，Kolmogorov-Smirnov检验 小样本不适用 通常针对连续随机变量方法篇：假设检验(第四章）4.3 非参数型假设检验(1)分布的拟合优度检验Pearson卡方检验(Karl Pearson 1900年提出)主要思想和步骤：合理的区间划分区间频率近似理论分布的区间概率两者之间差距构造检验统计量服从卡方分布得出检验结论具体做法(样本量=50)
17、：(1)合理分区间m个(5-16)，确保每个区间的个数不低于5个；记个数为(2)计算各区间理论概率频率，(3)构造偏差统计量(4)该统计量值应较小，否则理论分布的假设无法接受。问题：如何模拟估算这个方法犯第一类错误的概率方法篇：假设检验(第四章）kn()kpP Xk区间221()(1)mkkkknnpXmnp近似一个模拟程序，仅供参考。一个模拟程序，仅供参考。N=1000#模拟次数n=100#样本容量 m=7#区间个数,区间分段点,理论分布为标准正态bk=c(-Inf,-2.0,-1.0,-0.5,0.5,1.0,2.0,Inf)pi=c(0,pnorm(bk2:8)pi=pi2:8-pi1:
18、7#理论分布下区间概率值pv=numeric(N)for(i in 1:N)x=rnorm(n);cx=cut(x,breaks=bk)ni=table(cx);x2=sum(ni-n*pi)2/(n*pi)pvi=1-pchisq(x2,m-1)#方法的检验p值plot(pv);abline(h=0.05);sum(pv(i-1)*10&x25000),length(x),0.5)输出结果中：p-value=0.424，故认为工资的中位数为25000元。方法篇：假设检验(第四章）4.3 非参数型假设检验(5)秩检验-同分布性检验如果总体X和Y同分布，则对于任何x，都有F(x)=G(x)。对于
19、来自总体X和Y的两个(等量)样本，应该会出现如下特征：1、(xiyi)或(xiyi)交替出现，即两种符号和相差不大；2、将两个样本合并，xi和yj将交替出现，即X样本的秩和与Y样本的秩和应当相差不大；3、以X(Y)样本的中位数计算Y(X)样本的符号统计量S+，两者应相差不大；方法篇：假设检验(第四章）4.3 非参数型假设检验(5)秩检验-符号秩检验统计量如果对称中心为mo,则样本中大于或小于mo的个数大致相当，即S+约为n/2.将样本取绝对值后得到秩Ri得分布应该页大致对称。一个反映符号特征，另一个反映位置特征，为充分利用样本信息，将二者联合起来构建统计量：该统计量称为 wilcoxon符号秩
20、统计量。方法篇：假设检验(第四章）1niiiWs R(1)(1)(21)(,)424n nn nnWN近似4.3 非参数型假设检验(5)秩检验-符号秩检验统计量在R中可以通过函数wilcox.test完成检验。x=c(-4,2,-3.5,-1,0.5,3,-1.5,5,10,-6)#对称中心是否为0wilcox.test(x,mu=0,exact=FALSE)V=28,p-value=1 方法篇：假设检验(第四章）探索问题：(1)假设检验与区间估计的关系 如何由区间估计推出假设检验的结论？(2)假设检验方法的比较分析 比如几种正态性检验方法，找出每种方法的优缺点？(3)若样本X,Y的密度估计分
21、别为 能否从模拟角度解决：方法篇：假设检验(第四章）(),()XYfxfy，0:()()max|()()|,?XYXiYiiHfxfxTftfttSSxyT在成立条件下样本样本 合并问题1：假设检验与区间估计的关系-如何由区间估计推出假设检验的结论？1、两者构造的”统计量”是相同的，不妨记为2、区间估计是满足置信度置信度的估值区间，由3、而假设检验的接受域接受域为小概率事件未发生的区域推论1：已知参数的置信区间，若待检验的参数值位于置信区间内，则假设检验的结论必为接受Ho，但无法推出确切的检验p值；推论2：已知假设检验的接受域，经由“统计量”函数可推出参数区间估计方法篇：假设检验(第四章）1-
22、/2/2()1P 1-/2/2()1P 问题2：假设检验方法的比较分析对于各种正态性检验方法，如何设计实验模拟出各方法的优缺点？pearson卡方，K-S检验，Shapiro检验,Jarque-Bera检验，Anderson-Darling检验，Ryan-Joiner 检验 参考：http:/ in 1:N)x=rnorm(M1);y=rnorm(M2);z=c(x,y);M=M1+M2;fx=density(x);fy=density(y);res=numeric(M)for(t in 1:M)ix=which.min(abs(zt-fx$x);iy=which.min(abs(zt-fy$
23、x);rest=abs(fx$yix-fy$yiy)Ti=max(res)par(mfrow=c(1,3)plot(T);plot(density(T);plot(density(10*T);mean(T);sd(T)方法篇：假设检验(第四章）第四章第四章 假设检验假设检验练习1:从http:/ 获取大乐透统计数据，检验前区或后区各数字的等可能性。练习2：比较各种正态性检验方法的优缺点练习3：完成p分位数的整个检验过程。方法篇：假设检验(第四章）第四章第四章 假设检验假设检验作业1：为检验上过或没上过幼儿园的孩子在学习上是否表现不同，选择12个三年级学生进行研究，假设4个上个幼儿园，而这四个学生的成绩排名分别为（2，5，6，9），请根据上述条件给出假设检验过程及结论。方法篇：假设检验(第四章）
