1、第五章 假设检验?假设检验的基本原理?假设检验的步骤?一个总体参数的检验?利用p p 值进行假设检验2022-11-231随机原则总体参数统计量推断估计参数估计检验假设检验抽样分布2022-11-232假设检验在统计方法中的地位:统计方法描述统计法推断统计法参数估计假设检验2022-11-233正常人的平均体温是3737o oC C吗?当问起健康的成年人体温是多少时,多数人的回答是37oC!这似乎已经成了一种共识以下是一位研究人员测量的50个健康成年人的体温数据。37.136.936.937.136.436.936.636.236.736.937.636.737.336.936.436.137
2、.136.636.536.737.136.236.337.536.937.036.736.937.037.136.637.236.436.637.336.137.137.036.636.936.737.236.337.136.736.837.037.036.137.02008年8月4 根据样本数据,计算的平均值平均值为36.8oC,标准差标准差为0.36oC 根据参数估计参数估计方法,健康成年人平均体温的95%的置信区间为(36.7,36.9)研究人员发现这个区间内并没有包括37oC!因此,提出了“不应该再把不应该再把3737o oC C作为正常人体温的一个作为正常人体温的一个有任何特定意义的
3、概念有任何特定意义的概念”我们应该放弃“正常人的平均体温是37oC”这个共识吗?2008年8月51 先对总体参数(或分布形式)提出某种假设,再利用样本信息判断假设是否成立2参数检验总体的分布形式已知;非参数检验3逻辑上运用反证法,统计上依据小概率原理!小概率是在一次试验中,一个几乎不可能发生的事件发生的概率;在一次试验中小概率事件一旦发生,我们就有理由拒绝原假设拒绝原假设 一、假设检验的基本原理1.假设检验(hypothesis test)2022-11-2362.假设检验的基本思想 因此,我们拒绝假设 =50!如果这是总体的真实均值样本均值mm =50 =50抽样分布抽样分布H H0 0 这
4、个值不像我们应该得到的样本均值.202022-11-237总体总体3.假设检验的过程(提出假设(提出假设抽取样本抽取样本作出决策)作出决策)抽取随机样本X我认为人口的平均年龄是50岁提出假设 拒绝假设!作出决策2022-11-238二、假设检验的步骤1.提出原假设和备择假设2.确定适当的检验统计量3.规定显著性水平4.计算检验统计量的值5.作出统计决策2022-11-2391.提出假设1原假设(null hypothesis)研究者收集证据,指的是待检验的假设,用H H0 0表示 统计学涵义是指参数没有变化或变量之间没有关系参数没有变化或变量之间没有关系 起初被假设是成立的,后面根据样本数据确
5、定是否有足够的证据拒绝它 总是有符号 ,H0:=某一数值H0:某一数值H0:某一数值2022-11-2310 也称“研究假设”,研究者想收集证据予以支持的假研究者想收集证据予以支持的假设设,通常用 H H1 1 表示 统计学涵义是指总体参数发生了变化或变量之间有某总体参数发生了变化或变量之间有某种关系种关系 备择假设用于表达研究者自己倾向于支持的看法,然后收集证据拒绝原假设,以支持备择假设 总是有符号,H1:某一数值H1:某一数值H1:某一数值2备择假设(alternative hypothesis)2022-11-2311【例1】一种零件的生产标准直径为直径为10cm10cm,为对生产过程进
6、行控制,质量监测人员定期对一台加工机床检查,来确定这台机床生产的零件是否符合标准要求。若零件的平均直径大于或小于10cm,则表明生产过程不正常生产过程不正常,必须进行调整。试陈述用来检验生产过程是否正常的原假设和备择假设。解:解:研究者想收集证据予以证明的假设应该是“生产过程不正常”。建立的原假设和备择假设为:H H0 0:10cm 10cm H H1 1:10cm 10cm 2022-11-2312【例2】某品牌洗涤剂在它的产品说明书中声称:平均净含平均净含量不少于量不少于500500克克,从消费者的利益出发,有关研究人员要通过抽检其中的一批产品来验证该产品制造商的说明验证该产品制造商的说明
7、是否属实。是否属实。试陈述用于检验的原假设与备择假设。解:解:研究者抽检的意图是倾向于证实这种洗涤剂的平均净含量并不符合说明书中的陈述。建立的原假设和备择假设为:H H0 0:500 500 H H1 1:500 5002022-11-2313【例3】一家研究机构估计,某城市中家庭拥有汽车的比例超家庭拥有汽车的比例超过过30%30%。为验证这一估计是否正确,该研究机构随机抽取了一个样本进行检验。试陈述用于检验的原假设与备择假设。解:解:研究者想收集证据予以支持的假设是“该城市中家庭拥有汽车的比例超过30%”。建立的原假设和备择假设为:H H0 0:30%30%H H1 1:30%30%2022
8、-11-23141原假设和备择假设是一个完备事件组,而且相互对立 2先确定备择假设,再确定原假设 3等号“”总是放在原假设上 提出假设(小结):提出假设(小结):2022-11-23151用于假设检验假设检验问题的统计量2选择统计量的方法与参数估计相同,需考虑:是大样本 or 小样本 总体方差已知 or 未知2.确定适当的检验统计量2022-11-23161是一个概率值概率值2原假设为真时,拒绝原假设的概率 3表示为 常用的 值有0.01,0.05,0.103.规定显著性水平(significant level)2022-11-23171根据样本观测结果,计算出对原假设和备择假设做出决策的某个
9、样本统计量2对样本估计量的标准化结果 原假设H0为真 点估计量的抽样分布 3检验统计量的基本形式为(以正态分布为例):4.检验统计量(test statistic)的计算点估计量的抽样标准差假设值点估计量标准化检验统计量nxz02022-11-23185.作出统计决策1根据给定的显著性水平,查表得出相应的临界值Z或Z/2,t 或 t/22将检验统计量的值与 水平的临界值进行比较3得出接受或拒绝原假设的结论2022-11-23191备择假设没有特定的方向性没有特定的方向性,并含有符号“”的假设检验,称为双侧检验或双尾检验(two-tailed test)2备择假设具有特定的方向性具有特定的方向性
10、,并含有符号“”或或“”的假设检验,称为单侧检验或单尾检验(one-tailed test)备择假设的方向为“”,称为右侧检验右侧检验 (1)双侧检验与单侧检验2022-11-2320假设双侧检验双侧检验单侧检验单侧检验左侧检验左侧检验右侧检验右侧检验原假设原假设H0:=0 0H0:0 0H0:0 0备择假设备择假设H1:0 0H1:0 0以总体均值的检验为例:假设检验的3种形式:2022-11-2321【例1】一种零件的生产标准直径为直径为10cm10cm,为对生产过程进行控制,质量监测人员定期对一台加工机床检查,来确定这台机床生产的零件是否符合标准要求。若零件的平均直径大于或小于10cm,
11、则表明生产过程不正常生产过程不正常,必须进行调整。试陈述用来检验生产过程是否正常的原假设和备择假设。解:解:研究者想收集证据予以证明的假设应该是“生产过程不正常”。建立的原假设和备择假设为:H H0 0:10cm 10cm H H1 1:10cm 10cm 2022-11-2322抽样分布H0临界值临界值临界值临界值a a/2 a a/2 拒绝H0拒绝H01-a a置信水平Region of RejectionRegion ofNon rejectionRegion of Rejection双侧检验:观察到的样本统计量观察到的样本统计量2022-11-2323抽样分布H0临界值临界值临界值临界
12、值a a/2 a a/2 拒绝H0拒绝H01-a a置信水平Region of RejectionRegion ofNon rejectionRegion of Rejection双侧检验:观察到的样本统计量观察到的样本统计量2022-11-2324抽样分布H0临界值临界值临界值临界值a a/2 a a/2 拒绝H0拒绝H01-a a置信水平Region of RejectionRegion ofNon rejectionRegion of Rejection双侧检验:观察到的样本统计量观察到的样本统计量2022-11-2325【例2】某品牌洗涤剂在它的产品说明书中声称:平均净含平均净含量不少
13、于量不少于500500克克,从消费者的利益出发,有关研究人员要通过抽检其中的一批产品来验证该产品制造商的说明验证该产品制造商的说明是否属实。是否属实。试陈述用于检验的原假设与备择假设。解:解:研究者抽检的意图是倾向于证实这种洗涤剂的平均净含量并不符合说明书中的陈述。建立的原假设和备择假设为:H H0 0:500 500 H H1 1:500 临界值,拒绝H0 左侧检验:统计量 临界值,拒绝H0统计量决策规则:2022-11-2332 第一类错误(弃真错误)原假设为真时,拒绝原假设 会产生一系列后果 第一类错误的概率为,被称为显著性水平 第二类错误(取伪错误)原假设为假时,接受原假设 第二类错误
14、的概率为(2)假设检验中的两类错误假设检验的结果不一定正确!2022-11-2333 0 0 x x原假设抽样分布 0 0 原假设抽样分布x x拒绝域 弃真错误:原假设为真,却落在拒绝域内被拒绝。扩大拒绝域(扩大拒绝域(变大),第一类变大),第一类错误可能性变大;反之,为防止错误可能性变大;反之,为防止弃真错误,就要缩小弃真错误,就要缩小。拒绝域第一类错误(弃真错误)接受域(原假设为真)2022-11-2334原假设:1-0 0接受域接受域拒绝域拒绝域备择假设:1-1 1拒绝域拒绝域接受域接受域2022-11-2335 研究者总是希望能做出正确的决策,但由于决策是建立在样本信息样本信息的基础之
15、上,而样本又是随机的,因而就有可能犯错误有可能犯错误;原假设和备择假设不能同时成立,决策的结果要么拒绝H0,要么不拒绝H0。决策时总是希望当原假设正确时,没有拒绝它;当原假设不正确时拒绝它,但实际上很难保证不犯错误 a a2022-11-2336么么么么方面 Sds绝对是假的H H0 0 :无罪:无罪假设检验中的两类错误(决策结果)陪审团审判裁决实际情况无罪有罪无罪正确错误有罪错误正确H0 检验决策实际情况H0为真为真H0为假为假接受H0正确决策正确决策1 a a第二类错误()拒绝H0第一类错误(a)a)正确决策正确决策(1-(1-)假设检验就好像一场审判过程统计检验过程是针对原假设是针对原假
16、设H H0 0 说的!说的!冤枉好人冤枉好人放过坏人放过坏人2022-11-2338 对于一个给定的样本,如果犯第一类错误的代价比犯第二类错误的代价相对较高,则将犯第类错误的概率定得低些较为合理;反之,则将犯第类错误的概率定得高些;一般来说,发生哪一类错误的后果更为严重,就应该首要控制哪类错误发生的概率。由于犯第一类错误的概率是可以由研究者控制的,因此在假设检验中,人们往往先控制第一类错误的发生概率两类错误的控制:2022-11-2339 错误和 错误的关系:a a 你不能同时减少两类错误!a a和和 的关系就的关系就像翘翘板,像翘翘板,a a小小 就就大,大,a a大大 就小就小2022-1
17、1-2340两类错误与显著性水平:第一类错误:弃真(显著水平)a00为真拒绝HHP第二类错误:取伪00不真接受HHP显著显著水平水平与两类两类错误错误生活中如何避免弃真错误控制得小一些!2022-11-2341 传统上,做出决策所依据的是样本统计量,现代检验中人们直接使用由统计量算出的犯第一类错误的概率,即所谓的P P值。2022-11-2342注:假设检验不能证明原假设正确。假设检验只提供不利于原假设的证据。当拒绝原假设时,表明样本提供的证据证明它是错误的;当没有拒绝原假设时,我们也不说“接受原假设”,因为没法证明原假设是正确的 这与法庭上对被告的定罪类似:先假定被告是无罪的,直到你有足够的
18、证据证明他是有罪的,否则法庭就不能认定被告有罪。当证据不足时,法庭的裁决是“被告无罪”,这里也没有证明被告就是清白的 如果你主观上要想拒绝原假设,那就一定能拒绝它 这类似于我们通常所说的“欲加之罪,何患无词欲加之罪,何患无词”只要你无限制扩大样本容量,几乎总能拒绝原假设2022-11-23431用于假设检验假设检验问题的统计量2选择统计量的方法与参数估计相同,需考虑:是大样本 or 小样本 总体方差已知 or 未知回顾上节课以下内容2.确定适当的检验统计量2022-11-23441是一个概率值概率值2原假设为真时,拒绝原假设的概率 3表示为 常用的 值有0.01,0.05,0.103.规定显著
19、性水平(significant level)2022-11-23451根据样本观测结果,计算出对原假设和备择假设做出决策的某个样本统计量2对样本估计量的标准化结果 原假设H0为真 点估计量的抽样分布 3检验统计量的基本形式为(以正态分布为例):4.检验统计量(test statistic)的计算点估计量的抽样标准差假设值点估计量标准化检验统计量nxz02022-11-23465.作出统计决策1根据给定的显著性水平,查表得出相应的临界值Z或Z/2,t 或 t/22将检验统计量的值与 水平的临界值进行比较3得出拒绝或不拒绝原假设的结论2022-11-23471.总体均值的检验(大样本)1假定条件:
20、总体服从正态分布正态分布;总体为非正态分布非正态分布或总体分布总体分布未知未知,可近似为正态分布(n 30)2使用z 检验统计量 2 已知:2 未知:)1,0(0Nnxz)1,0(0Nnsxz三、总体均值的检验 2022-11-2348【例1】一种罐装饮料采用自动生产线生产,每罐的容量是255ml255ml,标准差为5ml5ml。为检验每罐容量是否符合要求,质检人员在某天生产的饮料中随机抽取了4040罐进行检验,测得每罐平均容量为255.8ml255.8ml。取显著性水平a a=0.05=0.05,检验该天生产的饮料容量是否符合标准要求?双侧检验双侧检验2008年8月49H0 :=255=25
21、5H1 :255255检验统计量:统计决策:没有证据表明该天生产的饮料不符合标准要求 01.14052558.2550nxzz01.96-1.960.025拒绝拒绝 H0拒绝拒绝 H00.025观察到的样本统计量观察到的样本统计量 =0.05=0.05n n =40=402008年8月50 【例2】某 一 小 麦 品 种 的 平 均 产 量 为52005200kg/hm2。一家研究机构对小麦品种进行了改良以期提高产量。为检验改良后的新品种产量是否有显著提高,随机抽取了3636个地块进行试种,得到的样本平均产量为52755275kg/hm2,标准差为120120/hm2。试检验改良后的新品种产量
22、是否有显著提高?(a a=0.05=0.05)右侧检验右侧检验2.总体均值的检验(2 未知、大样本)2008年8月51H0 :52005200H1 :52005200检验统计量:拒绝H0,改良后的新品种产量有显著提高 统计决策:75.33612052005275z=0.05=0.05n n=36=36拒绝拒绝 H H0 01.6451.645z z0.050.050 0观察到的样本统计量观察到的样本统计量2008年8月52【例例3 3】一种机床加工的零件尺寸绝对平均误差为1.35mm1.35mm。生产厂家现采用一种新的机床进行加工以期进一步降低误差。为检验新机床加工的零件平均误差与旧机床相比是
23、否有显著降低,从某天生产的零件中随机抽取5050个进行检验。利用这些样本数据,检验新机床加工的零件尺寸的平均误差与旧机床相比是否有显著降低?(a a=0.01)=0.01)左侧检验左侧检验50个零件尺寸的误差数据(mm)1.261.191.310.971.811.130.961.061.000.940.981.101.121.031.161.121.120.951.021.131.230.741.500.500.590.991.451.241.012.031.981.970.911.221.061.111.541.081.101.641.702.371.381.601.261.171.121.
24、230.820.862008年8月53H0 :1.351.35H1 :1.351.35检验统计量:拒绝H0,新机床加工的零件尺寸的平均误差与旧机床相比有显著降低统计决策:6061.250365749.035.13152.1z-2.33z拒绝H00.01=0.01=0.01n n=50=50观察到的样本统计量观察到的样本统计量2008年8月541假定条件:总体服从正态分布;小样本(n 30)2检验统计量:2 已知:2 未知:)1,0(0Nnxz)1(0ntnsxt3.总体均值的检验(小样本)2022-11-2355 【例例4 4】一种汽车配件的平均长度要求为12cm12cm,高于或低于该标准均被
25、认为是不合格的。汽车生产企业在购进配件时,通常是经过招标,然后对中标的配件提供商提供的样品进行检验,以决定是否购进。现对一个配件提供商提供的1010个样本进行了检验。假定该供货商生产的配件长度服从正态分布正态分布,在0.050.05的显著性水平下,检验该供货商提供的配件是否符合要求?10个零件尺寸的长度个零件尺寸的长度(cm)12.210.812.011.811.912.411.312.212.012.32008年8月56检验统计量:不拒绝H0,没有证据表明该供货商提供的零件不符合要求 统计决策:70533.01049317565.01289.11tt02.262-2.2620.025拒绝 H
26、0拒绝 H0H0 :=12=12H1 :1212=0.05=0.05n n=10=100.025观察到的样本统计量观察到的样本统计量2008年8月57 是否已知是否已知小样本量n大 是否已知是否已知否 t 检验nsxt0否z 检验nsxz0是z 检验 nxz0是z 检验nxz0一个总体均值的检验(小结)2022-11-2358四、利用 p 值进行假设检验 有了P 值,我们并不需要用1%、5%、10%这类传统的显著性水平。P 值提供了更多的信息,它让我们可以选择任意水平来评估结果是否具有统计上的显著性,从而可根据我们的需要来决定是否要拒绝原假设用p值作决策用统计量作决策2022-11-2359
27、统计量检验是我们事先给出的一个显著性水平,以此为标准进行决策,无法知道实际的显著性水平究竟是多少。比如,根据统计量进行检验时,只要统计量的值落在拒绝域,我们拒绝原假设得出的结论都是一样的,即结果显著;然而,统计量落在临界值附近与落在远离临界值的地方,实际的显著性有较大差异,而P 值给出的是实际算出的显著水平,它告诉我们实际的显著性水平是多少。P 值决策与统计量的比较:2022-11-2360拒绝拒绝H H0 0拒绝H0的两个统计量的不同显著性Z Z拒绝拒绝H H0 00 P2 值拒绝拒绝H H0 0P 值决策与统计量的比较:2022-11-2361拒绝原假设时,称样本结果是统计上显著的;统计上
28、显著的;不拒绝原假设时,称样本结果是统计上不显著的统计上不显著的 “显著”和“不显著”之间没有清楚的界限,统计决策时,P 值越小,我们就有越强的证据拒绝H0,检验的结果也就越显著 得到的样本概率(P)很小,则拒绝原假设 P 值越小,你拒绝原假设的理由就越充分2022-11-2362 要检验全校学生的平均生活费支出是否等于500元 提出假设:提出假设:H H0 0:=500=500 H H0 0:500 500 若抽出的样本均值为600元,得到的得到的P P 值值=0.02=0.02(这个0.02是指如果平均生活费支出真的是500元,那么,从该总体中抽出一个均值为600的样本的概率仅为0.02)
29、如果你认为这个概率太小了,就可以拒绝原假设如果你认为这个概率太小了,就可以拒绝原假设,因为如果原假设正确的话,几乎不可能抓到这样的一个样本,既然抓到了,就表明这样的样本不在少数,所以原假设是不对的。在这么小的概率下竟然得到了这样的一个样本,表明这样的样本经常出现,所以,样本结果是显著的!2022-11-2363【例例1 1】某儿童食品厂生产盒装儿童食品,每盒标准重量为368368克。现从某天生产的一批食品中随机抽取2525盒进行检查,测得每盒的平均重量为 x=x=372.5372.5克。企业规定每盒重量的标准差 为1515克,确定P 值。(a=0.05)368 克克某儿童食品厂(1)P 值计算
30、实例双侧检验 2008年8月64 样本统计量的样本统计量的Z Z 值值(观察到的)(观察到的)计算的检验统计量为:5.125153685.3720nxZ01.5-1.5Zp值为:P(Z -1.5 或 Z 1.5)2022-11-2365 样本统计量的样本统计量的Z Z 值值(观察到的)(观察到的)01.5-1.51/2 p值值1/2 p值值2022-11-2366 从从Z Z 分布表分布表查找查找1.51.5 样本统计量的样本统计量的Z Z 值值(观察到的)(观察到的)0.066801.5-1.51/2 p值值1/2 p值值2022-11-236701.5-1.51/2 p值=0.06681/
31、2 p值=0.06681/2 a=0.0251/2 a=0.025拒绝拒绝拒绝拒绝检验统计量未在拒绝区域p p=0.0668 =0.0668 /2=0.025=0.025,不能拒绝不能拒绝H H0 02022-11-2368【例例2 2】某儿童食品厂生产盒装儿童食品,每盒标准重量不低于不低于368368克。现从某天生产的一批食品中随机抽取2525盒进行检查,测得每盒的平均重量为 x=372.5x=372.5克。企业规定每盒重量的标 准 差 为 1 51 5 克,确定P 值。(a=0.05)368 克克某儿童食品厂(2)P 值计算实例单侧检验 2008年8月69 样本统计量的样本统计量的Z Z
32、值值(观察到的)(观察到的)计算的检验统计量为:5.125153685.3720nxZ01.5Zp值为:P(Z 1.5)2022-11-237001.5p值=0.0668a=0.05拒绝拒绝检验统计量未在拒绝区域p p=0.0668 =0.0668 =0.05=0.05,不能拒绝不能拒绝H H0 02022-11-2371P P 值告诉我们:值告诉我们:如果原假设是正确的,我们得到目前这个样样本数据的可能性有多大本数据的可能性有多大,如果这个可能性很小,就应该拒绝原假设 P 值被称为观察到的(或实测的)显著性水平 决策规则:若p 值 ,拒绝 H0 若p 值 /2,拒绝 H0 用P 值决策(小结):2022-11-2372