1、统计学统计学第第7 7章章 假设检验假设检验 正如一个法庭宣告某一判决为“无罪(not guilty)”而不为“清白(innocent)”，统计检验的结论也应为“不拒绝”而不为“接受”。 Jan KmentaJan Kmenta案例案例 辛普森杀妻案 辛普森案 （英语：O. J. Simpson murder caseO. J. Simpson murder case，又称加利福尼亚人民诉辛普森案，英语：People v.SimpsonPeople v.Simpson）是美国加利福尼亚州最高法院对前美式橄榄球明星、演员OO J J 辛普森进行的刑事诉讼，在该案中，辛普森被指控于19941994
2、年犯下两宗谋杀罪，受害人为其前妻妮克尔 布朗 辛普森及其好友罗纳德 高曼。该案被称为是美国历史上最受公众关注的刑事审判案件。 案发时间，1994年6月12日深夜 案发后凌晨，辛普森门外有血迹 现场滴落的血痕中有辛普森的血，辛普森家中血手套和辛普森的脏衣服都有被害人的血法庭战争检方的“铁证如山”与“梦幻律师团” 在检方看来，本案可谓是在检方看来，本案可谓是“铁证如山铁证如山”，本案中无论是证据数，本案中无论是证据数量，还是证据的可信程度，在检方看来，都达到了很高的标准。量，还是证据的可信程度，在检方看来，都达到了很高的标准。控辩双方几个关键的地方 控方：检方在审判的最初几周出示证据，证明辛普森曾
3、有对妮可尔的家庭暴力史。 辩方：时遭受丈夫家庭暴力中，遭受丈夫伤害的概率为1%1% 控方：鞋码与辛普森的相似，辛普森手上有划痕 辩方：世界上与辛普森鞋码一样的人数不胜数，在左手有伤痕的人也不尽其数，所以这样的证据对案件的判断是没有任何价值的。 控方：在犯罪现场发现的血液，DNADNA鉴定发现与辛普森是完全一致的，而DNADNA鉴定两个人一致的可能性只有万分之。 辩方：在洛杉矶300300万人口中，就有300300个人DANDAN一致，辛普森是洛杉矶人口的1 1人，所以，辛普森是杀人凶手的概率只有0.03%0.03%。如果认为新浦森有罪的话，那么误判的概率将高达99.97%.99.97%. 最终
4、无罪释放。 控方：平时遭受丈夫家庭暴力中，非正常死亡的，其凶手为丈夫的概率为80%80%。 控方：可能会有很多与辛普森鞋码一样的人，但也会有很多左手有划痕的人，但辛普森是一个嫌疑犯， 不能把他放在所有的人当中去进行归类，于是只能放在嫌疑犯中，在嫌疑犯中，跟辛普森鞋码吻合的人的概率非常之小法庭宣判过程 法官假定辛普森无罪控方搜集证据证明他有罪，只有当证据充足的时候才能宣判有罪，否则要接受法官的假定。辛浦森(Simpsons Paradox)悖论案例1: 是否存在种族歧视被告种族受害者种族死刑判决是否白人白人19132黑人09黑人白人1152黑人697 总的看总的看, 白人有白人有19/160=1
5、2% 的被告被判处死刑的被告被判处死刑, 与与之对应之对应, 黑人只有黑人只有17/166=10% 的被告被判死刑的被告被判死刑, 白人死白人死刑率要高一些刑率要高一些. 但如果考虑受害者的种族但如果考虑受害者的种族, 结论就相反结论就相反了了. 当受害者是白人时当受害者是白人时, 有有11/63=17.5% 的黑人被告被判的黑人被告被判死刑死刑, 而只有而只有 19/151=12.6% 的白人被告被判死刑的白人被告被判死刑. 当受当受害者是黑人时害者是黑人时, 白人被告没一个人白人被告没一个人( 0%)被判死刑被判死刑, 而黑而黑人被告确有人被告确有 6/103=5.8% 的被判死刑的被判死
6、刑. 控方：DNA鉴定 辩方：把辛普森至于300万人群当中，但新浦是是嫌疑犯，所以应把他放在嫌疑犯这个人群中，那么样本与他一致的也就他一个人综上，只有辛普森一个人符合三个条件第 7 7 章 假设检验7 7.1.1 假设检验的基本问题 7 7.2.2 一个总体参数的检验学习目标 1. 1.理解假设检验的基本思想和基本步骤 ； 2. 2.理解假设检验的两类错误及其关系； 3. 3.熟练掌握一个总体平均数、总体成数各种假设检验方法； 4. 4.利用P P - - 值进行假设检验。l用ExcelExcel进行检验假设检验知识结构总体参数检总体参数检验验均值均值比例比例方差方差均值差均值差比例差比例差方
7、差比方差比独立样本独立样本匹配样本匹配样本大样本大样本F F检验检验Z Z检验检验大样本大样本小样本小样本Z Z检验检验 1 12 2 2 22 2已知已知 1 12 2 2 22 2未知未知Z Z检验检验t t检验检验大样本大样本小样本小样本Z Z检验检验 2 2已知已知Z Z检验检验 2 2未知未知t t检验检验Z Z检验检验卡方检验卡方检验第 7 7 章 假设检验7.1.1 怎样提出假设？1.1.什么是假设？ 假设：定义为一个调研者或管理者对被调查总体的某些特征所做的一种假定或猜想。是对是对总体参数的一种假设。总体参数的一种假设。 常见的是对总体均值或比例和方差的检验； 在分析之前，被检
8、验的参数将被假定取一确定值。我认为到KFC消费的人平均花费2.5美元！2、市场调研中常见的假设检验问题市场调研中常见的假设检验问题 一项跟踪调查的结果表明，顾客对产品的了解程度比一项跟踪调查的结果表明，顾客对产品的了解程度比6个月个月前所做的类似调查中的显示要低。结果是否明显降低？是前所做的类似调查中的显示要低。结果是否明显降低？是否低到需要改变广告策略的程度？否低到需要改变广告策略的程度？ 一位产品经理认为其产品购买者的平均年龄为一位产品经理认为其产品购买者的平均年龄为35岁。为岁。为检验其假设，他进行了一项调查，调查表明购买者平均年检验其假设，他进行了一项调查，调查表明购买者平均年龄为龄为
9、38.5岁。调查结果与其观点的差别是够足以说明此经岁。调查结果与其观点的差别是够足以说明此经理里的观点是不正确的理里的观点是不正确的？3、问题在哪里？ 某广告商宣称其代理的A产品的合格率达到99%，质检人员为了验证，随机抽取了一件产品，发现是一件次品。质检人员会是什么反应呢？什么是假设检验? ? ( (hypothesis testhypothesis test) )1.1.先对总体的参数( (或分布形式) )提出某种假设，然后利用样本信息判断假设是否成立的统计方法2.2.有参数检验和非参数检验3.3.逻辑上运用反证法，统计上依据小概率原理小概率是在一次试验中，一个几乎不可能发生的事件发生的概
10、率在一次试验中小概率事件一旦发生，我们就有理由拒绝原假设原假设(null hypothesis)(null hypothesis)1.1.又称“0 0假设”，研究者想收集证据予以反对的假设，用H H0 0表示2.2.所表达的含义总是指参数没有变化或变量之间没有关系 3.3.最初被假设是成立的，之后根据样本数据确定是否有足够的证据拒绝它 4.4.总是有符号 , , 或 H H0 0 ： = = 某一数值H H0 0 ： 某一数值H H0 0 ： 某一数值l例如, , H H0 0 ： 10cm10cm1.1.也称“研究假设”, ,研究者想收集证据予以支持的假设，用H H1 1或H Ha a表示2
11、.2.所表达的含义是总体参数发生了变化或变量之间有某种关系3.3.备择假设通常用于表达研究者自己倾向于支持的看法，然后就是想办法收集证据拒绝原假设，以支持备择假设 4.4.总是有符号 , , 或 H H1 1 ： 某一数值H H1 1 ： 某一数值H H1 1 ： 某一数值备择假设备择假设(alternative hypothesis)【例】一种零件的生产标准是直径应为10cm10cm，为对生产过程进行控制，质量监测人员定期对一台加工机床检查，确定这台机床生产的零件是否符合标准要求。如果零件的平均直径大于或小于10cm10cm，则表明生产过程不正常，必须进行调整。试陈述用来检验生产过程是否正常
12、的原假设和被择假设提出假设提出假设(例题分析例题分析)解：研究者想收集证据予以证明的假设应该是解：研究者想收集证据予以证明的假设应该是“生产生产过程不正常过程不正常”。建立的原假设和备择假设为。建立的原假设和备择假设为 H0 ： 10cm H1 ： 10cm 【例】某品牌洗涤剂在它的产品说明书中声称：平均净含量不少于500500克。从消费者的利益出发，有关研究人员要通过抽检其中的一批产品来验证该产品制造商的说明是否属实。试陈述用于检验的原假设与备择假设提出假设提出假设(例题分析例题分析)解：研究者抽检的意图是倾向于证实这种洗涤剂的平均解：研究者抽检的意图是倾向于证实这种洗涤剂的平均净含量并不符
13、合说明书中的陈述净含量并不符合说明书中的陈述 。建立的原假设和备择。建立的原假设和备择假设为假设为 H0 ： 500 H1 ： 500【例】一家研究机构估计，某城市中家庭拥有汽车的比例超过30%30%。为验证这一估计是否正确，该研究机构随机抽取了一个样本进行检验。试陈述用于检验的原假设与备择假设提出假设提出假设(例题分析例题分析)解：研究者想收集证据予以支持的假设是解：研究者想收集证据予以支持的假设是“该该城市中家庭拥有汽车的比例超过城市中家庭拥有汽车的比例超过30%”。建立的。建立的原假设和备择假设为原假设和备择假设为 H0 ： 30% H1 ： 30%提出假设 总结H H0 0: : 通常
14、是将研究者不愿相信的、不认可的、想拒绝的结论H H0 0 ： = = 某一数值H H0 0 ： 某一数值H H0 0 ： 某一数值H H1 1: :与原假设是对立的，通常是研究者想要支持的、愿意相信的结果H H1 1 ： 某一数值H H1 1 ： 某一数值H H1 1 ： ”或或“”的假的假设检验，称为单侧检验或单尾检验设检验，称为单侧检验或单尾检验(one-tailed test)(one-tailed test)备择假设的方向为备择假设的方向为“”，称为，称为右侧检验右侧检验 双侧检验与单侧检验双侧检验与单侧检验双侧检验与单侧检验 ( (假设的形式) )假设假设双侧检验双侧检验单侧检验左侧
15、检验左侧检验右侧检验右侧检验原假设H H0 0 : : = = 0 0H H0 0 : : 0 0H H0 0 : : 0 0备择假设H H1 1 : : 0 0H H1 1 : : 0 0以总体均值的检验为例以总体均值的检验为例7.1.2 怎样做出决策？7.1 假设检验的基本原理假设检验的基本原理假设检验的步骤 1.提出原假设H0和备择假设H1 2.构造适当的检验统计量 3.给定显著性水平 0.01, 0.05, 0.100.01, 0.05, 0.10 4.计算检验统计量的值 5.做出判断假设检验的基本思想 因此我们拒绝假因此我们拒绝假设设 = 50 如果这是总体的如果这是总体的假设均值假
16、设均值样本均值 = 50抽样分布抽样分布这个值不像我们应这个值不像我们应该得到的样本均值该得到的样本均值 .两类错误与显著性水平（了解）1.1. 研究者总是希望能做出正确的决策，但由于决策是建立在样本信息的基础之上，而样本又是随机的，因而就有可能犯错误2.2. 原假设和备择假设不能同时成立，决策的结果要么拒绝H H0 0，要么不拒绝H H0 0。决策时总是希望当原假设正确时没有拒绝它，当原假设不正确时拒绝它，但实际上很难保证不犯错误 3.3. 第类错误( ( 错误) )原假设为正确时拒绝原假设第类错误的概率记为 ，被称为显著性水平 2.2.第类错误( ( 错误) )原假设为错误时未拒绝原假设第
17、类错误的概率记为 (Beta)(Beta)显著性水平 ( (significant levelsignificant level) )1.1.事先确定的用于拒绝原假设H H0 0时所必须的证据2.2.能够容忍的犯第类错误的最大概率( (上限值) )2.2.原假设为真时，拒绝原假设的概率 抽样分布的拒绝域3.3.表示为 (alpha)(alpha) 常用的 值有0.01, 0.05, 0.100.01, 0.05, 0.104.4.由研究者事先确定 错误和 错误的关系你不能同时减少两你不能同时减少两类错误类错误!依据什么做出决策？1. 1.若假设为若假设为H H0 0=500=500， H H1
18、 1500 I 临界值，拒绝H H0 0 /2 用统计量决策(左侧检验 )H H1 1 : : 0 0，统计量 - 0 0，统计量 临界值，拒绝H H0 0 统计量决策规则统计量决策规则1.1.给定显著性水平 ，查表得出相应的临界值z 或z /2 /2， t 或t /2 /22.2.将检验统计量的值与 水平的临界值进行比较3.3.作出决策双侧检验：H H1 1 : : 0 0，I I统计量I I 临界值，拒绝H H0 0， 3 3 1.961.96，拒绝，拒绝左侧检验：H H1 1 : : 0 0，统计量 - -临界值，拒绝H H0 0， -3-3 0, 0,统计量 临界值，拒绝H H0, 0
19、, 3 3 1.961.96，拒绝，拒绝当单侧检验时，只要统计量与z 或 t 大小比较方向与备择假设符合一致时，拒绝拒绝不过，总而言之，无论是哪一种检验形式，只要I I统计量I I 临界值，拒绝H H0 0用P P 值决策 软件操作中的sig.sig.即为P P值 (P-value)1.1. 如果原假设为真，所得到的样本结果会像实际观测结果那么极端或更极端的概率，也就是我们拒绝原假设面临的风险P P值告诉我们：如果原假设是正确的话，我们如果原假设是正确的话，我们得到得到目前这个样本数据的可能性有多大，得到得到目前这个样本数据的可能性有多大，如果这个可能性很小，就应该拒绝原假设如果这个可能性很小
20、，就应该拒绝原假设 2.2. 被称为观察到的( (或实测的) )显著性水平3.3. 决策规则：若p p值 |临界值，拒绝原假设，说明在统计上是显著的总体均值的检验( ( 2 2 已知) )( (例题分析大样本) )H0 ： = 255= 255H1 ： 255255 = = 0.050.05 n = = 4040 临界值( (c c): ):用用Excel中的中的【NORMSDIST】函数得到函数得到的双尾检验的双尾检验P=0.312945不拒绝不拒绝H0没有证据表明该天生产的饮料不符合没有证据表明该天生产的饮料不符合标准要求标准要求拒绝拒绝 H0拒绝拒绝 H0总体均值的检验(z (z检验)
21、) ( (P P 值的计算与应用) ) 第1 1步：进入ExcelExcel表格界面，直接点击【fx】 第2 2步：在函数分类中点击【统计】，并在函数名 菜单下选择【NORMSDISTNORMSDIST】，然后【确定】 第3 3步：将 z z 的绝对值1.011.01录入，得到的函数值为 0.8437523450.843752345 P P值=2(1-=2(1-0.8437523450.843752345)=)=0.3124950.312495 P P值远远大于 ，故不拒绝H H0 0总体均值的检验( 2 未知) (例题分析大样本) 【例】一种机床加工的零件尺寸绝对平均误差为1.35mm1.3
22、5mm。生产厂家现采用一种新的机床进行加工以期进一步降低误差。为检验新机床加工的零件平均误差与旧机床相比是否有显著降低，从某天生产的零件中随机抽取5050个进行检验。利用这些样本数据，检验新机床加工的零件尺寸的平均误差与旧机床相比是否有显著降低？ ( ( =0.01) =0.01) 样本均值为1.31521.31525050个零件尺寸的误差数据 (mm)1.261.261.191.191.311.310.970.971.811.811.131.130.960.961.061.061.001.000.940.940.980.981.101.101.121.121.031.031.161.161.
23、121.121.121.120.950.951.021.021.131.131.231.230.740.741.501.500.500.500.590.590.990.991.451.451.241.241.011.012.032.031.981.981.971.970.910.911.221.221.061.061.111.111.541.541.081.081.101.101.641.641.701.702.372.371.381.381.601.601.261.26总体均值的检验( (例题分析大样本) )H0 ： 1.351.35H1 ： 1.351.35 = 0.01 = 0.01 n
24、 = = 5050 临界值( (c c): ):检验统计量检验统计量: 新机床加工的零件尺寸的平均误差与旧机新机床加工的零件尺寸的平均误差与旧机床相比有显著降低床相比有显著降低总体均值的检验 ( (P P 值的计算与应用大样本) ) 第1 1步：进入ExcelExcel表格界面，直接点击【f( (x) )】 第2 2步：在函数分类中点击【统计】，并在函数名的菜单下选 择【ZTESTZTEST】，然后【确定】 第3 3步：在所出现的对话框【ArrayArray】框中，输入原始数据所 在区域 ；在【X】后输入参数的某一假定值( (这里为 1.351.35) )；在【SigmaSigma】后输入已知
25、的总体标准差( (若总 体标准差未知则可忽略不填，系统将自动使用样本 标准差代替) ) 第4 4步：用1 1减去得到的函数值0.9954210230.995421023 即为P P值 P P值= =1-0.995421023=1-0.995421023=0.0045790.004579 P P值 52005200 = 0.05 = 0.05 n = 36= 36 临界值( (c c): ):总体均值的检验(z检验) (P 值的图示)总体均值的检验 (小样本)1.假定条件总体服从正态分布小样本(n 30)2.检验统计量 2 已知： 2 未知： 例7-27-2某市历年来对7 7岁男孩的统计资料表明
26、，他们的身高服从均值为1.321.32米、标准差为0.120.12米的正态分布。现从各个学校随机抽取2525个7 7岁男学生，测得他们平均身高1.361.36米，若已知今年全市7 7岁男孩身高的标准差仍为0.120.12米，问与历年7 7岁男孩的身高相比是否有显著差异( (取 0.05)0.05)。解：从题意可知， 1.361.36米， 1. 321. 32米， 0.120.12米。 (1) (1)建立假设：H H0 0： 1.321.32， H H1 1： 1.32 1.32 (2) (2)确定统计量： 1.361.321.67/0.12 /25XZnX0(3)Z(3)Z的分布：Z ZN(0
27、,1)N(0,1)(4)(4)对给定的 0.050.05确定临界值。因为是双侧备择假设所以查表时要注意。因概率表是按双侧排列的，所以应查1-0.051-0.050.950.95的值，查得临界值 1.961.96。(5)(5)检验准则。|Z|1.96|Z|=0.05，故不拒绝H0 一个总体均值的检验( (作出判断) ) 是否已知是否已知样本量样本量n 是否已知是否已知 t 检验检验z 检验检验z 检验检验 z 检验检验7.2.1 7.2.1 总体比例的检验总体比例检验1.假定条件总体服从二项分布可用正态分布来近似(大样本)2.检验的 z 统计量总体比例的检验 (例题分析) 【例】一种以休闲和娱乐
28、为主题的杂志，声称其读者群中有80%80%为女性。为验证这一说法是否属实，某研究部门抽取了由200200人组成的一个随机样本，发现有146146个女性经常阅读该杂志。分别取显著性水平 =0.05=0.05和 =0.01=0.01 ，检验该杂志读者群中女性的比例是否为80%？它们的P值各是多少？总体比例的检验 (例题分析)H0 ： = 80%= 80%H1 ： 80%80% = 0.05= 0.05 n = 200= 200 临界值( (c c): ):总体比例的检验 (例题分析)H0 ： = 80%= 80%H1 ： 80%80% = 0.01 = 0.01 n = 200= 200 临界值(
29、c)(c): : 例7-77-7某企业的产品畅销国内市场。据以往调查，购买该产品的顾客有5050是3030岁以上的男子。该企业负责人关心这个比例是否发生了变化，而无论是增加还是减少。于是，该企业委托了一家咨询机构进行调查，这家咨询机构从众多的购买者中随机抽选了400400名进行调查，结果有210210名为3030岁以上的男子。该厂负责人希望在显著性水平0.050.05下检验“5050的顾客是3030岁以上的男子”这个假设。解：（1 1）建立假设由题意可知，这是双侧检验，故建立假设 H H0 0： 5050H1H1： 5050（2 2）计算统计量由于样本容量 4004003030， 400400
30、5050200200， 200200，皆大于5 5，所以可以使用正态分布进行检验。（3 3）Z ZN(0,1)N(0,1)（4 4）对应于0.050.05的显著性水平，双侧检验临界值为1.961.96。（5 5）若Z Z值不大于1.961.96，则接受原假设，否则，拒绝之。（6 6）本例中，Z=1Z=1，处于接受域，故接受“5050的顾客是3030岁以上的男子”这个假设。0.5250.51(1)0.5(10.5) / 400pZnnn(1)n7.4.1 7.4.1 总体方差的检验总体方差的检验 ( 2检验) 1.检验一个总体的方差或标准差2.假设总体近似服从正态分布3.使用 2分布4.检验统计
31、量总体方差的检验(例题分析) 【例】啤酒生产企业采用自动生产线灌装啤酒，每瓶的装填量为640640ml，但由于受某些不可控因素的影响，每瓶的装填量会有差异。此时，不仅每瓶的平均装填量很重要，装填量的方差同样很重要。如果方差很大，会出现装填量太多或太少的情况，这样要么生产企业不划算，要么消费者不满意。假定生产标准规定每瓶装填量的标准差不应超过4 4ml。企业质检部门抽取了1010瓶啤酒进行检验，得到的样本标准差为s s=3.8=3.8ml。试以0.050.05的显著性水平检验装填量的标准差是否符合要求？总体方差的检验(例题分析)H H0 0 ： 2 2 4 42 2H H1 1 ： 2 2 4
32、42 2 = 0.10 = 0.10df df = 10 - 1 = 9= 10 - 1 = 9 临界值( (s s): ):不拒绝H0 (p=0.52185)没有证据表明没有证据表明装填量的标准差不符合要装填量的标准差不符合要求求 2016.9190 =0.05决决结论结论:Excel中的统计函数nZTESTZTEST计算Z Z检验的P P值nTDISTTDIST计算t t分布的概率nTINVTINV计算t t分布的临界值nTTESTTTEST计算t t分布检验的P P值nFDISTFDIST计算F F分布的概率nFINVFINV计算F F分布的逆函数( (临界值) )nFTESTFTEST
33、计算F F检验( (两个总体方差比的检验) )单尾概率假设检验知识结构总体参数检总体参数检验验均值均值比例比例方差方差均值差均值差比例差比例差方差比方差比独立样本独立样本匹配样本匹配样本大样本大样本F F检验检验Z Z检验检验大样本大样本小样本小样本Z Z检验检验 1 12 2 2 22 2已知已知 1 12 2 2 22 2未知未知Z Z检验检验t t检验检验大样本大样本小样本小样本Z Z检验检验 2 2已知已知Z Z检验检验 2 2未知未知t t检验检验Z Z检验检验卡方检验卡方检验本章小结l 假设检验的基本原理 l 一个总体参数的检验l 用ExcelExcel进行检验l 利用P P 值进
34、行检验 1 1、假设检验是预先对总体参数的取值做出假定，然后用样本数据验证，做出是接受还是拒绝原来假设的结论的一种方法。 2 2、假设检验的基本概念有：小概率原理、原假设和备择假设、检验统计量、接受域和拒绝域、显著性水平、双侧检验与单侧检验、取伪错误与弃真错误等。 3 3、假设检验的一般步骤包括：建立原假设和备择假设；构造检验统计量；给出显著性水平，确定检验统计量的临界值和拒绝域；根据样本数据，计算检验统计量的数值；判断并做出决策。 4 4、总体均值的假设检验是应用最为广泛的假设检验之一，其检验的基本原理同样适用于其他类型的假设检验。由于已知条件不同，所构造的检验统计量也不同，因此必须搞清统计量的形式及其服从的分布。 5 5、P P 值检验是统计检验的另一种形式。它是通过直接计算检验统计量在样本数据下的概率来检验原假设是否成立。结结 束束
