独立性检验的基本思想及其初步应用课件-3.ppt

1、独立性检验的基本思想独立性检验的基本思想及其初步应用及其初步应用定量变量定量变量的取值一定是实数，它们的取值大小有特定的取值一定是实数，它们的取值大小有特定的含义，不同取值之间的运算也有特定的含义的含义，不同取值之间的运算也有特定的含义.如身高、体重、考试成绩、温度等等如身高、体重、考试成绩、温度等等.变量变量定量变量定量变量分类变量分类变量例如身高、体重、考试成绩等，张明的身高是例如身高、体重、考试成绩等，张明的身高是180cm180cm，李立的身高是李立的身高是175cm175cm，说明张明比李立高，说明张明比李立高180-175=5180-175=5（cmcm）.两个定量变量的相关关系分

2、析：回归分析（画散点图、两个定量变量的相关关系分析：回归分析（画散点图、相关系数相关系数r、相关指数、相关指数R2、残差分析）、残差分析）对于性别变量，其取值为男和女两种，这种变量的不对于性别变量，其取值为男和女两种，这种变量的不同同“值值”表示个体所属的不同类别，像这样的变量称表示个体所属的不同类别，像这样的变量称为为分类变量分类变量.在日常生活中，主要考虑在日常生活中，主要考虑分类变量之间是否有关系分类变量之间是否有关系：如是否吸烟、宗教信仰、是否患肺癌、国籍等等如是否吸烟、宗教信仰、是否患肺癌、国籍等等.例如，吸烟是否与患肺癌有关系？例如，吸烟是否与患肺癌有关系？性别是否对于喜欢数学课程

3、有影响？等等性别是否对于喜欢数学课程有影响？等等.分类变量也称为属性变量或定性变量，它们的取值一分类变量也称为属性变量或定性变量，它们的取值一定是离散的，而且不同的取值仅表示个体所属的类别，定是离散的，而且不同的取值仅表示个体所属的类别，如性别变量，只取男、女两个值，商品的等级变量只如性别变量，只取男、女两个值，商品的等级变量只取一级、二级、三级等等取一级、二级、三级等等.有时也可以把分类变量的不同取值用数字来表示，但有时也可以把分类变量的不同取值用数字来表示，但这时的数字除了分类以外没有其他的含义，这时的数字除了分类以外没有其他的含义，例如用例如用0 0表示表示“男男”，1 1表示表示“女女

4、”，性别变量就变成，性别变量就变成取值为取值为0 0和和1 1的随机变量，但是这些数字没有其他的含的随机变量，但是这些数字没有其他的含义义.此时比较性别变量的两个不同值之间的大小没有意义，此时比较性别变量的两个不同值之间的大小没有意义，性别变量的均值和方差也没有意义性别变量的均值和方差也没有意义.两个分类变量的相关关系的分析：通过图形直观判两个分类变量的相关关系的分析：通过图形直观判断两个分类变量是否相关；独立性检验断两个分类变量是否相关；独立性检验.不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟77757775424278177817吸烟吸烟20992099494921482148总计总计

5、98749874919199659965由列联表可以粗略估计出，在不吸烟者中，有由列联表可以粗略估计出，在不吸烟者中，有0.54%0.54%患患有肺癌；在吸烟者中，有有肺癌；在吸烟者中，有2.28%2.28%患有肺癌。因此，直观患有肺癌。因此，直观上可以得到结论：上可以得到结论：吸烟者和不吸烟者患肺癌的可能性吸烟者和不吸烟者患肺癌的可能性存在差异存在差异.与表格相比，三维柱形图和二维条形图能更直观地反与表格相比，三维柱形图和二维条形图能更直观地反映出相关数据的总体状况映出相关数据的总体状况.为调查吸烟是否对患肺癌有影响，某肿瘤研究所随机为调查吸烟是否对患肺癌有影响，某肿瘤研究所随机地调查了地调

6、查了9965人，得到如下结果（单位：人）：人，得到如下结果（单位：人）：吸烟与患肺癌吸烟与患肺癌列联表列联表（列出两个分类变量的频数表）：（列出两个分类变量的频数表）：不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟77757775424278177817吸烟吸烟20992099494921482148总计总计987498749191996599651 1、列联表、列联表2 2、三维柱形图、三维柱形图3 3、二维条形图、二维条形图不患肺癌患肺癌吸烟不吸烟不患肺癌患肺癌吸烟不吸烟080007000600050004000300020001000从三维柱形图能清晰看出各从三维柱形图能清晰看出各个频

7、数的相对大小个频数的相对大小.从二维条形图能看出，吸烟者中从二维条形图能看出，吸烟者中患肺癌的比例高于不患肺癌的比例患肺癌的比例高于不患肺癌的比例.不吸烟吸烟00.10.20.30.40.50.60.70.80.91不吸烟不吸烟吸烟吸烟患肺癌比例不患肺癌比例4 4、等高条形图、等高条形图等高条形图更清晰地表达了两种情况下患肺癌的比例等高条形图更清晰地表达了两种情况下患肺癌的比例.上面我们通过分析数据和图形，得到的直观印象是吸上面我们通过分析数据和图形，得到的直观印象是吸烟和患肺癌有关，那么事实是否真的如此呢？这需要烟和患肺癌有关，那么事实是否真的如此呢？这需要用统计观点来考察这个问题用统计观点

8、来考察这个问题.现在想要知道能够以多大的把握认为现在想要知道能够以多大的把握认为“吸烟与患肺癌吸烟与患肺癌有关有关”，为此先假设：，为此先假设：H H0 0：吸烟与患肺癌没有关系：吸烟与患肺癌没有关系不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟a ab ba+ba+b吸烟吸烟c cd dc+dc+d总计总计a+ca+cb+db+da+b+c+da+b+c+d把数字用字母代替，得到如下用字母表示的列联表：把数字用字母代替，得到如下用字母表示的列联表：2 22 2列列联表联表不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟a ab ba+ba+b吸烟吸烟c cd dc+dc+d总计总计a+ca

9、+cb+db+da+b+c+da+b+c+d吸烟与患肺癌的列联表：吸烟与患肺癌的列联表：如果如果“吸烟与患肺癌没有关系吸烟与患肺癌没有关系”，则在吸烟者中不患，则在吸烟者中不患肺癌的比例应该与不吸烟者中相应的比例应差不多，肺癌的比例应该与不吸烟者中相应的比例应差不多，即即|ad-bc|ad-bc|越小，说明吸烟与患肺癌之间关系越弱；越小，说明吸烟与患肺癌之间关系越弱；|ad-bc|ad-bc|越大，说明吸烟与患肺癌之间关系越强越大，说明吸烟与患肺癌之间关系越强.以以A表示不吸烟，表示不吸烟，B表示不患肺癌，则表示不患肺癌，则a表示事件表示事件AB发生的频数；发生的频数；a+b和和a+c恰好分别

10、为事件恰好分别为事件A和和B发生的发生的频数频数.0.adbc为了使不同样本容量的数据有统一的评判标准，基于为了使不同样本容量的数据有统一的评判标准，基于上述分析，我们构造一个随机变量上述分析，我们构造一个随机变量 若若H H0 0成立，即成立，即“吸烟与患肺癌没有关系吸烟与患肺癌没有关系”，则，则K K2 2应很小应很小.由列联表中数据，利用公式（由列联表中数据，利用公式（1 1）计算得）计算得K K2 2的观测值为：的观测值为：（1 1）其中其中n=a+b+c+d为样本容量为样本容量.2 22 2n n（a ad d-b bc c）K K=(a a+b b)(c c+d d)(a a+c

11、c)(b b+d d)242 209956.6327817 2148 9874 91k9965(7775 49）在在H0成立的情况下，统计学家估算出如下的概率：成立的情况下，统计学家估算出如下的概率：2(6.635)0.01P K 也就是说，在也就是说，在H H0 0成立的情况下，对随机变量成立的情况下，对随机变量K K2 2进行多次进行多次观测，观测值超过观测，观测值超过6.6356.635的频率约为的频率约为0.010.01，是一个小概，是一个小概率事件率事件.现在现在K K2 2的观测值的观测值 ，远远大于，远远大于6.6356.635，所以有理由断定所以有理由断定H H0 0不成立，即

12、认为不成立，即认为“吸烟与患肺癌有吸烟与患肺癌有关系关系”56.632k 但这种判断会犯错误，犯错误的概率不会超过但这种判断会犯错误，犯错误的概率不会超过0.01，即，即我们有我们有99的把握认为的把握认为“吸烟与患肺癌有关系吸烟与患肺癌有关系”.利用随机变量利用随机变量K K2 2来确定在多大程度上可以认为来确定在多大程度上可以认为“两个两个分类变量有关系分类变量有关系”的方法称为两个分类变量的独立性的方法称为两个分类变量的独立性检验检验.独立性检验：独立性检验：如果如果 ，就判断，就判断H0不成立；不成立；否则就判断否则就判断H0成立成立.6.635k (6.635)0.01P k 但这种

13、判断会犯错误，犯错误的概率不会超过但这种判断会犯错误，犯错误的概率不会超过0.01，即，即我们有我们有99的把握认为的把握认为“H0不成立不成立”.随机变量随机变量-卡方统计量卡方统计量22(),()()()()其中为样本容量。n adbcKab cdac bdnabcd独立性检验独立性检验0.500.400.250.150.100.050.0250.0100.0050.0010.4550.7081.3232.0722.7063.8415.0246.6357.87910.8280k0)k2P(K临界值表临界值表828.102K635.62K706.22K22.706K 0.1%0.1%把握认为

14、把握认为A A与与B B无关无关1%1%把握认为把握认为A A与与B B无关无关99.9%99.9%把握认把握认A A与与B B有关有关99%99%把握认为把握认为A A与与B B有关有关90%90%把握认为把握认为A A与与B B有关有关10%10%把握认为把握认为A A与与B B无关无关没有充分的依据显示没有充分的依据显示A A与与B B有关，但也不能显示有关，但也不能显示A A与与B B无关无关第一步：第一步：H H0 0：吸烟吸烟和和患病患病之间没有关系之间没有关系 第二步：列出第二步：列出2 22 2列联表列联表 6、独立性检验的步骤、独立性检验的步骤第三步：计算第三步：计算第四步：

15、查对临界值表，作出判断。第四步：查对临界值表，作出判断。)()()()(22dcbadbcabcadnKP(k kk0)0.500.400.250.150.100.050.025 0.010 0.005 0.001k00.455 0.708 1.323 2.072 2.706 3.841 5.024 6.635 7.879 10.828 吸烟与患肺癌列联表吸烟与患肺癌列联表不患肺癌不患肺癌患肺癌患肺癌总计总计不吸烟不吸烟a ab ba+ba+b吸烟吸烟c cd dc+dc+d总计总计a+ca+cb+db+da+b+c+da+b+c+d在某医院，因为患心脏病而住院的在某医院，因为患心脏病而住院的

16、665665名男性病人中，有名男性病人中，有214214人人秃顶；而另外秃顶；而另外772772名不是因为患心脏病而住院的男性病人中有名不是因为患心脏病而住院的男性病人中有175175人秃顶。分别利用图形和独立性检验方法判断秃顶与患心人秃顶。分别利用图形和独立性检验方法判断秃顶与患心脏病是否有关系？你所得的结论在什么范围内有效？脏病是否有关系？你所得的结论在什么范围内有效？解：根据题目所给数据得到如下列联表：解：根据题目所给数据得到如下列联表：患心脏病患心脏病 不患心脏病不患心脏病总计总计秃顶秃顶214214175175389389不秃顶不秃顶45145159759710481048总计总计6

17、6566577277214371437秃头秃头不秃头不秃头相应的三维柱形图如图所示，比较来说，相应的三维柱形图如图所示，比较来说，底面副对角线上两个柱体高度的乘积要底面副对角线上两个柱体高度的乘积要大一些，因此可以在某种程度上认为大一些，因此可以在某种程度上认为“秃顶与患心脏病有关秃顶与患心脏病有关”.根据列联表中的数据，得到：根据列联表中的数据，得到：所以有所以有99%99%的把握认为的把握认为“秃顶患心脏病有关秃顶患心脏病有关”.在某医院，因为患心脏病而住院的在某医院，因为患心脏病而住院的665665名男性病人中，名男性病人中，有有214214人秃顶；而另外人秃顶；而另外772772名不是

18、因为患心脏病而住院名不是因为患心脏病而住院的男性病人中有的男性病人中有175175人秃顶。分别利用图形和独立性人秃顶。分别利用图形和独立性检验方法判断秃顶与患心脏病是否有关系？你所得的检验方法判断秃顶与患心脏病是否有关系？你所得的结论在什么范围内有效？结论在什么范围内有效？解：根据题目所给数据得到如下列联表：解：根据题目所给数据得到如下列联表：患心脏病患心脏病 不患心脏病不患心脏病总计总计秃顶秃顶214214175175389389不秃顶不秃顶45145159759710481048总计总计66566577277214371437221437(214 597 175 451)16.3736.6

19、35.389 1048 665 772K为考察高中生的性别与是否喜欢数学课程之间的关系，在某城为考察高中生的性别与是否喜欢数学课程之间的关系，在某城市的某校高中生中随机抽取市的某校高中生中随机抽取300300名学生，得到如下联表：名学生，得到如下联表：联表联表 性别与喜欢数学课程列联表性别与喜欢数学课程列联表喜欢数学课程喜欢数学课程 不喜欢数学课程不喜欢数学课程总计总计男男37378585122122女女3535143143178178总计总计7272228228300300解：在假设解：在假设“性别与是否喜欢数学课程之间有关系性别与是否喜欢数学课程之间有关系”的前提下的前提下K K2 2应该

20、很小，并且应该很小，并且2(3.841)0.05P K 由表中数据计算由表中数据计算K K2 2的观测值的观测值k 4.513.k 4.513.在多大程度上可以认为在多大程度上可以认为高中生的性别与是否喜欢数学课程之间有关系？为什么？高中生的性别与是否喜欢数学课程之间有关系？为什么？而我们所得到的而我们所得到的K K2 2的观测值的观测值k 4.513k 4.513超过超过3.8413.841，这就意味着，这就意味着“性别与是否喜欢数学课程之间有关系性别与是否喜欢数学课程之间有关系”这一结论错误的可能这一结论错误的可能性约为性约为0.050.05，即有，即有95%95%的把握认为的把握认为“性

21、别与是否喜欢数学课程性别与是否喜欢数学课程之间有关系之间有关系”.独立性检验基本的思想类似独立性检验基本的思想类似反证法反证法(1)1)假设结论不成立假设结论不成立,即即“两个分类变量没有关系两个分类变量没有关系”.(2)(2)在此假设下随机变量在此假设下随机变量 K K2 2 应该很能小应该很能小,如果由观测数据如果由观测数据计算得到计算得到K K2 2的观测值的观测值k k很大很大,则在一定程度上说明假设则在一定程度上说明假设不合理不合理.(3)(3)根据随机变量根据随机变量K K2 2的含义的含义,可以通过可以通过评价该假设不合理的程度评价该假设不合理的程度,由实际计算出的由实际计算出的

22、,说明假设合理的程度为说明假设合理的程度为99.9%,99.9%,即即“两个分类变量有关两个分类变量有关系系”这一结论成立的可信度为约为这一结论成立的可信度为约为99.9%.99.9%.独立性检验的基本思想：独立性检验的基本思想：类似于数学上的反证法，对类似于数学上的反证法，对“两个分类变量有关系两个分类变量有关系”这一结论成立的可信程度的判断：这一结论成立的可信程度的判断：（1 1）假设该结论不成立，即假设结论）假设该结论不成立，即假设结论“两个分类变量两个分类变量没有关系没有关系”成立成立.（2 2）在假设条件下，计算构造的随机变量）在假设条件下，计算构造的随机变量K K2 2，如果有，如果有观测数据计算得到的观测数据计算得到的K K2 2很大，则在一定程度上说明假很大，则在一定程度上说明假设不合理设不合理.（3 3）根据随机变量）根据随机变量K K2 2的含义，可以通过（的含义，可以通过（2 2）式评价假）式评价假设不合理的程度，由实际计算出的设不合理的程度，由实际计算出的k6.635k6.635，说明假设，说明假设不合理的程度约为不合理的程度约为99%99%，即，即“两个分类有关系两个分类有关系”这一结这一结论成立的可信程度约为论成立的可信程度约为99%.99%.