1、非参数检验非参数检验 Nonparametric Statistics公共卫生学院公共卫生学院沈敏沈敏主要内容主要内容p基本概念基本概念p非参数检验适用的范围非参数检验适用的范围p非参数检验的优缺点非参数检验的优缺点p几种常用的非参数检验方法几种常用的非参数检验方法p小结小结基本概念基本概念p参数检验:参数检验:(parametric test):假定随机样本来自可用):假定随机样本来自可用有限个实参数刻画的总体有限个实参数刻画的总体(如正态分布如正态分布),并对总体参数并对总体参数(如如总体均数或率)进行的检验。总体均数或率)进行的检验。p在数据分析过程中,由于种种原因,人们往往无法对总在数
2、据分析过程中,由于种种原因,人们往往无法对总体分布形态作简单假定,此时参数检验的方法就不再适体分布形态作简单假定,此时参数检验的方法就不再适用了。非参数检验正是一类基于这种考虑,在总体方差用了。非参数检验正是一类基于这种考虑,在总体方差未知或知道甚少的情况下,利用样本数据对总体分布形未知或知道甚少的情况下,利用样本数据对总体分布形态等进行推断的方法。由于非参数检验方法在推断过程态等进行推断的方法。由于非参数检验方法在推断过程中不涉及有关总体分布的参数,因而得名为中不涉及有关总体分布的参数,因而得名为“非参数非参数”检验检验(Nonparametric tests) 。非参数检验非参数检验(no
3、nparametric test)p不符合参数检验的适用条件,样本所代表总体的分布类不符合参数检验的适用条件,样本所代表总体的分布类型未知,对总体的分布或分布位置进行检验型未知,对总体的分布或分布位置进行检验,而不是针对而不是针对总体参数进行统计推断的方法,称为非参数检验,又称总体参数进行统计推断的方法,称为非参数检验,又称为任意分布检验(为任意分布检验(distribution-free test)。)。不考虑总体分布型,也不针对总体的参数进行检验不考虑总体分布型,也不针对总体的参数进行检验。 Nonparametric methods generally specify the hypot
4、hesis in terms of the population distribution rather than parameters such as the means and the standard deviations.pParametric assumptions are replaced by more general assumptions about the population distribution, and the ranks of the observations are often used in place of the actual measurement.A
5、ssumption and HypothesespThe purpose is to test the null hypothesis that a particular population has a hypothesized median M0pAssumption: nThe continuous random variable X is symmetric about a median X.nX1,X2,Xn denotes a random sample of size n from the distribution of X.nM0 denotes an hypothesized
6、 median for X. pHypotheses: H0:M=M0 versus H1: 非参检验的适用范围非参检验的适用范围 非参数检验非参数检验(Nonparametric tests)是统计分析方是统计分析方法的重要组成部分,它与参数检验共同构成统计推断法的重要组成部分,它与参数检验共同构成统计推断的基本内容。的基本内容。p总体分布为非正态(偏态)或分布类型不明的计量资总体分布为非正态(偏态)或分布类型不明的计量资料料p等级(有序)资料等级(有序)资料p数据两端无确定数值数据两端无确定数值p相互比较的各组变异程度相差悬殊相互比较的各组变异程度相差悬殊, ,即各总体方差不齐即各总体方差
7、不齐的计量资料的计量资料 非参数检验的主要优缺点非参数检验的主要优缺点优点优点:a. 是在于它不受总体分布的限制,适用范围广;是在于它不受总体分布的限制,适用范围广;b. 资料可用资料可用“等级等级”或或“符号符号”来评定,收集资料方便。来评定,收集资料方便。c.简简便易学便易学缺点缺点:对于适合用参数检验的资料,如用非参数检验会造对于适合用参数检验的资料,如用非参数检验会造成信息的丢失,导致检验效率下降。犯成信息的丢失,导致检验效率下降。犯第二类错误第二类错误的概率的概率要比参数检验法为大。要比参数检验法为大。(H0不真时不真时,不能灵敏地拒绝不能灵敏地拒绝H0)几种常用非参数假设检验(几种
8、常用非参数假设检验(1 1)p配对设计和单样本资料的符号秩和检验配对设计和单样本资料的符号秩和检验(Wilcoxon Signed Rank Sum Test)p完全随机化设计两组独立样本资料的秩和检验完全随机化设计两组独立样本资料的秩和检验(Wilcoxon Rank Sum Test)n两组连续变量资料的秩和检验两组连续变量资料的秩和检验n两组有序变量资料的秩和检验两组有序变量资料的秩和检验几种常用非参数假设检验(几种常用非参数假设检验(2 2)p完全随机化设计多组独立样本的秩和检验完全随机化设计多组独立样本的秩和检验(Kruskal-Wallis test)n多组连续变量资料的秩和检验多
9、组连续变量资料的秩和检验n多组有序变量资料的秩和检验多组有序变量资料的秩和检验p随机化区组设计资料的秩和检验随机化区组设计资料的秩和检验(friedman test)p多个样本间的多重比较多个样本间的多重比较一、配对设计资料的符号秩和检验一、配对设计资料的符号秩和检验(Wilcoxon Signed Rank test)p例例1 1 为研究孪生兄弟出生先后对智力是否存在差为研究孪生兄弟出生先后对智力是否存在差异异, , 对对1212对双胞胎兄弟进行某项心理测试对双胞胎兄弟进行某项心理测试, , 其测其测试得分结果见表。试得分结果见表。表表 1 121 12 对双胞胎兄弟心理测试结果对双胞胎兄弟
10、心理测试结果 对子号对子号 先出生者得分先出生者得分 后出生者得分后出生者得分 差差 值值 绝对差值秩次绝对差值秩次 秩次秩次 i xi yi di =yi -xi Ri Ri (1) (2) (3) (4) (5) (6) 1 86 88 2 3 3 2 71 77 6 7 7 3 77 76 -1 1.5 -1.5 4 68 64 -4 4 -4 5 91 96 5 5.5 5.5 6 72 72 0 - - 7 77 65 -12 10 -10 8 91 90 -1 1.5 -1.5 9 70 65 -5 5.5 -5.5 10 71 80 9 9 9 11 88 81 -7 8 -8
11、12 87 72 -15 11 -11 1 1、方法步骤:、方法步骤:v(1) 建立检验假设,确定检验水准建立检验假设,确定检验水准 假设:假设:H0: Md= 0 即差值的总体中位数等于零即差值的总体中位数等于零 H1:Md0 即差值的总体中位数不等于零即差值的总体中位数不等于零v(2)求差值)求差值 求各对数据求各对数据Xi Yi的差值的差值 di=Xi-Yi,v(3)编秩:)编秩: a. 差值按绝对值从小到大排序,编以秩次,根据差值的差值按绝对值从小到大排序,编以秩次,根据差值的正负号冠以正负号正负号冠以正负号。 b. 编秩次时遇零舍去不计,编秩次时遇零舍去不计,遇有差值绝对值相等遇有差
12、值绝对值相等(称为相称为相持持),编以平均秩次,如果符号相同可以不取平均秩次。,编以平均秩次,如果符号相同可以不取平均秩次。v(4)求秩和,并确定检验统计量)求秩和,并确定检验统计量Tv求正负差值秩次之和,分别用求正负差值秩次之和,分别用T+或或T-表示表示v任取任取T+或或T-作为检验统计量作为检验统计量T*(有的书上要求小的秩和,有的书上要求小的秩和,因为只按小的秩和编制界值表因为只按小的秩和编制界值表)。)。 T+=24.5, T-=41.5 v验证验证:T+ +T-=n(n+1)/2, n为差值不等于为差值不等于0的对子数的对子数v(5)确定)确定P值和作出推断结论。值和作出推断结论。
13、 当当n25(或(或50)时,查附表,配对设计用的)时,查附表,配对设计用的T界值表。界值表。v若若T*值在上下界值范围内,其值在上下界值范围内,其p值大于表上相应概率水平值大于表上相应概率水平v若若T*值在上下界值范围外,则其值在上下界值范围外,则其p值小于表上相应概率水平值小于表上相应概率水平2、正态近似法、正态近似法p当当n25(或(或50),可用秩和分布的正态近似法进行),可用秩和分布的正态近似法进行u检检验:验:TN),(2TT24/ ) 12)(1(5 . 04/ ) 1(nnnnnTu48)(24) 12)(1(5 . 04/ ) 1(3jjttnnnnnTu当相同差值较多时(不
14、包括当相同差值较多时(不包括0 0),用下式校正),用下式校正式中式中tj为第为第j个相同差值组的相同差值的个数个相同差值组的相同差值的个数.得出得出u值后按值后按u界值确定界值确定P的范围的范围 符号秩和检验的基本思想符号秩和检验的基本思想p如果如果H0成立,即差值的总体中位数为成立,即差值的总体中位数为0,由于抽,由于抽们误差的存在,则理论上样本的正负秩和应不一们误差的存在,则理论上样本的正负秩和应不一定相等,但差别不大,即定相等,但差别不大,即T值应为总秩和值应为总秩和n(n+1)/2的一半,即的一半,即T=n(n+1)/4pT与与n(n+1)/4的相差太大,超过了抽样误差可以的相差太大
15、,超过了抽样误差可以解释的范围时,相应的解释的范围时,相应的P值越小,当值越小,当 P时,有时,有理由拒绝理由拒绝H0二、单样本资料的符号秩和检验二、单样本资料的符号秩和检验p例:已知某地正常人尿氟含量为例:已知某地正常人尿氟含量为2.15mmol/L。今。今该地某厂随机抽取该地某厂随机抽取12名工人,测得尿氟含量名工人,测得尿氟含量mmol/L,结果见下表。问该厂工人的尿氟含量是,结果见下表。问该厂工人的尿氟含量是否高于当地正常人?否高于当地正常人?表表 12名工人尿氟含量测定结果名工人尿氟含量测定结果尿氟含量尿氟含量X差值差值d秩次秩次尿氟含量尿氟含量X差值差值d秩次秩次2.1502.62
16、0.4762.10-0.05-2.52.720.5772.200.052.52.990.8482.12-0.03-13.191.0492.420.2743.371.22102.520.2754.572.4211p求差值求差值d=xi-M0p p对这些差值进行正态性检验,对这些差值进行正态性检验,W=0.8380, P0.03,因此,因此不满足不满足t检验关于样本来自正态分布的条件,宜用检验关于样本来自正态分布的条件,宜用Wilcoxon符号秩和检验符号秩和检验7141. 0,5975. 0dsd假设检验过程假设检验过程p(1)建立检验假设)建立检验假设 ,确定检验水准,确定检验水准 H0:差值
17、的总体中位数等于:差值的总体中位数等于0,即,即Md=0 H1:差值的总体中位数等于:差值的总体中位数等于0,即,即Md0 =0.05p(2)求差值并编秩:对差值的绝对值编秩)求差值并编秩:对差值的绝对值编秩p(3)求正负秩和并确定检验统计量:)求正负秩和并确定检验统计量:pT+=62.5, T-=3.5p验证:验证:T+T-=n(n+1)/2,n为差值不等于为差值不等于0的对子数的对子数p确定样本统计量确定样本统计量T*=min(T+,T-)p(4)确定)确定p值并做出统计推断:值并做出统计推断:n查表法查表法:n=11,T=3.5,查配对设计用,查配对设计用T界值表得界值表得pTU 0.0
18、1(5,9), P10或或n2-n110, 超出附表的范围,可按下式计算超出附表的范围,可按下式计算u值:若值:若u超出标准正态分布的临界值,则拒绝超出标准正态分布的临界值,则拒绝H012/ ) 1(5 . 0| 2/ ) 1(|211NnnNnTutj为第为第j组相同秩次的个数组相同秩次的个数, N=n1+n2 )(1 (12) 1(5 . 0|2/ ) 1(|33211NNttNnnNnTujj如果相同秩次较多(如等级资料)采用校正公式:如果相同秩次较多(如等级资料)采用校正公式:四、两组等级资料的秩和检验四、两组等级资料的秩和检验p等级资料:又等级资料:又称为半定量资料称为半定量资料,
19、,它是将观察单位它是将观察单位按某种属性的不同程度分组计算所得出的各个不按某种属性的不同程度分组计算所得出的各个不同程度的观察单位计数的资料。同程度的观察单位计数的资料。例:例:正常人和铅作业工人尿棕色素定性检查结果正常人和铅作业工人尿棕色素定性检查结果结果结果人数人数秩次范围秩次范围平均秩次平均秩次秩和秩和正常人正常人铅作业工人铅作业工人合计合计正常人正常人铅作业工人铅作业工人(1 1)(2 2)(3 3)(4 4)(5 5)(6 6)(7 7)(8 8)-188261-2613.5243108+2101227-3832.565325+7739-4542.0294+3346-4847.014
20、1+4449-5250.5202合计合计n1=20n2=325230810704.16621)/122(20)(30)(50.5|1)/220(52308|1)/12(Nnn0.5|1)/2(NnT|u2110.85990.8599C C525252524)4)(4(43)3)(3(37)7)(7(712)12)(12(1226)26)(26(261 1C CN NN N) )t t(t(t1 1C C3 33 33 33 33 33 33 3j j3 3j j 4 4. .4 49 93 30 0. .8 85 59 99 94 4. .1 16 66 62 2/ /u uc cn n超出了
21、成组设计超出了成组设计T T界值表界值表, ,进行校正:进行校正:第三节第三节 完全随机化设计多组独立样本的秩和检验完全随机化设计多组独立样本的秩和检验(Kruskal-Wallis test)p多组计量资料比较时,若数据不满足方差分析的多组计量资料比较时,若数据不满足方差分析的条件,采用非参数检验条件,采用非参数检验K-W检验或检验或H检验。检验。p多组连续变量资料的秩和检验多组连续变量资料的秩和检验p多组有序变量多组有序变量(等级等级)资料的秩和检验资料的秩和检验多个独立样本(连续变量)的秩和检验多个独立样本(连续变量)的秩和检验(Kruskal-Wallis test) 例例9-39-3
22、 14 14名新生儿出生体重名新生儿出生体重(kg)(kg)按其母亲的吸烟习惯分按其母亲的吸烟习惯分组组,(A,(A组组: :每天吸烟大于每天吸烟大于1 1包包; B; B组组: :每天吸烟少于每天吸烟少于1 1包包; C; C组组: :过去吸烟而现已戒烟过去吸烟而现已戒烟; D ; D 组组: : 从不吸烟者从不吸烟者), ), 原数据归纳原数据归纳如表如表9-59-5的左侧部分的左侧部分, , 试问试问4 4个吸烟组中出生体重分布是个吸烟组中出生体重分布是否相同否相同? ? 表表9 9- -5 5 不不同同吸吸烟烟习习惯惯母母亲亲的的新新生生儿儿体体重重分分布布及及秩秩检检验验计计算算 出
23、出生生体体重重 xij 相相应应秩秩次次 Rij A B C D A B C D 2.7 2.9 3.3 3.5 3 4 7 11 2.4 3.2 3.6 3.6 2 5.5 12.5 12.5 2.2 3.2 3.4 3.7 1 5.5 9 14 3.4 3.4 9 9 ni 4 3 4 3 Ri 15 15 37.5 37.5 方法步骤方法步骤 假设:假设: H H0 0 : k : k个总体分布函数相同个总体分布函数相同; ; H H1 1 : k: k个总体中至少有两个总体分布函数不同。个总体中至少有两个总体分布函数不同。 编秩:编秩:数据相等则取平均秩数据相等则取平均秩, , 求秩和
24、求秩和 计算检验统计量计算检验统计量HH值值)1(3)1(122 NnRNNHii出生体重(出生体重(kg)xij相应秩次相应秩次RijABCDABCD2.72.93.33.5347112.43.23.63.625.512.512.52.23.23.43.715.59143.43.499ni4343Ri151537.537.59.509.50141414142)2)(2(23)3)(3(32)2)(2(21 19.3759.375n nn n) )t t(t(t1 19.3759.3751)1)3(143(143 337.537.54 437.537.53 315154 415151)1)14
25、(1414(1412121)1)3(N3(Nn nR R1)1)N(NN(N12123 33 33 33 33 3j j3 3j j2 22 22 22 2i i2 2i iHHHHHc确定确定P P值和作出推断结论值和作出推断结论若组数若组数k=3k=3,每组例数每组例数n ni i55,可查附表,可查附表1111,H H界值表得界值表得出出P P值。值。若若K=3K=3且最小样本的例数大于且最小样本的例数大于5 5或或K3K3时,则时,则H H或或H HC C近似近似服从服从v=k-1v=k-1的卡方分布。故可查的卡方分布。故可查2界值表,确定其界值表,确定其p p值。值。(H(H值近似地
26、服从值近似地服从v=k-1v=k-1的的2分布)分布)上式用于若无相持或相持不多的情形上式用于若无相持或相持不多的情形 若相持较多(超过若相持较多(超过25%)25%),则应按下式进行校正:,则应按下式进行校正:)1(3)1(122 NnRNNHiiH值的校正值的校正 各样本相同秩次较多时(如超过各样本相同秩次较多时(如超过25%),由),由下式计算下式计算Hc: )/()(1,/33NNttCCHHjjCtj是第是第j次相持时相同秩次的个数次相持时相同秩次的个数9.509.50141414142)2)(2(23)3)(3(32)2)(2(21 19.3759.375n nn n) )t t(
27、t(t1 19.3759.3751)1)3(143(143 337.537.54 437.537.53 315154 415151)1)14(1414(1412121)1)3(N3(Nn nR R1)1)N(NN(N12123 33 33 33 33 3j j3 3j j2 22 22 22 22 2i i2 2i icHHHH查查 2界值表,判断界值表,判断P值值六、多组有序变量资料的秩和检验六、多组有序变量资料的秩和检验p例:四种疾病患者痰液内嗜酸性粒细胞的检查结例:四种疾病患者痰液内嗜酸性粒细胞的检查结果见下表。问四种疾病患者痰液内嗜酸性粒细胞果见下表。问四种疾病患者痰液内嗜酸性粒细胞的
28、等级分布有无差别?的等级分布有无差别?白细白细胞等胞等级级例数例数合合计计秩次秩次范围范围平均平均秩次秩次秩和秩和支气管支气管扩张扩张肺水肺水肿肿肺癌肺癌病毒性病毒性呼吸道呼吸道感染感染支气管支气管扩张扩张肺水肺水肿肿肺癌肺癌病毒性病毒性呼吸道呼吸道感染感染(1)(2)(3)(4)(5)(6)(7)(8)(9)(10)(11)(12)03531111160183018+25751912302142105147105+953320315040.5364.5202.5121.5121.5+622010516055.53331111110合计合计1715171160739.5436.5409.524
29、4.5表表9-6 四种疾病患者痰液内嗜酸性粒细胞等级比较四种疾病患者痰液内嗜酸性粒细胞等级比较p计算检验统计量计算检验统计量28.14) 160(3)115 .244175 .409155 .436175 .739() 160(6012) 1(3) 1(1222222NnRNNHii由于相持较多,故需校正由于相持较多,故需校正52.1592. 0/28.14/92. 0)6060/()1010()2020()1919()1111(1)/()(13333333cHHNNttccjjp确定确定P值,推断结论值,推断结论p已知已知H0成立时成立时Hc近似服从近似服从V=k-1=3的的2分布。据分布。
30、据Hc=15.52,查界值表得,查界值表得p0.005,按,按=0.05检验水检验水准,拒绝准,拒绝H0,可以认为不同疾病患者痰液内的嗜,可以认为不同疾病患者痰液内的嗜酸性粒细胞分布的差别有统计学意义酸性粒细胞分布的差别有统计学意义p检验统计量:检验统计量:jjii2 2R RR RR Rjjiiij ijn n1 1n n1 112121)1)n(nn(n 其中其中 R RR RZ Ziijjii n n 为为k k个组的总样本含量个组的总样本含量 n ni i 为第为第i i组样本含量组样本含量 n nj j 为第为第j j组样本含量组样本含量 出生体重(出生体重(kg)xij相应秩次相应
31、秩次RijABCDABCD2.72.93.33.5347112.43.23.63.625.512.512.52.23.23.43.715.59143.43.499ni4343Ri151537.537.5表表9-5 不同吸烟习惯母亲的新生儿体重分布的秩检验不同吸烟习惯母亲的新生儿体重分布的秩检验A组组: 每天吸烟大于每天吸烟大于1包包; B组组: 每天吸烟少于每天吸烟少于1包包; C组组: 过去吸烟而现已戒烟过去吸烟而现已戒烟; D组组: 从不吸烟者从不吸烟者12.537.5/3R9.37537.5/4R5.015/3R3.7515/4RDCBA0.981/3)1)/12(1/414(1412.
32、59.375Z2.201/3)1)/12(1/314(1412.55Z2.741/3)1)/12(1/414(1412.53.75)1/n1)/12(1/nn(nRRZDC,DB,21DADA,12.537.5/3R9.37537.5/4R5.015/3R3.7515/4RDCBAp做出统计结论做出统计结论 将某丙组比较所得的将某丙组比较所得的p值与调整值与调整后的检验水准比较,若后的检验水准比较,若p则拒绝则拒绝H0p若若0.05,则每一个,则每一个Z检验具有第检验具有第I类错误的概类错误的概率为率为0.05/30.0167,由标准正态分布得临界值,由标准正态分布得临界值Z0.0167-2.
33、12.当所求得的当所求得的Zij-2.12时则判断为时则判断为差异显著。差异显著。pZadZbd-2.12ZcdpPadPbd0.05Pcdp检验水准的调整,通常有两种情况检验水准的调整,通常有两种情况n多组间的两两比较多组间的两两比较n实验组与同一对照组的比较实验组与同一对照组的比较) 1(22/ ) 1(kkkk1k小结小结p配对设计和单样本资料的符号秩和检验配对设计和单样本资料的符号秩和检验(Wilcoxon Signed Rank Sum test)p完全随机化设计两组独立样本资料和秩和检验完全随机化设计两组独立样本资料和秩和检验(Wilcoxon Rank Sum test)n两组连
34、续变量资料的秩和检验两组连续变量资料的秩和检验n两组有序变量资料的秩和检验两组有序变量资料的秩和检验p完全随机化设计多组独立样本的秩和检验完全随机化设计多组独立样本的秩和检验(Kruskal-Wallis test,又称,又称H检验)检验)n多组连续变量资料的秩和检验多组连续变量资料的秩和检验n多组有序变量资料的秩和检验多组有序变量资料的秩和检验p随机化区组设计资料的秩和检验随机化区组设计资料的秩和检验(friedman test,又称,又称M检检验验)p多个样本间的多重比较多个样本间的多重比较什么时候选择秩转换的非参数检验什么时候选择秩转换的非参数检验? ?p对于计量资料对于计量资料, ,若
35、不满足正态和方差齐性条件若不满足正态和方差齐性条件, ,这时小样这时小样本资料选本资料选t t检验或检验或F F检验是不妥的检验是不妥的, ,恰当的方法是选择秩转恰当的方法是选择秩转换的非参数检验换的非参数检验p对于分布不知是否正态的小样本资料对于分布不知是否正态的小样本资料, ,为保险起见为保险起见, ,宜选宜选秩转换的非参数检验秩转换的非参数检验; ;p对于一端或两端是不确定数值对于一端或两端是不确定数值( (如如0.50.5等等) )的资料的资料, ,不管是否正态分布不管是否正态分布, ,只能选秩转换的非参数检验只能选秩转换的非参数检验; ;p对于等级资料对于等级资料, ,若选行列表资料的卡方检验若选行列表资料的卡方检验, ,只能推断其只能推断其构成比差别构成比差别, ,而用秩转换的非参数检验而用秩转换的非参数检验, ,可推断等级强度可推断等级强度差别差别. .