医学医学统计学判别分析课件.pptx

1、2023-1-9医学统计学Content Fisher discriminant analysis Maximum likelihood method Bayes formula discriminant analysis Bayes discriminant analysis Stepwise discriminant analysis 讲述内容第一节第一节 FisherFisher判别判别第二节第二节 最大似然判别法最大似然判别法第三节第三节 BayesBayes公式判别法公式判别法第四节第四节 BayesBayes判别判别第五节第五节 逐步判别逐步判别第六节第六节 判别分析中应注意的问题

2、判别分析中应注意的问题目的目的：作出以多个判别指标判别个体分类的：作出以多个判别指标判别个体分类的判别函数或概率公式。判别函数或概率公式。资料资料：个体分两类或多类，判别指标全部为：个体分两类或多类，判别指标全部为数值变量或全部为分类变量。数值变量或全部为分类变量。用途用途：解释和预报（主要用于计量诊断）。：解释和预报（主要用于计量诊断）。分类分类（经典）：（经典）：Fisher判别和判别和Bayes判别。判别。1.计量资料判别分析。目的是作出以定量指标判别个体属性分类或等级的判别函数。按资料类型分：2.计数资料判别分析。目的是作出以定性或等 级指标判别个体属性分类或等级的概率公式概率公式。按

3、方法名分1.Fisher判别2.最大似然判别法3.Bayes公式判别法4.Bayes判别5.逐步判别第一节 Fisher判别适用于指标为定量指标的两类判别（或多类判别）1.Fisher判别的原理 已知 A、B 两类观察对象，A 类有An例，B 类有Bn例，分别记录了mXXX,21个观察指标，称为判别指标或变量。Fisher 判别法就是找出一个线性组合 1122 (18-1)mmZC XC XC X一、两类判别Fisher 准则：使得综合指标 Z 在 A 类的均数AZ与在 B 类的均数 BZ的差异ABZZ尽可能大，而两类内综合指标 Z 的变异22ABSS尽可能小，即使得 达到最大。AB22AB

4、ZZSS (18-2)判别系数 C 可通过对求导，由下列方程组解出 11112211211222221122 (18-3)mmmmmmmmmmS CS CS CDS CS CS CDS CS CSCD 式中(A)(B)jjjDXX，(A)(B),jjXX分别是 A 类和 B 类第 j 个 指标的均数),2,1(mj；ijS是12,mXXX的合并协方差阵的元素。(A)(A)(A)(A)(B)(B)(B)(B)AB()()()()(18-4)2iijjiijjijXXXXXXXXSnn 式中(A)(B)(A)(B),iijjXXXX分别为ijXX和于 A 类和 B 类的观察值。2 判别规则 建立判

5、别函数后，按公式（18-1）逐例计算判别函数值iZ，进一步求iZ的两类均数AZ、BZ与总均数Z，按下式计算判别界值:AB 18-52cZZZ（）判别规则：,A,B 18-6 icicicZZZZZZ判为 类判为 类（），判为任意一类 例18-1 收集了22例某病患者的三个指标（X1，X2，X3）的资料列于表18-1，其中前期患者（A）类12例，晚期患者（B）类10例。试作判别分析。观察值 类别 编号 X1 X2 X3 Z Fisher 判别结果 A 1 23 8 0 0.19 A A 2-1 9-2 2.73 A A 3-10 5 0 1.83 A A 4-7-2 1-0.28 B A 5-1

6、1 3-4 2.72 A A 6-10 3-1 1.69 A A 7 25 9-2 0.91 A A 8-19 12-3 4.98 A A 9 9 8-2 1.81 A A 10-25-3-1 1.39 A A 11 0-2 2-1.09 B A 12-10-2 0 0.25 A B 13 9-5 1-2.07 B B 14 2-1-1-0.05 A B 15 17-6-1-2.22 B B 16 8-2 1-1.33 B B 17 17-9 1-3.53 B B 18 0-11 3-3.43 B B 19-9-20 3-4.82 B B 20-7-2 3-0.91 B B 21-9 6 0

7、1.98 A B 22 12 0 0-0.84 B 表表18-1 22例患者三项指标观察结果（例患者三项指标观察结果（Zc=-0.147）类别 例数 1X 2X 3X A 12 3 4 1 B 10 4 5 1 类间均值差jD 7 9 2 表18-2 变量的均数及类间均值差 （1）计算变量的类均数及类间均值差Dj，计算结果列于表18-2。（2）计算合并协方差矩阵:按公式（18-4），例如：3.17521012)412()42()49()310()31()323(22222211S 175.320.32.320.338.25.82.35.82.7S代入公式（18-3）得27.28.53.2 9

8、8.52.383.20 73.23.203.175321321321CCCCCCCCC得到合并协方差阵 解此正规方程得 070.01C，225.02C，318.03C 判别函数为 321318.0225.0070.0XXXZ。逐例计算判别函数值iZ列于表 18-1 中的 Z 列，同 时计算出428.1AZ、722.1BZ与总均数004.0Z。（3）确定界值，进行两类判别:按公式（18-5）计算147.02)722.1428.1(cZ，将147.0iZ判为 A 类，147.0iZ判为 B 类。判别结果列于表 18-1 的最后一列，有 4 例错判。二、判别效果的评价 用误判概率P衡量 方法：回顾性

9、：样本回代。必须做，但效果差。前瞻性：验证样本。刀切法：步骤 顺序剔除一个样品，用余下的 N-1 个样品建立判别函数；用判别函数判别剔除的样品；重复上两步 N 次,计算误判概率。此法优点：充分利用了样本的信息建立和验证判别函数。本例刀切法误判概率估计值为%3.27226。要求判别函数的误判概率小于 0.1 或 0.2 才有应用价值。回顾性误判概率估计往往夸大判别效果。回顾性误判概率估计往往夸大判别效果。第二节 最大似然判别法（优度法）适用于指标为定性指标的两类判别或多类判别。资料：个体分两类或多类，判别指标全部为定性或等级 资料。原理：用独立事件的概率乘法定理得到判别对象归属某 类的概率。11

10、22()|)()|)()|),1,2,(18-7)klklkmlmkPP X SYP XSYP XSYkg 求1,Max()kkgPP，如果0kPP，即被判为第0k类。2.判别规则 表 18-3 列出了各型阑尾炎出现的体征、症状的频率。注：用样本频率作为总体概率的估计值。3.最大似然判别法的应用 例18-2 有人试用7个指标对4种类型的阑尾炎作鉴别诊断，收集的5668例完整、确诊的病史资料归纳于表18-3。如属于卡他性阑尾炎（如属于卡他性阑尾炎（1Y）开始出现右下腹痛（）开始出现右下腹痛（11S）的条件概率的条件概率1111|)(YSXP）就是）就是 57%57%。表表18-3 5668例不同

11、型阑尾炎病例的症状发生频率（例不同型阑尾炎病例的症状发生频率（%）症状、体征及化验资料 卡他 性1Y 蜂窝织 炎2Y 坏疽 性3Y 腹膜 炎4Y 右下腹部 57 34 35 21 下腹部 15 13 12 27 上腹部 12 35 35 34 脐周围 12 10 9 6 1X 腹痛开始 部位 全腹 4 8 9 12 恶心（-）呕吐（-）73 33 8 13 恶心（+）呕吐（-）16 30 37 22 2X 恶心 呕吐 呕吐（+）11 37 55 65 24 小时内有正常便 72 45 35 22 24 小时内无正常便或腹泻 20 40 55 34 3X 排便 腹泻有里急后重感 8 15 10

12、44 腹 部 右下部 95 93 81 9 4X 压痛范围 更广泛 5 7 19 91 肌性防御（+）8 39 79 96 肌性防御（-）反跳触痛（+）70 34 12 3 5X 腹部肌性 防御和 反跳触痛 肌性防御（-）反跳触痛（-）22 27 9 1 38 8 11 23 44 15000 8 28 61 57 00017.008.061.008.095.072.011.057.01P 0018.028.032.039.093.045.037.034.02P 30.35 0.55 0.35 0.81 0.79 0.18 0.610.0047P 00015.057.010.096.009.0

13、22.065.021.04P 如某病例昨晚开始出现右下腹痛、呕吐等症状，大便正常。经检查，右下腹部压痛，肌性防御（+）、压跳痛（+），体温36.6，白细胞23.7109/L。P3最大，故诊断该病例为坏疽型阑尾炎。手术所见与判别分析结果一致。根据表18-3得第三节第三节 Bayes公式判别法公式判别法适用于指标为定性指标的两类判别或多类判别。资料：资料：个体分两类或多类，判别指标全部为定性个体分两类或多类，判别指标全部为定性 或等级资料。或等级资料。原理：原理：条件概率条件概率+事前概率（各病型或病种的总事前概率（各病型或病种的总 体构成比）体构成比）112211221()()|)()|)()|

14、)(|)(18-8)()()|)()|)()|)klklkmlmkkgklklkmlmkkP YP X SY P XSYP XSYP YaP YP X SY P XSYP XSY 求1,M ax()kkgPP，如果0kPP，即被判为第0k类。判别规则：判别规则：举例说明：举例说明：例例18-3例例 18-3 资资料料见见表表 18-3，用用四四种种类类型型阑阑尾尾炎炎病病人人的的构构成成比比：卡卡他他型型阑阑尾尾炎炎 20%蜂蜂窝窝织织炎炎型型阑阑尾尾炎炎 50%坏坏疽疽型型阑阑尾尾炎炎 25%腹腹膜膜型型阑阑尾尾炎炎 5%作作为为先先验验概概率率)(kYP的的估估计计。对例对例18-2中给出

15、的待判病中给出的待判病有有11111232131314141515161617371()()|)()|)()|)()|)()|)()|)()|)0.20 0.57 0.11 0.72 0.95 0.08 0.61 0.080.000033P YP X SY P XSY P XSY P XSY P XSY P XSYP XSY2111223227372()()|)()|)()|)0.000900P YP X SY P XSYP XSY3111323237373()()|)()|)()|)0.001175P YP X SY P XSYP XSY4111423247374()()|)()|)()|)

16、0.000075P YP X SY P XSYP XSY如其中32S表示变量2X取第三个状态，余同。利用公式（利用公式（18-8）计算得）计算得1(|)P Y a)=015.0002183.0000033.0000075.0001175.0000900.0000033.0000033.0 同样的2(|)0.412P Ya，3(|)0.538P Ya，4(|)0.034P Ya。3(|)P Ya最大，诊断为坏疽型阑尾炎，与最大似然判别法结果一致。:Bayes公式判别法:Bayes公式判别法当事前概当事前概未知未知率率:最大:最大若判别指标为定性或等级资若判别指标为定性或等级资似然估计法似然估计法

17、料，料，已知已知注意：第四节第四节 Bayes判别判别适用于指标为定量指标的多类判别（也可用于两类判别）适用于指标为定量指标的多类判别（也可用于两类判别）先验概率确定先验概率确定：1.等概率（有选择性偏倚）；等概率（有选择性偏倚）；2.频率估计。频率估计。判别规则：归属最大判别规则：归属最大Yg 类类。应用：应用：快速、正确。快速、正确。资料：资料：个体分个体分G类，判别指标定量。类，判别指标定量。原理：原理：Bayes准则。准则。结果：结果：G 个个判别函数判别函数12gYYY 例18-4 欲用4个指标鉴别3类疾病，现收集17例完整、确诊的资料，见表18-4。试建立判别Bayes函数。Bay

18、es判别函数判别函数 3366.17202.44568.170396.00940.1904140.16606.40970.180448.05311.1995822.15492.44112.190739.05108.223432134321243211XXXXYXXXXYXXXXY判别效果评价：误判概率 （回顾性估计，见表18-6）。误判概率的刀切法估计为 。%76.11172%4.29175判别分析的目的就是根据判别函数对其它的样品进行判别，如本例需用 4个指标鉴别 3 类疾病，如某个编号的病人，X1、X2、X3、X4分别为：0.4,-13.6,21,34。试判别该病人患 3 类疾病中的哪类疾

19、病？一类疾病：Y=-223.516-0.0739*0.4-19.412*-13.6+4.549*21+1.582*34=189.7746 二类疾病：Y=-199.536-0.0480*0.4-18.097*-13.6+4.661*21+1.414*34=192.4922 三类疾病：Y=-190.099+0.0396*0.4-17.457*-13.6+4.720*21+1.337*34=191.8148 该病人患 3 类疾病中的 2 类疾病。第五节第五节 逐步判别逐步判别目的：目的：选取具有判别效果的指标建立判别函数。选取具有判别效果的指标建立判别函数。应用：应用：只适用于只适用于Bayes判别

20、。判别。原理原理：Wilks统计量统计量 ，F 检验。检验。例18-5 利用表18-4的数据作逐步Bayes判别。0.2,0.3Bayes判别函数：124224324101.48739.86520.953374.92608.47370.800962.76547.73970.7215YXXYXXYXX 判别效果评价，误判概率为1/17=5.88%（回顾性估计，见表18-8）。误判概率的刀切法估计17.6%。与例18-4比较,变量筛选后，尽管判别指标由4个减为2个，判别效能却提高了。由此可见，判别指标并不是越多越好。第六节 判别分析中应注意的问题1判别分析中所用的样本资料视为总体的估计，所以要求样

21、本足够大，有较好的代表性。样本的原始分类必须正确无误，否则得不到可靠的判别函数。判别指标的选择要适当，必要时应对判别指标进行筛选。2各类型先验概率可以由训练样本中各类的构成比作为估计值。此时要注意样本构成比是否具有代表性。如果取样存在选择性偏倚，就不能用构成比来估计先验概率，不如把各类型的发生视为等概率事件，先验概率取g1更为妥当。3判别函数的判别能力不能只由判别函数的判别能力不能只由训练样本训练样本的回代的回代情况得出结论。小样本资料建立的判别函数回代时可能情况得出结论。小样本资料建立的判别函数回代时可能有很低的误判率，但训练样本以外的样品误判率不一定有很低的误判率，但训练样本以外的样品误判

22、率不一定低，因此要预留足够的低，因此要预留足够的验证样品验证样品以考察判别函数的判别以考察判别函数的判别能力。能力。4判别函数建立后，可在判别应用中不断积累新判别函数建立后，可在判别应用中不断积累新的资料，不断进行修正，逐步完善。临界值型多用于两的资料，不断进行修正，逐步完善。临界值型多用于两类判别，概率型多用于多类判别。类判别，概率型多用于多类判别。5Fisher 两类判别是线性判别。另外二分类 logistic 回归也可以用于两类判别，称为 logistic 判别，是非线性的。用 Y 表示类别，类属于类属于BAY ,0 ,1，建立 logistic 回归模型 011011exp1 18-1

23、71expmmmmXXP YXX（）（）（）（）用 Newton-Raphson 迭代获得m,10的最大似然估计。公式（18-17）就是 logistic 判别函数。判别规则如下 逐例计算判别函数值)1(YPi，如果 类判为类判为BYPAYPii ,5.0)1(,5.0)1(。Group Statistics-14.42938.261677.000-17.3434.103677.00012.7144.990577.00031.14344.039577.000.80078.107844.000-17.4253.085944.00017.5002.081744.000.00030.757144.0

24、00-6.65019.780266.000-17.3334.143366.00020.1676.493666.000-15.00035.832966.000-8.10043.04961717.000-17.3593.66961717.00016.4715.90681717.0007.52941.88541717.000X1X2X3X4X1X2X3X4X1X2X3X4X1X2X3X4原分类123TotalMeanStd.DeviationUnweightedWeightedValid N(listwise)Covariance Matrices1463.95267.31297.190821.90

25、567.31216.84018.619174.12497.19018.61924.905204.381821.905174.124204.3811939.4766100.827149.58770.4671432.200149.5879.5226.21794.86770.4676.2174.33362.3331432.20094.86762.333946.000391.2559.670-75.050369.7209.67017.16712.667129.100-75.05012.66742.1674.400369.720129.1004.4001284.000X1X2X3X4X1X2X3X4X1

26、X2X3X4原分类123X1X2X3X4Eigenvalues3.116a99.699.6.870.012a.4100.0.111Function12Eigenvalue%of VarianceCumulative%CanonicalCorrelationFirst 2 canonical discriminant functions were used in theanalysis.a.Wilks Lambda.24017.8408.022.988.1543.985Test of Function(s)1 through 22Wilks LambdaChi-squaredfSig.Stand

27、ardized CanonicalDiscriminant Function Coefficients.4501.0402.130-.418.244-.125-2.642.039X1X2X3X412FunctionStructure Matrix.398*-.258-.332*.053.060.891*-.001-.093*X3X4X1X212FunctionPooled within-groups correlations between discriminatingvariables and standardized canonical discriminant functions Var

28、iables ordered by absolute size of correlation withinfunction.Largest absolute correlation between each variableand any discriminant function*.Functions at Group Centroids-1.846-3.20E-02.616.1781.744-8.14E-02原分类12312FunctionUnstandardized canonical discriminantfunctions evaluated at group meansPrior

29、 Probabilities for Groups.33377.000.33344.000.33366.0001.0001717.000原分类123TotalPriorUnweightedWeightedCases Used in AnalysisClassification Function Coefficients-7.39E-02-4.48E-02-3.96E-02-19.412-18.097-17.4574.5494.6614.7201.5821.4141.337-223.516-199.536-190.099X1X2X3X4(Constant)123原分类Fishers linear

30、 discriminant functionsClassification Resultsb,c61070404105685.714.3.0100.0.0100.0.0100.016.7.083.3100.061071214114685.714.3.0100.025.050.025.0100.016.716.766.7100.0原分类123123123123Count%Count%OriginalCross-validateda123Predicted Group MembershipTotalCross validation is done only for those cases in t

31、he analysis.In cross validation,each case is classified by the functions derived from all cases other than thatcase.a.88.2%of original grouped cases correctly classified.b.70.6%of cross-validated grouped cases correctly classified.c.Classification Function Coefficients-9.865-8.474-7.740.953.801.721-

32、101.487-74.926-62.765X2X4(Constant)123原分类Fishers linear discriminant functionsClassification Resultsb,c700704041056100.0.0.0100.0.0100.0.0100.016.7.083.3100.061070314105685.714.3.0100.0.075.025.0100.016.7.083.3100.0原分类123123123123Count%Count%OriginalCross-validateda123Predicted Group MembershipTotalCross validation is done only for those cases in the analysis.In cross validation,each case is classified by the functions derived from all cases other than thatcase.a.94.1%of original grouped cases correctly classified.b.82.4%of cross-validated grouped cases correctly classified.c.