1、大城小事1问题提出:问题提出: 医学研究中常研究某因素存在条件下某结果是否医学研究中常研究某因素存在条件下某结果是否发生?以及之间的关系如何?发生?以及之间的关系如何? 因素(因素(X) 疾病结果(疾病结果(Y) x1,x2,x3XK 发生发生 Y=1 不发生不发生 Y=0例:暴露因素例:暴露因素 冠心病结果冠心病结果高血压史高血压史(x1):有有 或无或无 有有 或或 无无高血脂史高血脂史(x2): 有有 或或 无无吸烟吸烟(x3): 有或无有或无大城小事2研究问题可否用多元线性回归方法?研究问题可否用多元线性回归方法?1.多元线性回归方法要求多元线性回归方法要求 Y 的取值为计量的取值为计
2、量的连续性随机变量。的连续性随机变量。2.多元线性回归方程要求多元线性回归方程要求Y与与X间关系为线间关系为线性关系。性关系。3.多元线性回归结果多元线性回归结果 不能回答不能回答“发生发生与否与否”logistic回归方法补充多元线性回归的不回归方法补充多元线性回归的不足足Y1 12 2m mya bxb xb x 大城小事3Logistic回归方法该法研究是该法研究是 当当 y 取某值(如取某值(如y=1)发生的概率(发生的概率(p)与与某暴露因素(某暴露因素(x)的关系。的关系。 P(概率)的取值波动概率)的取值波动01范围。范围。 基本原理基本原理:用一组观察数据拟合:用一组观察数据拟
3、合Logistic模型,模型,揭示若干个揭示若干个x与一个因变量取值的关系,反映与一个因变量取值的关系,反映y 对对x的依存关系。的依存关系。(1/ )( ),( )p yxf xf x即p大城小事4第一节 logistic回归一、基本概念一、基本概念 1.变量的取值变量的取值 logistic回归要求应变量(回归要求应变量(Y)取值为分类变量取值为分类变量(两分类或多个分类)(两分类或多个分类) 自变量(自变量(Xi)称为危险因素或暴露因素称为危险因素或暴露因素,可为连续变可为连续变量、等级变量、分类变量。量、等级变量、分类变量。 可有可有m个自变量个自变量X1, X2, Xm )未发病、无
4、效、存活等出现阴性结果发病、有效、死亡等)出现阳性结果(0(1Y大城小事52.两值因变量的两值因变量的logistic回归模型方回归模型方程程一个自变量与一个自变量与Y关系的回归模型关系的回归模型如:如:y:发生发生=1,未发生未发生=0 x : 有有=1,无无=0,记为记为p(y=1/x)表示某暴露因素状态下,表示某暴露因素状态下,结果结果y=1的概率(的概率(P)模型。模型。)(exp11)/1(0 xxypxxeexyP001)/1(或或模型描述了应变量模型描述了应变量p与与x的关系的关系大城小事6P概率概率10.5Z值值0123-1-2-3图图16-1 Logistic回归函数的几何图
5、形回归函数的几何图形)(exp11) 1(0 xypxz10为正值,为正值,x越越大,结果大,结果y=1发发生的可能性(生的可能性(p)越大。越大。大城小事7几个几个logistic回归模型方程回归模型方程001(1/1)1xxepP yxe001(0/1)111xxeP yxpe 000(1/0)1epP yxe000(0/0)111eP yxpe 大城小事8logistic回归模型方程的线性表达回归模型方程的线性表达对对logistic回归模型的概率(回归模型的概率(p)做做logit变变换,换,log ( )ln()1pit pp110)(logxpity截距(常数)截距(常数)回归系数
6、回归系数Y(-至至+)线形线形关系关系大城小事9在有多个危险因素(在有多个危险因素(Xi)时时多个变量多个变量的logistic回归模型方程的线性表达:回归模型方程的线性表达:mmXXXPP22110=1lnlogit(p)0112(.)1(1/,)1kkkkxxp yx xxe或或公式公式16-2大城小事102.模型中参数的意义模型中参数的意义110=1lnXPP0(常数项)常数项):暴露因素:暴露因素Xi=0时,个体发病时,个体发病概率与不发病概率之比的自然对数比值。概率与不发病概率之比的自然对数比值。 0=)0/0(1)0/1(lnxyPxyP大城小事11 的含义:的含义:某危险因素,暴
7、露水平变化时,即某危险因素,暴露水平变化时,即Xi=1与与Xi=0相比,发生某结果(如发病)优势相比,发生某结果(如发病)优势比的对数值。比的对数值。 11001001 1001 1/(1)lnln/(1)loglog()()PPORPPitPitPxxxiP1(y=1/x=1)的概率的概率P0(y=1/x=0)的概率的概率010011)1/()1/(oddsoddsPPPPOReOR 大城小事12 危险因素危险因素 Y x= 1 x= 0发病发病=1 30(a) 10( b) 不发病不发病=0 70(c) 90(d) a+c b+d 危险因素危险因素 Y x= 1 x= 0发病发病=1 p1
8、 p0 不发病不发病=0 1-p1 1-p0 1apac有暴露因素人群中发病的比例有暴露因素人群中发病的比例大城小事13 反映了在其他变量固定后,反映了在其他变量固定后,X=1与与x=0相相比发生比发生Y事件的对数优势比。事件的对数优势比。 回归系数回归系数与与OR X与与Y的关联的关联 =0,OR=1, 无关无关 1,OR1 , 有关,危险因素有关,危险因素 1,OR1, 有关,保护因子有关,保护因子事件发生率很小,事件发生率很小,ORRR。多元回归模型的的 概念iii011logit(p)ln=1mmPXXP大城小事14二、logistic回归模型的参数估计1. 模型中的参数(模型中的参数
9、(i)估计估计 通常用最大似然函数通常用最大似然函数 (maximum likelihood estimate, MLE)估计估计, 由统计软件包完成。由统计软件包完成。(讲义讲义259页)页)mmXXXPP22110=1ln,大城小事152. 优势比优势比(OR)及可信区间的估及可信区间的估计计如如X=1,0两分类,则两分类,则OR的的1-可信区间可信区间估计公式估计公式ORe/ 2()jbjbuSejbS为回归系数为回归系数的标准误的标准误(公式(公式16-10)大城小事16例:讲义表例:讲义表16-1资料资料一个研究吸烟、饮酒与食道癌关系的病例对一个研究吸烟、饮酒与食道癌关系的病例对照资
10、料(照资料(886例),试作例),试作logistic回归分析。回归分析。变量的赋值变量的赋值10Y食管癌患者对照:非食管癌011不吸烟吸烟X012不饮酒饮酒X大城小事17经logistic回归计算后得 b0 =-0.9099, b1 =0.8856, b2 =0.5261, OR)exp(4244. 2)8856. 0exp( OR6923. 1)5261. 0exp( OR方程表达方程表达:控制饮酒因素后,控制饮酒因素后,吸烟与不吸烟相比吸烟与不吸烟相比患食管癌的优势比患食管癌的优势比为为2.4倍倍 ln()0.90990.8856 1 0.5261 21pxxp 大城小事18OR的可信区
11、间估计11/2exp()exp(0.8856 1.96 0.15)(1.81,3.25)bbuS吸烟与不吸烟患食管癌吸烟与不吸烟患食管癌OR的的95%可信区间:可信区间:2/22exp()exp(0.5261 1.96 0.1572)(1.24,2.30)bbuS饮酒与不饮酒饮酒与不饮酒OR的的95%可信区可信区间:间:大城小事19三、三、Logistic 回归模型的假设检验回归模型的假设检验1.检验一:对建立的整个模型做检验。检验一:对建立的整个模型做检验。 说明自变量对说明自变量对Y的作用是否有统计意义。的作用是否有统计意义。检验方法(检验方法(讲义讲义260-261页)页)1)似然比检验
12、似然比检验 (likelihood ratio test)2)Wald检验检验3)计分检验计分检验(score test)0:210mH1:12)0jHjm各 (, , ,不全为mmXXXPP22110=1ln大城小事20例表例表16-1吸烟、饮酒与食管癌资料吸烟、饮酒与食管癌资料(SAS软件计算)软件计算) 1.对建立的整个模型做检验。对建立的整个模型做检验。Testing Global Null Hypothesis: BETA=0Test Chi-Square DF Pr似然比似然比 68.5457 2 .0001计分检验计分检验 67.0712 2 .0001Wald检验检验 64.2
13、784 2 .0001ln()0.90990.8856 1 0.5261 21pxxp 大城小事212.检验二:检验二:检验模型中某检验模型中某是否对是否对Y有作用。有作用。检验假设:检验假设:检验统计量:主要为检验统计量:主要为Wald检验(检验(SAS软件)软件)例;例;在大样本时,三方法结果一致。在大样本时,三方法结果一致。0:0jH1:0jH22)(jbjSb公式公式16-13220.8856()33.860.15=1的的2大城小事22例表例表16-1资料,对各资料,对各x的的做检验(做检验(wald检验)检验)参数参数 估计值估计值 标准误标准误 Chi-Squa Pr常数常数-0.
14、9099 0.1358 44.8699 .0001吸烟吸烟 0.8856 0.1500 34.8625 .0001饮酒饮酒 0.5261 0.1572 11.2069 .0008 Odds Ratio Estimates Point 95% WaldEffect Estimate Confidence Limits 吸烟吸烟x1 2.424 1.807 3.253 饮酒饮酒x2 1.692 1.244 2.303大城小事23似然比检验(讲义)对某个对某个做检验,检验统计量(做检验,检验统计量(G)102(lnln)GLL1ln L包括包括p个自变量的对个自变量的对数似然函数数似然函数0ln L
15、包括包括 l 个自变量的个自变量的对数似然函数对数似然函数G服从自由度(服从自由度(d)=p-l的的2分布分布大城小事24似然比检验对似然比检验对做检验做检验112ln(,)579.711L XX 01ln()585.326L X 例:例:X1为吸烟,为吸烟,X2为饮酒,检验饮酒与食为饮酒,检验饮酒与食管癌关系,管癌关系,H0:2=0,H1:201212ln (,)ln ()2( 579.711 ( 585.326)11.23GL XXL X G 3.84,p0.05,说明调整吸烟因素说明调整吸烟因素后,饮酒与食管癌有关系。后,饮酒与食管癌有关系。01 122log ( )it pxx01 1
16、log ( )it px大城小事25四、变量筛选四、变量筛选目的;将回归系数有显著意义的自变量选入目的;将回归系数有显著意义的自变量选入模型中,作用不显著的自变量则排除在外。模型中,作用不显著的自变量则排除在外。变量筛选算法有:前进法、后退法和变量筛选算法有:前进法、后退法和 逐步法(逐步法(stepwise)。)。例:讲义例例:讲义例16-2,用逐步法,用逐步法选入变量的显著水准为选入变量的显著水准为0.10,变量保留在方,变量保留在方程的水准为程的水准为0.15例:例:16-2讲义讲义261-263页页大城小事26表表16-4 进入方程的自变量及参数估计进入方程的自变量及参数估计变量变量
17、Sb Wald2 P 标准标准 OR常数常数 -4.705 1.54 9.30 0.0023 年龄年龄 0.924 0.477 3.76 0.0525 0.401 2.52X5 1.496 0.744 4.04 0.0443 0.406 4.46X6 3.136 1.249 6.30 0.0121 0.703 23.06X8 1.947 0.847 5.29 0.0215 0.523 7.01标准回归系数(标准回归系数(b) 比较各自变量对比较各自变量对Y 的相对贡献的相对贡献/(/3)jjjbbs大城小事27第二节 条件Logistic回归概念:概念:用配对设计获得病例对照研究资料,计算的用
18、配对设计获得病例对照研究资料,计算的Logistic回归模型为回归模型为条件条件Logistic回归回归。成组(未配对)设计的病例对照研究资料,计算的成组(未配对)设计的病例对照研究资料,计算的Logistic回归模型为回归模型为非条件非条件Logistic回归。回归。例:见例:见265页页区别:区别:条件条件Logistic回归的参数估计无常数项(回归的参数估计无常数项(0),),主主要用于危险因素的分析。要用于危险因素的分析。大城小事28第三节第三节 logistic回归的应用及注意事回归的应用及注意事项项 一、一、logisticlogistic回归的应用回归的应用1.1.疾病(某结果)
19、的危险因素分析和筛选疾病(某结果)的危险因素分析和筛选 用回归模型中的回归系数(用回归模型中的回归系数(i i)和和OROR说明说明危险因素与疾病的关系。例:讲义例危险因素与疾病的关系。例:讲义例16-116-1,16-216-2,16-316-3适用的资料:适用的资料: 前瞻性研究设计、病例对照研究设计、前瞻性研究设计、病例对照研究设计、 横断面研究设计的资料。横断面研究设计的资料。三类研究计算的三类研究计算的logistic logistic 回归模型的回归模型的 意义是一致。仅常意义是一致。仅常数项不同。(证明略)数项不同。(证明略)大城小事29Logistic回归的应用回归的应用2.校
20、正混杂因素,对疗效做评价校正混杂因素,对疗效做评价在临床研究和疗效的评价,组间某些因素构在临床研究和疗效的评价,组间某些因素构成不一致干扰疗效分析,通过该法可控制成不一致干扰疗效分析,通过该法可控制非处理因素,正确评价疗效。非处理因素,正确评价疗效。3.预测与判别预测与判别预测个体在某因素存在条件下,发生某事件预测个体在某因素存在条件下,发生某事件(发病)的概率,为进一步治疗提供依据。(发病)的概率,为进一步治疗提供依据。大城小事30表表5-4甲乙两疗法某病治愈率甲乙两疗法某病治愈率%比较比较病型病型 甲疗法甲疗法 乙疗法乙疗法 病人病人 治愈治愈 治愈治愈 病人病人 治愈治愈 治治愈愈 数数
21、 数数 率率 数数 数数 率率普通型普通型 300 180 60.0 100 65 65.0重型重型 100 35 35.0 300 125 41.7合计合计 400 215 53.8 400 190 47.5例:例:例例1大城小事31表表5-5直接法计算标准化治愈率直接法计算标准化治愈率病型病型 标准标准 甲疗法甲疗法 乙疗法乙疗法 治疗治疗 原治原治 预期预期 原治原治 预期预期 人数人数 愈率愈率 治愈数治愈数 愈率愈率 治愈数治愈数普通型普通型 400 60.0 240 65.0 260重型重型 400 35.0 140 41.7 167合计合计 800 380 427调整率(标准化率
22、):调整率(标准化率): %5 .47800380iiiNPNP甲%4 .53800427乙P大城小事32X1疗法(甲疗法(甲=0,乙,乙=1)X2病情(轻病情(轻=1,重,重=0)Y疗效(疗效(Y=1有效,有效,Y=0无效)无效) LOGISTIC回归计算回归计算 Standard Wald Parameter Estimate Error Chi-Squa Pr Intercept -0.6453 0.1653 15.24 .0001 疗法疗法 0.2482 0.1699 2.13 0.1442 病情病情 0.9900 0.1699 33.93 .0001 Odds Ratio Estim
23、ate Point 95% Wald Effect Estimate Confidence Limits 疗法疗法 1.282 0.919 1.788 病情病情 2.691 1.929 3.755大城小事33例例2 性别、两种药物对某病疗效的研究性别、两种药物对某病疗效的研究不考虑性别的影响,疗效与药物的logistic回归2=10.23,p=0.0014,OR=4.46性别治疗方法疗效有效(y=1) 无效(y=0)合计女X1=1新药(x2=1) 21627对照(x2=0) 131932男X1=0新药(x2=1) 7714对照(x2=0) 11011大城小事34考虑性别、药物对疗效的作用考虑性
24、别、药物对疗效的作用 Standard WaldParame Estimate Error Chi-Square Pr 常数常数 -1.9037 0.5982 10.127 0.0015性别性别 1.4685 0.575 6.508 0.0107药物药物 1.7816 0.518 11.794 0.0006 Odds Ratio Estimates Point 95% Wald Effect Estimate Confidence Limits x1 性别性别 4.343 1.405 13.421 x2 药物药物 5.939 2.149 16.417大城小事35结论:性别和药物的回归系数都均有
25、统计意义。结论:性别和药物的回归系数都均有统计意义。说明女性或用新药的疗效较优。说明女性或用新药的疗效较优。用用Logistic模型方程对个体的疗效做预测模型方程对个体的疗效做预测 :( 1.9037 1.4685 1 1.7816 2)1(1/ )1xxp yxe 设如女性病人,设如女性病人,x1=1,用新药用新药x2=1,有效的概率有效的概率p=0.79如男性病人如男性病人x1=0,用新药用新药x2=1, 有效的概率有效的概率p=0.4695大城小事36二、Logistic回归应用的注意事项回归应用的注意事项1.模型中自变量的取值模型中自变量的取值 自变量(自变量(X)可为计量数据、分类数
26、据和可为计量数据、分类数据和等级数据。等级数据。 计量数据常重新划为有序组段,计量数据常重新划为有序组段,OR的实际的实际意义较大。意义较大。 例:年龄(岁,例:年龄(岁,x1) 1ln()0.041paxpexp(0.04)1.0408OR 大城小事37数据的几种赋值形式数据的几种赋值形式1)两分类变量,赋值为:有)两分类变量,赋值为:有=1,无,无=02)有序变量,赋值;无)有序变量,赋值;无=0,少,少=1,中,中=2,多,多=3 例;年龄例;年龄 45=1 45-54=2 55-64=3 65=43.)多分类无序变量:)多分类无序变量:赋值为:哑变量(赋值为:哑变量(dummy var
27、iable)形式形式见例:见例:注:变量取值不同,方程的系数和符号将发生变化。注:变量取值不同,方程的系数和符号将发生变化。大城小事38表表16-2 冠心病冠心病8个可能的危险因素与赋值个可能的危险因素与赋值(讲义(讲义262页)页) 因素因素变量名变量名赋值说明赋值说明年龄年龄(岁岁)X145=1, 45 54=2, 55 64=3, 65 =4高血压史高血压史X2无无=0, 有有=1高血压家族史高血压家族史X3无无=0, 有有=1吸烟吸烟X4不吸不吸=0, 吸吸=1大城小事39表表16-9 年龄(年龄(X)化为哑变量的赋值化为哑变量的赋值年龄(岁年龄(岁) 有序变量有序变量哑变量(方法一)
28、哑变量(方法一)X水平水平D1D2D3 ChiSq Deviance 1 3.4202 0.0644 Pearson 1 3.4218 0.0643大城小事464.多分类的Logistic回归Logistic回归可处理:回归可处理: 1)应变量(应变量(Y)为有序的多分类资料为有序的多分类资料如结果为:治愈、显效、好转、无效如结果为:治愈、显效、好转、无效 2)应变量(应变量(Y)为无序的多分类资料为无序的多分类资料例:例: 研究阑尾炎类型与危险因素关系研究阑尾炎类型与危险因素关系阑尾炎类型有:卡他型、坏疽型、腹膜炎型阑尾炎类型有:卡他型、坏疽型、腹膜炎型多分类多分类Logistic回归方法(
29、略)回归方法(略)大城小事47结果的表达一般一般logistic 回归分析报告内容:回归分析报告内容:1.危险因素的回归系数及标准误、危险因素的回归系数及标准误、p值值2.标准化的回归系数。标准化的回归系数。3.危险因素对应的危险因素对应的OR和可信区间和可信区间4.Logistic回归方程3/jjjSbb讲义264页大城小事48本节重点掌握内容和作业一、问答题一、问答题1.Logistic回归与线性回归有什么不同?回归与线性回归有什么不同?2. Logistic回归可解决哪些问题?回归可解决哪些问题?3.自变量可以有哪些类型,应用时应如何自变量可以有哪些类型,应用时应如何赋值?赋值?4. L
30、ogistic回归中回归中的含义和方程的表达。的含义和方程的表达。二、计算分析题的第二、计算分析题的第2题的第(题的第(1)题)题。大城小事49大城小事50Logistic regression大城小事51 第一节第一节. .非条件非条件logisticlogistic回归回归第二节第二节. .条件条件logisticlogistic回归回归第三节第三节. . 应用及其注意事项应用及其注意事项大城小事52 医学研究中常碰到的可能取值仅有两个(即),如发病与未发病、阳性与阴性、死亡与生存、治愈与未治愈、暴露与未暴露等,显然这类资料不满足多重回归的条件 什么情况下采用什么情况下采用Logistic
31、Logistic回归回归大城小事53 Brown(1980)在术前检查了53例前列腺癌患者,拟用年龄(AGE)、酸性磷酸酯酶(ACID)两个连续型的变量,X射线(X_RAY)、术前探针活检病理分级(GRADE)、直肠指检肿瘤的大小与位置(STAGE)三个分类变量与手术探查结果变量NODES(1、0分别表示癌症的淋巴结转移与未转移 )建立淋巴结转移的预报模型。实例大城小事5453例接受手术的前列腺癌患者情况 大城小事5526例冠心病病人和28例对照者进行病例对照研究 大城小事5626例冠心病病人和28例对照者进行病例对照研究 大城小事57一、logistic回归模型 大城小事58概率预报模型概率
32、预报模型 )(11011011011011)(exp11)exp(1)exp(ppXXppppppeXXXXXX大城小事59二、模型的 Logistic回归参数的估计通常采用最大似然法最大似然法(maximum likelihood,ML)。最大似然法的基本思想是先建立似然函数与对数似然函数,再通过使对数似然函数最大求解相应的参数值,所得到的估计值称为参数的最大似然估计值。 大城小事60 大城小事61三、回归三、回归 大城小事62优势比及其可信区间优势比及其可信区间 大城小事63标准化回归标准化回归大城小事64P262表表16-3资料计算的资料计算的SAS程序程序大城小事65 The LOGI
33、STIC ProcedureAnalysis of Maximum Likelihood Estimates大城小事66 预报模型预报模型)9169. 16443. 08896. 5(8181818111)9169. 16443. 08896. 5(exp11)9169. 16443. 08896. 5exp(1)9169. 16443. 08896. 5exp(XXeXXXXXX大城小事67四、回归四、回归 X当只有一个自变量时,以相应的预报概率为纵轴,自变量 为横轴,可绘制出一条S形曲线。回归参数的正负符号与绝对值大小,分别决定了S形曲线的形状与方向 00.20.40.60.81-2.5
34、-1.5 -0.50.51.52.53.5X预报概率Logistic回归曲线中心线大城小事68大城小事69大城小事70五、整个回归模型五、整个回归模型 大城小事71似然比检验(似然比检验(likelihood ratio test)大城小事72六、六、logistic逐步回归(变量筛选)逐步回归(变量筛选)MODEL语句加入选项“ SELECTION=STEPWISE SLE=0.100.10 SLS=0.100.10;”常采用似然比检验:决定自变量是否引入或剔除。)ln2()ln2()ln(ln210102LLLLLR大城小事73模型中有模型中有X5、X6、X8,看是否引入看是否引入X1模型
35、含X5、X6、X8的模型的负二倍对数似然为: 50.402模型含X1、X5、X6、X8的模型的负二倍对数似然为: 46.224)ln2(0L)ln2(1LX1,10. 00410. 0, 1,178. 4224.40402.502引入变量PLR大城小事74 大城小事75 大城小事76 大城小事77 大城小事78 大城小事79大城小事80 第三节第三节 应用及其注意事项应用及其注意事项应变量为(二项)分类的资料应变量为(二项)分类的资料(预测、判别、危险因素分析等等)(预测、判别、危险因素分析等等)大城小事81 注意事项注意事项1.分类自变量的哑变量编码 为了便于解释,对二项分类变量一般按0、1
36、编码,一般以0表示阴性或较轻情况,而1表示阳性或较严重情况。如果对二项分类变量按+1与-1编码,那么所得的 ,容易造成错误的解释。 )2exp(OR大城小事82西、中西、中三种疗法哑变量化 其它中西其它西012011XX原资料原资料姓名姓名性别性别年龄年龄 疗法疗法张山张山150中西中西李四李四120西西王五王五018中中刘六刘六070中中赵七赵七135中西中西孙八孙八029西西哑变量化哑变量化姓名姓名性别性别年龄年龄X1X2张山张山15001李四李四12010王五王五01800刘六刘六07000赵七赵七13501孙八孙八0291000100121中中西西疗法XX大城小事83 注意事项注意事项
37、2.自变量的筛选 不同的筛选方法有时会产生不同的模型。实际工作中可同时采用这些方法,然后根据专业的可解释性、模型的节约性和资料采集的方便性等,决定采用何种方法的计算结果。大城小事84 注意事项注意事项3.交互作用 交互作用的分析十分复杂,应根据临床意义与实际情况酌情使用。大城小事85 注意事项注意事项4. 多分类logistic回归 心理疾病分为精神分裂症、抑郁症、神经官能症等(名义变量名义变量nominal variables);疗效评价分为无效、好转、显效、痊愈(有序变量有序变量ordinal variables)。 参见“余松林主编。医学统计学(七年制全国规划教材,第17章, 2002年3月 )”