1、第七章 主成分分析v7.1 引言v7.2 总体的主成分v7.3 样本的主成分.7.1 引言v主成分分析（或称主分量分析，principal component analysis）由皮尔逊（Pearson,1901）首先引入，后来被霍特林（Hotelling,1933）发展了。v主成分分析是一种通过降维技术把多个变量化为少数几个主成分（即综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。v主成分分析的一般目的是：(1)变量的降维；(2)主成分的解释。.寻找主成分的正交旋转 v旋转公式：112212cossinsincosyxxyxx .7.
2、2 总体的主成分v一、主成分的定义及导出v二、主成分的性质v三、从相关阵出发求主成分.一、主成分的定义及导出v设 为一个p维随机向量，E(x)=， V(x)=。考虑如下的线性变换希望在约束条件 下寻求向量a1，使得 达到最大，y1就称为第一主成分。v设1 2 p0为的特征值， ， i=1,2, ,p为相应的单位特征向量，且相互正交。则可求得第一主成分为它的方差具有最大值1。 12( ,)px xxx111 121211ppya xa xa x a x1 11a a111V y a a12,iiipitttt111 121211ppyt xt xt x t x.v如果第一主成分所含信息不够多，还
3、不足以代表原始的p个变量，则需考虑再使用一个综合变量 ，为使y2所含的信息与y1不重叠，应要求Cov(y1,y2) =0我们在此条件和约束条件 下寻求向量a2，使得 达到最大，所求的 称为第二主成分。求得的第二主成分为其方差为2。 v一般来说，x的第i主成分是指：在约束条件 和 Cov(yk,yi)=0, k=1,2, ,i1下寻求ai，使得达到最大。第i主成分为22y a x221a a222V y a a2y212 122222ppyt xt xtx t x1iia aiiiV y a a1122,1,2,iiipipiyt xt xt xipt x.主成分的几何意义v在几何上，ti表明了
4、第i主成分的方向，yi是x在ti上的投影值（其绝对值即为投影长度），i是这些值的方差，它反映了在ti上投影点的分散程度。.x投影到ti上的值其中i是ti与x的夹角。cosiiiiiyt xxxt xtx.主成分向量与原始向量之间的关系式111222pppyyyt xtt xtyxT xt xt12,piktTt tt其中是正交矩阵。xTy.11121112122222121111211221222212ppppppppppppppppytttxytttxytttxxtttyxtttyxttty.主成分与原始变量之间的关系式矩阵y1y2ypx1t11t12t1px2t21t22t2pxptp1t
5、p 2tpp.正交变换 的几何意义v正交变换 的几何意义是将Rp中由x1,x2, ,xp构成的原p维坐标轴作一正交旋转，一组正交单位向量t1,t2, ,tp表明了p个新坐标轴的方向，这些新坐标轴彼此仍保持正交（或说垂直）。yT xyT x.二、主成分的性质v1.主成分向量的协方差矩阵v2.主成分的总方差 v3.原始变量xi与主成分yk之间的相关系数v4.m个主成分对原始变量的贡献率v5.原始变量对主成分的影响.1.主成分向量的协方差矩阵V(y)= 其中=diag(1, 2, ,p)，即V(yi)= i, i=1,2, ,p，且y1,y2, ,yp互不相关。.2.主成分的总方差 v由于所以 或
6、trtrtrtrAT TTT11ppiiiii 11ppiiiiV yV x.v总方差中属于第i主成分yi （或被yi所解释）的比例为称为主成分yi的贡献率。v第一主成分y1的贡献率最大，表明它解释原始变量 x1,x2, ,xp的能力最强，而y2,y3, ,yp的解释能力依次递减。v主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有p个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。 1piii.v前m个主成分的贡献率之和称为主成分y1,y2, ,ym的累计贡献率，它表明y1,y2, ,ym解释x1,x2, ,xp的能力。v通常取（相对于p）较小的m ，使得累计贡
7、献达到一个较高的百分比（如8090）。此时，y1,y2, ,ym可用来代替x1,x2, ,xp，从而达到降维的目的，而信息的损失却不多。11pmiiii.3.原始变量xi与主成分yk之间的相关系数 v x=Ty即xi=ti1y1+ti2y2+tipyp所以Cov(xi,yk)=Cov(tikyk，yk)=tikkv在实际应用中，通常我们只对xi (i=1,2, ,p)与yk (k=1,2, ,m)的相关系数感兴趣。 Cov(),1,2,kikikikiiikx yx yti kpV xV y,.4.m个主成分对原始变量的贡献率vm个主成分y1,y2, ,ym从原始变量x1,x2, ,xp中提取
8、的信息量，可度量为xi与y1,y2, ,ym的复相关系数的平方，称为m个主成分y1,y2, ,ym对原始变量xi的贡献率。其值为v当m=p时， 11121,1221110CovCovCov0Coviiimmimimiimmiimikk ikiikkimV yx yx yx yV yx yV xx yx yx yx ytx y, , ,22111ppikk ikiikkx yt,.v例7.2.1 设x=(x1,x2,x3)的协方差矩阵为其特征值为1=5.83，2=2.00，3=0.17相应的特征向量为若只取一个主成分，则贡献率为5.83/(5.83+2.00+0.17)=0.72875=72.8
9、75%120250002 1230.38300.9240.924 ,0 ,0.3830.00010.000 ttt.可见，y1对第三个变量的贡献率为零，这是因为x3与x1和x2都不相关，在y1中未包含一点有关x3的信息，这时仅取一个主成分就显得不够了，故应再取y2，此时累计贡献率为(5.83+2.00)/8=97.875%(y1，y2)对每个变量xi的贡献率分别为 ， 都比较高。222 1,23 1,299.6%,100%21,285.5%i表7.2.1 y1及( (y1,y2) )对每个原始变量的贡献率i(y1,xi)(y2,xi)10.9250.8550.0000.85520.9980.9
10、960.0000.99630.0000.0001.0001.00021i21,2i21i21,2i.5.原始变量对主成分的影响v yk=t1kx1+t2kx2+ +tpkxp称tik为第k主成分yk在第i个原始变量xi上的载荷，它度量了xi对yk的重要程度。v在解释主成分时，我们需要考察载荷，同时也应考察一下相关系数。v方差大的那些变量与具有大特征值的主成分有较密切的联系，而方差小的另一些变量与具有小特征值的主成分有较强的联系。通常我们取前几个主成分，因此所取主成分会过于照顾方差大的变量，而对方差小的变量却照顾得不够。.v例7.2.2 设x=(x1,x2,x3)的协方差矩阵为经计算，的特征值及
11、特征向量为1=109.793，2=6.469，3=0.738 相应的主成分分别为162302143041001230.3050.9440.1270.041 ,0.120,0.9920.9510.3080.002ttt.y1=0.305x1+0.041x2+0.951x3y2=0.944x1+0.120 x20.308x3y3=0.127x1+0.992x20.002x3可见，方差大的原始变量x3在很大程度上控制了第一主成分y1，方差小的原始变量x2几乎完全控制了第三主成分y3，方差介于中间的x1则基本控制了第二主成分y2。y1的贡献率为这么高的贡献率首先归因于x3的方差比x1和x2的方差大得多
12、，其次是x1,x2,x3相互之间存在着一定的相关性。y3的特征值相对很小，表明x1,x2,x3之间有这样一个线性依赖关系：0.127x1+0.992x20.002x3c其中c=0.1271+0.99220.0023为一常数。1123109.7930.938117.三、从相关阵出发求主成分v最常用的标准化变换是令 。v显然，的协方差矩阵正是x的相关矩阵R。v从R出发求主成分，主成分分析将均等地对待每一个原始变量。v从R出发求得主成分的方法与从出发是完全类似的，并且主成分的一些性质具有更简洁的数学形式。设 为R的p个特征值， 为相应的单位特征向量，且相互正交，则p个主成分为 。记 ，于是y*=T*
13、x*120p*12,pttt*1122,ppyyyt xt xt x *1212,ppikyyyTtyttt*,1,2,iiiiixxip*12,px xxx.从R出发的主成分性质v(1)E(y*)=0，V(y*)=*，其中 v(2) 。v(3)变量 与主成分 之间的相关系数即有*12*diag,p *1piip*ix*ky* *,1,2,ikk ikxyti kp，*12*12kkpkkkkpkxyxyxyttt，. 因此，在解释主成分 时，由相关矩阵R求得的载荷 和相关系数 所起的作用是完全相同的，只需选其一用来作主成分解释即可。v(4)主成分 对变量 的贡献率v(5) 。*ky*12,k
14、kpkttt*12,kkxyxy，*pkxy，*12,myyy*ix22* *21,11mmimikk ikkkxyt ，2* *2111ppikk ikkkxyt，.v例7.2.3 在例7.2.2中，x的相关矩阵R的特征值及特征向量为相应的主成分分别为10.50.750.510.40.750.41R=*123*1232.114,0.646,0.2400.6270.2410.7410.497 ,0.856,0.1420.6000.4570.656ttt*1123*2123*31230.6270.4970.6000.2410.8560.4570.7410.1420.656yxxxyxxxyxxx
15、 . 的贡献率为 和 累计贡献率为现比较本例中从R出发和例7.2.2中从 出发的主成分计算结果。从R出发的 的贡献率0.705明显小于从出发的y1的贡献率0.938，事实上，原始变量方差之间的差异越大，这一点也就倾向于越明显。 可用标准化前的原变量表达如下：*1y*123,yyy*33112211122330.6270.4970.60041100.1570.4970.060 xxxyxxx*1y*1y*2y*12.1140.70533*122.1140.6460.92033.可见， 在原变量x1,x2,x3上的载荷相对大小与例7.2.2中yi在x1,x2,x3上的载荷相对大小之间有着非常大的差
16、异。这说明，标准化后的结论完全可能会发生很大的变化，因此标准化不是无关紧要的。*33112221122330.2410.8560.45741100.0600.8560.046xxxyxxx *33112231122330.7410.1420.65641100.1850.1420.066xxxyxxx *iy.7.3 样本的主成分v我们可以从协差阵或相关阵R出发求得主成分。但在实际问题中，或R一般都是未知的，需要通过样本来进行估计。设数据矩阵为则样本协差阵和样本相关阵分别为11121121222212ppnnnpnxxxxxxxxxxxXx 11()()1niiijisnSxxxx ,ijiji
17、jiijjsrrssR.7.3 样本的主成分v一、样本主成分的定义v二、从S出发求主成分v三、从 出发求主成分v四、主成分分析的应用v五、若干补充及应用中需注意的问题R.一、样本主成分的定义v若向量a1在约束条件 下，使得的样本方差 达到最大，则称线性组合 为第一样本主成分。若向量a2在约束条件 和的样本协方差1 11a a2111111111111njjnjjjnna xa xaxxxxaa Sa11 y a x221a a 1121122212,nna x a xa x a xa x a x.下，使得 的样本方差 达到最大，则称线性组合 为第二样本主成分。一般地，若向量ai 在约束条件 和
18、 的样本协方差112211212111101njjjnjjjnna xa xa xa xaxxxxaa Sa21222,na x a xa x22222111njjna xa xa Sa22 y a x1iia a110,1,2,11nkjkijikijkina xa xa xa xa Sa 1122,kikiknina x a xa x a xa x a x.下，使得的样本方差达到最大，则称线性组合 为第i样本主成分， i=1,2, ,p 。v需要指出的是，样本主成分是使样本方差而非方差达到最大，是使样本协方差而非协方差为零。2111nijiiijna xa xa Saiiy a x.二、从
19、S出发求主成分v用类似于上一节的方法，以S代替即可求得样本主成分。设 为S的特征值， 为相应的单位特征向量，且彼此正交。则第i样本主成分为 ，它具有样本方差 , i=1,2,p，各主成分之间的样本协方差为零。在几何上，p个样本主成分的方向为 所在的方向，且彼此垂直。n个样品点在 上的投影点最为分散，在其余 上投影点的分散程度依次递减。120p12 , ,pt ttiiy t x12 , ,pt tt2,ptt1t.v总样本方差vxi与 的样本相关系数其中 ，k=1,2,p。11ppiiiiisky,1,2,kikikiir x yti kps，12,kkkpktttt.主成分得分v在实际应用中
20、，我们常常让xj 减去 ，使样本数据中心化。这不影响样本协差阵S，在前面的论述中惟一需要变化的是，将第i主成分改写成中心化的形式，即v若将各观测值xj代替上式中的观测值向量x，则第i主成分的值称之为观测值xj的第i主成分得分。所有观测值的平均主成分得分x,1,2,iiyiptxx,1,2,jiijyiptxx11110,1,2,nnijiijjjyynipnntxx.三、从 出发求主成分v设样本相关阵 的p个特征值为 ， 为相应的正交单位特征向量，则第i样本主成分v其中x*是各分量经（样本）标准化了的向量，即RR*12p*12 ,pttt*,1,2,iiyipt x*1xDxx1122diag
21、,ppsssD.标准化后的主成分得分v令这是xj的各分量数据经标准化后的数据向量，将其代替上述样本主成分公式中的x*，即得观测值xj在第i主成分上的得分所有观测值的平均主成分得分*1jjxDxx*,1,2,jiijyipt x*11110,1,2,nnijiijjjyyipnntx.四、主成分分析的应用v在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平，其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释。v主成分的解释其含义一般多少带有点模糊性，不像原始变量的含义那么清楚、确切，这是变量降维过程中不得不付出的代价。因此，提取的主成分个数m通常应明显小
22、于原始变量个数p（除非p本身较小），否则维数降低的“利”可能抵不过主成分含义不如原始变量清楚的“弊”。.v如果原始变量之间具有较高的相关性，则前面少数几个主成分的累计贡献率通常就能达到一个较高水平，也就是说，此时的累计贡献率通常较易得到满足。v主成分分析的困难之处主要在于要能够给出主成分的较好解释，所提取的主成分中如有一个主成分解释不了，整个主成分分析也就失败了。v主成分分析是变量降维的一种重要、常用的方法，简单的说，该方法要应用得成功，一是靠原始变量的合理选取，二是靠“运气”。.v例7.3.1 在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样六项：身高（x
23、1）、坐高（x2） 、胸围（x3） 、手臂长（x4） 、肋围（x5）和腰围（x6） 。所得样本相关矩阵列于表7.3.1。 x1x2x3x4x5x6x11.000 x20.791.000 x30.360.311.000 x40.760.550.351.000 x50.250.170.640.161.000 x60.510.350.580.380.631.000表7.3.1 男子身材六项指标的样本相关矩阵.经计算，相关阵 的前三个特征值、相应的特征向量以及贡献率列于表7.3.2。R表7.3.2 的前三个特征值、特征向量以及贡献率R特征向量 ：身高0.4690.3650.092 ：坐高0.4040.
24、3970.613 ：胸围0.3940.3970.279 ：手臂长0.4080.3650.705 ：肋围0.3370.5690.164 ：腰围0.4270.3080.119特征值3.2871.4060.459贡献率0.5480.2340.077累计贡献率0.5480.7820.859*1x*2x*3x*4x*5x*6x1t2t3t.前三个主成分分别为从表7.3.2中可以看到，前两个主成分的累计贡献率已达78.2，前三个主成分的累计贡献率达85.9，因此可以考虑只取前面两个或三个主成分，它们能够很好地概括原始变量。第一主成分 对所有（标准化）原始变量都有近似相等的正载荷，故称第一主成分为（身材）大
25、小成分。 *1123456*2123456*31234560.4690.4040.3940.4080.3370.4270.3650.3970.3970.3650.5690.3080.0920.6130.2790.7050.1640.119yxxxxxxyxxxxxxyxxxxxx 1 y.第二主成分 在 上有中等程度的正载荷，而在 上有中等程度的负载荷，称第二主成分为形状成分（或胖瘦成分）。第三主成分 在 上有大的正载荷，在 上有大的负载荷，而在其余变量上的载荷都较小，可称第三主成分为臂长成分。由于第三主成分的贡献率不高（7.65）且实际意义也不太重要，因此我们一般可考虑取前两个主成分。 由于
26、 非常小，所以存在共线性关系：2 y*356,x x x*124,x x x3 y*2x*4x660.126,( 0.786,0.433, 0.125,0.371,0.034,0.179) t6*1234560.7860.4430.1250.3710.0340.1790 xxxxxx.v例7.3.2 在习题6.5中，如下八项男子径赛运动记录： x1：100米（秒） x5：1500米（分） x2：200米（秒） x6：5000米（分） x3：400米（秒） x7：10000米（分） x4 ：800米（秒） x8：马拉松（分）表7.3.3 八项男子径赛运动记录的样本相关矩阵x1x2x3x4x5x6
27、x7x8x11.000 x20.9231.000 x30.8410.8511.000 x40.7560.8070.8701.000 x50.7000.7750.8350.9181.000 x60.6190.6950.7790.8640.9281.000 x70.6330.6970.7870.8690.9350.9751.000 x80.5200.5960.7050.8060.8660.9320.9431.000.表7.3.4 的前三个特征值、特征向量以及贡献率R特征向量 ：100米0.3180.5670.332 ：200米0.3370.4620.361 ：400米0.3560.2480.560
28、 ：800米0.3690.0120.532 ：1500米0.3730.1400.153 ：5000米0.3640.3120.190 ：10000米0.3670.3070.182 ：马拉松0.3420.4390.263特征值6.6220.8780.159贡献率0.8280.1100.020累计贡献率0.8280.9370.957*1x*2x*3x*4x*5x*6x1t2t3t*7x*8x.v例7.3.3 对例6.3.3中的数据从相关矩阵出发进行主成分分析。经计算，x1,x2, ,x8的样本相关矩阵 列于表7.3.5。 的前三个特征值、特征向量以及贡献率列于表7.3.6。RR表7.3.5 消费性支
29、出八个变量的样本相关矩阵x1x2x3x4x5x6x7x8x11.000 x20.2471.000 x30.6980.2581.000 x40.4680.4230.6211.000 x50.8280.0860.5850.5311.000 x60.7690.2550.8560.6840.7081.000 x70.6700.2010.5690.3140.8000.6471.000 x80.8770.3490.6670.6280.7760.7450.5251.000.表7.3.6 的前三个特征值、特征向量以及贡献率R特征向量 ：食品0.4010.0770.415 ：衣着0.1320.7490.332
30、：家庭设备用品及服务0.3750.0650.442 ：医疗保健0.3200.3450.478 ：交通和通讯0.3880.2320.279 ：娱乐教育文化服务0.4060.0270.310 ：居住0.3260.4960.034 ：杂项商品和服务0.3960.0960.345特征值5.0981.3520.574贡献率0.6370.1690.072累计贡献率0.6370.8060.878*1x*2x*3x*4x*5x*6x1t2t3t*7x*8x.表7.3.7 按第一主成分排序的31个地区地区地区江西2.2341.867新疆0.6970.647河南1.9470.388四川0.5330.041黑龙江1
31、.9270.636广西0.2512.058吉林1.8590.151山东0.1470.983山西1.8480.404福建0.2011.337内蒙古1.8260.509湖南0.2190.203安徽1.7960.519江苏0.4070.311甘肃1.5490.526云南0.4350.479宁夏1.5010.906西藏0.4372.365辽宁1.3130.844重庆1.1150.409贵州1.2980.341天津2.0060.044海南1.1571.913浙江3.5830.531青海1.0450.426北京5.4262.466陕西0.8590.501广东5.5833.072河北0.7690.580上海
32、5.8660.195湖北0.7170.2472 y2 y1 y1 y.表7.3.8 按第二主成分排序的31个地区地区地区广东5.5833.072山西1.8480.404广西0.2512.058重庆1.1150.409海南1.1571.913青海1.0450.426江西2.2341.867云南0.4350.479福建0.2011.337内蒙古1.8260.509安徽1.7960.519甘肃1.5490.526陕西0.8590.501浙江3.5830.531河南1.9470.388河北0.7690.580贵州1.2980.341黑龙江1.9270.636江苏0.4070.311新疆0.6970.647湖北0.7170.247辽宁1.3130.844湖南0.2190.203宁夏1.5010.906上海5.8660.195山东0.1470.983四川0.5330.041西藏0.4372.365天津2.0060.044北京5.4262.466吉林1.8590.1511 y1 y2 y2 y.五、若干补充及应用中需注意的问题v1.关于时间序列数据v2.主成分用于聚类分析v3.关于不同时期的主成分分析v4.对综合得分方法的质疑.
