地质数据处理课件：12-主成份分析.ppt

1、1主成份分析洪金益洪金益中南大学地学院中南大学地学院地质数据处理基础122第12章 主成分分析 1 引言 2 总体的主成分 3 样本的主成分31 引言 主成分分析（或称主分量分析，principal component analysis）由皮尔逊（Pearson,1901）首先引入，后来被霍特林（Hotelling,1933）发展了。 主成分分析是一种通过降维技术把多个变量化为少数几个主成分（即综合变量）的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。 主成分分析的一般目的是：(1)变量的降维；(2)主成分的解释。4寻找主成分的正交旋转 旋转公式

2、：112212cossinsincosyxxyxx 52 总体的主成分 一、主成分的定义及导出 二、主成分的性质 三、从相关阵出发求主成分6一、主成分的定义及导出 设 为一个p维随机向量，E(x)=， V(x)=。考虑如下的线性变换希望在约束条件 下寻求向量a1，使得 达到最大，y1就称为第一主成分。 设12 p0为的特征值， ， i=1,2, ,p为相应的单位特征向量，且相互正交。则可求得第一主成分为它的方差具有最大值1。12( ,)px xxx111 121211ppya xa xa x a x1 11a a111V y a a12,iiipitttt111 121211ppyt xt x

3、t x t x7 如果第一主成分所含信息不够多，还不足以代表原始的p个变量，则需考虑再使用一个综合变量 ，为使y2所含的信息与y1不重叠，应要求Cov(y1,y2) =0在此条件和约束条件 下寻求向量a2，使得 达到最大，所求的 称为第二主成分。求得的第二主成分为其方差为2。 一般来说，x的第i主成分是指：在约束条件 和 Cov(yk,yi)=0, k=1,2, ,i1下寻求ai，使得达到最大。第i主成分为22y a x221a a222V y a a2y212 122222ppyt xt xtx t x1iia aiiiV y a a1122,1,2,iiipipiyt xt xt xipt

4、 x8主成分的几何意义 在几何上，ti表明了第i主成分的方向，yi是x在ti上的投影值（其绝对值即为投影长度），i是这些值的方差，它反映了在ti上投影点的分散程度。cosiiiiiyt xxxt xtx其中i是ti与x的夹角。9主成分向量与原始向量之间的关系式111222pppyyyt xtt xtyxT xt xt12,piktTt tt其中是正交矩阵。xTy11121112122222121111211221222212ppppppppppppppppytttxytttxytttxxtttyxtttyxtttyy1y2ypx1t11t12t1px2t21t22t2pxptp1tp 2tpp

5、主成分与原始变量之间的关系式矩阵10正交变换 的几何意义 正交变换 的几何意义是将Rp中由x1,x2, ,xp构成的原p维坐标轴作一正交旋转，一组正交单位向量t1,t2, ,tp表明了p个新坐标轴的方向，这些新坐标轴彼此仍保持正交（或说垂直）。yT xyT x11二、主成分的性质 1.主成分向量的协方差矩阵 2.主成分的总方差 3.原始变量xi与主成分yk之间的相关系数 4.m个主成分对原始变量的贡献率 5.原始变量对主成分的影响121.主成分向量的协方差矩阵V(y)= 其中=diag(1, 2, ,p)，即V(yi)= i, i=1,2, ,p，且y1,y2, ,yp互不相关。132.主成分

6、的总方差 由于所以 或 trtrtrtrAT TTT11ppiiiii 11ppiiiiV yV x14 总方差中属于第i主成分yi （或被yi所解释）的比例为称为主成分yi的贡献率。 第一主成分y1的贡献率最大，表明它解释原始变量 x1,x2, ,xp的能力最强，而y2,y3, ,yp的解释能力依次递减。 主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有p个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。 1piii15 前m个主成分的贡献率之和称为主成分y1,y2, ,ym的累计贡献率，它表明y1,y2, ,ym解释x1,x2, ,xp的能力。 通常取（相对

7、于p）较小的m ，使得累计贡献达到一个较高的百分比（如8090）。此时，y1,y2, ,ym可用来代替x1,x2, ,xp，从而达到降维的目的，而信息的损失却不多。11pmiiii163.原始变量xi与主成分yk之间的相关系数 x=Ty即xi=ti1y1+ti2y2+tipyp所以Cov(xi,yk)=Cov(tikyk，yk)=tikk 在实际应用中，通常我们只对xi (i=1,2, ,p)与yk (k=1,2, ,m)的相关系数感兴趣。 Cov(),1,2,kikikikiiikx yx yti kpV xV y,174.m个主成分对原始变量的贡献率 m个主成分y1,y2, ,ym从原始变

8、量x1,x2, ,xp中提取的信息量，可度量为xi与y1,y2, ,ym的复相关系数的平方，称为m个主成分y1,y2, ,ym对原始变量xi的贡献率。其值为 当m=p时， 11121,1221110CovCovCov0Coviiimmimimiimmiimikk ikiikkimV yx yx yx yV yx yV xx yx yx yx ytx y, , ,22111ppikk ikiikkx yt,18 例 设x=(x1,x2,x3)的协方差矩阵为其特征值为1=5.83，2=2.00，3=0.17相应的特征向量为若只取一个主成分，则贡献率为5.83/(5.83+2.00+0.17)=0.

9、72875=72.875%120250002 1230.38300.9240.924 ,0 ,0.3830.00010.000 ttt19可见，y1对第三个变量的贡献率为零，这是因为x3与x1和x2都不相关，在y1中未包含一点有关x3的信息，这时仅取一个主成分就显得不够了，故应再取y2，此时累计贡献率为(5.83+2.00)/8=97.875%(y1，y2)对每个变量xi的贡献率分别为 ， 都比较高。222 1,23 1,299.6%,100%21,285.5%i表 y1及( (y1,y2) )对每个原始变量的贡献率i(y1,xi)(y2,xi)10.9250.8550.0000.85520.

10、9980.9960.0000.99630.0000.0001.0001.00021i21,2i21i21,2i205.原始变量对主成分的影响 yk=t1kx1+t2kx2+ +tpkxp称tik为第k主成分yk在第i个原始变量xi上的载荷，它度量了xi对yk的重要程度。 在解释主成分时，我们需要考察载荷，同时也应考察一下相关系数。 方差大的那些变量与具有大特征值的主成分有较密切的联系，而方差小的另一些变量与具有小特征值的主成分有较强的联系。通常我们取前几个主成分，因此所取主成分会过于照顾方差大的变量，而对方差小的变量却照顾得不够。21 例 设x=(x1,x2,x3)的协方差矩阵为经计算，的特征

11、值及特征向量为1=109.793，2=6.469，3=0.738 相应的主成分分别为162302143041001230.3050.9440.1270.041 ,0.120,0.9920.9510.3080.002ttt22y1=0.305x1+0.041x2+0.951x3y2=0.944x1+0.120 x20.308x3y3=0.127x1+0.992x20.002x3可见，方差大的原始变量x3在很大程度上控制了第一主成分y1，方差小的原始变量x2几乎完全控制了第三主成分y3，方差介于中间的x1则基本控制了第二主成分y2。y1的贡献率为这么高的贡献率首先归因于x3的方差比x1和x2的方差

12、大得多，其次是x1,x2,x3相互之间存在着一定的相关性。y3的特征值相对很小，表明x1,x2,x3之间有这样一个线性依赖关系：0.127x1+0.992x20.002x3c其中c=0.1271+0.99220.0023为一常数。1123109.7930.93811723三、从相关阵出发求主成分 最常用的标准化变换是令 。 显然，的协方差矩阵正是x的相关矩阵R。 从R出发求主成分，主成分分析将均等地对待每一个原始变量。 从R出发求得主成分的方法与从出发是完全类似的，并且主成分的一些性质具有简洁的数学形式。设 为R的p个特征值， 为相应的单位特征向量，且相互正交，则p个主成分为 。记 ，于是y*

13、=T*x*120p*12,pttt*1122,ppyyyt xt xt x *1212,ppikyyyTtyttt*,1,2,iiiiixxip*12,px xxx24从R出发的主成分性质 (1)E(y*)=0，V(y*)=*，其中 (2) 。 (3)变量 与主成分 之间的相关系数即有*12*diag,p *1piip*ix*ky* *,1,2,ikk ikxyti kp，*12*12kkpkkkkpkxyxyxyttt，25 因此，在解释主成分 时，由相关矩阵R求得的载荷 和相关系数 所起的作用是完全相同的，只需选其一用来作主成分解释即可。 (4)主成分 对变量 的贡献率 (5) 。*ky*

14、12,kkpkttt*12,kkxyxy，*pkxy，*12,myyy*ix22* *21,11mmimikk ikkkxyt ，2* *2111ppikk ikkkxyt，26 例 在上例中，x的相关矩阵R的特征值及特征向量为相应的主成分分别为10.50.750.510.40.750.41R=*123*1232.114,0.646,0.2400.6270.2410.7410.497 ,0.856,0.1420.6000.4570.656ttt*1123*2123*31230.6270.4970.6000.2410.8560.4570.7410.1420.656yxxxyxxxyxxx 27

15、的贡献率为 和 累计贡献率为现比较本例中从R出发和上例中从 出发的主成分计算结果。从R出发的 的贡献率0.705明显小于从出发的y1的贡献率0.938，事实上，原始变量方差之间的差异越大，这一点也就倾向于越明显。 可用标准化前的原变量表达如下：*1y*123,yyy*33112211122330.6270.4970.60041100.1570.4970.060 xxxyxxx*1y*1y*2y*12.1140.70533*122.1140.6460.9203328可见， 在原变量x1,x2,x3上的载荷相对大小与yi在x1,x2,x3上的载荷相对大小之间有着非常大的差异。这说明，标准化后的结论

16、完全可能会发生很大的变化，因此标准化不是无关紧要的。*33112221122330.2410.8560.45741100.0600.8560.046xxxyxxx *33112231122330.7410.1420.65641100.1850.1420.066xxxyxxx *iy293 样本的主成分 我们可以从协差阵或相关阵R出发求得主成分。但在实际问题中，或R一般都是未知的，需要通过样本来进行估计。设数据矩阵为则样本协差阵和样本相关阵分别为11121121222212ppnnnpnxxxxxxxxxxxXx 11()()1niiijisnSxxxx ,ijijijiijjsrrssR303

17、 样本的主成分 一、样本主成分的定义 二、从S出发求主成分 三、从 出发求主成分 四、主成分分析的应用R31一、样本主成分的定义 若向量a1在约束条件 下，使得的样本方差 达到最大，则称线性组合 为第一样本主成分。若向量a2在约束条件 和的样本协方差1 11a a2111111111111njjnjjjnna xa xaxxxxaa Sa11 y a x221a a 1121122212,nna x a xa x a xa x a x32下，使得 的样本方差 达到最大，则称线性组合 为第二样本主成分。一般地，若向量ai 在约束条件 和 的样本协方差112211212111101njjjnjjj

18、nna xa xa xa xaxxxxaa Sa21222,na x a xa x22222111njjna xa xa Sa22 y a x1iia a110,1,2,11nkjkijikijkina xa xa xa xa Sa 1122,kikiknina x a xa x a xa x a x33下，使得的样本方差达到最大，则称线性组合 为第i样本主成分， i=1,2, ,p 。 需要指出的是，样本主成分是使样本方差而非方差达到最大，是使样本协方差而非协方差为零。2111nijiiijna xa xa Saiiy a x34二、从S出发求主成分 用类似于上一节的方法，以S代替即可求得样

19、本主成分。设 为S的特征值， 为相应的单位特征向量，且彼此正交。则第i样本主成分为 ，它具有样本方差 , i=1,2,p，各主成分之间的样本协方差为零。在几何上，p个样本主成分的方向为 所在的方向，且彼此垂直。n个样品点在 上的投影点最为分散， 在其余 上投影点的分散程度依次递减。120p12 , ,pt ttiiy t x12 , ,pt tt2,ptt1t35 总样本方差 xi与 的样本相关系数其中 ，k=1,2,p。11ppiiiiisky,1,2,kikikiir x yti kps，12,kkkpktttt36主成分得分 在实际应用中，我们常常让xj 减去 ，使样本数据中心化。这不影

20、响样本协差阵S，在前面的论述中唯一需要变化的是，将第i主成分改写成中心化的形式，即 若将各观测值xj代替上式中的观测值向量x，则第i主成分的值称之为观测值xj的第i主成分得分。所有观测值的平均主成分得分x,1,2,iiyiptxx,1,2,jiijyiptxx11110,1,2,nnijiijjjyynipnntxx37三、从 出发求主成分 设样本相关阵 的p个特征值为 ， 为相应的正交单位特征向量，则第i样本主成分 其中x*是各分量经（样本）标准化了的向量，即RR*12p*12 ,pttt*,1,2,iiyipt x*1xDxx1122diag,ppsssD38标准化后的主成分得分 令这是x

21、j的各分量数据经标准化后的数据向量，将其代替上述样本主成分公式中的x*，即得观测值xj在第i主成分上的得分所有观测值的平均主成分得分*1jjxDxx*,1,2,jiijyipt x*11110,1,2,nnijiijjjyyipnntx39四、主成分分析的应用 在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平，其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释。 主成分的解释其含义一般多少带有点模糊性，不像原始变量的含义那么清楚、确切，这是变量降维过程中不得不付出的代价。因此，提取的主成分个数m通常应明显小于原始变量个数p（除非p本身较小），否则维数

22、降低的“利”可能抵不过主成分含义不如原始变量清楚的“弊”。40 如果原始变量之间具有较高的相关性，则前面少数几个主成分的累计贡献率通常就能达到一个较高水平，也就是说，此时的累计贡献率通常较易得到满足。 主成分分析的困难之处主要在于要能够给出主成分的较好解释，所提取的主成分中如有一个主成分解释不了，整个主成分分析也就失败了。 主成分分析是变量降维的一种重要、常用的方法，简单的说，该方法要应用得成功，一是靠原始变量的合理选取，二是靠“运气”。41 例 在确定岩体含矿性时，对128样本的进行了6个相关元素的测定，获得的6个指标（x1、x2 、x3 、x4 、x5和x6）的样本相关矩阵： x1x2x3

23、x4x5x6x11.000 x20.791.000 x30.360.311.000 x40.760.550.351.000 x50.250.170.640.161.000 x60.510.350.580.380.631.000样本相关矩阵42经计算，相关阵 的前三个特征值、相应的特征向量以及贡献率列于表。R 的前三个特征值、特征向量以及贡献率R特征向量 0.4690.3650.092 0.4040.3970.613 0.3940.3970.279 0.4080.3650.705 0.3370.5690.164 0.4270.3080.119特征值3.2871.4060.459贡献率0.5480

24、.2340.077累计贡献率0.5480.7820.859*1x*2x*3x*4x*5x*6x1t2t3t43前三个主成分分别为从表中可以看到，前两个主成分的累计贡献率已达78.2，前三个主成分的累计贡献率达85.9，因此可以考虑只取前面两个或三个主成分，它们能够很好地概括原始变量。第一主成分 对所有（标准化）原始变量都有近似相等的正载荷。 *1123456*2123456*31234560.4690.4040.3940.4080.3370.4270.3650.3970.3970.3650.5690.3080.0920.6130.2790.7050.1640.119yxxxxxxyxxxxxxyxxxxxx 1 y44第二主成分 在 上有中等程度的正载荷，而在 上有中等程度的负载荷。第三主成分 在 上有大的正载荷，在 上有大的负载荷，而在其余变量上的载荷都较小。由于第三主成分的贡献率不高（7.65）且实际意义也不太重要，因此我们一般可考虑取前两个主成分。 2 y*356,x x x*124,x x x3 y*2x*4x推论：只要根据前两个元素的含量就可以判断改岩体的含矿性。45结结 束束