1、2022-12-16中国人民大学六西格玛质量管理研究中心1多元统计分析多元统计分析何晓群何晓群中国人民大学中国人民大学出版社出版社2022-12-16中国人民大学六西格玛质量管理研究中心2 目录 上页 下页 返回 结束 5.1 5.1 主成分分析的基本思想与理论主成分分析的基本思想与理论5.2 5.2 主成分分析的几何意义主成分分析的几何意义5.3 5.3 总体主成分及其性质总体主成分及其性质5.4 5.4 样本主成分的导出样本主成分的导出5.5 5.5 有关问题的讨论有关问题的讨论5.6 5.6 主成分分析步骤及框图主成分分析步骤及框图5.7 5.7 主成分分析的上机实现主成分分析的上机实现
2、2022-12-16中国人民大学六西格玛质量管理研究中心3 目录 上页 下页 返回 结束 主成分分析主成分分析（principal components analysis）也称主分量）也称主分量分析，是由霍特林（分析，是由霍特林（Hotelling）于于19331933年首先提出的。主成年首先提出的。主成分分析是利用降维的思想，在损失很少信息的前提下把多个分分析是利用降维的思想，在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法。通常把转化生成指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称之为主成分，其中每个主成分都是原始变量的的综合指标称之为主成分，其中每个主
3、成分都是原始变量的线性组合，且各个主成分之间互不相关，这就使得主成分比线性组合，且各个主成分之间互不相关，这就使得主成分比原始变量具有某些更优越的性能。这样在研究复杂问题时就原始变量具有某些更优越的性能。这样在研究复杂问题时就可以只考虑少数几个主成分而不至于损失太多信息，从而更可以只考虑少数几个主成分而不至于损失太多信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使问题得到简化，提高分析效率。本章主要介绍主成分分析使问题得到简化，提高分析效率。本章主要介绍主成分分析的基本理论和方法、主成分分析的计算步骤及主成分分析的的基本理论
4、和方法、主成分分析的计算步骤及主成分分析的上机实现。上机实现。2022-12-16中国人民大学六西格玛质量管理研究中心4 目录 上页 下页 返回 结束 5.1 5.1 主成分分析的基本思想与理论主成分分析的基本思想与理论5.1.1 5.1.1 主成分分析的基本思想主成分分析的基本思想5.1.2 5.1.2 主成分分析的基本理论主成分分析的基本理论2022-12-16中国人民大学六西格玛质量管理研究中心5 目录 上页 下页 返回 结束 5.1.15.1.1 主成分分析的基本思想主成分分析的基本思想 在对某一事物进行实证研究中，为了更全面、准确地在对某一事物进行实证研究中，为了更全面、准确地反映出
5、事物的特征及其发展规律，人们往往要考虑与其有关反映出事物的特征及其发展规律，人们往往要考虑与其有关系的多个指标，这些指标在多元统计中也称为变量。这样就系的多个指标，这些指标在多元统计中也称为变量。这样就产生了如下问题：一方面人们为了避免遗漏重要的信息而考产生了如下问题：一方面人们为了避免遗漏重要的信息而考虑尽可能多的指标，而另一方面随着考虑指标的增多增加了虑尽可能多的指标，而另一方面随着考虑指标的增多增加了问题的复杂性，同时由于各指标均是对同一事物的反映，不问题的复杂性，同时由于各指标均是对同一事物的反映，不可避免地造成信息的大量重叠，这种信息的重叠有时甚至会可避免地造成信息的大量重叠，这种信
6、息的重叠有时甚至会抹杀事物的真正特征与内在规律。基于上述问题，人们就希抹杀事物的真正特征与内在规律。基于上述问题，人们就希望在定量研究中涉及的变量较少，而得到的信息量又较多。望在定量研究中涉及的变量较少，而得到的信息量又较多。主成分分析正是研究如何通过原来变量的少数几个线性组合主成分分析正是研究如何通过原来变量的少数几个线性组合来解释原来变量绝大多数信息的一种多元统计方法。来解释原来变量绝大多数信息的一种多元统计方法。2022-12-16中国人民大学六西格玛质量管理研究中心6 目录 上页 下页 返回 结束 5.1.15.1.1 主成分分析的基本思想主成分分析的基本思想 既然研究某一问题涉及的众
7、多变量之间有一定的相关性，既然研究某一问题涉及的众多变量之间有一定的相关性，就必然存在着起支配作用的共同因素，根据这一点，通过就必然存在着起支配作用的共同因素，根据这一点，通过对原始变量相关矩阵或协方差矩阵内部结构关系的研究，对原始变量相关矩阵或协方差矩阵内部结构关系的研究，利用原始变量的线性组合形成几个综合指标（主成分），利用原始变量的线性组合形成几个综合指标（主成分），在保留原始变量主要信息的前提下起到降维与简化问题的在保留原始变量主要信息的前提下起到降维与简化问题的作用，使得在研究复杂问题时更容易抓住主要矛盾。一般作用，使得在研究复杂问题时更容易抓住主要矛盾。一般地说，利用主成分分析得到
8、的主成分与原始变量之间有如地说，利用主成分分析得到的主成分与原始变量之间有如下基本关系：下基本关系：1.每一个主成分都是各原始变量的线性组合；每一个主成分都是各原始变量的线性组合；2.主成分的数目大大少于原始变量的数目主成分的数目大大少于原始变量的数目2022-12-16中国人民大学六西格玛质量管理研究中心7 目录 上页 下页 返回 结束 5.1.15.1.1 主成分分析的基本思想主成分分析的基本思想3.主成分保留了原始变量绝大多数信息4.各主成分之间互不相关 通过主成分分析，可以从事物之间错综复杂的通过主成分分析，可以从事物之间错综复杂的关系中找出一些主要成分，从而能有效利用大量关系中找出一
9、些主要成分，从而能有效利用大量统计数据进行定量分析，揭示变量之间的内在关统计数据进行定量分析，揭示变量之间的内在关系，得到对事物特征及其发展规律的一些深层次系，得到对事物特征及其发展规律的一些深层次的启发，把研究工作引向深入。的启发，把研究工作引向深入。2022-12-16中国人民大学六西格玛质量管理研究中心8 目录 上页 下页 返回 结束 5.1.25.1.2 主成分分析的基本理论主成分分析的基本理论 设对某一事物的研究涉及个设对某一事物的研究涉及个 指标，分别用指标，分别用 表表示，这个示，这个 指标构成的指标构成的 维随机向量为维随机向量为 。设随。设随机向量机向量 的均值为的均值为 ，
10、协方差矩阵为，协方差矩阵为 。pPXXX,21pp),(21pXXXXX 对对 进行线性变换，可以形成新的综合变量，用进行线性变换，可以形成新的综合变量，用 表示，表示，也就是说，新的综合变量可以由原来的变量线性表示，即满也就是说，新的综合变量可以由原来的变量线性表示，即满足下式：足下式：XY pppppppppXuXuXuXuXuXuYXuXuXuY2211p2222121212121111Y(5.1)(5.1)2022-12-16中国人民大学六西格玛质量管理研究中心9 目录 上页 下页 返回 结束 5.1.25.1.2 主成分分析的基本理论主成分分析的基本理论 由于可以任意地对原始变量进行
11、上述线性变换，由于可以任意地对原始变量进行上述线性变换，由不同的线性变换得到的综合变量由不同的线性变换得到的综合变量 的统计特性也的统计特性也不尽相同。因此为了取得较好的效果，我们总是希不尽相同。因此为了取得较好的效果，我们总是希望望 的方差尽可能大且各的方差尽可能大且各 之间互相独立，之间互相独立，由于由于 YXuiiYiY)var()var(XuiiYiiuu=而对任给的常数而对任给的常数 ，有，有c)var(Xuiccciiuu2ciiuu 2022-12-16中国人民大学六西格玛质量管理研究中心10 目录 上页 下页 返回 结束 5.1.25.1.2 主成分分析的基本理论主成分分析的基
12、本理论 因此对因此对 不加限制时，可使不加限制时，可使 任意增大，问题将变得没任意增大，问题将变得没有意义。我们将线性变换约束在下面的原则之下：有意义。我们将线性变换约束在下面的原则之下：iu)var(iY1iiuu122221 ipiiuuu。),.2,1(pi 1，即：2 与iY相互无关jY ;(ji。),.2,1,pji 3 3.是是 的一切满足原则的一切满足原则1 1的线性组合中方差最的线性组合中方差最大者；大者；是与是与 不相关的不相关的 所有线性组合中方差最所有线性组合中方差最大者；大者；,是与是与 都不相关的都不相关的 的所有的所有线性组合中方差最大者。线性组合中方差最大者。1Y
13、1Y2YPXXX,21121,PYYYpYPXXX,21PXXX,212022-12-16中国人民大学六西格玛质量管理研究中心11 目录 上页 下页 返回 结束 5.1.25.1.2 主成分分析的基本理论主成分分析的基本理论 基于以上三条原则决定的综合变量基于以上三条原则决定的综合变量 分分别称为原始变量的第一、第二、别称为原始变量的第一、第二、第、第 个主成分。个主成分。其中，各综合变量在总方差中占的比重依次递减，其中，各综合变量在总方差中占的比重依次递减，在实际研究工作中，通常只挑选前几个方差最大的在实际研究工作中，通常只挑选前几个方差最大的主成分，从而达到简化系统结构，抓住问题实质的主成
14、分，从而达到简化系统结构，抓住问题实质的目的。目的。PYYY,21p2022-12-16中国人民大学六西格玛质量管理研究中心12 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义 由第一节的介绍我们知道，在处理涉及多个指标问题的时由第一节的介绍我们知道，在处理涉及多个指标问题的时候，为了提高分析的效率，可以不直接对候，为了提高分析的效率，可以不直接对 个指标构成的个指标构成的 维维随机向量随机向量 进行分析，而是先对向量进行分析，而是先对向量 进行线进行线性变换，形成少数几个新的综合变量性变换，形成少数几个新的综合变量 ，使得各综，使得各综合变量之间相互独立
15、且能解释原始变量尽可能多的信息，这样，合变量之间相互独立且能解释原始变量尽可能多的信息，这样，在以损失很少部分信息为代价的前提下，达到简化数据结构，在以损失很少部分信息为代价的前提下，达到简化数据结构，提高分析效率的目的。这一节，我们着重讨论主成分分析的几提高分析效率的目的。这一节，我们着重讨论主成分分析的几何意义，为了方便，我们仅在二维空间中讨论主成分的几何意何意义，为了方便，我们仅在二维空间中讨论主成分的几何意义，所得结论可以很容易地扩展到多维的情况。义，所得结论可以很容易地扩展到多维的情况。pp),(21pXXXXXPYYY,212022-12-16中国人民大学六西格玛质量管理研究中心1
16、3 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义 设有设有 个样品，每个样品有两个观测变量个样品，每个样品有两个观测变量 ，这样，这样，在由变量在由变量 组成的坐标空间中，组成的坐标空间中，个样品点散布的情况如个样品点散布的情况如带状，见图带状，见图5-15-1。N21,XX21,XXN图图5-15-12022-12-16中国人民大学六西格玛质量管理研究中心14 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义 由图可以看出这由图可以看出这 个样品无论沿个样品无论沿 轴方向还是沿轴方向还是沿 轴方向均轴方向均有较大的离
17、散性，其离散程度可以分别用观测变量有较大的离散性，其离散程度可以分别用观测变量 的方差和的方差和 的方差定量地表示，显然，若只考虑的方差定量地表示，显然，若只考虑 和和 中的任何一个，原中的任何一个，原始数据中的信息均会有较大的损失。我们的目的是考虑始数据中的信息均会有较大的损失。我们的目的是考虑 和和 的线性组合，使得原始样品数据可以由新的变量的线性组合，使得原始样品数据可以由新的变量 和和 来刻画。来刻画。在几何上表示就是将坐标轴按逆时针方向旋转在几何上表示就是将坐标轴按逆时针方向旋转 角度，得到新坐角度，得到新坐标轴标轴 和和 ，坐标旋转公式如下：，坐标旋转公式如下：N1X2X1X2X1
18、X2X1X2X1Y2Y1Y2Ycossinsincos212211XXYXXY2022-12-16中国人民大学六西格玛质量管理研究中心15 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义 其矩阵形式为：其矩阵形式为：1122cossinsincosYXYXU X其中，其中，为旋转变换矩阵，由上式可知它是正交阵，为旋转变换矩阵，由上式可知它是正交阵，即满足即满足U,UU1IUU 2022-12-16中国人民大学六西格玛质量管理研究中心16 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义 经过这样的旋转之后，经过这样的旋转
19、之后，个样品点在个样品点在 轴上的离散程度最轴上的离散程度最大，变量大，变量 代表了原始数据绝大部分信息，这样，有时在研代表了原始数据绝大部分信息，这样，有时在研究实际问题时，即使不考虑变量究实际问题时，即使不考虑变量 也无损大局。因此，经过也无损大局。因此，经过上述旋转变换就可以把原始数据的信息集中到上述旋转变换就可以把原始数据的信息集中到 轴上，对数轴上，对数据中包含的信息起到了浓缩的作用。进行主成分分析的目的据中包含的信息起到了浓缩的作用。进行主成分分析的目的就是找出转换矩阵就是找出转换矩阵 ，而进行主成分分析的作用与几何意义，而进行主成分分析的作用与几何意义也就很明了了。下面我们用遵从
20、正态分布的变量进行分析，也就很明了了。下面我们用遵从正态分布的变量进行分析，以使主成分分析的几何意义更为明显。为方便，我们以二元以使主成分分析的几何意义更为明显。为方便，我们以二元正态分布为例。对于多元正态总体的情况，有类似的结论。正态分布为例。对于多元正态总体的情况，有类似的结论。N1Y1Y2Y1YU2022-12-16中国人民大学六西格玛质量管理研究中心17 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义设变量设变量 遵从二元正态分布，分布密度为遵从二元正态分布，分布密度为:21XX、)()(2)()1(21exp121),(2222122112221
21、222112222122121XXXXXXf 令令 为变量为变量 的协方差矩阵，其形式如下：的协方差矩阵，其形式如下：21XX、2221212121XXX21 令 则上述二元正态分布的密度函数有如下矩阵形式则上述二元正态分布的密度函数有如下矩阵形式：2022-12-16中国人民大学六西格玛质量管理研究中心18 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义)()(2/12/1211|21),(XXeXXf考虑考虑 （为常数），为方便，不妨设为常数），为方便，不妨设21)()(dXXd0 上式有如下展开形式：上式有如下展开形式：222222112112211
22、dXXXX令令 ，则上面的方程变为：，则上面的方程变为：,/111 XZ222/XZ).1(222222121dZZZZ2022-12-16中国人民大学六西格玛质量管理研究中心19 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义这是一个椭圆的方程，长短轴分别为：这是一个椭圆的方程，长短轴分别为：12d又令又令 为为 的特征值，的特征值，为相应的标准正交特为相应的标准正交特征向量征向量.02121,则则 为正交阵，为正交阵，有：有：),(21PP,0021PP PP,11因此有：因此有：XX)X()X(112d)0(XPPX)(1XX)11(22211122
23、2211)(1)(1XX222121YY 2022-12-16中国人民大学六西格玛质量管理研究中心20 目录 上页 下页 返回 结束 5.25.2 主成分分析的几何意义主成分分析的几何意义 与上面一样，这也是一个椭圆方程，且在与上面一样，这也是一个椭圆方程，且在 构成的坐标系中，构成的坐标系中，其主轴的方向恰恰正是其主轴的方向恰恰正是 坐标轴的方向。因为坐标轴的方向。因为 所以，所以，就是原始变量就是原始变量 的两个主成分，它们的方的两个主成分，它们的方差分别为差分别为 ，在，在 方向上集中了原始变量方向上集中了原始变量 的变差，在的变差，在 方向方向上集中了原始变量上集中了原始变量 的变差，
24、经常有的变差，经常有 远大于远大于 ，这样，我们就，这样，我们就可以只研究原始数据在可以只研究原始数据在 方向上的变化而不致于损失过多信息，方向上的变化而不致于损失过多信息，而而 就是椭圆在原始坐标系中的主轴方向，也是坐标轴转换就是椭圆在原始坐标系中的主轴方向，也是坐标轴转换的系数向量。对于多维的情况，上面的结论依然成立。的系数向量。对于多维的情况，上面的结论依然成立。21,YY21,YY,X11Y,X22Y21,YY21,XX21,1Y12Y2121Y21,这样，我们就对主成分分析的几何意义有了一个充分的了这样，我们就对主成分分析的几何意义有了一个充分的了解。主成分分析的过程无非就是坐标系旋
25、转的过程，各主成分解。主成分分析的过程无非就是坐标系旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，在新坐标系中，表达式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐标轴的方向就是原始数据变差最大的方向。各坐标轴的方向就是原始数据变差最大的方向。2022-12-16中国人民大学六西格玛质量管理研究中心21 目录 上页 下页 返回 结束 5.35.3 总体主成分及其性质总体主成分及其性质 由上面的讨论可知，求解主成分的过程就是由上面的讨论可知，求解主成分的过程就是求满足三条原则的原始变量求满足三条原则的原始变量 的线性组的线性组合的过程。本节先从总体出发，介绍求解主成分合的过程
26、。本节先从总体出发，介绍求解主成分的一般方法及主成分的性质，然后介绍样本主成的一般方法及主成分的性质，然后介绍样本主成分的导出。分的导出。PXXX,212022-12-16中国人民大学六西格玛质量管理研究中心22 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 主成分分析的基本思想就是在保留原始变量尽可能多的信息主成分分析的基本思想就是在保留原始变量尽可能多的信息的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的前提下达到降维的目的，从而简化问题的复杂性并抓住问题的主要矛盾。而这里对于随机变量的主要矛盾。而这里对于随机变量 而言，其协方差而言，其协方差矩阵或相关
27、矩阵正是对各变量离散程度与变量之间的相关程度矩阵或相关矩阵正是对各变量离散程度与变量之间的相关程度的信息的反应，而相关矩阵不过是将原始变量标准化后的协方的信息的反应，而相关矩阵不过是将原始变量标准化后的协方差矩阵。我们所说的保留原始变量尽可能多的信息，也就是指差矩阵。我们所说的保留原始变量尽可能多的信息，也就是指的生成的较少的综合变量（主成分）的方差和尽可能接近原始的生成的较少的综合变量（主成分）的方差和尽可能接近原始变量方差的总和。因此在实际求解主成分的时候，总是从原始变量方差的总和。因此在实际求解主成分的时候，总是从原始变量的协方差矩阵或相关矩阵的结构分析入手。一般地说，从变量的协方差矩阵
28、或相关矩阵的结构分析入手。一般地说，从原始变量的协方差矩阵出发求得的主成分与从原始变量的相关原始变量的协方差矩阵出发求得的主成分与从原始变量的相关矩阵出发求得的主成分是不同的。下面我们分别就协方差矩阵矩阵出发求得的主成分是不同的。下面我们分别就协方差矩阵与相关矩阵进行讨论。与相关矩阵进行讨论。PXXX,212022-12-16中国人民大学六西格玛质量管理研究中心23 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分(1)(1)从协方差矩阵出发求解主成分从协方差矩阵出发求解主成分引论：设矩阵引论：设矩阵 ，将，将 的特征值的特征值 依大小顺序依大小顺序排列，不妨设排列，不
29、妨设 ，为为 矩阵各特征值对矩阵各特征值对应的标准正交特征向量，则对任意向量，有：应的标准正交特征向量，则对任意向量，有：AA An，21n21p，21A1maxxxAxx0 xnxxAxx0 xmin（5.2）证明：对证明：对 与单位阵与单位阵 进行谱分解，可以写成下面的式子：进行谱分解，可以写成下面的式子：AI1niiiiA1niiiI而对任意向量而对任意向量 ，有，有 ，于是有，于是有xniiia1xniiniiiaa1212xxAxx2022-12-16中国人民大学六西格玛质量管理研究中心24 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分类似的，我们可以得出
30、：类似的，我们可以得出：1,.2,1maxkkixxAxx0 x0 xinkixxAxx0 x0 xi,.2,1min于是，自然有于是，自然有1121211212maxmaxniiniiniiniiiaaaa0 x0 xxxAxxnniiniinniiniiixaaaa121212120minminxxAxx0 x 2022-12-16中国人民大学六西格玛质量管理研究中心25 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 证明：由引论知，对于任意常向量证明：由引论知，对于任意常向量 ，有：，有：又又 为标准正交特征向量，于是：为标准正交特征向量，于是：u1maxuu
31、uu0ui01jijiji 证明：由引论知，对于任意常向量证明：由引论知，对于任意常向量 ，有：，有：又又 为标准正交特征向量，于是：为标准正交特征向量，于是：u1maxuuuu0ui01jijiji 此时：（5.3）结论：结论：设随机向量设随机向量 的协方差矩阵为的协方差矩阵为 ，为为 的特征值，的特征值，为矩阵为矩阵 各特征值对应各特征值对应的标准正交特征向量，则第的标准正交特征向量，则第 i个主成分为：个主成分为：),.,(21pXXXXp 21n，21AppiiiiXXXY 2211),.,2,1(pi 0),cov(jijiYY)(ji iiiiY)var(结论：结论：设随机向量设随
32、机向量 的协方差矩阵为的协方差矩阵为 ，为为 的特征值，的特征值，为矩阵为矩阵 各特征值对应各特征值对应的标准正交特征向量，则第的标准正交特征向量，则第 i个主成分为：个主成分为：),.,(21pXXXXp 21n，21AppiiiiXXXY 2211),.,2,1(pi)(ji iiiiY)var(0),cov(jijiYY2022-12-16中国人民大学六西格玛质量管理研究中心26 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 且：ipkikkikii1令令 ，则有，则有iiu)var(max111111Yuuuu0u类似的，有类似的，有)var(max1111
33、11,.,2,1kkkkkkkiYuuuu0u0ui0),cov(1ijipkjkkikjijiYY2022-12-16中国人民大学六西格玛质量管理研究中心27 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 由以上结论，我们把由以上结论，我们把 的协方差矩阵的协方差矩阵 的非零特的非零特征值征值 对应的标准化特征向量对应的标准化特征向量 分别分别作为系数向量，作为系数向量，分别称为随机向分别称为随机向量量 的第一主成分、第二主成分、的第一主成分、第二主成分、第、第 主成分。主成分。的分量的分量 依次是依次是 的第一主成分、第二主成分、的第一主成分、第二主成分、第、第
34、 主成主成分的充分必要条件是：分的充分必要条件是：pXXX，.21p，21021 pXXX2211ppYYY ，XpYPYYY,21pX（1 1），即，即 为为 阶正交阵；阶正交阵；（2 2）的分量之间互不相关；的分量之间互不相关；（3 3）的的 个分量是按方差由大到小排列。个分量是按方差由大到小排列。IuuXuY，upYYp2022-12-16中国人民大学六西格玛质量管理研究中心28 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 于是随机向量于是随机向量 与随机向量与随机向量 之间存在下面的关系式：之间存在下面的关系式：XYXuuuX uY21ppppppppXX
35、Xuuuuuuuuu21212222111211ppXXX2121（5.4）注：无论注：无论 的各特征根是否存在相等的情况，对应的标准化的各特征根是否存在相等的情况，对应的标准化特征向量特征向量 总是存在的，我们总可以找到对应各特总是存在的，我们总可以找到对应各特征根的彼此正交的特征向量。这样，求主成分的问题就变成了征根的彼此正交的特征向量。这样，求主成分的问题就变成了求特征根与特征向量的问题。求特征根与特征向量的问题。p，212022-12-16中国人民大学六西格玛质量管理研究中心29 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 （二）主成分的性质（二）主成分的
36、性质 性质性质1 1 的协方差阵为对角阵的协方差阵为对角阵 。这一性质可由上述结论容易得到，证明略。这一性质可由上述结论容易得到，证明略。Y性质性质2 2 记记 ，有，有 ppij)(piiipii11 证明：证明：记记 则有则有 于是于是),(21pPPPpipiiiitrtrtrtr11)()()()(PPPP2022-12-16中国人民大学六西格玛质量管理研究中心30 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 定义定义 5.1 5.1 称称 为第为第 个主成分个主成分 的方的方差贡献率，称差贡献率，称 为主成分为主成分 的累积贡献率。的累积贡献率。pkk2
37、1pk,2,1kkYpiimii11mYYY,21 由此进一步可知，主成分分析是把个由此进一步可知，主成分分析是把个 随机变量的总方差随机变量的总方差 分解为分解为 个不相关的随机变量的方差之和，使第一主成分的方差个不相关的随机变量的方差之和，使第一主成分的方差达到最大，第一主成分是以变化最大的方向向量各分量为系数达到最大，第一主成分是以变化最大的方向向量各分量为系数的原始变量的线性函数，最大方差为的原始变量的线性函数，最大方差为 。表明了表明了 的方差的方差在全部方差中的比值，称在全部方差中的比值，称 为第一主成分的贡献率。这个值越为第一主成分的贡献率。这个值越大，表明大，表明 这个新变量综
38、合这个新变量综合 信息的能力越强，信息的能力越强，也即由也即由 的差异来解释随机向量的差异来解释随机向量 的差异的能力越强。的差异的能力越强。pppiii11i1111Xu 11YpXXX，.21Xu 1X2022-12-16中国人民大学六西格玛质量管理研究中心31 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分正因如此，才把正因如此，才把 称为称为 的主成分。进而我们就更清楚为的主成分。进而我们就更清楚为什么主成分的名次是按特征根什么主成分的名次是按特征根 取值的大小排序的。取值的大小排序的。Xu 11YXp，21 进行主成分分析的目的之一是为了减少变量的个数，所以
39、进行主成分分析的目的之一是为了减少变量的个数，所以一般不会取一般不会取 个主成分，而是取个主成分，而是取 个主成分，个主成分，取多少比较取多少比较合适，这是一个很实际的问题，通常以所取合适，这是一个很实际的问题，通常以所取 使得累积贡献率使得累积贡献率达到达到8585以上为宜，即以上为宜，即ppm mm%8511piimii(5.5)(5.5)这样，既能使损失信息不太多，又达到减少变量，简化问这样，既能使损失信息不太多，又达到减少变量，简化问题的目的。另外，选取主成分还可根据特征值的变化来确定。题的目的。另外，选取主成分还可根据特征值的变化来确定。图图5-25-2为为SPSSSPSS统计软件生
40、成的碎石图。统计软件生成的碎石图。2022-12-16中国人民大学六西格玛质量管理研究中心32 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 图图5-25-2 由图由图5-25-2可知，第二个及第三个特征值变化的趋势已经开始趋于平稳，所可知，第二个及第三个特征值变化的趋势已经开始趋于平稳，所以，取前两个或是前三个主成分是比较合适的。这种方法确定的主成分个数以，取前两个或是前三个主成分是比较合适的。这种方法确定的主成分个数与按累积贡献率确定的主成分个数往往是一致的。在实际应用中有些研究工与按累积贡献率确定的主成分个数往往是一致的。在实际应用中有些研究工作者习惯于保留特
41、征值大于作者习惯于保留特征值大于1 1的那些主成分，但这种方法缺乏完善的理论支的那些主成分，但这种方法缺乏完善的理论支持。在大多数情况下，当持。在大多数情况下，当 时即可使所选主成分保持信息总量的比重达到时即可使所选主成分保持信息总量的比重达到8585以上。以上。3m2022-12-16中国人民大学六西格玛质量管理研究中心33 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 定义定义5.2 5.2 第第 个主成分个主成分 与原始变量与原始变量 的相关系数的相关系数 称做称做因子负荷量。因子负荷量。因子负荷量是主成分解释中非常重要的解释依据，因子负因子负荷量是主成分解释
42、中非常重要的解释依据，因子负荷量的绝对值大小刻画了该主成分的主要意义及其成因。在下荷量的绝对值大小刻画了该主成分的主要意义及其成因。在下一章因子分析中还将要对因子负荷量的统计意义给出更详细的一章因子分析中还将要对因子负荷量的统计意义给出更详细的解释。由下面的性质我们可以看到因子负荷量与系数向量成正解释。由下面的性质我们可以看到因子负荷量与系数向量成正比。比。kkYiX),ikXY（iikkiikuXY/),（pik,2,1,性质性质3 3 （5.6）证明：证明：kkY)var(iiiX)var(令：令：为单位向量。则为单位向量。则 )0,0,1,0,0(ieXe iiX Xu kkY 又又20
43、22-12-16中国人民大学六西格玛质量管理研究中心34 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 于是 )e,ucov(),cov(XXXYikikkiDuXe)(kikkikkiuueueiikkiikikikuXYXYXY)var()var(),cov(),（于是 由性质由性质3 3知因子负荷量知因子负荷量 与向量系数与向量系数 成正比，与成正比，与 的的标准差成反比关系，因此，绝不能将因子负荷量与向量系数混标准差成反比关系，因此，绝不能将因子负荷量与向量系数混为一谈。在解释主成分的成因或是第为一谈。在解释主成分的成因或是第 个变量对第个变量对第 个主成分
44、的个主成分的重要性时，应当根据因子负荷量而不能仅仅根据重要性时，应当根据因子负荷量而不能仅仅根据 与与 的变换的变换系数系数 。),ikXY（kiuiXikkYiXkiu2022-12-16中国人民大学六西格玛质量管理研究中心35 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 性质性质4 4 pikiiikXY12),(（5.7）证明：由性质证明：由性质3有pipipikkikkikiiikuuXY111222),(（5.8）性质性质5 5 22111(,)1ppkikkikkiiY Xu证明：因为证明：因为 向量是随机向量向量是随机向量 的线性组合，因此的线性组合
45、，因此 也可以精也可以精确表示成确表示成 的线性组合。由回归分析知识知，的线性组合。由回归分析知识知，与与 的全相关系数的平方和等于的全相关系数的平方和等于1 1，而因为，而因为 之间之间互不相关，所以互不相关，所以 与与 的全相关系数的平方和也就的全相关系数的平方和也就是是 ，因此，性质，因此，性质5 5成立。成立。YXiXpYYY,21iXpYYY,21pYYY,21iXpYYY,2121(,)pkikYX2022-12-16中国人民大学六西格玛质量管理研究中心36 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 定义定义5.3 5.3 与前与前 个主成分个主成分
46、 的全相关系数平方和称的全相关系数平方和称为为 对原始变量对原始变量 的方差贡献率的方差贡献率 ，即，即iXmmYYY,21mYYY,21iviXmkkikiiiuv121pi,2,1 （5.9）这一定义说明了前这一定义说明了前 个主成分提取了原始变量个主成分提取了原始变量 中中 的信息，的信息，由此我们可以判断我们提取的主成分说明原始的能力。由此我们可以判断我们提取的主成分说明原始的能力。miXiv2022-12-16中国人民大学六西格玛质量管理研究中心37 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 （三）从相关阵出发求解主成分（三）从相关阵出发求解主成分 考
47、虑如下的数学变换：考虑如下的数学变换：iiiiiXZpi,2,1令：令：其中，其中，与与 分别表示变量分别表示变量 的期望与方差。于是有的期望与方差。于是有iiiiX0)(iZE1)var(iZpp00000022112/1令：令：于是，对原始变量于是，对原始变量 进行标准化：进行标准化：X)()(12/1XZ2022-12-16中国人民大学六西格玛质量管理研究中心38 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 经过上述标准化后，显然有经过上述标准化后，显然有0Z)(E 12/112/1)()()cov(Z Rpppp11121212112 由于上面的变换过程，
48、原始变量由于上面的变换过程，原始变量 的相关阵实际上的相关阵实际上就是对原始变量标准化后的协方差矩阵，因此，由相关矩阵求就是对原始变量标准化后的协方差矩阵，因此，由相关矩阵求主成分的过程与主成分个数的确定准则实际上是与由协方差矩主成分的过程与主成分个数的确定准则实际上是与由协方差矩阵出发求主成分的过程与主成分个数的确定准则是相一致的，阵出发求主成分的过程与主成分个数的确定准则是相一致的，在此不再赘述。仍用在此不再赘述。仍用 分别表示相关阵分别表示相关阵 的特征值与对应的的特征值与对应的标准正交特征向量，此时，求得的主成分与原始变量的关系式标准正交特征向量，此时，求得的主成分与原始变量的关系式为
49、：为：pXXX，.21ii,R),X()(Z12/1iiiYpi,2,1（5.10）2022-12-16中国人民大学六西格玛质量管理研究中心39 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 （四）由相关阵求主成分时主成分性质的简单形式（四）由相关阵求主成分时主成分性质的简单形式 由相关阵出发所求得主成分依然具有上面所述的各种性质，由相关阵出发所求得主成分依然具有上面所述的各种性质，不同的是在形式上要简单，这是由相关阵不同的是在形式上要简单，这是由相关阵 的特性决定的。我的特性决定的。我们将由相关阵得到的主成分的性质总结如下：们将由相关阵得到的主成分的性质总结如下：
50、1 1 的协方差矩阵为对角阵的协方差矩阵为对角阵 ；YpiipiiZptrtrY11)var()()()var(.23 3第第 个主成分的方差占总方差的比例，即第个主成分的方差占总方差的比例，即第 个主成分的个主成分的方差贡献率为方差贡献率为 ，前，前 个主成分的累积方差贡献率个主成分的累积方差贡献率为为 ；kkpkk/mpmii/1。kkiikuZY),(.42022-12-16中国人民大学六西格玛质量管理研究中心40 目录 上页 下页 返回 结束 5.3.15.3.1 总体主成分总体主成分 注意到注意到 ，且，且 ，结合前面从协方差矩阵出发求主，结合前面从协方差矩阵出发求主成分部分对主成分
