1、第八章第八章 成分分析与核函数成分分析与核函数8.0 问题的提出问题的提出n一般来说，在建立识别系统时，抽取的原始特征往往比较多，特征的维数比较大，这会给识别器的训练带来很大的困难，因此希望能够采用某种方法降低特征的维数。这些方法可以称作成分分成分分析析的方法。n成分分析方法主要包括：1.主成分分析；2.多重判别分析；3.独立成分分析；人脸识别举例人脸识别举例8.1 主成分分析主成分分析（PCA，Principal Component Analysis）nPCA是一种最常用的线性成分分析方法；nPCA的主要思想是寻找到数据的主轴方向，由主轴构成一个新的坐标系（维数可以比原维数低），然后数据由原
2、坐标系向新的坐标系投影。nPCA的其它名称：离散K-L变换，Hotelling变换；PCA的思想的思想x1x2y1y2PCA的思想的思想x1x2y1y2PCA算法算法1.利用训练样本集合计算样本的均值m和协方差矩阵S；2.计算S的特征值，并由大到小排序；3.选择前d个特征值对应的特征矢量作成一个变换矩阵E=e1,e2,ed；4.训练和识别时，每一个输入的d维特征矢量x可以转换为d维的新特征矢量y：5.y=Etx。PCA的讨论的讨论n由于S是实对称阵，因此特征矢量是正交的；n将数据向新的坐标轴投影之后，特征之间是不相关的；n特征值描述了变换后各维特征的重要性，特征值为0的各维特征为冗余特征，可以
3、去掉。例例8.1 n有两类问题的训练样本：将特征由2维压缩为1维。1:5,4,4,5,5,6,6,5tttt 2:5,4,4,5,5,6,6,5ttttx1x2e1e2特征人脸特征人脸PCA重构原图像 d=1 5 10 20 50 100 2008.2 多重判别分析多重判别分析（MDA,Multiple Discriminant Analysis）x1x2e1e2MDA与与PCAnPCA将所有的样本作为一个整体对待，寻找一个均方误差最小意义下的最优线性映射，而没有考虑样本的类别属性，它所忽略的投影方向有可能恰恰包含了重要的可分性信息；nMDA则是在可分性最大意义下的最优线性映射，充分保留了样本
4、的类别可分性信息；nMDA还被称为：FDA(Fisher Discriminant Analysis)或LDA(Linear Discriminant Analysis)。Fisher 线性判别准则线性判别准则n样本x在w方向上的投影：n定义类内散布矩阵：n定义类间散布矩阵：nFisher线性判别准则：Ty w x21iTwiiiDxSxmxm1212TBSmmmm TBTwJw S www S wwFDA算法算法1.利用训练样本集合计算类内散度矩阵Sw和类间散度矩阵SB；2.计算Sw-1SB的特征值；3.选择非0的c-1个特征值对应的特征矢量作成一个变换矩阵W=w1,w2,wc-1；4.训练
5、和识别时，每一个输入的d维特征矢量x可以转换为c-1维的新特征矢量y：5.y=WTx。3类问题类问题FDAFDA的讨论的讨论n经FDA变换后，新的坐标系不是一个正交坐标系；n新的坐标维数最多为c-1，c为类别数；n只有当样本数足够多时，才能够保证类内散度矩阵Sw为非奇异矩阵（存在逆阵），而样本数少时Sw可能是奇异矩阵。8.3 成分分析的其它问题成分分析的其它问题n独立成分分析(ICA,Independent Component Analysis)：PCA去除掉的是特征之间的相关性，但不相关不等于相互独立，独立是更强的要求。ICA试图使特征之间相互独立。n多维尺度变换(MDS,Multidime
6、nsional Scaling)n典型相关分析(CCA,Canonical Correlation Analysis)n偏最小二乘(PLS,Partial Least Square)线性线性PCA的神经网络实现的神经网络实现8.4 核函数及其应用核函数及其应用非线性非线性PCA的神经网络实现的神经网络实现空间的非线性映射空间的非线性映射n建立一个R2R3的非线性映射n计算R3中2个矢量的内积：n定义核函数：，则：22121122:,2,ttx xxx x x 2222211221122,2,2,tttxx x xyy yyxyx y2,tKx yx y ,tKxyx y输入空间特征空间核函数核
7、函数n上个例子说明：特征空间中两个矢量之间的内积可以通过定义输入空间中的核函数直接计算得到。n这就启示我们可以不必定义非线性映射而直接在输入空间中定义核函数K来完成非线性映射。n这样做的条件是：1.定义的核函数K能够对应于特征空间中的内积；2.识别方法中不需要计算特征空间中的矢量本身，而只须计算特征空间中两个矢量的内积。Hibert-Schmidt理论理论n作为核函数应满足如下条件：是 下的对称函数，对任意 ，且有：成立，则 可以作为核函数。n此条件也称为Mercer条件。,K x y2L 2gd xx 0gx ,0Kggd d x yxyx y,K x y常用的核函数常用的核函数nGauss
8、ian RBF：nPolynomial：nSigmoidal：nInv.Multiquardric：2,expKcxyx y,dtKx yx y,tanhtKx yx y221,Kcx yxy核函数应用于线性分类器核函数应用于线性分类器（SVM的非线性版本）的非线性版本）nSVM的求解，最后归结为如下目标函数的优化：n可以引入非线性映射，则目标函数变为：n而权矢量为：n判别函数：1,11,111,22nnnntiijijijiijijijii jii jLz zz z Kyyy y 1,112nntiijijijii jLz zy y1niiiizwy 00011,nntTiiiiiiiigwzwzKwxwxyxy x支持矢量机的实现支持矢量机的实现核函数应用于核函数应用于PCA（KPCA）训练样本集合 。n定义核函数 ；n计算 维矩阵K，其元素：n然后计算矩阵K的特征值 和特征向量 ，保留其中的非0的特征值；n特征空间中的第i个主轴基向量为：n输入特征矢量x在特征空间中第i个轴上的投影：,K x yMM1,Mxx,tijijijkK xxx xii()()1Miijjjvx()()1,MtiijjjKxvx x
