1、PCA和LDA 葛永新 Contents特征脸的物理含义特征脸的物理含义关于主成分的理解关于主成分的理解作者信息作者信息 论文信息论文信息 训练阶段训练阶段识别阶段识别阶段 论文信息论文信息vTurk M，Pentland AEigenfaces for recognitionJJoumal of Cognitive Neumseience，1991，3(1)：7186. 作者信息（作者信息（1/2）vMatthew Turk Professor Computer Science Department Media Arts and Technology Program University o
2、f California, Santa Barbara Research interests: Computer vision and imaging, perceptual interfaces, multimodal interaction, human-computer interaction, gesture recognition, artificial intelligencehttp:/www.cs.ucsb.edu/mturk/ 作者信息（作者信息（1/2）vProf. Alex Paul Pentland Toshiba Professor of Media, Arts, a
3、nd Sciences Massachusetts Institute of Technology http:/www.media.mit.edu/pentland Director, Human Dynamics Laboratory Director, Media Lab Entrepreneurship P 关于主成分的理解（关于主成分的理解（1/3）v五行是一种哲学观，认为万事万物都是五行是一种哲学观，认为万事万物都是由金木水火土这五种要素组成由金木水火土这五种要素组成 v西方人：所有事物都是由元素周期表中的103种元素组成的 水：水： H2O = 2*H + 1*Ov线性代数 寻找基
4、向量的过程 关于主成分的理解（关于主成分的理解（2/3）vPCA的基础就是K-L变换，是一种常用的正交变化 ， K-L变换思想如下：v假设X为n维随机变量，X可以用n个基向量的加权和表示 其中 是加权系数， 是基向量，其矩阵表示形式是 其系数向量为 niiiX1iiTTnnX),)(;(2121XaT 关于主成分的理解（关于主成分的理解（3/3）v综上所述，K-L展开式的系数可用下列步骤求出 1.求随机向量X的自相关矩阵R=E（XTX），通常我们采用数据集的协方差矩阵作为K-L坐标系的产生矩阵；2.求出自相关矩阵或协方差矩阵的特征值 和特征向量 ， ；3. 展开式系数即为 ，由正交性可得 ，此
5、二式为K-L变换公式 ii),(21nXTX 特征脸的物理含义（特征脸的物理含义（1/4）比如ORL人脸数据库中有400幅人脸图像，是不是可以 找到一组基，让所有的人脸库中的人脸都可以用这组基的线性组合来表示 特征脸的物理含义（特征脸的物理含义（2/4）意义何在？1. 维度大大减少假设数据库中的图像大小为112*92，那么存储这些图像所需要的空间大小为112*92*200=4121600；假设我们寻找一组基，不妨假定为40维（即40幅人脸图像），则数据库中的每幅图像都可以用这40幅图像表示，则这个数据库所需的存储空间为40*400=16000；对比：4121600/16000= 特征脸的物理含
6、义（特征脸的物理含义（3/4）意义何在？2. 投影方向区分度大命题1：随机变量方差越大，包含的信息越多，特别地，如果一个变量方差为0，则该变量为常数，不包含任何信息。命题2：所有原始数据在主分量上的投影方差为特征值。PCA思想：寻找主分量，即寻找一组向量，使得原始数据在这组向量上的投影值的方差尽可能大。最大方差对应的向量就是第一主分量，以此类推 特征脸的物理含义（特征脸的物理含义（4/4）意义何在？3. 去除原始数据的相关性t=COV(X,Y), t=1,相关；t=0，不相关命题：对于矩阵A来说，如果AAT是一个对角矩阵，则A中的向量是非相关的。1）特征脸，即基是正交的，非相关2）投影系数，可
7、以证明也是非相关的 训练阶段（训练阶段（1/12）训练阶段即是寻求最优特征脸（基）第一步：假设训练集有400个样本，由灰度图组成，每个样本的大小为M*N写出训练样本矩阵： X = (x1, x2, , x200)其中向量x为由第个图像的每一列向量堆成一列的MN维列向量，即把矩阵向量化，如下图所示： 训练阶段（训练阶段（2/12）如：第i个图像的矩阵为 则xi用这个列向量来表示 训练阶段（训练阶段（3/12）第二步：计算平均脸计算训练图片的平均脸 训练阶段（训练阶段（4/12） 平均脸示意图 训练阶段（训练阶段（5/12）第三步：计算差值脸（也叫去平均化）计算每张人脸与平均脸的差值200,.,2
8、 , 1, 训练阶段（训练阶段（6/12） 差值脸示意图 训练阶段（训练阶段（7/12）第四步：构建协方差矩阵),(,20012001200212001dddAAAddCTT 训练阶段（训练阶段（8/12）第五步：求协方差矩阵的特征值和特征向量，构造特征脸空间协方差矩阵的维数为MN*MN，考虑其维数较大，计算量也比较大，所以一般采用奇异值分解（Singular Value Decomposition, SVD），通过求解ATA来获得AAT的特征值和特征向量。 训练阶段（训练阶段（9/12）求出ATA的特征值 及其正交归一化特征向量协方差vi根据特征值的贡献率选取前p个最大特征值及其对应的特征向
9、量贡献率是指选取的特征值之和与所有特征值之和的比，即 训练阶段（训练阶段（10/12） 选取的特征脸示例Discussion:对应较大特征值的特征向量，用于表示人体的大体形状（低频信息），而对应于较小特征值的特征向量则用于描述人脸的具体细节（高频信息） 训练阶段（训练阶段（11/12）第六步：将每一幅人脸与平均脸的差值脸矢量投影到“特征脸”空间，即)200, 2 , 1(idwiT 训练阶段（训练阶段（12/12）一般选取 即使训练样本在前p个特征向量集上的投影有99%的能量求出原协方差矩阵的特征向量则“特征脸”空间为%990), 2 , 1(1piAvuiii),( 识别阶段（识别阶段（1/5）第一步：将待识别的人脸图像T与平均脸的差值脸投影到特征空间，得到其特征向量表示：)(xTwTT 识别阶段（识别阶段（2/5） 待识别的人脸图像T 及其与平均脸的差值脸 识别阶段（识别阶段（3/5）第二步：采用欧式距离来计算 与每个人脸之间的距离 ：Ti)399, 2 , 1(22iT 识别阶段（识别阶段（4/5）第三步：根据前面计算的欧式距离，找出与测试图像最小的图像标签，即为测试图像的标签 ： 识别阶段（识别阶段（5/5） 数据库中最接近的图 测试图 Qusetions?
