1、Eigenfeature Regularization and Extraction in Face Recognition作者作者:讲解人：讲解人：1谢谢观赏2019-5-9提纲l文章信息文章信息l背景介绍背景介绍l本文方法本文方法l实验结果实验结果2谢谢观赏2019-5-9提纲l文章信息文章信息作者信息文章信息摘要l背景介绍背景介绍l本文方法本文方法l实验结果实验结果3谢谢观赏2019-5-9第一作者l Xudong Jiang Asst Professor Director center for Information Security(CIS)School of Electrical
2、and Electronic Engineering Nanyang Technological University http:/wwwl 简历简历 B.Eng.And M.Eng.University of Electronic Science and Technology of China(电子科技大电子科技大学，成都学，成都),1983,1986.Lecturer University of Electronic Science and Technology of China,19861993 Scientific Assistant Helmut Schmidt University
3、 Hamburg,19931997 Ph.D.Helmut Schmidt University Hamburg,Germany,electrical and electronic engineering,1997.4谢谢观赏2019-5-9第一作者Research Fellow Centre for Signal Process(CSP),Nanyang Technological University,Singapore,19982002.where he developed a fingerprint verification algorithm that achieved the fa
4、stest and the second most accurate fingerprint verification in the International Fingerprint Verification Competition(FVC2000).Lead Scientist and Head Biometrics Lab at the Institute for Infocomm Research,A*Star(Agent for Science,Technology and Rearch),Singapore,20022004Adjunct Assistant ProfessorCI
5、S,Nanyang Technological University,20022004Assistant ProfessorCIS,Nanyang Technological University,2004now5谢谢观赏2019-5-9第一作者lPublication:X.D.Jiang,“Asymmetric Principal Component and Discriminant Analyses for Pattern Classification,”IEEE TPAMI,Vol.31,No.5,pp.931-937,May,2009.X.D.Jiang,B.Mandal and A.
6、Kot,“Eigenfeature Regularization and Extraction in Face Recognition”IEEE TPAMI,Vol.30,No.3,pp.383-394,March,2008.X.D.Jiang,M.Liu and A.Kot,“Fingerprint Retrieval for Identification,”IEEE Transactions on Information Forensics and Security,Vol.1,No.4,pp.532-542,December 2006.X.D.Jiang,“On Orientation
7、and Anisotropy Estimation for Online Fingerprint Authentication,”IEEE TSP,Vol.53,No.10,pp.4038-4049,October 2005.K.Toh,X.D.Jiang and W.Yau,“Exploiting Global and Local Decisions for Multi-Modal Biometrics Verification,”IEEE TSP,Vol.52,No.10,pp.3059-3072,October 2004.X.D.Jiang and W.Ser,“Online Finge
8、rprint Template Improvement”,IEEE TPAMI,vol.24,no.8,pp.1121-1126,August 2002.Many ICIP,ICPR papers6谢谢观赏2019-5-9lCurrent Research Areas:Statistical Pattern RecognitionComputer VisionMachine LearningImage and Signal ProcessingBiometricsFace RecognitionFingerprint Recognition7谢谢观赏2019-5-9第二作者l Bappadit
9、ya Mandal research fellowInstitute for Infocomm Research,A*Star,department of Computer Vision and Image Understanding，2008now Ph.D.of Xudong Jiang and Alex kot,in CIS，20042008 B.Techin Electrical Engineering,India Institute of Technology,Roorkee,India,19992003“If we knew what it was we were doing,it
10、 would not be called research,would it?”-Albert Einstein http:/www8谢谢观赏2019-5-9第二作者l Publication:B.Mandal,X.D.Jiang and A.Kot,“Face Verification Using Modeled Eigenspectrum,”The Open Artificial Intelligence Journal,Bentham Open,19th May 2008 B.Mandal,X.D.Jiang and A.Kot,“Verification of Human Faces
11、Using Predicted Eigenvalues,”International Conference on Pattern Recognition(ICPR 2008),Tempa,Florida,USA,8-11 Dec 2008(oral presentation).Received the Best Biometrics Student Paper Award.B.Mandal,X.D.Jiang and A.Kot,“Dimensionality Reduction in Subspace Face Recognition,”IEEE Sixth International Co
12、nference on Information,Communications and Signal Processing(ICICS 2007),pp.1-5,Singapore,10-13 December 2007 B.Mandal,X.D.Jiang and A.Kot,“Kernel Fisher Discriminant Analysis in Full Eigenspace,”International Conference on Image Processing,Computer Vision,and Pattern Recognition(IPCV 2007),Las Vega
13、s,Nevada,USA,pp.235-241,25-28 June 2007.B.Mandal,X.D.Jiang and A.Kot,“Multi-scale feature extraction for face recognition,”IEEE International Conference on Industrial Electronics and Applications(ICIEA 2006),Singapore,pp.1-6,24-26 May 2006(invited paper).9谢谢观赏2019-5-9第三作者l Alex Kot Prof.of Nanyang T
14、echnological Univeristy(NTU),Singapore since 1991.Associate Editor for IEEE Trans.On Signal Processing,20002003 Associate Editor,IEEE Trans.On Circuits and Systems Part II,20042006,Part I 20052007.IEEE Distinguished Lecture in 2005 and 2006 Fellow of IEEE and IES(Industrial Electronics Society)http:
15、/www10谢谢观赏2019-5-9l Researches:Information TechnologySecurity in Black and WhiteSteganalysis&Image ForensicsBiometrics:Signature,Face and FingerprintSignal Processing for CommunicationsRejection of Interference in Spread Spectrum Systems Using Signal Processing Techniques Space-time modulation文章多是和别
16、人合作的11谢谢观赏2019-5-9文章出处l题目题目:Eigenfeature Reuglarization and Extraction in Face Recognitionl出处：出处：IEEE TPAMI,vol.30,no.3l时间：时间：2008.3l相关文献：相关文献：12谢谢观赏2019-5-9AbstractlThis work proposes a subspace approach that regularizes and extracts eigenfeatures from the face image.lEigenspace of the within-class
17、 scatter matrix is decomposed into three subspaces:a reliable subspace spanned mainly by the facial variation,an unstable subspace due to noise and finite number of training samples,and a null subspace.lEigenfeatures are regularized differently in these three subspaces based on an eigenspectrum mode
18、l to alleviate problems of instability,overfitting,or poor generalization.lThis also enables the discriminant evaluation performed in the whole space.Feature extraction or dimensionality reduction occurs only at the final stage after the discriminant assessment.These efforts facilitate a discriminat
19、ive and a stable low-dimensional feature representation of the face image.lExperiments comparing the proposed approach with some other popular subspace methods on the FERET,ORL,AR,and GT databases show that our method consistently outperforms others.13谢谢观赏2019-5-9摘要l 本文提出了一种从人脸图像中提取和正则化本征特征的子空间本文提出了
20、一种从人脸图像中提取和正则化本征特征的子空间方法。方法。l 类内散度矩阵的特征空间被分解为三个子空间类内散度矩阵的特征空间被分解为三个子空间：主要有面部变：主要有面部变化张成的可靠的子空间，由噪声和有限样本导致的不稳定子空化张成的可靠的子空间，由噪声和有限样本导致的不稳定子空间，以及零空间。间，以及零空间。l 基于特征谱模型，基于特征谱模型，分别在这三个子空间中对本征特征进行不同分别在这三个子空间中对本征特征进行不同的正则化的正则化，从而减轻了不稳定、过拟合、推广能力差的问题。，从而减轻了不稳定、过拟合、推广能力差的问题。也使得也使得判别估计在整个空间进行判别估计在整个空间进行。特征提取和降维
21、只是在最后。特征提取和降维只是在最后一个阶段进行，而这是判别估计之后的。这些工作使得人脸图一个阶段进行，而这是判别估计之后的。这些工作使得人脸图像的判别性的、稳定的低维特征表示更加容易了。像的判别性的、稳定的低维特征表示更加容易了。l 实验在实验在FERETFERET、ORLORL、ARAR、GTGT数据集上比较了提出的方法和其他数据集上比较了提出的方法和其他流行的子空间方法，表明我们的方法一致的优于其他方法。流行的子空间方法，表明我们的方法一致的优于其他方法。14谢谢观赏2019-5-9提纲l文章信息文章信息l背景介绍背景介绍本文解决的问题特征谱模型子空间分解l本文方法本文方法l实验结果实验
22、结果15谢谢观赏2019-5-9本文解决的问题l目标目标提取有判别力、稳定的特征用于分类l最常用的一类方法：最常用的一类方法：线性子空间的方法(linear subspace analysis)eg：LDAl存在的问题存在的问题Sw会出现奇异的情况Sw的特征值是从样本估计出来的，存在偏差和过拟合，推广能力差(poor generalization).argmaxTBoptTWWW S WWW S W16谢谢观赏2019-5-9相关方法l 现有的解决方法现有的解决方法去掉去掉Sw的一个子空间，使得的一个子空间，使得Sw不再奇异不再奇异。Nullspace LDA:去掉零空间，只在主空间中进行LD
23、A 会丢失零空间的判别信息FLDA：先PCA降维，再LDA。PCA会损失掉部分判别信息(Discriminant Information).DLDA:先对角化Sb，Sb的Nullsapce，再对角化Sw。Sw的小特征值对噪声很敏感。Dual-Space LDA：在Sw的Principal space和Nullspace 分别提取特征，然后将两部分融合到一起。如何划分Principal和Nullspace，如何有效的估计Nullsapce中的特征值？17谢谢观赏2019-5-9对对Sw的特征值进行正则化，解决不稳定、噪的特征值进行正则化，解决不稳定、噪音、推广能力差的问题。音、推广能力差的问题。
24、UFS：考虑了小特征的不稳定性和噪音 将PCA、Bayesian、LDA子空间形成一个统一的框架，解决噪音问题。PCA会损失部分判别信息，如何选择每个子空间的参数？RD-QDA、R-LDA:等价于在所有特征值上加一个常数进行正则化 会使得大特征值biased high，小特征值biased low。伪逆矩阵伪逆矩阵18谢谢观赏2019-5-9现有方法l上述的方法：上述的方法：或者进行降维或者去掉某个nullspace或者分别在Pincipal和nullspace中提取特征.19谢谢观赏2019-5-9现有方法的缺陷&本文方法提出l 上述方法存在的问题：上述方法存在的问题：会损失部分判别信息(P
25、rincipal和Nullsapce都包含判别信息)没有很好的抑制噪声和有限样本造成的影响。小特征值和nullspace的估计不稳定，对噪声敏感。l 本文提出的方法：本文提出的方法：可以减轻噪声和有限样本导致的小、零特征值不可靠的问题 在图像数据的整个空间中(full dimension)进行判别估计(特征提取),降维在(判别估计之后的)最后一个阶段进行。方法：将Sw的特征向量张成的图像空间分解图像空间分解为三个子空间 利用特征谱模型特征谱模型(Eigenspectrum Model)分别对这三个子空间进行不同的正则化。20谢谢观赏2019-5-9特征谱建模(Eigenspectrum Mod
26、eling)什么是特征谱？特征谱模型特征谱在特征缩放(scale/weighting)和提取中存在的问题？21谢谢观赏2019-5-9特征谱建模-什么是特征谱？l 输入输入i1111111*,ijpiq1()(),()()()(),iiin whijqpqwTiiiiijijijjijiipbTiiiiqpptTiiijijiiijiw hIRcSXXXXXXqqSc XXXXcSXXXXXc Xq 的人脸图像，每个图像写成一个列向量X表示第 个人第 副图像。假设训练集包含 个人，第 个人有 张图像22谢谢观赏2019-5-9特征谱建模-什么是特征谱？gg11,.,gggTgggggggnng
27、t w bSS 令S表示上述的散度矩阵，进行特征值分解，可以得到：是的特征向量矩阵，是特征值,.,的对角矩阵。1k,.,kggng(EigenSpectrum)假设特征值是降序排列的，。特征值对索引 所绘制成的曲线图叫做训练数据的特征谱23谢谢观赏2019-5-9特征谱建模-特征谱模型l 将将 看做是随机向量看做是随机向量 的一个采样，特征值的一个采样，特征值 就是就是 在特在特征向量征向量 上的投影的样本方差。它通常是偏离真正的方差上的投影的样本方差。它通常是偏离真正的方差的的(因为训练样本是有限的因为训练样本是有限的)。l 因此在列空间中，我们将特征谱因此在列空间中，我们将特征谱 建模为真
28、实方建模为真实方差和偏差的和差和偏差的和ijXXgkXgk,1gkkr()gFkkkFkkvvfacecomponentnoise component称为人脸成分称为噪音成分()24谢谢观赏2019-5-9特征谱建模-特征谱模型l人脸成分人脸成分 通常衰减的很快而且很稳定，因通常衰减的很快而且很稳定，因此用函数此用函数 来建模，可以很好的拟合特征来建模，可以很好的拟合特征谱的衰减特性。谱的衰减特性。l噪音成分噪音成分 包含了有限样本造成的影响，可包含了有限样本造成的影响，可以是负的。以是负的。Fkvk1,FkFFkkkkFgkkvkrvk（按降序排列），降序排列得到，是常数25谢谢观赏2019
29、-5-9特征谱建模-特征谱模型因为特征谱衰减太快，因此在图中绘制的是特征值对应的平方根。因为特征谱衰减太快，因此在图中绘制的是特征值对应的平方根。11:1000,1000ggkkggkkggkatypical real eigenspectrummodeled spectrumevenly distributed in a samll range26谢谢观赏2019-5-9特征谱建模-特征谱在特征提取和缩放中存在的问题l特征谱在子空间方法中具有很重要的作用，特征谱在子空间方法中具有很重要的作用，因为特征值经常被用来提取特征和对特征因为特征值经常被用来提取特征和对特征进行缩放进行缩放(scale
30、 feature).在实际的有限样本情况在实际的有限样本情况下会存在一些问题。下会存在一些问题。27谢谢观赏2019-5-9特征谱建模-特征谱在特征提取和缩放中存在的问题l PCA:欧氏距离：选择前d个特征向量，等价于用一个阶跃函数对Eigenfeature进行加权马氏距离：等价于用下列加权函数对特征加权BML也是用特征值的平方根的逆进行加权的LDA1,0,PdkkkdwukdMdgkkkwu28谢谢观赏2019-5-9特征谱建模-特征谱在特征提取和缩放中存在的问题l 这些利用特征值的逆对特征进行加权的方法这些利用特征值的逆对特征进行加权的方法,刚开刚开始，性能会随着始，性能会随着d的增加迅速
31、提高，但在特征维的增加迅速提高，但在特征维数数d达到一个较小的值之后性能会急剧下降。达到一个较小的值之后性能会急剧下降。l 原因：原因：Noise disturbance有限样本导致的对小特征值的糟糕估计，使得小特征值不能很好的估计特征在这一维的方差。影响有多糟糕呢？29谢谢观赏2019-5-9特征谱建模-特征谱在特征提取和缩放中存在的问题越大的索引对应的越大的索引对应的Eigenfeature对应的权重越大，而且权重对噪音和训练样本非常敏感对应的权重越大，而且权重对噪音和训练样本非常敏感30谢谢观赏2019-5-9子空间分解l从图中可以看出，噪音干扰对特征谱的初从图中可以看出，噪音干扰对特征
32、谱的初始部分影响很小，因此我们提出将特征向始部分影响很小，因此我们提出将特征向量量 组成的特征空间分解为三个子空间：组成的特征空间分解为三个子空间：人脸子空间(reliable)噪声子空间(unstable)零空间 1ngkk 1mgkkF 1rgkk mN 1ngkk r 31谢谢观赏2019-5-9子空间分解lr的确定：的确定：lm的确定：的确定：人脸部分通常衰减较快而且稳定，可以将这一部分看做是特征谱的孤立点(outliers),用中值算子(median operator)可以很好的确定噪音子空间的起始位置m+1。:min(,1):min(,):min(,1)maxarg:twbgkkf
33、or Srn lfor Srn lpfor Srn prlpn或者样本数目，类别数,维数32谢谢观赏2019-5-9子空间分解lm的确定的确定(中值算子中值算子),1,max|()max|()ggmedkgmedggm rmedrgmedm rggggmkkmedm rgggggkkmedmedrmedianrddd 首先确定噪音区域的中心和最小的非零特征值之间的距离是：不可靠的特征值的上界的估计为：虽然这是一个合理的选择，但是并不是最优的，更广义的，噪音区域的起点m+1可以估计为：为避免穷举搜索 ，我们将 设为133谢谢观赏2019-5-9提纲l文章信息文章信息l背景介绍背景介绍l本文方法本
34、文方法ERE算法(Eigenfeature Regularization and Extraction)时间复杂度l实验结果实验结果34谢谢观赏2019-5-9本文方法l目标：目标：提取使得类内变化最小类间变化最大的特征l方法：方法：Step 1:特征谱的正则化Step 2:提取判别特征(Discriminant Eigenfeature)35谢谢观赏2019-5-9Step 1:特征谱的正则化l为什么要对特征谱进行正则化呢？为什么要对特征谱进行正则化呢？一般来说，我们是要提取那些使得类内变化最小，类间变化最大的特征。通常第一步都是先使得类内变化最小，即对Sw做白化。11,.,1,1,0wTi
35、jrijwwwwwwrrrkwTijijijwwkkYXSwnXnY=Xkrwrkn 称为的非零特征值的白化特征向量等价于将 维的向量表示成 维的特征向量然后乘以一个加权函数：36谢谢观赏2019-5-9Step 1:特征谱的正则化37谢谢观赏2019-5-9Step 1:特征谱的正则化l存在的问题：存在的问题：零空间的权重是0，损失了零空间的信息。而零空间是从训练数据上得到的是不准确的，还是包含有判别信息的。因此，在零空间的权重应该更大。小特征值对噪音和训练样本很敏感，需要进行正则化。在噪音子空间中，噪音成分是占主要部分的，但是有限的训练样本导致了方差的快速下降，需要降低衰减速度，弥补噪音和
36、有限样本造成的影响(特征谱建模可以达到这样的效果)。38谢谢观赏2019-5-9Step 1:特征谱的正则化替换零特征值间的权重，我们用至少不应小于其他子空加权，进行无限大或者很大的靠的，因此应当是样本相关的，是不可空间的估计因此可以统一对待，零征值的信息，零空间没有任何关于特零空间：特征值的估计征谱，作为噪音子空间子空间的特成分的模型值替换噪音脸要成分，因此用表示人噪音子空间：噪音占主和从而可以求得，可以认为：人脸信息占主要部分人脸子空间krFkvkv1,)(F39谢谢观赏2019-5-9Step 2:提取判别特征(Discriminant Eigenfeature)l 用本文提出的加权函数
37、和特征向量，训练数据可用本文提出的加权函数和特征向量，训练数据可以被转换为：以被转换为：的转换是没有降维的到是一个满秩矩阵，ijijwnwnwnwwnkwkwkwnijTwnijYXwwwXY,.,11140谢谢观赏2019-5-9Step 2:提取判别特征(Discriminant Eigenfeature)l对特征进行正则化之后，新的总体散度矩对特征进行正则化之后，新的总体散度矩阵为：阵为：piqjijiipiqjTijijiitiiYqcYYYYYqcS1111)(tdwntdttdtnttntUSU,.,d,.,11为：取矩阵最终的特征正则化和提量个特征值对应的特征向按降序排列，取前进
38、行特征值分解得到：对41谢谢观赏2019-5-9ERE算法lTraining Stage:计算训练样本集的Sw，进行特征值分解将特征空间(Eigenspace)分解为三个子空间，face、noise、null space，并确定face space的范围(m的值)在三个子空间中分别进行正则化，求得加权函数，将训练样本 利用公式 变换为计算 的总体散度矩阵 ，进行特征值分解根据预定义的特征维数d得到最后的特征提取矩阵。ijXwTijnijYX ijYijYtS42谢谢观赏2019-5-9ERE算法lRecognition Stage:利用训练得到的U将n维图像转换维d维特征向量利用在Galler
39、y上得到的分类器对Probe Feature vectors进行识别。本文使用cos距离，1-NNK分类器。43谢谢观赏2019-5-9计算复杂度l 本文提出的方法相对于其他子空间的方法计算复本文提出的方法相对于其他子空间的方法计算复杂度要高一些，因为本文的方法的估计了杂度要高一些，因为本文的方法的估计了Sw零空零空间中的判别值间中的判别值(Discriminant value).l 因为因为St的的nullspace一般认为是不包含判别信息一般认为是不包含判别信息的，因此可以先使用的，因此可以先使用PCA进行降维。进行降维。l 对于同样的识别率，本文提出的方法会更快，因对于同样的识别率，本文
40、提出的方法会更快，因为实验中可以看出，本文的方法使用较少的特征为实验中可以看出，本文的方法使用较少的特征维数就可以达到相同的识别率。维数就可以达到相同的识别率。44谢谢观赏2019-5-9提纲l文章信息文章信息l背景介绍背景介绍l本文方法本文方法l实验结果实验结果实验条件实验结果45谢谢观赏2019-5-9实验条件l 文中所有实验，图像都是按照文中所有实验，图像都是按照CSU的的Face Identification Evaluation System处理的。处理的。CSU的FIES：主要提供标准的图像预处理软件4种人脸识别算法(PCA/PCA+LDA/BIC/EBGM)主要基于FERET数据
41、库已被下载使用10,000次是CSU和DARPA(Defense Advanced Research Project Agency)以及NIST(National Institute of Standards and Technology)合作的。http:/www.46谢谢观赏2019-5-9l 图像预处理步骤：图像预处理步骤：Integer to float conversion-Converts 256 gray levels into floating point equivalents.Geometric normalization Lines up human chosen eye
42、 coordinates.Masking Crops the image using an elliptical mask and image borders such that only the face from forehead to chin and cheek to cheek is visible.Histogram equalization Equalizes the histogram of the unmasked part of the image.Pixel normalization scales the pixel values to have a mean of z
43、ero and a standard deviation of one.47谢谢观赏2019-5-9l使用了使用了5个数据集做测试，个数据集做测试，7组实验组实验ORL,AR,GT,FERET(two)每个数据集分为训练集和测试集FERET的训练和测试是没有person重叠的ORL,AR,GT训练和测试的person是重叠的(all person)，但是训练和测试的image是没有重叠的。48谢谢观赏2019-5-9实验结果-11194 人，2388张图像(每人两张：fa/fb)图像大小：33*38两组实验250人训练，944人测试497人训练，697人测试49谢谢观赏2019-5-950谢谢
44、观赏2019-5-951谢谢观赏2019-5-952谢谢观赏2019-5-9实验结果-2256人，每人4张图像128人做训练，128人做测试图像大小：130*150本文的方法，先进性PCA去掉St的零空间，然后在511维的特征向量上运行本文的方法训练时间是FLDA的1.3倍一张作Gallery,其余3张图像作Probe，4次取平均53谢谢观赏2019-5-9实验结果-254谢谢观赏2019-5-9实验结果-340人，每人4张图像图像大小：50*57两组实验20人，200张图像训练，20人，200张图像测试留一交叉训练和测试399张图像训练，1张图像测试，400次55谢谢观赏2019-5-956谢谢观赏2019-5-957谢谢观赏2019-5-9实验结果-475人，每人14张图像(nonoccluded)图像大小：120*17075*7张图像作训练，75*7图像作测试ERE的训练时间是FLDA的1.4倍58谢谢观赏2019-5-9实验结果-459谢谢观赏2019-5-9实验结果-550人，每人15张图像包含大的姿态、表情变化以及部分光照变化图像大小：92*1250*8张图像训练，50*7张图像测试60谢谢观赏2019-5-961谢谢观赏2019-5-962谢谢观赏2019-5-9
