1、第七章第七章 人脸识别人脸识别1 人脸识别问题人脸识别问题2 人脸识别系统人脸识别系统3 人脸图像的主成分特征人脸图像的主成分特征（1 1）人脸识别）人脸识别（2 2）人脸识别研究的意义）人脸识别研究的意义 （3 3）人脸识别算法研究的发展与现状）人脸识别算法研究的发展与现状 （4 4）人脸识别研究面临的问题）人脸识别研究面临的问题1 1 人脸识别问题人脸识别问题1 1）人脸识别人脸识别 人脸识别指人脸识别指计算机自动人脸识别计算机自动人脸识别，是近年来随着计算机、，是近年来随着计算机、图像处理、模式识别等技术的迅速进步而出现的一种崭新的图像处理、模式识别等技术的迅速进步而出现的一种崭新的生物
2、特征识别技术生物特征识别技术。生物识别技术是依靠人体的身体特征来。生物识别技术是依靠人体的身体特征来进行身份验证的一种高科技识别技术。人的进行身份验证的一种高科技识别技术。人的指纹、掌纹、眼指纹、掌纹、眼虹膜、声音、虹膜、声音、DNADNA以及相貌以及相貌等人体特征具有人体所固有的不可等人体特征具有人体所固有的不可复制的唯一性、稳定性。随着计算机技术的迅速发展，人们复制的唯一性、稳定性。随着计算机技术的迅速发展，人们开发了指纹识别、声音识别、掌形识别、签名识别、眼纹开发了指纹识别、声音识别、掌形识别、签名识别、眼纹（视网膜）识别等多种生物识别技术。目前许多技术都己经（视网膜）识别等多种生物识别
3、技术。目前许多技术都己经成熟并得以应用。成熟并得以应用。2 2）人脸识别研究的意义）人脸识别研究的意义 人脸识别技术不需要携带任何电子、机械人脸识别技术不需要携带任何电子、机械“钥匙钥匙”，可，可以杜绝丢失钥匙、密码的现象，如果配合以杜绝丢失钥匙、密码的现象，如果配合ICIC卡、指纹识别等卡、指纹识别等技术可以使安全系数成倍增长。技术可以使安全系数成倍增长。随着社会的发展，各个方面对快速有效的自动身份验随着社会的发展，各个方面对快速有效的自动身份验证的要求日益迫切。由于生物特征是人的内在属性，具有证的要求日益迫切。由于生物特征是人的内在属性，具有很强的自身稳定性和个体差异性，因此是身份验证的最
4、理很强的自身稳定性和个体差异性，因此是身份验证的最理想依据。这其中，利用人脸特征进行身份验证又是最自然想依据。这其中，利用人脸特征进行身份验证又是最自然直接的手段。相比其他人体生物特征，它具有简便、准确、直接的手段。相比其他人体生物特征，它具有简便、准确、直接、友好、方便、经济及可扩展性良好等特点，易于为直接、友好、方便、经济及可扩展性良好等特点，易于为用户所接受，它的潜在应用领域十分广泛。用户所接受，它的潜在应用领域十分广泛。2 2）人脸识别研究的意义）人脸识别研究的意义 安全验证安全验证：如银行金融系统。在：如银行金融系统。在ATM ATM 自动取款机上应用人脸自动取款机上应用人脸识别技术
5、，可以免除用户忘记密码的苦恼，还可以有效防止识别技术，可以免除用户忘记密码的苦恼，还可以有效防止冒领、盗取的事件发生。冒领、盗取的事件发生。出入口监控、控制出入口监控、控制：如公安追击嫌疑犯、反恐怖斗争。在：如公安追击嫌疑犯、反恐怖斗争。在重要的车站、码头、机场、海关出入口附近架设摄像机，重要的车站、码头、机场、海关出入口附近架设摄像机，系统即可在无人看守的状态下，自动捕捉进出上述场所的系统即可在无人看守的状态下，自动捕捉进出上述场所的人员的头像，并通过计算机网络将面部特征数据传送到计人员的头像，并通过计算机网络将面部特征数据传送到计算机中心数据库，自动与面部数据库中的逃犯面像比较，算机中心数
6、据库，自动与面部数据库中的逃犯面像比较，迅速准确地做出身份判断。迅速准确地做出身份判断。2 2）人脸识别研究的意义）人脸识别研究的意义 近年来，随着对人类行为科学、人机交互技术的研究，以近年来，随着对人类行为科学、人机交互技术的研究，以及在计算机动画设计、视频会议或远程教育系统、自动身及在计算机动画设计、视频会议或远程教育系统、自动身份验证、视觉监视监控系统等应用领域的需求，人脸的计份验证、视觉监视监控系统等应用领域的需求，人脸的计算机检测、定位和识别技术受到了广泛的重视。这方面的算机检测、定位和识别技术受到了广泛的重视。这方面的工作以人脸的检测和识别为典型代表，还包括头部运动的工作以人脸的检
7、测和识别为典型代表，还包括头部运动的跟踪体势和运动信息的提取，手势手语的识别，嘴唇运动跟踪体势和运动信息的提取，手势手语的识别，嘴唇运动的辨识以及人脸表情的识别等等。人们试图对过这些工作，的辨识以及人脸表情的识别等等。人们试图对过这些工作，把握人类不同情况下的行为举止，探索友好的人机交互方把握人类不同情况下的行为举止，探索友好的人机交互方式，并满足更有个性化的服务和人际交流的需要。式，并满足更有个性化的服务和人际交流的需要。3 3）人脸识别算法研究的发展与现状）人脸识别算法研究的发展与现状 人脸识别的研究起源于人脸识别的研究起源于2020世纪世纪6060年代，发展大致可分为以年代，发展大致可分
8、为以下下3 3个阶段个阶段第第1 1阶段阶段：主要研究人脸识别所需要的面部特征。特点是识：主要研究人脸识别所需要的面部特征。特点是识别过过程全部依赖于操作人员别过过程全部依赖于操作人员第第2 2阶段阶段：是人机交互式识别阶段。：是人机交互式识别阶段。第第3 3阶段阶段：是真正的机器自动识别阶段。近十余年来，随是真正的机器自动识别阶段。近十余年来，随着高速度、高性能计算机的发展，人脸模式识别方法有了着高速度、高性能计算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统。较大的突破，提出了多种机器全自动识别系统。3 3）人脸识别算法研究的发展与现状）人脸识别算法研究的发展与现状
9、 近几年来关于人脸识别的研究取得了很大进步，国际上近几年来关于人脸识别的研究取得了很大进步，国际上发表有关论文的数量大幅增长，发表有关论文的数量大幅增长，ElEl检索到的相关文献就达检索到的相关文献就达数千篇，数千篇，IEEEIEEE的的PAMIPAMI汇刊还于汇刊还于19971997年年7 7月出版了人脸识别专月出版了人脸识别专辑，每年的国际会议上关于人脸识别的专题也屡屡可见。辑，每年的国际会议上关于人脸识别的专题也屡屡可见。三类技术三类技术：基于几何特征的识别方法、基于统计特征的识：基于几何特征的识别方法、基于统计特征的识别方法和基于连接机制的识别方法。别方法和基于连接机制的识别方法。4
10、4）人脸识别研究面临的问题）人脸识别研究面临的问题人脸塑性变形（如表情等）的不确定性；人脸塑性变形（如表情等）的不确定性；人脸模式的多样性（如胡须、发型、眼镜、化妆人脸模式的多样性（如胡须、发型、眼镜、化妆等）；等）；图像获取过程的不确定性（如光照等）。图像获取过程的不确定性（如光照等）。不同类别的人脸模式差异较小，同类人脸模式具有不同类别的人脸模式差异较小，同类人脸模式具有较大的不稳定性。较大的不稳定性。人脸识别本质上是三维塑性物体二维投影图像的匹配人脸识别本质上是三维塑性物体二维投影图像的匹配问题，它的难点体现在问题，它的难点体现在（1 1）人脸识别系统流程）人脸识别系统流程（2 2）人脸
11、数据库）人脸数据库（3 3）基于统计的人脸识别算法）基于统计的人脸识别算法2 2 人脸识别系统人脸识别系统预处理预处理肤色肤色模板匹配模板匹配几何特征几何特征统计特征统计特征代数特征代数特征人脸数据库人脸数据库11121,21222,12,112.,.,WWHHH WH WHWia a aa a aA a a aa aaaR 数学表示数学表示数字化数字化121WHWaax a按按列列堆堆叠叠iaORLORL人脸数据库是人脸识别研究中用得最多得人脸数据库，它人脸数据库是人脸识别研究中用得最多得人脸数据库，它可以从互联网上免费下载获得可以从互联网上免费下载获得（http:/ 40 个人的个人的40
12、0 400 幅人脸图像构成，图像的分别率为幅人脸图像构成，图像的分别率为92 92 112 112，为，为灰度图像灰度图像。人脸的面部表情和细节均有很大的人脸的面部表情和细节均有很大的变化变化，例如笑与不笑，眼睛睁着或戴眼镜或不戴眼镜等；，例如笑与不笑，眼睛睁着或戴眼镜或不戴眼镜等；人人脸姿态也有很大的变化脸姿态也有很大的变化，其深度旋转和平面旋转可达，其深度旋转和平面旋转可达20 20 度，度，人脸的尺寸也有最多人脸的尺寸也有最多1010的变化。的变化。YaleYale的人脸数据库也是人脸识别研究中常用的数据库之一，的人脸数据库也是人脸识别研究中常用的数据库之一，YaleYale人脸数据库中
13、的人脸图像具备人脸数据库中的人脸图像具备光照和表情的变化光照和表情的变化，人脸，人脸的姿态视角不变，全部是正面人脸图像。的姿态视角不变，全部是正面人脸图像。光照变化是光照变化是YaleYale人人脸数据库的主要特点脸数据库的主要特点。YaleYale的人脸数据库容量比较小，只包的人脸数据库容量比较小，只包括括11 11 个人的个人的165 165 幅各种光照和表情的人脸照片（包括正面光幅各种光照和表情的人脸照片（包括正面光照，左面光照，右面光照，戴眼镜，不戴眼镜，高兴，正常，照，左面光照，右面光照，戴眼镜，不戴眼镜，高兴，正常，伤心，欲睡，惊奇和眨眼等）。它也可以从互联网上免费下伤心，欲睡，惊
14、奇和眨眼等）。它也可以从互联网上免费下载获得（载获得（http:/cvc.yale.edu/projects/yalefaceshttp:/cvc.yale.edu/projects/yalefaces）。）。ARAR人脸数据库是普渡大学机器人视觉研究中心的人脸数据库是普渡大学机器人视觉研究中心的AleixAleix教授和教授和BenaventeBenavente教授建立的，它也是人脸识别研究中用得比较多的教授建立的，它也是人脸识别研究中用得比较多的数据库之一。数据库之一。ARAR数据库共包括数据库共包括126 126 个不同的人（个不同的人（70 70 个男性，个男性，56 56 个女性）的
15、个女性）的4000 4000 多幅人脸图像，每个人大约多幅人脸图像，每个人大约26 26 幅左右，幅左右，图像为图像为24 24 位彩色图，分辨率为位彩色图，分辨率为768768*576576（宽（宽*高）象素大小，高）象素大小，格式为格式为RAWRAW格式。格式。ARAR数据库中的人脸图像是正面的人脸图像，数据库中的人脸图像是正面的人脸图像，具备具备表情、光照和遮挡等的变化表情、光照和遮挡等的变化，表情变化和遮挡是这个数表情变化和遮挡是这个数据库的主要特点之一据库的主要特点之一。该数据库不仅可以用于人脸识别，而。该数据库不仅可以用于人脸识别，而且还可以用于表情识别。使用者只需要在互联网上进行
16、且还可以用于表情识别。使用者只需要在互联网上进行（http:/rvl1.ecn.purdue.edu/aleix/aleix_face_DB.htmlhttp:/rvl1.ecn.purdue.edu/aleix/aleix_face_DB.html）简单的注册，就能够获得该数据库。简单的注册，就能够获得该数据库。世界上世界上最大的人脸数据库最大的人脸数据库，它是由美国国防部为了促进人脸，它是由美国国防部为了促进人脸算法的深入研究和实用化，发起人脸识别技术工程而建立的。算法的深入研究和实用化，发起人脸识别技术工程而建立的。包括一个通用的人脸数据库和一整套的测试标准。库中的人包括一个通用的人脸数
17、据库和一整套的测试标准。库中的人脸图像具有脸图像具有不同的姿态视角、表情和光照等的变化不同的姿态视角、表情和光照等的变化，目前每，目前每两年一度的人脸识别竞赛主要就采用这个人脸数据库作为评两年一度的人脸识别竞赛主要就采用这个人脸数据库作为评测标准。与其他的一些人脸数据库不同的是，该数据库每个测标准。与其他的一些人脸数据库不同的是，该数据库每个人的人脸图像不仅包括姿态角度、表情和光照等的变化，而人的人脸图像不仅包括姿态角度、表情和光照等的变化，而且还包括且还包括时间间隔的变化时间间隔的变化，最长的时间间隔达，最长的时间间隔达3 3 年之久。年之久。FERET FERET 人脸数据库包括数千人的几
18、万幅人脸图像，而且还在人脸数据库包括数千人的几万幅人脸图像，而且还在不断地扩充。不断地扩充。（1 1）主成分脸方法）主成分脸方法（2 2）FisherFisher脸方法脸方法（3 3）奇异值分解方法）奇异值分解方法（4 4）神经网络方法）神经网络方法（5 5）隐马尔科夫模型方法）隐马尔科夫模型方法（6 6）支持向量机方法）支持向量机方法3 3）基于统计的人脸识别算法）基于统计的人脸识别算法（1 1）人脸的主成分特征的本质）人脸的主成分特征的本质（2 2）人脸图像的预处理）人脸图像的预处理（3 3）人脸样本的协方差矩阵的计算）人脸样本的协方差矩阵的计算3 3 人脸图像的主成分特征人脸图像的主成分
19、特征（4 4）人脸的主成分特征提取算法子）人脸的主成分特征提取算法子（5 5）子空间识别方法）子空间识别方法主成分分析作为一种经典的多元统计分析方法，尽管对它的主成分分析作为一种经典的多元统计分析方法，尽管对它的研究可谓源远流长，但将其用于解决人脸识别问题却是最近研究可谓源远流长，但将其用于解决人脸识别问题却是最近十几年的事。直到二十世纪九十年代初，十几年的事。直到二十世纪九十年代初，M.KirbyM.Kirby和和L.SirovichL.Sirovich讨论了利用讨论了利用PCAPCA进行人脸图像的最优表示问题。进行人脸图像的最优表示问题。接着接着M.TurkM.Turk和和A.Pentl
20、A.Pentl 探讨了这种表示的物理意义。他们惊探讨了这种表示的物理意义。他们惊奇的发现，奇的发现，PCAPCA特征矢量在还原成图像矩阵时，竟然是一张张特征矢量在还原成图像矩阵时，竟然是一张张标准化的人脸！称其为特征脸标准化的人脸！称其为特征脸，采用，采用PCAPCA变换表示人脸的本质变换表示人脸的本质被揭示了出来，这样，任一人脸通过若干个特征脸加权叠加被揭示了出来，这样，任一人脸通过若干个特征脸加权叠加来表示。然后利用这些加权系数向量作为人脸的特征进行分来表示。然后利用这些加权系数向量作为人脸的特征进行分类识别。这就是著名的特征脸（类识别。这就是著名的特征脸（EigenfacesEigenf
21、aces）方法。）方法。主成分脸主成分脸正因为主成分分析有着重要的理论及应用价值，有关主成分正因为主成分分析有着重要的理论及应用价值，有关主成分分析的理论及应用研究至今仍层出不穷，在模式识别领域享分析的理论及应用研究至今仍层出不穷，在模式识别领域享有盛誉的国际刊物有盛誉的国际刊物Patern RecognitionPatern Recognition就曾经出版过这就曾经出版过这方面的专刊。方面的专刊。随着特征脸方法的成功，极大随着特征脸方法的成功，极大地激发了人们对这一方法的研地激发了人们对这一方法的研究热情，出现了许多种基于究热情，出现了许多种基于PCAPCA的人脸识别方法。的人脸识别方法。
22、人脸图像的归一化，目的在于使在不同成像条件（光照强度、人脸图像的归一化，目的在于使在不同成像条件（光照强度、方向、距离、姿势等）下拍摄的同一个人的图像具有一致性，方向、距离、姿势等）下拍摄的同一个人的图像具有一致性，使得人脸图像标准化。良好的归一化，会有效增强系统对成使得人脸图像标准化。良好的归一化，会有效增强系统对成像过程不确定性的抵抗能力。像过程不确定性的抵抗能力。归一化包括两个方面的内容，一是几何归一化，也称为位置归一化包括两个方面的内容，一是几何归一化，也称为位置校准，它将有助于解决由于成像距离和人的姿势造成的人脸校准，它将有助于解决由于成像距离和人的姿势造成的人脸尺寸和歪头角度上的差
23、异。二是灰度归一化，它用来对不同尺寸和歪头角度上的差异。二是灰度归一化，它用来对不同光强、光源方向下得到的图像进行补偿，以减弱单纯由光照光强、光源方向下得到的图像进行补偿，以减弱单纯由光照变化造成的图像信号的变化。光照补偿能够一定程度上地克变化造成的图像信号的变化。光照补偿能够一定程度上地克服光照变化的影响而提高识别率。经过上述处理，将得到所服光照变化的影响而提高识别率。经过上述处理，将得到所谓的谓的“标准图像标准图像”，后面的特征提取和设计环节都是基于标，后面的特征提取和设计环节都是基于标准图像进行的。准图像进行的。几何归一化的目的在于解决尺度和旋转问题，具体包括平面几何归一化的目的在于解决
24、尺度和旋转问题，具体包括平面旋转矫正（歪头）、深度旋转矫正（扭脸）、尺度归一化和旋转矫正（歪头）、深度旋转矫正（扭脸）、尺度归一化和掩模四个环节。严格深度旋转矫正需要利用人脸掩模四个环节。严格深度旋转矫正需要利用人脸3D3D模型。模型。（1 1）人脸图像旋转：保证了人脸方向上的一致性）人脸图像旋转：保证了人脸方向上的一致性（2 2）人脸图像裁减：人脸位置的一致性）人脸图像裁减：人脸位置的一致性（3 3）图像尺度变换：保证人脸大小的一致性）图像尺度变换：保证人脸大小的一致性人脸图像经过几何校准，不仅在一定程度上获得了人脸表人脸图像经过几何校准，不仅在一定程度上获得了人脸表示的几何不变性，而且还消
25、除了头发、胡子和背景等的干示的几何不变性，而且还消除了头发、胡子和背景等的干扰扰。人脸图像的特征主要反映在图像数据的方差，而不是数据的人脸图像的特征主要反映在图像数据的方差，而不是数据的绝对值。若忽略待处理人脸图像存在的光照不均匀的问题，绝对值。若忽略待处理人脸图像存在的光照不均匀的问题，这将会直接影响到人脸的特征提取的精度。所以在完成人脸这将会直接影响到人脸的特征提取的精度。所以在完成人脸图像的几何归一化后，需要对校准图像做灰度拉伸，以改善图像的几何归一化后，需要对校准图像做灰度拉伸，以改善图像的对比度，采用直方图修正（直方图均衡）技术可以使图像的对比度，采用直方图修正（直方图均衡）技术可以
26、使图像具有统一的均值和方差，以部分地消除光照强度的影响。图像具有统一的均值和方差，以部分地消除光照强度的影响。图像的均值是反映图像平均亮度的物理量，光照越强均值越图像的均值是反映图像平均亮度的物理量，光照越强均值越大，光照越弱均值越小。而图像的方差则是反映图像亮度变大，光照越弱均值越小。而图像的方差则是反映图像亮度变化大小的物理量，图像的亮度变化越大，方差越大，反之亦化大小的物理量，图像的亮度变化越大，方差越大，反之亦然。因此，要进行光照强度补偿，以然。因此，要进行光照强度补偿，以减少光照不均匀对人脸减少光照不均匀对人脸图像的影响图像的影响，这可以通过对图像的均值和方差进行处理来实，这可以通过
27、对图像的均值和方差进行处理来实现现.对一幅对一幅H HW W 人脸图像人脸图像，将每个像素点的灰度值依次按列堆，将每个像素点的灰度值依次按列堆叠，构成一个维数是叠，构成一个维数是=HW=HW 的列向量的列向量 ，则，则111TpxpppxxpmxpxH x1Txpmx21 1,TpppppHIpHHpxH x21Txpx H xp221111TTTTTxppppx xx H H xx H xx H xpppp目的：目的：把人脸图像处理成具有相同的均值和方差把人脸图像处理成具有相同的均值和方差.001ppxxH xpm00,m000011pppxxxxpmH xpm归一化人脸训练样本集归一化人脸
28、训练样本集,1,2,.,ixin12,.,p nnXx xx11TTp pnTCXXXH XnnAA111nXknkxXn1,.,XnXnXxxXH1/nAnXH定理（定理（SVDSVD）设矩阵）设矩阵,()p rARr Arp1/2,TTTTAUVU UI V VVVI1/2121212,.,.,.,p rr rrrrdiagUu uuVv vv(1,2,.,),TTiirA A AA是的非零特征值(1,2,.,)iir,TTAA A AA对任意矩阵，有相同的非零特征值1/2TTTTAUVU UIV VVVI(),()TTAA UUA A VV,TTiiiii iAA uuA Avv12UA
29、V12122122111,ru uuAvAvAv1,1,2,iiiuAvir利用奇异值分解的人脸利用奇异值分解的人脸PCAPCA特征提取算法步骤特征提取算法步骤1XnX1/nAnXH12r12,rv vv12(,)Tpxx xx,1,2,Tkkyu xkmTmyU x12,mmUu uuTmmmxU yU U x1,1,2,.,iiiuAv irPCAPCA变换是图像压缩的一种最优正交变换，人们将它应用于特变换是图像压缩的一种最优正交变换，人们将它应用于特征提取，征提取，形成了子空间法模式识别的基础形成了子空间法模式识别的基础。将。将PCAPCA用于人脸识用于人脸识别，需要假设不同人脸具有可分
30、性。别，需要假设不同人脸具有可分性。1 122ppaa ua ua u1,2,puuu()1122mmmaua ua u()221|0pmkk maaa()maa121ppuuu u11(1)122(1)22.HWHHWHHHHWH Wu u uu u uu u a u变成矩阵变成矩阵显示显示而具体细节需要那些小特征而具体细节需要那些小特征值对应的特征向量（也称次值对应的特征向量（也称次分量）来加以补充描述，因分量）来加以补充描述，因此低频成分用主分量表示，此低频成分用主分量表示，高频成分用次分量表示。高频成分用次分量表示。Image Space R pPCA SubSpace*PCsHuman1s facesPCs*。*。*Human2s faces PCsTest faceWho?基于基于PCA 的人脸识别示意图的人脸识别示意图pe1e2e1u2umuTest Face Vector完完
