1、1引子v人世间找不两张完全一样的脸！人脸是人类赖以区分不同人的基本途径v世间一切尽在脸上！基因+成长环境2提纲v从模式识别到人脸识别v人脸识别的背景知识v人脸识别的基本原理v人脸检测与识别的典型方法v开放问题及讨论3从模式识别到人脸识别v对于即将从事模式识别相关研究的同学，模式识别课程非常重要比喻：就像要去打仗，手中没有精良的武器是不行的，有了武器不会用等于没有，对它们性能和使用的熟练程度不同也会在很大程度上影响成败v实践上需要具体情况具体对待比喻：用手枪去射击500米外的目标，或者用洲际导弹去轰炸500米外的敌人都是非常愚蠢的。4从模式识别到人脸识别v一般到特殊，归纳与演绎，理论与实践应用模
2、式识别的基本原则到人脸识别中去v从人脸模式的先验知识、具体情况和特定约束条件（“脸情”）出发，依据模式识别各模块的基本设计原则模式识别各模块的基本设计原则，选择、应用、尝试、比较选择、应用、尝试、比较PR领域的基本方法，最终解决人脸识别这个具体问题在实践中验证PR，在理论上回报PR v验证PR中的基本原理和技术方法，发现其可能的问题并修改之v总结归纳人脸识别中出现的共性PR问题及其可能的解决方案，以充实、弥补作为一门分支学科的模式识别5从模式识别到人脸识别6关于传感器与预处理v传感器：客观世界模式的测量问题人脸：数字化为2D图像？3D形状？红外温谱？分辨率、精度、灵敏度、失真度等等真实性？稳定
3、性？v预处理：保证数据的纯洁度v模式识别理论基本不关心这两项内容，而在应用上，是必须作为重要内容来考虑的，否则可能根本就是不可解的问题！7关于特征表示问题v关于特征提取与分类器理想的特征提取理想的特征提取过程可使得后续的分类器设计成为小菜一碟，万能的分类器万能的分类器似乎也应该使得设计者不必刻意设计特征提取过程！没有万能的分类器！v甚至没有所谓最好的分类器，不同的分类器有不同的适用范围！v但对具体问题，可能会有最适合的特征表示方法，而不同的特征表示也需要采用不同的分类器8关于数据问题vMath is king,data is queen!v在基于统计学习的模式识别问题中，采用什么样的数据、多少
4、数据往往决定了问题的成败，而不是采用了什么样的学习算法目标不同：模式识别研究的是有了特定属性数据之后如何设计“对所有可能的情况”最优的分类器，而应用上却要考虑“为了解决某个特定识别问题”如何去选择数据？v只为了识别中国人，需要把外国人的数据拿来训练吗？v为了识别正楷文字，需要把行书也拿来训练吗？v但是，在理论上却有另一个问题9关于泛化能力v泛化能力对于没有训练学习过的模式样本的识别能力v只用中国人训练的模型能否识别老外？异族人脸识别困难现象。v婴儿：“独眼龙”不是人？v在实践中，也许想办法加入更多的有代表性的训练样本更能解决问题，而不是去设计更复杂的分类器或者学习机充分利用手头样本：AdaBo
5、ost，Bagging等等10小结v对一般方法的掌握程度v对特定问题的理解程度v应用中需要更多的关注：传感器的选择，比如什么样的摄像机？预处理：如何去除各种干扰因素？特征表示问题：什么是本质的类别特征？为了解决某一应用问题，选择什么样的数据训练分类器？11人脸识别的相关背景12为什么要做人脸识别？v多学科领域的挑战性难题模式识别：最典型、最困难的模式识别问题人工智能：人类智能的基本体现计算机视觉：实现人眼的功能下一代人机交互v让计算机不再“熟视无睹”v让计算机具有人类的情感v广泛的应用前景 v人脸识别相比其他生物特征识别的优势 13应用模式典型具体应用特点说明应用领域身份识别出入境管理过滤敏感
6、人物（间谍、恐怖分子等）国家安全公共安全嫌疑人照片比对公安系统用于确定犯罪嫌疑人身份敏感人物智能监控监控敏感人物（间谍、恐怖分子等）网上追逃在PDA等移动终端上进行现场比对会议代表身份识别防止非法人员进入会场带来危险因素关键场所视频监控如银行大厅，预警可能的不安全因素家政服务机器人能够识别家庭成员的智能机器人人机交互自动系统登陆自动识别用户身份，提供个性化界面智能Agent自动识别用户身份，提供个性化界面真实感虚拟游戏提供真实感的人物面像，增加交互性身份验证护照、身份证、驾照等各类证件查验海关、港口、机要部门等查验持证人的身份是否合法公共安全准考证查验防止替考问题教育机要部门物理门禁避免钥匙和
7、密码被窃取造成失窃公共安全机要信息系统门禁避免单纯的密码被窃取造成信息被窃信息安全面像考勤系统方便，快捷，杜绝代考勤问题企业应用金融用户身份验证避免单纯的密码被窃取造成财产损失金融安全电子商务身份验证安全可靠的身份验证手段金融安全智能卡安全可靠的授权信息安全会议代表身份验证防止非法人员进入会场带来危险因素公共安全屏幕保护程序方便快捷的允许合法用户打开屏保人机交互14人脸识别相关研究内容v生物特征识别人脸、指纹、虹膜、视网膜、掌纹、v人机交互(HCI)v人脸图像编码/压缩v表情分析，情感计算 v人脸动画 face animationv人脸属性分类种族、性别、年龄vAttractiveness判别
8、15生物特征识别技术(Biometrics)16与其他生物特征识别的比较v生物特征识别：未来的身份验证方法！生物：指纹、虹膜、人脸、掌纹、手形、视网膜、红外温谱行为：笔迹、步态、声纹v人脸识别的优点可以隐蔽操作，特别适用于安全问题、罪犯监控与抓逃应用非接触式采集，没有侵犯性，容易接受方便、快捷、强大的事后追踪能力符合我们人类的识别习惯，可交互性强，无需专家评判v人脸识别的不足不同人脸的相似性大安全性低，识别性能受外界条件的影响非常大17技术挑战 光照环境条件 饰物（眼镜帽子等）面部毛发(头发，胡须)精神状态 健康状况 化妆、整容 影响人脸图像表观的因素 摄像设备 人与摄像设备的位置关系（距离角
9、度等）图像存储质量 年龄变化 意外损伤 18From the same person?Yes?No?19没有想象的那么简单！vHow many individuals in this picture?20没有想象的那么简单！vHow many individuals in this picture?21人脸识别的基本原理人脸识别的基本原理及其计算模型探讨及其计算模型探讨22我们的眼睛靠什么识别？v脸形，面部器官结构国田由用，目甲风申v皮肤和肤色光滑/粗糙，黝黑/白皙v动态特征酒窝，皱纹v局部特性黑痣，刀疤，鹰勾鼻子，独眼龙人的优势：强大的背景知识！人的优势：强大的背景知识！23人类视觉识别系统
10、特性简介及其借鉴意义 v人脸识别是否是一个特定的过程？证据：“人脸识别能力缺失症（Prosopagnosia）”患者的存在，患有此症的人可以正常的识别其他物体，甚至可以正确的识别鼻子眼睛和嘴巴等面部器官，但是就是不能认出熟悉的人脸，因此有理由怀疑其人脸识别功能区遭到了破坏。v全局特征与局部特征孰轻孰重？全局特征主要包括人脸的肤色特征（比如白皙、黝黑）、总体轮廓（比如圆脸、鸭蛋脸、方脸、长脸等）、以及面部五官的分布特征（比如，在绘画界就有“国田由用，目甲风申”8种脸形之说），中医也将人脸按照总体结构特征划分为“金木水火土”五行（侧重人脸3D结构和肌肉凸凹情况）而局部特征则主要指面部五官的特点，比
11、如浓眉毛、丹凤眼、鹰勾鼻、大豁嘴、八字胡须、尖下巴等，以及面部的一些奇异特征，比如黑痣、伤痕、酒窝等等 二者对识别都是必要的，但全局特征一般用来进行粗略的匹配，局部特征则提供更为精细的确认。24局部特征 vs 全局特征v明星漫画：夸大了独特之处问题：How to find these salient features automatically?2526局部特征 vs 全局特征vThatcher Illusion 27人类视觉识别系统特性简介及其借鉴意义v面部特征对识别的重要性分析 不同的面部区域对人脸识别的重要性是不同的，一般认为面部轮廓、眼睛和嘴巴等特征对人脸识别是更重要的，人脸的上半区域
12、对识别的意义明显比下半区域重要；鼻子在侧面人脸识别中的重要性要高于其他特征v异族人脸识别困难现象这涉及到识别算法的适应性和泛化能力问题，一方面可能需要尽可能大的学习集，另一方面也需要学习集必须具有较大的覆盖能力 v性别和年龄阶段对于识别性能的影响 女性要比男性更难识别；年轻人比老年人更难识别 v频域特性与人脸识别的关系 低频分量其实更多的是对人脸图像外观总体分布特性的描述，而高频分量则对应局部的细节变化 要想保留某人面部的一颗黑痣的信息，高频分量是无能为力的，必须保留足够的高频分量才可以 28人类视觉识别系统特性简介及其借鉴意义v特异度对人脸识别的影响 最“漂亮的”、最“丑陋的”、最“奇异的”
13、的人脸都是最容易被记住的，而大众化的人脸则不太容易被记住“大众脸”并不等于“平均脸”，大众脸是指经常可以见到的“脸”，而“平均脸”并不多见 v光照变化与人脸识别反相照片（负片）的识别时很困难的；下方光源人脸图像难以识别v姿态不变性不变性？v运动人脸图像序列提供了更多的29基于光学人脸图像的身份识别与验证v通常我们所说的人脸识别是基于光学人脸图像的身份识别与验证的简称v光学人脸图像（以下简称人脸图像）是外界光源（包括太阳光、室内人造光源和其他物体表面反射而来的光线）发出的光线照射在人脸上，经人脸表面反射后传输到摄像机传感器的光线强度的度量。30简化的人脸成像模型vLambert反射模型（漫反射模
14、型）K为物体表面点漫反射系数L为入射光强度v对人脸而言：31人脸图像的生成要素v人脸图像实际上是三大类关键要素共同作用的结果人脸内部属性Fv人脸人脸3D形状（表面法向量方向）形状（表面法向量方向）v包括人脸表面的反射属性（包括反射系数等，通常简称为纹理包括人脸表面的反射属性（包括反射系数等，通常简称为纹理）v人脸表情、胡须等属性的变化；外部成像条件Lv包括光源（位置和强度等）v其他物体或者人体其他部件对人脸的遮挡（比如眼镜、帽子、头发）等。摄像机成像参数Cv包括摄像机位置（视点）、摄像机的焦距、光圈、快门速度等内外部参数 32理想的识别模型v从人脸图像中剥离出人脸稳定不变的本质属性（3D形状与
15、表面反射率）外界条件及其摄像参数变化导致的图像变化v然后，从3D形状与表面反射率属性中提取不同人脸的差异信息，馈入到后端的判别分类器中进行识别一个病态问题！遗憾一个病态问题！遗憾 33退而求其次v目前的多数系统采用的人脸建模方法仍然停留在图像层面上，并没有显式地分离出3D形状和纹理的步骤v而是直接通过从“图像”中提取人脸特征人脸特征并进行分类来完成识别2D 结构信息基于几何结构的人脸特征出现了少量利用3D信息进行识别的方法：Morphable models2D 图像灰度数据统计特征如模板匹配,Eigenface,Fisherface2D 图像变换特征如Gabor,DCT,FFT2D 图像的低维
16、子空间分布v线性：子空间，光照锥v非线性：Kernel学习，流形等主流：Appearance-based methods34问题分解人脸识别人脸识别/确认确认面部特征定位面部特征定位人脸检测人脸检测X=(x1,x2,xn)35Face Detection36自动人脸识别系统37Face Recognition38基于几何特征的例子v建模：用面部关键特征的相对位置、大小、形状、面积等参数来描述人脸v人脸图像f特征向量v v=(x1,x2,xn)v对所有已知人脸提取同样描述的几何特征 D=v1,v2,.,vpv待识别的人脸f提取的几何特征为vfv计算vf与D中所有vi的相似度s(vf,vi)(比如
17、欧式距离、cosine(.)等)，进行排序v根据相似度最大的已知人脸的身份即可判断待识别人脸的身份信息39国内外研究现状及其分析40国内外研究现状研究机构v国外研究机构情况以美欧为主，各知名大学、研究所、企业研究院均设立了与人脸识别相关的研究组v大学：CMU,MIT,Michigan State University,UCLA,University of Manchester，UMD,USC,University of Surrey评测：FERET(94-97),FRVT(2000/2002),(X)M2VTS,FVCv国内研究机构简况大学：清华大学3家，哈尔滨工业大学，中山大学，南京理工大学
18、，南京大学，上海交大，浙大，北交大研究所：计算所，自动化所等41人脸识别的最高学术水平v1997FERET测试结果测试类(训练/测试数)最高识别率(大学，方法)所有参评方法的平均识别率FB (1196/1195)96%(UMD,PCA+LDA)83%FC (1196/194)82%(USC,EBGM)30%D I (1196/722)59%(USC,EBGM)40%D II (864/234)51%(USC,EBGM)21%#数据来源：2000年P.J.Phillips的PAMI文章 *说明（四种测试类均为正面人脸照片，略有表情变化，无眼镜等饰物）：FB：训练、测试集同一采集过程中在严格控制的
19、光照条件下采集，略有表情变化，视觉效果上与训练集数据相差不大；FC：训练、测试集同一采集过程中不同摄像头，有光照变化；D I：训练、测试集同一年内，不同时间采集，有光照变化D II：一年后，不同摄像头，不同光照条件42人脸识别的最高学术水平vFERET测试(大于等于1196人的人脸库上测试)*在同一摄像条件下采集的正面图像识别中，典型的识别率为95%以上而对用不同的摄像机和不同的光照条件采集的正面测试图像，典型的识别率骤降为80%以下而对一年后采集的正面测试图像，最大的准确率也仅仅接近50%*来源于2000年发表在PAMI上的文章，实际测试在1997年进行性能下降很快！性能下降很快！43从评测
20、看当前人脸识别技术的研究水平vFERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右vFRVT 2002较理想条件下（37437人(121,589 幅图像)的正面人脸签证照）v人脸识别(Identification)最高首选识别率73%v人脸验证(Verification)的等错误率大约为5%-7%错误接收率为0.01%时，最低错误拒绝率30%左右错误接受率为0.1%时，最低错误拒绝率18%左右错误接受率为1%时，最低错误拒绝率10%左右44从评测看当前人脸识别技术的研究水平vFERET1997理想条件下1000人左
21、右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右vFRVT 2002较理想条件下（37437人(121,589 幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)vGallery:787人正面中性表情，室内为白炽灯光源v室外同一天Probe库包括435人(444幅图像)，首选识别率54%v室外152-505天之间的Probe库包括103人(145幅图像)，首选识别率46%45从评测看当前人脸识别技术的研究水平vFERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面
22、人脸识别率骤降至50%左右vFRVT 2002较理想条件下（37437人(121,589 幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照)v87人正面图像作为Galleryv左转45度：40%v右转45度：55%v抬头30度：47%v低头30度：55%46从评测看当前人脸识别技术的研究水平vFERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右vFRVT 2002较理想条件下（37437人(121,58
23、9 幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试(Verification，错误接受率为1%测试图像为同样光照时间跨度问题v对大约3年后的照片，在错误接受率为1%时最高首选识别率60%左右而错误拒绝率为15%47从评测看当前人脸识别技术的研究水平vFERET1997理想条件下1000人左右的正面人脸识别系统识别率95%左右非理想条件下，200人左右正面人脸识别率骤降至50%左右vFRVT 2002较理想条件下（37437人(121,589 幅图像)的正面人脸签证照）非理想条件测试(Verification，错误接受率为1%)不同的姿态测试
24、(Verification，错误接受率为1%测试图像为同样光照时间跨度问题其它结论v对视频序列图像的识别效果并不比对静态图像的识别效果好?v数据库的规模每增加一倍，总体性能下降大约2到3个百分点v男性比女性更易于识别v年轻人比老年人难识别48国际研究现状v在比较良好的环境条件情况下，对1000人左右基本正面人脸进行识别的性能：首选识别率：95%以上等错误率：2%以下v在环境比较糟糕的情况下，对基本正面人脸进行识别的性能：首选识别率：80%以下等错误率：10%以上49Who is who in FR communityv Simon Baker,&Kanade v Thomas Vetterv
25、Rama Chellappav Baback Moghaddamv Alex Pentlandv Michael Blackv Peter Belhumeurv David Kriegmanv David Yacobsv Ronen Basriv Amnon Shashuav Wenyi Zhaov Chengjun Liuv Zhengyou Zhangv M.H.Yangv Harry Wechlerv Tim Cootesv Josef Kittlerv Jonathan Phillipsv Alice OToolev Matthew Turk v Too many to list al
26、l here.50人脸图像数据库v人脸库FERET人脸库，1196人CMU-PIE姿态光照表情人脸库，68人CAS-PEAL人脸库,1040人,姿态表情饰物光照Yale Face Database B 光照人脸库，10人XM2VTS多模态人脸库，200多人AR人脸库ORLYale 15人v以上人脸库已经基本没有价值，建议放弃使用51文献来源vProceeding of the following conferencesCVPR,ICCV,ECCV,FG,ICPRvJournalsTPAMI,Trans.on NN,Trans.on IP,SMC-Part APattern Recognitio
27、nIJCVIEEE ProceedingsImage and Vision Computing CVIU52国际商业系统v国际上比较著名的商业系统Cognitec AGFaceVACSIdentix(LFA)FaceItNeven VisionVissageFaceFINDER来自Viisage Technology Inc.(PCA)Hunter来自LAU Technologies(PCA)FaceSnap RECORDER来自C-VIS(EBGM)TrueFace来自eTrue Inc.(Neural Network)SpotIt!来自ITCBioID 53人脸识别的主要方法54发展阶段1
28、9641990199119971998-Current 主要特征作为一般识别问题被研究；基于特征的方法是主流重点解决的是较理想条件下、用户配合、中小规模人脸数据库上的人脸识别问题；基于Appearance的2D人脸图像线性子空间分析和统计模式识别方法是主流；重点研究非理想条件下、用户不配合、大规模人脸数据库上的人脸识别问题；基于3D模型和非线性建模的方法等可能是发展趋势代表性的人脸识别技术与方法及其关键性事件和作品已知的最早的自动人脸识别研究论文Bledsoe1964EigenfaceTurk&Pentland,1991光照锥技术Georghiades,Kriegman，Belhumeur，1
29、998 基于特征的方法与基于模板的方法的对比 Brunelli&Poggio，1992支持向量机SVM用于人脸识别中Phillips,1999第一个半自动人脸识别系统美国DARPA启动FERET测试项目 Philips&Moon1994,19953D可变形模型Vetter,1999第一篇自动人脸识别方面的博士论文Kanade,1973局部特征分析（LFA）人脸识别方法发展成为Visionics公司FaceIt商业系统Atick,1995基于AdaBoost的人脸检测技术Viola,1999 基于剪影分析的（Profile）人脸识别基于双子空间的贝叶斯概率学习Moghaddam，1995Face
30、 Recognition Vendor Test 2000 FRVT测试2000 人脸识别研究综述Chellappa,1995朗博反射与线性子空间分析Basri&Jacobs,2001 人脸的低维表示Sirovich&Kirby,1987，1990FisherfaceBelhumeur,1997基 于 商 图 像 的 人 脸 识 别 方 法Shashua,2001 弹性图匹配技术Wiskott，1997人脸检测综述Yang&Kriegman,2002 柔性模型，ASM,AAM Cootes&Taylor,1997FRVT 2002测试 FERET1996测试 Philips&Moon,1996
31、 技术特点基于特征的方法基于模板的方法-基于神经网络的人脸识别方法-统计学习理论-基于Appearance的2D人脸子空间分析与建模-非线性流形分析技术 基于2D图像模型的人脸识别基于3D模型的人脸识别 55典型方法v 基于几何特征的识别方法v 基于模板匹配的识别方法v 基于AdaBoost的人脸检测v 特征脸(Eigenface)v 可变形模板方法v 主动模型ASM/AAMv Fisherface,subspace LDAv 双子空间贝叶斯判别方法 v 3D Morphable Model v Elastic Graph Matchingv 局部特征分析(LFA)v 一些值得关注的技术趋势S
32、VM relatedLFA relatedGabor feature based methods Illumination conesQuotient imagesSpherical harmonics and Linear subspacesAdaBoost-based face recognitionManifold analysis for non-linear modelingvICA,kernel learning,ISOMAP,LLE56重点介绍的几个方法v 人脸检测基于AdaBoost的人脸检测方法v 特征定位可变形模板方法ASM/AAMv基础知识：主成分分析v 识别方法基于几何
33、特征的识别方法基于模板匹配的识别方法特征脸(Eigenface)Fisherface,subspace LDA双子空间贝叶斯判别方法 3D Morphable Model5758人脸检测方法v基于规则/知识方法人脸模式的变化满足一定的规律，所以可以归纳描述人脸特征的规 则，如灰度分布、比例关系、纹理信息等v基于模板的方法固定模板法，可变形模板法v基于不变特征的方法，如彩色信息人脸的肤色在彩色空间中的分布相对比较集中，所以可用来检测和 跟踪人脸。v基于外观学习的方法-目前的主流方法将人脸检测视为从非人脸样本中识别人脸样本的模式识别问题，通 过对人脸样本集和非人脸样本集的学习产生分类器59基于Ap
34、pearance的方法vANNvNave Bayes ClassifiervSVMvAdaBoost60AdaBoost算法简介v在2001年的ICCV上，Compaq的研究员Paul Viola和Michael J.Jones发表了一个实时人脸检测系统，其速度是平均每秒15帧，图像大小是384x288。参见：Paul Viola,Michael J.Jones.Robust Real-time Object Detection.CRL 2001/01 February 2001.v系统在技术上的三个贡献：1.用简单的矩形特征来作为人脸图像特征;2.基于AdaBoost的分类器;3.采用了Ca
35、scade(分级分类器)技术提高检测速度。v这种技术具有实时性的特点，而且有可能扩展到多个姿态的人脸检测。61人脸的特征表示方法v矩形特征（Harr-like特征）矩形特征的值是所有白色矩形中点的亮度值的和减去所有灰色矩形中点的亮度值的和，所得到的差有4种类型的矩形特征62Harr-like特征的表示v具体特征可以用一个五元组表示 r(x,y,w,h,style)比如：r(2,2,4,2,A)表示下面的特征特征值即为白色四个像素与黑色四个像素的差值 63v需要一幅辅助图像（积分图）如下图所示：特征的快速计算I(x,y)=上面区域所有像素值的和 =yyxxyxiyxii,),(),(64v从左到
36、右、从上到下扫描一遍图像，对图像进行如下操作 s(x,y)=s(x-1,y)+i(x,y)(1)ii(x,y)=ii(x,y-1)+s(x,y)(2)积分图的计算 65Harr-Like特征的快速计算v矩形特征的计算点1的值是矩形A中所有点的亮度值的和，点2的值是A+B点3的值是A+C，点4的值是A+B+C+D.那么矩形D的值就是vS(4)S(2)S(3)S(1)66Mark Up67输入图像积分图像基于积分图像的Haar-like特征计算6869Harr-Like特征的快速计算v矩形特征的计算点1的值是矩形A中所有点的亮度值的和，点2的值是A+B点3的值是A+C，点4的值是A+B+C+D.那
37、么矩形D的值就是vA(4)A(2)A(3)A(1)70AdaBoost分类器vAdaBoost分类器Adaboost学习算法是用来提高某种简单分类算法的性能的。它通过对一些弱分类器的组合来形成一个强分类器v功能将分类性能不好的弱分类器提升为分类性能好的强分类器的学习算法。v思想学习一系列分类器，在这个序列中每一个分类器对它前一个分类器导致的错误分类样例给予更大的重视。71Adaboost学习算法v输入：1.训练用人脸和非脸样本2.指定要挑选出来的弱分类器的数目T，这也是程序循环的次数 3.利用先验知识初始化权值向量v弱分类器其中，表示弱分类器的值，表示弱学习算法寻找出的阈值，表示不等号的方向，
38、表示特征值，表示一个Harr-like特征。72Adaboost学习算法流程挑选出的分类器数目T？应用当前样本的权值，计算每个弱分类器挑选错误率最小的弱分类器加入强分类器，根据其错误率计算其在强分类器中的系数。根据挑选出的分类器的错误率更改每个样本的权值，正确的权值增加，错误的权值不变73AdaBoost学习算法74实验结果和系统v训练样本正例v4800张手工标定的人脸照片作为训练样本集v1000张人脸照片作为测试集反例v10万张反例样本 人脸样本 75检测系统的构建76检测系统的构建77基于AdaBoost的快速人脸检测v基于分级分类器的加速策略大量候选窗口可以利用非常少量的特征（简单快速的
39、分类器）就可以排除是人脸的可能性！只有极少数需要大量的特征（更复杂的更慢的分类器来判别是否人脸）78分级分类器的构建v采用由粗到细的思想（coarse to fine）将数量少的重要的特征构成的分类器置于前面若干层，检测大部分人脸的同时，排除大量非脸后面层包含大量次重要的特征对非脸进行进一步排除每层训练用非脸样本使用前面层分类器误判为人脸的那些样本79基于AdaBoost的快速人脸检测v分级分类器的训练算法 80一些检测结果81一些检测结果8283面部特征提取v可变形模板匹配 Deformable Template84用可变形模板进行面部特征定位v可变形模板概念要点模板T：器官形状的参数描述形
40、式(先验)v直线、圆、抛物线、四次曲线等能量函数f=S(Tp,I)v定义参数p定义的模板Tp与输入图像I的匹配程度参数优化问题多参数非线性函数极小化 minp(f)v梯度下降法v坐标轮换法v其它优化算法85用可变形模板进行面部特征的形状检测各特征形状模板CCba r(TTYX)t)(CCYX)t)86可变形模板以下巴检测为例参数:(xc,yc),a,b,c,左侧抛物线:=221)(axcxLl=221)(bxcxLr右侧抛物线:能量函数:=lLyxlyxemE),(2),(1=LryxryxemE),(2),(1rrllEwEwE=其中:87搜索流程88检测结果892004-07-05PCA主
41、成分分析v问题描述为给定输入：n维图像空间中的m个点（图像）寻求 维的变换矩阵使得 ，而且满足新坐标系下各维之间数据的相关性最小，亦即一个去相关的过程WXYXYxiyi2004-07-05PCA:协方差矩阵v输入训练样本集合的协方差矩阵定义为：其中 是样本均值。v记：v 则上述公式变为：2004-07-05PCA：计算方法v计算过程为：计算样本均值 m中心平移每个训练样本 xi计算训练集合的样本协方差矩阵对协方差矩阵进行特征值分解取协方差矩阵的特征向量形成变换矩阵 W 2004-07-05PCA：用于降维PCA:Reduce space dimensionality with minimum
42、loss of description information.原始高维数据原始高维数据压缩后低维数据2004-07-05PCA降维:Theoryv在变换后的特征空间中，每个特征向量对应的特征值的大小代表该特征向量所描述的方向上的总体方差的大小 所以v从W中去掉那些对应较小特征值的特征向量，意味着在信息丢失最小的意义上降维!2004-07-05PCA降维:Practicev按照其所相应的特征值的大小对特征向量排序v选择头d个对应最大特征值的特征向量构成变换矩阵Wnxd 原始数据原始数据(n(n维维)压缩（压缩（d维维)从n维空间到d维空间的投影(d n)!2004-07-05数据约减：理想情况
43、图示原始数据空间中，其中一维数据的方差为0，没有信息，可以完全去掉，而没有任何损失！x1x22D datay11D data97数据约减：非理想情况图示x1x22D data1D datax1WoptT(xi-m)x1x22D dataWyi+m原始数据空间中，其中一维数据的方差比较小，包含少量信息，去掉后有少量损失！2004-07-05PCA降维:数据损失分析v投影后数据部分丢失，但是可以证明：在只使用前d个特征向量的情况下，xi与其逆PCA重构xi之间的均方误差为：v最小均方误差意义下的最佳变换x1x22D data1D datax1WoptT(xi-m)x1x22D dataWyi+m2
44、004-07-05PCA:小结v一种多元统计分析方法v变换后各维数据之间的相关性最小v最小均方误差意义下的最佳变换v限定有效的参数空间范围（在训练集合对象变化论域下）100主动形状模型ASMv统计形状模型从训练图像集合中可以派生出一个形状模型集合对其进行PCA分析，可以得到统计形状模型其中 为统计形状参数101主动形状模型ASMvASM模型局部纹理模型全局形状约束vPCA表达的统计模型vASM基本思路首先进行不可靠但效率很高的局部匹配，然后通过全局形状的统计约束来对其进行规范化i=1i=2i=3头3个形状模式的变化情况102ASM:搜索过程图示初始化初始化(平均平均)特征点局部纹理模型匹配特征
45、点局部纹理模型匹配统计形状模型约束统计形状模型约束(PCA)最终结果最终结果迭代迭代 103特征点局部纹理模型匹配v对每个特征点，在其法线邻域内搜索，寻找局部纹理模型的最佳匹配点局部纹理模型：法线方向纹理梯度，称为Profilev每个特征点的Profile模型都在训练时建立统计模型匹配方法v在法线上逐点运算，选择马氏距离最小的候选点每个特征点都是一个在法线上移动的小机器人，以发现与自己每个特征点都是一个在法线上移动的小机器人，以发现与自己Profile特征最佳匹配的候选点！特征最佳匹配的候选点！104统计形状模型约束(PCA)v局部搜索的结果每个特征点局部“最优”，全局形状可能异常v所有特征点
46、全局结构统计约束修改 得v直接效果少数服从多数的折衷平滑效果，去除了锯齿等异常 形状特征105ASM评价v优点局部纹理匹配简单，匹配速度快全局统计形状约束可以有效防止无效形状v缺点算法收敛约束条件不够强，没有显式的最优值附近局部凸的匹配度目标函数因此，经常会出现非常遗憾的情况v某次迭代搜索到一个正确结果，继续迭代则逐渐远离该正确结果106ASM结果示例107Face Alignment108主动表观模型AAMvAppearance=Shape+TextureShape如前所述Texture：形状无关的灰度图像面片Warp到到变为变为输入图像输入图像标准形状标准形状纹理纹理109AAM:训练数据
47、准备(续)形状平均形状纹理110 AAM:形状模型示例：训练得到的3种不同的形状模式v如前所述111AAM:纹理模型v纹理训练集合v纹理模型训练得到的第一纹理模式变化112主动表观模型AAMv表观模型=形状模型+纹理模型纹理纹理模型v统计表观模型形状和纹理串联得到b后，再次应用PCA，建立统计表观模型用于合成模型图像Warp到到变为变为输入输入图像图像标准标准形状形状纹纹理理3种变化模式113AAM:示例vAAM作者的自画像v彩色模型(by Gareth Edwards)3种变化模式His shapeA mode of the modelTim Cootes114AAM:用于图像分析Given
48、:1)an appearance model,2)a novel image,3)a starting approximation c0Find:the best matching synthetic image to get the parameters c问题描述：115AAM及其搜索策略vAAM搜索策略基于合成的分析技术(Analysis by synthesis)目标：求取模型参数，使得模型能够最佳逼近输入故问题可以转化为最小化下述目标函数的参数优化问题：v 为输入图像纹理v 为当前模型参数 产生的模型纹理v基于纹理差预测参数变化的启发式参数优化过程假设：模型纹理和当前输入纹理之差（纹
49、理差）与 模型参数变化之间存在近似的线性关系从而利用可以采用线性回归的方法来预测参数的变化，从而实现启发式的参数优化116AAM:搜索算法 对当前模型参数 cv计算模型图像和当前图像之差：d dg=gs-gmv预测模型参数变化:d dc=Ad dgv尝试新的模型参数：c=c kd dc,k=1计算新的误差函数：dg如果|d dg|d dg|，则接受 c作为新的估计参数v如果 c 不被接受，尝试 k=1.5;0.5;0.25等迭代上述过程直到|dg|不再发生变化为止117AAM：基于合成的图像分析3D人脸2D人脸图像AnalysisSynthesis统计外观模型SAM图像表示模型参数c*118A
50、AM 优化搜索过程实例119AAM总结与评价v优点不仅利用了全局形状约束，还考虑了纹理约束，因为定位可以更精确；基于合成的分析技术，有明确的优化目标函数，最优值附近满足局部凸性质，从而可以基本保证收敛到局部最优解；采用了基于纹理差预测模型参数变化的启发式参数优化过程，提高了搜索速度v缺点尽管采用了启发式参数优化方法，但优化过程仍然速度较慢；由于利用了纹理差与模型参数变化的线性假设，这种线性假设在纹理差别很大时并不存在，因而可能出现陷入局部极小；没有利用特征点的局部纹理，因而局部匹配能力较低，个别点的定位难以足够精确120121基于几何特征的例子v建模：用面部关键特征的相对位置、大小、形状、面积
