1、张明 副教授 人工智能原理：基于Python语言和TensorFlow第11章 人脸识别1.人脸识别概念2.人脸识别的流程3.人脸识别种类4.人脸检测5.性别和年龄识别11.1 人脸识别概念u 从20世纪后半叶开始，计算机视觉技术获得了飞速的发展。与视觉图像相关联的软件技术和硬件技术逐渐应用于人们的日常生活中，并逐渐成为人类社会信息来源的一个重要组成部分，这些技术的广泛普及与应用也促使了计算机视觉技术的不断革新和改进。计算机视觉技术被广泛应用于智能安检、人机交互等领域。u 计算机视觉技术是人工智能技术的一个重要组成部分，也是当下计算机技术发展的一个前沿领域，经过多年的不断发展，已经形成了以数字
2、处理、计算机图形图像等多种技术相融合的综合性技术，并具有较强的边缘性和学科交互性。在这其中，人脸识别技术是一个热门的研究方向，也是目前生物特征识别技术中备受研发人员和科技人员关注的一个技术分支。11.1 人脸识别概念 人脸识别，是基于人体的面部特征信息所进行身份信息识别的一种生物识别技术。通常情况下，通过使用摄像头或者其他视频采集设备可以采集到包含有人脸的图像或视频流并进行进一步的检测工作，然后针对图像或视频流中的人脸信息进行自动的跟踪和相应的一系列技术操作。11.1 人脸识别概念u 20世纪50年代：大量的认知科学家开始着手对人脸识别领域的技术展开研究。u 20世纪60年代：正式开启了对人脸
3、识别工程化的应用研究。当时主要应用的方法是通过人脸的几何结构，进一步分析人脸器官特征点及其之间的拓扑关系。u 20世纪90年代：1991年，著名的“特征脸”（Eigenface）方法第一次将主成分分析和统计特征这两种技术引入到人脸识别领域。u 2000年2012年：在这12年间，伴随着机器学习理论的不断发展，研究学者们纷纷将遗传算法、支持向量机（Support Vector Machine，SVM）、Boosting、流形学习等科学理论应用于人脸识别领域中。11.1 人脸识别概念u 2013年：微软亚洲研究院的研究学者们第一次尝试了10万级别的大规模训练数据，并基于高维LBP特征和Joint
4、Bayesian方法在LFW人脸数据库上获得了95.17%的训练精度。这一结果充分表明在大规模训练数据集的应用前提下，非受限环境下的人脸识别效果能够获得显著的提升。u 2014年以后：随着大数据和深度学习的发展及广泛应用，神经网络重受瞩目，并在图像分类、手写体识别、语音识别等应用中获得了比以往经典方法更显著的训练效果。11.1 人脸识别概念u 在我国，从2015年开始，政府密集出台了一系列有利于人工智能和人脸识别发展的政策。这其中，2015年1月7日发布的关于银行业金融机构远程开立人民币银行账户的指导意见（征求意见稿），给人脸识别的普及打开了一丝缝隙；在这之后的2015年5月和12月，政府分别
5、出台了安全防范视频监控人脸识别系统技术要求信息安全技术网络人脸识别认证系统安全技术要求等法律法规，为人脸识别在金融、安防、医疗等领域的普及打下了坚实的基础，扫清了政策障碍。在2017年，人工智能这个词首次写入我国的国家政府报告中，作为人工智能的重要细分领域，国家对人脸识别相关的政策支持力度也在不断地加大。2017年12月发布的促进新一代人工智能产业发展三年行动计划（2018-2020年）甚至对人脸识别的具体标准做了规定：“到2020年，复杂动态场景下人脸识别有效检出率超过97%，正确识别率超过90%”。11.2 人脸识别的流程通常情况下，我们可以将人脸识别技术原理简单分为三个步骤：u 第一步，
6、构建出一个包含了大量人脸图像信息的数据库u 第二步，通过各种技术途径来获得当前要识别的目标人脸图像u 第三步，将当前目标人脸图像与数据库中已有的人脸图像进行对比及筛选11.2 人脸识别的流程整个人脸识别技术流程按细节可分为以下几个组成部分：u 人脸图像的采集。u 人脸图像的检测。u 人脸图像的预处理。u 人脸图像的特征提取。u 人脸图像的匹配与识别。u 活体鉴别。11.2.1 人脸图像的采集人脸识别系统需要做的第一步工作就是针对人脸的图像进行采集。采集人脸图像通常情况下有两种途径，分别是已存人脸图像的批量导入和人脸图像的实时采集。已存人脸图像的批量导入是指将通过各种方式采集好的人脸图像批量导入
7、到人脸识别系统中，人脸识别系统会自动完成人脸图像的逐个采集工作。人脸图像的实时采集是指通过调用摄像机或摄像头等摄像器材将人脸图像信息采集下来，它包括静态图、动态图、人体面部8个主要角度的图像信息、人体面部不同表情的图像信息等内容，用户处于摄像器材的拍摄范围内，设备会自动进行面部信息搜索并采集下相应的图像信息。11.2.2 人脸图像的检测人脸识别的检测主要涉及以下两个方面的内容。（1）首先对将要检测的目标图像进行概率统计，然后得到要检测的目标图像的特征信息，最后建立关于要检测的目标图像的具体模型。（2）使用建立的目标检测模型来对输入的图像信息进行匹配，如果有相应的匹配内容，则输出匹配的区域部分，
8、如果没有相应的匹配内容则停止输出。人脸检测是人脸识别预处理过程中的其中一部分，在图像中准确地标注出目标对象的人脸位置和人脸尺寸。人脸图像中所包含的模式特征异常丰富，结构特征、颜色特征、直方图特征等特征信息都属于模式特征的一部分。人脸检测就是将这些信息过滤出来，并加以应用。11.2.3 人脸图像的预处理人脸图像预处理是指基于前一个阶段人脸检测的结果，对人脸图像进行进一步处理，以便为后续的人脸特征提取流程提供相应的服务。在现实环境下采集图像，由于图像受到光线明暗不同、脸部表情变化、阴影遮挡等众多外在因素的干扰，使得系统获取的人脸图像会受到各种条件的限制和干扰而产生一定程度的变化，从而导致采集图像质
9、量不理想，因此人脸图像的预处理在具体实施过程中，需要对系统采集到的人脸图像进行光线、旋转、切割、过滤、降噪、放大缩小等一系列的复杂预处理，从而使得该人脸图像无论是从光线、角度、距离、大小等任何方面来衡量，均能够符合下一个处理流程中人脸图像的特征提取的标准要求。如果图像预处理做不好，将会严重影响后续的人脸特征提取与识别。我们将介绍三种图像预处理的方法：灰度调整、图像滤波和图像尺寸归一化。11.2.4 人脸图像的特征提取人脸图像特征提取是指针对人脸上的一些具体特征来提取。目前主流的人脸识别系统所使用的特征通常分为人脸视觉特征和人脸图像像素统计特征。特征提取的方法一般包括基于知识的人脸图像特征提取和
10、基于代数特征的人脸图像特征提取。以基于知识的人脸图像特征提取为例。因为人脸主要是由眼睛、额头、鼻子、耳朵、下巴、嘴巴等部位组成，这些部位以及它们之间的结构关系都可以用几何形状特征来进行描述，即每个人的人脸图像都可以有一个与之相对应的几何形状特征，它可以帮助我们作为识别人脸的重要差异特征，这也是基于知识的提取方法中的一种。11.2.5 人脸图像的匹配与识别人脸图像的匹配与识别是指将提取出来的人脸图像的特征数据信息与数据库中所存在的人脸特征模板进行搜索匹配，并计算出不同的相似度数值，接着再依据相似度数值的高低来对用户的身份信息进行精准判别。在此过程中，我们需要设定一个阈值，当通过搜索匹配计算出来的
11、相似度超过了我们所设定的这个阈值，那么就输出匹配的结果。目前在进行人脸图像匹配的过程中，一般有两种匹配方式。11.2.5 人脸图像的匹配与识别第一种方式是将两张图像进行一对一的匹配比较，通过提取两张图像上的人脸特征进行相似度对比，最终返回相对应的相似度得分，系统再根据特征匹配程度来决定是“拒绝”还是“接收”。它常用于判断两个输入人脸是否属于同一个人，从而进行身份信息的核实，也就是我们常说的“人脸验证”，这样的方式常用在身份识别、信息安全、相似脸查询和金融等应用查询领域。第二种方式是将多张图片进行一对多的匹配比较，在大规模的人脸数据库中找出与待检索人脸相似度最高的一个或者多个人脸，系统通过预先创
12、建的待查人员的面部特征索引，在数十万甚至上百万张人脸数据库图片中进行迅速查找，找到需要确定的某张图，甚至于，此方式还可以使用视频流，目标对象进入视频识别范围后就会自动开始进行人脸识别的工作，也就是我们常说的“人脸检索”，这样的方式常用在身份确认、身份查询以及安全防护等应用场景中。11.2.6 活体鉴别生物特征识别所面临的其中一个共同问题就是要真正的生物体和非生物体进行活体鉴别。例如指纹识别系统需要鉴别出待识别的指纹信息是来自真人的手指还是指纹手套。人脸识别系统也面临这样的问题，它需要鉴别出所采集到的人脸图像，是来自真实的人脸还是含有人脸的照片，因此，投入实际应用的人脸识别系统需要再增加一项活体
13、鉴别的环节。例如，系统会要求目标对象进行左右转头，眨眼睛，开口说话等动作，以便进一步进行活体鉴别。11.3 人脸识别种类u 人脸检测u 人脸关键点检测u 人脸验证11.3.1 人脸检测在实际生活中，人脸检测主要是进行人脸识别的预处理。首先在图像中对人脸进行检测并定位出人脸的具体位置和大小，然后返回一个人脸的高精确度框图坐标。人脸检测是对人脸进行分析和处理的第一个阶段。早期的人脸检测方法是通过选择图像中的某个矩形区域作为检测窗口，在选定的这个检测窗口中来进行一系列特征信息的提取，然后对这个选定的图像区域进行一些特征描述，最后再以这些特征描述信息为基础并结合算法模型来进行判断，判断所选定的窗口区域
14、是否是人脸。整个人脸检测的过程最后就变成了针对所有滑动窗口进行遍历的一个过程。11.3.1 人脸检测目前主流的人脸检测方法是使用Adaboost算法。此算法是一种迭代算法，常应用于分类领域，其核心思想是针对同一个训练集，训练不同数量的功能较弱的分类方法，再将这些功能较弱的分类方法进行组合，最终形成功能较强的最终分类方法。在人脸检测的过程中，首先使用Adaboost算法，从训练集中挑选出一部分最能够代表人脸的矩形框特征（即所谓的弱分类方法），再按照加权投票的方式，将这些矩形框特征重新构建，最终形成一个新的特征（即所谓的强分类方法），将此过程重复若干次，最终将训练所得到的若干个强分类方法串联起来，
15、形成一个能够有效提高检测速度的最终分类方法。11.3.2 人脸关键点检测人脸关键点检测有时也被称为人脸关键点定位或人脸对齐。它是指依据给定的人脸图像进行定位，确定出人脸面部的关键点坐标位置并返回相应的数值。人脸面部的关键点包括人脸的五官轮廓、脸轮廓等，因为会受到姿态、位置及物品遮挡等客观因素的影响，人脸关键点检测也是一个有难度的环节。目前有些IT公司所研发的人脸识别技术已经可以提供出高达100多个关键点的高精度检测技术，另外，无论是针对静态的图片信息还是动态的视频流信息，所检测出的关键点均能完美地与人脸五官轮廓进行贴合。11.3.2 人脸关键点检测人脸关键点检测是人脸识别过程中最重要的环节，人
16、脸关键点检测的精确度对众多科研领域和应用领域都具有举足轻重的作用。可以通过它来对姿态进行相应识别，对表情进行识别，对疲劳状态进行检测识别，对嘴型进行识别等。因此，获取高精度的人脸关键点就成了最重要的工作，也是当下最热门的领域，它的技术突破与否，直接影响到了计算机视觉、计算机模式识别、计算机图像处理等领域的发展。人脸关键点检测所使用的方法分为以下三种方式：u 基于ASM和AAM的传统方式。u 基于级联形状回归的方式。u 基于深度学习的方式。11.3.2 人脸关键点检测人脸关键点检测方法根据是否需要参数化模型又可分为基于参数化形状模型和基于非参数化形状模型的两类方法。目前使用最广泛的是基于非参数化
17、形状模型的深度学习方法。11.3.2 人脸关键点检测在这些最重要的人脸关键点检测方法中，按照出现的时间先后顺序，依次为：1）ASM（Active Shape ModeL）算法2）AAM（Active Appearance ModeL）算法3）CLM（Constrained LocaL ModeL）算法4）CSR（Cascaded Shape Regression）算法5）CNN（ConvoLutionaL NeuraL Networks）算法ASM算法它最早于1995年被提出，主要是通过形状模型对物体进行抽象，是一种基于点分布模型（Point Distribution ModeL，PDM）的算
18、法。在点分布模型算法中，人的面部、手、心脏、肺部等部位的几何形状，可以通过若干个关键点的坐标依次串联形成一个形状向量来进行表示。ASM算法的基础理论是：物体图像的结构能够被一系列的点来表示出来，这些点可以是表示边缘的点，也可以是表示内部结构的点，甚至于可以是表示外部的点。ASM算法可以用来提取物体的特征点或作为表示物体特征的一种形式。它的优点是模型简单、架构清晰，易于使用者进行理解和应用，并且对轮廓形状有比较强的约束，适用于表示一些典型的形状和典型的形状改变，是一种很成熟的算法。ASM算法它的流程一般为先通过人工标定的方法标定训练集，经过训练获得形状模型，再通过特征点的匹配实现特定物体的匹配。
19、总体分为训练和搜索两个阶段，在第一个阶段的训练过程中，首先构建形状模型，搜集n个训练样本，再通过手动的方式标记脸部特征点，然后将训练集中特征点的坐标串成特征向量，并对形状进行归一化和对齐，将对齐后的形状特征做PCA处理，最后是为每个特征点构建局部特征。它的目的是在每次迭代过程中每个特征点可以寻找到新的位置。为了防止因光照而产生变化，在局部特征的选取上采用梯度特征；在第二个阶段的搜索过程中，首先需要计算嘴巴或者嘴巴和眼睛的位置，并做简单的尺寸变化和旋转变化，将人脸进行对齐，然后在对齐后的各个点附近进行搜索，对每个局部特征点进行匹配操作，得到初步形状，接着采用平均人脸模型对匹配结果进行修正，不断对
20、此过程进行迭代至最后。AAM主动外观模型算法它在ASM算法的基础上，对纹理进行进一步统计建模，并将形状和纹理两个统计模型进一步融合为表观模型。简单来讲，就是利用“外观信息”对对象进行识别，这里面的外观信息指的是形状和纹理。AAM识别目标的方式与人脸识别中的“分类器”方法类似，即通过之前所建立好的外观训练模型（一个文件）来对目标对象进行识别。基于AAM的人脸特征定位方法在建立人脸模型的过程中，不仅需要考虑人脸的局部特征信息，还需要综合考虑全局形状和纹理信息，并通过对人脸形状特征和纹理特征进行统计分析，最终构建出人脸混合模型。在图像的匹配过程中，为了能够快速准确地进行人脸特征点的标定，在对被测试人
21、脸对象进行特征点定位时采取“匹配比较调整后再匹配再比较”的过程。基于AAM算法的人脸特征识别在人机交互、人脸识别、人脸表情分析、人脸三维动画建模等方面有着比较广泛的应用。11.3.3 人脸验证人脸验证是指通过分析对比从而判断两张人脸是否属于同一个人。输入两张人脸数据，将会得到一个相似度数值，从而进行相似度的评估。11.4 人脸检测u LFW数据集u 数据预处理与检测11.4.1 LFW数据集人脸识别领域最重要的数据集合是LFW数据库，它是由美国的马萨诸塞大学（University of Massachusetts）阿姆斯特分校（Amherst）计算机视觉实验室整理完成的一个数据库。11.4.2
22、 数据预处理与检测通过dLib进行人脸识别网络训练后，得到dLib_face_recognition_resnet_modeL_v1.dat。通常大家在LFW人脸数据集上对该模型进行精度验证。以下梳理验证过程。（1）在原始LFW数据集中，截取人脸图像并保存。例如：可以使用开源人脸检测对齐seetaface将人脸剪切出来，并保存，建议以原图像名称加一个后缀来命名人脸图像（2）通过Python，MatLab，或者C+，构建训练时的网络结构并加载dLib_face_recognition_ resnet_modeL_v1.dat。（3）将截取的人脸送入网络，每个人脸都可以得到网络前向运算的最终结果，
23、一般为一个N维向量，并保存，建议以原图像名称加一个后缀命名。11.4.2 数据预处理与检测（4）LFW提供了6000对人脸验证txt文件，Lfw_pairs.txt，其中第1个3000对是同一个人的两幅人脸图像；第2个3000对是两个不同人的人脸图像。按照该List，在（3）保存的数据中，找到对比人脸对应的N维特征向量。（5）通过余弦距离/欧式距离计算两张人脸的相似度。同脸和异脸分别保存到各自对应的得分向量中。（6）同脸得分向量按照从小到大排序，异脸得分向量按照从大到小排序。（7）FAR（错误接受率）从01，按照万分之一的单位，利用排序后的向量，求FRR（错误拒绝率）或者TPR（True Po
24、sitive Ratio）。（8）根据（7）可绘制ROC曲线。11.4.2 数据预处理与检测对于阈值的确定，有如下步骤：（1）将测试人脸对分为10组，用来确定阈值并验证精度。（2）自己拟定一个人脸识别相似度阈值范围，在这个范围内逐个确认在某一阈值下，选取其中1组数据统计同脸判断错误和异脸判定错误的个数。（3）选择错误个数最少的那个阈值，用剩余9组，判断识别精度。（4）步骤（2）和（3）执行10次，将每次（3）获取的精度进行累加并求平均，得到最终判定精度。阈值的确定也可以用下述方式替换，即自己拟定一个人脸识别相似度阈值范围，在这个范围内逐个确认在某一阈值下，针对所有人脸对统计同脸判断错误和异脸判
25、定错误的个数，从而计算得出判定精度。11.5 性别和年龄识别u 性别识别是利用计算机视觉来辨别和分析图像中的人脸性别属性。多年来，人脸性别分类在人类身份认证、人机接口、视频检索以及机器人视觉中的潜在应用而备受关注。u 性别分类是一个复杂的大规模二次模式分类问题，分类器将数据录入并划分男性和女性。目前最主要的性别识别方法有：基于特征脸的性别识别算法、基于Fisher准则的性别识别方法和基于Adaboost+SVM的人脸性别分类算法三大类。u 基于特征脸的性别识别算法主要是使用PCA（主成分分析）。在计算过程中通过消除数据中的相关性，将高维图像降低到低维空间，而训练集中的样本则被映射成低维空间中的
26、一点。当需要判断测试图片的性别时，就需要先将测试图片映射到低维空间中，然后计算离测试图片最近的样本点是哪一个，将最近样本点的性别赋值给测试图片即可。u 基于Fisher准则的性别识别方法主要利用LDA（线性投影分析）的思想。它是通过将样本空间中的男女样本投影到过原点的一条直线上，并确保样本在该线上的投影类内距离最小，类间距离最大，从而分离出识别男女的分界线。11.5 性别和年龄识别u 基于Adaboost+SVM的人脸性别分类算法主要分为两个阶段，如图所示。u（1）训练阶段：通过对样本图像进行预处理，提取图像的Gabor小波特征，通过Adaboost分类器进行特征降维，最后对SVM分类器进行训
27、练。u（2）测试阶段：通过对样本图像进行预处理，提取图像的Gabor小波特征，通过Adaboost分类器进行特征降维，最后用训练好的SVM分类器进行识别，输出识别结果。11.5 性别和年龄识别u 年龄估计定义并不明确，它既可以是分类问题，亦可是回归问题。如果将年龄分成几类，比如：少年、青年、中年和老年时，年龄估计就是分类问题；如果精确估计具体年龄时，年龄估计就是回归问题。u 年龄估计是一个比性别识别更为复杂的问题。原因在于：人的年龄特征在外表上很难准确地被观察出来，即使是人眼也很难准确地判断出一个人的年龄。再看人脸的年龄特征，它通常表现在皮肤纹理、皮肤颜色、光亮程度和皱纹纹理等方面，而这些因素
28、通常与个人的遗传基因、生活习惯、性别、性格特征和工作环境等方面相关。所以说，我们很难用一个统一的模型去定义人脸图像的年龄。若想要较好地估出人的年龄层，则需要通过大量样本的学习，比如说年龄估计开始。11.5 性别和年龄识别u基于人脸图像进行年龄估计的效果11.5 性别和年龄识别年龄估计大致分为预估和详细评估两个阶段：（1）预估阶段：提取出照片中人脸的肌肤纹理特征，对年龄范围做一个大致的评估，得出一个特定的年龄段。（2）详细评估阶段：通过支持向量机的方法，建立了对应于多个年龄段的多个模型分类器，并选择合适的模型进行匹配。这其中，以一项融合LBP和HOG特征的人脸年龄估计算法最为人们所熟知。11.5
29、 性别和年龄识别该算法提取与年龄变化关系紧密的人脸的局部统计特征LBP（局部二值化模式）特征和HOG（梯度直方图）特征，如图所示，并用CCA（典型相关分析）的方法融合，最后通过SVR（支持向量机回归）的方法对人脸库进行训练和测试。11.5.1 数据预处理所用的网络包含：3个卷积层，还有2个全连接层如图11-10所示。这个算是层数比较少的CNN网络模型了，这样可以避免过拟合。对于年龄的识别，分为8个年龄段，相当于8分类模型；对于性别识别自然而然是二分类问题了。11.5.2 模型构建（1）第一层：采用96个卷积核，每个卷积核参数个数为377，这个就相当于3个77大小的卷积核在每个通道进行卷积。激活
30、函数采用ReLu，池化采用最大重叠池化，池化的大小选择33，strides选择2。然后接着再来一个局部响应归一化层。局部响应归一化，这个分成两种情况，一种是3D的归一化，也就是特征图之间对应像素点的一个归一化。还有一种是2D归一化，就是对特征图的每个像素的局部做归一化，流程如图所示。11.5.2 模型构建（2）第二层：输入是962828的单通道图片，因为我们上一步已经把三通道合在一起进行卷积了。第二层结构，选择256个滤波器，滤波器大小为55，卷积步长为1。池化也是选择跟上面的一样的参数。（3）第三层：滤波器个数选择384，卷积核大小为33。（4）第四层：第一个全连接层，神经元个数选择512。
31、（5）第五层：第二个全连接层，神经元个数也是选择512。（6）第六层：输出层，对于性别来说是二分类，输入神经元个数为2。（1）初始化参数：权重初始化方法采用标准差为0.01，均值为0的高斯正态分布。（2）网络训练：采用dropout来限制过拟合，dropout比例采用0.5。还要进行数据扩充，数据扩充是通过输入256256的图片，进行随机裁剪，裁剪为227227的图片，当然裁剪要以人脸的中心为基点进行裁剪。（3）训练方法采用点随机梯度下降法，min-batch大小选择50，学习率大小为0.001，当迭代到10000次以后，把学习率调为0.0001。（4）结果预测：预测方法采用输入一张256256的图片，然后裁剪为5张大小为227227的图片，其中4张图片的裁剪方法为分别以256256的图片的4个角为基点进行裁剪。然后最后1张，以人脸的中心为基点进行裁剪。然后对这5张图片进行预测，最后对预测结果进行平均。11.5.2 模型训练如果我们直接把书中给出的训练好的模型用到自己的项目上，可能精度会比较低。直接使用书中给的模型，在个人的数据上进行测试，数据是中国人，精度为82%左右，这个精度对于我们实际的工程应用还差很远。后面就要发挥自己的调参技巧把精度提高上去，才能达到95%以上的精度。11.5.2 模型验证
