1、基于深度学习的低质量图像视觉分析基于深度学习的低质量图像视觉分析引子引子2016年5月7日，特斯拉车祸2018年5月8日，Uber撞行人的事故特斯拉官网撤下“全自动驾驶”低质量视觉数据 数据多：数据含噪声、坏数据、难数据；数据量大且增长快，分析跟不上；面临计算能力和成本问题“看”的质量低“理”的质量低多源异质 数据少：有时是客观存在的事实；数据量少、标注缺少或不完整；造成模型预测能力差、适应能力低数据量少缺少标注无真实场景数据标注，采用合成数据适应我们将办到目录深度学习深度学习模型优化模型优化蒙面遮挡蒙面遮挡人脸检测人脸检测低分辨率低分辨率人脸识别人脸识别深度学习在很多AI任务上取得了突破20
2、18？“没有可与深度学习没有可与深度学习竞争的人工智能技术竞争的人工智能技术”Yoshua Bengio2016：在游戏击败人类：在游戏击败人类AI FirstAll in AIAI in All世界充满“爱”(AI)2017，谷歌、百度、苹，谷歌、百度、苹果、果、IBM全面推进全面推进AI战略战略2014-2015：在通用任务和特定任：在通用任务和特定任务都取得极大进展（超过人眼水平）务都取得极大进展（超过人眼水平）2013：深度学习被评为：深度学习被评为10大科技突破之首大科技突破之首深度学习在视觉数据库、深度网络、性能上进展显著99.77%LFW人脸识别99.63% 99.65%99.4
3、7% 99.50% 99.53%100.00%99.50%99.00%98.50%98.00%97.50%99.15%98.52%97.45%人类水平：人类水平：97.53%97.35%97.00% 96.33%96.50%96.00%深度学习方法深度学习方法这些深度模型是否可以直接在实际中应用？深度模型实际部署中存在的问题对抗攻击：数据扰动使模型出错边：模型太大，难以在边：模型太大，难以在APP应用及嵌入式设备部署应用及嵌入式设备部署云：网络延迟、功耗成本、用户隐私等存在挑战云：网络延迟、功耗成本、用户隐私等存在挑战数据质量：实际情况与训练数据差异模型推理计算复杂、参数多，“唠叨肥胖也是病唠
4、叨肥胖也是病”可行的解决办法采集实际应用中的海量数据，采用优秀的深度网络，训练深度模型工业表面缺陷城市视频监控数据数据火星探测医学数据“给我一个支点（数据），我就能撬动地球”没有数据，或者非常有限可行的解决办法采集实际应用中的海量数据，采用优秀的深城市视频监控数据数据医学数据“给我一个支点（数据），我就能撬动地球”没有数据，或者非常有限是否可以复用现有深度模型实现实际部署？是否可以复用现有深度模型实现实际部署？深度神经网络深度学习革命海量数据高性能计算设备训练的深度模型从海量数据中汲取训练的深度模型从海量数据中汲取了丰富的知识了丰富的知识(修炼了内功修炼了内功)，通过，通过模型优化提供知识的有
5、效利用模型优化提供知识的有效利用高性能计算设备耗费大量的时间耗费大量的时间成本、精力成本成本、精力成本和能耗成本训练和能耗成本训练得到很多高性能得到很多高性能的模型，如果不的模型，如果不能加以利用则是能加以利用则是一种浪费；模型一种浪费；模型优化提供一种经优化提供一种经济的手段来利用济的手段来利用已训练的深度模已训练的深度模型型“红利红利”。实际部署的需求视觉分析任务“看的清看的清”“看的明看的明”“看的透看的透”Low-High-实际部署的需求高性能的模型更小的模型更高的精度更快的速度更低的能耗更安全的使用两个例子 蒙面遮挡人脸检测Detecting Masked Faces in the
6、Wild with LLE-CNNs. In: IEEE CVPR 2017针对更高精度；采用少量真实场景的数据 低分辨率人脸识别Low-resolution Face Recognition in the Wild via Selective KnowledgeDistillation. IEEE TIP (Major Revision)针对更小模型、更快速度、更低能耗；采用大量非真实场景的数据目录深度学习深度学习模型优化模型优化蒙面遮挡蒙面遮挡人脸检测人脸检测低分辨率低分辨率人脸识别人脸识别人脸检测介绍IJCV,2004CVPR 2014CVPR 2015IEEE SPL 2016人脸检测
7、基本流程当前的人脸检测方法实际场景：蒙面遮挡挑战在蒙面遮挡人脸上的问题 遮挡造成纹理/结构/部件等信息缺失，导致手工特征表示错误 遮挡造成的人脸结构缺失导致DPM方法失败 由于训练中未含蒙面人脸，导致深度模型检测失败从数据和模型两方面进行优化，利用蒙面人脸数据辅助进行模型优化从数据和模型两方面进行优化，利用蒙面人脸数据辅助进行模型优化关键问题及解决思路非蒙面人脸检测：精度高、性能好如何在有限蒙面遮挡人脸数据条件下获得非遮挡人脸检测的精度与性能遮挡人脸检测：数据缺乏、数据数量有限数据集MAFA (MAsked FAces) 训练：25876图，44746蒙面脸 测试：4935图，6354蒙面脸
8、标注：人脸/人眼/遮挡物位置、姿态、遮挡程度、遮挡物类型http:/ 遮挡影响人脸候选的提取，降低召回率 遮挡造成人脸线索缺失，人脸特征中含噪声 用更强判别能力的深度人脸识别器VGGFace描述人脸特征，获得高维深度特征 用全连接网络多任务学习验证候选；回归任务用于修正由于遮挡引起的特征偏移 降低阈值，让更多候选通过 通 过 LLE 投影消除特征噪声LLE：Locally Linear Embedding 局部线性嵌入 原始的LLE：利用自身数据内部规律进行降维，每次都要进行紧邻求解W然后降维W 从非蒙面人脸中寻找最能代表人脸和非人脸组成特征字典，对蒙面人脸特征进行嵌入是字典， Xi是高维深度
9、特征， V是投影后特征 通过遮挡人脸和正常人脸的比较，利用正常人脸数据集构造DSam Roweis, Lawrence Saul. Nonlinear dimensionality reduction by locally linear embedding. Science, 2000结果目录深度学习深度学习模型优化模型优化蒙面遮挡蒙面遮挡人脸检测人脸检测低分辨率低分辨率人脸识别人脸识别人脸识别介绍特征提取特征提取特征比对特征比对问题：当前大多数人脸识别深度模型都不是针对低分辨率人脸的要求高分辨率的人脸图像输入或者模型参数多32基于重构的方法 构建HR-LR人脸对，形成数据集； 输入低分辨率人
10、脸，通过从数据集中搜索最相似的Q幅低分辨率人脸； 假定Q幅人脸属于M个类别，然后对每个类别训练映射模型并使用其去对输入的低分辨率人脸进行超分辨率增强，得到M幅高分辨率人脸； 在本征空间上计算这M幅产生的高分辨率人脸与数据库中对应的高分辨率人脸之间的差异，寻找差异最小的高分辨率人脸，其对应的类别就是输入的低分辨率人脸的类别。Simultaneous hallucination and recognition of low-resolution faces based on singular value decomposition. IEEE CSVT 2015Photo-realistic si
11、ngle image super-resolution using a generative adversarial network. IEEE CVPR 基于嵌入的方法Coupled kernel embedding for low-resolution face imagerecognition. IEEE TIP 2012Multidimensional scaling for matching low-resolution face images. IEEE PAMI 关键问题及解决思路高分辨率识别：精度高、但模型大如何获得高分辨识别的精度，又保持低分辨率识别模型的大小低分辨率识别：模
12、型小、但精度低模型择性知识蒸馏：特征回归逼近选择的最富信息知识（来自教师），身份分类恢复缺失的知识36知识蒸馏利用大模型或模型集成(教师模型)的预测去训练更小、更便宜的模型(学生模型)学生模型能够捕获教师模型的大部分优点，实现轻量级、更快的推理教师模型模型平均归一化、SoftenSoft TargetHard Target0.8 0.85= 0.8250.8270.51110.850.140.8训练000.19 0.14 =0.1630.190.1630.010.2630.2250.010.010.01 0.01=0.01 = () + (1 )()Geoffrey Hinton, Oriol
13、 Vinyals, and Jeffrey Dean. Distilling Knowledge in a Neural Network, NIPS 2014 Workshop37选择性知识蒸馏教师模型 支持低分辨率输入，实现了跨质量的知识图像软标记迁移学生模型硬标记 对教师模型的知识进行选择，选择最富信息（正确）的知识，消除了教师中的错误知识知识蒸馏(Hinton,2014)图像降质教师模型 多任务进行知识传递“正确的”知识选择 特征回归接收正确的教师知识 身份分类弥补教师知识不足硬标记图像学生模型选择性知识蒸馏38性能 模型小（28.7KB）、内存低（0.15MB）、速度快（GPU 943
14、3 FPS） 支持多种分辨率输入，支持超低分辨率人脸识别推理内存占用推理内存占用39人脸比对精度不同模型在LFW上的精度c: only face class supervision (nodistillation).s: selective distillation without faceclass supervisionsc: selective distillation with face classsupervision.dc: direct distillation with face classsupervision40无约束人脸识别精度UCCS (UnConstrained Co
15、llege Students) 取得更低的错误率VLRR1: 40.97%top-1 and 22.35%top-5; OUR: 32.75%top-1 and 18.30%top-51 Z. Wang, S. Chang, Y. Yang, and et al. Studying very low resolution recognition using deep networks. In: IEEE CVPR, 2016.41支持多种边缘计算 空-天-地-网1000脸每秒脸每秒30KB模型模型0.15MB内存内存无人机无人机卫星卫星城市监控城市监控智能眼镜智能眼镜救援机器人救援机器人智能驾驶智能驾驶网络媒体内容网络媒体内容总结深度学习模型深度学习模型优化优化蒙面遮挡人脸蒙面遮挡人脸检测检测低质量的视觉数据高性能的深度模型模型优化模型优化低分辨率人脸低分辨率人脸识别识别/适应适应43
