行人重识别的研究及发展意义课件.ppt

1、行人重识别 汇报人：*时间：行人重识别 汇报人：*时间：01 行人重识别简介 02 行人重识别的发展与重难点03 行人重识别的方法研究 04 车辆重识别 CONTENT 0 1 行人重识别简介 0 2 行人重识别的发展与重难点0 3 行PART ONE 行人重识别简介 P A R T O N E 行人重识别简介 行人重识别的概念 CAMERA Person 行人重识别行人重识别（Person re-identification)（简称 person Re-ID）如图：一个行人沿着图中红色的轨迹从左往右经过了拐角处的两个摄像头。（两个摄像头拍摄的范围没有交叉的部分），即经过一个摄像头后，中间有一

2、段时间没有被任何摄像头拍到，然后再经过第二个摄像头。基础概念：基础概念：给定一个监控设备下的行人图像，检索跨设备下的该行人图像。行人重识别的概念 C A ME R A P e r s o n 行人重识别（P行人重识别简介 行人重识别简介 行人重识别简介 行人重识别简介 行人重识别的概念 query gallery 行人重识别的概念 q u e r y g a l l e r y 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义

3、 行人重识别研究意义 行人重识别研究意义 行人重识别研究意义 行人重识别-数据集 行人重识别-数据集 行人重识别-数据集 行人重识别-数据集 行人重识别的评价指标 1 Rank-m 表示m位命中的概率，如Rank-5表示 1-5张图片面至少有一张命中。2 mAP 表示平均精度均值 行人重识别的评价指标 1 R a n k-m 表示m 位命中的概率，行人重识别的评价指标 蓝色的框表示同一个人，红色的框表示不同的人 行人重识别的评价指标 蓝色的框表示同一个人，红色的框表示不同行人重识别的评价指标 行人重识别的评价指标 PART TWO 行人重识别的发展与重难点 P A R T T WO 行人重识别

4、的发展与重难点 行人重识别的发展历程 行人重识别概念第一次行人重识别概念第一次在在CVPR上提出上提出 第一个行人重识别研讨会第一个行人重识别研讨会在在ECCV会议上召开会议上召开 1996 2006 2007 2012 2014 开始关注行人重识别问题开始关注行人重识别问题 提出一个对行人重识别研究具提出一个对行人重识别研究具有重大意义的数据集有重大意义的数据集VIPeR 随着深度学习的发展，大量行随着深度学习的发展，大量行人重识别的工作涌现人重识别的工作涌现 行人重识别的发展历程 行人重识别概念第一次在C V P R 上提出 行人重识别的发展历程 行人重识别的发展历程 行人重识别的分类与方

5、法 基于图片的行人重识别基于图片的行人重识别 特征表达方法特征表达方法 分类 person Re-ID 方法 基于视频序列的行人重识别基于视频序列的行人重识别 度量学习方法度量学习方法 行人重识别的分类与方法 基于图片的行人重识别 特征表达方法 行人重识别的研究现状 行人重识别的特征表达方法 作者 年份 图像特征 表征方法 zhao R等1 2013 颜色 dColorSIFT B.Ma等2 2014 外观、纹理 gBiCov(BIF,Gabor)Xiang Li等3 2015 颜色、形状、纹理 Color，LBP，HOG Gou M等4 2016 颜色、纹理、轨迹 Color，HOG，Dyn

6、FV McLaughlin等5 2016 颜色、轨迹、CNN CNN、RNN Zheng Z等6 2017 颜色、CNN CNN、GAN Qian X等7 2018 颜色、姿态、CNN CNN、GAN 行人重识别的研究现状 行人重识别的特征表达方法 作者 行人重识别的研究现状 行人重识别的度量学习方法 作者 年份 方法 Weinberger 等8 2009 大间隔最近邻居(large margin nearest neighbor,LMNN)Guillaumin 等9 2009 逻辑判别距离(logistic discriminant metric learning,LDML)Zheng等10

7、 2011 概率相对距离(probabilistic relative distance,PRDC)Zheng等11 2013 相对距离比较算法(relative distance comparsion,RDC)Liao等12 2015 XQDA(cross-view quadratic discriminant analysis)Alexander等13 2017 三元组损失函数(triplet loss)行人重识别的研究现状 行人重识别的度量学习方法 作者 行人重识别的重难点 1、样本空间不对齐、样本空间不对齐 2、不同视觉、姿态出现不同的物件、不同视觉、姿态出现不同的物件 4、遮挡问题、

8、遮挡问题 1 2 4 3 3、衣着完全相同，除了头部、衣着完全相同，除了头部 行人重识别的重难点 1、样本空间不对齐 2、不同视觉、姿态出行人重识别的重难点 01.样本数据量少样本数据量少 特征表达学习方法特征表达学习方法 02.图片分辨率低，很模糊图片分辨率低，很模糊 距离度量学习方法距离度量学习方法 研究内容 challenge 03.光照问题光照问题 04.视角与姿态多变视角与姿态多变 05.行人衣着相似，难以区分行人衣着相似，难以区分 那么如何得到一个既具鲁棒性又具有识别性的特征呢？06.遮挡问题遮挡问题 行人重识别的重难点 0 1.样本数据量少 特征表达学习方法 0PART THRE

9、E 行人重识别的方法研究 P A R T T H R E E 行人重识别的方法研究 行人重识别方法研究 1.基于特征表达的方法基于特征表达的方法 2.基于度量学习的方法基于度量学习的方法 3.基于特征融合的方法基于特征融合的方法 4.基于生成对抗网络的方法基于生成对抗网络的方法 5.基于视频序列的方法基于视频序列的方法 6.基于无监督学习的方法基于无监督学习的方法 7.基于基于cross-domain的方法的方法 行人重识别方法研究 1.基于特征表达的方法 2.基于度量学习基于特征表达的方法 简述：虽然行人重识别的最终目标是为了学习出两张图片之间的相似度,但是表征学习的方法并没有直接在训练网络

10、的时候考虑图片间的相似度,而把行人重识别任务当做(a)分类(Classification)(b)验证(Verification)两种问题来解决。基于特征表达的方法 简述：虽然行人重识别的最终目标是为了学习一、基于特征表达的方法-verification model（验证模型）1.An Improved Deep Learning Architecture for Person Re-Identification（CVPR 2015 引用次数：645）在临近区域计算差异可以提高两个输入图像相应特征位置差异的鲁棒性 一、基于特征表达的方法-v e r i f i c a t i o n m o一、

11、基于特征表达的方法-identification model（分类模型）2.Improving Person Re-identification by Attribute and Identity Learning(CVPR 2016)一、基于特征表达的方法-i d e n t i f i c a t i o n 一、基于特征表达的方法-identification model（分类模型）在性别（男，女），头发长度（长，短），Market-1501，标注了27个属性：袖子长度（长，短），下装长度（长，短），下装类型（裤子，裙子），是否带帽（是，否），是否提袋（是，否），是否背包（是，否），是否

12、提手提包（是，否），上装的八种颜色（黑，白，红，紫，黄，灰，蓝，绿），下装的九种颜色（黑，白，粉，紫，黄，灰，蓝，绿，棕）以及年龄（儿童，青年，成年，老人）在别（男，女），鞋子类型（靴子，其他），DukeMTMC-reID中,标注了23种属性：性是否带帽（是，否），是否提袋（是，否），是否背包（是，否），是否提手提包（是，否），鞋子颜色（暗，亮），下装长度（长、短），上装的八种颜色（黑，白，红，紫，灰，蓝，绿，棕），下装的七种颜色（黑，白，红，灰，蓝，绿，棕）一、基于特征表达的方法-i d e n t i f i c a t i o n 一、基于特征表达的方法-identification m

13、odel（分类模型）一、基于特征表达的方法-i d e n t i f i c a t i o n 一、基于特征表达的方法-identification model（分类模型）一、基于特征表达的方法-i d e n t i f i c a t i o n 行人重识别方法研究（缺点：训练目标与最后的测a）identification model的试目标不符合有相同图像之间的相似度度量ID的行人(即测试集中没)，没有考虑 （点：只利用了弱b）verification model没有考虑图像对以及其他图re-ID标签，的缺像之间的关系 行人重识别方法研究（缺点：训练目标与最后的测a）i d e n

14、t一、基于特征学习的方法-Verification-identification Models 3.Deep Transfer Learning for Person Re-identification(arXiv preprint arXiv:1611.05244 2016)一、基于特征学习的方法-V e r i f i c a t i o n-i d e一、基于特征学习的方法-Verification-identification Models 4.A Discriminatively Learned CNN Embedding for Person Re-identification（A

15、TM，2017）一、基于特征学习的方法-V e r i f i c a t i o n-i d e一、基于特征学习的方法-Verification-identification Models the target class(same/different)the parameters of the added convolutional layer 问题：为什么没有使用Contrastive loss而使用softmax loss呢？答：（别的嵌入尽可能的近，由于1）contrastive loss是一种回归loss，使相同类少，很容易过拟合re-ID数据集中的identity很（使用2）dr

16、opout会引入0值，不适合在contrastive loss前一、基于特征学习的方法-V e r i f i c a t i o n-i d e二、基于度量学习的方法 二、基于度量学习的方法 二、基于度量学习的方法 5.Gated Siamese Convolutional Neural Network Architecture for Human Re-ID（ECCV 2016）二、基于度量学习的方法 5.G a t e d S i a m e s e C二、基于度量学习的方法 缺点：难以提取对于区分 hard negative pairs 与positive pairs 局部的细致特征

17、解决办法：因为在 CNN的中间层的特征具有更多的细节模式相比后面层高级特征更容易增加positive pairs 的相似性，本文从 mid-level开始使用gating function（MG模型）来对图像对提取局部模式并促进向高层传播与局部相似性有关的特征，在反向传播的过程中，gate function 也能促进放大局部相似性的梯度的传播，这样可以使lower与middle layers 的卷积核提取更多的局部相似模式来区分正例对与负例对。面临挑战：不同的 camera视角具有不同的姿势变化，如何来有效地比较局部特征以及选择共同的模式？解决办法：采取的是 horizontal row-wi

18、se，通过each horizontal stripe 来比较。二、基于度量学习的方法 缺点：难以提取对于区分h a r d n e二、基于度量学习的方法 1-将图像对同一水平条的特征加和并通过欧式距离比较 2-出0-1得到每一个维度的距离后利用的相似度得分，这个得分用来控制每个水平条特征的传递Gausssian activation function 来输3-将gated feature与input feature相加来突出局部的相似性 二、基于度量学习的方法 1-将图像对同一水平条的特征加和二、基于度量学习的方法 6.Person Re-Identification by Multi-Ch

19、annel Parts-Based CNN with Improved Triplet Loss Function（CVPR 2016）二、基于度量学习的方法 6.P e r s o n R e-I d e n t二、基于度量学习的方法 二、基于度量学习的方法 二、基于度量学习的方法 7.In defense of the triplet loss for person reidentification.arXiv preprint arXiv:1703.07737,2017 二、基于度量学习的方法 7.I n d e f e n s e o f t二、基于度量学习的方法 8.Beyond t

20、riplet loss:a deep quadruplet network for person re-identification.(CVPR,2017)二、基于度量学习的方法 8.B e y o n d t r i p l e t 二、基于度量学习的方法 9.Margin Sample Mining Loss:A Deep Learning Based Method for Person Re-identification.arXiv:1710.00478v3,2017.二、基于度量学习的方法 9.Ma r g i n S a m p l e M二、基于度量学习的方法 二、基于度量学习的方

21、法 二、基于度量学习的方法 二、基于度量学习的方法 10.Bag of Tricks and A Strong Baseline for Deep Person Re-identification(ECCV 2019)1 0.B a g o f T r i c k s a n d A S t r o n g行人重识别的研究及发展意义课件行人重识别的研究及发展意义课件三、基于局部特征融合的方法 11.A Siamese Long Short-Term Memory Architecture for Human Re-Identification（ECCV 2016）三、基于局部特征融合的方法 1

22、 1.A S i a m e s e L o三、基于局部特征融合的方法 12.Person Re-Identification by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function（CVPR 2016）主要是由以下几个 layer 构成的：1.one global convolutional layer;2.one full-body convolution layer;3.four body-part convolutional layers;4.five channel-wise full connecti

23、on layers;5.one network-wise full connection layer.三、基于局部特征融合的方法 1 2.P e r s o n R e-I d三、基于局部特征融合的方法 13.Pedestrian Alignment Network for Large-scale Person Re-identification（ICCV 2017)三、基于局部特征融合的方法 1 3.P e d e s t r i a n A三、基于局部特征融合的方法 bilinear sampling Res2Block Output 三、基于局部特征融合的方法 b i l i n e a

24、 r s a m p l i三、基于局部特征融合的方法 三、基于局部特征融合的方法 三、基于局部特征融合的方法 14.Spindle Net:Person Re-identification with Human Body Region Guided Feature Decomposition and Fusion（CVPR 2017）三、基于局部特征融合的方法 1 4.S p i n d l e N e t:三、基于局部特征融合的方法 15.GLAD:Global-Local-Alignment Descriptor for Pedestrian Retrieval（ACM MM2017）三

25、、基于局部特征融合的方法 1 5.G L A D:G l o b a l三、基于局部特征融合的方法 16.AlignedReID:Surpassing Human-Level Performance in Person Re-Identification（arXiv preprint arXiv:1711.08184 2018）三、基于局部特征融合的方法 1 6.A l i g n e d R e I D:三、基于局部特征融合的方法 三、基于局部特征融合的方法 四、基于生成对抗网络（GAN）的方法 17.Unlabeled samples generated by gan improve th

26、e person re-identification baseline in vitro.(ICCV 2017)四、基于生成对抗网络（G A N）的方法 1 7.U n l a b e l1-Cross-entropy 2-label smoothing regularization(LSR)1-C r o s s-e n t r o p y 2-l a b e l s m四、基于生成对抗网络（GAN）的方法 18.Camera Style Adaptation for Person Re-identification.（arXiv:1711.10295，2018）四、基于生成对抗网络（G A

27、 N）的方法 1 8.C a m e r a 四、基于生成对抗网络（GAN）的方法 CycleGAN LSR 四、基于生成对抗网络（G A N）的方法 C y c l e G A N L S四、基于生成对抗网络（GAN）的方法 19.Person Transfer GAN to Bridge Domain Gap for Person Re-Identification（CVPR 2018）四、基于生成对抗网络（G A N）的方法 1 9.P e r s o n Person Transfer GAN（PTGAN）P e r s o n T r a n s f e r G A N（P T G

28、A N）四、基于生成对抗网络（GAN）的方法 20.Pose-Normalized Image Generation for Person Re-identification.（arXiv preprint arXiv:1712.02225,2018.）四、基于生成对抗网络（G A N）的方法 2 0.P o s e-N o四、基于生成对抗网络（GAN）的方法 OpenPose-提取行人的18个关键点 VGG-19-用K-means聚类，取每一簇的平均值作为一种提取对应姿态图的特征 四、基于生成对抗网络（G A N）的方法 O p e n P o s e -行人重识别的研究及发展意义课件行人重

29、识别的研究及发展意义课件行人重识别的研究及发展意义课件PART Four 车辆重识别 P A R T F o u r 车辆重识别 目标跟踪基本术语 目标跟踪简介目标跟踪简介 在连续的图像序列当中完成对目标的检测，并把物理意义下同一目标目标跟踪任务目标跟踪任务Trajectory轨迹轨迹）（小段轨迹小段轨迹Tracklet）相关联的过程 在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。一条轨迹对应着这一目标在一个时间段内的位置序列 形成标的 Trajectory Tracklet构成的过程中的轨迹片断，完整的 Trajectory是由属于同一目（目标跟踪基本术语

30、目标跟踪简介 在连续的图像序列当中完成对目目标跟踪的研究现状 Lorem Ipsum Dolor Sit Consectetaur Cillium Pecu.LOREM IPSUM LOREM IPSUM Lorem Ipsum Dolor Sit Consectetaur Cillium Pecu.Lorem Ipsum Dolor Sit Consectetaur Cillium Pecu.Lorem Ipsum Dolor Sit Consectetaur Cillium Pecu.LOREM IPSUM LOREM IPSUM 目标跟踪的研究现状 L o r e m I p s u m

31、 D o l o r S iINPUT YOUR GOOD IDEAS HERE Always believe that something wonderful is about to happen.01 02 Lorem Ipsum Dolor 03 Lorem Ipsum Dolor Sit Er Lorem Ipsum Dolor 04 Elit Lamet,Consectetaur Lorem Ipsum Dolor Sit Er Lorem Ipsum Dolor Cillium Adipisicing Pecu,Elit Lamet,Consectetaur Lorem Ipsum

32、 Dolor Sit Er Lorem Ipsum Dolor Sed Do Eiusmod Tempor Cillium Adipisicing Pecu,Elit Lamet,Consectetaur Lorem Ipsum Dolor Sit Er Incididunt Ut Cillium Sed Do Eiusmod Tempor Cillium Adipisicing Pecu,Elit Lamet,Consectetaur Adipisicing Pecu,Sed Do Incididunt Ut Cillium Sed Do Eiusmod Tempor Cillium Adi

33、pisicing Pecu,Eiusmod Tempor.Adipisicing Pecu,Sed Do.Incididunt Ut Cillium.Sed Do Eiusmod Tempor.I N P U T Y O U R G O O D I D E A S H E R E A l wINPUT YOUR GOOD IDEAS HERE Always believe that something wonderful is about to happen.Lorem Ipsum Dolor Sit Er Elit Lamet,Consectetaur Lorem Ipsum Dolor S

34、it Er Elit Lamet,Consectetaur 01 Lorem Ipsum Lorem Ipsum Dolor Sit Er Elit Lamet,Consectetaur Cillium Adipisicing Pecu.Cillium Adipisicing Pecu.Lorem Ipsum 03 Lorem Ipsum Lorem Ipsum Dolor Sit Er Elit Lamet,Consectetaur Cillium Adipisicing Pecu.Cillium Adipisicing Pecu.Lorem Ipsum 02 04 I N P U T Y O U R G O O D I D E A S H E R E A l wTHANKS FOR YOUR WATCHING Lorem Ipsum Dolor Sit Er Elit Lamet,Consectetaur Cillium Adipisicing Pecu,Sed Do Eiusmod Tempor Incididunt Ut Labore Et Dolore Magna Aliqua.T H A N K S F O R Y O U R WA T C H I N G L o r e m