基于粒子滤波的多运动目标跟踪课件.pptx

1、基于粒子滤波的多运动目标跟踪目录讨论讨论实验结果演示实验结果演示基于团块分析的多运动目标跟踪框架基于团块分析的多运动目标跟踪框架基于粒子滤波的运动目标跟踪基于粒子滤波的运动目标跟踪运动目标跟踪简介运动目标跟踪简介运动目标跟踪简介v什么是运动目标跟踪？什么是运动目标跟踪？运动目标的跟踪就是在视频图像的每一幅图像中确定出感兴趣的运动目标（例如车辆、行人、动物等）的位置，并把不同帧中同一目标对应起来，形成完整的轨迹。运动目标跟踪简介v运动运动目标检测与运动目标跟踪的区别？目标检测与运动目标跟踪的区别？运动目标检测是检测图像中的运动目标，不做目标之前的关联；运动目标跟踪是找出同一目标在不同帧的位置，并

2、将其关联起来。v分类分类 静态背景目标跟踪 动态背景目标跟踪 单目标跟踪 多目标跟踪运动目标跟踪简介军事公安方面军事公安方面的应用：在军事方面主要用于导弹的精确制的应用：在军事方面主要用于导弹的精确制导，可疑目标的检测与跟踪公安业务图片的判读分析，指导，可疑目标的检测与跟踪公安业务图片的判读分析，指纹识别，人脸识别，不完整图片的复原，以及智能交通监纹识别，人脸识别，不完整图片的复原，以及智能交通监控、事故分析等。控、事故分析等。工业方面的应用：具备视觉、听觉和触觉功能的智能机器工业方面的应用：具备视觉、听觉和触觉功能的智能机器人的成功应用。人的成功应用。生物医学工程方面的应用：各种细胞的运动分

3、析检测和判生物医学工程方面的应用：各种细胞的运动分析检测和判别别123智能交通方面：通过对道路交通情况的实时监控，利用图智能交通方面：通过对道路交通情况的实时监控，利用图像处理技术对各种情况作出准确的判断。像处理技术对各种情况作出准确的判断。4体育方面的应用：对运动员在比赛或者是训练中的技术动体育方面的应用：对运动员在比赛或者是训练中的技术动作的视频进行分析，得出精确的运动参数进行分析。作的视频进行分析，得出精确的运动参数进行分析。5v运动跟踪应用运动跟踪应用领域领域运动目标跟踪简介v运动目标跟踪方法概述运动目标跟踪方法概述视频目标跟踪算法基于对比度分析基于匹配核方法运动检测其它方法特征匹配贝

4、叶斯跟踪Mean shift方法光流法目录讨论讨论实验结果演示实验结果演示基于团块分析的多运动目标跟踪框架基于团块分析的多运动目标跟踪框架基于基于粒子滤波的运动粒子滤波的运动目标目标跟踪跟踪运动目标跟踪简介运动目标跟踪简介基于粒子滤波的运动目标跟踪v动态状态空间模型动态状态空间模型 统计信号处理中的非线性滤波问题广泛存在于自动控制、跟踪、数字通信、经济统计等领域,其基本任务就是要从受噪声污染的观测量中去递推地估计不可观测的系统状态,该系统被称为动态状态空间（DSS）模型。DSS模型至少需要两个参考模型，即描述随时间变化的状态模型及与状态有关并带有噪声的观测模型。该模型的目的就是要递推地在每次获

5、得观测量 后,估计状态量 的条件概率密度 状态模型：观测模型：基于粒子滤波的运动目标跟踪v贝叶斯滤波器贝叶斯滤波器 通过时间预测和测量更新这两步的反复迭代,就可最优地估计出v缺点缺点 最优解 仅在少数情况才是解析和有限维的，如在模型线性以及噪声和初始状态均为高斯独立分布时，线性高斯卡尔曼滤波。而对于一般的非线性DSS 模型,上述最优解通常并不解析,而且随着时间的推移将趋于无穷维。基于粒子滤波的运动目标跟踪v扩展卡尔曼滤波扩展卡尔曼滤波 因为“维数灾难”以及运算量和存储量的急剧膨胀而使得该最优解在物理上不可实现,在工程上也只需做某种近似即可,即寻找上述问题的次优解。用的最多的次优算法便是扩展卡尔

6、曼滤波。v缺点缺点 状态维数的增高会导致运算量的迅速增大,而且滤波器传递的是一、二阶的统计信息,在非线性、非高斯特性较强时滤波性能急剧下降甚至会发散。粒子滤波器则有望克服上述方法存在的缺陷。基于粒子滤波的运动目标跟踪v粒子滤波粒子滤波 粒子滤波(Particle Filter)的思想基于蒙特卡洛方法，其核心思想是通过从后验概率中抽取的随机状态粒子来表达其分布。简单来说，粒子滤波法是指通过寻找一组在状态空间传播的随机样本对概率密度函数进行近似，以样本均值代替积分运算，从而获得状态最小方差分布的过程。这里的样本即指粒子,当样本数量N时可以逼近任何形式的概率密度分布。简单来说，粒子滤波是用一个N粒子

7、的带有权值的粒子集 的样本均值来近似替代 。基于粒子滤波的运动目标跟踪v粒子粒子滤波应用举例滤波应用举例t-1帧t帧运动目标：(红色矩形)粒子：(蓝色矩形)p1p2p3p4pn 团块信息：基于粒子滤波的运动目标跟踪基于粒子滤波的运动目标跟踪v粒子滤波应用粒子滤波应用领域领域 粒子滤波技术在非线性、非高斯系统表现出来的优越性，决定了它的应用范围非常广泛。国际上，粒子滤波已被应用于各个领域：在经济学领域，被应用在经济数据预测；在军事领域，已经被应用于雷达跟踪空中飞行物，空对空、空对地的被动式跟踪；在交通管制领域，被应用在对车或人视频监控；在人工智能领域，被用于机器人的全局定位。基于粒子滤波的运动目

8、标跟踪v粒子滤波算法过程粒子滤波算法过程1）系统粒子初始化2）重要性采样3）计算粒子权重4）重采样5）输出状态估计粒子初始化计算粒子权重重采样输出状态估计重要性采样基于粒子滤波的运动目标跟踪初始目标状态初始粒子基于粒子滤波的运动目标跟踪vStep2:重要性粒子采样（粒子状态转移）重要性粒子采样（粒子状态转移）根据粒子的重要性概率密度函数以及k-1时刻的粒子集 计算出k时刻新的粒子集 重要性粒子采样意味着在权重值较高的粒子附近取更多的粒子，在权重值较少的粒子附近取更少量的粒子。基于粒子滤波的运动目标跟踪vStep3:计算粒子权重计算粒子权重 在得到预测粒子后，并不是所有的预测粒子得到k时刻观测值

9、的概率是相等的。越是接近真实状态的粒子，当然越有可能获得观测值。k时刻的预测粒子与k-1时刻的目标状态之间的相似性越大，则粒子的权重越大。K-1时刻目标状态K时刻样本粒子0.050.10.020.01 假设图中以空间距离为标准，则各粒子的权重如下图：基于粒子滤波的运动目标跟踪vStep3:计算粒子计算粒子权重权重 计算出所有粒子的权重值后，归一化权重值：基于粒子滤波的运动目标跟踪vStep4:重采样重采样 基本思想就是消除权重很小的无效粒子，复制高权值的粒子，尽量利用权重较大的粒子，形成新的粒子集。基于粒子滤波的运动目标跟踪v第一步：第一步：经过系统观测后每个粒子的权重被更新，其中更符合实际情

10、况的粒子，被赋予较大的权重（图中用面积较大的圆点表示），而偏离实际情况的粒子被赋予较小的权重（图中以面积较小的圆点表示）v第二步：第二步：即重采样过程，前一代的粒子被复制为“后代”粒子，其中权值较大的粒子被复制为更多“后代”粒子，而权值较小的粒子被复制的次数较少，一些权值特别小的粒子不会被复制，从而在重采样过程中被丢弃。所有“后代”粒子的权值都被设置为1/N。基于粒子滤波的运动目标跟踪vStep5:输出输出状态估计状态估计 ikNiikkxx1vStep6:k=k+1,返回返回step2。基于粒子滤波的运动目标跟踪v粒子滤波算法的缺点粒子滤波算法的缺点v一：样本一：样本数量问题数量问题 需要用

11、大量的样本数量才能很好地近似系统的后验概率密度。面临的环境越复杂，描述后验概率分布所需要的样本数量就越多，算法的复杂度就越高。v二：二：样本样本贫化贫化(Sample Impoverishment)重采样方法会带来粒子贫化的问题即权值大的粒子被复制较多，而权值较小的粒子被复制较少甚至没有子代。因此粒子集合的多样性减弱，不足以用来近似后验概率密度，甚至出现全部粒子都来自少数几个权值最大的粒子的情况。基于粒子滤波的运动目标跟踪v粒子滤波在运动跟踪中的应用粒子滤波在运动跟踪中的应用初始化初始化粒子粒子t-1帧t帧运动目标：(红色矩形)粒子：(蓝色矩形)p1p2p3p4pn 团块信息：基于粒子滤波的运

12、动目标跟踪v粒子滤波在运动跟踪中的粒子滤波在运动跟踪中的应用应用粒子粒子权重权重计算计算v1)特征特征选取选取 选取图像的RGB颜色直方图作为特征,分别计算目标区域、每个粒子的颜色直方图。基于粒子滤波的运动目标跟踪v粒子滤波在运动跟踪中的应用粒子滤波在运动跟踪中的应用粒子粒子权重权重计算计算v2）相似度计算）相似度计算 计算每个粒子与运动目标区域的相似度，这里我们采用直方图的巴氏距离进行计算，距离越小，则表示粒子与目标区域的相似度越大，粒子权重也就越大。颜色直方图1表示为：颜色直方图2表示为：则直方图之间的巴氏距离可表示为：相似度可表示为：基于粒子滤波的运动目标跟踪基于粒子滤波的运动目标跟踪v

13、应用中遇到的问题应用中遇到的问题：v1）粒子）粒子数量问题数量问题 粒子数量过多，算法速度过慢，无法满足应用的实时性；粒子数量过少，算法速度快，但是算法的准确性明显下降。v2）颜色直方图）颜色直方图bin数量问题数量问题 颜色直方图的bin的数量很大程度上影响到粒子权重计算的时间。bin数量过多，直方图维数大，计算粒子权重时耗时大；bin数量少，直方图包含的信息量少，无法很好的表征图像信息，跟踪的准确率下降。v结论结论 根据实际应用，选取合适的粒子数量、颜色直方图的bin数量很重要。基于粒子滤波的运动目标跟踪v主要主要改进改进v1）颜色空间）颜色空间 RGB、HSVv2）特征选取特征选取 颜色

14、直方图、边缘轮廓特征(梯度直方图)、角点等；各特征融合，如颜色直方图+边缘特征。基于粒子滤波的运动目标跟踪v主要主要改进改进v3）特征表征方式）特征表征方式 整体和分块。v4）重采样方）重采样方式式 针对粒子贫化问题的改进目录讨论讨论实验结果演示实验结果演示基于团块分析的多运动目标跟踪框架基于团块分析的多运动目标跟踪框架基于基于粒子滤波的运动粒子滤波的运动目标目标跟踪跟踪运动目标跟踪简介运动目标跟踪简介基于团块分析的多运动目标跟踪框架v引入团块分析的原因引入团块分析的原因 多运动目标跟踪时，如果对每一个目标都进行单独的预测，算法耗时过大，不是满足监控应用的实时性。因此我们需要尽量避免粒子预测，

15、这里我们引入团块分析策略。v提取前景团块提取前景团块 首先我们对每一帧图像进行运动目标检测处理，常用的方法有背景差分法、帧间差分法、光流法等，目前背景差分法中的背景建模方法应用广泛，典型的有vibe、混合高斯、码本方法等。运动检测的结果一般如下：基于团块分析的多运动目标跟踪框架v团块关系矩阵构建团块关系矩阵构建假设前一帧图像中包含4个团块，分别是PBlob1、PBlob2、PBlob3、PBlob4假设当前帧图像中包含4个团块，分别是CBlob1、CBlob2、CBlob3、CBlob4假设1表示团块有重叠部分，0表示无重叠，通过对团块距离的计算，得到如下图所示的团块关系矩阵：00000110

16、01000001 CBlob1 CBlob2 CBlob3 CBlob4PBlob1PBlob2PBlob3PBlob4基于团块分析的多运动目标跟踪框架v团块分类团块分类 可分为五大类：消失的团块、新出现的团块、分裂的团块、交叉的团块、正常匹配的团块v消失的团块消失的团块 行元素都为0，即前一帧中的该团块没有与当前帧中的任何团块重叠，如PBlob1；现实情况如车辆、行人离开场景等。v新出现的团块新出现的团块 列元素都为0，即前一帧中的任一团块都没有与当前帧的该团块重叠，如CBlob1；现实情况如车辆、行人进入场景。基于团块分析的多运动目标跟踪框架v分裂的团块分裂的团块 行元素至少有2个不为0，

17、即前一帧的该团块与当前帧中的两个以上团块重叠，如PBlob2；现实情况如人群分离。v交叉的团块交叉的团块 列元素至少有2个不为0，即前一帧中的多个团块与当前帧的该团块重叠，如CBlob2；现实情况如行人、车辆相遇等。v正常匹配的团块正常匹配的团块 该元素所在的行列除了该元素本身外都为0，即前一帧的某一团块与当前帧的团块正常匹配。现实情况下如场景中的单一行人轨迹。基于团块分析的多运动目标跟踪框架v总体思想总体思想 1）新出现的团块、消失的团块、正常匹配的团块、分裂的团块（可以认为是新出现的团块的特例）等四种团块都可以直接跟踪；2）对交叉的团块进行粒子滤波处理。v优点：优点：并不对每一个团块进行粒子滤波预测，而只是对交叉团块进行单独的处理，这样就大大减少了多目跟踪所用的时间。v缺点缺点：严重依赖前景检测的效果。目录讨论讨论实验结果演示实验结果演示基于团块分析的多运动目标跟踪框架基于团块分析的多运动目标跟踪框架基于基于粒子滤波的运动粒子滤波的运动目标目标跟踪跟踪运动目标跟踪简介运动目标跟踪简介实验结果v简单简单场景场景兰五兰五.aviv复杂场景复杂场景十字路口十字路口.avi目录讨论讨论实验结果演示实验结果演示基于团块分析的多运动目标跟踪框架基于团块分析的多运动目标跟踪框架基于基于粒子滤波的运动粒子滤波的运动目标目标跟踪跟踪运动目标跟踪简介运动目标跟踪简介D