1、视频跟踪概述n视频跟踪融合了图像处理、计算机视觉、模式识别、人视频跟踪融合了图像处理、计算机视觉、模式识别、人工智能等学科的技术，是一种应用前景非常广泛的技术。工智能等学科的技术，是一种应用前景非常广泛的技术。所谓视频目标跟踪，是指对视频图像序列中的特定目标所谓视频目标跟踪，是指对视频图像序列中的特定目标进行检测、提取、识别和跟踪，获得目标的位置参数，进行检测、提取、识别和跟踪，获得目标的位置参数，如目标质心的位置、速度、加速度，或者目标整体所占如目标质心的位置、速度、加速度，或者目标整体所占的图像区域，抑或是目标的运动轨迹等等，从而进行后的图像区域，抑或是目标的运动轨迹等等，从而进行后续深入
2、的处理与分析，以实现对特定目标的行为理解，续深入的处理与分析，以实现对特定目标的行为理解，或完成更高级的任务。或完成更高级的任务。n一个视频跟踪系统通常包括以下几个环节：图像采集、视频图像一个视频跟踪系统通常包括以下几个环节：图像采集、视频图像处理、数据通信、传感器控制与伺服系统等，如图处理、数据通信、传感器控制与伺服系统等，如图7.1所示。所示。n视频目标跟踪在诸如安全与监控系统、交通控制系统、定位导航系统、三维重建、视频传输与压缩、虚拟现实、增强现实等诸多方面均有广阔的应用，研究视频目标跟踪，具有重要的军事、商业价值。视频跟踪的最终目的是实现视频跟踪的最终目的是实现智能视频智能视频。n随着
3、大规模监控系统的广泛应用，工作人员根本无法管理和监看成百上千的摄像头，因而在很大程度失去监控系统的预防与积极干预功能。例如伦敦Heathrow国际机场装配有超过5000个摄像头，如何管理这些视频信息，将数据在适当的时间及时精准地传递给需要的工作人员变得非常重要。如果系统具有自动识别和分析图像所含信息的功能，也就是具备智能，这将大大提高系统的性能。n智能视频技术主要包括对视频图像序列自动地进行运动对象的提取、描述、跟踪、识别和行为分析等方面的内容。如果把摄像机看作人的眼睛，而智能视频系统则可以看作人的大脑。n智能视频监控系统能够识别不同的目标，发现监控画面中的异常情况，并能够以最快和最佳的方式发
4、出警报和提供有用信息，从而能够更加有效的协助工作人员处理危机，并最大限度的降低误报和漏报现象，实现计算机智能分析、描述和理解视频画面中的内容。1.安全相关安全相关类应用类应用2.非安全相非安全相关类应用关类应用 智能视频监控应用范围正不断扩大n1.安全相关类应用安全相关类应用n高级视频移动侦测（高级视频移动侦测（Advanced Video Motion Detection）：在复杂的天气）：在复杂的天气环境中环境中(例如雨雪、大雾、大风等例如雨雪、大雾、大风等)精确的侦测和识别单个物体或多个物体的精确的侦测和识别单个物体或多个物体的运动情况，包括运动方向、运动特征等。运动情况，包括运动方向、
5、运动特征等。n物体追踪（物体追踪（Motion Tracking）：侦测到移动物体之后，根据物体的运动情）：侦测到移动物体之后，根据物体的运动情况，自动发送况，自动发送 PTZ（Pan/Tilt/Zoom）等控制指令，使摄像机能够自动跟踪）等控制指令，使摄像机能够自动跟踪物体，在物体超出该摄像机监控范围之后，自动通知物体所在区域的摄像机物体，在物体超出该摄像机监控范围之后，自动通知物体所在区域的摄像机继续进行追踪。继续进行追踪。n人脸识别（人脸识别（Face Recognition）：自动识别人物的脸部特征，并通过与数据）：自动识别人物的脸部特征，并通过与数据库档案进行比较来识别或验证人物的身
6、份。此类应用又可以细分为库档案进行比较来识别或验证人物的身份。此类应用又可以细分为“合作型合作型”和和“非合作型非合作型”两大类。两大类。“合作型合作型”应用需要被监控者在摄像机前停留一段应用需要被监控者在摄像机前停留一段时间，通常与门禁系统配合使用。时间，通常与门禁系统配合使用。“非合作型非合作型”则可以在人群中识别出特定则可以在人群中识别出特定的个体，此类应用可以在机场、火车站、体育场馆等应用场景中发挥很大的的个体，此类应用可以在机场、火车站、体育场馆等应用场景中发挥很大的作用。作用。n车辆识别（车辆识别（Vehicle Identification）：识别车辆的形状、颜色、车牌号码等）：
7、识别车辆的形状、颜色、车牌号码等特征，并反馈给监控者。此类应用可以用在被盗车辆追踪等场景中。特征，并反馈给监控者。此类应用可以用在被盗车辆追踪等场景中。n非法滞留（非法滞留（Object Persistence）：当一个物体）：当一个物体(如箱子、包裹、车辆、人物如箱子、包裹、车辆、人物等等)在敏感区域停留的时间过长，或超过了预定义的时间长度就产生报警。典在敏感区域停留的时间过长，或超过了预定义的时间长度就产生报警。典型应用场景包括机场、火车站、地铁站等。型应用场景包括机场、火车站、地铁站等。n2.非安全相关类应用非安全相关类应用 n除了安全相关类应用之外，智能视频还可以应用到一些非安全相关类
8、除了安全相关类应用之外，智能视频还可以应用到一些非安全相关类的应用当中。这些应用主要面向零售、服务等行业，可以被看作管理的应用当中。这些应用主要面向零售、服务等行业，可以被看作管理和服务的辅助工具，用以提高服务水平和营业额。此类应用主要包括：和服务的辅助工具，用以提高服务水平和营业额。此类应用主要包括：n人数统计（人数统计（People Counting）：统计穿越入口或指定区域的人或物）：统计穿越入口或指定区域的人或物体的数量。例如为业主计算某天光顾其店铺的顾客数量。体的数量。例如为业主计算某天光顾其店铺的顾客数量。n人群控制（人群控制（Flow Control）：识别人群的整体运动特征，包
9、括速度、）：识别人群的整体运动特征，包括速度、方向等等，用以避免形成拥塞，或者及时发现异常情况。典型的应用方向等等，用以避免形成拥塞，或者及时发现异常情况。典型的应用场景包括超级市场、火车站等人员聚集的地方。场景包括超级市场、火车站等人员聚集的地方。n注意力控制（注意力控制（Attention Control）：统计人们在某物体前面停留的时）：统计人们在某物体前面停留的时间。可以用来评估新产品或新促销策略的吸引力，也可以用来计算为间。可以用来评估新产品或新促销策略的吸引力，也可以用来计算为顾客提供服务所用的时间。顾客提供服务所用的时间。n交通流量控制（交通流量控制（Traffic Flow）：
10、用于在高速公路或城市环路，根据）：用于在高速公路或城市环路，根据车流量的变化自适应调整交通信号的闪亮时间，达到智能控制交通的车流量的变化自适应调整交通信号的闪亮时间，达到智能控制交通的目的。该应用需要提高视频分析功能模块的适应性，使之适应更为复目的。该应用需要提高视频分析功能模块的适应性，使之适应更为复杂和多变的现场环境。杂和多变的现场环境。流量统计流量统计区域检测区域检测滞留检测滞留检测轨迹跟踪轨迹跟踪火灾预警火灾预警人脸识别人脸识别车牌识别车牌识别视频图像运动目标检测运动目标检测阴影去除后处理运动目标跟踪光流法光流法帧差法帧差法背景减除法背景减除法预处理视频图像的预处理n彩色图像灰度化n图
11、像的平滑滤波 (1)中值滤波 (2)邻域均值滤波 (3)高斯滤波运动目标检测 n光流法 n帧间差分法 n背景减除法 n光流法光流法是通过计算图像的光流场实现运动目标检测的一种方法。所谓光流场是指空间运动物体被观测表面上的像素点运动产生的瞬时速度场，一个二维的速度场，包含了物体表面结构和动态行为的重要信息。n原理：给图像中的每一个像素点赋予一个光流矢量(即速度矢量)，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，通过对序列图像光流场的分析，计算出运动场后，对场景进行分割，从而检测出运动目标。n光流法的核心是求解出运动目标的光流，即速度。光流法光流法n帧间差分
12、法帧间差分法 将连续的两帧或三帧图像对应像素点的灰度值相减，当环境亮度变化不大时，如果对应像素值相差很小，则认为此处是静止的，标记为背景；如果对应像素值相差较大，则认为这是由目标运动引起的，该处像素标记为运动目标。第n-1帧第n帧n背景减除法背景减除法原理：建立一个无运动目标的背景图像(第一帧无运动目标的图像或前N帧无运动目标的图像的均值或中值)，然后将当前图像的像素值与背景图像的像素值相减，通过设置一定的阈值，分割运动目标。优点：算法简单、实时性较高缺点：对背景的依赖性较高阴影去除 RGB色彩空间的阴影消除算法 在RGB色彩模型空间中，任何一种颜色都可由R、G、B三原色按一定的比例构成，而阴
13、影区域中的像素亮度值一般比非阴影区域要小，特别是R、G 颜色分量一般都较小，所以依据这种差别可进行阴影消除。检测后处理形态学处理：腐蚀、膨胀 连通域处理、孔洞填充 运动目标跟踪 所谓目标跟踪，就是在一段序列图像的每幅图像中找到所感兴趣的运动目标所处的位置。一个好的目标跟踪算法满足的要求是什么？一个好的目标跟踪算法满足的要求是什么？实时性好，算法要费时少鲁棒性要强、目标跟踪的表示方法：(a)质心表示，(b)特征点集表示，(c)矩形框表示，(d)椭圆框表示，(e)关节模型表示，(f)轮廓表示，(g)侧影表示，(h)骨架模型表示运动目标的表示方法r 基于点的跟踪基于点的跟踪r 基于区域的跟踪基于区域
14、的跟踪r 基于轮廓的跟踪基于轮廓的跟踪r 基于模型的跟踪基于模型的跟踪由由简简到到繁繁（采用上述的哪种方法来表示运动目标和不同的应用场合、（采用上述的哪种方法来表示运动目标和不同的应用场合、运动目标的运动特性、以及对跟踪算法的精度要求等密运动目标的运动特性、以及对跟踪算法的精度要求等密切相关。）切相关。）视频目标跟踪算法基于对比度分析基于匹配核方法运动检测其它方法特征匹配贝叶斯跟踪Mean shift方法光流法“OpenCV2”的camshiftdemo核方法mean shift（均值漂移）简介“OpenCV2”的camshiftdemo核方法mean shift（均值漂移）简介核方法mean
15、 shift（均值漂移）简介n算法思想：Mean Shift 跟踪算法反复不断地把数据点朝向数据质心方向移动，最终收敛到某个概率密度函数的极值点。在Mean Shift 跟踪算法中，采用彩色直方图作为匹配特征，采用相似度函数用于刻画目标模板和候选区域所对应的两个核函数直方图的相似性，用Bhattacharyya 系数描述相似性。因此，这种方法将跟踪问题转化为模式匹配问题。n优缺点：该方法可以避免目标形状、外观或运动的复杂建模，建立相似度的统计测量和连续优化之间的联系。但是，Mean Shift 算法不能用于旋转和尺度运动的估计。直观描述直观描述完全相同的桌球分布感兴趣区域质心Mean Shif
16、t矢量目的：找出最密集的区域目的：找出最密集的区域直观描述直观描述完全相同的桌球分布感兴趣区域质心Mean Shift矢量目的：找出最密集的区域目的：找出最密集的区域直观描述直观描述Distribution of identical billiard balls感兴趣区域质心Mean Shift矢量Objective:Find the densest region直观描述直观描述完全相同的桌球分布感兴趣区域质心Mean Shift矢量目的：找出最密集的区域目的：找出最密集的区域直观描述直观描述完全相同的桌球分布感兴趣区域质心Mean Shift矢量目的：找出最密集的区域目的：找出最密集的区域直
17、观描述直观描述完全相同的桌球分布感兴趣区域质心Mean Shift矢量目的：找出最密集的区域目的：找出最密集的区域直观描述直观描述完全相同的桌球分布感兴趣区域质心目的：找出最密集的区域目的：找出最密集的区域Mean-Shift物体跟踪物体跟踪当前帧Mean-Shift 物体跟踪物体跟踪目标表示目标表示选择一个特征空间在当前帧选取一个合适的模板Mean-Shift 物体跟踪物体跟踪目标定位目标定位在下一帧模板附近的区域进行搜索从当前帧模板的位置开始通过算法找到最佳的候选区域在后面视频的帧，重复上面的过程当前帧模板候选区域Mean-Shift物体跟踪物体跟踪在当前帧选取一个合适的模板彩色空间的量化选择一个特征空间通过某种函数，在选择的空间表示模板Mean-Shift物体跟踪物体跟踪 ,fyfq p y 相似性函数:模板区域(质心为取模板时的点)候选区域(质心为 y)1.11muuumuqqq 1.11muuumup ypypMean-Shift物体跟踪物体跟踪相似度函数的确定相似度函数的确定 1,mp ypypy1,mqqq模板区域:候选区域:相似性函数:,?fyfp yqq pyy11 Bhattacharyya 系数系数 1cosTmyuuupyqfypy qpyq,fp yq
