1、基于视频的运动目标检测与跟踪2013.06.05研究应用背景 视频运动目标检测与目标跟踪具有很强的实用价值，主要应用在视频监控、视频图像压缩、智能交通、人机交互、机器人导航、医学图像分析、工业检测等领域。视频图像运动目标检测运动目标检测阴影去除后处理运动目标跟踪光流法帧差法背景减法背景减法预处理视频图像的预处理彩色图像灰度化图像的平滑滤波 (1)中值滤波 (2)邻域均值滤波 (3)高斯滤波BGRGRAY299.0587.0114.0运动目标检测 光流法 帧间差分法 背景减除法 背景相减法 均值滤波法 W4模型 自适应背景模型 单高斯模型 混合高斯模型ICA：独立分量分析PSO：粒子群优化算法光
2、流法光流法是通过计算图像的光流场实现运动目标检测的一种光流法是通过计算图像的光流场实现运动目标检测的一种方法。所谓光流场是指空间运动物体被观测表面上的像素点方法。所谓光流场是指空间运动物体被观测表面上的像素点运动产生的瞬时速度场运动产生的瞬时速度场,一个二维的速度场，包含了物体表面一个二维的速度场，包含了物体表面结构和动态行为的重要信息。结构和动态行为的重要信息。原理：给图像中的每一个像素点赋予一个光流矢量(即速度矢量)，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和邻域背景速度矢量不同，通过对序列图像光流场的分析，计算出运动场后，对场景进行分割，从而检测出运动目标。光流法的核
3、心是求解出运动目标的光流，即速度。邻帧差分法 将连续的两帧或三帧图像对应像素点的灰度值相减，将连续的两帧或三帧图像对应像素点的灰度值相减，当环境亮度变化不大时，如果对应像素值相差很小，则认为当环境亮度变化不大时，如果对应像素值相差很小，则认为此处是静止的，标记为背景；如果对应像素值相差较大，则此处是静止的，标记为背景；如果对应像素值相差较大，则认为这是由目标运动引起的，该处像素标记为运动目标。认为这是由目标运动引起的，该处像素标记为运动目标。第n-1帧第n帧背景相减法原理：建立一个无运动目标的背景图像(第一帧无运动目标的图像或前N帧无运动目标的图像的均值或中值)，然后将当前图像的像素值与背景图
4、像的像素值相减，通过设置一定的阈值，分割运动目标。优点：算法简单、实时性较高缺点：对背景的依赖性较高均值滤波法均值滤波法 均值滤波法采用当前帧之前的L帧的平均值作为背景，首先创建一个可以存储L帧图像的存储空间，之后求这L帧图像的相同位置的像素值的平均，即 优点：运算量低，速度快，在有实时性要求且对准确性要求不高时得到广泛的应用；缺点：对存储空间需求较高，速度慢的物体时可能出现空洞。101(,)(,)Lib x y tf x y tiL W4模型模型 将背景中的每个像素用最大灰度值将背景中的每个像素用最大灰度值MAX(x，y，t)、最小、最小灰度值灰度值MIN(x，y，t)和最大邻间差分值和最大
5、邻间差分值DMAX(x，y，t)描述。描述。其中其中DMAX(x，y，t)是相邻帧对应位置像素灰度差的最大值，是相邻帧对应位置像素灰度差的最大值，这三个参数可以用图像序列的前这三个参数可以用图像序列的前L帧估计，之后新观测值帧估计，之后新观测值f(x，y，t)与背景模型的三个值比较，若满足下列两式，则认为该与背景模型的三个值比较，若满足下列两式，则认为该像素是背景，否则就是前景点。像素是背景，否则就是前景点。优点：同均值滤波法相比检测优点：同均值滤波法相比检测效果较好，运算量也不大，能够满效果较好，运算量也不大，能够满足实时性要求，而且对目标比较敏足实时性要求，而且对目标比较敏感。感。缺点：当
6、运动目标面积小且与缺点：当运动目标面积小且与背景对比度低或者目标颜色深时分背景对比度低或者目标颜色深时分割效果较差。割效果较差。自适应背景模型 将 第 一 帧（无运动物体的图像）作为背景 ；选 取 阈值T；求 当前 帧 的差 分 图 像 由 二值 图像 更新背景图像 0I0B111,|0,|tttttIITfIITtf1(,)(1),0(,)(,),1ttttttB x yIfBx yB x yf1tB单高斯法单高斯法对每一个像素利用高斯函数建模，每一像素点都认为服从均值和标准方对每一个像素利用高斯函数建模，每一像素点都认为服从均值和标准方差的分布，且每一点的高斯分布是独立的。每一个像素处理的
7、都是一系差的分布，且每一点的高斯分布是独立的。每一个像素处理的都是一系列在相应时间内列在相应时间内(从起始时间到当前时间从起始时间到当前时间)的该点值的集合，即在任意时的该点值的集合，即在任意时间间t t像素点像素点 的值应该是以时间为轴的点的集合中的一个的值应该是以时间为轴的点的集合中的一个,可由下式表可由下式表示：示：其中，表示这一个图像序列，也就是这个集合；表示第其中，表示这一个图像序列，也就是这个集合；表示第 帧。那么从时间轴上看，这些点的集合符合高斯分布，即，帧。那么从时间轴上看，这些点的集合符合高斯分布，即，这里，这里，a称为更新参数，表示背景变化的速度。称为更新参数，表示背景变化
8、的速度。优点：单高斯分布背景模型在室内优点：单高斯分布背景模型在室内(或其他简单场景或其他简单场景)进行运动目进行运动目标检测可以得到较好的效果，由于运算量小，处理速度非常快，而且标检测可以得到较好的效果，由于运算量小，处理速度非常快，而且检测到的目标比较完整。检测到的目标比较完整。缺点：当场景比较复杂时，模型会变得不稳定，而且抗噪声干扰缺点：当场景比较复杂时，模型会变得不稳定，而且抗噪声干扰的能力较差。的能力较差。混合高斯法 混合高斯模型使用混合高斯模型使用K（基本为（基本为3到到5个）个高斯模型来表个）个高斯模型来表征图像中各个像素点的特征；用当前图像中的每个像素点与征图像中各个像素点的特
9、征；用当前图像中的每个像素点与混合高斯模型匹配混合高斯模型匹配,如果成功则判定该点为背景点如果成功则判定该点为背景点,否则为前否则为前景点；景点；获得后更新混合高斯模型；通观整个高斯模型，主要获得后更新混合高斯模型；通观整个高斯模型，主要是有方差和均值两个参数决定。是有方差和均值两个参数决定。对均值和方差的学习，采取不同的学习机制对均值和方差的学习，采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性将直接影响到模型的稳定性、精确性和收敛性；由于我们是对运动目标的背景提取建模，因此需要对高斯模型由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新；为提高模
10、型的学习能力中方差和均值两个参数实时更新；为提高模型的学习能力,改改进方法对均值和方差的更新采用不同的学习率进方法对均值和方差的更新采用不同的学习率;为提高在繁忙为提高在繁忙的场景下的场景下,大而慢的运动目标的检测效果大而慢的运动目标的检测效果,引入权值均值的概念；引入权值均值的概念；建立背景图像并实时更新建立背景图像并实时更新,然后结合权值、权值均值和背景图然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类像对像素点进行前景和背景的分类优点优点 ：(1)(1)混合高斯模型可以模拟复杂的多峰背景混合高斯模型可以模拟复杂的多峰背景(如摇如摇动的树枝，摆动的旗帜等动的树枝，摆动的旗帜等)
11、，(2)(2)不仅能准确的检测出大面积目标还能检测出小不仅能准确的检测出大面积目标还能检测出小面积的目标，面积的目标，(3)(3)运算量不是非常大，能够满足实时性需要。运算量不是非常大，能够满足实时性需要。缺点缺点：(1)(1)能够有效的解决光线渐变的问题，但是对于能够有效的解决光线渐变的问题，但是对于光线突变非常敏感；光线突变非常敏感；阴影去除 RGBRGB色彩空间的阴影消除算法色彩空间的阴影消除算法 在在RGB色彩模型空间中，任何一种色彩模型空间中，任何一种颜色都可由颜色都可由R、G、B三原色按一定的比三原色按一定的比例构成，而阴影区域中的像素亮度值一例构成，而阴影区域中的像素亮度值一般比
12、非阴影区域要小，特别是般比非阴影区域要小，特别是R、G 颜色颜色分量一般都较小，所以依据这种差别可分量一般都较小，所以依据这种差别可进行阴影消除。进行阴影消除。HSVHSV色彩空间的阴影消除算法色彩空间的阴影消除算法 在在HSV色彩空间进行图像处理时，并不是将色彩空间进行图像处理时，并不是将H、S、V这这3个值作为判断的参数，主要考虑参个值作为判断的参数，主要考虑参数数V(图像的亮度图像的亮度)，并依次进行阴影消除，其对于，并依次进行阴影消除，其对于图像中极亮和极暗的物体能够很好地反映出相应图像中极亮和极暗的物体能够很好地反映出相应的信息。的信息。阴影不会显著改变背景点的色度，但通常会降低其亮
13、度和饱和度。1|(,)(,)|(,)(,)(,)(,)0 tbghtbgstbgH i jHi jTS i jSi jTV i jVi j 且 且其他检测后处理形态学处理：形态学处理：腐蚀、膨胀腐蚀、膨胀 运动目标由于颜色和背景接近或者其他噪声的干扰，可运动目标由于颜色和背景接近或者其他噪声的干扰，可能导致检测的结果出现镂空或者称为空洞现象。采用形态学滤能导致检测的结果出现镂空或者称为空洞现象。采用形态学滤波方法解决这一问题。形态学滤波是一种以形态为基础的分析波方法解决这一问题。形态学滤波是一种以形态为基础的分析图像的数学工具。其基本思想是采用一些具有特定形态的结构图像的数学工具。其基本思想是
14、采用一些具有特定形态的结构元素提取图像中的对应形状从而实现图像分析的目的。元素提取图像中的对应形状从而实现图像分析的目的。连通域处理、孔洞填充孔洞填充 在使用形态学滤波处理完图像后，一些小的干扰区域已在使用形态学滤波处理完图像后，一些小的干扰区域已经被除去，小的间隙被连接上，小的孔洞被填充上，但是仍经被除去，小的间隙被连接上，小的孔洞被填充上，但是仍然会有相对较大的孔洞存在于检测目标内部。因此，我们使然会有相对较大的孔洞存在于检测目标内部。因此，我们使用连通性检测的方法进行处理，来去除检测到的运动目标内用连通性检测的方法进行处理，来去除检测到的运动目标内部的孔洞部的孔洞。运动目标跟踪Mean
15、Shift算法（均值偏移）通过视频图像中运动物体的颜色信息来达到跟踪的目的Kalman滤波器 利用反馈控制系统估计运动状，用当前的状态和误差协方差估计下一时刻的状态Mean Shift算法Mean shift：均值偏移方法。采用彩色直方图作为匹配特征。Mean Shift 跟踪算法反复不断地把数据点朝向MeanShift 矢量方向进行移动，最终收敛到某个概率密度函数的极值点。在Mean Shift 跟踪算法中，相似度函数用于刻画目标模板和候选区域所对应的两个核函数直方图的相似性，采用的是Bhattacharyya 系数。因此，这种方法将跟踪问题转化为Mean Shift 模式匹配问题。优缺点：
16、Mean Shift 算法假设特征直方图足够确定目标的位置，并且足够稳健，对其他运动不敏感。该方法可以避免目标形状、外观或运动的复杂建模，建立相似度的统计测量和连续优化之间的联系。但是，Mean Shift 算法不能用于旋转和尺度运动的估计。Mean Shift算法过程 (1)选择窗口的大小和初始位置 (2)计算此时窗口内的质心 (3)调整窗口的中心到质心 (4)重复2和3，直到每次窗口移动的距离小于一定的阈值Kalman滤波器 基本思想：从本质上讲，卡尔曼滤波器就是一个有噪声线性动态系统状态预估的递归算法，它是一个不断地预测与校正的过程。当假设系统状态模型和观测模型都是线性且符合高斯分布，同时假设噪声也是高斯分布时，线性卡尔曼滤波器是最优的滤波器。局限性：但是，常规的卡尔曼滤波算法要求系统是线性高斯型的，对于非线性、非高斯环境而言，不能直接用来解决目标的估计问题。kalman滤波器实现的主要五个方程为：总结 主要讲述了目标检测和跟踪的一些常用方法，目标检测和跟踪的困难主要来自于光照的变化、目标的非线性形变、遮挡以及背景噪声和干扰等众多因素的影响。谢谢大家！
