1、基于视频的运动基于视频的运动目标检测概述目标检测概述黄文丽黄文丽2011.5.26内容提要内容提要v研究背景研究背景v运动目标检测方法运动目标检测方法 光流法光流法 时间差分法时间差分法 背景减除法背景减除法v算法评价算法评价研究背景（研究背景（1 1）v对序列图像的运动分析是当前计算机视觉领域的一对序列图像的运动分析是当前计算机视觉领域的一个重要研究方向，广泛应用于：个重要研究方向，广泛应用于： 高级人机交互高级人机交互 智能监控智能监控 视频会议视频会议 医疗诊断医疗诊断 基于内容的图像存储与检索基于内容的图像存储与检索v美国、英国等国家已经开展了大量相关的研究美国、英国等国家已经开展了大
2、量相关的研究, ,当当前国际上一些权威期刊如前国际上一些权威期刊如IJCVIJCV、CVIUCVIU、PAMIPAMI、IVCIVC、CVPRCVPR、AVSSAVSS、ECCVECCV、IWVSIWVS等均将序列图像的运动分等均将序列图像的运动分析作为其中的主题内容。析作为其中的主题内容。研究背景（研究背景（2 2）v序列图像的运动分析主要包括运动目标的检测、跟踪、分类序列图像的运动分析主要包括运动目标的检测、跟踪、分类及行为理解几个过程。及行为理解几个过程。v运动目标检测是从序列图像中将运动变化区域从背景图像中运动目标检测是从序列图像中将运动变化区域从背景图像中分割提取出来。分割提取出来。
3、v在计算机视觉、智能视频监控（银行、电力、交通、安检及在计算机视觉、智能视频监控（银行、电力、交通、安检及军事）领域，视频图像的军事）领域，视频图像的运动目标检测结果，将对运动目标运动目标检测结果，将对运动目标分类、跟踪及行为理解等后续处理产生重要影响分类、跟踪及行为理解等后续处理产生重要影响。运动目标。运动目标的有效分割是序列图像分析的基础性工作，是当今国内外学的有效分割是序列图像分析的基础性工作，是当今国内外学者研究的热点问题。者研究的热点问题。低层视觉处理低层视觉处理 中层视觉处理中层视觉处理高层视觉处理高层视觉处理运动目标检测问题分类运动目标检测问题分类v按不同标准将运动目标检测方法分
4、类：按不同标准将运动目标检测方法分类：（1 1）摄像机数目：单摄像机、多摄像机）摄像机数目：单摄像机、多摄像机（2 2）摄像机是否运动：摄像机静止、摄像机）摄像机是否运动：摄像机静止、摄像机运动运动（3 3）场景中运动目标数目：单目标、多目标）场景中运动目标数目：单目标、多目标（4 4）场景中运动目标类型：刚体、非刚体）场景中运动目标类型：刚体、非刚体v主要讨论：静止单摄像机，多运动目标检测主要讨论：静止单摄像机，多运动目标检测问题。问题。运动目标检测方法运动目标检测方法v光流法光流法（Optical flowOptical flow） 可用于摄像机运动情形，提取目标完整信息（包括可用于摄像机
5、运动情形，提取目标完整信息（包括运动信息），计算复杂度高，抗噪性能差。在摄像机固定的运动信息），计算复杂度高，抗噪性能差。在摄像机固定的情况下应用较少。情况下应用较少。v时间差分法时间差分法(Temporal difference)(Temporal difference) 通过比较相邻通过比较相邻2 2或或3 3帧图像差异实现场景变化检测，帧图像差异实现场景变化检测，对动态环境有较强适应性，但检测精度不高，难获得目标精对动态环境有较强适应性，但检测精度不高，难获得目标精确描述。确描述。 v背景减除法背景减除法(Background subtraction)(Background subtra
6、ction) 适用于摄像机静止情形，其关键是适用于摄像机静止情形，其关键是背景建模背景建模，性，性能与监控场景复杂情况和系统要求有关，典型算法有中值、能与监控场景复杂情况和系统要求有关，典型算法有中值、自适应模型、高斯模型、多模态均值等。自适应模型、高斯模型、多模态均值等。 光流法光流法v光流法主要通过对序列图像光流场的分析，光流法主要通过对序列图像光流场的分析，计算出运动场后，对场景进行分割，从而检计算出运动场后，对场景进行分割，从而检测出运动目标。测出运动目标。v光流法的核心是求解出运动目标的光流，即光流法的核心是求解出运动目标的光流，即速度。速度。v简要介绍传统光流法的典型代表简要介绍传
7、统光流法的典型代表Hom&SchunckHom&Schunck算法、算法、Lucas&KanadeLucas&Kanade算法和块匹配算法。算法和块匹配算法。 传统光流法传统光流法 v根据视觉感知原理，客观物体在空间上一般是相对连续运动，在运动过根据视觉感知原理，客观物体在空间上一般是相对连续运动，在运动过程中，投射到传感器平面上的图像实际上也是连续变化的，即灰度不变程中，投射到传感器平面上的图像实际上也是连续变化的，即灰度不变性假设。根据这一基本假设，可以得到光流基本方程。性假设。根据这一基本假设，可以得到光流基本方程。v设设(x(x，y)y)点在时刻点在时刻t t的灰度为的灰度为 I(x,
8、y,t)I(x,y,t)，设光流，设光流w=(uw=(u，v)v)在该点的水平在该点的水平和垂直移动分量和垂直移动分量u(xu(x，y)y)和和v(xv(x，y):y):v经过经过dtdt后对应点为后对应点为I(x+dx,y+dy,t+dt)I(x+dx,y+dy,t+dt)，当，当 ，灰度，灰度I I保持保持不变，得到不变，得到I(x,y,t)= I(x+dx,y+dy,t+dt)I(x,y,t)= I(x+dx,y+dy,t+dt)。此式由。此式由TaylorTaylor展开，忽略展开，忽略二阶无穷小，整理得到基本的光流约束方程二阶无穷小，整理得到基本的光流约束方程: :v v (1) (
9、1)v表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。v从不同角度对式从不同角度对式(1) (1) 引入不同约束条件，产生不同的光流分析方法。引入不同约束条件，产生不同的光流分析方法。BarronBarron等人将光流计算分为等人将光流计算分为4 4种种: :微分法、频域法、块匹配法和能量法，微分法、频域法、块匹配法和能量法，其中其中微分法与块匹配法微分法与块匹配法最为常用。下面介绍最为常用。下面介绍Hom&schiinck(Hom&schiinck(简称简称HS)HS)算法算法与与Lucas&Kanade(Lucas&Kan
10、ade(简称简称LK)LK)算法，其后介绍块匹配法。算法，其后介绍块匹配法。dxdyuvdtdt0dt IIIuvtxyxyHorn & SchunckHorn & Schunck算法算法 vHornHorn与与SchunckSchunck于于19811981年引入了年引入了全局平滑性约束全局平滑性约束，假设光流在整个图像上光滑变化，即速度的变化率假设光流在整个图像上光滑变化，即速度的变化率为零。为零。v结合式（结合式（1 1）和式（）和式（2 2），得光流），得光流w=(u,v)w=(u,v)应满足：应满足：v 取值主要考虑图中的噪声情况。如果噪声较强，取值主要考虑图中的噪声情况。如果噪声较
11、强，说明数据置信度较低，需要更多地依赖光流约束，说明数据置信度较低，需要更多地依赖光流约束，其取值较大其取值较大; ;反之其取值较小。反之其取值较小。v 1 Horn, Berthold K.P.; Schunck, Brian G. 1 Horn, Berthold K.P.; Schunck, Brian G. Determining Optical FlowJ.1981. Determining Optical FlowJ.1981. 2222()0 ()0uuvvuvxyxy（2 2）2222min( , )()()()xytxyx yI uI vIuv Lucas & KanadeL
12、ucas & Kanade算法算法(1) (1) vLucas & KanadeLucas & Kanade于于19811981年引入年引入了局部平滑性了局部平滑性约束约束，即假设在一个小空间领域上运动矢量，即假设在一个小空间领域上运动矢量保持恒定，使用加权最小二乘法估计光流。保持恒定，使用加权最小二乘法估计光流。在一个小的空间领域上，光流估计误差定义在一个小的空间领域上，光流估计误差定义为为: :vW W表示窗口权重函数，使邻域中心区域对约束表示窗口权重函数，使邻域中心区域对约束产生的影响比外围区域更大，式产生的影响比外围区域更大，式(3)(3)的解为的解为: :v 22( , ),xytx
13、 yWx yI uI vI(3)(3)212()TTUA W AA W BLucas & KanadeLucas & Kanade算法算法(2)(2)v式中，式中， 212()TTUA W AA W B11221()()()(),(),.,().()()TtnnnI xI yI xI yXAI XI XI xI y 1(),.,()nWdiag W XW X1(),.,()TttnBIXIX 块匹配法块匹配法 v块匹配法并不直接使用光流基本方程，它的块匹配法并不直接使用光流基本方程，它的基本思想是假设光流基本思想是假设光流w=(uw=(u，v)v)为不同时刻的为不同时刻的图像区域的位移量，在图
14、像序列的顺序图像图像区域的位移量，在图像序列的顺序图像对之间实施位置对应。对之间实施位置对应。v块匹配距离度量的方法有两种，一是相似度块匹配距离度量的方法有两种，一是相似度量，如归一化相关系数最大化量，如归一化相关系数最大化; ;二是对光强度二是对光强度差的平方和进行最小化。差的平方和进行最小化。 块匹配法块匹配法归一化相关系数归一化相关系数v归一化相关系数归一化相关系数v当相关系数为当相关系数为1 1时，表示两个块完全匹配。实时，表示两个块完全匹配。实际上，由于噪声及目标图像形状的变化，不际上，由于噪声及目标图像形状的变化，不同图像的对应块亮度会有变化。在同图像的对应块亮度会有变化。在 搜索
15、区内的相关系数最大的位置就是最佳匹搜索区内的相关系数最大的位置就是最佳匹配，其偏离中心点配，其偏离中心点(x,y)(x,y)的位移量的位移量(u,v)(u,v)即为即为光流。光流。 12,2212,(,)(,)( , , , )(,)(,)ni jnni jnI xi yjIxui yvjC x y u vIxi yjIxui yvj ,Nu vN(21) (21)NN块匹配法块匹配法光强度差平方和法光强度差平方和法 v光强度差平方和法计算光强度差平方和法计算 搜索区域上的误差分布为：搜索区域上的误差分布为：v将此误差分布转换成指数形式分布将此误差分布转换成指数形式分布v其中其中k k为正则化
16、参数。指数响应函数在为正则化参数。指数响应函数在0101之之间变化。根据估计理论，利用加权最小二乘间变化。根据估计理论，利用加权最小二乘法可得到真实速度的一个估计法可得到真实速度的一个估计: :(21) (21)NN212,( , )(,)(,) ,ni jne u vI xi yjIxui yvjNu vN( , )exp( , )R u vke u v( , )( , )(,)( , )( , )uvuvcccccuvuvR u v uR u v vvu vuvR u vR u v 光流法总述光流法总述 v基于微分的光流法，实现比较简单，计算复杂度低，基于微分的光流法，实现比较简单，计算复
17、杂度低，缺点是在图像相邻之间偏移量大的时候误差较大，缺点是在图像相邻之间偏移量大的时候误差较大，而且该方法要求图像灰度必须是可微的。而且该方法要求图像灰度必须是可微的。v基于匹配的光流法通过特征匹配来确定偏移量，可基于匹配的光流法通过特征匹配来确定偏移量，可以解决相邻帧差异较大的问题以解决相邻帧差异较大的问题; ;但是特征匹配比较但是特征匹配比较困难，运算量比较大，且块匹配法对噪声敏感。困难，运算量比较大，且块匹配法对噪声敏感。v目前，国内外学者都在寻求改进光流法的方法，主目前，国内外学者都在寻求改进光流法的方法，主要分为两种，一是光流法自身的改进要分为两种，一是光流法自身的改进; ;二是光流
18、法二是光流法与其他方法相结合，如即与其他方法相结合，如即金字塔光流法、区域光流金字塔光流法、区域光流法和特征光流法法和特征光流法。时间差分法时间差分法优点：鲁棒性好，运算量小，易于软件实现优点：鲁棒性好，运算量小，易于软件实现缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现象，阈值象，阈值T T缺乏自适应性，当光照变化时，检测算法难以适应环境缺乏自适应性，当光照变化时，检测算法难以适应环境变化变化tt-1t1, I (x,y)-I(x,y) TD (x,y)=0,otherwiseDefault:T=60Default:T=60背
19、景减除法背景减除法v中值模型中值模型 自适应背景模型自适应背景模型v双背景模型双背景模型 最大不相似模型最大不相似模型v单高斯单高斯 混合高斯混合高斯v改进的混合高斯改进的混合高斯 多模态均值多模态均值 v纹理模型纹理模型 背景减除法流程图背景减除法流程图 中值模型 (Median Model)背景中间值t-1tjj=t-Kttt1B (x,y)=I (x,y)K1I (x,y)-B (x,y) TD (x,y)=0otherwiseDefault:T=60Default:T=60，K=3K=3前提：在前前提：在前K K帧图像中，某像素点在超过一半的时间里呈现场帧图像中，某像素点在超过一半的时
20、间里呈现场景背景像素值。景背景像素值。自适应背景模型 前一帧前一帧k-1k-1前一背景前一背景当前背景当前背景+ +（1-1-）= =为自适应参数，其取值为自适应参数，其取值直接影响背景的更新质量直接影响背景的更新质量 是任意选择的适应参数是任意选择的适应参数11ttt-1tttB (x,y)=I (x,y)B (x,y)=I (x,y)+(1-)B(x,y)1I (x,y)-B (x,y) TD (x,y)=0otherwiseDefaut:Defaut: =0.03=0.03，T=60T=60双背景模型 33的邻里差分的邻里差分- -111212i=-1 j=-1(I ,I )=I (x+
21、i,y+ j)-I (x+i,y+ j)其中：其中：tLTttSTbDif = (I ,B),Dif = (I ,B)Default：Tb=60, Tt=60tbD (x , y ) = M Mbbb1Dif (x,y)TM (x,y)=0otherwisettt1Dif (x,y)TM (x,y)=0otherwise当前帧当前帧k短期背景短期背景(前一帧前一帧k-1)长期背景长期背景(中值模型中值模型)BLT最大不相似模型* *没有常数没有常数, ,包含大量光噪，需要去噪和形态滤波包含大量光噪，需要去噪和形态滤波N：最小灰度值M：最大灰度值MD：最大帧间差ttttttN (x,y)-I (
22、x,y) MD (x,y)1D(x,y)=M (x,y)-I (x,y) MD (x,y)0otherwise单高斯模型假设每个像素的灰假设每个像素的灰度在时间域上满足度在时间域上满足正态分布正态分布: :tt1I (x,y)-(x,y) (x,y)D(x,y) =0otherwise简单统计差分：简单统计差分：2222tt-1tt-1tt-1tt-1t-111 t -1 = +I -, = +I -tttDefault： = 4.5单 高 斯 模 型 ：单 高 斯 模 型 ：tt-1t222tt-1tt2t-1t2= + (1 - )I= + (1 - )(I - )(- I )1 = ex
23、p-22混合高斯模型为了描述分布形式更为复杂的背景（特别是在有微小重为了描述分布形式更为复杂的背景（特别是在有微小重复运动的场合，如摇动的树叶、灌木丛、旋转的风扇、复运动的场合，如摇动的树叶、灌木丛、旋转的风扇、海面波涛、雨雪天气、光线反射等），有必要应用到多海面波涛、雨雪天气、光线反射等），有必要应用到多模态的分布形式。模态的分布形式。StaufferStauffer等用多个单高斯函数来描述等用多个单高斯函数来描述场景背景，并且利用在线估计来更新模型，可靠地处理场景背景，并且利用在线估计来更新模型，可靠地处理了光照缓慢变化、背景混乱运动（树叶晃动）等影响。了光照缓慢变化、背景混乱运动（树叶晃
24、动）等影响。混合高斯模型v设用来描述每个像素点背景的高斯分布共有设用来描述每个像素点背景的高斯分布共有 K K个，分别记个，分别记为为 。各高斯分布分别具有不同的权值各高斯分布分别具有不同的权值 和和 优先优先级级 ，它们总是按照优先级，它们总是按照优先级从高到低的次序排序。从高到低的次序排序。 包括模型初始化、模包括模型初始化、模型匹配与参数更新、生成背景分布和检测前型匹配与参数更新、生成背景分布和检测前景四部分。景四部分。 ,( ,),1,2,.,i ti txiK,1(1)Ki ti ti1/2,ii ti tP模型初始化模型初始化v第第1 1帧图像初始化混合高斯模型：帧图像初始化混合高
25、斯模型：当前像素的颜色值初始化均值当前像素的颜色值初始化均值初始较大标准方差初始较大标准方差 =30.=30.给第一个高斯分布一个较大的权重给第一个高斯分布一个较大的权重0.50.5，其余，其余的高斯分布权重为的高斯分布权重为0.5/(K-1)0.5/(K-1)0模型匹配与参数更新模型匹配与参数更新v将新像素将新像素 与模型中的与模型中的K K个分布按序匹配，若个分布按序匹配，若 与某分布满足式与某分布满足式 （D1D1为自定为自定义参数），则义参数），则 与该高斯分布匹配，其参数按下与该高斯分布匹配，其参数按下式更新。式更新。v v式中式中 是自定义的学习率，是自定义的学习率， 是是参数学习
26、率。不匹配的分布仅权值按参数学习率。不匹配的分布仅权值按 衰减。衰减。v若无分布和若无分布和 匹配，则最小权值分布被替换成均匹配，则最小权值分布被替换成均值为值为 ，标准差为，标准差为 ，权值为，权值为 的高斯分布。其余分布仅权值按的高斯分布。其余分布仅权值按 更新。更新。tItI,11,1ti ti tIDtI,1,1222,1,(1)(1)(1)()i ti ti ti tti ti tti tII 01, i t,1(1)i ti t tI0,1(1)K tK t ,1(1)i ti t tItITHANK YOUSUCCESS2022-5-1227可编辑生成背景分布生成背景分布 v分布
27、按优先级分布按优先级 从大到小排列，从大到小排列，T T为为背景权值部分和阈值，如果前背景权值部分和阈值，如果前 个分布的个分布的权值和刚大于权值和刚大于T T，则这些分布是背景分布，其，则这些分布是背景分布，其它为前景分布。它为前景分布。 ,/i ti tBN检测前景检测前景 v若所有背景分布与若所有背景分布与 都满足下式，则判定都满足下式，则判定为前景点，否则为背景点。（为前景点，否则为背景点。（D2D2为自定义参为自定义参数）数）tI,2,|,1,2,.,ti ti tBIDiN混合高斯模型流程图,1,1222,1,(1)(1)(1)()i ti ti ti tti ti tti tII
28、 更新方程更新方程：融合了背景减除法的改进混合高斯模型v混合高斯模型使用固定的学习率混合高斯模型使用固定的学习率 ，如果其值较，如果其值较小，模型的初始建立时间较长，如果其值较大，则小，模型的初始建立时间较长，如果其值较大，则会降低模型对视频中噪声会降低模型对视频中噪声( (如树叶摇晃如树叶摇晃) )的抑制作用。的抑制作用。v背景能够适应缓慢的光照变化、树叶摇动等因素引背景能够适应缓慢的光照变化、树叶摇动等因素引起的变化，而对于突然的光照变化适应性慢，检测起的变化，而对于突然的光照变化适应性慢，检测结果中含有大量的阴影。结果中含有大量的阴影。v由于树叶的摇动在水面或反光物体上产生的突然反由于树
29、叶的摇动在水面或反光物体上产生的突然反光不服从高斯分布，从而在检测结果中出现频繁的光不服从高斯分布，从而在检测结果中出现频繁的闪动。闪动。 针对这些问题，融合背景减除法对混合高斯进行针对这些问题，融合背景减除法对混合高斯进行改进，在初始建模时采用新的更新算法，能够快速改进，在初始建模时采用新的更新算法，能够快速准确地建立初始背景模型。准确地建立初始背景模型。融合了背景减除法的改进混合高斯模型混合高斯模型更新方程：混合高斯模型更新方程：i,ti,t-1ti,ti,t-1222ti,ti,t-1i,t=(1-)+=(1-)+I=(1-)+(I - )融合背景减除法融合背景减除法: :t1,tttC
30、GCB (x,y)=(x,y)1if I (x,y)-B (x,y) TD =0elseD=D D为改进的混合高斯的检测结果为改进的混合高斯的检测结果GDDefault:T=50Default:T=50，N=200N=2001/tif,tN=1/Nelseii,t1/Mif,t N =elseMiMi为每个高斯分布相匹配为每个高斯分布相匹配的次数的次数 混合高斯及改进算法实验结果（混合高斯及改进算法实验结果（1 1）图图1 1 高速高速路监控视路监控视频初始建频初始建模实验结模实验结果果图图2 2户外户外停车场监停车场监控视频初控视频初始建模实始建模实验结果验结果 混合高斯建模，混合高斯建模，
31、由于背景更新速由于背景更新速率较慢，在初始率较慢，在初始建模时建模时( (第第120120帧帧以前以前) )，背景模，背景模型不够健全，开型不够健全，开始时检测的结果始时检测的结果残缺或漏检。而残缺或漏检。而改进混合高斯算改进混合高斯算法在第法在第4040帧左右帧左右建立初始模型，建立初始模型，快速检测出完整快速检测出完整性好的运动目标，性好的运动目标，即该改进的方法即该改进的方法能够快速建立初能够快速建立初始背景模型。始背景模型。 混合高斯及改进算法实验结果（混合高斯及改进算法实验结果（2 2）改进算法有效地抑制反光物体带来的频繁闪改进算法有效地抑制反光物体带来的频繁闪动，并且检测出的运动目
32、标含较少阴影。动，并且检测出的运动目标含较少阴影。多模态均值多模态均值vS.ApewokinS.Apewokin等人针对背景建模速度慢，等人针对背景建模速度慢，计算和存贮量大等问题，提出了多模态计算和存贮量大等问题，提出了多模态均值法，利用均值法，利用多个均值多个均值描述背景，建模描述背景，建模快，计算量小，存贮空间少，能在嵌入快，计算量小，存贮空间少，能在嵌入式系统上实时检测出含少量阴影的运动式系统上实时检测出含少量阴影的运动目标，但其不适应复杂背景中重复的扰目标，但其不适应复杂背景中重复的扰动、前景与背景的转化等。动、前景与背景的转化等。 v1S. Apewokin, B. Valenti
33、ne, L. Wills, et al. Multimodal Mean 1S. Apewokin, B. Valentine, L. Wills, et al. Multimodal Mean Adaptive Backgrounding for Embedded Real-Time Video Adaptive Backgrounding for Embedded Real-Time Video Surveillance: IEEE Conference on Computer Vision and Pattern Surveillance: IEEE Conference on Comp
34、uter Vision and Pattern RecognitionC, S.l.:s.n.,2007:1-6.RecognitionC, S.l.:s.n.,2007:1-6.v2S. Apewokin, B. Valentine, D. Forsthoefel, et al. Embedded 2S. Apewokin, B. Valentine, D. Forsthoefel, et al. Embedded Real-Time Surveillance Using Multimodal Mean Background Real-Time Surveillance Using Mult
35、imodal Mean Background ModelingJ. Embedded Computer Vision, 2009:163-175.ModelingJ. Embedded Computer Vision, 2009:163-175.多模态均值多模态均值v运用像素运用像素 与与M M个背景比较，不断更新模型个背景比较，不断更新模型均值，每个背景均值，每个背景 包含与之匹配的包含与之匹配的RGBRGB各通道值总各通道值总和和 、匹配次数、匹配次数 、在时、在时间轴上相邻两滑动窗口内的匹配次数间轴上相邻两滑动窗口内的匹配次数 和和 。其检测过程包括背景匹配与参数更。其检测过程包括背景匹
36、配与参数更新、前景检测和背景替换。新、前景检测和背景替换。 tI, , ,i ti R ti G ti B ti ti ti tBSSSCrp, , ,i R ti G ti B tSSS, i tC, i tr, i tp背景匹配与参数更新背景匹配与参数更新 v 为为t-1t-1帧第帧第i i个背个背景景j j通道的均值通道的均值 。若像素。若像素 满满足足 则与背景则与背景 匹配，用如下更新。匹配，用如下更新。 , ,1, ,1,1/i j ti j ti tSC, ,j tIjRGB, ,1,1( |) ()j ti j tji tFGjIECT, 1i tB, , ,1,1212bi
37、j ti j tj tbi ti tSSICC1,mod00,if tdbelse其中,1,1,10,mod01,mod0,mod0,mod0i ti ttii ti ti ttiif twrrif IBtwrif twppif IBtw匹配匹配前景检测与背景替换前景检测与背景替换 v前景检测前景检测: :若无背景与若无背景与 匹配，则当前像素匹配，则当前像素判为前景。判为前景。v背景替换背景替换: :当当 为前景时，计算背景在两滑动为前景时，计算背景在两滑动窗口内匹配次数和窗口内匹配次数和 。找出找出M M个背景中满足个背景中满足 的背景构的背景构成集合成集合L L。L L中的模型表明在两滑
38、动窗口中匹中的模型表明在两滑动窗口中匹配次数较少，不能很好描述背景。若配次数较少，不能很好描述背景。若L L中有背中有背景，则替换其中最小景，则替换其中最小 的背景。若的背景。若L L为空，为空，则替换则替换M M背景中最小背景中最小 的背景。的背景。 tItI,1,1,1i ti ti tRrp,1i tRw M,1i tC,1i tCmin,1,0,0R tG tB tBIII实验结果与分析实验结果与分析基于纹理的背景模型基于纹理的背景模型vLBPLBP（Local Binary PatternLocal Binary Pattern）是描述图像局部空间结构的）是描述图像局部空间结构的非参
39、数纹理算子，在纹理分类中有较高区分力，对亮度改变非参数纹理算子，在纹理分类中有较高区分力，对亮度改变不敏感，计算量小等优点。初始不敏感，计算量小等优点。初始LBPLBP仅通过像素的仅通过像素的8 8邻域得到，邻域得到，为描述大尺度的纹理，为描述大尺度的纹理，OjalaOjala等把其定义扩展为具有不同半等把其定义扩展为具有不同半径的圆形邻域。径的圆形邻域。v本文本文LBPLBP算子如下式。算子如下式。1,01,0(,)()2 , ( )0,PnP Rccncnif xLBPx yS iiS xelse纹理背景模型纹理背景模型v背景模型由一组自适应的背景模型由一组自适应的LBPLBP直方图来描直
40、方图来描述，述， 。模型的每个直。模型的每个直方图有个权重方图有个权重 ，且所有权重和为，且所有权重和为1 1。v直方图相似性度量直方图相似性度量v 是直方图，是直方图，N=N=纹理模型更新与背景选取纹理模型更新与背景选取v模型更新模型更新v如果模型所有直方图相似性都低于如果模型所有直方图相似性都低于 ，则更新权重最低，则更新权重最低的直方图模型，赋低的初始权重，如的直方图模型，赋低的初始权重，如0.010.01。v如果模型中有直方图相似性大于等于如果模型中有直方图相似性大于等于 ，则匹配。选择，则匹配。选择匹配中最高相似性的直方图，更新其匹配中最高相似性的直方图，更新其binsbins来适应
41、新的数据：来适应新的数据：v权重更新：权重更新：v 此时此时 为为1 1，其它为，其它为0 0。v背景选取背景选取v模型直方图按权重降序排列，并且选取前模型直方图按权重降序排列，并且选取前B B个直方图作为背个直方图作为背景直方图：景直方图： 前景检测前景检测v当前像素的直方图与当前的当前像素的直方图与当前的B B个背景直方图比个背景直方图比较，计算其相似度。如果至少一个背景直方较，计算其相似度。如果至少一个背景直方图相似度高于阈值图相似度高于阈值 ，这个像素为背景。，这个像素为背景。否则为前景。否则为前景。 实验结果实验结果背景减除法背景减除法 现存问题现存问题v关键在于背景模型的建立、保持
42、、更新。主要存在三个问题：关键在于背景模型的建立、保持、更新。主要存在三个问题：1 1）背景模型没有充分利用图像中相邻像素点之间的相关性信）背景模型没有充分利用图像中相邻像素点之间的相关性信息。息。 运动前景中具有的漏检与虚警区域，通常用形态学滤波和判运动前景中具有的漏检与虚警区域，通常用形态学滤波和判断连通区域大小的方法来消除孤立的小区域及合并相邻的不连通前景区断连通区域大小的方法来消除孤立的小区域及合并相邻的不连通前景区域。域。2 2）背景模型的更新速度不能和运动目标的运动速度很好地匹）背景模型的更新速度不能和运动目标的运动速度很好地匹配。配。 如果更新速度比监控场景的变化速度慢，则容易产
43、生虚影如果更新速度比监控场景的变化速度慢，则容易产生虚影（计算虚影区域的光流场可以消除虚影）。相反，如果背景模型的更新（计算虚影区域的光流场可以消除虚影）。相反，如果背景模型的更新速度太快，也容易出现运动目标的漏检。为改善检测效果，可使用多个速度太快，也容易出现运动目标的漏检。为改善检测效果，可使用多个具有不同更新速度的背景模型，或多摄像机从不同角度对同一场景进行具有不同更新速度的背景模型，或多摄像机从不同角度对同一场景进行监控，有效利用深度信息。监控，有效利用深度信息。3 3）复杂场景中摇动的树叶与运动阴影也被检测为运动前景。）复杂场景中摇动的树叶与运动阴影也被检测为运动前景。 由摇动树叶所
44、产生的运动前景混乱问题（混合高斯背景模型与由摇动树叶所产生的运动前景混乱问题（混合高斯背景模型与数学形态学滤波）。消除阴影对运动目标检测的干扰是非常困难的问题，数学形态学滤波）。消除阴影对运动目标检测的干扰是非常困难的问题，特别是处理灰度序列图像中的阴影。特别是处理灰度序列图像中的阴影。算法评价算法评价v鲁棒性：在各种环境条件鲁棒性：在各种环境条件( (光照变化、背景扰光照变化、背景扰动动) )下实现运动目标的完整分割。下实现运动目标的完整分割。v准确性准确性：算法应具有较低的漏检、误检：算法应具有较低的漏检、误检( (虚虚警警) )，并能够得到运动目标尽量完整的信息。，并能够得到运动目标尽量
45、完整的信息。v复杂性：在保证算法处理效果的前提下，算复杂性：在保证算法处理效果的前提下，算法的时空复杂度应尽可能小，以保证算法的法的时空复杂度应尽可能小，以保证算法的实时性与实用性。实时性与实用性。v通用性：算法对先验信息通用性：算法对先验信息( (色彩、形状、运动色彩、形状、运动和应用场景等和应用场景等) )的依赖程度应尽可能低。的依赖程度应尽可能低。定量分析算法准确性定量分析算法准确性v准确率准确率P P、查全率、查全率R R和和JaccardJaccard系数系数v设设TPTP表示正确检测的目标像素数；表示正确检测的目标像素数；FPFP表示将表示将背景像素错检为目标像素的个数，即造成虚背
46、景像素错检为目标像素的个数，即造成虚警的误检像素数；警的误检像素数；FNFN表示将目标像素错检为表示将目标像素错检为背景像素的个数，即漏检像素数。背景像素的个数，即漏检像素数。v准确率准确率P P反映虚警率，值越大虚警率越低；查反映虚警率，值越大虚警率越低；查全率全率R R反映目标分割的完整性，值越大完整性反映目标分割的完整性，值越大完整性越高。越高。 权衡准确率和查全率，反映算法综权衡准确率和查全率，反映算法综合性能。合性能。 ,cTPTPTPPRJTPFPTPFNTPFPFNcJcJ较流行背景减除法实验结果图较流行背景减除法实验结果图Boots WavingTrees OutDetect
47、Boots WavingTrees OutDetect原图原图 基准基准图像图像 中值中值模型模型 时间时间差分差分 链链码码本本 混混合合高高斯斯 多多模模态态均均值值 较流行背景减除法实验结果客观评价较流行背景减除法实验结果客观评价混合高斯、多模态混合高斯、多模态均值：准确率均值：准确率P P、查、查全率全率R R、JaccardJaccard系系数数JcJc较高，检测效较高，检测效果较好果较好参考文献参考文献v1Dr Alan M.Mclvor. Background Subtraction Techniques: Proc. 1Dr Alan M.Mclvor. Background
48、Subtraction Techniques: Proc. of Image and Vision Computing C. New Zealand:s.n., 2000.of Image and Vision Computing C. New Zealand:s.n., 2000.v22裴巧娜裴巧娜 . .基于光流法的运动目检测与跟踪技术基于光流法的运动目检测与跟踪技术D, D, 北方工业大学，北方工业大学，2009. 2009. v3Berthold K.P. Horn, Brian G. Schunch. Determining Optical 3Berthold K.P. Horn,
49、Brian G. Schunch. Determining Optical FlowJ. Artificial Intelligence, 1981,17:185-203. FlowJ. Artificial Intelligence, 1981,17:185-203. v4C. Stauffer, W. E. L. Grimson. Learning Patterns of 4C. Stauffer, W. E. L. Grimson. Learning Patterns of Activity Using Real-Time Tracking: Proc IEEE Trans. on Ac
50、tivity Using Real-Time Tracking: Proc IEEE Trans. on PAMIC. Washinton:IEEE Computer Society,2000,22(8):747-757.PAMIC. Washinton:IEEE Computer Society,2000,22(8):747-757.v5Kyungnam Kim, Thanarat H.Chalidabhongse, David Harwood, 5Kyungnam Kim, Thanarat H.Chalidabhongse, David Harwood, et al. Real-time
