1、电子科技大学电子科技大学 光电信息学院光电信息学院 二九年二九年4月月17日日彭真明彭真明Email: pengzm_主要内容u成像探测与跟踪系统概述成像探测与跟踪系统概述u运动目标检测方法运动目标检测方法u成像目标跟踪方法成像目标跟踪方法u目标跟踪技术应用及发展目标跟踪技术应用及发展主要内容u成像跟踪系统概述成像跟踪系统概述u运动目标检测方法运动目标检测方法u成像目标跟踪方法成像目标跟踪方法u目标跟踪技术应用及发展目标跟踪技术应用及发展一、成像探测与跟踪系统概述精确制导、目标跟踪精确制导、目标跟踪 “道尔道尔” 野战地空导弹武野战地空导弹武器系统，是世界上最先采用垂器系统，是世界上最先采用垂
2、直发射方式的近程防空系统，直发射方式的近程防空系统，同时也是一种全天候、全自动、同时也是一种全天候、全自动、三位一体三位一体(目标搜索、跟踪和目标搜索、跟踪和导弹发射装置同时装在一辆车导弹发射装置同时装在一辆车上上)的新一代高性能防空导弹的新一代高性能防空导弹发射车。它具有警戒、指挥与发射车。它具有警戒、指挥与控制、导弹制导与发射等众多控制、导弹制导与发射等众多功能，既可以独立作战，也可功能，既可以独立作战，也可以和发射连的其它发射车协同以和发射连的其它发射车协同作战。它可在低空、超低空和作战。它可在低空、超低空和近程区域内拦截多种非隐身与近程区域内拦截多种非隐身与隐身空袭目。隐身空袭目。X-
3、59导引头雷达导引头雷达导引头自动导系统自动导系统一、成像探测与跟踪系统概述导引头导引头舵机舵机发动机发动机尾尾翼翼自动导系统自动导系统一、成像探测与跟踪系统概述一、成像探测与跟踪系统概述EF2000欧洲战斗机装备欧洲战斗机装备“海盗海盗”机载红外搜机载红外搜索跟踪系统索跟踪系统 “ “海盗海盗”系统（无源红外机载跟踪设备）可以为空中拦截系统（无源红外机载跟踪设备）可以为空中拦截和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃的前方。的前方。“海盗海盗”系统在空对空模式下运行的时候，具备搜索系统在空对空模式下运行的时候，具备搜索和跟踪
4、系统（和跟踪系统（IRSTIRST）功能，提供无源目标探测和跟踪能力；在）功能，提供无源目标探测和跟踪能力；在空对地模式下，可以执行多目标获取和识别任务，同时还能提空对地模式下，可以执行多目标获取和识别任务，同时还能提供辅助导航和着陆功能。供辅助导航和着陆功能。 一、成像探测与跟踪系统概述红外监控系统红外监控系统一、成像探测与跟踪系统概述跟踪系统及跟踪实况跟踪系统及跟踪实况一、成像探测与跟踪系统概述什么是视频什么是视频(成像成像)目标跟踪？目标跟踪？视频序列目标跟踪是指对传感器摄取到的图像序列进行处理与分析，充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。一旦目标被确定，就可获得目标的位
5、置、速度、加速度等运动参数，进而获得目标的特征参数。 一、成像探测与跟踪系统概述什么是视频什么是视频(成像成像)目标跟踪？目标跟踪？在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机着降，靶场光电跟踪等领域。在现代高技术条件下的战争中，由于各种伪装、欺骗、对抗、反辐射技术大量使用，使得战场环境日益复杂，尤其是在复杂环境下的目标跟踪问题，成为该领域内研究的热点与难点；在民用上，该技术主要应用在智能视频监控、智能交通管制、医疗影像诊断等方面。 一、成像探测与跟踪系统概述研究现状（国际）研究现状（国际）1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学
6、院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术。1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况 。2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。一、成像探测与跟踪系统概述一、成像探测与跟踪系统概述研究现状（国内）研究现状（国内）研究所：中科院光电技术研究所、长春光机所、上海光机所，安徽光机所、上海技术物理所、中科院自动化所，沈阳自动化所 ，中国
7、工程物理研究院等。高校：国防科技技术大学、西北工业大学、哈尔滨工业大学、北京理工大学、北京航空航天大学、华中科技大学、空军工程大学等。一、成像探测与跟踪系统概述成像跟踪系统流程及框图成像跟踪系统流程及框图一、成像探测与跟踪系统概述主要内容u成像探测与跟踪系统概述成像探测与跟踪系统概述u运动目标检测方法运动目标检测方法u成像目标跟踪方法成像目标跟踪方法u目标跟踪技术应用及发展目标跟踪技术应用及发展 1、静止背景下的目标检测、静止背景下的目标检测 帧差分法：帧差分法：二、运动目标检测1,ttg x yfx yfx y 实例：实例：二、运动目标检测 2、运动背景下的运动检测：、运动背景下的运动检测：
8、n 光流法光流法(Optic flow)n 块匹配算法块匹配算法(Block matching)二、运动目标检测 光流简介光流简介二、运动目标检测光流的概念是Gibson于1950年首先提出的。光流是空间运动物体在观测成像面上的像素运动的瞬时速度；光流场是指图像灰度模式的表面运动。 （a）未运动的圆 (b) 运动后的圆 （c）圆的运动场0)(txf由于亮度不随时间变化由于亮度不随时间变化根据亮度恒定假设:),(),()(dttdttxIttxItf0)(txttItxxIIxvItxtIIv Optical Flow: 1D Case 根据亮度恒定假设有：根据亮度恒定假设有：根据泰勒公式，展开
9、下式后，有：根据泰勒公式，展开下式后，有：比较上两式，得：比较上两式，得：最后得出光流方程最后得出光流方程(也叫光流约束方程也叫光流约束方程)：Optical Flow: 2D Case 光流的求解光流的求解Lukas-Kanade (卢卡斯卢卡斯-卡拉德算法卡拉德算法)Horn-Schunck (霍恩霍恩-申克算法申克算法)二、运动目标检测实例实例 Horn-Schunck方法方法 Lucas-Kanade方法方法实例实例二、运动目标检测 块匹配算法简介块匹配算法简介 块运动估计与光流计算不同，它无需计算每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说
10、，块运动分析是一种很好的近似。如数字视频压缩国际标准MPEG1-2 采用了基于块的运动分析和补偿算法。 二、运动目标检测 块匹配算法的关键技术块匹配算法的关键技术n 匹配准则匹配准则(Matching Criteria)n 搜索策略搜索策略(Searching Strategyn 匹配特征匹配特征二、运动目标检测匹配准则匹配准则目标帧锁定帧二、运动目标检测匹配准则匹配准则.均方差(Mean Square Error, MSE)WyxkyyxxIkyxImnyxMSE),(2)1,(),(1),(.平均绝对差(Mean absolute discrepancy, MAD)WyxkyyxxIkyx
11、ImnyxMAD),(| ) 1,(),(|1),(二、运动目标检测匹配准则匹配准则3.互相关(Cross-correlation, CC)111/21/2221111( ( , , ) (,1)(,)( , , )(,1)XYxyXYXYxyxyI x y k I xx yy kMCCxyIx y kIxx yy k4.最大像素匹配统计(Maximum Pixels counting， MPC)1,| ( , , )(,1)|( , ,)0, ifI x y kI xx yy kTT x yxyotherwise-+ D+ D+DD= 二、运动目标检测搜索策略搜索策略n 全视场搜索全视场搜索
12、(FS)n 对数搜搜对数搜搜n 三步搜索三步搜索n 菱形搜索菱形搜索(Diamond Search ，DS)n 其他改进搜索策略其他改进搜索策略n2D 对数法搜索nJain and JainnExamine central point & its four surroundingsnDistance from center: r/2nFind best matchnIf best match is in center or on boundaries, half distance from centernExamine five new points centering previous be
13、st nWhen distance is 1, use all 9 matches, find best. Stop111112223344444444搜索策略nThree-Step Search (3SS)nKoga et aln9 Points: Central point & its 8 surroundingsnDistance: r/2nFind the best matchnUse previous best as centernHalf distance, select 8 newnRepeat algorithm 3 timesnExamines 25 pointsnAssum
14、es a uniform distribution of MVs111111111232222222333 3 333搜索策略二、运动目标检测匹配特征匹配特征n 图像灰度、亮度、颜色等信息图像灰度、亮度、颜色等信息n 图像特征图像特征(边缘、轮廓、纹理、变换域特征等。边缘、轮廓、纹理、变换域特征等。主要内容u成像探测与跟踪系统概述成像探测与跟踪系统概述u运动目标检测方法运动目标检测方法u成像目标跟踪方法成像目标跟踪方法u目标跟踪技术应用及发展目标跟踪技术应用及发展1、目标跟踪方法分类、目标跟踪方法分类三、成像目标跟踪方法 成像跟踪系统经过图像的预处理、图像的分割识别等成像跟踪系统经过图像的预处
15、理、图像的分割识别等一系列信息处理，最终实现对目标位置的实时精确测量一系列信息处理，最终实现对目标位置的实时精确测量，即对目标或目标的局部实施稳定跟踪，实时输出目标，即对目标或目标的局部实施稳定跟踪，实时输出目标的脱靶量。的脱靶量。n 矩心矩心(质心、形心质心、形心)跟踪；跟踪；n 边缘跟踪；边缘跟踪；n 峰值跟踪；峰值跟踪；n 相关跟踪；相关跟踪；n 滤波跟踪。滤波跟踪。1 1矩心跟踪矩心跟踪 矩心也叫质心或重心，是物体对某轴的静力矩作用中心。如果把目标图像看成是一块质量密度不均匀的薄板，以图像上各像素点的灰度作为各点的质量密度。这样就可以借用矩心的定义式来计算目标图像的矩心。 1010),
16、(1NxMyyxxfMNX1010),(1NxMyyxyfMNYxyabcdxcyc三、成像目标跟踪方法TemplateSearch image2 2相关跟踪相关跟踪由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。三、成像目标跟踪方法状态空间模型：1-1-1,kkkkxfxv系统方程：,kkkkzhxw观测方程：状态向量状态向量 状态转移函数状态转移函数过程噪声过程噪声观测向量观测向量观测函数观测函数观测函数观测函数滤波平滑预测三、成像目标跟踪方法n问
17、题提出：线性、高斯系统 卡尔曼滤波(KF) 非线性、高斯系统 扩展卡尔曼滤波(EKF)无极卡尔曼滤波(UKF)非线性、非高斯系统 粒子滤波(PF)?三、成像目标跟踪方法粒子滤波：一种基于递推贝叶斯估计的蒙特卡罗统计仿真方法基本概念：基本思想：利用一组加权随机粒子来近似状表示状态的后验概率密度 样本空间样本空间后验概率密度后验概率密度三、成像目标跟踪方法n实例：三、成像目标跟踪方法n多目标跟踪：三、成像目标跟踪方法主要内容u成像探测与跟踪系统概述成像探测与跟踪系统概述u运动目标检测方法运动目标检测方法u成像目标跟踪方法成像目标跟踪方法u目标跟踪技术应用及发展目标跟踪技术应用及发展n 舰载直升机在
18、反潜、救生、登陆、布雷与扫雷、火力校正、预警、侦察中广泛应用。n 由于中型舰船甲板较小，因风浪使甲板处于不规则的运动，直升机着舰的事故高。 1、直升机、无人机着降光电引导技术、直升机、无人机着降光电引导技术四、目标跟踪技术应用及发展n双双CCDCCD摄影测量算法摄影测量算法1XYZ2用两台CCD摄像机探测直升机上的激光信标，我们从捕获到的八个侯选信标中优选出四个信标点A、B、C、D，根据共线性条件建立方程组，并通过求解方程组，求出旋转矩阵M和位移矩阵T，得到直升机上着舰点相对着舰面的位置。四、目标跟踪技术应用及发展四、目标跟踪技术应用及发展光电导引系统控制界面光电导引系统控制界面四、目标跟踪技术应用及发展无人直升机光电助降无人直升机光电助降四、目标跟踪技术应用及发展虚拟现实环境中的头盔跟踪虚拟现实环境中的头盔跟踪n2、虚拟现实技术应用、虚拟现实技术应用主要内容u成像探测与跟踪系统概述成像探测与跟踪系统概述u运动目标检测方法运动目标检测方法u成像目标跟踪方法成像目标跟踪方法u目标跟踪技术应用及发展目标跟踪技术应用及发展
