1、图像识别光学相关器Vander Lugt相关器Vander Lugt相关器实时Vander Lugt相关器Vander Lugt相关器小型化旋转不变Vander Lugt相关器比例不变Vander Lugt相关器联合变换相关器实时联合变换相关器什么是光学图像识别光学图像识别的发展光学图像识别应用模式识别模式：一些供模仿用的、完美无缺的标本（广义）。模式识别：识别出特定客体所模仿的标本。光学模式识别相关方法频谱平面相关器(Frequency Plane Correlator,简称FPC)联合变换相关器(Joint Transform Correlator，简称JTC)神经网络方法始于40年代晚期
2、和50年代1960年Cutrona 提出，利用透镜进行傅立叶变换.1964 Vander Lugt在年提出复空间滤波，相关识别真正引起普遍关注的开发了各种技术、结构和算法，构造出高效的光学相关器来实现光学模式识别.第一个联合变换相关器（JTC）Weaver和Goodman在1966年提出的缺乏必要的接口设备，处于一种停滞的状态1984年Yu和Lu报道一种实时可编程接口的JTCJTC在不同的光学信息处理应用中扮演了重要的角色.防伪技术条码技术计算机指纹扫描仪指纹确认2秒如美国Identix公司的指纹扫描设备在用一个右手指正确匹配上接近100%。军事上，导弹制导系统等医学上，特定细胞识别、计数二维
3、条码二维条码卡一维条码手持二用激光扫描器手持激光扫描器读取设备：向激光、CCD发展条码技术的特点条码技术的特点1 1、简单。条码符号制作容易，扫描操作简单。、简单。条码符号制作容易，扫描操作简单。2、信息采集速度快。条码扫描录入信息的速度是键盘录入信息采集速度快。条码扫描录入信息的速度是键盘录入的的20倍。倍。3 3、采集信息量大。一次可以采集几十位字符的信息。、采集信息量大。一次可以采集几十位字符的信息。4、可靠性高。误码率百万分之一，首读率可达可靠性高。误码率百万分之一，首读率可达98以上。以上。5、灵活、实用。灵活、实用。6、自由度大。自由度大。7、设备结构简单、成本低。设备结构简单、成
4、本低。相关定理ddyxgfyxgyxfyxc),(),(),(),(),(*dxdyyxgyxfyxgyxfc ),(),(),(),(),(*可改写为( , )( , ):( ,)( , ) (,)(1)f x yg x y cf x y g xydxdy 在和均为实数时，可进一步简化为00,0( , ) ( , )(2) c()f x y g x y dxdy 当时，*( , )( , )( , )(,) ( , )c x yf x yg x yfxy gd d 平行光平行光仅当输入信号 f(x，y)参考信号g(x，y)时，光强的积分c(0，0)才达到极大值由此可以判定图形 f(x，y)和
5、 g(x，y)的相似性参考信号可以沿参考信号可以沿x x或或y y方向平移，例如可以通过计算机控制的步进电方向平移，例如可以通过计算机控制的步进电机实施平移，从而相关峰的积分强度就是机实施平移，从而相关峰的积分强度就是 g(x,y)g(x,y)的位置的位置( ( , , ) )的函的函数，测得的相关函数数，测得的相关函数c(c( , , ) )将指示输信号将指示输信号f(x,y)f(x,y)与参考信号与参考信号g(x,y)g(x,y)是否相同，并给出它们精确重合时的位置。是否相同，并给出它们精确重合时的位置。平行光可用相干或非相平行光可用相干或非相干光。干光。这一识别过程把输入与参考信号这一识
6、别过程把输入与参考信号g(xg(x，y)y)的相似性度量转化为一点的相似性度量转化为一点的强度测量的强度测量平行光平行光1.f(x,y)和 g(x,y)必须准确地叠合，以产生最大的积分强度峰一旦两个图形有所错位，它们就不再准确地重合，从而探测到的强度峰迅速消失，f(x,y) 就不能被识别。2、局限性仅能判别两个完全一样方位相同的图形，倘若一个图形相对于另一个图形转 过一个角度，或二者的比例有所不同，即便两个图形相同，此相关器是无法识 别的。易识别印刷体字符，却无法识别手写体字符可识别人脸的照片，但对真人的脸部的识别却无能为力Vander Lugt相关器实时Vander Lugt相关器Vande
7、r Lugt相关器小型化旋转不变Vander Lugt相关器比例不变Vander Lugt相关器基本原理VLC复数滤波器的记录VLC识别ffff输入平面f(x,y)1L2L傅立叶变换平面 T（u,v) 输出平面yxuvF-1),(),(vuTvuFexp),(exp),(1),(exp),(),(),(),(*222iauvuGiauvuGvuGiauvuGvuRvuGvuT（1）（4）g(x,y)g(x,y)yxvuff图4。3G(u,v)G(u,v)R(u,v)( , )exp(),( ) ( )2 sinR u viau a 2 , 3 A、VLC复数滤波器的记录复数滤波器的记录滤波过程
8、成像过程ffff输入平面f(x,y)1L2L傅立叶变换平面 T（u,v) 输出平面yxuvF-1),(),(vuTvuFVLC基本装置采用液晶光阀及电视显示终端的基本光学系统实际应用举例A、 Vander Lugt 相关器基本装置相关器基本装置 应用上面的图像识别系统可以进行：应用上面的图像识别系统可以进行： 1. 参考图像参考图像 g(x,y)的匹配滤波器的拍摄的匹配滤波器的拍摄 2。输入图像。输入图像 f(x,y)的辨认的辨认输入输入显微物镜显微物镜 准直物镜准直物镜付氏透镜付氏透镜在这个图像识别系统中，如在这个图像识别系统中，如f(x,y) 使用透明片输入，则为非实时化的。使用透明片输入
9、，则为非实时化的。 对于实时图象识别，可用透视型空间光调制器（对于实时图象识别，可用透视型空间光调制器（SLM）来输入图形（例如）来输入图形（例如液晶显示器液晶显示器 LCD）。事先用）。事先用CCD实时拍摄物体，并通过图像处理器把被拍实时拍摄物体，并通过图像处理器把被拍摄的物体像显示在摄的物体像显示在LCD上上输入输入显微物镜显微物镜 准直物镜准直物镜付氏透镜付氏透镜Acronym 英文首字母缩写词英文首字母缩写词L Lens 透镜透镜PH Pin Hole 针孔针孔BS Beam Splitter 分束器分束器M Mirror 反光镜反光镜OB Object Beam 物光束物光束RB R
10、eference Beam 参考光束参考光束MSF Matched Spatial Filter 匹配滤波器匹配滤波器VLC Vander Lugt Correlator 万德勒相关器万德勒相关器AD Array Detector 探测列阵探测列阵CCD Charge-Coupled Device 电荷耦合器件电荷耦合器件LCD Liquid Crystal Display 液晶显示液晶显示(屏屏)SLM Spatial Light Modulator 空间光调制器空间光调制器LCLV Liquid Crystal Light Valve 液晶光阀液晶光阀CMOS Complementary
11、Metal-Oxide Semiconductor 互补互补型金属氧化物半导体晶体管型金属氧化物半导体晶体管 B、采用液晶光阀及电视显示终端的基本光学系统C、实际应用举例光学成像导引头制导原理Compact Vander Lugt Correlator （1）Compact Vander Lugt Correlator （2）Compact Vander Lugt Correlator （3）引言圆谐函数旋转不变Vander Lugt相关器 dxdy yxgyxfc),(),(),( dxdyyxgyxfc),(),()0 , 0(如何实现旋转不变范得勒光学相关器？如何实现旋转不变范得勒光学相
12、关器？l实现旋转不变的方法 圆谐函数、梅林变换、综合鉴别函数(SDF)在输入函数为园在输入函数为园(对称对称)函数函数 f（r）的极特殊情形下，容易实现旋转不变识别；的极特殊情形下，容易实现旋转不变识别；但一般输入函数都不是园函数但一般输入函数都不是园函数 。)(rf 为为圆函数可用极坐标表达圆函数可用极坐标表达rB、圆谐函数、圆谐函数 极坐标中有关光场函数的表达式极坐标中有关光场函数的表达式 0r),( rf.),( r原输入函数原输入函数dxdy yxgyxf)c( ),(),(0 , 0),(y xf原点处的相关原点处的相关 rdrdrfrf)c( 020),(),(0 , 0输入函数旋
13、转输入函数旋转角后角后),(),( rf y xg极极:直直:) 1 (exp)(),(MMiMrfrf)2(exp),(21)(20diMrfrf M其中) 3(expexp)(),(MMiMiMrfrf)4(),(),()0 , 0()(020* rdrdrfrfcc将输入函数f(x,y) 用极坐标表为f(r，)，并用园谐函数展开：旋转旋转 角后输入函数可表为角后输入函数可表为在原点（在原点（0 0，0)0)的自相关可表为的自相关可表为 020*),(),()0 , 0()(rdrdrfrfcc将（将（1）式代入（）式代入（4）式：）式： 020*)(expexp)()(rdrdMMiiM
14、rfrf MMMM M M whenM MwhendMMiMMMMMM0,; 1,)6()(exp2120这里应用了)5()(exp2)(02rdrrfiMcMM 020*)(exp)()(exp dMMirdrrfrfiMMMMM)5()()(exp20*MMMMMM rdrrfrf iM 020*)()()()(MMiMMiMMrdrderferf (5)5)式所示的相关函数包含了各级圆谐函数分量的式所示的相关函数包含了各级圆谐函数分量的贡献，贡献，当旋转角变化时，显然不满足旋转不变的条件当旋转角变化时，显然不满足旋转不变的条件当参考信号中包含多个当参考信号中包含多个( (大于一个大于一个
15、) )圆谐函数分量圆谐函数分量时相关输出是旋转可变的时相关输出是旋转可变的)5()(exp2)(02rdrrfiMcMM当参考信号中仅包含一个当参考信号中仅包含一个( (某一级某一级) )圆谐函数分量时就是否圆谐函数分量时就是否可以实现旋转不变？可以实现旋转不变？ 代入代入(5)(5)式，得到相关输出式，得到相关输出 相关函数的强度相关函数的强度 它与目标图形的旋转角它与目标图形的旋转角 无关，因而是旋转不变的无关，因而是旋转不变的 )8(exp)(),(iMrfrfMR设02)(exp2)(drrfriMcMM)9()(2)(2022drrfrcMMMMiMrfrfexp)(),(exp)(
16、iMrfMFilter Matchedexpexp)(),(iMiMrfrfMMexpexp)(iMiMrfM 020220020*)(020*)(2)()()(),(),()0 , 0()(rdrrfe rdrrfd e rdrderferf rdrdrfrfccMiMMiMiMMiMM rdrrf cM2022)(2)(It is a constant independent of the target orientation nCorrelatio Optical13.4图图14. 4 图图比例不变又称尺度缩放不变，意思是说目标图形f(x,y)与参考图形相似时，仍有相关峰输出比例不变范德
17、勒相关器结论：结论：直角坐标系中的直角坐标系中的“缩放缩放”相当于对数坐标系中相当于对数坐标系中的的“平移平移”。 坐标的对数变换：坐标的对数变换： x ln x2x ln 2x = lnx + ln23x ln 3x = lnx + ln3- - - - - - - - - - - - - - - - - - - - - - - -Nx ln Nx = lnx + lnN直角坐标系直角坐标系对数坐标系对数坐标系A、直角坐标和对数坐标)(),ln(yln x)ln(),ln(),(yxff),(yxfxy),(),(ayaxfyxfaxy直角坐标系中的直角坐标系中的“缩放缩放”相当于对数坐标系
18、中的相当于对数坐标系中的“平平移移”。),()ln(),ln(),(11fayaxffaaln11B、比例不变范德勒相关器l设目标图形为l引入下面的变量代换：l图形函数借助于宗量、表为l当原函数f(x,y)进行a倍的缩放时，原来的图形函数与比例缩放后的图形函数的相关，相关峰的位移(-1，-1)指示了缩放的系数系统的输入信号为f( +1， +1)MSF为变换后的参考信号f( ， )11( , )( , )(,)(a ,a )ff x yffxy ；ffff输入平面f( + 1， + 1)1L2L傅立叶变换平面 T（u,v) 输出平面yxuvF-1),(),(vuTvuFtransform cLo
19、garithmiFilter Matchedtransform cLogarithminCorrelatio Optical对数变换实现方法：对数变换实现方法：电子学的方法实现电子学的方法实现光学方法：光学坐标变换器用实现光学方法：光学坐标变换器用实现用变焦镜用变焦镜(ZOOM)（机械的动作），非并行处理器（机械的动作），非并行处理器起源基本原理最早是由 Weaver 和 Goodman，以及Rau提出来的2( , ) (, )(, ) exp()(1)S u vf xa yg xa yixuyv dxdyf 22( , )exp ( , )exp ( , )(2)S u viau F u v
20、iau G u vff2( , )( , )exp()(3)F u vf x yixuyvdxdyf 2( , )( , )exp()(4)G u vg x yixuyvdxdyf 透镜后焦面的振幅分布为透镜后焦面的图形的光强（联合功率谱）分布为22*2*4( , )( , )exp ( , )( , )4exp( , ) ( , )( , )(5)S u vF u viau F u v G u vfiau F u v G u vG u vf22( , )exp ( , )exp ( , )(2)S u viau F u viau G u vff2( , )S u v对逆变换得22( ,)(
21、, )exp()oS u viuvdudvf （6）212( , )( , )exp()oF u viuvdudvf （7）1234oooo是是f(x，y) 的自相关的自相关*1( , )( ,)(,)offdd （8）22*2*4( , )( , )exp ( , )( , )4exp( , ) ( , )( , )(5)S u vF u viau F u v G u vfiau F u v G u vG u vf第二项为第二项为它可以表为它可以表为它正是它正是 f(x，y) 和和 g(x，y) 的相关，只是在的相关，只是在 轴上平移轴上平移一一2a*24( , )exp( , )( , )
22、2exp()oiau F u v Gu vfiuv dudvf ddagfo),2(),(),(*2第三项正是第三项正是 g(x,y) 和和 f(x，y) 的相关，在的相关，在 轴上平移轴上平移 2a 距离：距离：第四项为第四项为 g(x,y) 的自相关的自相关它与第一项重叠在输出平面中心附近，可以称之为它与第一项重叠在输出平面中心附近，可以称之为 0 级项，它们不是信号级项，它们不是信号*3( , )( ,)(2 ),)ogfadd （11）*4( ,)(,)(,)oggdd （12）在在f g 相同的情况下，相同的情况下， o2 o3 的函数形式相同的函数形式相同出现一对亮斑。出现一对亮斑
23、。两个互相关项两个互相关项 o2 和和 o3 为一级项，是我们寻求为一级项，是我们寻求的相关输出信号。的相关输出信号。它们在输出平面上沿它们在输出平面上沿 轴分别平移轴分别平移2a和和-2a在在f 和和g 相同的情况相同的情况下，下， o2 和和 o3 的函的函数形式相同出现数形式相同出现一对亮斑。一对亮斑。输入输入功率谱功率谱图图b,c的中心部分的中心部分 已被挡去已被挡去请看下面的说明图：请看下面的说明图：特点记录和逆变换两个过程之间，有一个用平方律探测器把联合变换的复振幅谱转换为功率谱的中介过程早期的联合变换相关器实时联合变换相关器发展实现方法联合变换谱记录：感光胶片记录经过显影、定影处
24、理后，胶片的透过率近似正比于联合变换的功率谱 相关：胶片用透镜进行逆变换，获得相关输出这不是实时的处理.1981年，Pichon 和 Huignard实时记录联合变换的功率谱第一次用光折变晶体BSO(B12SiO20)1984年，Yu和Lu实时可编程JTC方案平方律探测器LCLV 在输入平面上采用计算机控制的磁光空间光调制器(MOSLM)1985年Loiseaux等实现实时平方律转换BSO 液晶光阀(LCLV)1987年，Yu等液晶电视 (LCTV) 电寻址 SLM，用在输入面和谱面计算机控制、CCD检测（平方率探测器记录输入信号的联合变换功率谱），探测信号再由LCTV显示出来，并有CCD探测
25、相关输出。CCD探测面积10mm*10mm，包含512*512像素，分辨率达到51.2lp/mm。当时LCTV仅120*240像素，因此有效分辨率12lp/mm。特点: （1）未采用长焦变换透镜，JTC相当紧凑； （2）用CCD探测功率谱，从而在第二次傅里叶变换前 可以用各种数字处理技术提高系统的性能。 目前：光电混合系统2*22),(),(),(4exp),(),(4exp),(),(vuGvuGvuFaufivuGvuFaufivuFvuS222222( , )( , )44( , )exp( , )exp( , )( , )42( , )2( , ) cos() f x yg x y F
26、 u viau F u viau F u vF u vff F u vF u vauf当时)4cos(1),(2),(22aufvuFvus af 2 杨氏条纹杨氏条纹包络包络)4cos(1),(2),(22aufvuFvus af 2 杨氏条纹杨氏条纹功率谱的功率谱的包络（二维）包络（二维）功率谱示意图功率谱示意图（2 2）杨氏条纹的傅立叶反变换包含两个亮斑）杨氏条纹的傅立叶反变换包含两个亮斑(+1(+1级和级和-1-1级衍射级衍射) )及及 0 0级级( (直流直流) )光斑这两个亮斑即相关峰光斑这两个亮斑即相关峰22112( ,)( , )exp()2( , )*1cos(4/)(2)o
27、S u viuv dudvf F F u v Fauf 11cos(4/)1( , )(2 , )(2 , )(3)2 Faufaa 212( , ) 2 ( , )( , )2( , )(4)ffFF u vf x yf x yc 将将3 3，4 4 代入代入2 2得到得到1( , )2( , ) ( , )(2 , )(2 , ) 22( , )(2 , )(2 , )(5)ffffffffocaaccaca 自相关斑分别出现在（自相关斑分别出现在（-2a, 0）,(0,0) ，( 2a, 0 )三处。三处。各相关峰的包络各相关峰的包络2224( , )2e( , ) ( , )1 cos
28、()42( , )1 cos() s u vr ct u v F u vauf F u v auf功率谱的包络功率谱的包络包络有所改变？例如功率谱的范围超过包络有所改变？例如功率谱的范围超过CCD的探测面，的探测面，仅一部分功率谱被检测仅一部分功率谱被检测 仍能观察到相关峰。仍能观察到相关峰。212( , ) 2( , )( , )2( , )f f FF u vfx yfx yc 4),2(),2(),(2),(acaccoffffff5相关峰的包络相关峰的包络 JTCJTC的优点是：的优点是： 参考图形简单，存储在计算机中，并用参考图形简单，存储在计算机中，并用LCTVLCTV显示显示 探
29、测联合变换功率谱是非线性处理过程探测联合变换功率谱是非线性处理过程 选择功率谱的一部分来产生杨氏条选择功率谱的一部分来产生杨氏条纹（对相关峰的形状并不特别感兴趣）纹（对相关峰的形状并不特别感兴趣） 采用短焦距傅里叶变换透镜放大透镜，采用短焦距傅里叶变换透镜放大透镜，系统总长度可大大缩短系统总长度可大大缩短 JTC的缺点功率谱受输入平面上所有信号和噪声的影响强烈地依赖信号和噪声的特性很难设计一个非线性函数来优化功率谱的探测目前的研究重点光电混合联合变换相关器结构典型应用光电混合联合相关器输入图像处理有坐标对数变换网、迭代参考图像技术、边缘提取、互补编码参考图像、位置编码技术、基于综合识别函数的条
30、纹调制法等联合功率谱的处理有功率谱二值化法、振幅补偿法、条纹调制法、二元相关峰值强度控制技术等输出平面处理统计学测试法、软阈值法应用领域字符识别研究自适应实时多目标跟踪的研究机器视觉中的应用研究车载联合变换相关器的路标识别研究在机器视觉和防伪技术中的应用研究三维跟踪的研究噪声对相关识别影响研依大小排列不透明微粒的研究光纤检测中的应用研究等。联合图像的获取部分图像输入部分光学联合变换相 关处理部分输出信息探测 接收部分计算机分析、控制 和决策部分牌照的预处理字符的识别牌照的整体监控（a）输入图像包含一系列）输入图像包含一系列“A” 散步在其它字母中；散步在其它字母中；（b）不论取向如何，每个字母）不论取向如何，每个字母“A”产生一个相关斑。产生一个相关斑。 参考参考g(x,y)从从0到到360度旋转，度旋转， 每隔一度取一个相关，得到每隔一度取一个相关，得到（b）。）。图像识别光学相关器Vander Lugt相关器Vander Lugt相关器实时Vander Lugt相关器Vander Lugt相关器小型化旋转不变Vander Lugt相关器比例不变Vander Lugt相关器联合变换相关器实时联合变换相关器
