1、一、最小二乘影像匹配一、最小二乘影像匹配n德国Ackermann教授提出了一种新的影像匹配方法最小二乘影像匹配（least Squares Image Matching）n影像匹配可以达到1/10甚至1/100像素的高精度优点如下优点如下n最小二乘影像匹配中可以非常灵活地引入各种已知参数和条件，从而可以进行整体平差。n解决“单点”的影像匹配问题，以求其“视差”；也可以直接解求其空间坐标 n同时解决“多点”影像匹配或“多片”影像匹配 n引入“粗差检测”，从而大大地提高影像匹配的可靠性 最小二乘影像匹配原理最小二乘影像匹配原理n“灰度差的平方和最小灰度差的平方和最小”n仅仅认为影像灰度只存在偶然误
2、差仅仅认为影像灰度只存在偶然误差 按vvmin原则进行影像匹配的数字模型。若在此系统中引入系统变形的参数，按 vvmin的原则，解求变形参数，就构成了最小二乘影像匹配系统。灵活灵活,可靠和高精度可靠和高精度是优点是优点,缺缺点点是是，如当，如当初始值不太准时初始值不太准时，系统的收敛性等问题有待解决。系统的收敛性等问题有待解决。辐射畸变照明及被摄影物体辐射面的方向大气与摄影机物镜所产生的衰减摄影处理条件的差异以及影像数字化过程中所产生的误差等等n影像灰度的系统变形有两大类：影像灰度的系统变形有两大类：辐射畸变辐射畸变；几何畸变几何畸变。几何畸变n摄影机方位不同所产生的影像的透 视畸变n影像的各
3、种畸变n由于地形坡度所产生的影像畸变等竖直航空摄影的情况下，地形高差则是几何畸变的主要因素。在影像匹配中引入这在影像匹配中引入这些变形参数，同时按最些变形参数，同时按最小二乘的原则，解求这小二乘的原则，解求这些参数，就是些参数，就是最小二乘最小二乘影像匹配的基本思想。影像匹配的基本思想。n仅考虑辐射的线性畸变的最仅考虑辐射的线性畸变的最小二乘匹配小二乘匹配相关系数相关系数 n误差方程：误差方程：n按按 vvmin的原理，可的原理，可得得法方程式法方程式 n假定对假定对g1，g2已作过中心化处理已作过中心化处理 即：即：n消除了两个灰度分布的系统的消除了两个灰度分布的系统的辐射畸变后，其残余的灰
4、度差辐射畸变后，其残余的灰度差的平方和为的平方和为n 相关系数与相关系数与 vv的关系的关系 n相关系数相关系数n vv是噪声的功率是噪声的功率n g12为信号的功率为信号的功率 以“相关系数最大”作为影像匹配搜索同名点的准则，其实质是搜索“信噪比为最大”的灰度序列 n信噪比信噪比 vvgSNR212)()1(1)(22SNRn相关系数与信噪比之间的关系相关系数与信噪比之间的关系 影像匹配的主要目的是确定影像影像匹配的主要目的是确定影像相对移位相对移位，传统的算法采用目标，传统的算法采用目标区相对于搜索区不断地区相对于搜索区不断地移动一个移动一个整像素整像素，搜索最大相关系数的影，搜索最大相关
5、系数的影像区中心作为同名像点像区中心作为同名像点 。在最小二乘影像匹配算法中，在最小二乘影像匹配算法中，可引入几何变形参数，可引入几何变形参数，直接解算直接解算影像移位影像移位，这是此算法的特点。，这是此算法的特点。n仅考虑影像相对移位的一维最小二仅考虑影像相对移位的一维最小二乘匹配乘匹配 假设两个一维灰度函数g1(x),g2(x),除随机噪声外，g2(x)相对于g1(x)只存在零次几何变形移位量x。)()()()(2211xnxxgxnxg)()()(12xgxxgxv误差方程式误差方程式n离散的数字影像而言，灰度函数离散的数字影像而言，灰度函数的导数的导数g,2(x)可由差分代替可由差分代
6、替 n为解求相对移位量为解求相对移位量 x，需上式需上式进行线性化进行线性化 最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速度取决于初值。n误差方程式可写为误差方程式可写为 n解得影像的相对移位解得影像的相对移位 单点最小二乘影像匹配单点最小二乘影像匹配 n两个二维影两个二维影像之间的几像之间的几何变形，不何变形，不仅仅存在着仅仅存在着相对移位还相对移位还存在着图形存在着图形变化变化 ),(),(),(),(22102102111yxnybxbbyaxaaghhyxnyxgo x2 y2n灰度畸变灰度畸变+几何变形几何变形 n几何变形几何变形 n经线性化后误差方程式经线性化后误差
7、方程式ndh。，。，dh1，da0，,db2是待定参数的是待定参数的改正值，它们之初值分别为改正值，它们之初值分别为 h0=0；h1=1；a0=0；a1=1；a2=0；b0=0；b1=0；b2=1)()(LCXCCTTLCXVyyyxxxxgybyygcgxbyygcgbyygcgyaxxgcgxaxxgcggaxxgcgcc2222812227022262222512224202223221)(1),1(),1(21),()1,()1,(21),(2222JIgJIgJIggJIgJIgJIggIxJy 在数字影像匹配中，灰度均是在数字影像匹配中，灰度均是按规则格网排列的离散阵列，按规则格网
8、排列的离散阵列，且采样间隔为常数且采样间隔为常数，可被视为，可被视为单位长度，上式中的偏导数均单位长度，上式中的偏导数均用差分代替：用差分代替：几何改正几何改正重采样重采样辐射畸变改正辐射畸变改正是否迭代是否迭代计算最佳计算最佳匹配的点位匹配的点位计算参数值计算参数值结束结束左片左片右片右片最小二乘法匹配流程图最小二乘法匹配流程图n几何变形改正。根据几何变形改正参数a0,a1,a2,b0,b1,b2将左方影像窗口的影像坐标变换至右方影像阵列：n重采样。由于换算所得之坐标x2，y2一般不可能是右方影像阵列中的整数行列号，因此重采样是必须的。ybxbbyyaxaax21022102n辐射畸变改正。
9、利用由最小二乘影像匹配所求得辐射畸变改正参数h0,h1；对上述重采样的结果作辐射改正n若相关系数小于前一次迭代后所求得的相关系数，则可认为迭代结束.也可以根据几何变形参数是否小于某个预定的阈值。n采用最小二乘影像匹配，解求变形参数的改正值dh0,dh1,da0,。n计算变形参数计算变形参数 yxbbbaaayxiiiiii1001210210221yxbbbaaadbdbdbdadadaiiiiiiiiiiii100111001121110121110210210ybxbbyyaxaax21022102iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiidbbdbabb
10、dbbdbabbdbbdbadbbbdabdaaaadabdaaaadabdaadaaa21211212221111111121011001002121121222111111112101100100211101021011011011011ghhdhdhghhgiiiiiii11-i11-i1i1i11-i0i01-i0i0dhhhhdhhdhhhn对于辐射畸变参数满足：对于辐射畸变参数满足：n计算最佳匹配的点位计算最佳匹配的点位.可用梯度的可用梯度的平方为权，在左方影像窗口内对坐平方为权，在左方影像窗口内对坐标作加权平均：标作加权平均：2222/yyixxiggyyggxxybxbbyya
11、xaax21022102匹配精度取决于影像灰度的梯度匹配精度取决于影像灰度的梯度 为了进一步提高其可靠性与精度，例如，附带共线条件的最小二乘相关以及与VLL法结合的最小二乘影像匹配方法都得了广泛的研究 最小二乘影像匹配的精度最小二乘影像匹配的精度 最小二乘匹配算法，则可以根据法方程式系数矩阵的逆矩阵，同时求得其精度指标 2202/gx222/gggx220vnn为目标区像元个数。由于上式右边是的无偏估计，所以220/11vn2221gvxnvgSNR2221gvxSNRnn信噪比信噪比n方差方差2222)1(gvxn)1(1)(22SNRn相关系数与信噪比之间的关系相关系数与信噪比之间的关系
12、n影像匹配的精度与相关系数有关，相关系数愈大则精度愈高。它与影像窗口的“信噪比”有关，信噪比愈大，则匹配的精度愈高。可以得到一些很重要的结论：可以得到一些很重要的结论：n影像匹配的精度还与影像的纹影像匹配的精度还与影像的纹理结构有关，即与理结构有关，即与 有关。有关。特别特别 是当愈大，则影像匹配精是当愈大，则影像匹配精度愈高。当度愈高。当 ，即目标窗口，即目标窗口内灰度没有变化时，则无法进行内灰度没有变化时，则无法进行影像匹配。影像匹配。)/(ggg 02 gn特征匹配的概念特征匹配的概念n基于特征点的影像匹配策略基于特征点的影像匹配策略 n跨接法影像匹配跨接法影像匹配特征匹配特征匹配n以影
13、像的灰度分布为影像匹配以影像的灰度分布为影像匹配的基础，被称为灰度匹配（的基础，被称为灰度匹配（Area Based Image Matching）n特征匹配（特征匹配（Feature Based Matching，在计算机界也称为，在计算机界也称为 Primitive Based Matching）。）。n当待匹配的点位于低反差区内，当待匹配的点位于低反差区内，其匹配的成功率不高。其匹配的成功率不高。n目的只需要配准某些点线或面目的只需要配准某些点线或面 n在城市中，被处理的对象主要是在城市中，被处理的对象主要是人工建筑物，灰度匹配难以适应人工建筑物，灰度匹配难以适应 特征匹配使用的几种场合
14、特征匹配使用的几种场合特征匹配步骤特征匹配步骤n特征的匹配可以分为点、线、面特征的匹配可以分为点、线、面n特征匹配可分为三步特征匹配可分为三步：特征提取；特征提取；利用一组参数对利用一组参数对特征作描述；特征作描述；利用参数进行特利用参数进行特征匹配。征匹配。iSffijijji)(11n例如：首先可以用边缘算子（Edge Operator）从影像中提取边缘，然后再用参数描述“边缘”。n常用常用-S曲线表达曲线表达边缘：边缘：基于特征点的影像匹配的策略基于特征点的影像匹配的策略 特征提取特征提取n根据各特征点的兴趣值将特征根据各特征点的兴趣值将特征点分成几个等级点分成几个等级n对不同的目的，特
15、征点的提取对不同的目的，特征点的提取应有所不同应有所不同（2）均匀分布。将影像划分成规均匀分布。将影像划分成规则矩形格网，每一格网内提取则矩形格网，每一格网内提取特征点。特征点。(1)随机分布。按顺序进行特征提随机分布。按顺序进行特征提取，但控制特征的密度。取，但控制特征的密度。特征点的分布则可有两种方式：特征点的分布则可有两种方式：n特征点的匹配特征点的匹配 n二维匹配与一维匹配二维匹配与一维匹配 影像方位参数未知时，必须进影像方位参数未知时，必须进行二维影像匹配行二维影像匹配;建立影像模建立影像模型，形成核线进行一维匹配型，形成核线进行一维匹配 1.对右影像也进行特征提取2.右影像不进行特
16、征提取3.右影像不进行特征提取，但也不将所有的点作为可能的匹配点n匹配的备选点选择方法匹配的备选点选择方法n特征点的提取与匹配的顺序特征点的提取与匹配的顺序 “深度优先深度优先”“广度优先广度优先”n匹配的准则匹配的准则 除了运用一定的相似性测度，一般还可考虑特征的方向，周围已匹配点的结果n粗差的剔除粗差的剔除 小范围内利用倾斜平面模型进行视差拟合，将残差大于某一阈值点作为粗差剔除 n跨接法影像匹配跨接法影像匹配 ABb1a1a2b2n先不顾及几何变形作“粗匹配”，然后用其结果作几何改正再匹配 n几何变形几何变形 处理影像几何变处理影像几何变形的两种方式形的两种方式n最小二乘影像匹配将影像匹配
17、与几何改正均作为参数同时解算 影像匹配影像匹配几何改正几何改正影像匹配影像匹配几何改正几何改正与与影像匹配影像匹配影像匹配影像匹配影像匹配影像匹配优点！优点！特征分割法特征分割法 特征定义为一个“影像段”，由三个特征点组成：一个灰度梯度最大点Z，两个“突出点”（梯度很小）S1，S2 在提取特征时，所用算子不仅应顺次地提取出一个特征上三个特征点的像素序号（点位），而且还应保留两个突出点S1，S2之灰度差。特征分割法特征分割法 n跨接法影像匹配步骤跨接法影像匹配步骤 l.l.特征提取特征提取 2.构成跨接法匹配窗口构成跨接法匹配窗口n所谓跨接法窗口结构，就是将所谓跨接法窗口结构，就是将两个特征连接
18、起来构成窗口，两个特征连接起来构成窗口，在左方影像上在左方影像上F Fb b和和F Fe e分别是已配分别是已配准与待匹配的特征构成目标窗口准与待匹配的特征构成目标窗口 右方影像上，右方影像上，F Fb b是已配准的特征，是已配准的特征，在右方影像上选定若干特征在右方影像上选定若干特征比较待匹配特征比较待匹配特征F Fe e与备选特征之与备选特征之间的特征参数，选取相似特征间的特征参数，选取相似特征在右方影像上，以在右方影像上，以F Fb b为窗口的一为窗口的一个端点特征，而以被选定的备选个端点特征，而以被选定的备选特征特征1 1，3 3为窗口的另一端的特征，为窗口的另一端的特征，构成不同的匹配窗口构成不同的匹配窗口对匹配窗口进行重采样，使其大对匹配窗口进行重采样，使其大小始终等于左方影像的目标窗口小始终等于左方影像的目标窗口的长度，从而消除了几何畸变对的长度，从而消除了几何畸变对相关的影响。相关的影响。计算目标窗口与重采样的匹配计算目标窗口与重采样的匹配窗口的相关系数，按最大相关窗口的相关系数，按最大相关系数的准则确定系数的准则确定Fe的同名的同名特征。特征。将目标窗口将目标窗口a,b整个视为待配准元整个视为待配准元“影像段影像段”在右核在右核线上建立一些备选线上建立一些备选的搜索窗口的搜索窗口
