1、主要内容主要内容特征提取特征提取影像匹配影像匹配核线重采样核线重采样要点回顾要点回顾摄影测量的基本要点摄影测量的基本要点 最少在两个位置，获取两张像片最少在两个位置，获取两张像片 观测同名像点观测同名像点a1 a1 和和 a2a2 恢复两条对应直线的空间方位，最后获得空间点恢复两条对应直线的空间方位，最后获得空间点A A的坐标。的坐标。模拟、解析模拟、解析摄影测量：恢复摄影光线的方位，而摄影测量：恢复摄影光线的方位，而同名点同名点是通是通 过过目视判读目视判读来实现的。来实现的。数字数字摄影测量则实现了摄影测量则实现了自动（半自动）自动（半自动）识别同名点。识别同名点。数字影像的来源对光学胶片
2、相机的影像扫描仪对光学胶片相机的影像扫描仪数码相机进行摄影数码相机进行摄影 数字影像表达形式 1,11,10,11,11,10,11,01,00,0nmmmnngggggggggg)1,1,0()1,1,0(00mjyjyynixixx频率域傅立叶变化一、特征提取一、特征提取线特征线特征点特征点特征1.1.内定向：自动进行影像框标识别内定向：自动进行影像框标识别目的：目的：快速恢复内方位元素快速恢复内方位元素 航空像片的内定向由相机参数、框标位置、投影航空像片的内定向由相机参数、框标位置、投影中心和辐射畸变共同完成。利用适当的变换中心和辐射畸变共同完成。利用适当的变换 ,扫描的扫描的图像即被重
3、采样到一个新的矩阵，该矩阵基于由框标图像即被重采样到一个新的矩阵，该矩阵基于由框标确定的坐标系统表示，该过程称为影像内定向。确定的坐标系统表示，该过程称为影像内定向。精度指标：精度指标：识别精度识别精度1/31/3左右像素左右像素扫描坐标系扫描坐标系框标坐标系框标坐标系X=h0+h1x+h2yY=k0+k1x+k2y相机参数、相机参数、点特征提取点特征提取2.点特征的灰度特征点特征的灰度特征3.点特征的灰度特征点特征的灰度特征点特征点特征20213028262421213028263022254158423129314324043383021396838342122302826244.Mora
4、vec算子算子 Moravec于1977年提出利用灰度方差提取点特征的算子 rc（1）计算各像元的兴趣值 IV,min4321,VVVVIVrcK=INT(w/2)（2）给定一经验阈值，将兴趣值大于阈值的点作为候选点。确定窗确定窗口大小口大小 MoravecMoravec算子是在四个主要方向上，算子是在四个主要方向上，选择具有最大选择具有最大最小灰度方差的点作为最小灰度方差的点作为特征点。特征点。（3）选取候选点中的极值点作为特征点。总结总结一、特征提取一、特征提取 “边缘边缘”影像局部区域特征不相同的区域影像局部区域特征不相同的区域间的分界线。间的分界线。“线线”是具有很小宽度的其中间区域具
5、有是具有很小宽度的其中间区域具有相同的影像特征的边缘对。相同的影像特征的边缘对。1、线特征、线特征房屋房屋 道路道路2、线的灰度特征、线的灰度特征3、微分算子、微分算子梯度算子梯度算子差分算子差分算子3、微分算子、微分算子差分算子差分算子sobelprewittroberts二、影像匹配二、影像匹配4 8 6 7 2 3 5 9 0 1 模板匹配例子模板匹配例子 计算机如何识别？计算机如何识别？1269453780建立模板建立模板1.1.问题的提出问题的提出 用十个用十个0 09 9数字模板对上述一串数字中每个数数字模板对上述一串数字中每个数字（如第一个数字字（如第一个数字4 4）逐个进行套合
6、、配准。）逐个进行套合、配准。12694537804 8 6 7 2 3 5 9 0 1 比较比较“待识别的数字待识别的数字”与与“数字模板数字模板”之间的之间的相似性，以判断待识别的数字。相似性，以判断待识别的数字。1.1.问题的提出问题的提出影像匹配影像匹配-寻找同名点寻找同名点2.2.数字相关数字相关n二维相关二维相关 数字相关是利用计算机对数字影像进行数字相关是利用计算机对数字影像进行数值计算的方式完成影像的相关数值计算的方式完成影像的相关 目标区目标区 搜索区搜索区搜索区目标区Xy1234iAS1S2l1a1a2l2同名核线同名核线通过摄影基线与地面所作的平面称为核面核面与影像面交线
7、称为核线同名像点必定在同名核线上。一维相关一维相关 一维相关一维相关 在在核线影像核线影像上，只需要进行一维搜索上，只需要进行一维搜索 目标区目标区 搜索区搜索区 n目标区n搜索区m12345 同名点的确定是以同名点的确定是以匹配测度匹配测度为基础为基础)(ijgG)(ijgG3.数字影像匹配基本算法数字影像匹配基本算法（）相关系数法（）相关系数法nikigng11niigng11目标区灰度均值目标区灰度均值搜索区灰度均值搜索区灰度均值目标区方差目标区方差搜索区方差搜索区方差2121ggnniigg2121ggnnikigg（）相关系数法（）相关系数法协方差协方差11ggggnnikiigg相
8、关系数相关系数ggggggk（）最小二乘影像匹配（）最小二乘影像匹配n 德国Ackermann教授提出了一种新的影像匹配方法最小二乘影像匹配（least Squares Image Matching）n 影像匹配可以达到1/10甚至1/100像素的高精度a.原理原理n“灰度差的平方和最小灰度差的平方和最小”在影像匹配中引入在影像匹配中引入变形参数变形参数，同时按最小，同时按最小二乘的原则，解求这些参数，就是二乘的原则，解求这些参数，就是最小二最小二乘影像匹配的基本思想。乘影像匹配的基本思想。辐射辐射畸变畸变几何几何畸变畸变b仅考虑影像相对移位的一维最小二仅考虑影像相对移位的一维最小二乘匹配乘匹
9、配 假设两个一维灰度函数假设两个一维灰度函数g g1 1(x),g(x),g2 2(x),(x),除随机噪声外，除随机噪声外，g g2 2(x)(x)相对于相对于g g1 1(x)(x)只存在只存在零次几何变形零次几何变形移位量移位量 x x。前提前提)()()()(2211xnxxgxnxg)()()()(2211xnxxgxnxg)()()(12xgxxgxv误差方程式误差方程式b仅考虑影像相对移位的一维最小二仅考虑影像相对移位的一维最小二乘匹配乘匹配 n离散的数字影像而言，灰度函数离散的数字影像而言，灰度函数的导数的导数g,2(x)可由差分代替可由差分代替 n为解求相对移位量为解求相对移
10、位量 x，需上式进行需上式进行线性化线性化 最小二乘影像匹配是非线性系统，必须进最小二乘影像匹配是非线性系统，必须进行迭代。迭代过程收敛的速度取决于初值。行迭代。迭代过程收敛的速度取决于初值。n误差方程式可写为误差方程式可写为 n解得影像的相对移位解得影像的相对移位 总结总结 影像匹配技术是整个数字摄影测量的核心所影像匹配技术是整个数字摄影测量的核心所在，也是区别于模型摄影测量和解析摄影测量在，也是区别于模型摄影测量和解析摄影测量的核心所在。的核心所在。影像匹配实质上是用计算机技术代替人眼进影像匹配实质上是用计算机技术代替人眼进行观测，找到同名像点。行观测，找到同名像点。三、核线重采样三、核线
11、重采样 确定同名核线的两种方法确定同名核线的两种方法 基于影像几何纠正的核线解折关系基于影像几何纠正的核线解折关系 基于共面条件的同名核线几何关系基于共面条件的同名核线几何关系 核线的重排列（重采样）核线的重排列（重采样）1.基于影像几何纠正的方法基于影像几何纠正的方法实际像片实际像片水平像片水平像片S1S2摄影基线p0水平影像uvP倾斜影像xy焦距ffcvbuafcvbuafyfcvbuafcvbuafx333222333111示意图v=某常数即表示某一核线 C=v在在“水平水平”影像上获取核线影影像上获取核线影像像u=k采样间隔uv),(),)1(),(),(110000yxgckgyxg
12、ckg核线的重排列（重采样）核线的重排列（重采样）是否是采样点？水平像片水平像片倾斜像片倾斜像片fcvbuafcvbuafyfcvbuafcvbuafx33322233311111321321ueeueyuddudx),(),)1(),(),(110000yxgckgyxgckg同名核线的v坐标值相等同名核线的确定同名核线的确定三、核线重采样三、核线重采样 核线的重排列（重采样）核线的重排列（重采样）线性内插线性内插四、摄影测量系统四、摄影测量系统像点放大量测窗像点放大量测窗左影像显示窗右影像显示窗点位放大显示窗点位微调按钮 用计算机用计算机影像匹配与识影像匹配与识别代替人眼量别代替人眼量测与
13、识别测与识别 高度自动化高度自动化其影像的内定向、相对定向、相对纠正、影像其影像的内定向、相对定向、相对纠正、影像匹配、建立匹配、建立DEMDEM、绘制等高线、制作正射影像等完全不需要人工、绘制等高线、制作正射影像等完全不需要人工操作，可以进行批处理。操作，可以进行批处理。高效率高效率影像的相对定向仅需要影像的相对定向仅需要1-21-2分钟，影像匹配达到分钟，影像匹配达到500500点点/秒。秒。可接合性可接合性由于由于“交互处理交互处理”与与“自动化自动化”两种作业方式是分两种作业方式是分开的，因而系统不会因为无法处理的问题而进行不下去。开的，因而系统不会因为无法处理的问题而进行不下去。应用
14、面广应用面广能用于能用于1:51:5万万,1:1,1:1万万,1:1,1:1千千,1:500,1:500等各种比例尺等各种比例尺的数字化测图与的数字化测图与GISGIS数据采集。数据采集。立体反光镜立体反光镜液晶立体眼镜和红外发射器液晶立体眼镜和红外发射器IGS(交互式图形系统交互式图形系统)以及以及 MicroStation 接口测图模块接口测图模块工作流程工作流程关键步骤关键步骤-数数据准据准备备 查看原始数字影像的分辨率、比例尺等。查看相机检校查看原始数字影像的分辨率、比例尺等。查看相机检校参数及其影像方位、框标的位置等。查看地面控制点数据参数及其影像方位、框标的位置等。查看地面控制点数
15、据及其点位分布。及其点位分布。关键步骤关键步骤-模型定向模型定向关键步骤关键步骤-模型定向模型定向内定向内定向-建立框标模板建立框标模板按钮小窗口参数窗口关键步骤关键步骤-模型定向模型定向内定向内定向-自动识别框标中心自动识别框标中心关键步骤关键步骤-模型定向模型定向自动相对定向自动相对定向像点放大量测窗左影像显示窗右影像显示窗点位放大显示窗点位微调按钮 解析相对定向原理解析相对定向原理同名光线同名光线对对相交对对相交于核面内于核面内XYZa1(x1,y1)x1y1z1S1A(X,Y,Z)a2(x2,y2)z2y2x2S2 首先在左（右）影像上分区提取特征点，然后利用二维影首先在左（右）影像上
16、分区提取特征点，然后利用二维影像匹配算法，自动在右（左）影像上寻找若干个同名点（通常像匹配算法，自动在右（左）影像上寻找若干个同名点（通常超过超过100100个点），作为相对定向的定向点，确定这些点的像平个点），作为相对定向的定向点，确定这些点的像平面坐标，再按解析摄影测量的相对定向算法，解求出立体像对面坐标，再按解析摄影测量的相对定向算法，解求出立体像对的的5 5个相对定向参数。根据相对定向参数就可确定立体影像对个相对定向参数。根据相对定向参数就可确定立体影像对内左、右影像的相对方位，计算出各点的模型坐标。内左、右影像的相对方位，计算出各点的模型坐标。关键步骤关键步骤-模型定向模型定向绝对定
17、向绝对定向实现实现关键步骤关键步骤-模型定向模型定向绝对定向绝对定向X1Y1Z1PZpYpXpX2Y2Z2Aa1s1a2s2MZtpYtpXtpX0Y0Z0绝对定向元素绝对定向元素关键步骤关键步骤-模型定向模型定向绝对定向绝对定向实现实现由人工在左右影像上定位控制点点位，采用影像匹配技术确由人工在左右影像上定位控制点点位，采用影像匹配技术确定同名点，计算绝对定向参数，完成绝对定向。支持立体量定同名点，计算绝对定向参数，完成绝对定向。支持立体量测功能，可通过手轮、脚盘直接驱动立体影像来调整控制点测功能，可通过手轮、脚盘直接驱动立体影像来调整控制点和像点坐标。和像点坐标。关键步骤关键步骤-影像匹配
18、影像匹配关键步骤关键步骤-影像匹配影像匹配生成核线影像生成核线影像将原始数字影像重新按核线方向，逐条核线进行排列，形成将原始数字影像重新按核线方向，逐条核线进行排列，形成按核线排列的立体影像。一般情况下，数字影像的扫描行与按核线排列的立体影像。一般情况下，数字影像的扫描行与核线不重合，为了获取核线上点的灰度序列，必须根据原始核线不重合，为了获取核线上点的灰度序列，必须根据原始影像灰度值进行内差，即所谓沿核线进行影像灰度重采样。影像灰度值进行内差，即所谓沿核线进行影像灰度重采样。关键步骤关键步骤-影像匹配影像匹配匹配预处理匹配预处理在自动影像匹配之前，可以在立体模型中量测一部分特征线在自动影像匹
19、配之前，可以在立体模型中量测一部分特征线（山脊线、山谷线、陡坎、断裂线等），特征点（山顶、鞍部（山脊线、山谷线、陡坎、断裂线等），特征点（山顶、鞍部点、变坡点等），特征面（湖面、阴影区、林区边界等），作点、变坡点等），特征面（湖面、阴影区、林区边界等），作为自动影像匹配的控制。经过上述的预处理，可以明显改善影为自动影像匹配的控制。经过上述的预处理，可以明显改善影像匹配的效果。对于大比例尺测图，预处理是很重要的。像匹配的效果。对于大比例尺测图，预处理是很重要的。关键步骤关键步骤-影像匹配影像匹配影像匹配影像匹配影像匹配，是沿核线进行一维影像匹配，自动确定同名点。影影像匹配，是沿核线进行一维影像匹
20、配，自动确定同名点。影像匹配采用金字塔影像数据结构，基于跨接法的整体影像匹配。像匹配采用金字塔影像数据结构，基于跨接法的整体影像匹配。关键步骤关键步骤-影像匹配影像匹配匹配结果编辑匹配结果编辑在影像自动匹配完成后，系统根据相关系数对匹配结果进行在影像自动匹配完成后，系统根据相关系数对匹配结果进行统计分类，并以绿、黄、红三种区域，表示影像匹配较好、统计分类，并以绿、黄、红三种区域，表示影像匹配较好、一般、较差。在立体模型中通过显示匹配后同名点的视差一般、较差。在立体模型中通过显示匹配后同名点的视差（左右视差）断面或等视差曲线，可以发现粗差，显示出系（左右视差）断面或等视差曲线，可以发现粗差，显示
21、出系统认为不可靠的点。统认为不可靠的点。关键步骤关键步骤-产品生成产品生成DEMDEM在完成绝对定向和匹配编辑后，根据编辑后的影像匹配结果在完成绝对定向和匹配编辑后，根据编辑后的影像匹配结果（视差数据），定向结果参数及给定用于建立（视差数据），定向结果参数及给定用于建立 DEM DEM 的参数的参数等，利用移动曲面拟合法，自动内插生成不规则格网的等，利用移动曲面拟合法，自动内插生成不规则格网的 DTMDTM（影像上规则视差格网投影于地面坐标系），以及规则格网（影像上规则视差格网投影于地面坐标系），以及规则格网的的 DEMDEM，即数字高程模型。，即数字高程模型。关键步骤关键步骤-产品生成产品生
22、成DOMDOM采用反解法进行数字纠正，自动生成正射影像图。比例尺采用反解法进行数字纠正，自动生成正射影像图。比例尺由参数确定。可以使用由参数确定。可以使用VirtuoZoVirtuoZo 系统产生的系统产生的 DEM DEM 文件、文件、D DTM TM 文件直接对原始影像进行纠正。并且可以选择纠正格网文件直接对原始影像进行纠正。并且可以选择纠正格网的类型（三角网或矩形格网）。的类型（三角网或矩形格网）。关键步骤关键步骤-产品生成产品生成等高线等高线由由 DEM DEM 自动生成等高线图。等高线间隔由参数设定。自动生成等高线图。等高线间隔由参数设定。关键步骤关键步骤-产品生成产品生成等高线叠加正射影像等高线叠加正射影像等高线和正射影像分别生成以后，可将等高线叠合到正射影等高线和正射影像分别生成以后，可将等高线叠合到正射影像上，获得带等高线的影像地形图。像上，获得带等高线的影像地形图。关键步骤关键步骤-产品生成产品生成数字测图数字测图基于数字立体影像，按类似于解析测图仪的作业方式，人工交基于数字立体影像，按类似于解析测图仪的作业方式，人工交互式地分类测绘各种地物要素，辅以房屋、道路等线状地物的互式地分类测绘各种地物要素，辅以房屋、道路等线状地物的半自动提取，生成数字线划图或矢量图。半自动提取，生成数字线划图或矢量图。
