数字影像特征提取课件.ppt

1、数字摄影测量数字摄影测量第四章第四章 数字影像与特征提取数字影像与特征提取主要内容主要内容n4.1 数字影像采样和重采样数字影像采样和重采样 n4.2 点特征提取算法点特征提取算法n4.3 线特征提取算法线特征提取算法n4.4 定位算子定位算子4.1数字影像采样和重采样数字影像采样和重采样n数字影像采样数字影像采样 n影像重采样理论影像重采样理论n核线的重排列（重采样）核线的重排列（重采样）主要内容主要内容4.1 数字影像采样和重采样数字影像采样和重采样n数字摄影测量处理的原始资料是数字摄影测量处理的原始资料是 因此，因此，影像的采样与重采样影像的采样与重采样以及获取所以及获取所需要的需要的影

2、像特征影像特征是数字摄影测量最基础是数字摄影测量最基础的工作。的工作。n数字影像中，最明显的就是影像的特征，数字影像中，最明显的就是影像的特征，是影像分析和影像匹配的基础。是影像分析和影像匹配的基础。数字影像数字影像特征提取特征提取 数字影像或数字化影像 数字影像或数字化影像数字影像或数字化影像n灰度值和灰度级灰度值和灰度级q影像的灰度值范围：影像的灰度值范围：0.31.8mm，人，人眼的分辨率：眼的分辨率：0.2mm；q为了便于分辨放大倍数，用为了便于分辨放大倍数，用0255级级别来表示；别来表示；n数字影像：为空间的灰度函数数字影像：为空间的灰度函数g（i，j），构成为矩阵形式的阵列。），

3、构成为矩阵形式的阵列。数字影像表达形式 1,11,10,11,11,10,11,01,00,0nmmmnngggggggggg)1,1,0()1,1,0(00mjyjyynixixx频率域傅立叶变化数字影像表达形式n数字影像一般表达为空间的灰度函数，数字影像一般表达为空间的灰度函数，g（i，j）构成的矩阵形式的阵列，此构成的矩阵形式的阵列，此表达方式跟真实影像很相似；表达方式跟真实影像很相似；n可通过变换把影像的表达由可通过变换把影像的表达由“空间域空间域”变换到变换到“频率域频率域”；n空间域表示不同位置的灰度值，频率空间域表示不同位置的灰度值，频率域表达不同频率中的振幅谱。域表达不同频率中

4、的振幅谱。傅立叶变换傅立叶变换n灰度函数表达影像的空间域，傅立叶函数灰度函数表达影像的空间域，傅立叶函数表示影像的频率域；（灰度值，振幅谱）；表示影像的频率域；（灰度值，振幅谱）；n变化的原因：变化的原因：q（1）压缩了数据，利于存储和传递（变换）压缩了数据，利于存储和传递（变换后矩阵数目不变，但数值很多为零值和很小后矩阵数目不变，但数值很多为零值和很小的数值）；的数值）；q（2）影像的分析和处理，用频率域更利于）影像的分析和处理，用频率域更利于计算（空域卷积计算转化为频域乘积计算）。计算（空域卷积计算转化为频域乘积计算）。数字影像采样n采样的原因：采样的原因：q数字影像或者数字化影像信息量巨

5、大，但数字影像或者数字化影像信息量巨大，但不能对理论上每个点都获取其灰度值；只不能对理论上每个点都获取其灰度值；只能将实际能将实际灰度函数离散化灰度函数离散化，对相隔一定间，对相隔一定间隔的隔的“点点”量测其灰度值。量测其灰度值。数字影像采样 n采样采样 对实际连续函数模型离散化的量测过程对实际连续函数模型离散化的量测过程 n样点样点 被量测的被量测的“点点”称为样点称为样点 小的区域小的区域-像像素素 n采样间隔采样间隔 样点之间的距离（矩形的长与宽通常称为样点之间的距离（矩形的长与宽通常称为像素的大小）像素的大小）数字影像采样n影像采样通常是影像采样通常是等（等（）或不等（）或不等（）间隔

6、进行；间隔进行；n采样间隔如何确定？采样间隔如何确定？答：采样定理答：采样定理采样定理(一维影像）dxexgfGfxj2)()(采样函数 灰度函数的特征：灰度函数的特征：g g（x x）-G-G（f f）灰度函数和采样函数灰度函数和采样函数n当频率当频率f f超出区间超出区间-f-f1 1,f,f1 1 之外都等于零，变换对之外都等于零，变换对于任何有限的于任何有限的f1f1值有这种性质，称之为值有这种性质，称之为有限带宽有限带宽函数函数。nf：截止频率截止频率采样函数采样函数n采样：间隔为采样：间隔为X X 的脉冲串组成的采样函数乘以的脉冲串组成的采样函数乘以函数函数g g（x x）n采样函

7、数的傅里叶变换为采样函数的傅里叶变换为f=1/f=1/X X 脉冲串的函脉冲串的函数数采样 过程kkxkxxkgxkxxgxgxs)()()()()()(采样过程在空域表现为：灰度函数与采样的相乘：采样过程在空域表现为：灰度函数与采样的相乘：像元混淆n混淆现象：进行反傅立叶变换时，导致混淆现象：进行反傅立叶变换时，导致样本无法正确分离。截至频率固定不变，样本无法正确分离。截至频率固定不变，即波形大小不变。消除混淆只能改变采即波形大小不变。消除混淆只能改变采样间隔大小。样间隔大小。采样定理lfx21fl为截止频率 当采样间隔能使在函数g(x)中存在的最高频率中每周期取有两个样本时，则根据采样数据

8、可以完全恢复原函数g(x)采样定理采样定理nShannon采样定理经验值：采样间隔采样定理经验值：采样间隔最好是使在原函数最好是使在原函数g（x）中存在的最）中存在的最高频率每周期至少取有三个样本。高频率每周期至少取有三个样本。影像重采样理论影像重采样理论n为什么进行影像重采样？为什么进行影像重采样？q对影像进行旋转，核线重排列与数字纠正对影像进行旋转，核线重排列与数字纠正时，需要的点可能并不是采样点，需要根时，需要的点可能并不是采样点，需要根据采样点内插出新的点。据采样点内插出新的点。n核线重排列的原因：同名像点均位于核线重排列的原因：同名像点均位于同名核线上，进行影像相关计算。同名核线上，

9、进行影像相关计算。影像重采样理论影像重采样理论 当欲知不位于矩阵（采样）点上的原始函数g(x,y)的数值时就需进行内插，此时称为重采样（resampling）不在采样点影像重采样方法影像重采样方法kllllkxkxfxkxfxkgxfxfxkxxkgxg)(2)(2sin)(22sin)()()(数字影像采样函数lfx21双线性插值法10),(1)(xxxW卷积核是一个三角形函数 11122122pYXy1y2aby1-yx1-xx2x1双线性插值法示意图2121),(),()(ijjijiPIWI双线性插值法22211211IIIII22211211WWWWW)()(;)()(2112111

10、1yWxWWyWxWW灰度卷积核yyWyyWxxWxxW)(;1)(;)(;1)(2121)(INT)(INTyyyxxx双线性插值法加权平均值双三次卷积法 卷积核可以利用三次样条函数 双三次卷积法双三次卷积法n双线性内插法，计算时只取了临近四双线性内插法，计算时只取了临近四个像素，认为权的大小跟距离有线性个像素，认为权的大小跟距离有线性关系；关系；n双三次卷积法，取周围双三次卷积法，取周围16个像素，并个像素，并分别求其对重采样点分别求其对重采样点P的影响大小。的影响大小。p11121314213141222324323334424344Yx双三次卷积法示意图yx4141),(),()(ij

11、jijiPIWI44434241343332312423222114131211IIIIIIIIIIIIIIIII44434241343332312423222114131211WWWWWWWWWWWWWWWWW双三次卷积法)()()()()()(44441111jiijyWxWWyWxWWyWxWW双三次卷积法 最邻近像元法)()(NIPI直接取与P(x,y)点位置最近像元N的灰度值为P点的灰度作为采样值)5.0(INT)5.0(INTyyxxNN1234三种重采样方法比较最邻近像元法最简单，计算速度快且能不破坏原始影像的灰度信息。但其几何精度较差，。前两种方法几何精度较好，但计算时间较长，

12、特别是双三次卷积法较费时，在一般值况下用双线性插值法较宜。同名核线的确定与重采样同名核线的确定与重采样主要内容 n确定同名核线的两种方法 基于影像几何纠正的核线解折关系基于共面条件的同名核线几何关系n核线的重排列（重采样）核线的概念核线的概念通过摄影基线与地面所作的平面称为核面核面与影像面交线称为核线同名像点必定在同名核线上。AS1S2l1a1a2l2同名核线基于影像几何纠正的核线解折关系基于影像几何纠正的核线解折关系倾斜影像水平影像（人为）11103332220333SSSSSSSSSSSSaXXb YYc ZZxxfaXXb YYcZZaXXb YYcZZyyfaXXb YYcZZ 物面像

13、面Sfcvbuafcvbuafyfcvbuafcvbuafx333222333111,333222111yxcbacbacbafvu，S1S2摄影基线p0水平相片uvP倾斜影像xy焦距ffcvbuafcvbuafyfcvbuafcvbuafx333222333111示意图v=某常数即表示某一核线 kC=v在“水平”影像上获取核线影像u=k采样间隔uv),(),)1(),(),(110000yxgckgyxgckg核线的重排列（重采样）核线的重排列（重采样）是否是采样点？水平相片倾斜相片fcvbuafcvbuafyfcvbuafcvbuafx33322233311111321321ueeueyu

14、ddudx),(),)1(),(),(110000yxgckgyxgckg同名核线的v坐标值相等同名核线的确定基于共面条件的同名核线几何关系基于共面条件的同名核线几何关系 直接在倾斜影像上获取核线影像AS1S2l1a1a2l2s1s2P0)(qSpSBP示意图xyzuvw0)(pSSpB0)(qSpSB0fyxfyxBBBppZYXfBCxBAy)/()/(YpXpZpXZpYBxByCBxBfBByBfA左核线的确定左核线的直线方程右核线的确定0fvuwvuwvupppsssfBCuBAv)/()/(右核线的直线方程参数的确定0ZYBB0wvwvpp0fyxfyxBBBppZYXfcycxc

15、wfbybxbv321321fBCxBAy)/()/(332211cvbwCcvbwBbwcvApppppp单独像对相对定向单独像对相对定向线性内插示意图线性内插核线y1k 线性内差 最邻近法n 1tgK 核线的重排列（重采样）核线的重排列（重采样）对每条核线而言K是常数 特征的提取与定位算法主要内容 n特征的提取 特征点的提取算法 特征线的检测方法n特征的定位算法点特征提取算法点特征提取算法点特征主要指明显点提取点特征的算子称为兴趣算子或有利算子 点特征的灰度特征点特征的灰度特征圆点圆点独立点独立点角点角点Moravec算子算子（最大最小法）（最大最小法）Moravec于1977年提出利用灰

16、度方差提取点特征的算子 rc（1）计算各像元的兴趣值 IV,min4321,VVVVIVrc（2）给定一经验阈值，将兴趣值大于阈值的点作为候选点。确定窗口大小Moravec算子步骤算子步骤综上所述，Moravec算子是在四个主要方向上，选择具有最大最小灰度方差的点作为特征点。（3）选取候选点中的极值点作为 特征点。Moravec算子算子Forstner算子算子 计算各像素的Roberts梯度和像素（c，r）为中心的一个窗口的灰度协方差矩阵，在影像中寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。（l）计算各像素的Roberts梯度 Forstner算子步骤算子步骤（2）计算ll（如55或更大

17、）窗口中灰度的协方差矩阵)()()(,11,111,12,1111,22,111,12jijijikckcikrkrjjivujikckcikrkrjjivjikckcikrkrjjiugggggggggggg（3）计算兴趣值q与w NNQtrDettr12)(4trNDetNq DetN代表矩阵N之行列式trN代表矩阵N之迹(4）确定待选点 当 同时 ，该像元为待选点 qTq wTw（5）选取极值点 即在一个适当窗口中选择最大的待选点 线特征提取算子线特征提取算子 线特征是指影像的“边缘”与“线”“边缘”可定义为影像局部区域特征不相同的那些区域间的分界线，而“线”则可以认为是具有很小宽度的其

18、中间区域具有相同的影像特征的边缘对常用方法有差分算子、拉普拉斯算子、LOG算子等 房屋的提取道路的提取线的灰度线的灰度 特征一、微分算子一、微分算子1梯度算子差分算子 2121,2,1,)(jijijijijiggggG1,1,jijijijijiggggG对于一给定的阈值T，当时，则认为像素（i，j）是边缘上的点。近似-11-11Roberts梯度算子vurggvgugyxgG),(2122)(),(vurggyxG2121,2,1,)(jijijijijiggggG-11-11方向差分算子 直线与边缘的方向 Sobel算子)1,1(),1(2)1,1()1,1(),1(2)1,1(),(j

19、igjigjigjigjigjigjiS考察它上下、左右邻点灰度的加权差。与之接近的邻点的权大：)1,1()1,(2)1,1()1,1()1,(2)1,1(jigjigjigjigjigjig121000121101202101yxGGi,j-101-101-101-1-1-1000111Prewitt算子与算子与Sobel算子算子-101-202-101-1-21-101-121加大模扳抑制噪声Prewitt算子算子Sobel 算子二阶差分算子二阶差分算子1方向二阶差分算子 121121)()(,1,1,1,1 ijjij ijijij ij ijiijgggggggggi,j 121121

20、)()(1,1,1,1ijjijijijijijijiijgggggggggi,j1111811111211210101410101D010141010121121D方向二阶差分算子i,j拉普拉斯算子（Laplace）22222ygxggjijijijijijijijijijijijijiijgggggggggggggg,1,1,1,11,1,1,124)()()()(010141010i,j010141010拉普拉斯算子（Laplace）卷积核掩膜 取其符号变化的点，即通过零的点为边缘点，因此通常也称其为零交叉（zero-Crossing）点 高斯一拉普拉斯算子（LOG）首先用高斯函数先进行

21、低通滤波，然后利用拉普拉斯算子进行高通滤波并提取零交叉点，)2exp(),(222yxyxf),(),(),(yxgyxfyxG),(*),(),(2yxgyxfyxG高斯函数低通滤波边缘提取),(),(),(2yxgyxfyxG)2exp(2),(42222222yxyxyxf高斯一拉普拉斯算子（LOG）LOG算子以为卷积核，对原灰度函数进行卷积运算后提取零交叉点为边缘),(*),(),(2yxgyxfyxG边缘检测算子比较结果边缘检测算子比较结果Hough变换变换 用于检测图像中直线、圆、抛物线、椭圆等 sincosyx图像空间对于影像空间直线上任一点(x，y）变换将其映射到参数空间(，)

22、的一条正弦曲线上 sincosyx弦映射弦Hough变换步骤 n对影像进行预处理提取特征并计算其梯对影像进行预处理提取特征并计算其梯度方向度方向.n将将(，)参数平面量化，设置二维累计矩参数平面量化，设置二维累计矩阵阵H(i，j).n边缘细化，即在边缘点的梯度方向上保边缘细化，即在边缘点的梯度方向上保留极值点而剔除那些非极值点留极值点而剔除那些非极值点.n对每一边缘点，以其梯度方向对每一边缘点，以其梯度方向 为中心，为中心，设置一小区间设置一小区间-o，+o.ij（，）取累计矩阵中备选点中的极大值点为所需的峰值点，即所检测直线的参数。Hough变换变换 对累计矩阵进行阈值检测，将大于阈值的点作

23、为备选点.定位算子定位算子 数字影像上明显目标主要是指地面上明显地物在影像上的反映，或者是数字影像自身的明显标志，例如道路、河流的交叉口、田角、房角、建筑物上的明显标志、影像四角上的框标、地面人工标志点等等 Wong-Trinder园点定位算子 n利用二值图像重心对圆点进行定位利用二值图像重心对圆点进行定位.n利用阈值利用阈值T（最小灰度值十平均灰（最小灰度值十平均灰度值）度值）/2将窗口中的影像二值化将窗口中的影像二值化.n计算目标重心坐标（计算目标重心坐标（x，y）与园度）与园度 r.21120220022021120220022000010010)2(2)2(2MMMMMMMMMMMMM

24、Mmmymmxyxyx内定向内定向10101010)2,1,0,()()()2,1,0,(nimjijqppqnimjijqppqqpgyjxiMqpgjimpq阶原点矩与中心矩 Wong-Trinder园点定位算子园点定位算子 当r小于阈值时，目标不是园；否则园心为（x，y）Trinder 改进算子1010101011nimjijijnimjijijWjgMyWigMx算子受二值化影响，误差可达0.5像素。1010nimjijijWgM定位精度可达0.01像素，这种算法只对圆点定位 原始灰度Forstner定位算子定位算子 Forstner定位算子是摄影测量界著名的定位算子 最佳窗口由For

25、stner特征提取算子确定 以原点到窗口内边缘直线的距离为观测值，梯度模之平方为权，在点(x,y)处可列误差方程：22200),()sincos(sincosyxgggyxyxyxvForstner定位算子定位算子 最佳窗口选择 最佳窗口内加权重心化 窗口内像元的加权重心高精度角点与直线定位算子高精度角点与直线定位算子 梯度算子的误差1,(,121,1,2),1,12kkkkkkkk2222gmgm随机误差 Roberts梯度 梯度方向代替直线方向存在不容忽视的模型误差，Hough变换等使用梯度方向的方法不可能达到很高的精度。数学模型)sincos(21exp21),(22yxyxS)sinc

26、os(exp),(2yxkyxg43210dddd),(ccckccyxv高精度角点与直线定位算子高精度角点与直线定位算子 xdxxSxg)()(一维边缘的成像为刀刃曲线线扩散函数 影像的梯度 线性化误差方程),()sincos(exp)cossin()sincos(2)sincos()sincos(exp200004002300000022000001200000yxgyxkacyxccyxckacyxcacyxkc其中 该平差模型不采用梯度的方向，而是采用梯度的模为观测值 高精度角点与直线定位算子高精度角点与直线定位算子 a0,k0,0与0为参数的近似值1,11,1,21,12,1,1dc

27、osdsindsindcosd)()(),(jijijijijijijijigggggggggjigRoberts梯度 高精度角点与直线定位算子高精度角点与直线定位算子 22222222222cossinsincosmmmmmmg误差 mm20单位权中误差为 噪声误差 初值Hough变换确定直线参数初值0，0。),(max0yxga2000000000)sincos(ln),(lnyxayxgk(x0,y0)为直线附近任一点的坐标 是梯度的最大值 高精度角点与直线定位算子高精度角点与直线定位算子 高精度角点与直线定位算子高精度角点与直线定位算子 粗差的剔除220220220,/1/OR,1ijijnjivvW采用选权迭代法，使粗差在平差的过程中自动地被逐渐剔除 窗口 精确定位窗口在粗定位矩形窗口中确定。角点定位)sin(coscos)sin(sinsin122112121221ccyx高精度角点与直线定位算子高精度角点与直线定位算子 222111sincossincosyyx理论定位精度为0.02像素 理论精度 qqqq为观测值个数,420nnv单位权中误差 直线参数，的协因素阵 222222221111111120220220220220120120120100000000qqqqqqqqD两直线参数的协方差阵 22yxP