基于sift特征点的图像匹配方法研究课件.ppt

1、ppt课件.1基于特征点的图像匹配方法研究基于特征点的图像匹配方法研究ppt课件.2目录目录f图像匹配介绍图像匹配介绍f图像匹配分类图像匹配分类f图像匹配的一般步骤图像匹配的一般步骤f图像匹配的主要方法图像匹配的主要方法f部分匹配方法的实验结果部分匹配方法的实验结果 ppt课件.31.图像匹配介绍图像匹配介绍-图像匹配的定义图像匹配的定义图像匹配：图像匹配：图像匹配是指通过一定的匹配算法在两幅或多幅图图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相和搜索区

2、中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。关系数最大所对应的窗口中心点作为同名点。其实质是在基元相似性的条件下，运用匹配准则的其实质是在基元相似性的条件下，运用匹配准则的最佳搜索问题。最佳搜索问题。图像匹配主要可分为以图像匹配主要可分为以灰度灰度为基础的匹配和以为基础的匹配和以特征特征为基础的匹配。为基础的匹配。ppt课件.4f图像匹配是处理多源图像信息融合、目标识别等实际问题图像匹配是处理多源图像信息融合、目标识别等实际问题中的一个重要步骤。中的一个重要步骤。f图像匹配广泛应用于军事、医学、航空等多个重要科研领图像匹配广泛应用于军事、医学、航空等多个重要

3、科研领域域 。f经过图像匹配后配准，可以获得质量更高、清晰度更好、经过图像匹配后配准，可以获得质量更高、清晰度更好、定位更准确的目标信息。定位更准确的目标信息。1.图像匹配介绍图像匹配介绍-图像匹配的意义图像匹配的意义ppt课件.51.图像匹配介绍图像匹配介绍-图像匹配的应用领域图像匹配的应用领域f计算机视觉计算机视觉领域领域 -视频监控视频监控-对跟踪的目标区域进行对跟踪的目标区域进行匹配匹配跟踪跟踪 ppt课件.61.图像匹配介绍图像匹配介绍-图像匹配的应用领域图像匹配的应用领域f遥感遥感领域领域 -信息融合、环境监视、图像拼接、天气预报以及地信息融合、环境监视、图像拼接、天气预报以及地图

4、更新等图更新等ppt课件.71.图像匹配介绍图像匹配介绍-图像配准的应用领域图像配准的应用领域f军事军事领域领域 -变化检测、运动目标指示、视点稳定、大视场重构、变化检测、运动目标指示、视点稳定、大视场重构、多通道融合、多通道融合、地形定位和导航地形定位和导航 ppt课件.81.图像匹配介绍图像匹配介绍-图像配准的应用领域图像配准的应用领域f医学医学领域领域 -CT,MRT-CT,MRT-图像匹配图像匹配后进行融合可以得到后进行融合可以得到更多的信息更多的信息 ppt课件.92.图像匹配的分类图像匹配的分类图像匹配的分类图像匹配的分类基于灰度信息基于灰度信息的图像匹配的图像匹配基于特征信息基于

5、特征信息的图像匹配的图像匹配ppt课件.102.图像匹配方法的分类图像匹配方法的分类f2.12.1基于灰度的图像匹配算法基于灰度的图像匹配算法 基于灰度的图像匹配算法是直接利用匹配图像的灰度基于灰度的图像匹配算法是直接利用匹配图像的灰度值，选择某种相似性度量函数，然后再通过图像像素计算值，选择某种相似性度量函数，然后再通过图像像素计算此度量值，最终根据计算结果进行全局优化后实现匹配。此度量值，最终根据计算结果进行全局优化后实现匹配。灰度匹配通过利用某种相似性度量度量函数可以是灰度匹配通过利用某种相似性度量度量函数可以是 MMSE(MMSE(最小均方误差最小均方误差)、互相关值、互相关值、SSD

6、ASSDA 等。等。此类方法无需对图像进行分割和特征提取，自然避免此类方法无需对图像进行分割和特征提取，自然避免了由这些预处理可能造成的图像信息丢失而引起的匹配精了由这些预处理可能造成的图像信息丢失而引起的匹配精度降低。这类方法主要的特点是在收敛速度、统计模型、度降低。这类方法主要的特点是在收敛速度、统计模型、匹配精度及最终的估计误差方面均出现了较为成熟的研究匹配精度及最终的估计误差方面均出现了较为成熟的研究成果，并且原理简单容易理解。成果，并且原理简单容易理解。ppt课件.112.1基于灰度的图像匹配算法基于灰度的图像匹配算法缺点：缺点：匹配速度比较慢；匹配速度比较慢；对图像灰度值依赖性大；

7、对图像灰度值依赖性大；光照变化及噪声等方面敏感度高。光照变化及噪声等方面敏感度高。结论：结论：正是由于此类方法没有充分利用到灰度统计特性，因此不正是由于此类方法没有充分利用到灰度统计特性，因此不适应匹配对象存在旋转和缩放的情况下图像的匹配问题，适应匹配对象存在旋转和缩放的情况下图像的匹配问题，而且算法匹配计算量较大，效率偏低而且算法匹配计算量较大，效率偏低。ppt课件.122.图像匹配方法的分类图像匹配方法的分类f2.22.2基于特征的图像匹配算法基于特征的图像匹配算法 基于特征的图像匹配算法通常不直接依赖像素灰度值，基于特征的图像匹配算法通常不直接依赖像素灰度值，而是会经过较为复杂的图像处理

8、过程提取特征后再进行匹而是会经过较为复杂的图像处理过程提取特征后再进行匹配。配。特征匹配是指通过分别提取两个或多个图像的特征特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。所描述的参数来进行匹配的一种算法。其一般做法是利用两幅图像中对灰度变化、缩放、旋其一般做法是利用两幅图像中对灰度变化、缩放、旋转等均具有不变性的特征，用相似性度量函数对其进行度转等均具有不变性的特征，用相似性度量函数对其进行度量，从而得到相关值进而完成图像匹配。量，从而得到相关值进而完成图像匹配。

9、ppt课件.132.2基于特征的图像匹配算法基于特征的图像匹配算法优点：优点：能够充分结合图像灰度等相关特性，同时还可以有效去除能够充分结合图像灰度等相关特性，同时还可以有效去除因光照背景等条件不同时带来的误匹配问题。因光照背景等条件不同时带来的误匹配问题。算法在图像发生缩放变换和旋转变换等现象时敏感度低，算法在图像发生缩放变换和旋转变换等现象时敏感度低，适应性强，而对轻微扭曲或有一定噪声的图像较前者也有适应性强，而对轻微扭曲或有一定噪声的图像较前者也有较好的匹配度。较好的匹配度。ppt课件.142.2基于特征的图像匹配算法基于特征的图像匹配算法缺点：缺点：算法涉及到大量的几何和形态学方面的计

10、算，使得计算量算法涉及到大量的几何和形态学方面的计算，使得计算量比较大，最终的计算时间太长而难以达到实时应用的要求；比较大，最终的计算时间太长而难以达到实时应用的要求；由于此类算法通常需要针对不同的场合选择合适的特征，由于此类算法通常需要针对不同的场合选择合适的特征，所以并无统一模型可遵循。所以并无统一模型可遵循。ppt课件.153.匹配算法的一般步骤匹配算法的一般步骤f特征提取特征提取 f特征匹配特征匹配 f估计变换模型估计变换模型 f图像重采样及变换图像重采样及变换ppt课件.163.匹配算法的一般步骤匹配算法的一般步骤特征提取特征提取特征提取是指分别提取两幅图像中共有的图像特征。特征提取

11、是指分别提取两幅图像中共有的图像特征。这种特征是出现在两幅图像中对比例、旋转、平移等变换这种特征是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征，如线交叉点、物体边缘角点、虚圆闭保持一致性的特征，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。区域的中心等可提取的特征。特征包括：点、线和面三类。特征包括：点、线和面三类。ppt课件.17 点特征点特征是最常采用的一种图像特征，包括物体边缘点、角是最常采用的一种图像特征，包括物体边缘点、角点、线交叉点等；根据各特征点的兴趣值将特征点分成几点、线交叉点等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所

12、不同。个等级。对不同的目的，特征点的提取应有所不同。线特征线特征是图像中明显的线段特征，如道路河流的边缘，是图像中明显的线段特征，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限制用某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；条件筛选出满足条件的线段作为线特征；面特征面特征是指利用图像中明显的区域信息作为特征。在实际是指利用图像中明显的区域信息作为特征。在实际的应用中最后可能也是利用区域的重心或圆的圆心点等作的应用中最后可能也是利用区域的

13、重心或圆的圆心点等作为特征。为特征。ppt课件.183.匹配算法的一般步骤匹配算法的一般步骤特征提取特征提取特特征征点点ppt课件.193.匹配算法的一般步骤匹配算法的一般步骤特征提取特征提取直直线线ppt课件.203.匹配算法的一般步骤匹配算法的一般步骤特征提取特征提取区区域域ppt课件.213.1特征提取特征提取f点特征提取方法点特征提取方法 -Harris(Harris Corner Detector)Harris(Harris Corner Detector)算法算法 受信号处理中相关函数的启发，给出与自相关函数相联受信号处理中相关函数的启发，给出与自相关函数相联系的矩阵系的矩阵M M

14、，M M矩阵的特征值是自相关函数的一阶曲率，如矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点，此方法对图果两个曲率值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。棒性。ppt课件.223.1特征提取特征提取f点特征提取方法点特征提取方法 -Susan(Susan Corner Detector)Susan(Susan Corner Detector)算法算法 SUSANSUSAN算法使用一个圆形的模板在图像上滑动，将位于圆算法使用一个圆形的模板在图像上滑动，将位于圆形

15、模板中心的待检测的像素点称为核心点。假设图像为非形模板中心的待检测的像素点称为核心点。假设图像为非纹理纹理,核心点的邻域被划分为两个区域核心点的邻域被划分为两个区域:其一为亮度值等于其一为亮度值等于(或相似于或相似于)核心点亮度的区域核心点亮度的区域,称为称为核值相似区核值相似区(USAN),(USAN),其其二为亮度值不相似于核心点亮度的区域。二为亮度值不相似于核心点亮度的区域。ppt课件.233.1特征提取特征提取f点特征提取方法点特征提取方法 -Harris-LaplaceHarris-Laplace Harris Harris算子能最稳定地在图像旋转、光照变化、透算子能最稳定地在图像旋

16、转、光照变化、透视变换条件下提取二维平面特征点，但在三维尺度空视变换条件下提取二维平面特征点，但在三维尺度空间中，间中，HarrisHarris探测子的重复探测性能不好，不同尺度探测子的重复探测性能不好，不同尺度HarrisHarris特征点存在位置误差，特征点存在位置误差，HarrisHarris探测子不具有尺探测子不具有尺度和仿射不变性。而三维尺度空间中最稳定高效的特度和仿射不变性。而三维尺度空间中最稳定高效的特征尺度探测算子是归一化的征尺度探测算子是归一化的LaplaceLaplace算子。算子。ppt课件.243.1特征提取特征提取f点特征提取方法点特征提取方法 -Harris-Lap

17、laceHarris-Laplace K.Mikolajczyk K.Mikolajczyk和和C.SchmidC.Schmid结合了结合了HarrisHarris和和LaplaceLaplace算子的优点，提出了算子的优点，提出了Harris-LaplaceHarris-Laplace算子。算子。Harris-LaplaceHarris-Laplace特征点具有尺度和旋转不变的特性，特征点具有尺度和旋转不变的特性，且对光照变换和小范围视角变化具有稳定性。且对光照变换和小范围视角变化具有稳定性。ppt课件.253.1特征提取特征提取f点特征提取方法点特征提取方法 -SIFTSIFT特征点提取特

18、征点提取 使用使用Difference of Gaussian(DoG)filterDifference of Gaussian(DoG)filter来建来建立尺度空间。在尺度空间上提取极值点。立尺度空间。在尺度空间上提取极值点。ppt课件.263.1特征提取特征提取f点特征提取方法点特征提取方法 -SURFSURF特征点提取特征点提取 基于基于HessianHessian矩阵，它依靠矩阵，它依靠HessianHessian矩阵行列式的局部最大值定矩阵行列式的局部最大值定位兴趣点位置。对于图像位兴趣点位置。对于图像I I中的某点中的某点X X在尺度空间上的在尺度空间上的HessianHessi

19、an矩阵定矩阵定义为义为:),(),(),(),(),(XLXLXLXLXHyyxyxyxx其中，其中，表示高斯二阶偏导在表示高斯二阶偏导在X X处与图像处与图像I I的卷积。的卷积。、具有相似的含义。具有相似的含义。),(XLxx),(XLxy),(XLyyppt课件.273.1特征提取特征提取f点特征提取方法点特征提取方法 -FASTFAST特征点提取特征点提取 FAST(Features from Accelerated Segment Test)FAST(Features from Accelerated Segment Test)是对是对SUSANSUSAN角角点提取算法的简化，通过

20、比较一个圆上点提取算法的简化，通过比较一个圆上1616个像素点与中心像素点的个像素点与中心像素点的灰度对比情况来判断中心像素点是否为特征点。灰度对比情况来判断中心像素点是否为特征点。ppt课件.283.1特征提取特征提取f点特征提取方法点特征提取方法 -Harris-Affine -Harris-Affine -Hessian-Laplace-Hessian-Laplace -Hessian-Affine -Hessian-Affine -Moravec -Moravec算子算子 -Forstner-Forstner算子算子 ppt课件.293.1特征提取特征提取f线特征提取方法线特征提取方法

21、 -Robert -Robert -Sobel-Sobel -Prewitt -Prewitt -Kirsch -Kirsch -Gauss-Laplace -Gauss-Laplace -Canny -Canny ppt课件.303.1特征提取特征提取f面特征提取方法面特征提取方法 -Mser -Mser 使用不同的阈值对图像进行二值化，这个过程中，所有阈值图使用不同的阈值对图像进行二值化，这个过程中，所有阈值图像上形成的连接区域都是极小值区域，在阈值图像的变化过程中，像上形成的连接区域都是极小值区域，在阈值图像的变化过程中，形成了一系列嵌套的极值区域组。在每组嵌套区域里，有一类性质形成了一

22、系列嵌套的极值区域组。在每组嵌套区域里，有一类性质较为稳定的区域，这类区域在较大阈值范围内具有较小的变化，被较为稳定的区域，这类区域在较大阈值范围内具有较小的变化，被定义为定义为“最稳定极值区域最稳定极值区域”。ppt课件.313.2特征匹配特征匹配(2)(2)利用相似度准则进行特征匹配利用相似度准则进行特征匹配 常用的常用的相似性测度准则相似性测度准则:欧氏距离欧氏距离,马氏距离马氏距离,Hausdorff Hausdorff 距离等。距离等。f特征匹配特征匹配 特征匹配分两步：特征匹配分两步：(1)(1)对特征作描述对特征作描述 现有的现有的主要特征描述子主要特征描述子：SIFTSIFT特

23、征描述子特征描述子,SURFSURF特征描述子，特征描述子，对比度直方图对比度直方图 (CCH)(CCH)，DAISYDAISY特征描述子，特征描述子，矩方法矩方法ppt课件.323.2特征匹配特征匹配f特征描述特征描述 -SIFTSIFT特征描述子特征描述子 主要思想：一种基于图像梯度分布的特征描述子。主要思想：一种基于图像梯度分布的特征描述子。特点：抗干扰性好。但维数高，计算复杂度大。特点：抗干扰性好。但维数高，计算复杂度大。ppt课件.333.2特征匹配特征匹配f特征描述特征描述 -SURFSURF特征描述子特征描述子 主要思想：将特征点的周围区域分成几个子区域，用每个子区域主要思想：将

24、特征点的周围区域分成几个子区域，用每个子区域内像素点的内像素点的X,YX,Y方向的偏导和及其绝对值的和组成特征点的描述子。方向的偏导和及其绝对值的和组成特征点的描述子。特点：有较好的抗亮度变化能力。但是该描述子要求使用积分图特点：有较好的抗亮度变化能力。但是该描述子要求使用积分图像，限定了其应用范围。像，限定了其应用范围。ppt课件.343.2特征匹配特征匹配f特征描述特征描述 -对比度直方图对比度直方图 主要思想：将特征点周围区域的像素点与特征点的对比度形成直方主要思想：将特征点周围区域的像素点与特征点的对比度形成直方图来描述该特征点。图来描述该特征点。特点：该方法比基于梯度的描述子要快。但

25、描述力比基于梯度的特点：该方法比基于梯度的描述子要快。但描述力比基于梯度的要略微弱一点。要略微弱一点。ppt课件.353.2特征匹配特征匹配f特征描述特征描述 -DAISYDAISY特征描述子特征描述子 主要思想：受主要思想：受SIFTSIFT算法和算法和GLOHGLOH算法的启发，将梯度加权和用几个算法的启发，将梯度加权和用几个高斯方向偏导滤波器与原图像进行积分代替。高斯方向偏导滤波器与原图像进行积分代替。特点：该描述子有和特点：该描述子有和SIFTSIFT特征算子相似的优点，但是速度比特征算子相似的优点，但是速度比SIFTSIFT特征算子要快。特征算子要快。ppt课件.363.3估计变换模

26、型估计变换模型空间变换模型是所有配准技术中需要考虑的一个重要因素，各种配准技术都要建立自己的变换模型，变换空间的选取与图像的变形特性有关。常用的空间变换模型有：刚体变换、仿射变换、投影变换、非线性变换。ppt课件.373.33.3估计变换模型估计变换模型3.3.13.3.1刚体变换模型刚体变换模型刚体变换是平移、旋转与缩放的组合，适用于具有相同视角，但刚体变换是平移、旋转与缩放的组合，适用于具有相同视角，但拍摄位置不同的来自同一传感器的两幅图像的配准。刚体变换模拍摄位置不同的来自同一传感器的两幅图像的配准。刚体变换模型下，若点型下，若点 ，分别为参考图像和待配准图像中对应的分别为参考图像和待配

27、准图像中对应的两点，则它们之间满足以下关系：两点，则它们之间满足以下关系：yxttyxyx1122.cos sinsin-cos),(11yx),(22yxppt课件.383.3估计变换模型估计变换模型3.3.23.3.2仿射变换模型仿射变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变换保持直线间的平行关系，但由于引入了缩放参数，故它不能保持直线段换保持直线间的平行关系，但由于引入

28、了缩放参数，故它不能保持直线段的长度和角度的长度和角度 ，若点，若点 ，分别为参考图像和待配准图像中对应分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：的两点，则它们之间满足以下关系：),(11yx),(22yxyxttyxaaaayx111110010022.ppt课件.393.3估计变换模型估计变换模型3.3.33.3.3投影变换模型投影变换模型如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上依然为直如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上依然为直线，但平行关系不再保持，则称这样的变换称为投影变换。投影变换具有线，但平行关系不再保持，则称这样的变换称

29、为投影变换。投影变换具有8 8个参数，可以将成像设备的运动（如平移、旋转、缩放等）描述得更为个参数，可以将成像设备的运动（如平移、旋转、缩放等）描述得更为全面。若点全面。若点 ，分别为参考图像和待配准图像中对应的两点，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：则它们之间满足以下关系：),(11yx),(22yx1 .1 1 11 765432 1022yxmmmmmmmmyxppt课件.403.3估计变换模型估计变换模型3.3.43.3.4非线性变换模型非线性变换模型 若第一幅图像中的一条直线经变换后，映射至第二幅图像上不再是直线，若第一幅图像中的一条直线经变换后，映射至

30、第二幅图像上不再是直线，我们把这样的变换称为非线性变换。在二维空间中，点我们把这样的变换称为非线性变换。在二维空间中，点 经非线性变经非线性变换至点换至点 变换公式为：变换公式为：F F表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非线性变换如多项式变换，在线性变换如多项式变换，在2D2D空间中，多项式函数可写成如下形式：空间中，多项式函数可写成如下形式：),(11yx),(22yx),(),(1122yxFyx.210211112120101110002yayxaxayaxaax.210211112120101110

31、002ybyxbxbybxbbyppt课件.413.4 图像重采样及变换图像重采样及变换 在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，使之与参考图像处于同一坐标系下，则校正后的输入图像与参考图像可使之与参考图像处于同一坐标系下，则校正后的输入图像与参考图像可用作后续的图像融合、目标变化检测处理或图像镶嵌；用作后续的图像融合、目标变化检测处理或图像镶嵌；涉及输入图像变换后所得点坐标不一定为整像素数，则应进行涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值插值处理处理。常用的插值算法有最近邻域法、双线性插值法和立

32、方卷积插值法。常用的插值算法有最近邻域法、双线性插值法和立方卷积插值法。ppt课件.42f关键点的匹配可以采用穷举法来完成，但是这样耗费的时间太多，一关键点的匹配可以采用穷举法来完成，但是这样耗费的时间太多，一般都采用一种叫般都采用一种叫k-dk-d树的数据结构来完成搜索。搜索的内容是以目标树的数据结构来完成搜索。搜索的内容是以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的原图像特征图像的关键点为基准，搜索与目标图像的特征点最邻近的原图像特征点和次邻近的原图像特征点。点和次邻近的原图像特征点。3.5关键点匹配关键点匹配K-dK-d树是一个平衡二叉树树是一个平衡二叉树ppt课件.43fS

33、IFT SIFT 简介简介 19991999年年British ColumbiaBritish Columbia大学大卫大学大卫.劳伊（劳伊（David David G.LoweG.Lowe）教授总结了现有的基于不变量技术的特征检测方）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子转甚至仿射变换保持不变性的图像局部特征描述算子SIFTSIFT（尺度不变特征变换），这种算法在（尺度不变特征变换），这种算法在20042004年被加以完年被加以完善。善。fSI

34、FT SIFT 主要思想主要思想 SIFT SIFT算法是一种提取局部特征的算法，在尺度空间寻找算法是一种提取局部特征的算法，在尺度空间寻找极值点，提取位置，尺度，旋转不变量。极值点，提取位置，尺度，旋转不变量。4、匹配的主要算法、匹配的主要算法-SIFT算法算法ppt课件.44f基于点基于点特征特征 -SIFT-SIFT算法算法 SIFTSIFT特征匹配算法包括两个阶段，特征匹配算法包括两个阶段，SIFTSIFT特征的生成与特征的生成与SIFTSIFT特特征向量的匹配。征向量的匹配。SIFTSIFT特征向量的生成算法共包括特征向量的生成算法共包括4 4步：步：尺度空间极值检测尺度空间极值检测

35、，以初步确定关键点位置和所在尺度；，以初步确定关键点位置和所在尺度；拟和三维二次函数精确确定位置和尺度拟和三维二次函数精确确定位置和尺度，同时，同时去除低对比去除低对比度的关键点和不稳定的边缘响应点度的关键点和不稳定的边缘响应点；利用关键点邻域像素的梯度方向分布特性为每个关键点指利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性；定方向参数，使算子具备旋转不变性；生成生成SIFTSIFT特征向量；特征向量；4.匹配的主要算法匹配的主要算法-SIFT算法算法ppt课件.45fSIFTSIFT算法具体步骤算法具体步骤：（1 1）检测尺度空间极值点）检测尺度空间极值点

36、 （2 2）精确定位极值点）精确定位极值点 （3 3）为每个关键点指定方向参数）为每个关键点指定方向参数 （4 4）关键点描述子的生成）关键点描述子的生成4.匹配的主要算法匹配的主要算法-SIFT算法算法ppt课件.46尺度空间（尺度空间（scale space scale space）定义：）定义：我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的我们要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体也总是通过不同尺度的观察而得到不同的变化。物体也总是通过不同尺度的观察而得到不同的变化。尺度空间理论最早在尺度空间理论最早在19621962年提出，其主要思想是通过对原始图像进年

37、提出，其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测和不同分辨率上的特征提取等。角点检测和不同分辨率上的特征提取等。尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。标由近到远时目标在视网膜上的形成过程。4.SIFT算法算法-尺度空间的生成尺度空间的生成pp

38、t课件.474.SIFT算法算法-尺度空间的生成尺度空间的生成f尺度空间理论目的是模拟图像数据的多尺度特征。尺度空间理论目的是模拟图像数据的多尺度特征。f高斯卷积核是实现尺度变换的唯一线性核，一副二维图像的尺度空间高斯卷积核是实现尺度变换的唯一线性核，一副二维图像的尺度空间定义为：定义为：其中其中 是尺度可变的高斯函数，是尺度可变的高斯函数，（x x，y y）是空间坐标，）是空间坐标，是尺度坐标。是尺度坐标。大小决定图像的平滑程度，大小决定图像的平滑程度，大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大尺度对应图像的概貌特征，小尺度对应图像的细节特征。大的大的值对应粗糙尺度值对应粗糙尺度

39、(低分辨率低分辨率)，反之，对应精细尺度，反之，对应精细尺度(高分辨率高分辨率)。f为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空为了有效的在尺度空间检测到稳定的关键点，提出了高斯差分尺度空间（间（DOG scale-spaceDOG scale-space）。利用不同尺度的高斯差分核与图像卷积生）。利用不同尺度的高斯差分核与图像卷积生成。成。),(),(),(yxIyxGyxL),(yxG2222/)(221),(yxeyxG),(),(),(*),(),(),(yxLkyxLyxIyxGkyxGyxDppt课件.484.SIFT算法算法-尺度空间的生成尺度空间的生成 下图所示

40、不同下图所示不同下图像尺度空间：下图像尺度空间：关于尺度空间的理解说明：关于尺度空间的理解说明：2k2k中的中的2 2是必须的，尺度空间是连续的。在是必须的，尺度空间是连续的。在 Lowe Lowe的论文中，将第的论文中，将第0 0层的初始尺度定为层的初始尺度定为1.61.6（最模糊），图片的初始尺度定为（最模糊），图片的初始尺度定为0.50.5（最清晰）。在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，（最清晰）。在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息，所以所以 Lowe Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍，以保留原始建议在建立尺度空间前首先对原

41、始图像长宽扩展一倍，以保留原始图像信息，增加特征点数量。尺度越大图像越模糊。图像信息，增加特征点数量。尺度越大图像越模糊。ppt课件.494.SIFT算法算法-图像金字塔的构建图像金字塔的构建f以多分辨率来解释图像的一种有效但概念简单的结构就是以多分辨率来解释图像的一种有效但概念简单的结构就是图像金字塔。其优势很明显，某种分辨率下无法发现的特图像金字塔。其优势很明显，某种分辨率下无法发现的特性在另一种分辨率下将很容易被发现。性在另一种分辨率下将很容易被发现。f图像金字塔是一个图像集合，集合中所有的图像都源于同图像金字塔是一个图像集合，集合中所有的图像都源于同一个原始图像，而且是通过对原始图像连

42、续降采样获得，一个原始图像，而且是通过对原始图像连续降采样获得，直到达到某个中止条件才停止降采样。（当然，降为一个直到达到某个中止条件才停止降采样。（当然，降为一个像素肯定是中止条件。）像素肯定是中止条件。）f有两种类型的图像金字塔常常出现在文献和应用中：高斯有两种类型的图像金字塔常常出现在文献和应用中：高斯金字塔用来向下降采样图像，而拉普拉斯金字塔则用来从金字塔用来向下降采样图像，而拉普拉斯金字塔则用来从金字塔低层图像中向上采样重建一个图像。金字塔低层图像中向上采样重建一个图像。ppt课件.504.SIFT算法算法-图像金字塔的构建图像金字塔的构建f要从金字塔第要从金字塔第 i i 层生成第

43、层生成第i+1 i+1 层，我们先要用高斯核对第层，我们先要用高斯核对第i i 层进行层进行卷积，然后删除所有偶数行和偶数列。当然，新得到的图像面积会变卷积，然后删除所有偶数行和偶数列。当然，新得到的图像面积会变为源图像的四分之一。按上述过程对输入图像循环执行操作就可产生为源图像的四分之一。按上述过程对输入图像循环执行操作就可产生整个金字塔。整个金字塔。OpencvOpencv为我们提供了从金字塔中上一级图像生成下一级为我们提供了从金字塔中上一级图像生成下一级图像的方法：图像的方法：cvPyrDowncvPyrDown。同样，我们可以通过后面相似的函数（但。同样，我们可以通过后面相似的函数（但

44、不是降采样的逆操作）将现有的图像在每个维度上都放大两倍：不是降采样的逆操作）将现有的图像在每个维度上都放大两倍：cvPyrUpcvPyrUp。在这种情况下，图像首先在每个维度上都扩大为原来的两。在这种情况下，图像首先在每个维度上都扩大为原来的两倍，新增的行（偶数行）以倍，新增的行（偶数行）以0 0填充。然后给指定的滤波器进行卷积填充。然后给指定的滤波器进行卷积（实际上是一个在每一维上都扩大为两倍的过滤器）去估计（实际上是一个在每一维上都扩大为两倍的过滤器）去估计”丢失丢失“像素的近似值。像素的近似值。f我们之前注意到函数我们之前注意到函数cvPyrUpcvPyrUp并不是函数并不是函数cvPy

45、rDowncvPyrDown的逆操作。之所以的逆操作。之所以这样是因为这样是因为cvPyrDowncvPyrDown是一个会丢失信息的函数。为了恢复原来（更是一个会丢失信息的函数。为了恢复原来（更高的分辨率）的图像，我们需要获得由降采样操作丢失的信息。高的分辨率）的图像，我们需要获得由降采样操作丢失的信息。ppt课件.514.SIFT算法算法-图像金字塔的构建图像金字塔的构建f对于一幅图像对于一幅图像I,I,建立其在不同尺度建立其在不同尺度(scale)(scale)的图像，也成为子八度（的图像，也成为子八度（octaveoctave），），这是为了这是为了scale-invariantsca

46、le-invariant，也就是在任何尺度都能够有对应的特征点，第一，也就是在任何尺度都能够有对应的特征点，第一个子八度的个子八度的scalescale为原图大小，后面每个为原图大小，后面每个octaveoctave为上一个为上一个octaveoctave降采样的结果，降采样的结果，即原图的即原图的1/41/4（长宽分别减半），构成下一个子八度（高一层金字塔）。（长宽分别减半），构成下一个子八度（高一层金字塔）。ppt课件.52高斯金字塔高斯金字塔4.SIFT算法算法-图像金字塔的构建图像金字塔的构建ppt课件.53生成的高斯差分图像生成的高斯差分图像4.SIFT算法算法-图像金字塔的构建图像

47、金字塔的构建ppt课件.544.SIFT算法算法-空间极值点检测空间极值点检测f为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如下图所示，中间的检测点是否比它的图像域和尺度域的相邻点大或者小。如下图所示，中间的检测点和它同尺度的和它同尺度的8 8个相邻点和上下相邻尺度对应的个相邻点和上下相邻尺度对应的9 92 2个点共个点共2626个点比较，以确个点比较，以确保在尺度空间和二维图像空间都检测到极值点。保在尺度空间和二维图像空间都检测到极值点。一个点如果在一个点如果在D

48、OGDOG尺度空间尺度空间本层以及上下两层的本层以及上下两层的2626个领域中是最大或最小值时，就认为该点是图像在该个领域中是最大或最小值时，就认为该点是图像在该尺度下的一个特征点。尺度下的一个特征点。DoG尺度空间局部极值检测尺度空间局部极值检测ppt课件.554.SIFT算法算法-空间极值点检测空间极值点检测ppt课件.56f通过拟和三维二次函数以精确确定关键点的位置和尺度通过拟和三维二次函数以精确确定关键点的位置和尺度（达到亚像素精度），（达到亚像素精度），同时去除低对比度的关键点和不同时去除低对比度的关键点和不稳定的边缘响应点稳定的边缘响应点(因为因为DoGDoG算子会产生较强的边缘响

49、应算子会产生较强的边缘响应)，以增强匹配稳定性、提高抗噪声能力。以增强匹配稳定性、提高抗噪声能力。4.SIFT算法算法-精确确定极值点位置精确确定极值点位置ppt课件.574.SIFT算法算法-关键点方向匹配关键点方向匹配f利用关键点邻域像素的梯度方向分布特性为每个关键点指利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。定方向参数，使算子具备旋转不变性。f式中式中 为梯度的模值，为梯度的模值，为方向公式。其中为方向公式。其中L L所所用的尺度为每个关键点各自所在的尺度。用的尺度为每个关键点各自所在的尺度。22)1,()1,(),1(),1(),(yxLyxL

50、yxLyxLyxm),1(),1(/()1,()1,(2tan),(yxLyxLyxLyxLayx),(yxm),(yxppt课件.584.SIFT算法算法-关键点方向匹配关键点方向匹配f在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方在实际计算时，我们在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是图统计邻域像素的梯度方向。梯度直方图的范围是0 0360360度，其中每度，其中每1010度一个柱，总共度一个柱，总共3636个柱。直方图的峰值则代表了该关键点处邻域梯个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向，如下