1、图像融合技术和方法西安交通大学自动控制研究所2004年9月目录定义 应用分类 像素级融合方法融合评价方法 信息融合图像识别方法研究方法 研究展望 定义图像融合是一门新兴的学术研究方向，作为信息融合的一个重要分支，是多传感器信息融合中可视信息部分的融合，它将多元信道所采集的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特征以供观察或进一步处理。它是一门综合传感器、图像处理、信号处理、计算机视觉和人工智能等技术的现代高新技术。应用医疗应用军事应用海湾战争中发挥很好作战性能的“LANTIRN”吊舱就是一种图像融合系统。是一种用于飞行战斗机的低空红外夜视目标侦测
2、系统。远程遥感美国陆地资源卫星LANDSAT是最早投入实际使用的图像融合系统。广泛采集地球远程遥感图像。1972年 Landsat1 1999年 Landsat7已采集百万张图像，广泛用于农业，地理学，森林学，教育，地图绘制和全球变革研究。LANDSAT项目工作组 LANDSAT采集的图像 LANDSAT发射火箭 分类预处理特征提取图像分类 应用 图像像素级图 像融 合特征级图 像融 合决策级图 像融 合像素级融合是在严格配准的条件下，直接利用来自各个传感器的信息进行像素与像素关联的融合方法，可用来提高信号的灵敏度与信噪比，以利于目视观测与特征提取。其主要优点是能保持尽可能多的现场数据，提供其
3、他融合层次所不能提供的细微信息。由于该方法的融合基础是严格的像素对准，所以对不同传感器采集视场的配准要求很高。特征级融合是在像素级融合的基础上，使用参数模板、统计分析、模式相关等方法进行几何关联、目标识别、特征提取的融合方法，用以排除虚假特征，以利于系统判决。特征级融合可从两方面进行研究，目标状态数据融合和目标特性融合。该层融合的优点在于实现了可观的信息压缩，便于实时处理，其融合结果能够最大限度地给出决策分析所需要的特征信息。研究方法主要从聚类分析法、Dempster-Shafer推理法、贝叶斯估计法、神经网络法等展开。决策级融合关联各传感器提供的判决，以增加识别的置信度。决策级融合方法主要是
4、基于认知模型的方法，需要采用大型数据库和专家判决系统来模拟人的分析、推理、识别、判决过程，以增加决策的智能化和可靠性。决策级融合的主要优点在于：通信及传输要求低，容错性高，数据要求低，分析能力强。研究方法主要集中于贝叶斯估计法、神经网络法、模糊聚类法及专家系统等。1.1高斯窗口函数多分辨融合1 金字塔技术可分离性、归一化、对称性、奇偶项等贡献性 15851525402558406440852540255158514001,nm1.2高斯金字塔nj,miGn,mj,iGlmnl221515151511224mnl*lnj,miGn,mj,iG1.2各种金字塔技术1.2.1 Laplacian金字
5、塔技术*1lllGGL1.2.2 对比度金字塔技术*1lllGGC1.3金字塔融合算法1.3.1 获取每一路图像的Gaussian金字塔序列1.3.2 获取每一路图像的Laplacian或对比度金字塔等序列1.3.3 该塔序列对应级融合，融合算子很多，最常见的取“与”或“或”。1.3.4 融合塔序列逆构最底层图像（以对比度塔为例）NlGCNlGGClllll11/*2 小波变换小波变换（Wavelet Transform）是一种新型的工程数学工具，由于其具备的独特数学性质与视觉模型相近，因此，小波变换在图像处理领域也得到了广泛的运用。用在图像融合领域的小波变换，可以说是金字塔方法的直接拓展。M
6、allat经典算法设输入图像为nmf,令nmfnmC,0Mallat图像分解算法如下ZlknlmkjjZlknlmkjjZlknlmkjjZlknlmkjjgglkCnmdhglkCnmdghlkCnmdhhlkCnmC,2213,2212,2211,221,21,21,21,21,式中，Z为整数级，h，g为选定的滤波器组，1=j=N,N为离散小波变换分解层数。重构算法为ZlklnkmjZlklnkmjZlklnkmjZlklnkmjjhhlkdhhlkdghlkdhhlkCnmC,223,222,221,221,21,对任意 RL2上的二维矩阵ZnmnmaA,满足：Znmnma,2,定义如下
7、算子为ZlnlCZkmkrZlnlCZkmkrglmanmAGgnkanmAGhlmanmAHhnkanmAH2222,21,21,21,21,其简洁形式为1312111jCrjjCrjjCrjjCrjCGGdCHGdCGHdCHHC低频分量图像的水平边缘图像的竖直边缘角点和45方向边缘如果将图像的离散小波变换与图像的Gaussian金字塔分解进行简单对比，可以认为离散小波变换在提取图像低频部分的同时，较Gaussian金字塔分解多出两个方向的分解处理。图像融合在这些特征域内进行，理论上较Gaussian金字塔融合具有更好的效果。基于小波变换的融合算法1 获取每一路图像的小波金字塔序列：对两幅
8、图像分别作多尺度小波变换，得到两幅图像在不同尺度下的低频方向、水平方向、垂直方向、45角方向的高频信息图序列。2 小波多分辨融合：对两幅图像的不同层次、不同特征层的信息图分别附加一定的权重进行融合，从而得到融合图像的小波多分辨结构。3 重构图像：根据融合图像小波序列，进行小波逆变换，得到最后的融合图像。图像融合评价方法 首先要关注的是图像融合性能的客观评价。定量地评价图像融合性能是一项重要而复杂的工作。建立了多种评价方法和准则，利用这些评价准则，主要对多种图像融合方法的性能进行了比较研究。其次研究了分解层数、不同融合规则以及子块区域大小对融合性能的影响。其中无参考源图像多聚焦图像融合性能评价方
9、法为主要创新点之一。1 熵：熵值的大小表示图像所包含的平均信息量的多少，反映了图像中具有不同灰度值像素的概率分布。102logLiiippHDDpii/ip2 交叉熵：可用来度量两幅图像间的差异，交叉熵越小，就表示图像间的差异越小。若标准参考图像为R，融合后图像为F，则参考图像与融合图像的交叉熵为：102/logLiFiRiRicepppH3 互信息：两幅图像A和B的互信息定义如下，其中的概率p为图像间的归一化联合灰度直方图。jpipjipjipBAMIbaabLiLjab,log,),(1010 AHAAMI,3 相关系数：衡量融合图像和理想图像的相似性minjFminjRminjFRjiF
10、jiRjiFjiR11211211,4 标准色差：判断融合图像与原始图像的彩色失真度MiNjOjiOjiOjiMiNjFjiOjiFjiOjiFjiOjivuLvvuuLLNCD112,2,2,112,2,2,米制明度 米制色品Luv5 均方根误差：融合图像F和标准参考图像R间的均方根误差nmjiGjiGRMSEminj112,6 空间频率：判别融合图像F的清晰度，空间频率反映了一幅图像空间域的总体活跃程度和清晰程度，同时还反映出图像中微小细节反差和纹理变换特征，空间频率越大图像越活跃、越清晰。22CFRFSFminjj,iFj,iFnmRF12211行频列频njmij,iFj,iFnmCF122117峰值信噪比：衡量融合图像相对于标准参考图像灰度的偏离程度，其值越大，说明融合图像和标准参考图像的差异越小，融合效果越好；反之融合效果越差。为融合图像像素中的最大灰度值。8相对标准差：融合图像与标准参考图像的标准差的相对衡量 nmjiFjiRFPSNRminj1122max10,log10maxFRFRminjGjiGnm112,1谢 谢 观 看
