1、Multifocus image fusion using region segmentation and spatial frequencyxoulongxia专业：计算机科学与技术一一 研究背景二二 研究动态三三 研究内容四四 文章理解五五 想 法研究背景 定义 图像融合（Image Fusion）是通过对源图像间冗余信息和互补信息进行处理，使得到的融合图像可靠性增强，能更客观地、更精确地和更全面地对某一场景进行图像描述，更加适合人眼和机器视觉感知，更加有利于图像分割、特征提取和目标识别等更深层次的图像处理任务。高效的图像融合方法可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息
2、的利用率、系统对目标探测识别地可靠性及系统的自动化程度。其目的是将单一传感器的多波段信息或不同类传感器所提供的信息加以综合，消除多传感器信息之间可能存在的冗余和矛盾，以增强图像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。例如，对于聚集不同的多幅对准图像，如果图像中的一些景物在其中的一幅图像中很清晰，而在别的图像中较为模糊的话，那么可以采取图像融合的方法获得一幅新的图像，融合后的图像比融合前的任意一幅图像具有更多的信息量。图一：左聚焦图像图一：左聚焦图像 图二：右聚焦图像图二：右聚焦图像 图三：融合图像图三：融合图像研究动态 图像融合近年来在很多领域
3、都有了越来越多的应用和发展。在医学上，医学图像的配准和融合为医生提供更加丰富、可靠的图像依据，以便更加直观地利用这些信息并结合临床经验做出准确诊断；随着遥感技术的发展，高空间分辨率、波谱分辨率和时间分辨率的图像数据已经问世；根据各种不同类型的多光谱数据信息之间存在着重叠和互补，利用图像融合技术对遥感图像进行融合，近年来在土地动态监测、防洪防灾和军事侦察方面得到应用。在图像融合目标识别方面，国外从70年以已开始研究被动微波红外复合的双模(双传感器)寻的系统，进入80年代后，更多型式的双模(双传感器)寻的系统如：半主动雷达红外、主动毫米波雷达、激光红外等型式的双模寻的系统大量出现，其主要的目的就是
4、企图通过多种不同类型的传感器系统的组合和信号的综合利用使整个系统在性能上取得互补，以提高寻的系统总的性能指标。研究内容 目前，国内外学术界在图像融合领域已取得了丰硕的研究成果。在理论和方法方面主要有主成分分析法、演化计算法、神经网络法、小波变换法和模糊逻辑等图像融合方法：在融合效果客观评价方面，有shannon提出的信息熵、交叉熵、互信息、联合熵以及均方根误差、均值、标准差、平均误差、偏差、相对偏差、空间频率、灰度标准差、相关系数、信噪比和峰值信噪比等客观评价标准。一般情况下，图像融合由低到高分为三个层次：像素级融合、特征级融合、决策级融合。像素级融合是在严格配准的条件下，直接在传感器采集所得
5、的图像原始数据层上进行处理，可用来提高信号的灵敏度与信噪比，以利于目视观测与特征提取。像素级图像融合具有明显的局限性：它要处理的图像数据量太大，处理代价高；这种融合是在信息的最低层进行，传感器原始信息的不确定性、不完全性和不稳定性要求在进行融合时有较高的纠错处理能力；要求各传感器信息之间有精确到一个像素的配准精度；数据通信量大，抗干扰能力差。特征级图像融合是中间层次上的融合，它是先提取来自传感器的原始信息的特征，产生特征矢量,然后对特征矢量进行融合处理。一般来说，提取的特征信息应该是像素信息的充分表示量或充分估计量，然后按照特征信息对多传感器数据进行综合分析和处理。特征级图像融合的主要优点有：
6、由于提取传感器原始信息的特征信息，信息得到了压缩，有利于实时处理。决策级图像融合是最高层次的融合，包含检测、分类、识别和融合，在决策级图像融合之前，每种传感器已经被独立完成了决策和分类任务，融合工作实质上是做出全局的最优决策。决策级图像融合的优点主要表现为：它能在增加或减少一个或多个传感器的情况下工作，对传感器没有特殊的要求，因此，它具有很强的容错性、很好的开放性、融合中心处理代价小，较短的处理时间等特点。同时由于处理的数据量较小，信息通信量小，抗干扰能力强，还能有效的反映环境或目标各个侧面的不同类型信息。由于是最高级别的融合，需要以前面级别的融合结果作为输入，所以预处理的代价非常高。文章理解
7、 本文中，我们提出一种在空间域实行的并且适合多聚焦图像的融合。直观的想法是图像被人们理解为区域或对象级别用来代替像素级别。这包含三个步骤：图像的分割、区域的明确计算和融合图像的构建。第一步，通过简单的求均值的方法合并两个源图像。第二步，被融合的图像使用归一化分割(Ncut)方法分割，根据这个结果图像被划分开。第三步，两个源图像相匹配的区域使用空间频率的方法相融合。实验方案1、Region segmentation using normalized cuts （基于归一化分割方法的区域分割）被分割的图像是由点集组成的，节点之间的相互联系就构成了加权无向图G=(V,E)。我们给出 normaliz
8、ed cuts（Ncut）的定义：其中，表示所有从节点A到节点B的连接，表示从节点A到所有结点的连接。)V,B(assoc)B,A(cut)V,A(assoc)B,A(cut)B,A(NcutBt,Au)t,u(W)B,A(cutVt,Au)t,u(W)V,A(assoc 计算流程（1）定义一个给定的图像和权重函数的特征描述矩阵；（2）假定一个加权图G=（V,E），计算边缘权值，得出的W和D的信息矩阵的W表达式如下：X(i)为节点i的位置空间，F(i)=I(i)为强度值，矩阵D是NN的对角矩阵，对角线上的d(i)=W(i,j)；（3）解答(D-W)X=DX特征向量的最小特征值；（4）使用特征向
9、量找出第二小的特征值，并找出划分的点以便于把Ncut的值减小至最低范围；（5）检查Ncut的值，最简单的是依据第一个计算特征向量的柱状图，然后计算在最大值和最小值之间的二进特征向量的比率，在实验中，设置一个像上述的比率阈值，小于阈值的特征向量是不稳定的（本实验设置阈值为0.06）。我们还可以按照第（2）进一步的细化。2、Spatial frequency（空间频率）空间频率源于人们的目视系统，表明在一个图像中的全部活动程度，一个图像块的空间频率定义如下：假定一个像素为MN的图像，行频率RF(row frequencies)，列频率CF(column frequencies),则 F(m,n)是
10、图像F在位置(m,n)的像素灰度值图像的总的空间频率：3、Multifocus image fusion using regions clarity （区域明确的多聚焦图像融合）融合的过程（1）获得检录图像A和B的临时融合图像平均值；（2）使用归一化的分割算法把临时融合图像分割为几个区域；（3）使用第(2)步的结论划分图像A和B；（4）计算每一个划分的A和B区域的空间频率；（5）比较两个源图像相匹配的区域空间频率，以决定哪一部分用于构建融合图像，是第i个区域的融合图像，和 是图像A和B的第i个区域的空间频率。iRoFAiSFBiSF（6）挑选所有相融后的区域组建最后的图像。如果有三个或更多的源
11、图像，使用第(2)步的结论划分所有的源图像，然后计算每个区域的空间频率，选择具有最大值的空间频率，最后按照(6)重建所有区域相融后的图像。4、Experimental results（实验处理）通过对不同源融合图像组合的比较得出我们实验的好坏，这里有三种方法可供我们选择：a.wavelet-based fusion method（基于小波的融合方法）b.Region-based activity measurement（基于区域的放射性活度测量）用于反映已分解系数的活动程度，系数是通过选择最大值组合成的。c.Window-based verification（基于窗口的验证）本文的图像融合是由normalized cuts algorithm和wavelet-based approach来完成的。本文设定参数为：103010r,.,.XI 评价指标 本文使用 和交互信息(mutual informaton(MI)标准来度量实验结果的。其中A，B为输入的源图像，F为输出的融合图像。（在这里对两个性能指标不做详细说明）F/ABQ想法1.对SF(空间频率)我们可以结合新的特征计算方法，提取特征更加显著的分块图像，使融合后的图像更加清晰平滑；2.在图像分割之前我们可以先用小波进行分解，在低频部分进行分割，消除块效应，最终达到更好的融合效果。谢谢敬请批评指正
