1、1对来自多个传感器的多源信息进行多级别、多方面和多层次的处理和综合，从而获得更丰富、更准确、更可靠的有用信息。信息融合是一种多层次、多方面的处理过程，这个过程对多源信息进行检测、结合、相关、估计和组合，以达到精确的状态估计和身份估计记忆完整、及时的态势估计和威胁估计。 J.Llinas and W.Edward2图像融合是将两个或两个以上的传感器在同一时间或不同时间获取的关于某个具体场景的图像或图像序列信息加以综合，以生成新的有关此场景解释的信息处理过程。图像融合是是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图
2、像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率。3图像融合是以图像为研究对象的信息融合，它把对同一目标或场景的用不同传感器获得的不同图像，或用同种传感器以不同成像方式或在不同成像时间获得的不同图像，融合为一幅图像，在一幅融合图像中能反应多重原始图像的信息，已达到对目标和场景的综合描述，使之更适合视觉感知或计算机处理。它综合了传感器、信号处理、图像处理和人工智能等技术的新兴学科。4多源图像 多传感器图像： 成像机理不同的独立传感器获得的图像（不包括遥感图像） 如前视红外图像和可见光图像 CT图像和MRI图像 前视红外线图像和毫米波雷达图像5多源图像
3、遥感多光源图像： 成像机理不同的传感器或同种传感器不同工作模式获得的遥感图像 如:SPOT卫星的多光谱图像和全色图像 Quick Bird卫星的多光谱图像和全色图像6多源图像 多聚焦图像： 光学传感器的不同成像方式（指不同聚焦点）获得的图像7多源图像 时间序列（动态）图像： 同种图像传感器以相同成像方式在离散时刻拍摄的图像8图像配准、图像融合、特征提取、识别与决策图像融合分三个层次： 像素级 严格配准的条件下，直接进行信息综合。基于数据层面，主要完成多源图像中目标和背景信息的直接融合。 最低层次的图像融合，准确性最高，能够提供其他层次处理所具有的细节信息。处理的信息量较大。 特征级 与处理和特
4、征提取后获得的景物信息如边缘，形状，纹理和区域等信息进行综合与处理。 中间层次信息融合，即保留了足够数量的重要信息，有可对信息进行压缩，有利于实时处理 决策级 根据一定的准则以及每个决策的可信度做出最优决策。 最高层次的信息融合，实时性好，并且具有一定的容错能力。 基于认知模型的方法，需要大型数据库和专家决策系统进行分析、推断、识别。91. 图像增强 空间域增强 点运算：线性变换，非线性变换，直方图均衡化，归一化。 邻域运算：图像平滑，锐化 频域增强 塔式分解增强，Fourier变换增强，滤波 彩色增强 伪彩色增强，假彩色增强，彩色变换 图像代数运算 插值法，比值法，混合运算法，分辨率融合 多
5、光谱图像增强 主成分分析，K-T变换102. 图像矫正和配准 基于灰度信息的图像配准 基于灰度的一些统计信息来度量图像的相似度。 优点简单易行，缺点计算量大，对噪声敏感。 三种方法 互相关法 序贯相似度检测匹配 交互信息法 基于变换域图像配准方法 图像间的平移，旋转，缩放在频域上有对应，对抗噪声有一定的鲁棒性112. 图像矫正和配准 基于特征的图像配准方法 基于灰度和变换域有如下不足： 受光照影响大，对灰度变换敏感 搜索空间会出现很多局部极值点，涉及到阈值的设定 处理信息量大，计算复杂度高 对旋转，尺度变换以及遮掩等敏感 基于特征的方法 图像中特征数较少，特征间的匹配度量岁位置变动很大，可以利
6、用图像轮廓特征间的几何约束关系，对干扰变形等有较强的适应能力比如指纹中的特征点匹配，纹线匹配 步骤：1）特征提取：特征点（角点，高曲率点），直线段，边缘，轮廓，闭合区域，特征结构以及统计特征，矩不变量，重心等2）特征匹配3）图像转换完成图像整理变换121.互相关法： 它是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的成都，互相关最大时的搜索窗口决定了末班图像在待匹配图像中的位置。 对图像I和一个尺寸小于I的模板T，归一化二维交叉相关函数定义如下： C(u,v)表示了模板在图像上位移(u,v)位置的相似成都132.基于变换域的图像配准14151. 平移检测clear;I =
7、 imread(cameraman.tif);%参数25,30可以修改，修改后平移距离对应改变 ,得到图像平移后图像TIse = translate(strel(1), 35 25); TI = imdilate(I,se); imshow(TI);%Fourier变换FI = fft2(I);FTI = fft2(TI);%相关量hgl = FI.*conj(FTI)./(abs(FI.*conj(FTI);%逆Fourier变换得到deta函数deta = abs(ifft2(hgl);%显示突变点x = 1:size(I,1);y = 1:size(I,2);mesh(x,y,deta)
8、;%求出平移变换点x0,y0 = find(deta = max(max(deta);162. 旋转变化子函数：极坐标转化function PI = Car2PIm(I)%I = imread(standard_lena.bmp);MI,NI = size(I);M2 = MI/2;N2 = NI/2;PMax = round(sqrt(M22+N22)+1;PMin = sqrt(2);PI = zeros(PMax,361);for i = 1:M2 for j = 1:N2 p = sqrt(i2+j2); theta= atan(j/i); p = round(p)+1; %360*
9、/PMax theta = round(theta*180/pi)+1; PI(p,theta) = I(i+M2,N2-j+1); PI(p,180-theta) = I(M2-i+1,N2-j+1); PI(p,180+theta) = I(M2-i+1,j+N2); PI(p,360-theta) = I(i+M2,j+N2); endend%imshow(PI,);%imwrite(PI,Lena_cui.tif);17clear;I = imread(cameraman.tif);%TI = imrotate(I,-30,crop); %imwrite(TI,RT.tif);TI =
10、 imread(RT.tif);TI = TI(:,:,1);% MFI = abs(fft2(I);% MFTI = abs(fft2(TI);PMFI = Car2PIm(I);PMFTI = Car2PIm(TI);hgl = fft2(PMFI).*conj(fft2(PMFTI)./(abs(fft2(PMFI).*conj(fft2(PMFTI);deta = abs(ifft2(hgl);x = 1:size(PMFI,1);y = 1:size(PMFI,2);%mesh(x,y,deta);x0,y0 = find(deta = max(max(deta);18拼接图像边缘的
11、融合艺术照片的效果 照片做旧 老照片翻新 纹理映射 电脑设计搞怪多光谱图像融合问题 图像尺寸 融合位置确定 时域和频域的处理选择19实际需要，大长照片拍摄和制作问题 拼接位置定位算法识别边界 是否有平移旋转，要去掉这些带来的影响 对于变形的处理，视点不同带来的影响，能否从图像中获取 拼接后的边界融合 选择合适的滤波器进行模糊化处理 进而锐化处理，突出边缘， 采用图像局部增强方法 拼接图像大小处理 是否涉及到图像的缩放20预处理 待融合图像局部大小统一，确定融合位置小波分解获得各个频段的信息对各个频段进行融合处理将处理后的频段，进行小波逆变换，重构图像完成图像融合关键是融合函数的设计21小波系数
12、， 高频逼近系数， 低频融合决策改进，比如把点改为区域的，把单小波改为多小波。22工具箱实现image fusionDemo 演示23load mask; X1 = X;load bust; X2 = X;XFUS,TXFUS,TX1,TX2 = wfusimg(X1,X2,db2,5,max,max,plot); subplot(1,3,1) imshow(X1,);subplot(1,3,2);imshow(X2,);subplot(1,3,3)imshow(XFUS,);2425低通如何融合高通如何融合设计融合函数找寻有趣图像进行融合2627%读入彩色图片im=imread(照片 007
13、.jpg);im1=imread(照片 008.jpg);%变灰度图片imm=rgb2gray(im);imm1=rgb2gray(im1);%格式转换f=double(imm);g=double(imm1);% 第二幅图的第一列g1=g(:,1);%第一幅图的每一列与第二幅图的第一列求距离，此处用的是列各点差的和for i=1:size(g,2) d(i)=sum(abs(f(:,i)-g1);end%求出最小距离者，即为对应最为相似的列m=min(d);%找出最相似列标a=find(d=m);%取出拼接相叠加的部分图像x=imm(:,a:size(imm,2);y=imm1(:,1:(si
14、ze(imm,2)-a+1);figureimshow(x);figureimshow(y);28%模极大值找边缘，分别对两个待拼接图像的重叠部分进行求边缘运算。ed,tang=waveedge(x,0.1);ed1,tang1=waveedge(y,0.1);h=tang-tang1;theat=hist(h);%求拼接部分角度差的众数%z=mode(mode(theat);%进行旋转z=7;rotate= imrotate(imm1,z);%重新规划图像大小r=imresize(rotate,1/4);%z由角度变弧度z=z/360*(2*pi);m,n=size(g);%图像矫正旋转fo
15、r i=1:m for j=1:n A(i,j)=round(abs(i*cos(z)-j*sin(z); B(i,j)=round(abs(i*cos(z)-j*sin(z);endend %旋转后的拼接过程29for i=1:mfor j=1:n if A(i,j)=0 x=1; else if A(i,j)=m x=m; else x=A(i,j); end end if B(i,j)=n y=n; else if B(i,j)=0 y=1; else y=B(i,j); end endF(i,j)=g(x,y);endendF=uint8(F);F=imresize(F,1/4);fi
16、gure;imshow(F) rotate=;for i=1:size(g,1) for j=1:size(g,2) rotate(i,j)=cos(z) -sin(z);sin(z),cos(z)*(g(i,j); endendimshow(uint8(rotate);30 %小波变换检测法，输入变量I为原始图像，T为阈值%返回值：ed为边缘，tang为边缘点的角度记录。function ed,tang=waveedge(I,T)X=double(I);s1=size(X,1); s2=size(X,2);% 多尺度m=1.0;dt=2m;% 构造高斯函数的一阶导数N=20; % 高斯滤波器
17、长度，支集范围A=-1/sqrt(2*pi); % 幅度for i=1:N; for j=1:N; x=i-(N+1)/2; y=j-(N+1)/2; fx(i,j)=A*(x/dt2).*exp(-(x.*x+y.*y)/(2*dt2); fy(i,j)=A*(y/dt2).*exp(-(x.*x+y.*y)/(2*dt2); endend;%能量归一化fx=fx/norm(fx); fy=fy/norm(fy); %对图象做小波变换Gx=conv2(X,fx,same);Gy=conv2(X,fy,same);G=sqrt(Gx.*Gx)+(Gy.*Gy);% 求梯度%确定梯度方向ang=
18、zeros(s1,s2); % 角度31for i=1:s1; for j=1:s2 if (abs(Gx(i,j)eps*100) % x的绝对值足够大 p=atan(Gy(i,j)/Gx(i,j)*180/pi; % 反正切求角度值(1,4象限) if (p0) % 负的幅角（2、4象限） p=p+360; end; if (Gx(i,j)180) %2象限的特殊处理 p=p-180; elseif (Gx(i,j)0 & p0) p=90; else p=270; end end ang(i,j)=p; % 幅角 endend;ed=zeros(s1,s2);32%寻找各个方向极值点fo
19、r i=2:s1-1 for j=2:s2-1 if (ang(i,j)=(-22.5) & ang(i,j)=(180-22.5) & ang(i,j)G(i+1,j) & G(i,j)G(i-1,j) ed(i,j)=G(i,j); end elseif (ang(i,j)=(90-22.5) & ang(i,j)=(270-22.5) & ang(i,j)G(i,j+1) & G(i,j)G(i,j-1) ed(i,j)=G(i,j); end elseif (ang(i,j)=(45-22.5) & ang(i,j)=(225-22.5) & ang(i,j)G(i+1,j+1) &
20、G(i,j)G(i-1,j-1) ed(i,j)=G(i,j); end else % 135/215 if (G(i,j)G(i+1,j-1) & G(i,j)G(i-1,j+1) ed(i,j)=G(i,j); end end endendME=max(max(ed).);%最大幅值ed=ed/ME;%确定边缘for m=1:s1 for n=1:s2 if (ed(m,n)T) ed(m,n)=1; else ed(m,n)=0; end endend33%绘制图像figuresubplot(1,2,1)imshow(I)title(原图像)subplot(1,2,2)imshow(ed
21、)title(小波边缘)%求特征点的角度l=size(ed,1);w=size(ed,2);tang=zeros(l,w); % 角度for i=1:l; for j=1:w if ed(i,j)=1 if (abs(Gx(i,j)eps*100) % x的绝对值足够大 p=atan(Gy(i,j)/Gx(i,j)*180/pi; % 反正切求角度值(1,4象限) if (p0) % 负的幅角（2、4象限） p=p+360; end; if (Gx(i,j)180) %2象限的特殊处理 p=p-180; elseif (Gx(i,j)0 & p0) p=90; else p=270; end
22、end tang(i,j)=p; % 幅角 end endend;3435363738391.图片矫正过程中大小的变化过程如何纠正？简单补零操作。2.步骤如下：4041在得到融合图像之后，对图像进行直方图均匀化及裁剪，使图像更加美观。4243441.图像分析，对于彩色图像进行分通道显示，并通过直方图进行灰度值分析。RGB通道，HSI通道或者YUV通道等。实现图像类型转换函数见RGb2hsi.m函数。2.观察直方图和各通道图像，选取适用于背景分离的图像通道，即待分离图像和背景图像的灰度值区分度大的图像通道。45463.确定阈值T，一般可选择图像均值作为阈值，也可以参考图像方差，对阈值进行修正。这
23、里也可以加一些直观的限制，以达到更好获得感兴趣的区域。Matlab均值函数和方差函数分别为mean2和var2。具体方式为： Y=mean2(X)，X为输入矩阵，Y为矩阵X的均值 Theta =std2(X)，X为输入矩阵，Y为矩阵X的均方差。4.对所选通道图像进行阈值化处理，化为二值图像，1为前景图像白色，0为背景图像黑色。47485.对获得的前景图像进行修复，包括形态学的开闭运算，填补漏洞处理等。Matlab形态学运算可通过bwmorph实现，图像填补漏洞函数imfill。具体方式为： bwmorph是对二值图像的形态学算子。形态学方法在图像处理领域有着重要应用。 BW2 = bwmorp
24、h (BW1,OPERATION) 表示对二值图像BW1作用上某一个形态学运算。 BW2 = BWMORPH(BW1,OPERATION,N) 表示对二值图像BW1作用上某一个形态学运算N次。若N为inf，表示重复该运算直到图像不再变化为止。 OPERATION 表示形态学算子，它可以取很多种运算，用字符串调用。 我们这里取close 是二值图像的闭运算， open 是二值图像的开运算其他操作可参见help bwmorph。 BW2 =imfill(BW1,LOCATIONS) 表示对二值图像BW1的填充运算，填充的起始点由LOCATIONS决定。 我们这里取holes，表示填充输入图像中的洞
25、。也可以采用另一种形式BW2 =IMFILL(BW1,LOCATIONS,CONN)，或者BW2 = IMFILL(BW1,CONN,holes)，CONN可以取一些数值，表示的是填充时候连通区域的范围。 二维情况下额可以为4或者8连通区域，3三维情况可以为6,18,26连通区域。496.对修复后的二值图像，找寻最大连通分支，获得前景感兴趣区域。寻找连通分支的Matlab命令为bwconncomp，在获得的连通分支后，找寻最大连通分支，并提取出来。具体为： CC = bwconncomp(X)表示获得输入二值图像X的连通分支，CC为结构体，有四个分量，分别为： Connectivity： 连通
26、分支的连通性，一般是4或者8连通。 ImageSize：图像X的大小 NumObjects：图像X连通分支的大小 PixelIdxList： NumObjects个数组，每个数组存放一个连通分支，按照线性形式存放了每个分支中的像素位置。 numPixels = cellfun(numel,CC.PixelIdxList)为单元函数，它可以获取CC.PixelIdxList中所有分支的数量 biggest,idx = max(numPixels)可以获得最大分支及它的序号。 CC.PixelIdxListidx就是最大连通分支对应的序列。7.与原始图像简单相乘，可获得彩色感兴趣区域。505152色彩如何通过灰度图像恢复？各种艺术效果的图片可以尝试。53参考文献【1】敬忠良，肖刚，李振华著，图像融合-理论与应用，高等教育出版社，2010。【2】那彦，焦李成主编，基于多分辨分析理论的图像融合方法，西安电子科技大学出版社，200754
