1、主讲教师：杨晓慧主讲教师：杨晓慧)图像处理算法图像处理算法(Image Processing Algorithm)2010年全国大学生数学建模竞赛暑期培训年全国大学生数学建模竞赛暑期培训数学与信息科学学院，数学与信息科学学院，2010年年7月月23日日2010年大学生数学建模竞赛 杨晓慧 图像处理算法2l蒙特卡罗算法蒙特卡罗算法l数据拟合、参数估计、插值等数据处理算法数据拟合、参数估计、插值等数据处理算法l线性规划等规划类问题线性规划等规划类问题l图论算法图论算法l动态规划、回溯搜索、分支定界等计算机算法动态规划、回溯搜索、分支定界等计算机算法l模拟退火、神经网络、遗传算法等最优化理论算法模拟
2、退火、神经网络、遗传算法等最优化理论算法l网格算法和穷举法网格算法和穷举法l一些连续离散化方法一些连续离散化方法l数值分析算法数值分析算法l图像处理算法图像处理算法2010年大学生数学建模竞赛 杨晓慧 图像处理算法（1 1）图像处理图像处理 （2 2）图像识别图像识别 （3 3）图像理解图像理解 图图像像输输入入图图像像处处理理（增增强强/复复原原/编编码码等等）图图像像输输出出图图像像输输入入图图像像预预处处理理图图像像分分割割特特征征提提取取图图像像分分类类识识别别结结果果输输出出图图像像输输入入图图像像预预处处理理图图像像描描述述图图像像分分析析和和理理解解图图像像解解释释2010年大学
3、生数学建模竞赛 杨晓慧 图像处理算法4F 认识数字图像处理认识数字图像处理1.什么是什么是图像图像？2.什么是什么是数字图像数字图像？模拟图像？模拟图像？3.什么是什么是数字图像处理数字图像处理？模拟图像处理？光电？模拟图像处理？光电结合处理？结合处理？2010年大学生数学建模竞赛 杨晓慧 图像处理算法5什么是什么是图像图像？“图图”是物体是物体投射光或反射投射光或反射光的分布光的分布“像像”是人的视觉是人的视觉系统对图的接收在系统对图的接收在大脑中形成的印象大脑中形成的印象或认识或认识“图图”是客观存在的是客观存在的“像像”是人的感觉是人的感觉图像图像是两者的结合是两者的结合是客观和主观的结
4、合是客观和主观的结合F什么是图像什么是图像2010年大学生数学建模竞赛 杨晓慧 图像处理算法6F标准测试图像标准测试图像 Lena Barbara Cartoon Fingerprint Peppers Mandrill2010年大学生数学建模竞赛 杨晓慧 图像处理算法7 7 2010年大学生数学建模竞赛 杨晓慧 图像处理算法8F什么是数字图像什么是数字图像(续续)l 数字图像数字图像指的是一个被指的是一个被采样采样和和量化量化后的二维函数（该二后的二维函数（该二维函数由光学方法产生），采用等距离矩形网格采样（维函数由光学方法产生），采用等距离矩形网格采样（矩形网格采样常称为光栅矩形网格采样常
5、称为光栅raster），对幅度进行等间隔），对幅度进行等间隔量化。至此，量化。至此，一幅数字图像是一个被量化的采样数值的一幅数字图像是一个被量化的采样数值的二维矩阵二维矩阵。l 将一幅二维的图像通过有限个离散点来表示就成为了数将一幅二维的图像通过有限个离散点来表示就成为了数字图像，其中的字图像，其中的每个点每个点称为称为图像元素图像元素，即，即像素像素。2010年大学生数学建模竞赛 杨晓慧 图像处理算法9l空间分辨率变化所产生的效果空间分辨率变化所产生的效果(a)512512(b)256256(c)128128(d)6464(e)3232(f)1616图像质量随采样图像质量随采样数的减少而变差
6、数的减少而变差2010年大学生数学建模竞赛 杨晓慧 图像处理算法10l图像灰度分辨率变化所产生的效果图像灰度分辨率变化所产生的效果(a)256(b)64(c)16(d)8(e)4(f)2图像质量随量化级图像质量随量化级别的减少而变差别的减少而变差2010年大学生数学建模竞赛 杨晓慧 图像处理算法11l空间和灰度分辨率同时变化空间和灰度分辨率同时变化(a)256256，128(b)181181，64(c)128128，32(d)9090，16(e)6464，8(f)4545，42010年大学生数学建模竞赛 杨晓慧 图像处理算法12F什么是数字图像什么是数字图像(续续)l像素值往往用来表示像素的灰
7、度级、颜色、高度值、透明度等等像素值往往用来表示像素的灰度级、颜色、高度值、透明度等等。2010年大学生数学建模竞赛 杨晓慧 图像处理算法13F图像表示图像表示),(tzyxfIl多维函数多维函数 f(x,y)（图像和图片）（图像和图片）lx,y,z 是空间三维坐标参数是空间三维坐标参数l 是波长参数，表示彩色图像，若是黑白图像则为定值是波长参数，表示彩色图像，若是黑白图像则为定值lt 是时间参数，表示运动图像，若是静止图像则为定值是时间参数，表示运动图像，若是静止图像则为定值2010年大学生数学建模竞赛 杨晓慧 图像处理算法14获取外界信息视觉、听觉、触觉、嗅觉、味觉等多种，但绝大部分获取外
8、界信息视觉、听觉、触觉、嗅觉、味觉等多种，但绝大部分是来自视觉所接收的图像信息，是来自视觉所接收的图像信息，“百闻不如一见百闻不如一见”，人类，人类70%以上信以上信息来自视觉。息来自视觉。图像处理图像处理图像信图像信息加工息加工满足视觉满足视觉心理和应心理和应用要求用要求 图像处理图像处理就是对图像信息进行加工处理，以满足人的视觉就是对图像信息进行加工处理，以满足人的视觉心理和实际应用的要求。心理和实际应用的要求。F什么是图像处理什么是图像处理2010年大学生数学建模竞赛 杨晓慧 图像处理算法15F什么是数字图像处理什么是数字图像处理l自然界本身的连续的，连续世界的图像本身状态是连续的，处理
9、自然界本身的连续的，连续世界的图像本身状态是连续的，处理的结果一般也要以连续的形式演绎，我们不能忽略这个本质。但的结果一般也要以连续的形式演绎，我们不能忽略这个本质。但是我们要采用数字计算机作为工具来实现我们的算法，临时把它是我们要采用数字计算机作为工具来实现我们的算法，临时把它变成离散的形式。因此，我们说变成离散的形式。因此，我们说“数字图像处理数字图像处理(digital image processing)”不是指不是指“处理数字图像处理数字图像”，而是指，而是指“图像的数字处图像的数字处理理”。l数字图像处理数字图像处理又称为又称为计算机图像处理计算机图像处理，它是指将图像信号转换成，它
10、是指将图像信号转换成数字信号并通过计算机对其进行去除噪声、增强、复原、分割、数字信号并通过计算机对其进行去除噪声、增强、复原、分割、提取特征等处理的方法和技术。或者简述为：提取特征等处理的方法和技术。或者简述为：数字图像处理是对数字图像处理是对一个物体的数字表示施加一系列的操作，以得到所期望的结果一个物体的数字表示施加一系列的操作，以得到所期望的结果。2010年大学生数学建模竞赛 杨晓慧 图像处理算法16l数字图像处理是数字图像处理是集光学、数学、计算机图形学（集光学、数学、计算机图形学（computer graphics，涉及用计算机将由概念或数学描述所表示的物体（而，涉及用计算机将由概念或
11、数学描述所表示的物体（而不是实物）图像进行处理和显示的过程，侧重于根据给定的物体不是实物）图像进行处理和显示的过程，侧重于根据给定的物体描述模型、光照及想象中的摄像机的成像几何，生成一幅图像的描述模型、光照及想象中的摄像机的成像几何，生成一幅图像的过程）、计算机视觉（过程）、计算机视觉（computer vision，目的是发展处能够理解，目的是发展处能够理解自然景物的系统。在机器人领域中，计算机视觉为机器人提供眼自然景物的系统。在机器人领域中，计算机视觉为机器人提供眼镜的功能）、电子学、信息论、控制论、物理学、心理学和生理镜的功能）、电子学、信息论、控制论、物理学、心理学和生理学等为一体的学
12、等为一体的一门综合性边缘科学一门综合性边缘科学。l数字图像处理和小波理论、马尔科夫随机场、分形学、数学形态数字图像处理和小波理论、马尔科夫随机场、分形学、数学形态学、人工智能、模式识别和人工神经网络等都有结合。学、人工智能、模式识别和人工神经网络等都有结合。2010年大学生数学建模竞赛 杨晓慧 图像处理算法17为什么进行图像处理？为什么进行图像处理？易于存储易于存储和传输和传输存储到数码相机，从存储到数码相机，从火星传回一幅图片火星传回一幅图片显示和打显示和打印需要印需要调整图片大调整图片大小，色调等小，色调等增强和增强和恢复恢复如从老的照片中去除痕如从老的照片中去除痕迹，在迹，在X光照片中，
13、提光照片中，提高肿瘤的可视性高肿瘤的可视性提取提取信息信息如从信封上自动获取如从信封上自动获取邮政编码，从航空影邮政编码，从航空影像上测量水的污染性像上测量水的污染性F为什么需要图像处理为什么需要图像处理2010年大学生数学建模竞赛 杨晓慧 图像处理算法1818通信：图象传输，电视电话，通信：图象传输，电视电话，HDTVHDTV等等宇宙探测：星体图片处理宇宙探测：星体图片处理遥感：地形、地质、矿藏探查，森林、水利、海洋、农业等资源调查，遥感：地形、地质、矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害预测，环境污染的监测，气象云图自然灾害预测，环境污染的监测，气象云图生物医学：生物医学：C
14、TCT，NMRNMR，X X射线成象，射线成象，B B超，红外图象，显微图象超，红外图象，显微图象工业生产：产品质量检测，生产过程控制，工业生产：产品质量检测，生产过程控制，CADCAD，CAMCAM交通运输交通运输军事：军事目标侦察，制导系统，警戒系统，自动火器控制，反伪装等军事：军事目标侦察，制导系统，警戒系统，自动火器控制，反伪装等公安：现场照片，指纹，手迹，印章，人像等处理和鉴别公安：现场照片，指纹，手迹，印章，人像等处理和鉴别机器人视觉机器人视觉娱乐：娱乐：电影特技，动画，广告等电影特技，动画，广告等2010年大学生数学建模竞赛 杨晓慧 图像处理算法19F数字图像处理的基本步骤数字图
15、像处理的基本步骤1.图像信息的获取图像信息的获取2.图像信息的存储图像信息的存储3.图像信息的处理图像信息的处理4.图像信息的传输图像信息的传输5.图像的输出和显示图像的输出和显示2010年大学生数学建模竞赛 杨晓慧 图像处理算法20F数字图像处理的关键步骤数字图像处理的关键步骤图像采集图像采集图像图像复原复原形态学处理形态学处理分分 割割表示表示&描述描述图像增强图像增强对象识别对象识别问题域问题域彩色图像处理彩色图像处理图像压缩图像压缩2010年大学生数学建模竞赛 杨晓慧 图像处理算法212121l图像变换图像变换l图像去噪图像去噪l图像增强与复原图像增强与复原l图像融合图像融合l图像压缩
16、图像压缩l图像分割图像分割2010年大学生数学建模竞赛 杨晓慧 图像处理算法l简介简介*由美国由美国MathWorks公司推出的计算机软件公司推出的计算机软件*目前最优秀的科学计算与数学应用软件之一目前最优秀的科学计算与数学应用软件之一*Matrix Laboratory（矩阵实验室）的简称（矩阵实验室）的简称l软件功能软件功能*矩阵代数、微积分、应用数学、有限元法及科学计算矩阵代数、微积分、应用数学、有限元法及科学计算*信号与系统、神经网络、小波分析及其应用信号与系统、神经网络、小波分析及其应用*数字图像处理、计算机图形学数字图像处理、计算机图形学*电子线路、电机学、自动控制与通信技术、力学
17、和机械振动电子线路、电机学、自动控制与通信技术、力学和机械振动2010年大学生数学建模竞赛 杨晓慧 图像处理算法l运行界面运行界面l命令窗口：交互操作（输入数据和命令）；反馈命令窗口：交互操作（输入数据和命令）；反馈 运行结果运行结果l工作空间：主要查看定义的变量；保存和加载工作空间：主要查看定义的变量；保存和加载l命令历史记录命令历史记录 显示已执行的命令显示已执行的命令l当前目录当前目录 显示当前工作路径；显示当前工作路径；主要指文件的保存主要指文件的保存2010年大学生数学建模竞赛 杨晓慧 图像处理算法l读图像文件读图像文件lI=imread（filename）l文件名用单引号；文件名用
18、单引号；A是数组变量是数组变量l如：如：A=imread（rice.tif）l查看图像文件信息查看图像文件信息linfo=imfinfo（filename）l信息包括：文件名（完整路径）；文件大小；图像的长和宽；信息包括：文件名（完整路径）；文件大小；图像的长和宽；XY方方向分辨率。向分辨率。2010年大学生数学建模竞赛 杨晓慧 图像处理算法l图像显示图像显示limshow（I）lI为用为用imread读取的图像数据读取的图像数据l颜色条颜色条lcolorbarl如：如：A=imread（rice.tif）colorbar2010年大学生数学建模竞赛 杨晓慧 图像处理算法26l 图像的代数变换
19、图像的代数变换l 图像的几何变换图像的几何变换l 图像的离散傅立叶变换图像的离散傅立叶变换l 图像的离散余弦变换图像的离散余弦变换l 图像的离散沃尔什变换图像的离散沃尔什变换l 图像的图像的K-L变换变换l 图像的小波变换图像的小波变换空域空域变换域变换域2010年大学生数学建模竞赛 杨晓慧 图像处理算法27l代数运算包括算术运算和逻辑运算代数运算包括算术运算和逻辑运算l算术运算：算术运算：l加法运算：加法运算：C(x,y)=A(x,y)+B(x,y)l减法运算：减法运算：C(x,y)=A(x,y)-B(x,y)l乘法运算：乘法运算：C(x,y)=A(x,y)*B(x,y)l除法运算：除法运算
20、：C(x,y)=A(x,y)/B(x,y)l逻辑运算：逻辑运算：l非运算：非运算：g(x,y)=255-f(x,y)l异或运算：异或运算：g(x,y)=f(x,y)h(x,y)l或运算：或运算：g(x,y)=f(x,y)v v h(x,y)l与运算：与运算：g(x,y)=f(x,y)h(x,y)2010年大学生数学建模竞赛 杨晓慧 图像处理算法2010年大学生数学建模竞赛 杨晓慧 图像处理算法292010年大学生数学建模竞赛 杨晓慧 图像处理算法30 （a）原图）原图 （b）梯度运算）梯度运算2010年大学生数学建模竞赛 杨晓慧 图像处理算法31l图像的几何变换主要包括：图像的几何变换主要包括
21、：l平移变换平移变换l旋转变换旋转变换l镜像变换镜像变换l 水平镜像l 垂直镜像l缩放变换缩放变换l熟悉矩阵运算对于实现这些变换非常有帮助熟悉矩阵运算对于实现这些变换非常有帮助 2010年大学生数学建模竞赛 杨晓慧 图像处理算法32F几何变换几何变换l几何运算可以改变图像中物体之间的空间关系。这种运算可以看几何运算可以改变图像中物体之间的空间关系。这种运算可以看成是图像内的各物体在图像内移动的过程。例如，物体的转动、成是图像内的各物体在图像内移动的过程。例如，物体的转动、扭曲、倾斜、拉伸等等，都是几何运算的结果。扭曲、倾斜、拉伸等等，都是几何运算的结果。2010年大学生数学建模竞赛 杨晓慧 图
22、像处理算法330,0 xyl 旋旋 转转2010年大学生数学建模竞赛 杨晓慧 图像处理算法340,0 xyl 水平镜像2010年大学生数学建模竞赛 杨晓慧 图像处理算法350,0 xyl 垂直镜像2010年大学生数学建模竞赛 杨晓慧 图像处理算法36l 平移平移00(,)(,)a x yxxb x yyy00(,)10(,)0110011a x yxxb x yyy dyyxbcxyxa),(),(110000001),(),(yxdcyxbyxal 放缩放缩平移变换和放缩变换平移变换和放缩变换 2010年大学生数学建模竞赛 杨晓慧 图像处理算法37(,)cos()sin()(,)sin()c
23、os()a x yxyb x yxy(,)cos()sin()0(,)sin()cos()010011a x yxb x yy 旋转变换旋转变换 2010年大学生数学建模竞赛 杨晓慧 图像处理算法38图像空间域图像空间域图像频域图像频域图像空间域图像空间域正变换正变换逆变换逆变换处理起来处理起来更有效更有效更方便更方便更快捷更快捷2010年大学生数学建模竞赛 杨晓慧 图像处理算法39F函数的稀疏表示函数的稀疏表示设 是Hilbert空间 的一组标准正交基，则 可分解为 非线性逼近 其中，对应于最大系数幅值 的M个向量H,MMmmm Iff ggmm NBgfH 0,mmmff ggMI|,|m
24、f g2010年大学生数学建模竞赛 杨晓慧 图像处理算法40n waveletn 有限的方向性和各向同性有限的方向性和各向同性n X-let(Multiscale geometric analysis,MGA-let)n 多方向性和各向异性多方向性和各向异性2010年大学生数学建模竞赛 杨晓慧 图像处理算法41u噪声可以理解为妨碍人的噪声可以理解为妨碍人的视觉器官视觉器官或或系统传感器系统传感器对所接收图像源对所接收图像源信息进行理解或分析的各种因素。信息进行理解或分析的各种因素。n伴随着数字图像处理技术的发展，图像去噪伴随着数字图像处理技术的发展，图像去噪(Denoising)技术几乎技术几
25、乎渗透于所有的工程领域。图像去噪从渗透于所有的工程领域。图像去噪从上世纪七、八十年代上世纪七、八十年代就引起就引起了人们的注意，并在其后的二、三十年中得到了蓬勃的发展。但了人们的注意，并在其后的二、三十年中得到了蓬勃的发展。但直到现在因为新问题的不断出现，图像去噪技术和理论的发展还直到现在因为新问题的不断出现，图像去噪技术和理论的发展还远远远远没有结束没有结束。u其最终其最终目的目的是改善给定图像的质量，是改善给定图像的质量，解决解决实际图像由于噪声干扰实际图像由于噪声干扰而导致图像而导致图像质量下降质量下降的问题。的问题。F图像去噪图像去噪(Image Denoise)2010年大学生数学建
26、模竞赛 杨晓慧 图像处理算法42l高斯（高斯（Gaussian）噪声噪声l瑞利（瑞利（Rayleigh）噪声噪声l伽马（伽马（爱尔兰）噪声爱尔兰）噪声l指数（指数（Exponential）噪声噪声l均匀（均匀（Uniform）噪声噪声l脉冲（椒盐）噪声脉冲（椒盐）噪声GaussianRayleighErlangExponentialUniformImpulse2010年大学生数学建模竞赛 杨晓慧 图像处理算法43l均值滤波器均值滤波器l 算术均值滤波器l 几何均值滤波器l 谐波均值滤波器l 逆谐波均值滤波器l顺序统计滤波器顺序统计滤波器l 中值滤波器l 最大值/最小值滤波器l自适应滤波器自适应
27、滤波器2010年大学生数学建模竞赛 杨晓慧 图像处理算法受椒盐噪声干扰的图像（概率 Pa=Pb=0.25）7*7 中值滤 波 器 滤波的结果自 适 应 中 值滤 波 的 结 果（Smax=7）2010年大学生数学建模竞赛 杨晓慧 图像处理算法受正弦噪声干扰的图像干扰图像的Fourier频谱Butterworth 带阻滤波器滤波图像2010年大学生数学建模竞赛 杨晓慧 图像处理算法(Image Enhancement)46l图像增强的目的是图像增强的目的是改善图像的视觉效果改善图像的视觉效果，针对给定图像的应，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，扩大图像中用场合，有目的地强
28、调图像的整体或局部特性，扩大图像中不同物体特征之间的差别，满足某些特殊分析的需要。不同物体特征之间的差别，满足某些特殊分析的需要。l其方法是通过一定手段对原图像附加一些信息或变换数据，其方法是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制有选择地突出图像中感兴趣的特征或者抑制(掩盖掩盖)图像中某图像中某些不需要的特征，使图像与视觉响应特性相匹配。些不需要的特征，使图像与视觉响应特性相匹配。l 图像图像平滑平滑和和锐化锐化处理可以实现图像增强的目的。处理可以实现图像增强的目的。2010年大学生数学建模竞赛 杨晓慧 图像处理算法47l图像增强按所用方法可分成图像
29、增强按所用方法可分成频率域法频率域法和和空间域法空间域法。l前者把图像看成一种二维信号，对其进行基于二维傅里叶变前者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波（即只让低频信号通过）法，换的信号增强。采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。具有代表性的空间域算法有信号，使模糊的图片变得清晰。具有代表性的空间域算法有局部求平均值法和中值滤波（取局部邻域中的中间像素值）局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除
30、或减弱噪声。法等，它们可用于去除或减弱噪声。2010年大学生数学建模竞赛 杨晓慧 图像处理算法48F图像增强实例图像增强实例 12010年大学生数学建模竞赛 杨晓慧 图像处理算法49F图像增强实例图像增强实例 22010年大学生数学建模竞赛 杨晓慧 图像处理算法l图像退化图像退化：图像在形成、记录、处理和传输过程中，由于成像系统：图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理方法的不完善，从而导致的图像质量、记录设备、传输介质和处理方法的不完善，从而导致的图像质量下降下降l图像复原图像复原就是对退化的图像进行处理，试图恢复损坏的图像，还原就是对退化的图像进行处理，试
31、图恢复损坏的图像，还原真面目真面目l确定损坏过程，并尝试其逆过程进行复原确定损坏过程，并尝试其逆过程进行复原l类似于图像增强，但更加客观类似于图像增强，但更加客观2010年大学生数学建模竞赛 杨晓慧 图像处理算法5151l图像复原技术：图像复原技术：l退化函数估计：退化函数估计：l 图像观察估计法l 试验估计法l 模型估计法l图像去噪：可以使用空间域或频率域滤波器实现图像去噪：可以使用空间域或频率域滤波器实现l逆滤波逆滤波l维纳滤波维纳滤波2010年大学生数学建模竞赛 杨晓慧 图像处理算法52F图像复原实例 1变形图像变形图像 几何校正后的图像几何校正后的图像 2010年大学生数学建模竞赛 杨
32、晓慧 图像处理算法53F图像复原实例图像复原实例 22010年大学生数学建模竞赛 杨晓慧 图像处理算法54F图像融合图像融合(Image Fusion)l图像融合是把多个不同传感器获得的同一场景的多幅图像图像融合是把多个不同传感器获得的同一场景的多幅图像,或同一或同一传感器在不同时刻获得的同一场景的多幅图像传感器在不同时刻获得的同一场景的多幅图像,利用信息彼此之间利用信息彼此之间的的互补性互补性和和冗余性冗余性,合成为一幅图像的过程合成为一幅图像的过程.l融合后的图像可以更全面、更精确地描述处理对象融合后的图像可以更全面、更精确地描述处理对象,更有利于人类更有利于人类视觉系统和计算机视觉视觉系
33、统和计算机视觉.l融合效果直接影响到后继的图像分割、特征提取和目标识别等融合效果直接影响到后继的图像分割、特征提取和目标识别等l因此因此,图像融合技术现已广泛应用于军事、遥感、计算机视觉和医图像融合技术现已广泛应用于军事、遥感、计算机视觉和医学图像等方面学图像等方面2010年大学生数学建模竞赛 杨晓慧 图像处理算法55l高效的图像融合方法高效的图像融合方法可以根据需要综合处理多源通道的信息，从可以根据需要综合处理多源通道的信息，从而有效地提高了图像信息的利用率、系统对目标探测识别地可靠而有效地提高了图像信息的利用率、系统对目标探测识别地可靠性及系统的自动化程度。性及系统的自动化程度。l其其目的
34、目的是将单一传感器的多波段信息或不同类传感器所提供的信是将单一传感器的多波段信息或不同类传感器所提供的信息加以息加以综合综合，消除多传感器信息之间可能存在的冗余和矛盾，以，消除多传感器信息之间可能存在的冗余和矛盾，以增强影像中信息透明度，改善解译的精度、可靠性以及使用率，增强影像中信息透明度，改善解译的精度、可靠性以及使用率，以形成对目标的清晰、完整、准确的信息描述。以形成对目标的清晰、完整、准确的信息描述。2010年大学生数学建模竞赛 杨晓慧 图像处理算法56F图像融合的三个层次图像融合的三个层次l一般情况下，图像融合由低到高分为三个层次：一般情况下，图像融合由低到高分为三个层次：数据级融合
35、数据级融合、特特征级融合征级融合、决策级融合决策级融合。l数据级融合也称像素级融合，是指直接对传感器采集来得数据进数据级融合也称像素级融合，是指直接对传感器采集来得数据进行处理而获得融合图像的过程，它是高层次图像融合的基础，也行处理而获得融合图像的过程，它是高层次图像融合的基础，也是目前图像融合研究的重点之一。这种融合的优点是保持尽可能是目前图像融合研究的重点之一。这种融合的优点是保持尽可能多得现场原始数据，提供其它融合层次所不能提供的细微信息。多得现场原始数据，提供其它融合层次所不能提供的细微信息。2010年大学生数学建模竞赛 杨晓慧 图像处理算法57l像素级融合像素级融合中有空间域算法和变
36、换域算法，空间域算法中又有多中有空间域算法和变换域算法，空间域算法中又有多种融合规则方法，如逻辑滤波法，灰度加权平均法，对比调制法种融合规则方法，如逻辑滤波法，灰度加权平均法，对比调制法等；变换域中又有金字塔分解融合法，小波变换法。其中的小波等；变换域中又有金字塔分解融合法，小波变换法。其中的小波变换是当前最重要，最常用的方法。变换是当前最重要，最常用的方法。l在在特征级融合特征级融合中，保证不同图像包含信息的特征，如红外光对于中，保证不同图像包含信息的特征，如红外光对于对象热量的表征，可见光对于对象亮度的表征等等。对象热量的表征，可见光对于对象亮度的表征等等。l决策级融合决策级融合主要在于主
37、观的要求，同样也有一些规则，如贝叶斯主要在于主观的要求，同样也有一些规则，如贝叶斯法，法，D-SD-S证据法和表决法等。证据法和表决法等。2010年大学生数学建模竞赛 杨晓慧 图像处理算法58F应用背景应用背景多聚焦图像融合多聚焦图像融合 如图可以看出，左边图像的小钟表模糊大钟表清晰，而右边图像正好相反。这一如图可以看出，左边图像的小钟表模糊大钟表清晰，而右边图像正好相反。这一组图像即为组图像即为多聚焦多聚焦图像图像 通过图像融合，可以利用两个源图像的互补性和冗余性，从而获得两边都比较清通过图像融合，可以利用两个源图像的互补性和冗余性，从而获得两边都比较清晰的融合图像晰的融合图像2010年大学
38、生数学建模竞赛 杨晓慧 图像处理算法59F应用背景应用背景医学图像融合医学图像融合CT(Computer tomography)电子计算机电子计算机体层成像体层成像 MRI(Magnetic resonance Imaging)核磁共振成像核磁共振成像CT/MRI图像的融合是目前医学图像融合的一个常用模式。CT图像的空间分辨率较高，显示骨质清晰，对病灶的定位提供了良好的参照，但对病灶本身的显示较差；MRI图像的软组织分辨率比较好，有利于病灶范围的确定，但它比较缺乏刚性的骨组织作为定位参照。这两种图像进行融合，有利于充分利用两种图像的优点，获得更利于临床的图像模式.2010年大学生数学建模竞赛
39、杨晓慧 图像处理算法60可见光的波长为：0.38-0.78微米。照相机成像得到照片，电视摄像机成像得到电视图像，都是可见光成像。红外线，又称红外辐射，是指波长为0.781000微米的电磁波。其中波长为0.782.0微米的部分称为近红外，波长为2.01000微米的部分称为热红外线。目标的热图像是目标表面温度分布图像，换句话说，红外热成像使人眼不能直接看到目标的表面温度分布，变成人眼可以看到的代表目标表面温度分布的热图像。F应用背景应用背景红外与可见光图像红外与可见光图像2010年大学生数学建模竞赛 杨晓慧 图像处理算法612010年大学生数学建模竞赛 杨晓慧 图像处理算法62F基本的形态学算法l
40、主要操作：腐蚀、膨胀；开操作、闭操作主要操作：腐蚀、膨胀；开操作、闭操作l主要应用主要应用l提取对于描绘和表达形状有用的图像成分提取对于描绘和表达形状有用的图像成分l形状：边界、连通分量、凸壳和骨架等形状：边界、连通分量、凸壳和骨架等l主要算法：提取边界、区域填充、细化等主要算法：提取边界、区域填充、细化等l说明：说明：二值图像中目标对象中的像素（值为二值图像中目标对象中的像素（值为1 1的像素）用阴影表示的像素）用阴影表示，否则显示为白色，否则显示为白色2010年大学生数学建模竞赛 杨晓慧 图像处理算法63F基本的形态学算法l 例：使用形态学处理提取边界、区域填充和细化例：使用形态学处理提取
41、边界、区域填充和细化2010年大学生数学建模竞赛 杨晓慧 图像处理算法64l为什么需要压缩：为什么需要压缩：l举例举例1：一张：一张A4(210mm297mm)大小的照片，若用中等分辨大小的照片，若用中等分辨率率(300dpi)的扫描仪按真彩色扫描，其数据量为多少？（注：的扫描仪按真彩色扫描，其数据量为多少？（注：dpi表示每英寸像素，表示每英寸像素，1英寸英寸25.4mm）l 若按每像素3个字节计算，上述结果为约26Ml举例举例2：目前的：目前的WWW互联网包含大量的图像信息，如果图像互联网包含大量的图像信息，如果图像信息的数据量太大，会使本来就已经非常紧张的网络带宽变得信息的数据量太大，会
42、使本来就已经非常紧张的网络带宽变得更加不堪重负（更加不堪重负（World Wide Web变成了变成了World Wide Wait）2010年大学生数学建模竞赛 杨晓慧 图像处理算法65l视频数据量：视频数据量：l对于电视画面的分辨率对于电视画面的分辨率640*480的彩色图像，每秒的彩色图像，每秒30帧，则一帧，则一秒钟的数据量为：秒钟的数据量为：640*480*24*30=221.12Ml实时传输：在实时传输：在10M带宽网上实时传输的话，需要压缩到原来数带宽网上实时传输的话，需要压缩到原来数据量的据量的0.045l存储：存储：1张张CD可存可存640M，如果不进行压缩，如果不进行压缩，
43、1张张CD则仅可以则仅可以存放存放2.89秒的数据秒的数据l可见，单纯依靠增加存储器容量和改善信道带宽无法满足需求，可见，单纯依靠增加存储器容量和改善信道带宽无法满足需求，必须进行压缩必须进行压缩2010年大学生数学建模竞赛 杨晓慧 图像处理算法l图像数据的压缩机理来自两个方面：一是利用图像中存在大量冗图像数据的压缩机理来自两个方面：一是利用图像中存在大量冗余度可供压缩；二是利用人眼的视觉特性。余度可供压缩；二是利用人眼的视觉特性。1)空间冗余度空间冗余度：大多数图像内相邻像素之间有较大的相关性。：大多数图像内相邻像素之间有较大的相关性。2)时间冗余度时间冗余度：序列图像前后帧之间的较大的相关
44、性。：序列图像前后帧之间的较大的相关性。3)频率域冗余度频率域冗余度：多光谱遥感图像各谱间有相关性。：多光谱遥感图像各谱间有相关性。4)符号冗余度符号冗余度：若用相同码长表示不同出现概率的符号会造成比：若用相同码长表示不同出现概率的符号会造成比特数的浪费，即符号冗余度。特数的浪费，即符号冗余度。(采用变长编码技术，对出现概采用变长编码技术，对出现概率高的符号用短码字表示，对出现概率低的符号用长码字率高的符号用短码字表示，对出现概率低的符号用长码字)5)视觉冗余度视觉冗余度：允许图像编码有一定的失真也是图像可以压缩的：允许图像编码有一定的失真也是图像可以压缩的一个重要原因。一个重要原因。图像编码
45、技术就是要把种种压缩的可能性变为现实。图像编码技术就是要把种种压缩的可能性变为现实。2010年大学生数学建模竞赛 杨晓慧 图像处理算法l 图像压缩方法通常是为一类特定图像而设计。图像压缩方法通常是为一类特定图像而设计。方法方法1：游程编码：游程编码+变长码变长码方法方法2：上下文模型：上下文模型+算术编码算术编码方法方法3：将：将2n级灰度分成级灰度分成n个位平面，分别用个位平面，分别用RLE和前缀码对其进和前缀码对其进 行压缩行压缩方法方法4：用上下文预测，对预测的偏差用变长码：用上下文预测，对预测的偏差用变长码方法方法5：变换后编码：变换后编码方法方法6：将彩色图像分离为：将彩色图像分离为
46、3个彩色分量，然后分别压缩每一个个彩色分量，然后分别压缩每一个方法方法7：对于离散色调图像采用块分解法：对于离散色调图像采用块分解法方法方法8：分形压缩：分形压缩2010年大学生数学建模竞赛 杨晓慧 图像处理算法原图原图解压图解压图2010年大学生数学建模竞赛 杨晓慧 图像处理算法l制定图像标准的国际组织是制定图像标准的国际组织是ISO（国际标准化组织）和国际标准化组织）和CCITT（国际电报电话咨询委员会）国际电报电话咨询委员会）l静止图像：静止图像：JPEG（Joint Photographic Expert Group，联合图联合图像专家组像专家组）l通常为通常为有损压缩有损压缩（采用（
47、采用DCT变换编码），变换编码），JPEG是目前静是目前静态图像压缩比最高的，但失真的程度非常小态图像压缩比最高的，但失真的程度非常小l也支持也支持无损压缩无损压缩（采用预测编码），但压缩比降低（无损（采用预测编码），但压缩比降低（无损压缩的压缩比总有个极限）压缩的压缩比总有个极限）l运动图像：运动图像：MPEG（Moving Picture Expert Group，运动图像运动图像专家组）专家组）2010年大学生数学建模竞赛 杨晓慧 图像处理算法l图象分割是一个将一幅数字图象划分为不交叠的、连通的象素集图象分割是一个将一幅数字图象划分为不交叠的、连通的象素集的过程，其中一个对应于背景，其他
48、的则对应于图象中的各个物的过程，其中一个对应于背景，其他的则对应于图象中的各个物体。体。l图像分割的目标是重点图像分割的目标是重点根据图像中的物体将图像的像素分类，根据图像中的物体将图像的像素分类，并并提取感兴趣目标提取感兴趣目标。2010年大学生数学建模竞赛 杨晓慧 图像处理算法71模式识别的三个主要阶段：图像分割特征抽取分类模式识别的三个主要阶段：图像分割特征抽取分类 图像分割图像分割：在该阶段检测出各个物体，并把它们的图像和其余景物分离。：在该阶段检测出各个物体，并把它们的图像和其余景物分离。特征提取特征提取：在该阶段中对物体进行度量。一个度量是指一个物体某个可度：在该阶段中对物体进行度
49、量。一个度量是指一个物体某个可度量的度量值，而特征是一个或多个度量的函数。通过计算可以对物体的一量的度量值，而特征是一个或多个度量的函数。通过计算可以对物体的一些重要特性进行定量化表示。特征提取过程产生了一组特征，把它们组合些重要特性进行定量化表示。特征提取过程产生了一组特征，把它们组合在一起形成了特征向量。在一起形成了特征向量。分类分类：以特征向量为依据，输出一种决策，确定每个物体应该归属的类别。：以特征向量为依据，输出一种决策，确定每个物体应该归属的类别。2010年大学生数学建模竞赛 杨晓慧 图像处理算法l分割算法是基于灰度值的两个基本特性：不连续性和相似性。分割算法是基于灰度值的两个基本
50、特性：不连续性和相似性。第一类性质的应用途径是基于灰度的不连续变化分割图像，比第一类性质的应用途径是基于灰度的不连续变化分割图像，比如图像的边缘。第二类的主要途径是依据事先制定的准则将图如图像的边缘。第二类的主要途径是依据事先制定的准则将图像分割为相似的区域。像分割为相似的区域。l图像分割有三种不同的途径，其一是将各像素划归到相应物体图像分割有三种不同的途径，其一是将各像素划归到相应物体或区域的像素聚类方法即区域法，其二是通过直接确定区域间或区域的像素聚类方法即区域法，其二是通过直接确定区域间的边界来实现分割的边界方法，其三是首先检测边缘像素再将的边界来实现分割的边界方法，其三是首先检测边缘像
