1、医学图像配准和融合第七章 医学图像配准与融合 Medical Image registration and fusion 医学图像配准和融合主要内容理论理论方法方法评估评估方法方法评估评估背景背景意义意义医学图像配准和融合背景医学影像设备在最近十年中得到迅速的发展，并广泛应用于临床诊断和治疗中。由于成像的原理和设备不同，存在有多种成像模式（解剖成像、功能成像）。对人脑可用多种模式成像医学图像配准和融合意义 解剖图像：提供解剖形态信息，分辨率高 功能图像：提供功能代谢信息，分辨率差 二者结合：在一幅图像中同时表达来自人体多方面的信息，使人体内部结构和功能等状况能通过影像反映出来，直观提供人体解剖
2、生理病理信息。于是出现了配准和融合技术，配准是融合的先决条件医学图像配准和融合临床应用 外科手术 术前病灶精确定位 放疗计划 CT图像精确计算放射剂量、MR图像描述肿瘤结构，PET对代谢、免疫及生理方面进行识别，配准融合后图像用于改进放疗计划、立体定向活检、手术 癫痫病治疗 观察炎症、脑外伤、硬化症等变化、病灶精确定位医学图像配准和融合（image registration）医学图像配准是指对于一幅医学图像寻求一种（或一系列）空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。这种一致是指人体上的同一解剖点在两张匹配图像上有相同的空间位置（位置一致，角度一致、大小一致）。、目的：将多种成
3、像模式或同一种模式得到的多幅 图像综合分析，更好的了解组织情况解决的问题：几幅图像的严格对齐医学图像配准和融合几幅图像信息综合的结果称作图像的融合（image fusion）。利用图像融合技术，将多种图像结合起来，利用各自的信息优势，在一幅图像上同时表达来自人体的多方面信息，使人体内部的结构、功能等多方面的状况通过影像反映出来，从而更加直观地提供人体解剖、生理及病理等信息。图像配准技术是图像融合的先决条件医学图像配准和融合图像配准示意图图像配准示意图配准实现过程：配准实现过程：1.获得特征图像：不同角度，不同位置，反映某些方面的特征2.图像配准：通过空间变换（移动和旋转），使两幅图像对齐3.图
4、像融合：得到整体特征图像医学图像配准和融合实例实例：医学图像配准和融合方法分类：1993年VDE 7种 按维数：2D、3D 按摸态：单、多 按变换性质：按用户交互性：自动、半自动、交互 按配准所基于图像特征：外、内 按变换参数确定的方式：公式、最优解 按主体分：同一患者、不同患者、患者与图谱医学图像配准和融合刚体变换刚体变换：指物体内部任意两点间的距离及平行关系保持：指物体内部任意两点间的距离及平行关系保持 不变（处理人脑图像，对不同方向成像不变（处理人脑图像，对不同方向成像的图像配的图像配 准常使用刚体变换）准常使用刚体变换）仿射变换仿射变换：保持平行性，但距离发生变化，直线还是直线：保持平
5、行性，但距离发生变化，直线还是直线 （校正成像设备的误差产生的畸变）（校正成像设备的误差产生的畸变）投影变换投影变换：直线映射成直线，平行性和两点间的距离变化：直线映射成直线，平行性和两点间的距离变化 （二维投影图像与三维图像的配准）（二维投影图像与三维图像的配准）弯曲变换弯曲变换：直线变成曲线：直线变成曲线 (解剖图谱变形拟合图像数据解剖图谱变形拟合图像数据)医学图像配准和融合单模配准的典型应用：单模配准的典型应用：（1 1）不同不同MRMR加权像间的配准加权像间的配准T1 T1 加权像加权像T2 T2 加权像加权像质子密度加权像质子密度加权像不同组织表现不同强度不同组织表现不同强度信息互补
6、信息互补（2 2）电镜图像序列的配准电镜图像序列的配准不同时间采集的多幅图像不同时间采集的多幅图像（时间序列图像）（时间序列图像）粒子移动，形态变化粒子移动，形态变化研究生长现象研究生长现象医学图像配准和融合单模配准的典型应用：单模配准的典型应用：（3 3）fMRIfMRI图像序列的配准图像序列的配准（4 4）胸腹部脏器的图像配准胸腹部脏器的图像配准不同时刻的三维脏器图像不同时刻的三维脏器图像四维图像分析四维图像分析时间序列图像，大脑活动会产生氧摄取量和血流间的不平衡时间序列图像，大脑活动会产生氧摄取量和血流间的不平衡MRIMRI图像测得信号的改变图像测得信号的改变解决：参考点位置确定（定位问
7、题）解决：参考点位置确定（定位问题）运动过程中的局部变形和噪声问题运动过程中的局部变形和噪声问题医学图像配准和融合多模医学图像配准：多模医学图像配准：待配准的两幅图像来源于不同的成像设备。待配准的两幅图像来源于不同的成像设备。解剖图像：解剖图像：CTCT：对密度差异较大的组织效果好：对密度差异较大的组织效果好MRIMRI：可识别软组织：可识别软组织较高的空间分辨率较高的空间分辨率功能图像：功能图像：SPECT/PETSPECT/PET：能反映人体的功能和代谢信息：能反映人体的功能和代谢信息空间分辨率差空间分辨率差一般临床上的应用：一般临床上的应用：CTCT（或（或MRIMRI）和）和SPECT
8、SPECT（或（或PETPET）的综合分）的综合分析，同时提供功能和解剖信息析，同时提供功能和解剖信息医学图像配准和融合多模医学图像配准：多模医学图像配准：人脑人脑MR/PETMR/PET图像配准图像配准上排：轴向图；上排：轴向图；中间：矢状图；中间：矢状图；下排：冠壮图下排：冠壮图左：左：PETPET图像；图像；中：中：MRIMRI图像；图像；右：融合图像右：融合图像医学图像配准和融合不同对象的图像配准不同对象的图像配准被试图像被试图像典型正常图像典型正常图像疾病的典型图像疾病的典型图像对比对比是否出现异常是否出现异常是否属于同类是否属于同类难点：不同对象形状、大小、位置差异难点：不同对象形
9、状、大小、位置差异方法：方法：1 1）确定一个共同的标准。）确定一个共同的标准。要求有一个详细标记人体各个解剖位置的计算机化标要求有一个详细标记人体各个解剖位置的计算机化标准图谱，如准图谱，如TalairachTalairach标准空间，把两幅图像分别映射到图标准空间，把两幅图像分别映射到图谱，再比较谱，再比较医学图像配准和融合TalairachTalairach人脑图谱人脑图谱 对两个病人的对两个病人的PETPET或或MRMR图象进行比较，首先把二者的图像图象进行比较，首先把二者的图像都映射到这个共同的参考空间，然后再比较都映射到这个共同的参考空间，然后再比较不同对象的图像配准方法：不同对象
10、的图像配准方法：胼胝体胼胝体医学图像配准和融合用非线性变换法配准不同人脑表面沟回用非线性变换法配准不同人脑表面沟回2 2）非线性形变法）非线性形变法 将三维图像逐渐变形，最终较好的与另一个三维图将三维图像逐渐变形，最终较好的与另一个三维图像匹配像匹配不同对象的图像配准方法：不同对象的图像配准方法：医学图像配准和融合图像与图谱配准或与物理空间配准图像与图谱配准或与物理空间配准在手术导航系统中解决图像像素与实际物理空间的位置配准在手术导航系统中解决图像像素与实际物理空间的位置配准图像空间图像空间立体定向装置、人体实体空间立体定向装置、人体实体空间坐标变换坐标变换实现方法：实现方法：医学图像配准和融
11、合配准理论基础每一幅待配准的图像都与定义图像空间的坐标系有关。一般情况下，图像配准都是基于几何变换的，即寻找一幅图像空间X中的点（用列向量x表示）与另一幅图像空间Y中的点（用列向量y表示）之间的映射。X经T变换后得到点x，即：x=T(x)如果y与x是对应点，则成功的配准应该使得x等于或近似等于y，若两者之间的差值T(x)-y 非零，则说明存在配准误差。根据空间变换T的形式不同，可将其分为刚体变换和非刚体变换两种形式。医学图像配准和融合图像的变换模型图像的变换模型：刚体变换（二维刚体变换、三维刚体变换）刚体变换（二维刚体变换、三维刚体变换）全局尺度变换全局尺度变换 仿射变换仿射变换（9 9参数仿
12、射变换、一般仿射变换）参数仿射变换、一般仿射变换）透视变换透视变换*非线性空间变换非线性空间变换*医学图像配准和融合医学图像配准在大多数情况下是采用刚体变换模型。医学图像配准在大多数情况下是采用刚体变换模型。人体的很多组织可以人体的很多组织可以近似近似为刚体，如骨头、由颅骨固定为刚体，如骨头、由颅骨固定的大脑等的大脑等刚体变换：刚体变换：平移平移、旋转旋转刚体变换刚体变换医学图像配准和融合 二维刚体变换：沿二维刚体变换：沿x x轴平移：轴平移：向右平移p为正向左平移p为负矩阵公式：11*1*0*01*0*1*01*0*11100010011ypxyxyxpyxyxpyx变换公式：yypxx 其
13、中x与y是平移后的结果从（x,y)变到新坐标系（x,y)医学图像配准和融合沿沿y y轴平移：轴平移：向上平移q为正向下平移q为负矩阵公式：11*1*0*01*1*01*0*11100100011qyxyxqyxyoxyxqyx变换公式：qyyxx 其中x与y是平移后的结果医学图像配准和融合绕坐标原点旋转：绕坐标原点旋转：矩阵公式：1coscoscossincossincos1*1*0*01*0*cos*sin1*0*sin*cos11000cossin0sincos1 yxyxyxyxyxyxyx变换公式：cossinsincosyxyyxx医学图像配准和融合复合变换：复合变换：不同顺序的变换
14、得到的结果是不同。不同顺序的变换得到的结果是不同。先沿x轴平移，再沿y轴平移，最后绕原点旋转110001001100100011000cossin0sincos1yxpqyx先绕原点旋转，再沿y轴平移，最后沿x轴平移11000cossin0sincos10010001100010011yxqpyx医学图像配准和融合举例：设刚体变换先绕坐标原点旋转10，再沿x轴平移4个单位，然后沿y轴平移9个单位 110049848.01736.091736.09848.011000)10cos()10sin(0)10sin()10cos(10001040110091000110000yxyxyx设刚体变换先沿
15、x轴平移4个单位，再沿y轴平移9个单位，然后绕坐标原点旋转10 11001688.89848.01736.05016.51736.09848.011000104011009100011000)10cos()10sin(0)10sin()10cos(10000yxyxyx医学图像配准和融合 11000103764.2011005579.9100011000)10cos()10sin(0)10sin()10cos(110049848.01736.091736.09848.010000yxyxyx对于一个给定的变换结果，可以有许多不同的变换途径先沿X轴平移2.3764个单位再沿Y轴平移9，5579个
16、单位最后绕坐标原点旋转10度医学图像配准和融合 三维刚体变换：沿三维刚体变换：沿x x轴平移轴平移向右平移p为正向左平移p为负矩阵公式：111000010000100011zypxzyxpzyx变换公式：zzyypxx,其中x,y,z是平移后的结果医学图像配准和融合沿沿y y轴平移：轴平移：向上平移q为正向下平移q为负矩阵公式：变换公式：zzxxqyy,111000010001000011zqyxzyxqzyx 其中x,y,z是平移后的结果医学图像配准和融合沿沿z z轴平移：轴平移：向前平移r为正向后平移r为负矩阵公式：变换公式：yyxxrzz,111000100001000011rzyxzy
17、xrzyx 其中x,y,z是平移后的结果医学图像配准和融合绕坐标轴旋转：绕坐标轴旋转：绕x轴旋转：1cossinsincos110000cossin00sincos000011 zyzyxzyxzyx绕y轴旋转：cos0sin0cossin0100sin0cos0sincos1000111xxxzyyyzzxz 绕z轴旋转：1cossinsincos11000010000cossin00sincos1zyxyxzyxzyx 医学图像配准和融合复合变换：复合变换：结合先旋转、后平移，及先平移后旋转，共有12种不同的组合顺序。对于先旋转后平移有：110000cossin00sincos000011
18、0000cos0sin00100sin0cos1000010000cossin00sincos10001000100011zyxrqpzyx 与二维复合变换相同，不同顺序的变换得到的结果是不同与二维复合变换相同，不同顺序的变换得到的结果是不同;对于一个给定的变换结果，可以有许多不同的变换途径对于一个给定的变换结果，可以有许多不同的变换途径医学图像配准和融合全局尺度变换在刚体变换基础上增加一个新参数m，使图像全局缩放m倍 1110000000000001mzmymxzyxmmmzyx时时，图图像像大大小小不不变变当当时时，图图像像缩缩小小；时时，图图像像放放大大；当当当当111 mmm注：尺度变
19、换与平移变换的顺序有影响，但与旋转变换顺注：尺度变换与平移变换的顺序有影响，但与旋转变换顺序无关。序无关。医学图像配准和融合（3）仿射变换9参数仿射变换各方向上尺度变换系数不同，zyxmmm 1100000000000010000cossin00sincos0000110000cos0sin00100sin0cos1000010000cossin00sincos10001000100011zyxmmmrqpzyxzyx 1 1）对于同一个人的图像配准，可以在做旋转变换之前做尺）对于同一个人的图像配准，可以在做旋转变换之前做尺度缩放度缩放2 2）对于不同人的图像配准，可以先旋转对准图谱，然后做）
20、对于不同人的图像配准，可以先旋转对准图谱，然后做三个方向的尺度缩放三个方向的尺度缩放医学图像配准和融合基本的二维仿射变换举例：沿X轴整体旋转沿Y轴沿X扩大整体扩大/缩小沿Y扩大原图不改变面积改变面积医学图像配准和融合 一般仿射变换二维仿射变换：11001232221131211yxeeeeeeyx 110001343332312423222114131211zyxeeeeeeeeeeeezyx三维仿射变换：无需计算正弦和余弦，由变换参数决定变换结果无需计算正弦和余弦，由变换参数决定变换结果医学图像配准和融合（4）透视变换直线经变换后还是直线，但平行的直线经变换后可能相交。医学图像配准和融合（5
21、）非线性变换无线性约束，一般用于校正图像获取过程中由仪器设备引入的畸变医学图像配准和融合 点法 曲线法 表面法 矩和主轴法 相关法 最大互信息配准方法 图谱法 非线性变换医学图像配准和融合（1 1）点法）点法先寻找两幅图像之间的标志点（相同的点），然后通过对先寻找两幅图像之间的标志点（相同的点），然后通过对对应点集的刚体变换，将标志点对准，实现图像配准对应点集的刚体变换，将标志点对准，实现图像配准标志点可以分为：标志点可以分为：内部点内部点和和外部点外部点两种两种内部点：是从与病人相关的图像性质中内部点：是从与病人相关的图像性质中 得到解剖标志点，如耳蜗尖得到解剖标志点，如耳蜗尖端端 拐角、血
22、管分叉或拐角处等拐角、血管分叉或拐角处等 内部点寻找困难、费时内部点寻找困难、费时外部点：采集图像前，在病人的特定部位添加标记，使外部点：采集图像前，在病人的特定部位添加标记，使 得两幅图像都能检测到标记点，如螺钉、记得两幅图像都能检测到标记点，如螺钉、记号号 外部点容易识别，但受试者需要严格保持不外部点容易识别，但受试者需要严格保持不动动 医学图像配准和融合图像1图像2确定标志点几何变换配准图像寻找对应点确定对应关系医学图像配准和融合（2）曲线法用人工的方法寻找两幅图像对应的开曲线，在两条曲线对应最佳的线段找出一组对应点，再用点法配准ridge lines（脊线）医学图像配准和融合“帽子帽子
23、”从一幅图像轮廓提取的点集从一幅图像轮廓提取的点集头表面模型头表面模型另一幅图像表面另一幅图像表面（3）表面法配准原则：寻找到的几何变换使得点与表面间的距离平 均平方值最小医学图像配准和融合（4）矩和主轴法计算两幅图像像素点的质心和主轴，通过平移和旋转使质心和主轴对齐，实现配准缺点：1.对数据的缺失敏感，整个物体必须完整的出现在 两幅图像中2.对准效果不是很好，只能做前期配准，减少后续 主要配准方法的搜索步骤医学图像配准和融合（5）相关法适用于同一个物体由于图像获取条件的差异或物体自身发生的微小变化而产生的图像序列的配准，从而发现物体的改变采用使图像间相似性最大化的原理，估计变换参数，利用刚体
24、的平移与旋转，实现配准缺点：每种变换参数可能的取值都要计算相似性，相关法计算代价十分庞大相似性：相关函数、相关系数、差值的平方、差的绝对值等医学图像配准和融合配准实例（1）：点法脑部冠状图像医学图像配准和融合脑部3D解剖图像传统的解剖图像配准实例（2）：相关性医学图像配准和融合1 1）图像中心对准）图像中心对准2 2）表面法配准）表面法配准医学图像配准和融合图像配准的评估相对标准，与配准目的有关 体模-初步 准标-人工记号 图谱 目测检验医学图像配准和融合前提：图像已经较好的配准融合的图像可能有以下性质：在一副图象中出现的特征，在另一幅中没有 感兴趣物体在两幅图像中具有相同信息，但不同的对比度 两幅图像的动态范围不同，或分辨率不同 图像存在噪声或局部信息丢失 要求融合的图像视觉效果好，看上去自然医学图像配准和融合融合方法基于分割的图像融合：从一幅图像中分割出感兴趣部分，嵌入到另一幅图像中加权平均：将一幅图像对应的像素乘上一个系数，加到另一幅图像Toet法*灰度调制法*小波变换融合法*医学图像配准和融合图像融合的评估主观评价客观评价 熵 交叉熵 互信息 图像均值 灰度标准差 均方误差 信噪比与峰值信噪比 平均梯度
