1、整理课件1代数运算(Algebraic operation)n相加。n相减。n相乘。n相除n图像融合要点：整理课件2代数运算迭加相减：显示两幅图像的差异、运动物体检测。相乘：提取或删掉图象某部分。相除：遥感多光谱图象相除抵消入射分量i(x,y)。整理课件3整理课件4相加M=1M=2M=4M=16nAddition:qaveraging for noise reduction整理课件5X-ray image obtained before and after injection of dye into arteries.Dye affects appearance of blood vessel
2、s but not surrounding tissues.Subtracting pre-and post-injection images enhances blood vessels relative to tissues.(Image courtesy of D.W.Holdsworth,RRI.)整理课件6相减DSA整理课件7相减DSA整理课件8相减：检测运动物体整理课件9整理课件10相乘整理课件11相乘整理课件12相乘nMultiplication:qmasking used to zero out areas that you dont want to use in calcul
3、ationsx(a)Magnetic resonance velocity image through the human neck.Multiplying by the mask in(b)isolates pixels corresponding to one of the carotid arteries.Averaging pixel values inside the masked region and multiplying by the area of the mask yields the average blood flow.(Image courtesy of D.A.St
4、einman,RRI.)(a)(b)整理课件13相除nDivision:qimage formation is often a multiplicative process:qneed to eliminate I(x,y)for better visualization and processing(e.g.,thresholding)Black blood MR image through neck of a subject.The rolloff in image intensity can be modelled as a multiplicative process.(Image c
5、ourtesy of D.A.Steinman,RRI.)整理课件14相除(a)Black blood MR image through neck of a subject.(b)Image after dividing out estimated rolloff function.(Image courtesy of D.A.Steinman,RRI.)(a)(b)nDivision(contd):qestimate I(x,y)and divide it outqmany procedures for estimating I(x,y);will cover one later(homom
6、orphic filtering)整理课件15Matlab中的实现nimadd(a,b):两幅图像相加nimsubtract(a,b):两幅图像相减nimmultiply（a,b）:两幅图像相乘nimdivide(a,b)：两幅图像相除整理课件16Medical Image Registration and Fusion2009年6月整理课件17什么是图像配准?n图像配准是指对于一幅图像寻求一种空间变换，使该图像与另一幅图像中的对应点达到空间上的一致)()(/pTIq：I变换映射整理课件18确定同一对象的不同视图中的对应点整理课件19医学图像配准的分类n基于外部特征和基于内部特征q外部特征：标
7、记物或标记点，侵入式q内部特征：体内特征点或表面n根据变换性质：刚体变换、仿射变换、投影变换及曲线变换n根据图像模态：单模、多模、患者/模态间的配准n根据主体：intrasubject、intersubject和atlas（图谱）整理课件20医学图像配准的应用n可以从不同图像的模式中得到相关信息，用于：q基于图像的诊断：解剖与功能图像的结合q手术计划/放疗计划的制定：肿瘤q病理变化的跟踪及疗效的评价q与图谱（如可视人）配准，用于确定特定区域及功能整理课件21常用图像配准方法n基于特征点的配准方法q特征点的数目及位置对结果有影响n基于表面（分割）的配准方法q需要分割处理n基于象素（体素）的配准法
8、q灵活，利用图像全部信息，但运算量大、速度慢整理课件22基于特征点的配准方法发现所有对应的基准点发现所有对应的基准点变换变换视图视图2=“空间空间”2视图视图1=“空间空间”1对准相应基准点对准相应基准点目标点对准目标点对准(Fitzpatrick 2003)整理课件23特征点法示例整理课件24用词说明n各种图像配准的文献都会出现“配准、匹配、几何校正”三个词，它们的含义比较相似q一般两幅图像之间用配准(register,registration)q寻找同名特征(点)的过程叫匹配（match,matching)q根据主辅图像之间的几何变换关系，对辅图像进行逐像素处理变为配准图像的过程叫做几何校
9、正（geometric correction）整理课件25基于表面（分割）法在待配准的表面上选点移去待配准表面，表面由所选点代表在参考平面上找到相应的最近点，计算总距离(Fitzpatrick 2003)整理课件26基于表面（分割）法去掉参考表面，表面可由相应的点代替得到配准点集(刚体)，进行配准恢复参考表面发现新的最近点集去掉参考平面，得到新的配准点集继续上述过程，得到新的配准点集整理课件27基于表面（分割）法-迭代最近点法整理课件28基于像素/体素特征法整理课件29基于体素特征法n三维图像中的每个体素对应一个相应的坐标和体素强度值n基于体素特征的方法就是将三维图像A（参考图）中的每个体素的
10、坐标与三维图像B（浮动图）中的每个体素的坐标通过变换T建立映射关系,以达到两个图形的配准Xa=T(Xb)整理课件30基于体素特征法例如：对于刚体变换，Mt 坐标表示平移，Mr坐标表示旋转Xa=MtMr Xb此时TMtMr，即浮动图B中的体素坐标经过一定角度的旋转和一定量的位移后对应到参考图A上整理课件31配准框架及方法空间变换优化算法Image Similarity metric相似性测度Image Interpolator图像插值配准整理课件32配准基本步骤n空间转换(Transform)q实现从一幅图像到另一幅图像的映射n图像插值(Interpolation)q确定不在网格位置上的点的灰度
11、值n相似性测度(Similarity Metric,配准标准)q对“完美匹配”进行定量分析n优化算法(Optimizer)q优化变换参数整理课件33空间转换浮动图像 参考图像整理课件34常见空间变换整理课件35刚体变换),(zyxzyxtttp11zyxTzyxrigid旋转及平移参数：1000coscoscossinsinsinsincoscossinsinsinsincoscoscoscoscossincossinsincossinsinsincoscoscoszyxyxyyzyxzxzyxzxzyxzyxzxzyxzxzyrigidtttT整理课件36仿射变换尺度变换是刚性变换吗？尺度变
12、换是刚性变换吗？整理课件37投影变换n参数 p=(a11,a12,a13,a41,a42,a43,tx,ty,tz,)434241333231232221131211 1aaataaataaataaaTzyxTuzyxzyxprojprojNote:xi=xI/u,for i=1,2,3整理课件38曲线变换n多项式近似n样条函数q薄板样条(thin-plate spline)qB-样条(b-spline)n非刚体变换会较复杂，一般用于局部形变T=Tglobal+TlocalTglobal:rigid/affine transform(Trigid/Taffine)Tlocal:Non-rigi
13、d transform整理课件39非刚体变换示例十分复杂！(Thompson,1996)整理课件40图像的插值n最近邻插值n线性插值n三次线性插值nB-样条插值整理课件41n双线性插值法图像的插值没有灰度不连续性的缺点没有灰度不连续性的缺点具有低通滤波性质，图像轮具有低通滤波性质，图像轮廓有一定模糊廓有一定模糊整理课件422|02|1|5|841|0|3|52)(3232xxxxxxxxxS(i-1,j-1)(i-1,j+2)(i+2,j-1)(i+2,j+2)(x,y)u v双三次内插法双三次内插法(bicubic interpolation)该方法利用三次多项式S(x)来逼近理论上的最佳插
14、值函数sin(x)/x。其数学表达式为：R G Keys.IEEE Trans Acoustics,Speech,and Sig Process,1981,29(6):1153602121,)(),(2,1,0,1,)(mmmkkkjmimvsFyxf，musfF：其中则有整理课件43原始影像灰度表面 最近邻内插法双线性内插法 双三次插值法像素灰度内插法效果比较像素灰度内插法效果比较整理课件44相似性测度n均方值测度n归一化相关性测度n最小二乘测度NiiiBANBAMS2)(1),(NiiNiiNiiiBABABANC22)(),(整理课件45互信息测度n信息测度：熵信息测度：熵系统的复杂性或
15、不确定性系统的复杂性或不确定性熵熵联合熵联合熵互信息互信息标准化标准化互信息互信息整理课件46二维灰度直方图CT Intensity整理课件47互信息测度当两幅图像的空间位当两幅图像的空间位置达到一致时，其互置达到一致时，其互信息应为最大信息应为最大无需特征点提取及分无需特征点提取及分割割用于基于体素的配准方法整理课件48优化n配准方法:n-维函数,其中n为变换的自由度n通常不是平滑函数n含有许多局部极值n可以通过数学优化实现n优化算法q梯度下降法qDownhill simplex 优化(amoeba)qPowells 算法qGenetic 算法q整理课件49实例一：基于点的刚体变换配准算法最
16、小二乘配准整理课件50特征点的选取整理课件51刚体变换的最小二乘解法共取N(N4)个特征点q浮动图像坐标系中，N个特征点的齐次坐标构成矩阵PCNX4；在参考空间坐标系中，对应点构成矩阵P CNX4假设配准矩阵TC4X4q则有P=P*T，对于T中任意列X，P中相应列B，则有B=P*X，故可将T的求解分解为四个列向量的求解整理课件52最小二乘解法n算法原理:q用豪斯荷尔德变换将P进行QR分解，即P=QR，其中Q为nxn的正交矩阵，R为上三角矩阵qMatlab实现：Q,R=qr(P);q设E=B-PX，用QT乘上式两端得因为QT为正交矩阵，所以:|E|2=|QT E|2=|QT B-RX|2整理课件
17、53若令其中C为4维列向量，D为n-4维列向量，R1为4x4上三角方阵,则上式中，当X满足R1X=C时，将取最小值XRRXDCBQT0,12222122DXRCE22E整理课件54最小二乘解法（矩阵求解）算法步骤：1、对P进行QR分解。即P=QR2、计算3、利用回代求解方程组R1X=C4、对P中每一列重复以上三步骤，即可得到4X4配准矩阵TDCBQT整理课件55书中算法4-1（SVD分分解）nxi,yi分别为浮动图像和参考图像对应特征点（基准点）n配准误差：Ei=T(xi)-yi,T为配准变换，则：n最小化E2，则有：n算法流程：NiiiiNiiiytRx/NE/NE1221222|)1()1
18、(TiNiiiiNiiNiiyxHyyyxxxyyxx .3,.2,.1111基准协方差矩阵整理课件56算法流程xRytUVUVdiagRdiagI，VVUUVUHTTTT .6)det(,1,1(.5),(：H .4321其中的奇异值分解SVD分解的Matlab实现：)(,HsvdVU整理课件57实例二:脑PET和MR图像的快速鲁棒配准nNeuroImage论文整理课件58材料和方法n图像来源：PET，MRn相似性测度：互信息n优化方法：downhill simplexn多分辨率方法：Multi-resolution coarse-to-fine optimizationq三种标准：4,4,
19、1,2,2,1,1,1,1整理课件59预处理(Preprocessing)n噪声去除及感兴趣区域的提取q门限处理和形态学操作：去除背景n比率q:背景与整个图像的像素比n对于给定的扫描图像，q变化不大n进行腐蚀和膨胀等二值形态学操作“净化”背景区域并填补感兴趣区的“洞”qMR脑图像的提取：进一步节省时间n利用Brain Extraction Tool(BET)by SmithnBET 可以利用表面模型的方法在较短的时间内(大约1535 s)进行脑图像提取整理课件60整理课件61Downhill simplex优化(amoeba)无须梯度计算无须梯度计算整理课件62整理课件63整理课件64基于模糊
20、边缘场的CT与MR刚性配准整理课件65计算机辅助外科手术系统ncomputer aided surgery/image guided surgeryn立体定位技术与成像技术的结合：在手术过程中立体定位技术与成像技术的结合：在手术过程中，利用空间定位及配准技术使术前图像、手术台，利用空间定位及配准技术使术前图像、手术台上的病人和手术器械三者精确联系进行术中跟踪上的病人和手术器械三者精确联系进行术中跟踪导航导航n常用定位技术：光学定位法、机械定位法、超声常用定位技术：光学定位法、机械定位法、超声波定位法和电磁定位法波定位法和电磁定位法n常用成像技术：常用成像技术：X-线成像线成像,CT,MRIn主
21、要应用领域：神经外科手术，骨科（含脊椎、主要应用领域：神经外科手术，骨科（含脊椎、关节）手术关节）手术整理课件66Elekta公司公司Surgiscope机器人导航系统机器人导航系统 整理课件67发展趋势及可能的解决方案n导航系统发展趋势：导航系统发展趋势：q实时术中影像导航实时术中影像导航:开放式开放式CT/MRI术中导航系统术中导航系统q机器人手术系统机器人手术系统,以术中以术中“C”型臂型臂X 线机实时采集的图像进线机实时采集的图像进行导航行导航整理课件68整理课件69Oblique CT plane corresponding to ultrasound Image for featu
22、re identification与超声或腹腔镜与超声或腹腔镜超声探头的结合超声探头的结合整理课件70什么是图像融合n在图像配准的基础上，将两种图像的信息结合起来，在一幅图像上同时表达来自人体的多方面的信息的过程整理课件71图象融合 Image fusion整理课件72整理课件73按照不同的图像成像模式可将医学图像融合分为三类n单模融合:相同成像方式的图像融合称为称单模融合(mono一modaliyt)，也称为同类方式融合。n它是指待融合的两幅图像是由同一设备获取的。n用途：单模融合多用于治疗前后的对比、疾病(如癫痈)发作期与发作间期对比、肿瘤或骨骼的生长监测。整理课件74多模融合n多模融合:
23、不同成像方式的图像融合称为多模融合(mutlit一mdealiy)，也称为交互融合。它是指融合的两幅图像来源于不同的成像设备。n多模融合主要应用于神经外科的诊断、手术定位及放疗计划设计等。SPECT、PET能反映人体的功能和代谢信息，但其空间分辨率较低，致使解剖结构欠清晰。如果将CT或M班与SPECT或PET融合，就能利用解剖成像方式为功能图像提供充分的解剖信息，弥补后者的欠缺。整理课件75模板融合n模板融合:将病人的图像与模板融合称为模板融合。这种方式也适用于不同患者间融合。模板可为采集的图像，也可为解剖或生理图谱甚至为病人本身。n比如，将待诊断的图像与典型正常人的图像比较，以确定被测试者是
24、否正常;如果异常，也许还要与一些疾病的典型图像对比，确定患者是否属于同类。整理课件76医学图像融合方法概述n空间域图像融合方法q空间域融合方法包括加权平均融合方法、像素灰度值选择融合方法等，n变换域图像融合方法q金字塔图像融合法q小波变换图像融合法整理课件77传统的医学图像融合的方法n加权平均融合法式中：i图像中像素的行号，i=1,2,.M；j图像中像素的列号，j=1,2,.N；1加权系数1；2加权系数2；通常，1+2=1。),(),(),(21jiBwjiAwjif整理课件78整理课件79加权平均f1=imread(ronghe11.bmp);f2=imread(ronghe22.bmp);
25、figure,imshow(f1),figure,imshow(f2)g=0.5*double(f1)+0.5*double(f2);g=im2uint8(mat2gray(g);figure,imshow(g)整理课件80像素加权平均融合法在传统的医学图像融合中有着非常重要的地位，融合的范围比较广泛，但是，融合后图像的对比度会有所降低。整理课件81插入像素法的前提是两幅图像达到完全配准，只有在这样的情况下运用插入像素法才有意义。插入像素融合法又可分为行插入和列插入两种方法，列插入像素法的公式如下：插入像素融合法整理课件82整理课件83n行插入方法的公式为：整理课件84插入像素法是建立在源图像
26、达到完全配准的基础之上，适用范围非常窄整理课件85像素灰度值选大融合法像素灰度值选小融合法整理课件86整理课件87整理课件88最大值f1=imread(ronghe11.bmp);f2=imread(ronghe22.bmp);figure,imshow(f1),figure,imshow(f2)m,n=size(f1);for i=1:m for j=1:n if f1(i,j)=f2(i,j)g(i,j)=f1(i,j);else g(i,j)=f2(i,j);end endend整理课件89而像素灰度值选大融合方法在某些应用场合中不仅可能获得较好的融合效果，而且其实现也很简单、速度也快，不过，这种融合方法由于只是简单地将原图像中灰度值大的像素作为融合后的象素，可能导致一些细节信息的丢失。整理课件90小波变换图像融合法n融合步骤:对两幅或多幅配准图像进行特定的小波变换，得到各层小波系数矩阵，对该系数运用相应的融合规则，得到融合小波系数，进行小波反变换，就得到融合图像。整理课件91nwavemenu整理课件92作业n分别采用均值、行、列、最大值四种方法对ronghe11.bmp，ronghe22.bmp图像进行融合.n采用小波变换对ronghe11.bmp，ronghe22.bmp图像进行融合.将融合的结果保存为complexima.bmpn调查现有医学图像配准以及融合的方法。
