1、医学影像图像处理医学影像图像处理生物医学工程系生物医学工程系 图像识别图像识别 运用模式识别的原理对图像对象进行分类的学问。运用模式识别的原理对图像对象进行分类的学问。7.1 概论概论 1、模式识别的基本定义、模式识别的基本定义 （1）模式识别模式识别(Pattern Recognition)进行物体分类的学科。进行物体分类的学科。举例：乳腺疾病、颅脑损伤等等举例：乳腺疾病、颅脑损伤等等 （2）模式模式(pattern)A、事物所具有的时间或空间分布信息。（狭义）、事物所具有的时间或空间分布信息。（狭义）B、描绘子的组合。（更狭义）、描绘子的组合。（更狭义）（3）模式类模式类(pattern
2、class)一个拥有某些共同特性的模式族。一个拥有某些共同特性的模式族。2、模式识别系统、模式识别系统（1）信息的获取）信息的获取 通过传感器，将光或声等信息转化为电信息。通过传感器，将光或声等信息转化为电信息。（2）预处理：）预处理：A、信号增强：去除噪声，加强有用信息。、信号增强：去除噪声，加强有用信息。信号恢复：对退化现象进行复原。信号恢复：对退化现象进行复原。B、归一化处理、归一化处理 （例如图像大小的归一化；（例如图像大小的归一化；神经网络输入数据的归一化）神经网络输入数据的归一化）（3）特征提取和特征选择）特征提取和特征选择 A、特征分类：物理特征、结构特征、数学特征。、特征分类：
3、物理特征、结构特征、数学特征。B、特征形成：根据被识别的对象产生出一组基、特征形成：根据被识别的对象产生出一组基本特征，它可以是计算出来的（当识别对象是波本特征，它可以是计算出来的（当识别对象是波形或数字图像时），也可以是用仪表或传感器测形或数字图像时），也可以是用仪表或传感器测量出来的（当识别对象是事物或某种过程时），量出来的（当识别对象是事物或某种过程时），这样产生的特征叫做原始特征。这样产生的特征叫做原始特征。o C、特征提取：原始特征的数量可能很大，通、特征提取：原始特征的数量可能很大，通过映射（或变换）的方法可以用低维空间表示过映射（或变换）的方法可以用低维空间表示样本，这个过程叫做
4、特征提取。映射后的二次样本，这个过程叫做特征提取。映射后的二次特征是原始特征的线性组合（通常是线性组特征是原始特征的线性组合（通常是线性组合）。合）。o D、特征选择：从一组特征中挑选出一些最有、特征选择：从一组特征中挑选出一些最有效的效的特征以达到降低特征空间维数的过程。特征以达到降低特征空间维数的过程。例如：一幅96x64的图象（a）Gabor滤波器编码；（b）小波变换+神经网络；（c）细节点 （分叉点、端点）特征筛选处理特征筛选处理o 目的：目的：n 考查和筛选出作用较大的特征，删去影响不大考查和筛选出作用较大的特征，删去影响不大的特征，从而建立数学模型。的特征，从而建立数学模型。o 方
5、法：方法：n 相关性分析相关性分析o 单特征相关分析单特征相关分析o 双特征相关分析双特征相关分析n 将所有特征中的两个特征作为横、纵坐标作图，同将所有特征中的两个特征作为横、纵坐标作图，同时将样本分成两类或多类标示于图中，考查这几类时将样本分成两类或多类标示于图中，考查这几类样本在图中分布的规律。样本在图中分布的规律。2121211)()()(),(NijijNiiNijijijxxttxxttxtr举例：基于主成分分析的特征提取举例：基于主成分分析的特征提取o 研究多个变量之间的研究多个变量之间的依存关系是统计分析依存关系是统计分析的一个重要任务。的一个重要任务。o 分析多个变量之间的分析
6、多个变量之间的依存关系时，经常遇依存关系时，经常遇到两个问题：到两个问题：n 指标个数过多指标个数过多n 指标之间相关指标之间相关X1X2X3Y图图1 多多元元线线性性回回归归分分析析Y=0+1 X1+2 X2+3 X3+123o 在临床医学研究中：在临床医学研究中：n 描述牙槽弓形形态特征描述牙槽弓形形态特征的指标：的指标：22个个n 衡量甲状腺机能的指标：衡量甲状腺机能的指标：21个个n 鉴别阑尾炎病型的指标：鉴别阑尾炎病型的指标：27个个n 描述儿童生长发育的指标：描述儿童生长发育的指标：12个个 医学研究中广泛存在医学研究中广泛存在多指标问题多指标问题o 如何寻找一种合理的综合性方法，
7、使得：如何寻找一种合理的综合性方法，使得：1.1.减少指标变量的个数。减少指标变量的个数。2.2.尽量不损失或者稍损失原指标变量中所包含的尽量不损失或者稍损失原指标变量中所包含的信息。信息。(用方差衡量用方差衡量)3.3.使得原本相关的指标转化为彼此不相关（用相使得原本相关的指标转化为彼此不相关（用相关系数阵衡量）关系数阵衡量）什么是主成分分析？什么是主成分分析？o 将彼此相关的指标变量转化为彼此不相将彼此相关的指标变量转化为彼此不相关的指标变量；关的指标变量；o 将个数较多的指标变量转化为个数较少将个数较多的指标变量转化为个数较少的指标变量。的指标变量。o 将意义单一的指标变量转化为意义综合
8、将意义单一的指标变量转化为意义综合的指标变量。的指标变量。相关数据的散点图：相关数据的散点图：序号序号 胸围胸围 体重体重Id x1x2 1 1453.52 1352.0n 2558.0一对数据一对数据(x1,x2)一个点一个点 x1,x2线性相关线性相关 倾斜倾斜直线直线基本原理基本原理坐标变换公式：坐标变换公式：Z1=cosX1+sinX2Z2=-sinX1+cosX2Z1=w11 X1+w12 X2Z2=w21 X1+w22 X2XZ线性变换线性变换线性变换线性变换标准化变量：标准化变量：主成分分析步骤主成分分析步骤o 估计主成分；估计主成分；o 确定主成分个数；确定主成分个数；o 解释
9、主成分意义；解释主成分意义；任务任务1：估计主成分：估计主成分o 将指标变量标准化为将指标变量标准化为X;o 计算计算X的方差协方差矩阵的方差协方差矩阵V(X);o 计算矩阵计算矩阵V(X)的特征值的特征值；o 计算所有特征值对应的特征向量计算所有特征值对应的特征向量W。任务任务2：确定主成分的个数：确定主成分的个数1.根据主成分的累计贡献率来确定根据主成分的累计贡献率来确定-原则：累计贡献率原则：累计贡献率70%-85%2.根据特征值来确定根据特征值来确定-原则：特征值原则：特征值1任务任务3：解释主成分实际意义：解释主成分实际意义o Wij表示第表示第j个指标变量个指标变量Xj与第与第i个
10、主成分个主成分Zi 的相关程的相关程度，度，|Wij|值越大，说明值越大，说明Xj对对Zi 的贡献越大。的贡献越大。o 用绝对值大的用绝对值大的Wij对应的指标变量来解释新变量对应的指标变量来解释新变量Zi 的综合意义。的综合意义。主成分主成分:Zi=wi1X1+wijXj+wikXk例例 某医学院测得了某医学院测得了20例肝病患者的例肝病患者的4项肝功能指项肝功能指标：转氨酶标：转氨酶(x1)，肝大指数，肝大指数(x2)，硫酸锌浊度，硫酸锌浊度(x3)和胎甲球和胎甲球(x4)，数据列在下表中，试进行主成分，数据列在下表中，试进行主成分分析。分析。X1 X2 X3 X4Mean 138.000
11、0000 2.325000000 15.00000000 35.50000000Std 88.8878655 1.054751155 7.41974606 21.87885304Correlation Matrix X1 X2 X3 X4 X1 1.0000 0.6950 0.2195 0.0249 X2 0.6950 1.0000 -.1480 0.1351 X3 0.2195 -.1480 1.0000 0.0713 X4 0.0249 0.1351 0.0713 1.0000特征向量特征向量 Z1 Z2 Z3 Z4X1 0.699964 0.095010 -.240049 -.66588
12、3X2 0.689798 -.283647 0.058463 0.663555X3 0.087939 0.904159 -.270314 0.318895X4 0.162777 0.304983 0.930532 -.120830（4）分类器设计）分类器设计 分类器设计的主要功能是通过训练确定判分类器设计的主要功能是通过训练确定判决规则，使按此类判决规则分类时，错误率决规则，使按此类判决规则分类时，错误率最低或风险最小。最低或风险最小。分类器复杂度过高：分类器复杂度过高，出现过度拟合，泛化能力可能会有所降低。分类器复杂度过低：由于分类器的复杂度过低，无法有效表示不同类别训练样本之间的分界面，从
13、而导致训练误差无法得到充分的降低，这一现象称为欠学习。欠学习同样无法保证较好的泛化能力欠学习。欠学习同样无法保证较好的泛化能力。分类器复杂度适中：分类器的复杂度与可用样本的数量相匹配，这样得到的分类器最有可能获得较好的分类能力。（5）分类决策分类决策 在特征空间中对被识别对象进行分类。在特征空间中对被识别对象进行分类。3、模式识别的基本问题、模式识别的基本问题（1）特征如何提取？）特征如何提取？-特征产生特征产生（2）最有效的特征是那些特征？）最有效的特征是那些特征？-特征选择特征选择（3）对特定任务，如何设计分类器？）对特定任务，如何设计分类器？-分类器设计分类器设计（4）分类器设计后，如何
14、评价分类器？分类错误率分类器设计后，如何评价分类器？分类错误率 是多少？是多少？-分类器评价分类器评价模式模式传感器传感器 特征产生特征产生 特征选择特征选择分类器设计分类器设计分类器评价分类器评价4、模式识别方法的分类、模式识别方法的分类（1）监督与非监督模式识别）监督与非监督模式识别 A、监督模式识别、监督模式识别 利用先验知识和训练样本来设计分类器。利用先验知识和训练样本来设计分类器。B、非、非监督模式识别监督模式识别 利用特征向量的相似性来自动进行分类。利用特征向量的相似性来自动进行分类。（2）其他分类方法）其他分类方法 A、统计模式识别、统计模式识别 依据决策理论而进行模式识别的方法
15、。依据决策理论而进行模式识别的方法。包括贝叶斯决策理论、判别函数、近邻法等。包括贝叶斯决策理论、判别函数、近邻法等。B、聚类模式识别、聚类模式识别 C、神经网络模式识别、神经网络模式识别 D、结构模式识别（句法模式识别）、结构模式识别（句法模式识别）5、预备知识、预备知识（1）特征）特征 用于分类的测度。用于分类的测度。（2）特征向量）特征向量 由多个特征组成的向量。由多个特征组成的向量。=(X1,X2,Xn)T （3）分类器）分类器 把特征空间划分为不同类别区域的把特征空间划分为不同类别区域的“机器机器”。7.2 模式识别方法模式识别方法o 统计模式识别方法统计模式识别方法o 结构模式识别方
16、法结构模式识别方法o 人工智能方法人工智能方法统计模式识别方法统计模式识别方法决策理论方法决策理论方法1-1)决策理论方法决策理论方法统计模式识别方法最终归结为分类问题。假如已抽取出N个特征，而图像可分为m类，那么就可以对N进行分类，从而决定未知图像属于m类中的哪一类。一般把识别模式看成是对N维空间中的向量X进行分类，即：XxxxxN123 (1)模式类别为 。识别就是要判断X是否属于 以及 属于 中的哪一类。在这个过程中主要解决两个问题：一是如何抽取特征，要求特征数一是如何抽取特征，要求特征数N尽可能小而且尽可能小而且对分类判断有效；对分类判断有效；二是假设已有了代表模式的向量，如何决定它属
17、二是假设已有了代表模式的向量，如何决定它属于哪一类，这就需要判别函数。于哪一类，这就需要判别函数。123,mixji 例如，模式有 共m个类别，则应有 共m个判别函数。如果X属于第i类，则有：)(.XDm (2)123,m123(),(),()DDDXXXjimjXDXDji;,.,3,2,1)()(在两类的分界线上，则有()()ijDD=XX (3)这时 X 既属于第 i 类，也属于第 j 类，因此这种判别失效。为了进行识别就必须重新考虑其他特征，再进行判别。问题的关键是找到合适的判别函数。1）基于最小错误率贝叶斯决策理论）基于最小错误率贝叶斯决策理论 1、贝叶斯公式、贝叶斯公式（1）概率：
18、某事件发生的几率。）概率：某事件发生的几率。（2）先验概率）先验概率 在实际的事件没有出现之前，我们所拥有在实际的事件没有出现之前，我们所拥有的该事件可能出现的概率。的该事件可能出现的概率。问题：是否可以提高分对的概率，减少分错的概率？问题：是否可以提高分对的概率，减少分错的概率？除先验概率外，必须利用其他的信息。除先验概率外，必须利用其他的信息。（3）类条件概率密度）类条件概率密度 细胞识别：正常细胞细胞识别：正常细胞1 异常细胞异常细胞2 光密度特征光密度特征：x 类条件概率密度类条件概率密度p(x|)：类别状态为类别状态为时的时的x概率密度函数概率密度函数。)(1xP)(2xPx条件概率
19、密度分布)(ixP（4）贝叶斯公式 A、P(j,x)=P(x|j)P(j)（总体；类）举例：P(1)=0.4，P(2)=0.6,P(x=12|1)=0.15，P(x=12|2)=0.35 则：P(1,x=12)=0.15*0.4 P(2,x=12)=0.35*0.6 B、P(j,x)=P(j|x)P(x)C、贝叶斯公式)()()()()()()()(21两类时（后验概率）jjjiiiPxPxPxPPxPxP 贝叶斯公式的物理含义：贝叶斯公式的物理含义：通过观察通过观察x的值，就可以把先验概率转化为后的值，就可以把先验概率转化为后验概率，即特征值验概率，即特征值x已知的情况下类别属于已知的情况下
20、类别属于j的概的概率率。2、基于最小错误率的贝叶斯决策、基于最小错误率的贝叶斯决策（1）决策规则（两类情况）决策规则（两类情况）)(1xP)(2xPx2.04.06.08.00.1后验概率分布)(xPi2112212112212122112121)()(ln)()(ln)(D)()()()(C)()()()(B)()(AxPPxPxPxgxPPxPxPxPxPPxPxxPxP、（2）判决的误差概率判决的误差概率这时错误率最小。当当为这时错误率则二类问题：若21122121),(),()().(,),()(xxPxxPxePxPxxPxP 2）线性判别函数线性判别函数 o（1）Bayes决策尽管
21、是决策尽管是最优最优决策，但实现困难。决策，但实现困难。A、类条件概率密度的形式常难以确定。、类条件概率密度的形式常难以确定。B、非参数方法需要大量样本。、非参数方法需要大量样本。（2）模式识别的任务是分类，可根据样本集直）模式识别的任务是分类，可根据样本集直接设计判别函数。（接设计判别函数。（次优的次优的）线性判别函数是应用较广的一种判别函数。所谓线性判别函数是指判别函数是图像所有特征量的线性组合，即式中 代表第i个判别函数；是系数或权；为常数项或称为阈值。在两类之间的判决界处有下式的形式。(4)(XDiik0i()()0ijDD-=XX (5)01)(ikNkikixDX()()ijDD-
22、XX可以写成下式形式：(106)该方程在二度空间中是直线，在三度空间中是平面，在N度空间中则是超平面。)()()()(001jikNkjkikjixDDXX 其判决过程可如下进行：如果 或 ,则 ；如果 或 ,则 。()()ijDDXXD XDXij()()0ixD XD Xij()()D XD Xij()()0jx1.生物特征识别生物特征识别生物特征包括人脸、指纹、虹膜、掌纹、生物特征包括人脸、指纹、虹膜、掌纹、DNA等。等。2.染色体识别染色体识别7.3模式识别模式识别的医学应用的医学应用7.3.1 指纹识别指纹识别 指纹具有两大特性指纹具有两大特性:1)没有两个人的指纹是相同的；没有两个
23、人的指纹是相同的；2)当指纹不受损伤时终生不变。当指纹不受损伤时终生不变。所以它是识别人最有力的手段之一。所以它是识别人最有力的手段之一。首先，指纹分为七类（平斗、左箕、右箕、平弓、帐弓、左双箕、右双箕）。第一类再分为十八个小类，然后测量斜率。总的过程是分类、分层、分窗口，在这个过程中包括细化，连接断线等处理;尔后整个窗口用一个树代表，树的每一个分支是窗口中的一根隆线，然后找出文法;最后做一树状自动机。据有关专家说，实验中大约有据有关专家说，实验中大约有10的指纹由于噪的指纹由于噪声大而难以识别。识别一个指纹大约要声大而难以识别。识别一个指纹大约要50s钟，钟，40s用于前后处理，用于前后处理
24、，10s钟用于结构分析。钟用于结构分析。7.3.2 人脸识别人脸识别o 人脸识别技术（人脸识别技术（Face Recognition）就是利用计）就是利用计算机分析人脸图像，从中提取有效的识别信息，算机分析人脸图像，从中提取有效的识别信息，用来辨认身份的一门技术。用来辨认身份的一门技术。参数人脸图像库人 脸 检 测定位特征提取和选择训练图像预处理识别特征提取和选择图像预处理人 脸 检 测定位待测人脸图像训练过程识别过程o 几何特征：几何特征：包括人脸指定两点间的欧式距离、曲率、包括人脸指定两点间的欧式距离、曲率、角度等。角度等。o 图像库中共图像库中共15人，每人人，每人11张照片，人脸数目共
25、张照片，人脸数目共计为计为165。每人。每人10幅图像作训练，一幅做测试，幅图像作训练，一幅做测试，识别率定义如下：识别率定义如下：100%nN识别率o 其中，其中，n为正确识别出的人脸个数，为正确识别出的人脸个数，N为训练为训练集中的人数。利用集中的人数。利用PCA进行人脸识别的实验结进行人脸识别的实验结果为：果为：87.5 7.3.3 模式识别在医学上的应用模式识别在医学上的应用 模式识别在医学图像方面的应用还不多，主要模式识别在医学图像方面的应用还不多，主要是医学图片在预处理和分割等方面的问题还没是医学图片在预处理和分割等方面的问题还没有解决，大部分工作尚在解决此类问题。有解决，大部分工
26、作尚在解决此类问题。染色体分类是句法方法的一个例子，目前只染色体分类是句法方法的一个例子，目前只用于形状分类，其实真正染色体的分类还要用于形状分类，其实真正染色体的分类还要用到染色体本身灰度的变化。用到染色体本身灰度的变化。一般作法是先找到染色体，然后扫描、分开、一般作法是先找到染色体，然后扫描、分开、找到染色体的方向，找到中心，测量臂长、找到染色体的方向，找到中心，测量臂长、灰度等参数，然后加以识别。灰度等参数，然后加以识别。除染色体分类，在医学中的应用还有血球分类。除染色体分类，在医学中的应用还有血球分类。目前有的医院使用目前有的医院使用5类分类器，可以做到类分类器，可以做到95的正的正确分类。分类方法与染色体分类大致相同。此外，确分类。分类方法与染色体分类大致相同。此外，还有细胞分类，光透视照片分析等等。还有细胞分类，光透视照片分析等等。
