1、医学医学人工智能与磁共振成像人工智能与磁共振成像技术技术1主主 要要 内内 容容2 背背 景景 知知 识识 研研 究究 方方 法法 临临 床床 应应 用用主主 要要 内内 容容3 背背 景景 知知 识识 研研 究究 方方 法法 临临 床床 应应 用用AI+医学影像医学影像医学影像深度学习：智能诊疗医学影像深度学习：智能诊疗在视网膜、肺炎肺癌、皮肤癌等诊断在视网膜、肺炎肺癌、皮肤癌等诊断 中，中，深度学习方法媲美医生深度学习方法媲美医生AI 影像组学：链接影像与个性化诊疗影像组学：链接影像与个性化诊疗James OConnor 曼彻斯特曼彻斯特大学大学 癌症中心教授癌症中心教授CRUK和和EPS
2、RC癌症影像中心放射癌症影像中心放射 科科学家学家影像组学利用人工智能方法，影像组学利用人工智能方法，实现脑实现脑 肿肿瘤个性化精准诊疗瘤个性化精准诊疗Nature Review Clinical Oncology,14(169),2017共识：共识：AI医学影像将成为临床的助医学影像将成为临床的助手手科研界科研界工业界工业界 股市预测 自动驾驶 推荐系统=A股指数=方向盘角度=购买可能性使用者 A商品 BAI在做什么？在做什么？6MRI+AI 可以帮助医生做什么？可以帮助医生做什么？临床任务临床任务：诊断、手：诊断、手 术、放疗、化疗、活术、放疗、化疗、活 检、筛查检、筛查 医生工作医生工作
3、：识别、勾勒、：识别、勾勒、定位、测量、计算、评定位、测量、计算、评估估先验知识先验知识：解剖、生理：解剖、生理、病理病理等等 专业知识，人脑图像分专业知识，人脑图像分析析功功能，能，医生诊断治疗经验；眼医生诊断治疗经验；眼脑脑手配合手配合AI影像工具影像工具：MRI、X-Ray、CT、PET、US、DSA、MicroscopyAI7模模 型型f(x)x1x2xNy1y2yM人人工智工智能能系统系统的的一般一般性性描述描述变量定义：输入变量 x=(x1,xN)，输出变量 y=(y1,yN)。训 练集 T=(x1,y1),(xN,yN)。基本假设：(1)假设(x,y)遵循联合分布，P(x,y)且
4、独立同分布。(2)模型 f(x)是输入空间 X 到输出空间 Y 的映射的集合，这 个集合就是假设空间F，即F=f|y=f(x)或F=P|P(y|x)。AI问题的一般性描述：给定输入数据x或训练集T，构建机器 学习模型 f(x)或 P(y|x)，对输出数据 y 进行预测。8人人工智工智能能模型模型的的三要素三要素三要素：人工智能方法=模型+策略+算法 模型：所要学习的映射函数 f(x)或条件概率分布，选定一个模型空间，比如线性模型 f(x)=wx+b策略：按照从假设空间中选择最优模型的准则如何判定一个模型的优劣，比如预测值与真值交叉熵最小算法：依照上述准则从假设空间中得出最优模型的计算方法如何从
5、模型空间中找到最好的模型，比如梯度下降搜索算法步骤 1:模型 定义一个 模型空间步骤 2:策略 评判一个 模型好坏步骤 3:算法 找到一个 最好模型举举例说例说明明：逻：逻辑辑回归回归分分类模类模型型的三的三要要素素iiiw x bz zw1wiwIx1xixIb z zz1 e z1 z SigmoidFunction,=+步骤 1:模型定义一个 模型空间模型：模型空间就是,所描述的所有模型的集合水水桶：桶：N N个进个进水水管，管，一一个出个出水水管。管。激活函数加权求和举举例说例说明明：逻：逻辑辑回归回归分分类模类模型型的三的三要要素素真值步骤 2:策略 评判一个 模型好坏iiiw x
6、bz z1wwiIwx1xixIb zy预测值交叉熵=,策略：使得,最小的那个模型，就是最好的模型颜色深浅:损失函数L(w,b)的大小举举例说例说明明：逻：逻辑辑回归回归分分类模类模型型的三的三要要素素(,)计算,步骤 3:算法 找到一个 最好模型,=+13举举例说例说明明：逻：逻辑辑回归回归分分类模类模型型的三的三要要素素步骤 3:算法 找到一个 最好模型12LossThe value of the parameter w平坦区域下降很慢局部极小值被卡住 =0鞍点被卡住 =0 014损失 函数w1w2均方误差步骤 3:算法 找到一个 最好模型交叉熵举举例说例说明明：逻：逻辑辑回归回归分分类模
7、类模型型的三的三要要素素1x2xInput FeatureLabelx1x200Class 201Class 110Class 111Class 2yzw2x1 w1x2bClass2Class1y 0.5y 0.5z w1 x1 w2 x2 bz 0z 0z 0z 0异或问题?(0)(0)逻逻辑回辑回归归的局的局限限：线：线性性不可不可分分问题问题Deep Learning!神经网络神经网络多个单元连接在一起，模型参 数w和b通过学习得到.z z z“Neuron”zx12xx256y1y2y10Cross Entrop y“1”100targetSoftmax,10=11210Given
8、a set o fparameters深深度神度神经经网络网络三三要素要素是是什么？什么？模型：深度神经网络，由网络结构决定；策略：损失函数算法：梯度下降MRI在计算机看来是什么？在计算机看来是什么？磁共振图像 维矩阵245211233198187178255236256276199186266235257278218190266233256257225193267238242253215186278231235242211187灰度形状位置纹理边缘如何从如何从MRI图像中获取有用特征？图像中获取有用特征？手工设计特征病灶分割特征提取特征选择分类器去冗余度 单因子排序 LASSO mRMRBo
9、ruta影像组学逻辑回归 随机森林 SVM人工神经网络XGBoost手工特征工程影像组学特征有什么意义？影像组学特征有什么意义？灰度形状位置纹理Robert Haralickhttp:/haralick.org/GLCM GLRLM GLSZM NGTDM1Haralick RM,Shanmugam K(1973).Textural features for image classification.IEEE Transactions on systems,man,and cybernetics,(6),610-621.2Galloway MM.(1974).Texture analysis
10、using grey level run lengths.NASA STI/Recon Technical Report N,75.全连接前馈网络鉴别诊断，预后预 测，疗效预测卷积层池化层卷积层池化层Flatten特征提取多次堆叠 重复使用深度卷积神经网深度卷积神经网络络线性分类器1 000010 100100 011001 000100 100100 010106 x 6 image1-1-1-11-1-1-11卷积核 13-1-3-1-310-3-3-3013-2-2-1stride=1同样的局部特征会多次出现卷积神经网络在做什么？卷积神经网络在做什么？卷积神经网络在做什么？卷积神经网络在
11、做什么？1 000 010 100 100 011 001 000 100 100 100 010 106 x 6 image-313-1-11-1-11-1-11-1Filter 23-1-1-1-3-1-1-310-31-1-1-2-301-11-13-2-20-44 x 4 image采用每个卷积核重复做加权求和stride=1Feature Map-1-2“monkey”f1f2f3f4所有的卷积核都是通过学习得到的卷积神经网络提取了什么特征？卷积神经网络提取了什么特征？KerasHow to use the neural network(testing):case 1:case 2:
12、Dont worry if you cannot understand this.Bcoz Keras can handle it.Keras/Pytorch 使用心得使用心得朋友觉得我在朋友觉得我在导师觉得我在导师觉得我在我妈觉得我在我妈觉得我在我自己觉得我在我自己觉得我在大家觉得我在大家觉得我在事实上我在事实上我在Deep Learning 研究生研究生主主 要要 内内 容容 背背 景景 知知 识识 研研 究究 方方 法法 临临 床床 应应 用用28ClassificationEvaluation&InterpretationCT/MR/PETAI+AI+医医学学影像影像分分析：析：典典型
13、流程型流程OrganLesion/SegmentationAbnormality SegmentationFeature Extraction器组组织织官器器分官官分分割割割病病病灶灶灶分分分割割割特特特征征征提提提取取取分类特特征征/分分回类类归统临临床床计决决策策分支支析持持入入组病人组病人30研究类型：前瞻性、回溯性？多中心？AI影像分析最好进行多中心研究入组条件：肿瘤级别？年龄？TNM？亚型？影像？选择不当会导致文章直接 悲剧悲剧病例数目：划分训练集、验证集和测试集？类别均衡性？划分不当会导致AI模型训练困难MRMRI I预预处处理理灰度灰度 标化标化配准配准去偏去偏 移场移场去骨去骨
14、标准化前的灰度直方图标准化前的灰度直方图31标准化后的灰度直方图标准化后的灰度直方图病病灶分割灶分割手工分割：不同医生分割结果之间的差异，导致可重复性问题 需要做特征的可重复性测试自动分割：需要给出分割的精度，在benchmark数据集评估 自动分割结果需要逐个核对32影影像组像组学学：特：特征征提取提取特征提取过程中涉及到的参数：特征提取过程中涉及到的参数：像像素素大小大小、量化量化方方法法、灰灰度等级度等级33影影像组像组学学：特：特征征选择选择+分类器分类器特征选择：减少特征数量，防止过拟合，增加可解释性特征选择算法：特征选择算法的选取要兼顾性能和可解释性特征选择数量：数量适中，兼顾模型
15、复杂度和模型可解释性 模型选择：随机森林，支持向量机，逻辑回归，Cox，LASSO34深深度学度学习习：网：网络络结构结构和和训练训练方方法法测试集表现良好?训练集表现良好？YESYESLoss/深度/预处理/超参数重新定义网络结构Early Stopping/验证集正则化DropoutNo35No深度深度学学习：习：如如何调何调参参？NVidia GPU is all you needTalk is cheap,show me the$VGG (2014)GoogleNet (2014)3.57%Residual Net(2015)16.4%AlexNet (2012)7.3%6.7%36M
16、RI智能分析模型训练与测试流智能分析模型训练与测试流程程临床数据临床数据1训练训练独立测试独立测试智能模型智能模型影像数据影像数据影像数据影像数据 标准化标准化肿瘤区域肿瘤区域 分割分割特征工程特征工程/深度学习深度学习机器学习机器学习 模型构建模型构建临床数据临床数据2临床数据临床数据3性能性能 测试测试主主 要要 内内 容容38 背背 景景 知知 识识 研研 究究 方方 法法 临临 床床 应应 用用应应用用1 1：MRIMRI影影像组像组学学生存生存分分析析术前磁共振影像预测脑胶质瘤病人总生存期临床问题磁共振影像组学特征是否可以预测胶母瘤 病人总生存期？是否具有预后价值？科学假设现有不足采
17、用医生判读的少量影像学定性特征，精度 和可重复性有限建立术前磁共振影像组学生存期预测模型，评估模型的独立性、准确性和临床价值39研究目标影影像组像组学学生存生存分分析：析：脑脑肿瘤肿瘤分分割割3D U-NetVAE 正则化多任务网络DICE LOSS+KL LOSS+L240自研影像组自研影像组学学软软件件：Ultimage Lab41影影像组像组学学特征特征提提取取灰度特征形状特征纹理特征提取参数中间结果42影影像组像组学学特征特征选选择择去冗余度LASSOBoruta特征合并43影影像组像组学学分类分类模模型训练型训练随机森林SVM逻辑回归ANN44影影像组像组学学分类分类模模型测试型测试
18、测试选型性能指标45总生存期预测结总生存期预测结果果训练集训练集KM生存曲线生存曲线46验证集验证集KM生存曲线生存曲线Molecular-Clinical NomogramRad-Mol-Clinical NomogramCalibration CurveCalibration Curve47Radiomics-Molecular-Clinical NomogramMultilayer Nomogram:提升预后性能提升预后性能ModelsBrier ScoreC-IndexIDIAUC 12 monthsSingle layerClinical0.1350.62-0.705Molecula
19、r (IDH1+MGMT+1p19q)0.1200.710.0840.756Radiomics0.1310.700.0360.720Deep Learning0.1250.730.0650.769Two layerClinical+Molecular0.1190.730.0900.765Clinical+Radiomics0.1120.750.1080.771Molecular+Radiomics0.1050.790.1100.805MultilayerRadiomics+Molecular+Clinical0.0950.810.1190.82548K-M Curve for Multilay
20、er modelDecision Curve应应用用2 2：MRIMRI深深度学度学习习生存生存分分析析术前磁共振影像预测脑胶质瘤病人总生存期临床问题磁共振深度学习是否可以预测胶母瘤 病人总生存期？是否优于影像组学？科学假设现有不足影像组学需要手工设计并调试特征工程建立术前磁共振深度学习生存期预测模型，与影像组学模型进行性能对比49研究目标Deep Attention Survival Model3D Resnet金字塔 注意力机制数据预处理-log最大似然 LOSS+L250Deep Attention Survival ModelAttention MapPrediction Perfor
21、mance51MGMT启动子甲基化是重要分子标志启动子甲基化是重要分子标志物物N Engl J Med,2005;352Nature Reviews DP,vol 1,2015重要的重要的预测预测和和预后预后分子标志物分子标志物52应用应用3：MRI智能分智能分析析预预测测MGMT启动启动子子甲基化甲基化依靠术前MRI影像无创检测脑胶质瘤MGMT启动子甲基化临床问题磁共振智能分析是否可以预测胶母瘤MGMT甲基化？如何进行解释？科学假设现有不足术中取组织，做分子病理检测建立术前磁共振MGMT甲基化人工智能 预测模型，尝试进行解释53研究目标特征选择方法对于特征选择方法对于Radiomics的影的
22、影响响The n best features are not the best n features All-relevant FeaturesMW U FDR-p0.8RF Model IRF Model II54Radiomics预测脑胶质母细胞瘤预测脑胶质母细胞瘤MGMT甲甲基基化化55Relevant Model IRanking Model IIResnet for ShapeResnet for IntensityResnet for HeterogeneityResnet for OverallMGMT未甲基化MGMT甲基化Deep Radiogenimocs 预测预测MGMT甲
23、甲基化基化56ROC curvePRC curve深度学习方法略优于影像组学方深度学习方法略优于影像组学方法法57医学影像人工智能诊疗面临的挑医学影像人工智能诊疗面临的挑战战痛苦调参。临床决策。数据标注，先人工，再智能。58医医生生+人工人工智能智能：“医工结医工结合合”CP Friendman,A“Fundamental Theorem”of Biomedical Informatics,Journal of the American MedicalInformatics Association,16(2),200959信息变革与人工智能发信息变革与人工智能发展展下的下的影影像科像科医医生生人工智能是否会替代影像科医生 无法下定论，但是那些使用人工 智能技术的影像科医生，一定会 代替那些不使用人工智能技术的 影像科医生！Radiologists using AI will replace those who do not!IS3R国际影像战略国际影像战略 策略研讨会副主席策略研讨会副主席未来的影像科医生应该未来的影像科医生应该是是影像影像信信息学息学专专家家!From radiologists to imaging information expert!60感谢!61
