1、AI肺结节检测初步研究与经验分享-影像医师的第二双眼1什么什么是是AI?It is the science and engineering of making intelligent machines,especially intelligent computer;是计算机科学的一个分支，研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用 系统的一门新的技术科学 是研究计算机模拟人的某些思维过程和智能行为 的学科，涉及计算机科学、心理学、哲学和语言 学等，已成为一门广泛交叉的新兴前沿学23人人工智工智能能的的三三个个层层次次 弱人工智能弱人工智能（Artificial Narrow
2、 Intelligence，ANI)，擅长于单个方面或任务的人工智能；强人工智能强人工智能（Artificial General Intelligence，AGI)，是指在各方面都能模仿人类甚至和人类比肩的人工智能；超人工智超人工智能能（Artificial Superintelligence，ASI)，牛 津哲学家，知名人工智能思想家Nick Bostrom把超级智能 定义为“在几乎所有领域都比最聪明的人类大脑都聪明很 多，包括科学创新、通识和社交技能。”深度学习人工智能技术已经用于诸多领域。Deep LearningPilotless AutomobileAlphaGoFace Recog
3、nition4人工智能企业的主要应用领域金融金融安防安防电商电商 零售零售个人个人 助理助理自驾自驾 领域领域医疗医疗健康健康人工人工 智能智能智能投顾、智能客服、智能投顾、智能客服、安防监控、金融监管安防监控、金融监管智能手智能手机机上的上的语语音音助助理、理、语音输入、家庭管家和语音输入、家庭管家和 陪护机器人陪护机器人智能汽车、公公交通、智能汽车、公公交通、快递用车、工业应用快递用车、工业应用智能监控、安保智能监控、安保 机器人机器人医疗健康的检测诊医疗健康的检测诊 断、智能医疗设备断、智能医疗设备教育教育智能评测、个性化辅导、儿童陪伴智能评测、个性化辅导、儿童陪伴仓储物流、智能导仓储物
4、流、智能导 购和客服购和客服医疗AI的发展对人 类影响深远!Source:2016全球人工智能发展报告框架篇 发布机构：乌镇智库/网易科技人工智能+医疗的八大应用场景Source:出自亿欧2017人工智能赋能医疗产业研究报告国家政策时间时间行政行政机关机关相关相关政策政策政策政策内容内容2015年5月国务院中国制造2025提出“以推进智能制造为主攻方向”2015年7月国务院国务院关于积极推进“互联网+”行动 的指导意见将人工智能作为“互联网+”的十一个重点 布局领域之一2016年3月国务院国民经济和社会发展第十三个五年 规划纲要（草案）提出要“重点突破新兴领域人工智能技 术”2016年5月发改
5、委“互联网+”人工智能三年行动实施方案培育发展人工智能新兴产业，推进重点 领域智能产品创新，提升终端产品智能 化水平2016年7月国务院“十三五”国家科技创新规划提出“重点发展大数据驱动的类人智能 技术方法”2017年3月国务院政府工作报告人工智能首次被写入政府工作报告2017年7月国务院新一代人工智能发展规划提出了“三步走”的战略目标，宣布举 全国之力在 2030 年抢占人工智能全球制 高点2017年12月工信部促进新一代人工智能产业发展三年 行动计划（2018-2020年）促进人工智能产业发展，提升制造业智 能化水平，推动人工智能和实体经济深 度融合Source:2017-2018 中国人
6、工智能产业路线图发布机构：CSDN&易观相比于美国，中国起步并不晚深度学习推动医学影像研究发展基于深度学习模型产出的医学影像论文近两年突增9内容 为什么我们需要人工智能？人工智能之深度学习如何学习?目前临床上应用如何?价值？挑战？人工智能的未来?10医医学学影像影像为为什么什么需需要人要人工工智能智能？放射医师现状：工作量大、重复性劳动、常疲劳；漏 诊率高（尤其肺小结节）AI帮助医师更快捷地检测出病变；不疲劳、无干扰；会学习、不断积累、不忘记-有可能诊断超越人类。低剂量胸部CT 普查大大增加放射医师的工作量；高分辨率CT扫描或螺旋CT扫描后薄层重组图片达300幅左右；肺结节发生率8-51%，通
7、常多发，96%小于10mm，72%小于5mm；工作量大、病灶多、小、需要快速阅片，把医生从大量、重复劳动中解放出来！11肺窗纵膈窗骨窗12 精准检测、避免漏诊、早精准检测、避免漏诊、早期期诊断：诊断：病灶小、多、密度有时较低（纯磨玻璃）；复查时结节变化轻微；需要定量、提高诊断准确率：需要定量、提高诊断准确率：肺结节的定性诊断有时非常困难；需要定量指标：大小、密度、体积（倍增时间）、成分所占比等；挖掘信息、提高诊断准确率：挖掘信息、提高诊断准确率：单纯从阅片的量这个角度看，人工智能应该超过任何医生个体，积 累更多的“经验、知识”-海量信息、大数据提取更多肉眼无法看到的“征象、特征”-影像组学。医
8、医学学影影像像为为什么什么需需要人要人工工智智能能？多少病灶？13病例:48岁男性，直肠癌综合治疗6月余14病例:48岁男性直肠癌综合治疗6月余2017-12-01 AI发现而医师未 发现的结节2018-01-22、2018-07-24 复查结节增大病灶大小有变化吗？161956年，John McCarthy教授在达特茅斯 会议上首次使用了“人工智能”这一术 语，正式开启了人工智能领域的专门研 究。“人工智能”元年80年代末到90年代中期，人工智能的发 展进入低谷期。人们发现“专家系统”运行速度慢，准确率低，并不能够实现 人类智能。1980-1987年，“专家系统”开始获 得认可。“专家系统”
9、的基本原理：第一步，根据人类专家的经验定义 知识库；第二步，根据知识库和逻 辑推理来解决问题。CAD辅助诊断是 80年代“专家系统”时代人工智能 的代表产品。人工智能 的发展历程深度学习的历史2016年，谷歌AlphaGo压倒性击败了围棋世界冠军李世石，标志了“深度学习”可以完全突破上一代人工智能（“专家 系统”）的瓶颈。1997年，IBM深蓝(Deep Blue)战胜国际 象棋世界冠军 Kasparov。但是深蓝并没 有试图挑战围棋，因为“专家系统”无 法应对围棋走棋的复杂程度。这也体现 出了“专家系统”人工智能的局限。2011年，深度学习在人工智能大赛 Imagenet当中获得低于3%的错
10、误率，大大超越人类在该比赛当中的表现。2006年，Hinton教授在科学杂志上 发表的文章开启了“深度学习”在学术 界和工业界的“拓疆扩土”的浪潮。“深 度学习”区别于“专家系统”的三大特 点：1.“知识库”的建立无需依赖人类 专家，更全面、微观；2.端到端的数据 训练，避免了“专家系统”逻辑推理的 局限；3.“成长型”模型：数据越多，模型越准。人工智能工业革命时代人工智能工业革命时代CAD vs.深度学习CAD计算机辅助诊断计算机辅助诊断教科教科书系统书系统深度学习深度学习AI医生成长的轨迹医生成长的轨迹出现于上世纪80年代近3年出现由专家进行特征分析端到端，不需过多人工干预，自动挖掘海量规
11、律极少超过人类准确率已经超越人类模型死板，难以应付众多未知情况模仿人类认知纳，可轻松应付没有见过的情况无须海量训练数据需海量训练数据运算速度缓慢运算速度快将成果编制成软件，对病灶进行比 较分析“医生专家”标记-学习-测试-应用-再学习的不断迭 代进化 1、深度学习实现“端到端”的学习：无需人类逻辑 和知识的干预，即可自行从经验中学习知识。深度学习深度学习机器读图1(墨西哥兔)：是兔子 机器读图2(狗)：非兔子机器读图3(垂耳兔)：是兔子 机器读图4(长颈鹿)：非兔子机器读图5(花明兔)：是兔子 机器读图6(安哥拉兔)：是兔子(此处省略1000张图)输入银狐兔图片 机器判断：兔子机器像人类那样随
12、着看到更多 的兔子，总结出更多兔子的特 点，从而更准确地认识兔子人类人类小朋友：妈妈，这是兔子吗？妈妈：不是，这是狗。小朋友：妈妈，这兔子吗？妈妈：不是，这是仓鼠。小朋友：妈妈，这是兔子吗？妈妈：宝贝好棒！这是兔子。小朋友：妈妈，这是猫兔子 吗？妈妈：是啊，这是兔子。人类会随着看到兔子的数量 增加，总结出更多兔子的特 点，从而更准确地认识兔子问题：如何识别兔子？传统人工智能传统人工智能专家总结：专家A：兔子有三瓣嘴专家B：兔子有长长的耳朵 专家C：兔子没有长尾巴机器根据专家逻辑识别兔子：有：1.三瓣嘴2.长耳朵 无：1.长尾巴机器不会自己总结，因此无 论看过多少只兔子，都一板 一眼地按照专家逻
13、辑进行判 断Deep Learning 2、借鉴了人类大脑神经系统构造：深度学习神经网络模型受到了大脑神 经元连接的启发深度学习神经网络像视觉机制一样对信 息层层抽象深度学习像人类一样随着经验的积累表现越来越好深度学习算法是对人工神经网络的发展（多层不断迭代、不断抽象的过程）,多数算法是半监督 式学习算法，用来处理存在少量未标识数据的大数据集。常见的深度学习算法包括：受限波尔兹 曼机（Restricted Boltzmann Machine，RBN），Deep Belief Networks（DBN），卷积网络（Convolutional Network）,堆栈式自动编码器（Stacked A
14、uto-encoders）。2223深度学习方法 监督式学习：通过有标注的数据进行训练得到模 型参数，即先输入计算机一些问题的正确答案，在这些经验的基础上判断新答案；机器被给予很多正确答案；过程是一组输入X，到一组输出Y的映射；例如：输入各种图片-输出这些动物的标签（猫、狗、马，结节、肿瘤、炎症、结核），输入声音的波形-输出的是文字（是的、不 是、你好、再见等）；无监督式学习：是在未标记数据的基础上直接从 数据中寻找规律，生成模型参数。医生设定标记规则并完成病灶标记好老 师 精准精准标注标注实际工作应用-不断学习，迭代进步多做 题 海量海量数据数据百炼成钢-AI影像辅助筛查系统是怎样炼成的好脑
15、 子 优秀优秀模型模型神经网络模型学习训练鲁棒性安全性易用性百炼成钢-好AI产品的标准人工智能可以对2mm大小的肺结节进行 筛查，迅速标记出各层面上出现的结节，用时不到5秒26Solid Nodules:10mm27X线辅助筛查系统（线辅助筛查系统（AI-DR）检测出医生漏诊的肺结节，CT扫描结果显示“左肺 上叶前段可见一长径约2.0cm的磨玻璃结节，边界清楚，呈分叶状”，后期病理 证实此为一例肺癌。胸部X线辅助筛查系统(AI-DR)29CR与CT对照资深主治医师资深主治医师资深主治医师+AI模型模型10.90.80.70.60.50.40.30.20.100-3mm结节3-6mm结节6-10
16、mm 结节钙化结 节0-5mm磨玻 璃结节10-30mm结节5mm以上磨玻璃结节0-3mm结节3-6mm结 节6-10mm 结节钙化结 节0-5mm磨玻璃结节10-30mm结节5mm以 上磨玻 璃结节0.90.80.70.60.50.40.30.20.101主治医师A主治医师BAI模型+资深主治医师 VS 资深主治医师临床应用体验-辅助诊断病灶大小有变化吗？322010201220132015201734201020122013201520173776mm34105mm3(8.7%)5040mm3(33.5%)6937mm3(83.7%)7757mm3(105.4%)与第一次相比体积变化临床研
17、究-常规剂量与低剂量扫描对胸 部CT肺结节（专家+AI）检测的影响 Diagnostic performance of LDCT for the detection of pulmonary nodules in comparison to SDCT.Note:SDCT=the standard 120 kV protocol,LDCT=low-dose protocol chest CT images.*Wilcoxon signed rank test36小于4mm的病灶低剂量CT影响病灶检测率 Diagnostic performance of AI on LDCT in compari
18、son to SDCT for the detection of pulmonary nodules.Note:SDCT=the standard 120 kV protocol,LDCT=low-dose protocol chest CT images.*Wilcoxon signed rank testTotal(Truepositive)NatureSize distributionLocationFalse positivesolidsubsolid*calcified=4mm(4,8)#8mmsubpleuralNon-subpleural&SDCT 515(78.03%)413(
19、76.48%)61(81.33%)41(91.11%)465(77.37%)37(80.43%)13(100%)191(76.71%)324(78.83%)6.21/CTLDCT 456(70.15%)365(68.61%)52(71.23%)39(86.67%)405(68.53%)38(82.61%)13(100%)162(66.67%)294(72.24%)6/CTp value.001.001.046.480.000.6551.000.001.0260.77937标准剂量及低剂量均可显示38左肺上叶胸膜下微小结节标准剂量显示清晰，低剂量变淡、模糊39右肺上叶GGO(磨玻璃结节)标准剂量
20、可见，低剂量显示不清40右肺上叶胸膜下微小结节标准剂量可见，低剂量显示不清41左肺上叶胸膜下微小结节临床研究-AI对不同年资医师胸部CT肺 结节读片的辅助价值 Results of nodule detection in the unaided reading and second-reader modes:sensitivity and false positive rate per CT.42Note:Alone=AI-Unaided reading mode;With AI=AI as the second-reader mode.Characteristic of nodules in
21、 unaided reading and the second-reader modes of CAD in the standard dose setting.43Note:Alone=AI-Unaided reading mode;With AI=AI as the second-reader mode.临床研究-AI对不同年资医师胸部CT肺 结节读片的辅助价值 Characteristic of nodules in unaided reading and the second-reader modes of CAD in the low-dose setting.临床研究-AI对不同年
22、资医师胸部CT肺 结节读片的辅助价值44Note:Alone=AI-Unaided reading mode;With AI=AI as the second-reader mode.45 AIAI辅辅助助读读片片能显著能显著提提高高CTCT肺肺结结节的检节的检出出率率：对于有经验的中年资放射科医生、住院医师和实习生，独立读片模式下低 剂量CT结节检出的阳性率低于标准剂量CT；医生容易在低剂量胸部CT图像上遗漏结节，但AI协助共同阅片能明显改善 低剂量CT的肺部结节诊断效能；尤其对住院医师、实习医生的帮助更大8mm及以下结节，不管是标准剂量还是低剂量，无论是实性结节还是亚实性结节，第二次读片模
23、式能提高结节检测率同时假阳性一定程度增加临床研究-AI对不同年资医师胸部CT肺 结节读片的辅助价值M，51Y，右颈部淋巴结转移性腺癌；CT：右肺上叶微小结节，位于血管附近。人工阅片漏诊，推想提示结节。46AI读片人工读片乙状结肠癌术后半年余2017-08-07 约4mm472017-12-12 约7mm武汉同济医院医生使用人工智能“CT阿尔法狗”在心 胸组普遍使用。4849目前价值与优势 提高阅片效率：5秒浏览胸部CT片，节省阅片时 间，改变流程；6mm以上的结节几乎无假阴性，存在一定的假阳 性；定量参数有利于病变早期诊断；病灶细微改变观察优于人视觉；特别适合病变的动态观察、疗效评估、多病灶的
24、 计数；AI对低剂量CT扫描、低年资住院医师帮助更大 不疲劳、不受干扰。50局限性或挑战 目前研究重点病灶检测，诊断能力有待提高；平扫影像的检测，形态检测、不能进行功能成像 检测；单一检查影像检测、不能进行多种影像的融合；定量参数、特征提取不够多；存在假阳性、假阴性：解剖变异、病灶太小、密 度低、扫描条件等；多种深度学习算法和模型；病人隐私、伦理、法律问题等。51展望 检测影像特征提取+临床资料提高诊断；结构式报告(统一格式、内容、完整资料），准 确诊断；多种影像（CT、MRI、US、核医学）检查信息融 合提高诊断；影像+检验、病理、基因、临床；指导治疗、预 测疗效；智能诊断智能科学研究（高维特征的量化 AI+影像组学）。52 对放射科医师“白大褂”遭遇“黑科技”Risk of being replaced?RSNA主席Dr Ricard Ehman 开幕式讲道：在转换中求生存，要接受AI的挑战，AI可能是一种具有“颠覆性（disruptive)”的诊断方法，极大地改变临床诊断和应 用。许多专家指出：AI使得我们的影像工作更准确和便捷，但 是不会替代放射学家，有可能替代不使用AI的专家；和许 多新技术一样，开始对它的热度和期望往往会超前如何对待如何对待AI53
