1、深度学习人工智能在医疗图像处理中的应用 深度学习人工智能在医疗图像处理中的应用 深度学习 深度学习算法受到灵长类视觉系统结构的启发 近年来在很多领域取得了突破 从2016年起在医疗图像领域也取得一系列突破 深度学习 深度学习算法受到灵长类视觉系统结构的启发 近年来在深度学习的成功：回过头看：很早就发现的受大脑启发的算法+大数据+大的计算机 但真正的历史是曲折的。http:/ 深度学习的成功：回过头看：很早就发现的受大脑启发的算自动特征提取 自动特征提取 突破时刻 ImageNet 2012 突破时刻 I m a g e N e t 2 0 1 2 皮肤癌诊断 斯坦福大学的研究人员开发深度学习算
2、法，识别皮肤癌的准确率与专业的人类医生相当，相关研究论文被选为封面论文在2016年底的 Nature 发表。研究人员训练系统观看了近13万张痣、皮疹和其他皮肤病变的图像，然后让系统与21位皮肤科医生对比测试，结果系统的精确度与人类医生相当（“至少”91%）。皮肤癌诊断 斯坦福大学的研究人员开发深度学习算法，识别皮肤癌本人在MIT博士后期间（2007）开始将深度学习应用到生物图像上 基于电子显微镜的脑链接组解析 V.Jain,J.F.Murray,F.Roth,S.Turaga,V.Zhigulin,K.L.Briggman,M.N.Helmstaedter,W.Denk,and H.S.Seu
3、ng.Supervised Learning of Image Restoration with Convolutional Networks.Proceedings:IEEE 11th International Conference on Computer Vision(ICCV)(2007).视网膜神经元的分类 Sumbul U&,Song S&,McCulloch K,Becker M,Lin B,Sanes JR,Masland R,Seung SH*.(2014)A genetic and computational approach to structurally classif
4、y neuronal types.Nature Communications,5:3512(co-first author)本人在MI T 博士后期间（2 0 0 7）开始将深度学习应用到生物图The fundamental plan of the retina Photoreceptors:Horizontal:Bipolar:Bipolar:Amacrine:Ganglion:Reference:Masland,R.H.(2001).The fundamental plan of the retina.Nat Neurosci,4(9):877-886.T h e f u n d a m
5、e n t a l p l a n o f t h e r e深度学习人工智能在医疗图像处理中的应用课件为什么困难？错误的断开 错误的融合 需要先验知识.为什么困难？错误的断开 错误的融合 需要先验知识.用机器学习方法来重构神经元+Train 用机器学习方法来重构神经元+T r a i n 卷积神经网络 端到端训练 Hand Designed Filters versus End to End Learning 卷积神经网络 端到端训练 H a n d D e s i g n e d F i l分两步走 分两步走 如何标注图像很重要 How to Generate Training Label
6、s morphology 如何标注图像很重要 H o w t o G e n e r a t e T r a i利用先验知识，让电脑学习最重要的东西 最重要的是拓扑连接结构 利用先验知识，让电脑学习最重要的东西 最重要的是拓扑连接结构本实验室2014年提出注意力神经元网络 基于生物神经元树突的非线性特征 乘法机制 运用到图像分割问题上 Qian Wang,Jiaxing Zhang,Sen Song,Zheng Zhang Attentional Neural Network:Feature Selection Using Cognitive Feedback NIPS 2014 传统人工神经
7、元模型认为信号整合是线性的，只有动作电位发放是非线性的。本实验室2 0 1 4 年提出注意力神经元网络 基于生物神经元树突的Data Science Bowl 2017?$1 M prize?1700+teams?1000+kernels 肺癌辅助诊断 在今年的数据国际大赛上 本实验室和胡晓玲老师、张钹老师 实验室学生 廖方舟 李哲 运用相关技术 获得了世界第一的成绩 D a t a S c i e n c e B o w l 2 0 1 7?$1 M 根据CT 图像预测一年后发病概率 根据C T 图像预测一年后发病概率 Nodule Detector Net(N-Net)3D cube 24
8、 32 64 64 64 128 128 64 5*K 3D output 32 64 16 8 64 R R 32 32 64 32 16 128 128 32 64 32 32 N o d u l e D e t e c t o r N e t (N-N eCase Classification Net(C-Net)Top 5 proposals+dummy nodule 128 99.97%P1=69.06%32 128 N-Net 97.36%P2=65.22%32 128 86.48%P3=69.69%32 128 71.84%P4=2.08%32 128 69.65%P5=5.97
9、%32 Pd=0.97%C a s e C l a s s i f i c a t i o n N e t (C-N e t类脑计算类脑计算-迈向通用人工智能迈向通用人工智能 类脑计算是一门融合了脑科学与计算机科学、信息科学和人工智能等领域的交叉学科，类脑计算借鉴了人脑存储和处理信息的方式，是基于神经形态工程发展起来的新计算技术。其与现代计算机相结合，将构成人工通用智能的基础，并大幅提高智能处理能力，最终促进计算机、大数据、机器人、人工智能等的发展。类脑计算-迈向通用人工智能 类脑计算是一门融合了脑科学与对未来的展望 1小数据问题 减少对标注的依赖，让相关算法自适应性更强 这对医疗图像很重要，
10、各医院采取的机器格式等不一样。2 可解释的机器学习 需要有中间结果及推理过程，而不完全是黑箱操作 3 多模态融合 综合多种成像手段，以及其他检测指标对疾病做出辅助诊断 对未来的展望 1 小数据问题 减少对标注的依赖，让相关算法自1 小样本问题 -学习去学习 减少对标注的依赖 对医疗数据很重要 学习写字 在这篇论文中，研究者的模型只规定了字符由笔画组成，笔画由抬高笔触来区分，而笔画又由更小的子笔画组成，子笔画用笔尖速度为零的点来区分。有了这个初始模型之后，研究者向AI展现了人类手写文字的方式，包括笔画顺序等，让系统学习连续的笔画和子笔画之间的统计关系，以及单个笔画所能容忍的变异程度。这个系统从未
11、在它所分析的书写系统上进行过任何训练，它只是推理出了人类写字的一般规律。24 1 小样本问题 -学习去学习 减少对标注的依赖 对医疗可解释的机器学习-深度学习到底学了什么？25 2 可解释的机器学习-深度学习到底学了什么？2 可解释的机器学习 既有直觉又有推理的完整系统 26 2 可解释的机器学习 既有直觉又有推理的完整系统 2 6 3 多模态融合和复杂决策多模态融合和复杂决策 整合电子病例信息整合电子病例信息 自学习人工智能在预测心脏病发作上击败人类医生自学习人工智能在预测心脏病发作上击败人类医生?在新的研究中，Weng 和他的同事比较了 ACC/AHA 指南与随机森林，逻辑回归，梯度增强和神经网络这四种机器学习算法的应用 。所有四种技术都在没有人为指导的情况下通过分析大量数据形成了预测工具。这一研究中的数据来自英国378256名患者的电子病历。其目标是在心血管疾病相关数据中找出模式。3 多模态融合和复杂决策 整合电子病例信息 自学习人工智能 Thank you！谢谢谢谢 汇报完毕 T h a n k y o u！谢谢 汇报完毕
