医疗大数据、智慧健康主题汇报课件.pptx

1、医疗大数据&智慧健康目录一什么是大数据？二大数据&医疗三数据中心，强大支撑大数据1.什么是大数据？2.大数据时代的爆炸增长3.大数据的战略影响电影点球成金2011年布拉德皮特主演的点球成金是一部美国奥斯卡获奖影片。所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。数据本质是生产资料和资产VS不可再生资源数据什么是数据？Social MediaMachine/SensorDOC/MediaWeb ClickstreamAppsCall LogLog半结构化/非结构化数据1Byte=8 Bit1KB=1，024 Bytes1MB

2、=1，024 KB=1，048，576 Bytes1GB=1，024 MB=1，048，576 KB =1，073，741，824 Bytes1TB =1，024 GB=1，048，576 MB=1，099，511，627，776 Bytes1PB =1，024 TB=1，048，576 GB =1，125，899，906，842，624 Bytes1EB =1，024 PB=1，048，576 TB =1，152，921，504，606，846，976 Bytes1ZB =1，024 EB=1，180，591，620，717，411，303，424 Bytes1YB =1，024 ZB=1，

3、208，925，819，614，629，174，706，176 Bytes？什么是大数据？数据度量何为什么是大数据？中国国家图书馆：2631万册数据没有办法在可容忍的时间下使用常数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务规软件方法完成存储、管理和处理任务红楼梦含标点87万字（不含标点853509字）每个汉字占2个字节：1汉字=16bit=2*8位=2bytes1GB 671部红楼梦1TB 631，903 部1PB 647，068，911部美国国会图书馆藏书（151，785，778册）1EB=4000*美国国会图书馆存储的信息量大数据是如何产生的？信息世界、物理世界、人

4、类社会(CPH)三元世界彼此融合、交互映射形成大数据大数据的来源“大数据”是如何产生的？半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。“大数据”是如何产生的？194619511956196119701974197919912001 200320082011第一台计算机ENIAC面世磁带+卡片人工管理磁盘被发明，进入文件管理时代网络型SQLE-RGE公司发明第一个网络模型数据库，但

5、仅限于GE自己的主机1960年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导IBM E.F.Dodd提出关系模型SQL语言被发明关系型数据库ORACLE发布第一个商用SQL关系数据库，后续快速发展数据仓库数据仓库开始涌现，关系数据库开始全面普及且平台无关，进入成熟期2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新的要求1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分Hadoop成为Apache顶级项目，重点支持海量数据分布式管理和分布式计算GFS谷歌发表论文

6、介绍分布式计算数据管理技术发展历史数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段大数据是“未来的新石油”2012年，世界上存储的数据达到1.5ZB（约1亿TB）字节，如果把这些数据全部印刷成书，这些书可以覆盖整个美国52次，如果将之存储于标准的光盘，这些光盘可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产

7、。大数据就是“未来的新石油”。13000+个iPhone应用下载Skype上37万+分钟的语音通话Twitter上发布98000+新微博上传6600张新照片到flickr发出290万+条EmailFacebook上更新69.5万+条新状态YouTube上上传600+新视频淘宝光棍节10680+个新订单12306出票1840+张大数据时代的爆炸增长大数据的4V特征大数据Volume 数据量PB是大数据層次的临界点是大数据層次的临界点.Bity-KB-MB-GB-TB-PB-EB-ZB-YB-NB-DB1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1NB1YB大数据Variety 多样

8、性物联网数据行业/企业内数据互联网数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。大数据Velocity 速度82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据

9、仓库技术，BI技术的关键差别之一；1s 是临界点，对于大数据应用而言，必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；大数据Value 价值挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；为了一点金子，需要保存全部沙子大数据的价值推动经济转型发展的新动力重塑国家竞争优势的新机遇提升政府治理能力的新途径大数据的战略影响 大数据是21世纪的新石油，将与陆海空天一样象征国家的主权 大数据成为促进“互联网+”新经济和社会进步的催化剂 实验观察的范式 理论支撑的范式 计算模拟的范式 数据驱动的范式 大数据产业、云计算产业、互联网+X产业等等成为

10、国家主权的新疆域形成社会进步的新引擎提供科学研究的新范式形成高新科技的新领域大数据&医疗1.大数据在医疗行业中的应用2.非结构化大数据分析手段3.流感趋势预测4.计算机大数据算法医疗健康，刚性需求看病难，看病贵看病难，看病贵非结构化数据处理文字建立标准术语系统医学知识模型信息提取文本模块化机器学习统计学习规则归纳电子病历数据挖掘支持：临床决策、建立临床路径、临床指南，诊疗过程追踪1、语言处理技术2、数据挖掘技术3、应用生物特征识别技术通常按照，扫描、数字化处理、分析、特征提取、存储、匹配分类几个步骤处理。目前扫描数字化处理已经相对成熟，主要的研究集中在分析和特征提取方面。计算机辅助诊断技术：医

11、学CAD1、图像预处理：灰度直方图、去噪、图像增强2、图像特征提取：边缘分割、灰度共生矩阵3、图像分类：支持向量机算法（神经网络的一种衍生算法）图像之全息眼镜非结构化数据处理图像非结构化数据处理视频远程医疗在线教育科技，改变生活物联网3G通讯技术WIFI条码及RFID云计算智能手持终端新型健康管理设备物联网传感技术的快速发展为各类监测与控制提供了可能。智能终端可穿戴医疗设备2022-8-11智能家用医疗健康检测设备应用研发：预测建模提高临床试验设计的统计工具和算法临床实验数据的分析个性化治疗 疾病模式的分析 临床操作：比较效果研究临床决策支持系统医疗数据透明度远程病人监控 付款/定价：自动化系

12、统 基于卫生经济学和疗效研究的定价计划机器学习机器学习：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。机器学习是人工智能的基础。聚类分析 聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预

13、报法等。非结构化大数据分析手段健康大数据云服务丰富智能硬件用户体验智能家用医疗健康检测设备未来趋势 流感趋势预测 2008年，谷歌推出了其著名的流感趋势网站（http:/www.google.org/flutrends）。该网站假定的前提是：如果用户患上了流感，则他们会搜索更多同流感相关的信息。如此一来，如果对任何一个国家或地区有关流感的搜索量进行统计，就能较好推断出某个国家或地区是否正爆发流感。事实上，谷歌的这项统计数据被证实很有效。谷歌的相应数据，同美国疾病控制与预防中心(CDC)等政府机构所统计的数据非常接近（97%）。在某些情况下，谷歌甚至能够比CDC提前一周预测出哪些地区将爆发流感。

14、流感趋势预测流感趋势预测计算机大数据算法 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。计算机大数据算法 通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。大数据的挖掘常用的方法有分类算法、聚类算法、关联规则、回归分析、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。计算机大数据算法-分类算法

15、 分类算法是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类。其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别中。可以应用到涉及到应用分类、趋势预测中。如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。计算机大数据算法-聚类算法 聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别 属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。计算机大数据算法-关联规则 关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其

16、他数据项的出现 关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求。例如淘宝可以根据用户浏览、购买等习惯推测人群分类，如孕妇、电脑爱好者等。计算机大数据算法-回归分析 回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。计算机大数据算法-神经网络方法 神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、

17、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。计算机大数据算法-十大经典算法 C4.5 K-Means Support vector machines The Apriori algorithm 最大期望(EM)算法 PageRank AdaBoost k-Nearest Neighbor Naive Bayes CART数据中心，强大支撑1.服务和保障2.业务技术支持3.使用案例中国科学院计算技术研究所烟台分所数据中心是具有国内

18、一流标准的网络数据中心，拥有高速光纤线路、完备的网络环境以及专业化的网络管理技术。为客户提供便捷、高质量的服务。拥有一流的设施和先进的网络设备，在为您提供高质量的IT服务的同时为您节省了时间和成本，为企业E时代的发展成功提供坚实基础。数据中心概况 存储容量达到2.2PB，能提供海量数据的存储及备份。存储容量 提供分布式、高可靠的高性能计算和海量数据存储。分布式架构 配备500余台高性能服务器，总计算能力达到60万亿次浮点运算/秒。计算能力硬件配置环境设施l 供电设施l 运行环境l 安保消防l 基础网络服务器整机租赁为中小企业、创业团队，提供高性能服务器的整机租赁服务，烟台分所能够提供主机、电力

19、、网络、环境的可靠保障，为企业的研发、生产等提供有力保障。服务器托管利用烟台分所数据中心的机柜空间，为企业自行采购的服务器等设备提供托管服务，能够提供可靠的电力、网络、环境服务。租赁托管服务操作系统技术支持系统安装配置优化；系统常见服务搭建配置；系统安全性配置；数据库技术支持Oracle安装配置优化；MySql安装配置优化；双机热备配置；安全性配置；系统数据服务可扩展性：不改变物理资源配置的情况下进行规模调整。高可用性：不影响用户的情况下对物理资源进行删除、转移、故障切换提高安全性：虚拟机资源间的隔离和划分提高使用灵活性：实现动态的资源部署和重配置降低管理成本：减少物理资源的数量，实现中央管理

20、五大特性虚拟化服务XenServer方案轻量级Docker方案虚拟化服务单机XenServer方案对业务连续性要求不高的情景；多机XenServer集群HA高可用性；故障自动迁移；动态工作负载均衡；VM故障容错镜像；分布式交换机；Failover集群on-line伸缩存储实时热备份WAN重量级虚拟化服务四路48核x4SAN共享存储最高上百台虚拟机高可用集群平稳运行五年虚拟化-Citrix XenServer多台服务器搭建的高可用xen集群2套，运行虚拟机112台基础设施云化-xen集群技术秒级操作：创建、启动、停止等；资源高效：使用宿主机的内核，资源更高效利用；系统隔离：文件系统隔离，独立根文

21、件系统；资源隔离：不同的流程容器；高可用性：迅速的扩容缩容、滚动升级、自动负载均衡；轻量级虚拟化服务资源快速升级简便实用虚拟化-轻量级Docker方案秒级的虚拟机 创建 和分钟级的 资源释放自由度够大，有 root 权限，自己的主机完全由自己管理完善的技术支持。强大的 后台 管理功能5台服务器，共创建近500个虚拟镜像虚拟环境服务器资源使用率平均在70%以上基础设施云化-docker集群技术资源负载 CPU、内存、IO、磁盘空间进程、服务 进程存活、Web响应、日志报错数据库 Oracle、Mysql健康状态网络 拓扑绘制、实时流量、网络延迟系统资源监控：CPU使用百分比、CPU队列、内存和S

22、WAP使用率、硬盘空间使用率、IO使用率、目录使用率；数据库状态监控：oracle下tns、login、cache命中率、表空间等；Mysql下的端口、databasename、login、slave等；进程状态:进程状态和数量、单个进程的CPU/内存等的资源占用；日志状态监控：系统日志、应用日志的关键字段报警；网络状态监控：ping延迟、netin/netout、网络设备吞吐、网络设备CPU/内存使用率；报警通知和处理：提供短信、邮件、声音报警，7x24小时值守第一时间处理和告知。IT监控系统IT业务监控保障系统资源使用率监控 系统硬件资源监控及曲线图；网络资源使用监控及曲线图；系统空间监控

23、及曲线图；低负载服务器提高系统利用率建议；定制的系统监控 对各系统提出的定制化需求提供监控服务；定期发送系统监控及运行状态报告；绿色 整合 只需一个普通用户、一个进程、一个端口，以超低负载驻守后台，精准监控指定项目，权限完全隔离，对现有业务无任何影响。系统监控服务 电力系统 保安系统消防系统环境系统机房环境监控保障分布式系统MongoHDFSCeph自包含文件存储、快存储、对象存储无中心结构：高可靠性，杜绝单点故障增添新节点方便，扩展性极强高度自动化：replication、re-balancing、failure detection、failure recovery可自我修复的分布式文件存储

24、系统；高可用性：支持自动故障转移；高性能：分布式的多台主机提供服务；高可扩展性，无需停机动态扩；使用低成本存储和服务器构建；面向集合的存储：适合存储对象及JSON形式的数据高容错性：多份数据冗余高可用性：支持自动故障转移高性能：分布式的多台主机提供服务高可伸缩性：自动分片以支持云级别的伸缩性分布式存储技术oracle active dataguard Mysql&Heartbeat应用多机热备LVS负载均衡完全冗余保护可实时备份、跨IDC部署多机热备普通文件备份；数据库增量备份；虚拟化级别备份；网络设备备份；数据保障-备份服务多线网络接入网络安全网络带宽和安全保障html5技术支持移动设备访问

25、，为移动办公提供方便绘制服务器性能、数据增长量图表，使得数据显示更加直观导出excel、巡检、发送mail等功能硬盘、内存、CPU监控信息计算各服务器物理资源使用率负载，引导最大化利用硬件资源运维管理系统ping状态监控服务器负载监控网络负载/网络拓扑流量监控进程、日志监控及报警数据库各类详细状态监控多方式通知：短信、邮件、声音监控系统7*24小时实时资源监测基于 OpenSSL 库的应用层 VPN 实现简单易用，OpenVPN允许参与建立VPN的单点使用共享金钥，电子证书，或者用户名/密码来进行身份验证。多系统支持：Solaris、Linux、OpenBSD、FreeBSD、NetBSD、M

26、ac OS X与Microsoft Windows以及Android和iOS上运行，安全性保障：包含了许多安全性的功能。通过使用OpenVPN结合防火墙策略，可以安全的控制访问策略。VPN系统分布式采集系统实时规则过滤系统分布式存储系统新闻采集器RDBMSICTBase分布式实时搜索系统实时过滤RESTful APIs论坛采集器博客采集器元搜索采集器评论采集器回溯过滤态势分析话题发现引擎热门文章分析热词分析热点话题分析热点实体分析消息队列舆情监测服务平台互联网信息预警系统产业导航服务平台分布式调度框架URL全局查重引擎实体抽取引擎采集任务生成分布式数据总线采集结果入库消息队列消息队列舆情热点分

27、析系统统一配置平台信源配置失效检测信源管理电子报采集器微博采集器日志收集与管理系统资源状态监控系统结构化数据实时数据第三方数据源 智能报表系统图像分析引擎文本提取图像比对图像特征提取融合报道支撑平台数据平台总体技术架构针对医学影像信息大数据的可计算性科学问题与关键技术开展深入研究：提出一种融合CPU和GPU架构的通用大规模图像并行计算平台架构体系设计与实现方法研制大规模影像数据的高效并行计算平台和存储原型系统（大规模图像计算的无级扩展并行存储系统ICTStor及高效存取的新型键值存储系统ICTBase）解决多模态、多维“大颗粒度”医学图像的高效存储和快速计算等问题。医学影像大数据中科院重点部署项目Datanode DatanodeDatanode Datanode DatanodeNamenodeICTStore分布式文件系统ICTBase实时、分布式、高位数据库MapReduce/Spark/Hive分布式计算Zookeeper 分布式协作服务Mysql集中式存储BDE大数据引擎管理平台用户Ganglia 分布式监控系统影像检索请求、任务设计、状态监控调用Mapreduce算法进行分布式计算通过索引获取影像检索信息结果返回获取计算结果医学影像数据导入HDFS并通过Mapreduce算法进行实时索引获取监控信息BDA大数据深度分析平台医学影像大数据系统架构