1、大数据时代的信息技术及应用大数据时代的信息技术及应用友情提示上课时间请勿：-请将您手机改为“震动” 避免在课室里使用手机-交谈其他事宜-随意进出教室请勿在室内吸烟上课时间欢迎：-提问题和积极回答问题-随时指出授课内容的不当之处4大数据时代的背景及特征大数据时代的背景及特征内容提纲大数据时代的信息技术大数据时代的信息技术大数据时代的信息技术应用大数据时代的信息技术应用3大数据时代的未来展望大数据时代的未来展望1241 1 大数据大数据时代的背景及特征时代的背景及特征 背景数据背景数据互联网2013年全球网民数量达到年全球网民数量达到27亿亿6高流量手机应用的发展较快高流量手机应用的发展较快 我国
2、网民规模达6.18亿手机网民规模达5亿，占总网民数的81.0%7实例1-奥巴马总统选举l 有效选民分布有效选民分布l 筹集竞选资金筹集竞选资金l 竞选对手分析竞选对手分析l 竞选策略选择竞选策略选择基基 础础 数数 据据 达达 96亿亿 条条 ， 数数 据据 维维 度度 35个个 。案例案例2-余额宝与大数据余额宝与大数据l 客户年龄客户年龄l 使用习惯使用习惯l 交易频率交易频率l 地域分布地域分布1 大数据时代的背景与特征历史背景10 人类社会的发展阶段 原始社会原始社会 农业社会农业社会 工业社会工业社会信息社会信息社会 100万年万年 约约1万年万年 约约220年年 信息社信息社会会
3、棍棒、石器棍棒、石器青铜器铁器青铜器铁器机器机器 知识与技知识与技术术 （知识贡献（知识贡献% %）3 35 105 1015 2015 2030 6030 6080 80 1930年，一个美国农民可以提供9.8个人的食物； 1988年，一个美国农民可以提供128个人的食物。 2009年，一个美国农民可以提供300个人的食物。工业社会工业社会信息社会信息社会农农 业业制造业制造业采掘业采掘业运输业运输业建筑业建筑业金融业金融业商商 业业旅游业旅游业 ： ：. .农业社会农业社会工业社会工业社会大数据时代大数据时代社会背景社会背景12信息时代的新兴产业芯片芯片, ,计算机计算机, ,手机手机,
4、,通通信设备信设备, ,数字电视数字电视, ,软件软件, ,电子器件等电子器件等内容数字化内容数字化, ,数字文化数字文化, ,教育科技教育科技, ,知识产业知识产业, ,数数字娱乐字娱乐, ,电子游戏等电子游戏等电子政务电子政务, ,商务商务, ,金融金融, ,物流物流, ,教育教育, ,医疗医疗, ,社区社区, ,认证认证, ,娱乐娱乐, ,游戏等游戏等电信网络电信网络, ,广播电视网广播电视网络络, ,互联网络等互联网络等信息化推进经济社会转型信息化推进经济社会转型 19911991年，美国政府智囊团提出年，美国政府智囊团提出“信息社会信息社会”的概念。的概念。19921992年，西方七
5、国集团在布鲁塞尔召开年，西方七国集团在布鲁塞尔召开“信息技术部信息技术部长会议长会议”，首次确定了，首次确定了“全球信息社会全球信息社会”的构想。的构想。19931993年，美国开始建设全美年，美国开始建设全美“信息高速公路信息高速公路”。 19961996年，联合国在南非召开了年，联合国在南非召开了“信息社会和发展大会信息社会和发展大会的部长级会议的部长级会议”。19981998年，美国时任副总统戈尔提出年，美国时任副总统戈尔提出“数字地球数字地球”。20082008年，年，IBMIBM提出提出“智慧地球智慧地球”概念；概念；20092009年年1 1月，美月，美国总统奥巴马公开肯定国总统奥
6、巴马公开肯定IBM“IBM“智慧地球智慧地球”思路。思路。20122012年年，美国，美国发布大数据研究和发展计划发布大数据研究和发展计划。大数据时代大数据时代政治背景政治背景大数据(Big Data)指的是“无法用现有的工具进行提取、存储、搜索、分析、处理的复杂、海量的数据集合”。在业界经常会用4个V(即Volume、Variety、Value、Velocity)概括大数据的主要特征。大数据时代的特征大数据时代的特征海量数据海量数据(Volume)。人类所生产出来的印刷材料的数据总量为200PB，而整个人类历史上所有的数据总量大约是在5EB(1EB=210PB)。数据类型繁多数据类型繁多(V
7、ariety)。相对以前存储方便的的文本为主的数据化结构，非数据化结构将的总量会越来越多，其中包括了很多的网络日志，视频，音频，图片等一些信息，这些类型多元化对于数据的处理能力又提高了新的要求。低价值密度低价值密度(Value)。数据的总量大小和价值密度的高低成了反比。怎样通过强大的机器算法可以让数据完成更有价值的，是目前大数据时代下所面临最巨大的问题。处理速度处理速度快快(Velocity)。处理速度是区别大数据和传统数据最特征。根据IDC的“数字宇宙”的报告，预计到 2020年，全球数据使用量将达到35.2ZB。大数据时代的特征大数据时代的特征2 2 大数据时代的信息技术大数据时代的信息技
8、术l信息获取技术信息获取技术遥感技术遥感技术l信息存储管理信息存储管理海量数据存储海量数据存储l信息分析处理信息分析处理GIS、云计算、云计算l信息表达传输信息表达传输虚拟现实技术虚拟现实技术l信息服务共享信息服务共享物联网、宽带网物联网、宽带网2.1 2.1 信息获取技术信息获取技术 遥感（遥感（RS）是在与目标不直接接触的）是在与目标不直接接触的情况下，利用电磁波等判定、量测并分情况下，利用电磁波等判定、量测并分析目标的技术。包括地面遥感、航空遥析目标的技术。包括地面遥感、航空遥感和航天遥感。感和航天遥感。 主要提供全天候、全时域、全空间和主要提供全天候、全时域、全空间和定量化的时空数据源
9、，如大范围、高精定量化的时空数据源，如大范围、高精度的地球空间信息和图像。度的地球空间信息和图像。 “快鸟”卫星拍摄的中国台湾的卫星影像。19“快鸟”卫星拍摄的美国纽约市区的卫星影像。20美国快鸟计划（2002）： 0.62米分辨率21卫星影像213国道紫坪铺至都江堰部分路段堵塞路段监测国道紫坪铺至都江堰部分路段堵塞路段监测 北 斗 卫 星 导 航 系 统北 斗 卫 星 导 航 系 统BeiDou Navigation Satellite System，BDS是中国正在实是中国正在实施的自主发展、独立运行的全施的自主发展、独立运行的全球卫星导航系统。球卫星导航系统。 北斗卫星导航系统（北斗卫星
10、导航系统（BDS）由中国自）由中国自行研制，拥有完全自主知识产权，具有行研制，拥有完全自主知识产权，具有快快速定位速定位，双向通信和精密授时双向通信和精密授时三大功能。三大功能。北斗卫星导航系统北斗卫星导航系统 是利用地球同步卫星为用户提供快速定位、简短数字报文是利用地球同步卫星为用户提供快速定位、简短数字报文通信和授时服务的一种全天候、区域性的卫星定位系统。系统由两颗地球静止通信和授时服务的一种全天候、区域性的卫星定位系统。系统由两颗地球静止卫星（卫星（80E和和140E）、一颗在轨备份卫星（）、一颗在轨备份卫星（110.50E）、中心控制系统、）、中心控制系统、标校系统和各类用户机等部分组
11、成。标校系统和各类用户机等部分组成。 从从2007年开始正式建设，年开始正式建设，“北斗北斗”卫星导航定位系统需要发卫星导航定位系统需要发射射35颗卫星，足足要比颗卫星，足足要比GPS多出多出11颗。按照规划，颗。按照规划，“北斗北斗”卫星导航定位系统卫星导航定位系统将有将有5颗静止轨道卫星和颗静止轨道卫星和30颗非静止轨道卫星组成，采用颗非静止轨道卫星组成，采用“东方红东方红”-3号卫星号卫星平台。平台。陆地应用陆地应用海洋应用海洋应用航空应用航空应用航天应用航天应用大众消费大众消费 美国航天局（美国航天局（NASA）每天产生）每天产生1000G字节的信息，要求每天存贮和处理字节的信息，要求
12、每天存贮和处理10 15字节以上的设施。字节以上的设施。2.2 2.2 海量存贮技术海量存贮技术大容量数据存贮 美国美国NASA的行星地球计划的行星地球计划EOSAM1 99年上天，每天将产生年上天，每天将产生1000GB（即（即1TB）的）的数据和信息。数据和信息。 1米分辨率影像覆盖广东省，大约有米分辨率影像覆盖广东省，大约有1TB的的数据，而广东才是中国的数据，而广东才是中国的1/53。 所以要建立起中国的数字地球，仅仅影像数所以要建立起中国的数字地球，仅仅影像数据就有据就有53TB，这还只是一个时刻的，多时，这还只是一个时刻的，多时相的动态数据，其容量就更大。相的动态数据，其容量就更大
13、。 29大容量数据存贮 目前美国的目前美国的NASA和和NOAA已着手建立用原型并已着手建立用原型并行机管理的可存贮行机管理的可存贮1800TM的数据中心，数据盘的数据中心，数据盘带的查找由机器手自动而快速地完成。带的查找由机器手自动而快速地完成。 另一方面，为了在海量数据中迅速找到需要的另一方面，为了在海量数据中迅速找到需要的数据，元数据（数据，元数据（metadata）库的建设是非常必）库的建设是非常必要的，它是关于数据的数据，通过它可以了解要的，它是关于数据的数据，通过它可以了解有关数据的名称、位置、属性等信息，从而大有关数据的名称、位置、属性等信息，从而大大减少用户寻找所需数据的时间。
14、大减少用户寻找所需数据的时间。 2.3 2.3 信息分析处理信息分析处理l高性能计算技术高性能计算技术l地理信息系统（地理信息系统（GIS）l数据挖掘技术数据挖掘技术l云计算云计算31对复杂的数据进行实时、准确地分析。对复杂的数据进行实时、准确地分析。对复杂的现象进行仿真和虚拟实验。对复杂的现象进行仿真和虚拟实验。提高运算效率和解决科学难题。提高运算效率和解决科学难题。（1）计算科学技术曙光4000A深腾6800峰值速度11.2万亿次，Linpack8.1万亿次2004年6月TOP500位列第10峰值速度5.324万亿次，Linpack4.183万亿次2003年11月TOP500位列第14峰值
15、速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿双精度浮点运算2013年6月17日TOP500位列第1天河二号天河二号高性能计算3334计算化学计算化学中科大运用中科大运用6800 6800 研究了利用研究了利用STMSTM针尖诱导的针尖诱导的CoPcCoPc分子脱氢过程，研究成果已在分子脱氢过程，研究成果已在国际一流学术期刊国际一流学术期刊ScienceScience上发表。上发表。Jinlong Yang, et al. Science, 2 Jinlong Yang, et al. Science, 2 September 2005 Vol 309: 1542.September 2
16、005 Vol 309: 1542.计算化学虚拟实验室成员运用深腾6800开展科学研究和自主知识产权应用软件的研制开发，取得了诸多引人注目的成果。 中科院大气物理所中科院大气物理所LASG实验室运用自主开发的新型实验室运用自主开发的新型“气溶胶气溶胶-气气候耦合模式候耦合模式 GAMIL-A”气候模式在深腾气候模式在深腾6800上率先完成上率先完成政府间政府间气候变化委员会第四次评估报告气候变化委员会第四次评估报告，为世界气候研究做贡献，为世界气候研究做贡献 政府间气候变化委员会政府间气候变化委员会第四次评估报告第四次评估报告IAP/LASGIAP/LASG第四代气候系统模式第四代气候系统模式
17、FGOALS_sFGOALS_s模拟模拟的降水、温度和海平面气压。的降水、温度和海平面气压。 气候系统模式模拟气候系统模式模拟上海崇明越江隧道施工过程的数值仿真 南港隧道长约8.9公里，采用世界最大的直径15.2米的盾构法施工隧道,全面体现了大直径、长距离、大深度的世界隧道发展趋势。 汽车安全性分析典型工况：典型工况： LS-DYNA模拟汽车模拟汽车56km/h速度正面撞墙速度正面撞墙100ms过程，计过程，计算规模算规模50万单元，一般工作站需要计算万单元，一般工作站需要计算100小时，在曙光小时，在曙光4000A上用上用32CPU3小时完成。小时完成。（2）地理信息系统（GIS） GIS是
18、指在计算机软硬件支持下，对是指在计算机软硬件支持下，对空间信息进行输入、存储、查询、运算、空间信息进行输入、存储、查询、运算、分析和表达的技术系统。分析和表达的技术系统。 GIS的优势在于强大的空间分析功能。的优势在于强大的空间分析功能。39城城市市规规划划与与管管理理城市规划与管理（公众查询）专用GIS（车辆导航）资源调查与开发资源调查与开发热带风暴“纳尔吉斯”行进图灾害监测与救援灾害监测与救援军事与国防建设MAPGIS应用于神州七号的应用于神州七号的“搜救系统服务平台搜救系统服务平台 ”（3）数据挖掘技术 数据挖掘是指从数据库中抽取大量数据中隐含的、潜在的和有用的知识的过程。数据挖掘数据挖
19、掘数据库越来越大数据库越来越大有价值的知识有价值的知识可怕的数据？可怕的数据？留住最有留住最有价值客户价值客户数据挖掘可以数据挖掘可以沃尔玛是世界沃尔玛是世界第一大零售集团第一大零售集团公司，年度销售额超过公司，年度销售额超过30003000亿美元，员工超过亿美元，员工超过160160万，全球拥有万，全球拥有45004500多家连锁店，每周光临沃尔玛的顾客近多家连锁店，每周光临沃尔玛的顾客近1.41.4亿人次！亿人次！最核心竞争力是最核心竞争力是RetailLinkRetailLink系统（系统（采用数据挖掘技术采用数据挖掘技术） 五角大楼五角大楼 与与saffronsaffron科技公司（从
20、事数据挖掘）科技公司（从事数据挖掘） 合作研究和开发情报。合作研究和开发情报。 伊拉克战争，美国利用数据挖掘等技术制定伊拉克战争，美国利用数据挖掘等技术制定“联联合一体化目标清单合一体化目标清单”，包括针对伊领导集团及相，包括针对伊领导集团及相关的目标关的目标45594559个。个。 运用数据挖掘，对武器性能进行评估和模拟，对运用数据挖掘，对武器性能进行评估和模拟，对作战方案进行论证和演练。作战方案进行论证和演练。“里根号里根号”航空母舰应用航空母舰应用信息融合与数据挖掘技术信息融合与数据挖掘技术 FALCONFALCON系统是基于数据挖掘技术的信用卡欺诈估测系统，系统是基于数据挖掘技术的信用
21、卡欺诈估测系统，被相当数量的银行采用；被相当数量的银行采用； LBSLBS CapitalCapital ManagementManagement使用了专家系统、神经网络和使用了专家系统、神经网络和遗传算法技术来辅助管理多达遗传算法技术来辅助管理多达6 6亿美元的有价证亿美元的有价证 券；券； 证券交易中，进行股票预测、证券市场分析等，可以发现证券交易中，进行股票预测、证券市场分析等，可以发现“利润超重利润超重”和和“账务造假账务造假”等现象。等现象。 营销费用减少了30Computer applications Computers are being used more and more i
22、n both the home and the workplace. The use of ICT and the application of computers has now grown to such an extent that life without computers seems almost unthinkable. 生活给科学提出了目标，科学照亮了生活的道路。 -米哈伊洛夫斯基 2.4 虚拟现实技术虚拟现实技术军事模拟电子对抗仿真54作业仿真训练55 在计算机互联网的基础上通过射频识别在计算机互联网的基础上通过射频识别（RFID）、红外感应器、全球定位系统、激光）、红外感应
23、器、全球定位系统、激光扫描器等扫描器等信息传感设备信息传感设备，按约定的，按约定的协议协议，把任把任何物品与互联网连接何物品与互联网连接起来，进行信息交换和通起来，进行信息交换和通讯，以实现讯，以实现智能化识别、定位、跟踪、监控和智能化识别、定位、跟踪、监控和管理管理的一种网络。的一种网络。2.5 物联网（物联网（The Internet of things）基于感知信息的应用服务基于感知信息的应用服务传输感知层信息传输感知层信息获取并处理物品信息获取并处理物品信息物联网的架构物联网的架构3 3 大数据时代的信息技术应用大数据时代的信息技术应用 1 智能家居 采用无线传感器网络和无线局域网技术
24、，实现对灯、空调设备的远程监采用无线传感器网络和无线局域网技术，实现对灯、空调设备的远程监控，同时为工作人员配备手持终端，方便工作人员现场处理设备故障。控，同时为工作人员配备手持终端，方便工作人员现场处理设备故障。 医医院病房电电子巡检检 将无线传感器网络布设于农田、园林、温室等目标区将无线传感器网络布设于农田、园林、温室等目标区域，网络节点大量实时地收集域，网络节点大量实时地收集温度、湿度、光照、气温度、湿度、光照、气体浓度体浓度等物理量，精准地获取土壤水分、养分程度、等物理量，精准地获取土壤水分、养分程度、电导率、电导率、pHpH值、氮素等土壤信息。值、氮素等土壤信息。 无线传感器网络有助
25、于实现农业生产的标准化、数字无线传感器网络有助于实现农业生产的标准化、数字化、网络化。化、网络化。 将从三个方面有效促进农业的发展：将从三个方面有效促进农业的发展：增产增收增产增收、节约节约能源能源，相当于露地栽培产量，相当于露地栽培产量1010倍以上倍以上4 大数据时代的未来展望 表达数字化表达数字化 技术集成化技术集成化 服务网络化服务网络化 应用智能化应用智能化77巴尔的摩 数字城市数字城市78休斯顿 数字城市数字城市79西 雅 图数字城市数字城市 数字城市数字城市 数据的建库管理数据的建库管理 数据的分析展现数据的分析展现 数据的共享服务数据的共享服务 智慧城市智慧城市 全面的数据采集
26、和动态监控全面的数据采集和动态监控 多信息体系互联协同多信息体系互联协同 快速可变的业务处理快速可变的业务处理 数据分析和知识生成数据分析和知识生成 预测决策支持预测决策支持从数字城市到智慧城市从数字城市到智慧城市智慧城市体系架构智慧城市体系架构 智慧国土智慧国土 智慧农林智慧农林 智慧通信智慧通信 智慧公安智慧公安 智慧电网智慧电网 智慧交通智慧交通 智慧城管智慧城管 智慧市政智慧市政 智慧矿山智慧矿山智慧城市解决方案智慧城市解决方案 水水资源资源、大、大气环境监测气环境监测、动植物与生态环境监测动植物与生态环境监测 地表森林河湖地表森林河湖湿地自动监测湿地自动监测 美国麻州美国麻州City
27、SenseCitySense智能环保智能环保 智能交通系统智能交通系统 (Intelligent Transportation System)(Intelligent Transportation System) 路况路况 车况车况 流量监控流量监控 环境环境 ETCETC智能智能交通交通未来时速数字神经系统和商务思维讨论如何用计算机技术和因讨论如何用计算机技术和因特网信息技术帮助实现商业特网信息技术帮助实现商业目标。目标。 奥巴马就任美国总统后与美国工商业领袖举奥巴马就任美国总统后与美国工商业领袖举行的圆桌会议上，行的圆桌会议上，IBM首席执行官彭明盛首席执行官彭明盛（Sam Palmisa
28、no）首提）首提“智慧地球智慧地球”概念概念 1个核心：以更智慧的方法通过利用新一代信个核心：以更智慧的方法通过利用新一代信息技术来改变政府、公司和人们相互交互的息技术来改变政府、公司和人们相互交互的方式，以便提高交互的明确性、效率、灵活方式，以便提高交互的明确性、效率、灵活性和响应速度。性和响应速度。 3个特征：更透彻的感知、更全面的互联互通、个特征：更透彻的感知、更全面的互联互通、更深入的智能化。更深入的智能化。 4个框架：新锐洞察、智慧运作、个框架：新锐洞察、智慧运作、 动态架构、绿色未来动态架构、绿色未来智慧地球智慧地球88具体案例：基于3S的污染源普查信息系统污染源在线监测与可视化管理多维统计分析污染事故应急污染事故应急具体案例：智能仓库管理尾矿库安全监测信息系统96n 数字矿山勘查信息管理系统数字矿山勘查信息管理系统99n矿井水文动态监测信息系统矿井水文动态监测信息系统100清江 n数字清江洪水演进仿真系统数字清江洪水演进仿真系统101请各位老师批评指正！请各位老师批评指正！
