大数据的发展与应用课件.pptx

1、互互联网联网的的产产生和生和发发展展1目 录大大数数据的据的概概念念大大数数据的特点据的特点21大大数数据的据的产产生生3大大数数据的据的应应用用4第1页/共47页大数据的基本概念 国务院促进大数据发展行动纲要 大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。第2页/共47页大数据的基本概念 重要意义 大数据成为推动经济转型发展的新动力 大数据持续激发商业模式创新，不断催生新业态，已成为互联网等新兴领域促进业务创新增值、提升企业核心价

2、值的重要驱动力 大数据成为重塑国家竞争优势的新机遇 发掘和释放数据资源的潜在价值，有利于更好发挥数据资源的战略作用 大数据成为提升政府治理能力的新途径 建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制第3页/共47页大数据的基本概念 维基百科的定义 大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集第4页/共47页大数据的基本概念 IDC(International Data Corporation)的定义 大数据一般会涉及2 种或2 种以上数据形式。它要收集超过100TB 的数据，并且是高速、实时数据流;或者是从小数据开始，但数据每年会增长60%以上

3、第5页/共47页大数据的基本概念 Gartner的定义 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产第6页/共47页大数据的特点 规模性（Volume）根据IDC 的定义至少要有超过100TB 的可供分析的数据，数据量大是大数据的基本属性谷歌的自动驾驶汽车，为了对周谷歌的自动驾驶汽车，为了对周围环境作出预测，每秒钟要收集围环境作出预测，每秒钟要收集差不多差不多1GB的数据的数据未来趋势：智能化汽车第7页/共47页大数据的特点 著名咨询公司IDC的统计 2011 年全球被创建和复制的数据总量为1.8ZB（10 的21 次方），其中75%来

4、自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量（200PB）预测到2020 年，全球数据量暴增44 倍（相比2009 年），总量会达到35 ZB。第8页/共47页大数据的特点 数据增长定律 图灵奖获得者Jim Gray提出数据增长的经验定律 网络环境下每18 个月产生的数据量等于有史以来数据量之和第9页/共47页大数据的特点 著名咨询公司IDC的统计 Google 公司通过大规模集群和MapReduce 软件，每月处理的数据量超过400PB 百度每天大约要处理几十PB 数据 Facebook 注册用户超过10亿，每月上传的照片超过10 亿张，每天生成300TB

5、以上的日志数据 淘宝网会员超过3.7 亿，在线商品超过11 亿类，每天交易数千万笔，产生约20TB 数据。第10页/共47页大数据的特点第11页/共47页大数据的特点 著名咨询公司IDC的统计 传感网和物联网的蓬勃发展是大数据的又一推动力，各个城市的视频监控每时每刻都在采集巨量的流媒体数 劳斯莱斯公司对全世界数以万计的飞机引擎进行实时监控，每年传送PB数量级的数据。第12页/共47页大数据的特点大数据的特点 数据丰富，信息贫乏数据丰富，信息贫乏组织组织项目项目数据规模数据规模电信电信通话清单通话清单数十亿条数十亿条/月月银行银行业务数据业务数据数千万条数千万条/月月股票股票日线数据日线数据数十

6、万条数十万条/月月卷烟厂卷烟厂生产数据生产数据数百万条数百万条/月月超市超市销售数据销售数据数百万条数百万条/月月搜索引擎搜索引擎网页网页数百亿页数百亿页在线零售商在线零售商交易数据交易数据数百万条数百万条第13页/共47页大数据的特点 多样性（Variety）数据类型繁多，复杂多变是大数据的重要特性 以往的数据尽管数量庞大，但通常是事先定义好的结构化数据。结构化数据是将事物向便于人类和计算机存储、处理、查询的方向抽象的结果 数据都以表格的形式保存在数据库中第14页/共47页大数据的特点 多样性（Variety）大数据时代半结构化、非结构化数据逐渐成为主流数据。非结构化数据量已占到数据总量的7

7、5%以上，且非结构化数据的增长速度比结构化数据快10 倍到50 倍。数据类型层出不穷，已经很难用一种或几种规定的模式来表征日趋复杂、多样的数据形式视频、音频、图片、邮件、视频、音频、图片、邮件、HTML、RFID、GPS 和传感器和传感器第15页/共47页Web数据挖掘面临的难题Web上半结构化数据特点Web页面的结构是页面自描述的在页面里数据与结构混合存在结构经常动态变化大数据多样性带来的问题大数据多样性带来的问题第16页/共47页Web数据挖掘面临的难题第17页/共47页Web数据挖掘面临的难题第18页/共47页Web数据挖掘面临的难题第19页/共47页大数据的特点 高速性（Velocit

8、y）要求数据的快速处理，是大数据区别于传统海量数据处理的重要特性之一 不断激增的数据不但不能为解决问题带来优势，反而成了快速解决问题的负担 数据不是静止不动的，而是在互联网络中不断流动，且通常这样的数据价值是随着时间的推移而迅速降低的，如果数据尚未得到有效的处理，就失去了价值，大量的数据就没有意义第20页/共47页大数据的特点 价值性（Value）大数据的价值往往呈现出稀疏性的特点 数据价值密度低是大数据关注的非结构化数据的重要属性 视频监控，大量的图像数据被存储下来，对于某一特定的应用，比如获取犯罪嫌疑人的体貌特征，有效的视频数据可能仅仅有1-2秒第21页/共47页大数据的产生 数据产生方式

9、的变革 人类社会的数据产生方式经历了个阶段，而正是数据产生方式的巨大变化才最终导致大数据的产生 运营式系统阶段 用户原创内容阶段 感知式系统阶段第22页/共47页大数据的产生 运营式系统阶段 数据库出现使得数据管理的复杂度大大降低 超市的销售记录系统 银行的交易记录系统 医院病人的医疗记录 主要特点是数据伴随运营活动产生并记录在数据库中 比如淘宝每销售出一件产品就会在数据库中产生相应的一条销售记录第23页/共47页大数据的产生 用户原创内容阶段 互联网促使人类社会数据量出现第次飞跃，但是真正的数据爆发产生于Web2.0时代，Web2.0的最重要标志就是用户原创内容 主要原因 以博客、微博和微信

10、等为代表的新型社交网络的出现和快速发展 以智能手机、平板电脑为代表的新型移动设备的出现，使得人们在网上发表自己意见的途径更为便捷第24页/共47页大数据的产生 感知式系统阶段 人类社会数据量第次飞跃最终导致了大数据的产生，今天正处于这个阶段 飞跃的根本原因感知式系统的广泛使用 制造极其微小的带有处理功能的传感器 设备对整个社会运转进行监控 设备会源源不断地产生新数据第25页/共47页空气钻井事故预警系统空气钻井事故预警系统第26页/共47页空气钻井事故预警系统空气钻井事故预警系统第27页/共47页空气钻井事故预警系统空气钻井事故预警系统传感传感器器空气管道空气管道产生产生800万条数据万条数据

11、第28页/共47页空气钻井事故预警系统空气钻井事故预警系统第29页/共47页大数据在医疗行业的应用 临床决策支持系统 使用图像分析和识别技术,识别医疗影像数据 挖掘医疗文献数据建立医疗专家数据库,从而给医生提出诊疗建议第30页/共47页华西药房药品陈列建议华西药房药品陈列建议搜集了搜集了11万数据做关联规则分析万数据做关联规则分析1233第31页/共47页华西药房药品陈列建议华西药房药品陈列建议第32页/共47页大数据在汽车制造公司的应用 大数据预测 基于微博和百度指数的福特汽车销量预测 背景 来源第33页/共47页大数据在汽车制造公司的应用第34页/共47页大数据在汽车制造公司的应用第35页

12、/共47页大数据在汽车制造公司的应用第36页/共47页大数据在汽车制造公司的应用第37页/共47页大数据在汽车制造公司的应用第38页/共47页大数据在商业银行的应用 精准营销 通过聚类分析，对客户进行划分，获得各个客户群不同的特征，从而对客户群进行针对性营销，或者面向特定细分客户群开发特定产品，从而提高产品销量股票股票基金基金第39页/共47页大数据在商业银行的应用 精准营销 西太平洋银行利用社交媒体数据对客户进行情感分析来实现精准营销第40页/共47页大数据在商业银行的应用 风险管理孤立点分析 摩根大通在业务交易中引入信用卡和借记卡数据进行诈骗检验 例如，从来没有信用卡取现行为，被阻止 中信

13、银行借助大数据分析技术监控评估客户的行为，并对客户的信用消费预警 例如，消费金额超过预期的预警第41页/共47页大数据在保险公司的应用 汽车保险 传统上保险公司只把车险客户做了简单分类 第一种是连续两年没有出车祸的 第二种过去一年没有出车祸 第三种过去一年出了一次车祸 第四种是过去一年出了两次及以上车祸的不同类别客户保费有差异不同类别客户保费有差异第42页/共47页大数据在保险公司的应用 汽车保险 大数据时代保险公司考虑更多因素 开车主要只是上下班，这条线路过去一年统计的事故率很低 车况（车的使用年限、车型）好，此车型车祸率较低 统计驾驶习惯，临时刹车少，超车少，与周围车保持了应有的车距，驾驶

14、习惯好 最后结论 车型好，车况好，驾驶习惯好，常走的线路事故率低，过去一年也没有出过车祸，因此可以给予更大幅度的优惠折扣第43页/共47页大数据在保险公司的应用 客户流失预测 保留老客户的成本远低于获取新客户的成本 对所有客户进行一对一营销成本昂贵 客户流失预测出那些可能流失的客户，对这部分客户进行一对一营销，降低营销成本第44页/共47页大数据在保险公司的应用 客户流失预测 分类分析的应用决策树决策树第45页/共47页大数据在保险公司的应用 客户流失预测流失率流失率47.43%保费保费816.67险种险种B、S险种险种Y12345流失率流失率59.78%流失率流失率30.83%流失率流失率18.73%第46页/共47页感谢您的观看！感谢您的观看！第47页/共47页