1、数据库系统概论 An Introduction to Database System第第1414章章 大数据管理大数据管理xxxxx1精品课件目录目录 大数据概述大数据概述 大大数据的数据的应用应用 大数据管理系统大数据管理系统 小结小结精品课件大数据概述大数据概述什么是大数据？什么是大数据？精品课件什么是大数据什么是大数据精品课件什么是大数据什么是大数据分类分类：按大数据的应用类型将大数据分为海量交易数据（企业OLTP应用）、海量交互数据（社交网、传感器、全球定位系统、Web信息）和海量处理数据（企业OLAP应用）。精品课件大大数据的特征数据的特征u巨量（巨量（Volume）u多样（多样（V
2、ariety）u快快变（变（Velocity）u价值（价值（Value）精品课件大数据的特征大数据的特征巨量巨量大数据的首要特征是数据量巨大，而且在持续、急剧地膨胀。大规模数据的几个主要来源有：科学研究、互联网应用和电子商务领域、传感器数据、网站点击流数据、移动设备数据、无线射频识别数据等。精品课件大数据的特征大数据的特征巨量巨量观点：大是相对的，是和当时的计算机处理能力相关的，超过了现有技术的能力。但是，“大规模”又是大数据的基本要求。n80年代，百万条记录就是VERY LARGE DATAn00年代，TB级别就是DATA INTENSIVEn10年代，100T以上，甚至PB级才能够算得上是
3、大数据从现在起，每18个月，新增的存储量等于有史以来存储量之和！ 1998年图灵奖获得者Jim Gray精品课件大数据的特征大数据的特征多样多样数据的多样性通常是指异构的数据类型、不同的数据表示和语义解释。现在，越来越多的应用所产生的数据类型不再是纯粹的关系数据，更多的是非结构化、半结构化的数据，如文本、图形、图像、音频、视频、网页、推特、和博客等。精品课件大数据的特征大数据的特征快变快变大数据的快变性也称为实时性，一方面指数据到达的速度很快，另一方面指能够进行处理的时间很短，或者要求响应速度很快，即实时响应。u数据到达或者产生的速度太快，对系统处理造成巨大的压力。u例如，入库速度要求：100
4、GB/S。精品课件大数据的特征大数据的特征快变快变时间时间交易额交易额描述描述0时0分52秒超过10亿一分钟超10亿的交易额0时14分16秒超19亿超过2012年双十一全天交易额1时突破353亿超过2013年双十一全天交易额6时54分53秒超571亿超过2014年双十一全天交易额15时19分13秒912亿超过2015年双十一全天交易额24时超1207亿交易额翻了一番无线交易额占比81.87%，覆盖235个国家和地区l“现象级”应用：在某一个时期，对系统的压力突然暴增，极易导致系统的崩溃。精品课件大数据的特征大数据的特征价值价值u大数据的价值是潜在的、巨大的。大数据不仅具有经济价值和产业价值，还
5、具有科学价值。这是大数据最重要的特点，也是大数据的魅力所在。精品课件大数据的大数据的应用应用大数据的应用特征：u大数据作为一种新的战略资源，要重视对数据对象的管理、重视数据治理。u大数据作为一种新的研究方法，已经在许多学科领域取得成效在：第四研究范型u大数据作为一种新的信息化的思维，强调跨界应用，数据整合基础上的创新。精品课件大数据的应用大数据的应用应用案例：u感知感知现在现在 预测未来预测未来 互联网文本大数据管理与互联网文本大数据管理与挖掘挖掘u数据服务数据服务 实时推荐实时推荐 基于大数据分析的用户建模基于大数据分析的用户建模精品课件互联网文本大数据管理与挖掘互联网文本大数据管理与挖掘u
6、互联网媒体文本大数据应用：时事探针高速发展的互联网媒体在给人们获取信息带来便利的同时，也带来了新的挑战，其中之一便是“信息过载”问题。当一个重要新闻事件发生后，各种互联网媒体会有大量相关报道。时事探针系统可以实时监控、收集互联网媒体数据，并对数据进行深入的挖掘和分析。其主要功能包括动态数据抓取、历史数据保留、数据深度智能分析、数据可视化展示、敏感信息实时捕捉、预定阈值报警等。精品课件互联网文本大数据管理与挖掘互联网文本大数据管理与挖掘u互联网媒体文本大数据应用：时事探针该系统可以有效地帮助用户、企业以及政府机构对所关注的新闻话题在互联网媒体中的报道进行感知、获取、跟踪、预警和深入分析，具有极大
7、应用价值。精品课件互联网文本大数据管理与挖掘互联网文本大数据管理与挖掘u互联网文本大数据管理的挑战n 无法事先预定义关系模式和值域n 无法直接用关系型数据进行存储和查询n 可扩展性和实时性要求高对于文本大数据处理，目前广泛使用的互联网搜索引擎只是对文本数据的简单索引和查找，不能满足用户对所关注的话题进行实时监测、深入分析以及决策支持等需求。精品课件互联网文本大数据管理与挖掘互联网文本大数据管理与挖掘u互联网文本大数据管理系统n时事探针系统时事探针系统是一个面向互联网文本大数据的通用的管理和分析平台。整个系统分为离线处理和在线处理两个部分。其中离线部分是设计的重点，主要功能有：1. 多源异构网络
8、大数据的感知和获取2. 文档理解及结构化数据抽取和集成3. 数据存储和索引4. 离线主题文本立方体建立及更新精品课件互联网文本大数据管理与挖掘互联网文本大数据管理与挖掘u互联网文本大数据管理的特点： 互联网文本大数据蕴含着丰富的社会信息，可以看作是对真实社会的网络映射 实时、深入分析互联网文本大数据，帮助人们在海量数据中获取有价值的信息，发现蕴含的规律，可以更好地感知现在、预测未来，体现了第四范式数据密集型科学发现的研究方式和思维方式。 互联网文本大数据管理对大数据系统和技术的挑战是全面的、跨学科领域的，需要创新，也需要继承传统数据管理技术和数据仓库分析技术的精华。精品课件基于大数据分析的用户
9、建模基于大数据分析的用户建模u面向用户建模的大数据系统架构面向大众的信息服务类应用在为大规模的用户提供信息服务的同时，通过用户原创内容（User Generated Content，UGC）或者系统日志等方式不断地收集数据。这些数据与用户的行为紧密相关，被用来分析用户的兴趣特征，创建用户的描述文件，这就是基于大数据分析的用户建模。精品课件基于大数据分析的用户建模基于大数据分析的用户建模u面向用户建模的大数据系统架构用户建模的目标是为了准确地把握用户的行为特征、兴趣爱好等，进而较为精准地向用户提供个性化地信息服务或信息推荐。精品课件基于大数据分析的用户建模基于大数据分析的用户建模u面向用户建模的
10、大数据系统架构上层应用（信息推荐等）上层应用（信息推荐等）数据服务（用户兴趣模型表）数据服务（用户兴趣模型表）在线分析在线分析 离线分析离线分析实时大实时大数据数据历史历史大大数据数据面向用户建模面向用户建模的大数据系统的大数据系统架构示意图架构示意图精品课件基于大数据分析的用户建模基于大数据分析的用户建模u数据分析：用户建模的基础工具n一大类用户建模方法采用的是批处理方式的离线分析方法，对结构化或半结构化的历史日志数据进行SQL分析或者使用数据挖掘和机器学习的深度分析方法。l特点：当数据量很大时，很耗时；其次，这类离线分析方法复杂度高、处理代价巨大，不能够频繁调用；实时性较差。l主要适合分析
11、那些通过大规模数据得出的相对稳定的用户属性。精品课件基于大数据分析的用户建模基于大数据分析的用户建模u数据分析：用户建模的基础工具n另一大类用户建模方法则采用实时的在线分析方法，数据即来即分析，更强调数据的实时分析处理能力。l特点：实时性较好；当处理用户规模很大时，其代价是昂贵的。l这类方法适合于捕捉一些时效性强的用户属性，比如用户当前的位置、手机信号强度等。精品课件基于大数据分析的用户建模基于大数据分析的用户建模u数据服务：用户建模的价值体现l 特点：n 模型的建立来自对大数据的分析结果。建模的过程是动态的，随着实际对象地变化，模型也在变化。n 数据处理既有对历史数据的离线分析和挖掘，又有对
12、实时流数据的在线采集和分析，体现了大数据上不同层次的分析：流分析、SQL分析、深度分析的需求。n 用户模型本身也是大数据，纬度高，信息稀疏，用户模型的存储、管理是数据服务的重要任务，要满足大规模应用需求的高并发数据更新与读取。精品课件大数据管理系统大数据管理系统数据管理技术和系统是大数据应用系统的基础。为了应对大数据应用的迫切需求，人们研究和发展了以Key/Value非关系数据模型和MapReduce并行编程模型为代表的众多新技术和新系统。精品课件大数据管理系统大数据管理系统pNoSQL数据管理系统pNewSQL数据库系统pMap Reduce技术n大数据管理系统的新格局精品课件大数据管理系统
13、大数据管理系统uNoSQL数据管理系统lNoSQL是以互联网大数据应用为背景发展起来的分布式数据管理系统。 NoSQL有两种解释：一种是Non-Relational，即非关系数据库；另一种是Not Only SQL，即数据管理技术不仅仅是SQL。目前第二种解释更为流行。lNoSQL系统支持的数据模型通常分为Key-Value模型、BigTable模型、文档模型和图模型4种模型。精品课件大数据管理系统大数据管理系统uNewSQL数据库系统NewSQL系统是融合了NoSQL系统和传统数据库事务管理功能的新型数据库系统。精品课件大数据管理系统大数据管理系统系统名称系统名称易用性易用性对事物的支对事物
14、的支持持扩展性扩展性数据数据量量成成本本代表系统代表系统操作方操作方式式一致性、并一致性、并发控制发控制经典关系数经典关系数据库系统据库系统SQL系统系统易用易用SQLACID强一致性强一致性10000结点结点PB低低BigTable,PNUTSNew SQL系系统统SQLACID10000结点结点PB低低VoltDB,SpannerSQL系统、NoSQL系统、New SQL系统的比较精品课件大数据管理系统大数据管理系统uMapReduce技术lMapReduce技术是Google公司于2004年提出的大规模并行计算解决方案，主要应用于大规模廉价集群上的大数据并行处理。lMapReduce是一种并行编程模型。它把计算过程分解为两个阶段，即Map阶段和Reduce阶段。精品课件大数据管理系统大数据管理系统u大数据管理系统的新格局u面向操作型应用的关系数据库技术u面向分析型应用的关系数据库技术u面向操作型应用的NoSQL技术u面向分析型应用的MapREduce技术精品课件小结小结什么是大数据两个大数据应用案例数据管理技术和数据管理系统精品课件习题习题1. 请阅读本章内容2. 请自主学习3. 请自主查找资料4. 没有作业精品课件
