数据仓库的挑战和展望.课件.ppt

1、7/27/2022 11:25 AM 学学 号号 :10720938:10720938 姓姓 名名 :赵海红赵海红7/27/2022 11:25 AM提纲提纲u数据仓库的实质与价值u数据仓库新的应用与环境u数据仓库的模型与设计方法u传统的数据仓库体系结构及其改进u数据仓库的操作问题u展望7/27/2022 11:25 AM提纲提纲u数据仓库的实质与价值数据仓库的实质与价值u数据仓库新的应用与环境u数据仓库的模型与设计方法u传统的数据仓库结构及其改进u数据仓库的操作问题u展望7/27/2022 11:25 AM数据仓库的实质与价值数据仓库的实质与价值数据仓库的目的是构建面向分析的集成化数据环境，

2、为企业提供决策支持（Decision-Support）。其实数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入流出的过程，可以分为三层源数据源数据、数据仓库数据仓库、数据应用数据应用：7/27/2022 11:25 AM数据仓库的实质与价值数据仓库的实质与价值 从图中可以看出数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。数据仓库从各数据源获取数据及在数据仓库

3、内的数据转换和流动都可以认为是ETL（抽取Extra,转化Transfer,装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。7/27/2022 11:25 AM数据仓库的价值数据仓库的价值高效的数据组织形式时间价值集成价值历史数据7/27/2022 11:25 AM提纲提纲u数据仓库的实质与价值u数据仓库新的应用与环境数据仓库新的应用与环境u数据仓库的模型与设计方法u传统的数据仓库结构及其改进u数据仓库的操作问题u展望7/27/2022 11:25 AM数据仓库新

4、的应用领域数据仓库新的应用领域 随着数据仓库的技术的发展和普及，将来可能在以下俩方面提出新的发展瓶颈和挑战:p首先，是对新数据类型的出现，提出新的数据仓库技术对其支持p非传统的系统架构和新的需求，在数据仓库技术中可以找到好的解决办法7/27/2022 11:25 AM空间数据仓库空间数据仓库 随着移动互联网和基于位置服务的发展，同时卫星遥感，GPS，医药成像以及其他空间可计算工具获得数据的普及，我们获取了大量的关于时空的数据。但是，这些数据的结构复杂，数据量大的特点，对其处理和分析的技术还有一定的欠缺，近年来，提出了空间数据仓库的概念，现在已经存在了几个大型的空间数据仓库。例如美国的联合国环境

5、规划署（EP)7/27/2022 11:25 AM空间数据仓库空间数据仓库 空间数据仓库是融合了数据仓库跟空间数据库技术，利用这两种技术提高了对大量空间数据的处理、分析、管理的能力，但是现在还是存在一下几种挑战：1.空间数据粒度的划分2.空 间数据的分割3.空间数据的集成4.当前数据仓库的数据模型标准化推广5.空间DW对决策系统的支持6.对空间DW的多维度表示7/27/2022 11:25 AMWeb数据仓库数据仓库7/27/2022 11:25 AMWeb数据仓库数据仓库7/27/2022 11:25 AM本体数据仓库本体数据仓库7/27/2022 11:25 AM本体数据仓库本体数据仓库7

6、/27/2022 11:25 AM其他领域数据仓库其他领域数据仓库 生命科学数据仓库 模式数据仓库7/27/2022 11:25 AM7/27/2022 11:25 AM数据仓库新的应用环境数据仓库新的应用环境 业务流程数据仓库 数据流，实时动态数据仓库 数据仓库与云计算7/27/2022 11:25 AM提纲提纲u数据仓库的实质与价值u数据仓库新的应用与环境u数据仓库的模型与设计方法数据仓库的模型与设计方法u传统的数据仓库结构及其改进u数据仓库的操作问题u新的挑战7/27/2022 11:25 AM数据仓库模型与设计方法数据仓库模型与设计方法 数据仓库建立模型的过程实际上是一个从关系型、规范

7、式的数据模型向多维模型转换的过程。其中数据仓库建模和数据仓库开发方法是数据仓库的构建过程中最为关键的技术环节，它直接决定数据仓库构建的成败。7/27/2022 11:25 AM数据仓库建模数据仓库建模 概念建模 概念建模为数据仓库的设计提供了一个高层次的抽象，从各个方面描述了数据仓库的过程和体系结构，从而完成数据仓库的实施。通常，借助于图形表示法能让设计者和商业用户更方便的对概念模式进行表达、理解和管理。现有的方法可以分为三类:扩展ER模型;扩展UML模型;特殊的模型。当前概念模型存在的问题有以下：缺乏标准 概念模型安全问题 Mining-aware design7/27/2022 11:25

8、 AM逻辑建模逻辑建模 逻辑建模 逻辑建模的总体任务是将概念模型转换成逻辑模型。在数据仓库领域，目标数据库系统通常要么是关系型的，要么是多维的。对于关系型的而言，人们普遍采用所谓的星型、星座和雪花模型来处理数据立方体，并且各个厂商也对这些模型提供支持。关于多维模型的实施，人们提出几种有效的多维数据结构，如浓缩数据立方体来管理数据立方体。当前逻辑模型最大的存在问题：概念数据模型与关系或者数据立方多维实现的语义差别的问题7/27/2022 11:25 AM物理建模物理建模 物理建模 根据逻辑模型设计阶段的星型模型或雪花模型能够方便地定义物理数据结构，一般将指标实体转化为物理数据库表，称为事实表。事

9、实表首先包括星型模型中心的指标量，其次应包括星型模型角上的维度实体中层次最低单位的主码。维度实体通常也转化为维数据库表，称为维表，它包括其每一层次的主码和对应的值。维表的关键字是该维度实体对应的详细类别实体的主码。维表和事实表通过维表关键字相关联。7/27/2022 11:25 AM概念模型概念模型 (1)界定系统的边界 (2)确定主要的主题域7/27/2022 11:25 AM概念模型概念模型 学年学期维 课程信息维 7/27/2022 11:25 AM概念模型概念模型 学生信息维 教师信息维 7/27/2022 11:25 AM概念模型概念模型7/27/2022 11:25 AM逻辑模型逻

10、辑模型7/27/2022 11:25 AM物理模型物理模型7/27/2022 11:25 AM数据仓库开发方法数据仓库开发方法 2)数据仓库开发方法 数据仓库的设计和创建是一个分布实施的连贯过程，在确定用户需求的基础上，完成数据仓库的设计和建立、提取和加载，最后进行长期的使用和维护。从系统的角度看，数据仓库的建立首先必须明确其设计方法，针对解决问题的短期性或长效性，将数据仓库设计方法分为以下3种：自顶向下的方法、自底向上的方法、联合方法，当前的方法都还存在以下问题：首先是需求分析 评估 质量指标的问题7/27/2022 11:25 AM互操作与元数据互操作与元数据 在物理模型和逻辑模型中的混杂

11、性，同时在市场中存在的多种工具和软件产品，这就会产生大量的多种多样的元数据，在我们把一种元数据转换成另一种元数据的时候，就会损失掉大量的信息。所以在数据仓库中就需要这样的一种标准转换，当前工业界有两种标准:开放信息模型和元数据结合。但是这两种模型都有大量的缺陷7/27/2022 11:25 AM提纲提纲u数据仓库的实质与价值u数据仓库新的应用与环境u数据仓库的模型与设计方法u传统的数据仓库结构及其改进传统的数据仓库结构及其改进u数据仓库的操作问题u新的挑战7/27/2022 11:25 AM数据仓库的体系结构数据仓库的体系结构 首先，要有更好的方法获得用户想要的数据并且把他们智能化 其次，既要

12、能分析标准化的数据，也要能分析非标准化的数据 再次，提高数据的安全性和有效性7/27/2022 11:25 AM传统的体系结构传统的体系结构7/27/2022 11:25 AM传统的体系结构传统的体系结构7/27/2022 11:25 AM参考体系结构参考体系结构7/27/2022 11:25 AM提纲提纲u数据仓库的实质与价值u数据仓库新的应用与环境u数据仓库的模型与设计方法u传统的数据仓库结构及其改进u数据仓库的操作问题数据仓库的操作问题u展望7/27/2022 11:25 AM数据仓库操作的问题数据仓库操作的问题 OLAP标准化的问题 Approximate answers.（近似解答）

13、What-if analysis.（假设分析）Holistic aggregation（整理聚合）7/27/2022 11:25 AM提纲提纲u数据仓库的实质与价值u数据仓库新的应用与环境u数据仓库的模型与设计方法u传统的数据仓库结构及其改进u数据仓库的操作问题u展望展望7/27/2022 11:25 AM接下来要做的工作接下来要做的工作7/27/2022 11:25 AM7/27/2022 11:25 AM7/27/2022 11:25 AM1.Joachim Hammer,Manifesto of a Markus Schneider,Timos Sellis.Dagstuhl Persp

14、ectives Seminar,Data Warehousing at the Crossroads.Dagstuhl，一2004.2.The Model of Data War ehouse Based on OntologyCHEN Zhi-gang,LUO Xin-nan3.Research in Data Warehouse Modeling an Design:Dead or Alive?4.张维明.数据仓库原理与应用 M.北京:北京电子工业出版社,2002:5-7.5.陈超,沙基昌,罗爱民,等.一种基于本体的数据仓库开发模型 J.计算机仿真,2005(2):255-258.7/27/2022 11:25 AM 謝謝聆聽，請多多指教。謝謝聆聽，請多多指教。