Oracle数据仓库解决方案.ppt

1、Oracle数据仓库解决方案 主要内容1数据仓库的应用背景2数据仓库的总体框架3Oracle数据仓库解决方案 3.1Oracle数据仓库架构 3.2Oracle数据仓库实现工具1.数据仓库的应用背景-面临的问题人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道购买保险的客户一般具有哪些特征；医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助；1.数据仓库的应用背景-面临的问题经过多年的计算机应用和市场积累，许多企业或者单位保存了大量原始数据和各种业务数据,它是企业生产经营活动的真实

2、记录由于缺乏集中存储和管理，这些数据不能为本企业或者单位加以利用,不能进行有效的统计、分析及评估，无法将这些数据转换成企业或者单位有用的信息1.数据仓库的应用背景-获取信息-贯穿公司或单位的数据集成?-公司或单位的历史数据?-详细数据及汇总数据?computer1.数据仓库的应用背景-决策的需要应用在不断地进步，当联机事务处理系统应用到一定阶段的时候，人们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。1.数据仓库的应用背景-如何获得信息早期应用系统PC 电子表格归档文件OLTP系统数据仓库获得信息数

3、据仓库的通俗解释针对这一问题，人们专门为业务的统计分析建立一个数据中心，它的数据可以从联机的事务处理系统、异构的外部数据源、脱机的历史业务数据中得到；它是一个联机的系统，专门为分析统计和决策支持应用服务，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫作数据仓库。数据仓库是一个作为决策支持系统和联机分析应用数据源的结构化数据环境。2.数据仓库的体系结构OLAP数据仓库的概念结构 业务系统外部数据源数据准备区数据集市/知识挖掘库数据仓库数据库数据集市/知识挖掘库应用工具应用工具用户用户管理工具数据源3Oracle数据仓库解决方案Oracle提供了对数据仓库的全面支持。通过一系列的

4、集成工具，使Oracle数据仓库开发和管理人员可以创建、管理和维护数据仓库并利用Oracle智能工具对数据仓库中的数据进行数据挖掘和决策支持分析。3Oracle数据仓库解决方案3.1Oracle数据仓库架构元数据管理元数据管理(CWM)数据仓库管理数据仓库管理(OEM)9i应用服务器应用服务器 ApplicationServerOracle9iETL引擎引擎OLAP分析分析 数据挖掘数据挖掘商业智能应用数据获取数据获取数据管理数据管理数据使用数据使用抽取、转换、装载抽取、转换、装载WarehouseBuilder3.1Oracle数据仓库架构3.1Oracle数据仓库架构数据获取层：数据获取层

5、：实现如何从所有源系统中获得原始的业务数据，并对其进行一致性处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。Oracle Warehouse Builder（OWB）在同一个软件中实现了从数据模型设计、ETL流程设计和元数据管理的全部功能。3.1Oracle数据仓库架构数据管理层：数据管理层：把数据存储到企业级数据仓库系统中进行集中管理；Oracle10g数据库实现对数据仓库系统各种类型数据的集中存储和管理，包括各种结构化数据和非结构化数据。Oracle10g数据库内置OLAP和数据挖掘功能，不需要进行复杂的数据迁移就可以直接在关系数据库中完成复杂的统计分析功能。3.1Or

6、acle数据仓库架构数据使用层：数据使用层：实现如何把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求，使用报表、随即查询、多维分析和数据挖掘进行数据展现。Oracle 为客户提供多种数据分析方法，包括标准报表、即席查询报表和动态分析报表，预测，假设分析（What-if）和数据挖掘等。标准报表和即席查询报表是基于关系型数据库/多维数据库的报表输出。标准报表（Reports）是一种格式固定、内容仅依据预定义的条件变化的报表，是在系统开发时根据用户需求定制的，最终用户无法自己修改。即席查询报表（discoverer）的格式和内容可以由最终用户自由选择，即支持即席查询。允许最终用户控

7、制数据的访问方法，定义报表格式和报表中的数据内容。动态分析报表支持客户对数据进行旋转、切片和分层，并从各个角度对数据进行分析和比较。预测主要是根据历史数据推断将来的数据趋势。假设分析允许用户设定一些假设条件，观察条件成立的情况下相关指标的变化。数据挖掘(Oracle Data Miner)是利用多种数学的分析方法建立模型，找出隐含的业务规律。数据仓库的数据抽取模型P2清理数据记录F8 数据清理规则F8 数据清理规则F2KHCGF5 CQLS_KHCGF6 CQLS_KHCGF7 SJCK_KHCGP4加载到数据仓库F3SPQKF4ZGYJP3数据排序聚集P1抽取数据源记录数据仓库的数据抽取模型

8、 1数据仓库的数据抽取、转换与加载计划数据仓库的数据抽取、转换与加载计划影响数据抽取、转换与加载的因素影响数据抽取、转换与加载的因素 数据格式数据格式 坏数据坏数据 系统的兼容性系统的兼容性 数据源的变化数据源的变化 数据抽取的时间数据抽取的时间数据仓库的数据抽取模型数据仓库的数据抽取模型2.数据仓库的数据清理转换方法数据仓库的数据清理转换方法(1)类型转换类型转换(2)串操作串操作(3)数学函数数学函数(4)参照完整性参照完整性(5)关键字翻译关键字翻译(6)聚集运算聚集运算数据仓库的数据抽取模型数据仓库的数据抽取模型数据源抽取对象表数据平台数据库表名备注Windows/SQL Server

9、XSSJKHCG客户采购商品表Windows/SQL ServerXSSJSPQK商品情况表Windows/AccessRSGLZGYJ职工业绩表数据仓库的数据抽取模型数据仓库的数据抽取模型表.列名过滤与连接条件比较值复合条件备注KHCG.CGSL 500AND采购商品数量大于500SPQK.SPIDABOR商品前两位非AB数据仓库的数据抽取模型数据仓库的数据抽取模型目标表.列源表.列转换公式备注SJCK_KHCG.KHZYKHCG.KHZY直接转换客户职业SJCK_KHCG.CGRQKHCG.CGRQ将月/年/日的日期格式转换成年/月/日格式客户采购日期数据仓库的数据抽取模型数据仓库的数据抽

10、取模型表.列名排序概括/导出备注CQLS_KHCG.CGSL降序分组按照采购数量从大到小排序、按照日期进行分组SJCK_KHCG.CGHZ概括对每一客户采购量按照星期分别进行概括处理，计算客户的采购总量SJCK_KHCG.PJL导出对每一客户采购情况按照星期分别进行平均采购量计算3.2 Oracle数据仓库实现工具Oracle Warehouse Builder，用于创建数据仓库。OWB的图形用户界面为快速有效地设计和部署数据仓库提供了方便。用户在建立数据库的设计过程中向导驱动程序将指导完成具体的设计过程。元数据源的定义向导驱动过程支持从己有元数据源向OWB知识库的导入。OWB支持3NF星型模

11、式的设计可以从Oracle Designer中导入现存设计。OWB还为表、事实表和维度供向导及图形编辑器。3.2 Oracle数据仓库实现工具Oracle透明网关，用于访问非Oracle数据库中的数据，如DB2、Informix、Sybase、SQL Server等数据库中的数据，将数据装载到Oracle数据仓库中。Oracle普通连接，是为任何ODBC或OLE DB兼容的非Oracle系统环境提供的普通方案。它支持使用ODBC和OLE DB之类的工业标准的连通性。Oracle透明网关，是为非Oracle目标系统而量身定制的解决方案，使用它的本地接口进行通信。3.2 Oracle数据仓库实现工

12、具-信息展现解决方案信息利用的主要功能是提供一个数据访问层，使数据仓库系统使用人员通过报表和图形的方式，简便、快捷的访问数据仓库系统中的各种数据并进行各种分析预测操作。信息利用可以提供多种数据加工实现方法，包括预定义报表、即席查询、多维动态分析和数据挖掘。3.2 Oracle数据仓库实现工具-信息展现解决方案一 定制报表 数据仓库的一个重要功能在于满足日常生产报表的需要。Oracle Reports Developer事稳健、高效的报表工具，用于快速构建高质量的基于动态或者静态的报表。通过向导驱动的方法，Reports Developer提供一个图形布局编辑器，根据声明的、以文档为中心的开发模

13、型构建复杂的报表。3.2 Oracle数据仓库实现工具-信息展现解决方案即席查询 Oracle Discover，是直接基于数据仓库关系型数据库进行分析的查询分析工具，是最终用户查询、报告、搜索和Web公布工具，能够帮助公司内部各个层次的商业用户，使其获得迅速访问关系型数据库、数据中心或者联机事务处理系统中数据的能力。Oracle Discoverer帮助最终用户在不需要了解SQL或者数据库结构的情况下，建立查询、报告，以及执行功能强大的搜索。只需拖拉式操作，就能直接访问所需数据，以及改变工作面的布局。3.2 Oracle数据仓库实现工具-信息展现解决方案联机分析处理（OLAP）可以直接使用或

14、者借助BI Beans在Java开发工具JDeveloper中，快速的进行OLAP应用开发。Oracle Express为开发OLAP应用提供先进的计算引擎和多维数据缓存。OracleExpress Server的多维数据模型拥有分析、预测、建模功能，可以对数据进行模拟(what-if)分析。Express Server具有用于数学、财务、统计和时间序列管理等方面的内置函数，用户可以通过这些函数开发强大的分析应用。Express系列多维分析工具与Discoverer有一些特点是共同的。它们都通过图形化的前端，支持交互式查询，业务的图形化显示和钻入功能。3.2 Oracle数据仓库实现工具-信息

15、展现解决方案Oracle的数据挖掘工具(Data Mining Suite)数据挖掘(Data Mining)是决策分析技术的一个更高层次，数据挖掘技术采用人工智能的决策分析方法，按照用户既定的业务目标，对数据仓库中浩如烟海的数据进行探索，揭示隐藏其中的规律，并进一步将其模型化。从业务问题的定义到分析结果的实施，Data mining suite提供完整的工具。包括确定业务问题、为挖掘准备数据、建立多种模型、分析结果（分析结果可以用丰富的图形表示）及发布商业智能五个方面的工具集。OWB操作OWB操作它是完全集中于分析工作区中维度模型定义和实施的管理工具。通过它可以方便的创建维表及其结构、事实表

16、以及多维数据库与关系数据库之间的映射,并不需要编程就可实现各种运算。如最大、最小、平均、加权平均、比率和求和运算。并通过oracle提供的OLAP DML语言,这是一种过程编程语言,可用于表达各种类型的计算、设计自定义分析函数以及控制与多维数据类型相关的数据加载和计算过程。OLAP DML集成了大量的分析函数,可用于产生任何类型的多维计算。如汇总、分配/n分摊、数据选择、财务、预测和回归、数学和统计、模型、定制维度成员等函数类型。通过SQL和PL/SQL以及O-LAP Worksheet工具可以访问OLAP DML。Enterprise Manager Database Control 提供了

17、一个基于 Web 的界面，您可以使用这个界面来管理 Oracle 例程和数据库。关于OLAP从OLAP使用的效率角度考虑，设计数据仓库时考虑因素。尽可能使用星型架构，如果采用雪花结构，就要最小化事实表底层维度表以后的维度表数量。为用户设计包含事实表的维度表。维度表的设计应该符合通常意义上的范式约束，维度表中不要出现无关的数据。事实表中不要包含汇总数据，事实表中所包含的用户需要访问的数据应该具有必需的粒度。对事实表和维度表中的关键字必须创建索引；同一种数据尽可能使用一个事实表。保证数据的参考完整性，避免事实表中的某些数据行在立方体进行聚集运算时没有参加进来。数据仓库与OLAP的关系业务处理系统

18、第三层 第二层 第一层 客户端数据抽取 数据清理 、转换 数据加载 多维化处理 可视化处理 图4.7数据仓库与OLAP关系图数据仓库OLAP服务器数据准备区多维多维OLAP多维数据库多维数据库产品名称销售地区销售数量电器电器电器服装服装服装江苏上海北京江苏上海北京940450340830350270江苏上海北京电器服装940830450350340270多维多维OLAP多维数据库多维数据库产品名称销售地区销售数量电器电器电器电器服装服装服装服装汇总汇总汇总汇总江苏上海北京汇总江苏上海北京汇总江苏上海北京汇总9404503401730830350270145017708006103180江苏上海

19、北京汇总电器服装汇总9408301770450350800340270610173014503180ROLAP的多维表示方法的多维表示方法1.星型模式在关系数据库中的表示星型模式在关系数据库中的表示 产品ID 时间ID 销售商ID 地址ID图4.8星型模式的关系数据库表示产品ID销售商ID地址ID时间ID销售数量销售成本总收入销售商维度表地理位置维表时间维表产品维表2.雪花模式在关系数据库中的表示雪花模式在关系数据库中的表示 产品维表 产品ID 时间ID 销售商ID 地址ID图4.9雪花模式的关系数据库表示地理位置维表时间维表产品ID产 品 名称公司ID公司名称产品颜色ID产 品 颜色产品商标ID商 标 名称产品类型ID产 品 类型名销售商维度表产品ID销售商ID地址ID时间ID销售数量销售成本总收入产品ID公司ID产品颜色ID产品商标ID产品类型IDROLAP和MOLAP的比较1.数据存取速度2.数据存储容量3.多维计算能力4.维度动态变化的适应性5.数据动态变化的适应性6.软硬件平台的适应性7.元数据管理8.系统培训与维护工作