数据库课件：第九讲 OLAP技术 .ppt

1、1第九讲 OLAP技术本讲讲授目标：1. OLAP 技术概念2. OLAP 与多维分析3. OLAP 的实施4. 多维 OLAP 与关系 OLAP5. OLAP 技术评价2一. OLAPOLAP技术概念技术概念 OLAP在线分析处理或联机分析处理，是一个应用广泛的数据仓库使用技术。主要特点，在线性 (On_Line) ，多维分析 (Multi_Analysis) OLAP的作用： 针对特定问题的联机数据查询和分析 对原始数据按照用户的观点进行转换处理 反映用户眼中问题某一真实方面（“维”） 快速、稳定、一致和交互式的存取 允许用户对这些数据按照需要进行深入的观察3OLAP 的特性1. 快速性

2、系统能在数秒内对用户的多数分析要求做出反应2. 可分析性 用户无需编程就可以定义新的专门计算，将其作为分析的一部分，并以用户所希望的方式给出报告3. 多维性 提供对数据分析的多维视图和分析4. 信息性 能及时获得信息，并且管理大容量信息4二二. OLAP 与多维分析与多维分析1.维维 维、维的层次、维成员、多维数据集、数据单元、多维维、维的层次、维成员、多维数据集、数据单元、多维数据集的度量值和聚集数据集的度量值和聚集 维的操作：维的操作： “上卷” (roll_up), “下钻”(drill_down)销售地区销售地区西南西南华中华中华东华东四川四川云南云南河南河南湖北湖北江苏江苏上海上海5

3、OLAP 与多维分析与多维分析2. 多维数据集多维数据集销售数量：销售数量： 10000服装切片 产品产品北京北京上海上海 化妆品化妆品江苏江苏 玩具玩具 服装服装 电器电器 1 2 3 4 时间（月）时间（月）6OLAP 与多维分析与多维分析3. 维成员 维的一个取值、不同维层次取值的组合 、维成员描述所关心的主题在维中的位置 数据单元可以表示为：（维1维成员，维2维成员，维3维成员，维4维成员，观察变量值） 4. 多维数据集的度量值 多维数据集的核心值 5. 聚集 立方体中包括很多层次，这些层次可以向用户提供某一层次的概括数据 通过聚集，形成基于维的有决策分析意义的一些数据交集7多维分析方

4、法1. 多维的切片多维的切片 （维（维 1，维，维2，维，维i成员，成员，维，维n，观察变量），观察变量）是多维数据集（维是多维数据集（维1，维，维2，维，维i，维，维n，观察，观察变量）在维变量）在维i上的一个切片上的一个切片 2. 多维的切块多维的切块 在（维在（维1，维，维2，维，维i，维，维k，维，维n，观察变量）多维数据集上，对维观察变量）多维数据集上，对维i，维，维k，选定了维，选定了维成员，那（维成员，那（维1，维，维2，维，维i成员，成员，维，维k成成员，员，维，维n，观察变量）就是多维数据集（维，观察变量）就是多维数据集（维1，维，维2，维，维i，维，维k，维，维n，观察变量

5、）在维，观察变量）在维i，维，维k上的一个切块上的一个切块 8多维分析方法3. 旋转旋转2002年2003年1季度2季度3季度4季度1季度2季度3季度4季度北京市123564566134562355上海市13410398871021399782天津市6773599673696294北京市上海市天津市2002年1季度123134672季度56103733季度4598594季度6687962003年1季度134102732季度56139693季度2397624季度5582949多维分析方法4. 其它其它OLAP操作操作 “上卷上卷”（roll_up）、）、“下钻下钻”（drill_down）、）、

6、“钻过钻过”（drill_across）和和“钻透钻透”（drill_through）等钻取操作。）等钻取操作。“上卷上卷”是指沿某一个维的概念分层向上归约是指沿某一个维的概念分层向上归约 ；“下钻下钻”是上卷的逆向操作，它是沿某一个维是上卷的逆向操作，它是沿某一个维的概念分层向下或引入新的维来实现；的概念分层向下或引入新的维来实现；“钻过钻过”是指对多个事实表进行查询；是指对多个事实表进行查询；“钻透钻透”是指对是指对立方体操作时，利用数据库关系，钻透立方体立方体操作时，利用数据库关系，钻透立方体的底层，进入后端的关系表。的底层，进入后端的关系表。 OLAP的其它操作还有统计表中最高值和最低

7、的其它操作还有统计表中最高值和最低值的项数，计算平均值、增长率、利润、投资值的项数，计算平均值、增长率、利润、投资回报率等统计计算。回报率等统计计算。10三. OLAP的实施 业务处理系统业务处理系统 第三层第三层 第二层第二层 第一层第一层数据抽取数据抽取 客户端客户端数据清理、转换数据清理、转换 数据加载数据加载 多维化处理多维化处理 可视化处理可视化处理 OLAPOLAP的实施的实施数据仓库数据仓库OLAP服服务器务器数据准备区数据准备区11四. OLAP的存储方式1. 基于关系表的存储方式基于关系表的存储方式ROLAP 基于关系表的存储方式是将数据仓库的数基于关系表的存储方式是将数据仓

8、库的数据存储在关系型数据库的表结构中，在元据存储在关系型数据库的表结构中，在元数据的管理下完成数据仓库的功能。数据的管理下完成数据仓库的功能。2. 多维数据库存储方式多维数据库存储方式MOLAP 多维数据库的组织方式是直接面向多维数据库的组织方式是直接面向OLAP分析操作的数据组织形式。这种数据库产分析操作的数据组织形式。这种数据库产品也比较多，实现方法也不尽相同。其数品也比较多，实现方法也不尽相同。其数据组织采用多维数据结构文件进行存储，据组织采用多维数据结构文件进行存储，并有维索引及相应的元数据与其对应。并有维索引及相应的元数据与其对应。12ROLAP 星型模式在关系数据库中的表示星型模式

9、在关系数据库中的表示 产品产品ID 时间时间ID 销售商销售商ID 地址地址ID 星型模式的关系数据库表示星型模式的关系数据库表示产品产品ID销售商销售商ID地址地址ID时间时间ID销售数量销售数量销售成本销售成本总收入总收入 销 售销 售商 维商 维度表度表地 理地 理位 置位 置维表维表时时间间维维表表产品产品维表维表13MOLAP产品名称产品名称销售地区销售地区销售数量销售数量电器电器电器电器电器电器服装服装服装服装服装服装江苏江苏上海上海北京北京江苏江苏上海上海北京北京940450340830350270江苏江苏上海上海北京北京电器电器服装服装94083045035034027014M

10、OLAP产品名称产品名称销售地区销售地区销售数量销售数量电器电器电器电器电器电器电器电器服装服装服装服装服装服装服装服装汇总汇总汇总汇总汇总汇总汇总汇总江苏江苏上海上海北京北京汇总汇总江苏江苏上海上海北京北京汇总汇总江苏江苏上海上海北京北京汇总汇总9404503401730830350270145017708006103180江苏江苏上海上海北京北京汇总汇总电器电器服装服装汇总汇总940830177045035080034027061017301450318015五. OLAP技术评价1. MOLAP与与ROLAP的比较的比较(1) 查询性能查询性能(2) 数据加载性能数据加载性能(3) 分析

11、能力分析能力(4) 数据集市的大小数据集市的大小(5) 维的管理维的管理(6) 维护能力维护能力16五. OLAP技术评价2. OLAP的衡量标准的衡量标准(1) 多维性多维性(2) 直观性直观性(3) 可访问性可访问性(4) 解释性批处理提取解释性批处理提取(5) OLAP分析模型分析模型(6) 客户机客户机/服务器结构性服务器结构性(7) 透明性或开放性透明性或开放性(8) 多用户性多用户性(9) 处理非正规数据性处理非正规数据性17五. OLAP技术评价2. OLAP服务器和工具的评价标准服务器和工具的评价标准(1) OLAP功能功能(2) 访问性能访问性能(3) 引擎功能引擎功能(4)

12、 管理能力管理能力18六. 案例研究 罗斯文商贸是美国的一家从事特色食品进出口的跨国（虚拟）公司。其经营的产品涵盖了饮料、调味品、点心、日用品、谷类/麦片、肉/家禽、特制品及海鲜等类别。 该公司每天处理来自世界各地的客户的订单，通过归类整理后，将由供货商处购买的产品，交给当地的的运货商，将产品送达客户的手中。 19基本业务流程20罗斯文商贸管理系统 该管理系统是一个典型的数据库应用系统，包括对产品、订单、订单明细、供应商、雇员、客户、产品类别和运货商等数据进行输入、修改、浏览、查找，以及打印报表等信息管理常用功能。 数据库中包含的表：Orders, Order Details, Product

13、s, Categories, Suppliers, Customers, Shippers, Employees等21CategoriesPKCategoryIDU1CategoryNameDescriptionPictureProductsPKProductIDU2ProductNameFK2,U3SupplierIDFK1,U1CategoryIDQuantityPerUnitUnitPriceUnitsInStockUnitsOnOrderReorderLevel DiscontinuedCustomersPKCustomerIDU2CompanyNameContactNameConta

14、ctTitleAddressU1CityU4RegionU3PostalCodeCountryPhoneFaxOrderDetailsPK,FK1,U1 OrderIDPK,FK2,U2 ProductID UnitPrice Quantity DiscountShippersPKShipperID CompanyNamePhoneOrdersPKOrderIDFK1,U1CustomerIDFK2,U2EmployeeIDU3OrderDateRequiredDateU4ShippedDateFK3,U5ShipViaFreightShipNameShipAddressShipCityShi

15、pRegionU6ShipPostalCodeShipCountrySuppliersPKSupplierIDU1CompanyNameContactNameContactTitleAddressCityRegionU2PostalCodeCountryPhoneFaxHomePageEmployeesPKEmployeeIDU1LastName FirstNameTitleTitleOfCourtesyBirthDateHireDateAddressCityRegionU2PostalCodeCountryHomePhoneExtensionNotesFK1ReportsToPhotoPat

16、h符号说明：PK:PrimaryKeyI:notUniqueIndexFK:ForeignkeyU:UniqueIndexM:Moretoone订单管理系统数据表关系图MMMMMMM22设计数据仓库架构 需求分析 识别事实与维度 设计逻辑模型 设计事实表 设计维度表 分析多重维度架构23需求分析 根据调查，得到主管希望的分析结果：根据调查，得到主管希望的分析结果： 希望能够针对每一员工作销售业绩分析；希望能够针对每一员工作销售业绩分析； 希望能够针对每一产品作销售业绩分析；希望能够针对每一产品作销售业绩分析； 希望能够针对每一分类的产品作销售分析；希望能够针对每一分类的产品作销售分析； 希望能

17、够针对每一供货商作产品销售分析；希望能够针对每一供货商作产品销售分析； 希望能够针对每一顾客作销售分析；希望能够针对每一顾客作销售分析； 希望能够针对每一个国家的顾客作销售分析；希望能够针对每一个国家的顾客作销售分析； 希望能够针对每一城市的顾客作销售分析；希望能够针对每一城市的顾客作销售分析； 希望能够针对年、季、月作销售分析希望能够针对年、季、月作销售分析 24需求分析 针对以上分析要求，不难看出分析的基准点可以针对以上分析要求，不难看出分析的基准点可以分为以下分为以下5个大类：个大类：1.顾客顾客 除了可以作单顾客的分析之外，还可以以国除了可以作单顾客的分析之外，还可以以国别、地区、城市

18、来作分析，它们是具有层次式的关别、地区、城市来作分析，它们是具有层次式的关系，国别可以向下细分为地区，地区可以向下细分系，国别可以向下细分为地区，地区可以向下细分为城市为城市2.员工员工 以单一员工来作分析以单一员工来作分析3.产品产品 除了可以作单一产品的分析之外，还可以以除了可以作单一产品的分析之外，还可以以产品分类来作分析产品分类来作分析4.供应商供应商 以单一的供货商来作分析以单一的供货商来作分析5.时间时间 具有先天的层次关系，所分析的需求是年、具有先天的层次关系，所分析的需求是年、季以及月份。季以及月份。 分析数据仓库所需数据的来源分析数据仓库所需数据的来源25信息包图信息包图顾客

19、顾客员工员工销售产品销售产品供应商供应商时间时间顾客号员工号产品号供应商年国家产品类别季度地区月城市指标和事实指标和事实: 销售量、销售总价值销售量、销售总价值信息包：信息包： 销售分析销售分析维度维度类别类别26CategoriesPKCategoryIDU1CategoryNameDescriptionPictureProductsPKProductIDU2ProductNameFK2,U3SupplierIDFK1,U1CategoryIDQuantityPerUnitUnitPriceUnitsInStockUnitsOnOrderReorderLevel DiscontinuedCu

20、stomersPKCustomerIDU2CompanyNameContactNameContactTitleAddressU1CityU4RegionU3PostalCodeCountryPhoneFaxOrderDetailsPK,FK1,U1 OrderIDPK,FK2,U2 ProductID UnitPrice Quantity DiscountShippersPKShipperID CompanyNamePhoneOrdersPKOrderIDFK1,U1CustomerIDFK2,U2EmployeeIDU3OrderDateRequiredDateU4ShippedDateFK

21、3,U5ShipViaFreightShipNameShipAddressShipCityShipRegionU6ShipPostalCodeShipCountrySuppliersPKSupplierIDU1CompanyNameContactNameContactTitleAddressCityRegionU2PostalCodeCountryPhoneFaxHomePageEmployeesPKEmployeeIDU1LastName FirstNameTitleTitleOfCourtesyBirthDateHireDateAddressCityRegionU2PostalCodeCo

22、untryHomePhoneExtensionNotesFK1ReportsToPhotoPath符号说明：PK:PrimaryKeyI:notUniqueIndexFK:ForeignkeyU:UniqueIndexM:Moretoone订单管理系统数据表关系图MMMMMMM27识别事实与维度数据 从所分析的各项数据的来源（各个表），识别哪些是事实从所分析的各项数据的来源（各个表），识别哪些是事实数据，哪些是维度数据？数据，哪些是维度数据？28设计逻辑模型 星型雪花架构员工员工维度维度供应供应商维商维度度顾客顾客维度维度时间时间维度维度产品产品维度维度产品产品详细详细类别类别 销售销售事实表

23、事实表29事实表与维度表关系30设计事实表 事实表名称：事实表名称：Sales 数据源数据源: Orders、Order Details、Employees、Products、Suppliers、Customers SQL语句语句SELECT e.EmployeeID, p.ProductID, s.SupplierID, c.CustomerID, o.OrderDate, od.Quantity, od.UnitPrice, od.DiscountFROM Orders o, Order Details od, Employees e, Products p, Suppliers s, C

24、ustomers cWHERE o.OrderID = od.orderID AND o.EmployeeID = e.EmployeeID AND o.CustomerID = c.CustomerID AND od.ProductID = p.ProductID AND p.SupplierID = s.SupplierID 31设计维度表 Employee维度表维度表 Select EmployeeID, FirstName, LastName, Title, ReportsTo From Employees Customer维度表维度表 SELECT CustomerID, Compa

25、nyName, CustomerName, ContactName, City, Region, Country From Customers Product维度表维度表 SELECT ProductID, CategoryID, ProductName, QuantityPerUnit from Products Category维度表维度表 SELECT CategoryID,CategoryName From Categories Supplier维度表维度表 SELECT SupplierID,CompanyName from Suppliers Time维度表维度表 Select Distinct OrderDate from Orders 32分析多重维度架构 分析以下查询： 查询Employee1员工于1997年销售了多少金额的Supplier1供应商的产品 涉及的维度：员工维度、时间维度、供应商维度、产品维度 查询Employee1员工于1997年销售了多少金额的产品给Customers顾客 涉及的维度：员工维度、时间维度、产品维度、顾客维度