1、第五讲数据仓库的物理设计、部署与维护逻辑模型物理模型数据建模工具数据建模工具对象命名标准化改变属性数据类型为键指定合适的数据类型为属性指定约束定义外键关系考虑选择数据库管理系统有需要的时候就增加注释物理模型意味着信息内容更加的接近硬件层方案子方案定义表列同义词视图注释用户角色主键外键约束索引安全特权文件/表空间数据仓库：物理模型组件数据仓库：物理模型组件CREATE SCHEMA ORDER_ANALYSIS AUTHORIZATION SAMUEL_JOHNSON .CREATE TABLE PRODUCT(PRODUCT_KEY CHARACTER(8)PRIMARY KEY,PRODUC
2、T_NAME CHARACTER(25),PRODUCT_SKU CHARACTER(20),PRODUCT_BRAND CHARACTER(25),CREATE TABLE SALESPERSON(SALPERS_KEY CHARACTER(8)PRIMARY KEY,SALPERS_NAME CHARACTER(30),TERRITORY CHARACTER(20),REGION CHARACTER(20)CREATE TABLE ORDER_FACT(PRODUCT_REF CHARACTER(8)PRIMARY KEY,SALPERS_REF CHARACTER(8),PRIMARY
3、KEY,ORDER_AMOUNT NUMERIC(8.2),ORDER_COST NUMERIC(8.2),FOREIGN KEY PRODUCT_REF REFERENCES PRODUCT,FOREIGN KEY SALPERS_REF REFERENCES SALESPERSON)SQL描述的示例方案描述的示例方案逻辑模型逻辑模型产品键名子SKU品牌产品产品销售代表键姓名区域地区订单键订单数量成本订单事实表订单事实表逻辑模型逻辑模型逻辑模型及物理模型逻辑模型及物理模型数据准备区数据仓库存储区OLAP系统以专用矩阵格式存储的多维数据立方体物理文件关系数据库数据文件（转换过的数据）关系数据库
4、索引文件装载映像文件关系数据库索引文件己分区的物理文件细节数据和简单汇总数据抽取平面文件关系数据库数据文件（仓库数据）RAID 0高性能、低成本、单磁盘损坏导致整个磁盘阵列无法使用数据带状分布在多个磁盘上，没有冗余RAID 1可读性能和可靠性高，因为数据复制，所以昂贵磁盘镜像，数据写入成对的冗余驱动器RAID 2高性能，纠一位错，两位检错，代价昂贵数据按位或者块交错分布在磁盘上，额外的驱动器存储校验码RAID 3对大块数据性能较高，不支持运行时恢复数据按位或块交错存储，有一个驱动器存储校验数据RAID 4可以处理多个复杂操作系统中的I/0操作，只用两个驱动器数据记录按扇区交错存储，有一个专门驱
5、动器存储校验数据RAID 5不需要专门的校验驱动器，需要两个或三个驱动器，写能力较弱数据扇区交错存储于多个驱动器，非常流行RAID技术技术A-KL-ZA-DE-GH-KALLENBUSHCLYNEDUNNEENGELFARISGOREHAIGIGNARJONESKUMARLOEWEMAHERNIXONOTTOPAINEQUINNRAJSEGELTOTOVETRIWILLSL-OP-RS-ZENGEL-地址地址 FARIS-地址地址 GORE-地址地址指向数据指向数据行的指针行的指针地址或行号地址或行号日期日期 产品产品 地区地区 颜色颜色 销售量销售量00001BFF.0012.0111 15
6、-Nov-00 洗碗机 东 白 300 00001BFF.0013.0114 15-Nov-00 干洗机 西 杏黄 450 00001BFF.0012.0115 16-Nov-00 洗碗机 西 杏黄 350 00001BFF.0012.0138 16-Nov-00 洗衣机 北 黑 550 00001BFF.0012.0145 17-Nov-00 洗衣机 南 白 500 00001BFF.0012.0157 17-Nov-00 干洗机 东 白 400 00001BFF.0014.0165 17-Nov-00 洗衣机 南 杏黄 575 销售数据抽取销售数据抽取产品列排序位图索引产品列排序位图索引
7、颜色排序位图索引颜色排序位图索引 地域排序位图索引地域排序位图索引洗衣机、干洗机、洗碗机洗衣机、干洗机、洗碗机 白色、杏黄色、黑色白色、杏黄色、黑色 东、西、北、南东、西、北、南地址或行号地址或行号 位位00001BFF.0012.0111 001 00001BFF.0013.0114 010 00001BFF.0012.0115 001 00001BFF.0012.0138 100 00001BFF.0012.0145 100 00001BFF.0012.0157 010 00001BFF.0014.0165 100地址或行号地址或行号 位位00001BFF.0012.0111 100 00
8、001BFF.0013.0114 010 00001BFF.0012.0115 010 00001BFF.0012.0138 001 00001BFF.0012.0145 100 00001BFF.0012.0157 100 00001BFF.0014.0165 010地址或行号地址或行号 位位00001BFF.0012.0111 1000 00001BFF.0013.0114 0100 00001BFF.0012.0115 0100 00001BFF.0012.0138 0010 00001BFF.0012.0145 0001 00001BFF.0012.0157 1000 00001BFF
9、.0014.0165 0001位图索引示例位图索引示例选出浅黄褐色洗衣机在东区或南区的销售信息行：选出浅黄褐色洗衣机在东区或南区的销售信息行：产品产品颜色颜色地区地区地址或行号地址或行号 0011001000 00001BFF.0012.0111 0100100100 00001BFF.0013.0114 0010100100 00001BFF.0012.0115 1000010010 00001BFF.0012.0138 1001000001 00001BFF.0012.0145 0101001000 00001BFF.0012.0157 1000100001 00001BFF.0014.0
10、165第第1个位个位=1第第1或第或第4个位个位=1第第2个位个位=1且且且且这一行满足查询要求这一行满足查询要求位图索引：数据查询位图索引：数据查询完成用户认可完成用户认可完成包括所有用户界面及系统性参方面的所有项目的最后测试执行初始装载执行初始装载加载维度表，然后是事实表，最后建立聚集表准备好用户桌面准备好用户桌面安装好所有需要的桌面用户工具。测试每个客户的计算机完成初始用户培训完成初始用户培训培训用户学习数据仓库相关的概念，相关内容和数据访问工具按阶段部署按阶段部署按部署分为用户同意的可管理阶段建立初始用户支持建立初始用户支持建立对初始用户的基本使用支持，回答问题建立联系二、完整的初始装
11、载主要步骤二、完整的初始装载主要步骤企业数据仓库企业范围内的需求分析和计划第一个部门数据集市下一个部门数据集市首先部署整个企业级数据仓库（E-R模型），接着逐个部署部门数据集市自上而下方法自上而下方法下一个部门数据集市下一个部门数据集市下一个部门数据集市收集部门需求，计划，部署独立的数据集市，逐一进行自下而上方法自下而上方法第一个部门数据集市第一个主题数据集市企业范围内的需求分析和计划下一个主题数据集市下一个主题数据集市逐个按照预先计划的顺序，部署一致的维表和事实表的主题集市（维度建模）实用方法实用方法为项目组内IT人员验证新技术技术证明技术证明验证所有基础结构和体系结构组件综合测试综合测试数
12、据仓库的数据仓库的初始部署初始部署为公司证明数据仓库概念以获得资金支持概念证明概念证明证明和鉴别最终用户工具集的特征和使用用户工具认定用户工具认定最早可交付使用的基于用户需求的真实业务需要广泛业务广泛业务可管理性和技术简单能和部署集成可扩展的种子可扩展的种子领航系统的类型领航系统的类型概念证明技术证明综合测试用户工具认定广业务可扩展种子领航系统类型领航系统类型小范围，有限的数据，不适合集成只用于证明IT新技术只用于为IT测试所有的基础结构和体系结构只用于用户测试和熟悉工具较大范围的早期版本，可能集成可管理、简单、是为集成而设计的数据仓库初始部署数据装载的安全清除用户角色和权限汇总级别的安全性元
13、数据安全性OLAP安全性Web安全性角色角色职责职责访问权限访问权限最终用户运用数据仓库表来进行查询和生成报表系统权限：无 数据库管理：无表和视图：选择高级用户/分析员进行复杂的特别查询，设计和生成报表系统权限：无 数据库管理：无表和视图：全部咨询台/支持中心帮助用户进行查询和生成报表，分析和解释系统权限：无 数据库管理：无表和视图：全部查询工具专家为最终用户解决疑难和安装OLAP工具系统权限：无 数据库管理：无表和视图：全部安全管理员授予和回收权限，监视使用情况系统权限：有 数据库管理：有 表和视图：全部系统/网络管理员安装和维护操作系统和网络系统权限：有 数据库管理：无表和视图：无数据仓库
14、管理员安装维护DBMS，提供备份和恢复系统权限：有 数据库管理：有 表和视图：全部备份历史数据备份历史数据备份历史数据备份历史数据完全更新一些表完全更新一些表日志文件备份日志文件备份增量加载增量加载时间轴时间轴系统崩溃系统崩溃可能从最后一次增量装载丢失了数据文件1文件2文件3 系统崩溃系统崩溃 使用这些备份文件使用这些备份文件文件1文件2文件3数据仓库：恢复数据仓库：恢复 数据仓库部署的第一个版本在建造阶段完成后开始 部署阶段的主要活动与用户认可、初始装载、桌面准备、初始培训和初始用户支持相关 领航系统在几种情况下是需要的。领航系统的一般类型是：概念证明、技术证明、综合测试、用户工具鉴别、广泛
15、业务和可扩展种子 虽然数据仓库的数据安全和OLTP系统类似，但是数据仓库数据访问的特点要求提供更加完善的访问权限 为什么备份数据仓库？虽然在数据仓库中很少有直接的数据更新，但还是有几个需要备份的理由。备份日程和恢复步骤由于数据仓库的数据容量很大而且更加困难Growth and Maintenance最终用户数据仓库管理员评价增长计划和性能调节统计数据数据仓库数据仓库数据仓库数据监视统计数据收集采样收集采样统计数据统计数据定时对数据仓库活动采样，以获得统计数据事件驱动统计事件驱动统计数据收集数据收集记录特定事件发生时的统计数据查询、报表、分析查询、报表、分析监视统计数据元数据数据仓库数据支持We
16、b的数据仓库企业内部网网页统计数数据仓库主题数据仓库表 汇总数据数据仓库导航数据仓库统计数据预定义查询预定义报表最后一次完整装载最后一次增量装载安排好停机时间支持接洽用户工具升级内部最终用户用户统计数据用户统计数据数据内容数据内容数据仓库中可用的主题数据仓库的维度表和事实表数据仓库导航数据粒度和聚集表源系统和数据抽取数据转换和清洗原则商业术语和含义应用应用预定义查询查询模板预格式化的报表报表编辑器选 项用于下游应用的数据预开发的应用程序OLAP汇总和多维分析主管信息系统工具工具最终用户工具特征和功能有数据仓库元数据的工具界面登录和使用工具软件的步骤使用工具导航和浏览数据仓库内容使用工具建立查询
17、获得结果使用工具生成报表介绍性课程介绍性课程数据仓库介绍介绍数据仓库和数据如何存储数据仓库导航维度和事实表预定义查询和预格式化报表最终用户应用程序亲自动手浏览数据仓库内容深入课程深入课程数据仓库知识更新浏览所有主题仔细学习选择的主题-事实表，维表，数据粒度和汇总学习源系统和数据抽取学习数据转换亲自动手会话最终用户工具使用最终用户工具使用工具浏览仔细学习工具功能工具特征着重描述使用工具导航和浏览数据仓库内容查询报表和分析工具的亲自动手使用额外的工具特征，例如，下钻，导出数据咨询台支持咨询台支持用户代表用户代表用户用户热线支持热线支持技术支持技术支持提供热线支持不能处理的问题记录支持请求，提供帮助，如果需要还要传递请求提供对硬件、系统软件和工具的远程或者在线支持部门内接触的第一点多层支持结构安全管理备份和恢复管理Web技术管理平台升级继续培训用户支持 紧跟着初始部署，项目组必须执行检查过程 在系统运行过程中监视数据仓库需要采集不同指示器的统计数据。使用这些统计数据制订增长和优化计划 用户培训包括确定需要的内容，准备培训计划，执行培训计划 用户支持功能需要划分为多个层次，以满足不同的支持需要，这些支持涉及数据内容、应用程序和工具 系统运行过程中的管理包括以下几个方面：平台升级，数据增长管理，存储管理，ETL管理，数据模型更新，信息传递增强和持续优化
