1、24.1 数据仓库分析与设计数据仓库分析与设计4.2 数据仓库开发数据仓库开发4.3 数据仓库技术与开发的困难数据仓库技术与开发的困难34.1数据仓库分析与设计数据仓库分析与设计4.1.1 需求分析需求分析4.1.2概念模型设计概念模型设计4.1.3逻辑模型设计逻辑模型设计4.1.4物理模型设计物理模型设计4.1.5 数据仓库的索引技术数据仓库的索引技术44.1.1 需求分析需求分析1.确定主题域确定主题域2.支持决策的数据来源支持决策的数据来源3.数据仓库的成功标准和关键性能指标数据仓库的成功标准和关键性能指标4.数据量与更新频率数据量与更新频率51.确定主题域确定主题域（1）明确对于决策分
2、析最有价值的主题领域有）明确对于决策分析最有价值的主题领域有哪些？哪些？（2）每个主题域的商业维度是哪些？每个维度）每个主题域的商业维度是哪些？每个维度的粒度层次有哪些？的粒度层次有哪些？（3）制定决策的商业分区是什么？）制定决策的商业分区是什么？（4）不同地区需要哪些信息来制定决策？）不同地区需要哪些信息来制定决策？（5）对哪个区域提供特定的商品和服务？）对哪个区域提供特定的商品和服务？62.支持决策的数据来源支持决策的数据来源（1）哪些源数据（操作型）与商品主题有）哪些源数据（操作型）与商品主题有关？关？（2）在已有报表和在线查询中得到什么样）在已有报表和在线查询中得到什么样的信息？的信息
3、？（3）提供决策支持的细节程度是怎样的？）提供决策支持的细节程度是怎样的？73.数据仓库的成功标准和关键性能指标数据仓库的成功标准和关键性能指标（1）衡量数据仓库成功的标准是什么？）衡量数据仓库成功的标准是什么？（2）哪些关键的性能指标？如何监控？）哪些关键的性能指标？如何监控？（3）对数据仓库的期望是什么？）对数据仓库的期望是什么？（4）对数据仓库的预期用途有哪些？）对数据仓库的预期用途有哪些？（5）对计划中的数据仓库的考虑要点是）对计划中的数据仓库的考虑要点是什么？什么？84.数据量与更新频率数据量与更新频率（1）数据仓库的总数据量有多少？）数据仓库的总数据量有多少？（2）决策支持所需的数
4、据更新频率是多）决策支持所需的数据更新频率是多少？时间间隔是多长少？时间间隔是多长?（3）每种决策分析与不同时间的标准对）每种决策分析与不同时间的标准对比如何？比如何？（4）数据仓库中的信息需求的时间界限）数据仓库中的信息需求的时间界限是什么？是什么？9通过需求分析，需要的数据包括：通过需求分析，需要的数据包括：1.数据源数据源（1）可用的数据源）可用的数据源（2）数据源的数据结构）数据源的数据结构（3）数据源的位置）数据源的位置（4）数据源的计算机环境）数据源的计算机环境（5）数据抽取过程）数据抽取过程（6）可用的历史数据）可用的历史数据102.数据转换数据转换n数据仓库中的数据是为决策分析
5、服务，数据仓库中的数据是为决策分析服务，而源系统的数据为业务处理服务。而源系统的数据为业务处理服务。n需要决定如何正确地将这些源数据转换需要决定如何正确地将这些源数据转换成适合数据仓库存储的数据。成适合数据仓库存储的数据。113.数据存储数据存储数据仓库所需要的数据的详细程度，包括数据仓库所需要的数据的详细程度，包括足够的关于存储需求的信息，估计数据足够的关于存储需求的信息，估计数据仓库需要多少历史和存档数据。仓库需要多少历史和存档数据。124.决策分析决策分析（1）向下层钻取分析）向下层钻取分析（2）向上层钻取分析）向上层钻取分析（3）横向钻取分析）横向钻取分析（4）切片分析）切片分析（5）
6、特别查询报表）特别查询报表134.1.2 概念模型设计概念模型设计概念模型的特点是：概念模型的特点是：（1）能真实反映现实世界，能满足用户对数据的分析，达到）能真实反映现实世界，能满足用户对数据的分析，达到决策支持的要求，它是现实世界的一个真实模型。决策支持的要求，它是现实世界的一个真实模型。（2）易于理解，便利和用户交换意见，在用户的参与下，能）易于理解，便利和用户交换意见，在用户的参与下，能有效地完成对数据仓库的成功设计。有效地完成对数据仓库的成功设计。（3）易于更改，当用户需求发生变化时，容易对概念模型修）易于更改，当用户需求发生变化时，容易对概念模型修改和扩充。改和扩充。（4）易于向数
7、据仓库的数据模型（星型模型）转换。）易于向数据仓库的数据模型（星型模型）转换。14 概念模型最常用的表示方法是实体关系法（概念模型最常用的表示方法是实体关系法（E-R法）。法）。E-R图描述的是实体以及实体之间的联系图描述的是实体以及实体之间的联系:n用长方形表示实体，在数据仓库中就表示主题，椭圆形表示主用长方形表示实体，在数据仓库中就表示主题，椭圆形表示主题的属性，并用无向边把主题与其属性连接起来；题的属性，并用无向边把主题与其属性连接起来；n用菱形表示主题之间的联系，用无向边把菱形分别与有关的主用菱形表示主题之间的联系，用无向边把菱形分别与有关的主题连接。题连接。n若主题之间的联系也具有属
8、性，则把属性和菱形也用无向边连若主题之间的联系也具有属性，则把属性和菱形也用无向边连接上。接上。15例子例子有两个主题：商品和客户，主题也是实体。有两个主题：商品和客户，主题也是实体。商品商品有如下属性组：有如下属性组：n商品的固有信息（商品号、商品名、类别、价格等）；商品的固有信息（商品号、商品名、类别、价格等）；n商品库存信息（商品号、库房号、库存量、日期等）；商品库存信息（商品号、库房号、库存量、日期等）；n商品销售信息（商品号、客户号、销售量等）；商品销售信息（商品号、客户号、销售量等）；客户客户有如下属性组：有如下属性组：n客户固有信息（客户号、客户名、住址、电话等）；客户固有信息（
9、客户号、客户名、住址、电话等）；n客户购物信息（客户号、商品号、售价、购买量等）。客户购物信息（客户号、商品号、售价、购买量等）。n商品的销售信息与用户的购物信息是一致的，它们是两个商品的销售信息与用户的购物信息是一致的，它们是两个主主题之间的联系题之间的联系。16商品商品固有信息商品号商品库存信息销 售 信息购物信息 客户客户固有信息客户号=174.1.3逻辑模型设计逻辑模型设计主要工作为：主要工作为：（1）主题域进行概念模型（）主题域进行概念模型（ER图）到逻图）到逻辑模型（星型模型）的转换辑模型（星型模型）的转换（2）粒度层次划分）粒度层次划分（3）关系模式定义）关系模式定义（4）定义记
10、录系统）定义记录系统181、主题域进行概念模型到逻辑模型的转换、主题域进行概念模型到逻辑模型的转换星型模型的设计步骤如下：星型模型的设计步骤如下：（1）确定决策分析需求）确定决策分析需求决策需求是建立多维数据模型的依据。决策需求是建立多维数据模型的依据。（2）从需求中识别出事实）从需求中识别出事实选择或设计反映决策主题业务的表，如在选择或设计反映决策主题业务的表，如在“商品商品”主题中，以主题中，以“销售业务销售业务”作为事实表。作为事实表。（3）确定维）确定维确定影响事实的各种因素，对销售业务的维包括商确定影响事实的各种因素，对销售业务的维包括商店，地区，部门，城市，时间，商品等，如图店，地
11、区，部门，城市，时间，商品等，如图4.2所示。所示。19销售数据和维销售数据商品促销时间部门城市地区商店图图4.2 销售业务的多维数据销售业务的多维数据（4 4）确定数据汇总水平确定数据汇总水平 数据仓库中对数据不同粒度的集成和综合，数据仓库中对数据不同粒度的集成和综合，形成了多层次、多种知识的数据结构。形成了多层次、多种知识的数据结构。例如，对于时间维，可以以例如，对于时间维，可以以“年年”、“月月”或或者者“日日”等不同水平进行汇总。等不同水平进行汇总。（5 5）设计事实表和维表）设计事实表和维表 设计事实表和维表的具体属性。在事实表中应设计事实表和维表的具体属性。在事实表中应该记录哪些属
12、性是由维表的数量决定的。该记录哪些属性是由维表的数量决定的。一般来说，与事实表相关的维表的数量应该适一般来说，与事实表相关的维表的数量应该适中，太少的维表会影响查询的质量，用户得不到中，太少的维表会影响查询的质量，用户得不到需要的数据，太多的维表又会影响查询的速度需要的数据，太多的维表又会影响查询的速度。（6 6）按使用的）按使用的DBMSDBMS和分析用户工具，证实设计方和分析用户工具，证实设计方案的有效性案的有效性 根据系统使用的根据系统使用的DBMSDBMS，确定事实表和维表的具，确定事实表和维表的具体实现。由于不同的体实现。由于不同的DBMSDBMS对数据存储有不同的要对数据存储有不同
13、的要求，因此设计方案是否有效还要放在求，因此设计方案是否有效还要放在DBMSDBMS中进行中进行检验检验 （7 7）随着需求变化修改设计方案随着需求变化修改设计方案 随着应用需求的变化，整个数据仓库的数据模随着应用需求的变化，整个数据仓库的数据模式也可能会发生变化。因此在设计之初，充分考式也可能会发生变化。因此在设计之初，充分考虑数据模型的可修改性可以节省系统维护的代价虑数据模型的可修改性可以节省系统维护的代价。22从的从的ER图转换成星型模型实例说明图转换成星型模型实例说明 n（1）业务数据的）业务数据的E-R图图销售销售日期商店号商品号销售数量销售单位商品商品号商品名商品类号存货星期商店号
14、商品号数量1m1m商店商店号商店名地址城市省邮编地区号1mm11商品类商品类号商品类名部门号m1m地区地区号地区名23（2）E-R图向多维表的转换图向多维表的转换n该问题的多维表模型中，该问题的多维表模型中，商品维商品维包括部门、商品和包括部门、商品和商品大类，商品大类，地点维地点维包括地区和商店，忽略存货，而包括地区和商店，忽略存货，而只注意销售事实。在只注意销售事实。在E-R图中不出现的时间，在多图中不出现的时间，在多维模型中增加维模型中增加时间维时间维。n在多维模型中，实体与维之间建立映射关系，联系在多维模型中，实体与维之间建立映射关系，联系多个实体的实体就成为事实，多个实体的实体就成为
15、事实，此处销售实体作为事此处销售实体作为事实，其他实体作为维实，其他实体作为维。然后用维关键字将它转换为。然后用维关键字将它转换为星型模型，如图星型模型，如图4.5所示。所示。24商品维地区维时间维部门地区年商品大类商店月商品周日销售事实 图图4.4 E-R图向多维模型的转换图向多维模型的转换 时间 时间键 时间说明 日期 星期 月 年 级别号 销售事实 时间键 地理位置键 商品键 销售数量 销售单位 地区 地理位置键 地理位置名 地区号 商店号 级别号 商品 商品键 商品名 部门号 商品类号 级别号 图图4.5 利用维关键字制定的星型模型利用维关键字制定的星型模型26在各维中，只有部门，商品
16、类，地区，商在各维中，只有部门，商品类，地区，商店的店的编号没有具体的说明编号没有具体的说明。为了打印报表将为了打印报表将增加这些编号的名称说明增加这些编号的名称说明，即部门名、商店名等，在维表中增加这即部门名、商店名等，在维表中增加这些说明，即修改该星型模型些说明，即修改该星型模型 如图如图4.6 所示。所示。时间 时间键 时间说明 日期 星期 月 年 级别号 销售事实 时间键 地理位置键 商品键 销售数量 销售单位 地区 地理位置键 地理位置名 地区号 地区名 商店号 商店名 级别号 商品 商品键 商品名 部门号 部门名 商品类号 商品类名 级别号 图图4.6 修改后的星型模型修改后的星型
17、模型282、粒度层次划分、粒度层次划分n所谓粒度是指数据仓库中数据单元的详所谓粒度是指数据仓库中数据单元的详细程度和级别。细程度和级别。n数据越详细，粒度越小，层次级别就越数据越详细，粒度越小，层次级别就越低；数据综合度越高，粒度越大，层次低；数据综合度越高，粒度越大，层次级别就越高。级别就越高。n进行粒度划分，首先要确定所有在数据进行粒度划分，首先要确定所有在数据仓库中建立的表，然后估计每个表的大仓库中建立的表，然后估计每个表的大约行数。约行数。293、关系模式定义、关系模式定义n在概念模型设计时，我们就确定了数据在概念模型设计时，我们就确定了数据仓库的基本主题，并对每个主题的公共仓库的基本
18、主题，并对每个主题的公共码键、基本内容等做了描述。码键、基本内容等做了描述。n在这一步里，我们将要对选定的当前实在这一步里，我们将要对选定的当前实施的主题进行模式划分，形成多个表，施的主题进行模式划分，形成多个表，并确定各个表的关系模式。并确定各个表的关系模式。30“商品商品”主题主题公共码键：商品号。公共码键：商品号。商品固有信息：商品固有信息：n商品表（商品号、商品名、类型、颜色）商品表（商品号、商品名、类型、颜色）细节级细节级商品销售信息：商品销售信息：n销售表销售表1（商品号、客户号、销售量、（商品号、客户号、销售量、）细节级细节级n销售表销售表2（商品号、时间段（商品号、时间段1、销
19、售量、销售量、）综合级综合级n n销售表销售表n（商品号、时间段（商品号、时间段n、销售量、销售量、）综合级综合级314、定义记录系统、定义记录系统n定义记录系统是建立数据仓库中的数据以源定义记录系统是建立数据仓库中的数据以源系统中的数据的对照记录。系统中的数据的对照记录。n记录系统的定义要记入数据仓库的元数据。记录系统的定义要记入数据仓库的元数据。n商品主题的记录系统在元数据中可描述如商品主题的记录系统在元数据中可描述如 表表4.2所示。所示。32主题名属性名数据源系统源表名源属性名商品商品商品商品商品商品商品商品商品商品号商品名类别客户号销售日期售价销售量库存量库存号库存子系统库存子系统库
20、存子系统销售子系统销售子系统销售子系统销售子系统库存子系统库存子系统商品商品商品客户销售销售销售库存仓库商品号商品名类别客户号日期单价数量库存量仓库号表表4.2 记录系统的定义记录系统的定义334.1.4 物理模型设计物理模型设计确定一个最适合应用要求的物理结构（包确定一个最适合应用要求的物理结构（包括存储结构和存取方法）。括存储结构和存取方法）。（1）估计存储容量）估计存储容量（2）确定数据的存储计划）确定数据的存储计划（3）确定索引策略）确定索引策略（4）确定数据存放位置）确定数据存放位置（5）确定存储分配）确定存储分配341.估计存储容量估计存储容量（1）对每一个数据库表确定数据量）对每
21、一个数据库表确定数据量（2）对所有的表确定索引）对所有的表确定索引（3）估计临时存储）估计临时存储352.确定数据的存储计划确定数据的存储计划（1）建立聚集（汇总）计划）建立聚集（汇总）计划（2）确定数据分区方案）确定数据分区方案（3）建立聚类选项）建立聚类选项363.确定索引策略确定索引策略n在数据仓库中由于数据量很大，需要对数据的在数据仓库中由于数据量很大，需要对数据的存取路径进行仔细设计和选择，建立专用的复存取路径进行仔细设计和选择，建立专用的复杂的索引，以获得最高的存取效率。杂的索引，以获得最高的存取效率。n采用采用BTree索引，它是一个高效的索引，见索引，它是一个高效的索引，见图图
22、4.7所示。所示。B树是一个平衡（树是一个平衡（balance）树，）树，即每个叶结点到根节点的路径长度相同。即每个叶结点到根节点的路径长度相同。B树树索引是一个多级索引。索引是一个多级索引。374.确定数据存放位置确定数据存放位置n在物理设计时，我们常常要按数据的重要程度、在物理设计时，我们常常要按数据的重要程度、使用频率以及对响应时间的要求进行分类，并使用频率以及对响应时间的要求进行分类，并将不同类的数据分别存储在不同的存储设备中。将不同类的数据分别存储在不同的存储设备中。n重要程度高、经常存取并对响应时间要求高的重要程度高、经常存取并对响应时间要求高的数据就存放在高速存储设备上，如硬盘；
23、数据就存放在高速存储设备上，如硬盘；n存取频率低或对存取响应时间要求低的数据则存取频率低或对存取响应时间要求低的数据则可以放在低速存储设备上，如磁盘或磁带。可以放在低速存储设备上，如磁盘或磁带。385.确定存储分配确定存储分配n物理存储中以文件、块和记录来实现。一个文物理存储中以文件、块和记录来实现。一个文件包括很多块，每个块包括若干条记录。件包括很多块，每个块包括若干条记录。n文件中的块是数据库的数据和内存之间文件中的块是数据库的数据和内存之间I/O传传输的基本单位，在那里对数据进行操作。输的基本单位，在那里对数据进行操作。n用一个简例来说明逻辑模型和物理模型的内容，用一个简例来说明逻辑模型
24、和物理模型的内容，见下图所示。见下图所示。名称类型长度注释产品维表包括公司所有产品的信息Product-Keyinteger10主键Product-Namechar25产品名称Product-SKuchar20库存单位销售员维表包括不同地区的所有销售员信息Salpers-Keyinteger15主键Salpers-Namechar30销售员姓名Territorychar20销售员所在区域Regionchar20所在地区订单事实表包括公司收到的所有订单Order-Keyinteger10订单键Order-Namechar20订单名称Product-refinteger10参考产品主键Salper
25、s-refinteger15参考销售员主键Order-AmountNum8，2销售额Order-CostNum8，2订单成本逻辑模型产品维表产品键产品名库存单位品牌订单事实表订单键订单名产品键销售员键销售额订单成本销售员维表销售员键姓名地域地区404.1.5 数据仓库的索引技术数据仓库的索引技术1.位索引技术位索引技术2.标识技术标识技术3.广义索引广义索引411.位索引技术位索引技术n（1）Bit-Wise索引技术索引技术n（2）B-Tree技术与技术与Bit-Wise索引技术索引技术对比对比42n对于每一个记录的字段满足查询条件的真假对于每一个记录的字段满足查询条件的真假值用值用“1”或或
26、“0”的方式表示，或者用该字段的方式表示，或者用该字段中不同取值（即多位二进制）来表示。中不同取值（即多位二进制）来表示。n例如，检索例如，检索“美国加州有多少男性未申请保美国加州有多少男性未申请保险？险？”n利用利用BitWise技术得到有两个记录技术得到有两个记录 满足条满足条件。件。性别保险州1MYMA2MNCA3FYIL4MNCA=2男未保险加州10011100011144（2）B-Tree技术与技术与Bit-Wise索引技术对比索引技术对比nBit-Wise索引技术比索引技术比B-Tree技术能提高相应技术能提高相应速度速度10100倍。倍。n对于检索对于检索“美国加州有多少男性未申
27、请保险？美国加州有多少男性未申请保险？”为例，假设数据库有为例，假设数据库有10M记录，每个记录长记录，每个记录长800个字节，每一页个字节，每一页16K字节。字节。n按传统的关系数据库的检索按传统的关系数据库的检索：需要经过：需要经过50万次万次I/O操作。操作。n按按BitWise检索检索：对于：对于10M个记录建立三列个记录建立三列的的BitWise索引。存取这些索引只要进行索引。存取这些索引只要进行235次次I/O操作。操作。452.标识技术标识技术 姓名 籍贯 职称 年龄陈文东 江西 教授 56何玉辉 河北 讲师 32李宝 湖南 副教授 37施东 江苏 讲师 28曹文 湖南 副教授
28、36赵玉 吉林 讲师 32黄小斌 江苏 讲师 28赛英花 山东 副教授 32彭宏 江西 讲师 25廖宇宙 湖南 教授 42样本记录：46n数据库中的每个实体创建一个标识。数据库中的每个实体创建一个标识。“江西江西”在籍贯中是在籍贯中是01标识。标识。“28”在在年龄中是年龄中是02标识。标识。“讲师讲师”在职称名中在职称名中有一个有一个03标识。上面的数据库可以被减标识。上面的数据库可以被减化为一系列标识，如下面所示：化为一系列标识，如下面所示：47n姓名姓名 籍贯籍贯 职称职称 年龄年龄n陈文东陈文东 01 江西江西 01 教授教授 01 25 01n何玉辉何玉辉 02 河北河北 02 副教
29、授副教授 02 28 02n李宝李宝 03 湖南湖南 03 讲师讲师 03 32 03n施东施东 04 江苏江苏 04 36 04n曹文曹文 05 吉林吉林 05 37 05n赵玉赵玉 06 山东山东 06 42 06n黄小斌黄小斌 07 56 07n赛英花赛英花 08 n彭宏彭宏 09 n廖宇宙廖宇宙 10 48数据库被精简如下：数据库被精简如下：n记录记录1 01,01,01,07n记录记录2 02,02,03,03n记录记录3 03,03,02,05n记录记录4 04,04,03,02n记录记录5 05,03,02,05n记录记录6 06,05,03,03n记录记录7 07,04,03,
30、02n记录记录8 08,06,02,03n记录记录9 09,01,03,01493.广义索引广义索引对数据仓库的一个很广泛的应用问题是对数据仓库的一个很广泛的应用问题是“这个这个月销售最好和最差的月销售最好和最差的10种商品是哪些？种商品是哪些？”，我们可以设计这么一块我们可以设计这么一块“黑板黑板”，在上面标明，在上面标明了当月销售最好和最差的了当月销售最好和最差的10种商品的名称或种商品的名称或者它们相关记录的存放地址。这块者它们相关记录的存放地址。这块“黑板黑板”就是我们所说的就是我们所说的“广义索引广义索引”。504.2 数据仓库开发数据仓库开发4.3 数据仓库技术与开发的困难数据仓库
31、技术与开发的困难514.2 数据仓库开发数据仓库开发4.2.1数据仓库开发过程数据仓库开发过程4.2.2 数据质量与数据清洗数据质量与数据清洗4.2.3 数据粒度与维度建模数据粒度与维度建模524.2.1数据仓库开发过程数据仓库开发过程4.2.2.1 分析与设计阶段分析与设计阶段 4.2.1.2 数据获取阶段数据获取阶段4.2.1.3 决策支持阶段决策支持阶段4.2.1.4 维护与评估阶段维护与评估阶段需求分析数据装载信息查询概念设计逻辑设计物理设计数据抽取数据转换知识探索数据仓库增长数据仓库维护数据仓库评估决策支持数据获取分析与设计维护与评估数据仓库开发过程数据仓库开发过程544.2.1.1
32、分析与设计阶段 1.需求分析需求分析2.概念设计概念设计3.逻辑设计逻辑设计4.物理设计物理设计551.需求分析需求分析n确定决策主题域确定决策主题域n分析主题域的商业维度分析主题域的商业维度n分析支持决策的数据来源分析支持决策的数据来源n确定数据仓库的数据量大小确定数据仓库的数据量大小n分析数据更新的频率分析数据更新的频率n确定决策分析方法确定决策分析方法562.概念设计概念设计n建立概念模型：对每个决策主题与属性以建立概念模型：对每个决策主题与属性以及主题之间的关系用及主题之间的关系用E-R图图模型表示。模型表示。nE-R图将图将现实世界现实世界表示成表示成信息世界信息世界，便利，便利向向
33、计算机的表示计算机的表示形式进行转化。形式进行转化。573.逻辑设计逻辑设计n将概念模型（将概念模型（E-R图）转换成逻辑模型，图）转换成逻辑模型，即计算机表示的数据模型。即计算机表示的数据模型。n数据仓库数据模型一般采用数据仓库数据模型一般采用星型模型。星型模型。n星型模型由星型模型由事实表、维表事实表、维表组成。组成。584.物理设计物理设计n对逻辑模型设计的数据模型确定对逻辑模型设计的数据模型确定物理存储结构物理存储结构和和存取方法存取方法。n数据仓库的星型模型在计算机中仍用数据仓库的星型模型在计算机中仍用关系型数关系型数据库据库存储。存储。n物理设计还需要进行存储容量的估计；确定数物理
34、设计还需要进行存储容量的估计；确定数据存储的计划；确定索引策略；确定数据存放据存储的计划；确定索引策略；确定数据存放位置以及确定存储分配。位置以及确定存储分配。594.2.1.2 数数据获取阶段据获取阶段 1.数据抽取数据抽取2.数据转换数据转换3.数据装载数据装载601.数据抽取数据抽取n对数据源的确认，确定数据抽取技术，对数据源的确认，确定数据抽取技术，确认确认数据抽取频率数据抽取频率，按照时间按照时间要求抽取要求抽取数据。数据。n由于源系统的差异性，如计算机平台、由于源系统的差异性，如计算机平台、操作系统、数据库管理系统、网络协议操作系统、数据库管理系统、网络协议等的不同造成了抽取数据的
35、困难。等的不同造成了抽取数据的困难。612.数据转换数据转换n数据格式的修正数据格式的修正n字段的解码字段的解码n单个字段的分离单个字段的分离n信息的合并信息的合并n变量单位的转化变量单位的转化n时间的转化时间的转化n数据汇总数据汇总623.数据装载数据装载初始装载初始装载：第一次装入数据仓库。：第一次装入数据仓库。增量装载增量装载：根据定期应用需求装入数据仓：根据定期应用需求装入数据仓 库。库。完全刷新完全刷新：完全删除现有数据，重新装入：完全删除现有数据，重新装入 新的数据。新的数据。634.2.1.3 决策支持阶段决策支持阶段1.信息查询信息查询2.知识探索知识探索641.信息查询信息查
36、询信息查询者使用数据仓库能发现目前存在的问题。信息查询者使用数据仓库能发现目前存在的问题。创建数据阵列创建数据阵列 将相关的数据（每月的数据）放在同一个物理位将相关的数据（每月的数据）放在同一个物理位置上。置上。预连接表格预连接表格 对于两个或多个表格共享一个公用链。对于两个或多个表格共享一个公用链。65预聚集数据预聚集数据以每天为基础存储数据。在一周结束时，以每周为以每天为基础存储数据。在一周结束时，以每周为基础存储数据（即累加每天的数据）。月末时，基础存储数据（即累加每天的数据）。月末时，则以每月为基础存储数据。则以每月为基础存储数据。聚类数据聚类数据聚类将数据放置在同一地点，这样可以提高
37、对聚类聚类将数据放置在同一地点，这样可以提高对聚类数据的查询。数据的查询。662.知识探索知识探索发现的问题并找出原因。发现的问题并找出原因。创建一个单独的探索仓库，不影响数据仓库的常创建一个单独的探索仓库，不影响数据仓库的常规用户。同时采用规用户。同时采用“标识技术标识技术”进行数据压缩，进行数据压缩，提高数据分析速度。提高数据分析速度。使用一些使用一些模型模型帮助决策分析，例如客户分段、欺帮助决策分析，例如客户分段、欺诈监测、信用分险、客户生存期、渠道响应、诈监测、信用分险、客户生存期、渠道响应、推销响应等模型。推销响应等模型。通过模型的计算来得出一些有价值的商业知识。通过模型的计算来得出
38、一些有价值的商业知识。67采用数据挖掘工具来获取商业知识。采用数据挖掘工具来获取商业知识。例如，得到如下一些知识：例如，得到如下一些知识：n哪些商品一起销售好？哪些商品一起销售好？n哪些商业事务处理可能带有欺诈性？哪些商业事务处理可能带有欺诈性？n高价值客户的共同点是什么？高价值客户的共同点是什么？获取的知识为企业领导者提供决策支持，达到获取的知识为企业领导者提供决策支持，达到保留客户，减少欺诈，提高公司利润具有重保留客户，减少欺诈，提高公司利润具有重要作用。要作用。684.2.1.4 维护与评估阶段维护与评估阶段1.数据仓库增长数据仓库增长2.数据仓库维护数据仓库维护3.数据仓库评估数据仓库
39、评估691.数据仓库增长数据仓库增长数据仓库建立以后，随着用户的不断增加，数据仓库建立以后，随着用户的不断增加，时间的增长，用户查询需求更多，数据时间的增长，用户查询需求更多，数据会迅速增长。会迅速增长。在数据仓库的开发过程中在数据仓库的开发过程中需要适应数据仓需要适应数据仓库不断增长的现实。库不断增长的现实。702.数据仓库维护数据仓库维护n适应数据仓库增长的维护适应数据仓库增长的维护n数据增长的处理工作有：数据增长的处理工作有：去掉没有用的去掉没有用的历史数据历史数据；根据用户使用的情况，；根据用户使用的情况，取消取消某些细节数据和无用的汇总数据某些细节数据和无用的汇总数据，增加，增加些实
40、用的汇总数据。些实用的汇总数据。71正常系统维护正常系统维护n数据仓库的数据仓库的备份备份和和恢复恢复。n 备份数据为系统恢复提供基础，一旦备份数据为系统恢复提供基础，一旦系统出现灾难时，利用备份数据可以很系统出现灾难时，利用备份数据可以很快将数据仓库恢复到正常状态。快将数据仓库恢复到正常状态。723.数据仓库评估数据仓库评估（1）系统性能评定）系统性能评定（2）投资回报分析）投资回报分析（3）数据质量评估）数据质量评估73（1）系统性能评定）系统性能评定n硬件平台硬件平台是否能够支持大数据量的工作是否能够支持大数据量的工作和多类用户、多种工具的大量需求？和多类用户、多种工具的大量需求？n软件
41、平台软件平台是否是用一个高效的且优化的是否是用一个高效的且优化的方式来组织和管理数据？方式来组织和管理数据？n是否适应系统（数据和处理）的扩展？是否适应系统（数据和处理）的扩展？74（2）投资回报分析）投资回报分析n定量分析定量分析:计算投资回报率（计算投资回报率（ROI），即），即收益与成本的比率。收益与成本的比率。n定性分析定性分析:企业与客户之间关系状态？对企业与客户之间关系状态？对机会快速反应能力如何？改善管理能力机会快速反应能力如何？改善管理能力如何？如何？75（3）数据质量评估）数据质量评估数据是准确的。数据是准确的。数据符合它的类型要求和取值要求。数据符合它的类型要求和取值要求。
42、数据具有完整性和一致性。数据具有完整性和一致性。数据是清晰的且符合商业规则。数据是清晰的且符合商业规则。数据保持时效性并不能出现异常。数据保持时效性并不能出现异常。764.2.2 数据质量与数据清洗数据质量与数据清洗1.数据质量问题数据质量问题2.数据污染产生的原因数据污染产生的原因3.数据清洗数据清洗771.数据质量问题数据质量问题（1）字段中的虚假值。）字段中的虚假值。（2）数据值缺失。）数据值缺失。（3）不一致的值。）不一致的值。（4）违反常规的不正确值。）违反常规的不正确值。（5）一个字段有多种用途。）一个字段有多种用途。（6）标法不唯一。）标法不唯一。782.数据污染产生的原因数据污
43、染产生的原因（1）系统转换）系统转换（2）数据老化）数据老化（3）复杂的系统集成）复杂的系统集成（4）数据输入的不完整信息）数据输入的不完整信息（5）输入错误）输入错误（6）欺诈）欺诈（7）缺乏相关政策）缺乏相关政策 793.数据清洗数据清洗n只清洗那些重要的数据，而忽略那些不重要的数只清洗那些重要的数据，而忽略那些不重要的数据。据。n数据在被存储进数据仓库之前就应该进行清洗。数据在被存储进数据仓库之前就应该进行清洗。n找到适合源系统的字段和格式的清洗工具。找到适合源系统的字段和格式的清洗工具。n建立数据质量领导小组；建立数据质量政策和标建立数据质量领导小组；建立数据质量政策和标准；定义质量指
44、标参数和基准；识别受坏数据影准；定义质量指标参数和基准；识别受坏数据影响最大的商业功能。响最大的商业功能。n对有较大影响力的数据元素定制清洗计划，并执对有较大影响力的数据元素定制清洗计划，并执行数据清洗。行数据清洗。804.2.3 数据粒度与维度建模数据粒度与维度建模n数据粒度是指数据仓库的数据中保存数数据粒度是指数据仓库的数据中保存数据的细化程度或综合程度的级别。据的细化程度或综合程度的级别。n 数据粒度深深影响存放在数据仓库中的数据粒度深深影响存放在数据仓库中的数据量的大小，同时影响数据仓库所能数据量的大小，同时影响数据仓库所能回答的查询类型。回答的查询类型。811.大维度与雪花模型大维度
45、与雪花模型n在数据仓库中，客户维度和产品维度是典型的在数据仓库中，客户维度和产品维度是典型的大维度。大维度。n大维度表采用雪花模型的数据组织，是一种有大维度表采用雪花模型的数据组织，是一种有效的方法。效的方法。n对产品维度，产品是分属于产品品牌，品牌又对产品维度，产品是分属于产品品牌，品牌又分属于产品分类。对客户维度，客户分属于地分属于产品分类。对客户维度，客户分属于地区，地区分属于国家。区，地区分属于国家。n对于销售的雪花模型如图对于销售的雪花模型如图4.11所示。所示。地区地区键地区名国家键产品键产品名品牌键包装键包装包装键包装类别销售事实产品键时间键客户键销售数目销售总价利润时间时间键日
46、期月季年客户键客户名地区键客户分类品牌键品牌名分类键品牌分类键分类名产品国家键国家名国家图图4.11 销售事实的雪花模型销售事实的雪花模型832.综合事实表综合事实表n大多数查询不是基于基础事实表上操作的，而大多数查询不是基于基础事实表上操作的，而是基于综合数据的查询。这样建立综合事实表是基于综合数据的查询。这样建立综合事实表是提高综合数据查询的非常有效的方法，且大是提高综合数据查询的非常有效的方法，且大大提高数据仓库的性能。大提高数据仓库的性能。n在多维表中，很多维都是具有层次结构，对不在多维表中，很多维都是具有层次结构，对不同维的层次的提升，将可建立多种综合事实表。同维的层次的提升，将可建
47、立多种综合事实表。n从图从图4.12可见，对基础事实表查询利用产品维可见，对基础事实表查询利用产品维表，对综合事实表查询，利用产品分类维表。表，对综合事实表查询，利用产品分类维表。产品键产品名分类部门产品键时间键商店键销售量销售总价时间时间键日期月季年商店键商店名地域地区商店产品分类键分类名部门产品分类分类键时间键商店键销售量销售总价综合事实表销售事实表（基础表）图图4.12 综合事实表和衍生维度（产品分类）表综合事实表和衍生维度（产品分类）表854.3 数据仓库技术与开发的困难数据仓库技术与开发的困难4.3.1数据仓库技术数据仓库技术4.3.2数据仓库开发的困难数据仓库开发的困难864.3.
48、1数据仓库技术数据仓库技术1.管理大量数据管理大量数据对于数据仓库最重要的技术就是能够管理大量的数据。对于数据仓库最重要的技术就是能够管理大量的数据。数据仓库要管理大量的数据，是因为它们：数据仓库要管理大量的数据，是因为它们：（1）包括粒状的、原子的细节）包括粒状的、原子的细节（2）包括历史数据）包括历史数据（3）包括细节和汇总数据）包括细节和汇总数据（4）包括元数据）包括元数据有好多种管理大量数据的方法有好多种管理大量数据的方法通过寻址，通过索通过寻址，通过索引，通过数据的外延，通过有效的溢出管理等引，通过数据的外延，通过有效的溢出管理等872.数据的高效装入和数据压缩数据的高效装入和数据压
49、缩n数据仓库的一个重要的技术就是能够高数据仓库的一个重要的技术就是能够高效地装入数据。效地装入数据。n有好多种装入数据的方法：通过一个语有好多种装入数据的方法：通过一个语言接口一次一条记录。言接口一次一条记录。n当数据能够被压缩时，它便能存储在很当数据能够被压缩时，它便能存储在很小的空间中。小的空间中。883.存储介质的管理存储介质的管理 存储介质 访问速度 存储费用主存 非常快 非常贵扩展内存 非常快 贵高速缓存 非常快 贵磁盘 快 适中光盘 不慢 不贵微缩胶片 慢 便宜考虑到访问速度和存储费用，对数据的存储要分层次，考虑到访问速度和存储费用，对数据的存储要分层次，层次的区分如下：层次的区分
50、如下：897.多维多维DBMS和数据仓库和数据仓库n多维数据库管理系统（多维多维数据库管理系统（多维DBMS）使）使得对数据的访问非常灵活，可以用多种得对数据的访问非常灵活，可以用多种方法对数据进行切片、分割，动态地考方法对数据进行切片、分割，动态地考察汇总数据和细节数据的关系。察汇总数据和细节数据的关系。90数据仓库和多维数据仓库和多维DBMS的区别：的区别：（1）数据仓库有大量的数据；多维）数据仓库有大量的数据；多维DBMS中的数据至少中的数据至少要少一个数量级。要少一个数量级。（2）数据仓库只适合于少量的灵活访问；而多维）数据仓库只适合于少量的灵活访问；而多维DBMS适合大量的非预知的数
