1、2023-1-10仲恺农业工程学院市场营销系1第六章 CRM中的数据仓库2023-1-10仲恺农业工程学院市场营销系2v数据仓库与CRM有着难以割舍的密切关系，客户关系管理的很多工作都是以数据仓库为基础展开的。v从某种意义上说，数据仓库是客户关系管理的灵魂。利用数据仓库，企业可以对客户行为进行分析与预测，从而制定准确的市场策略、发现企业的重点客户和评价市场性能，并通过销售和服务等部门与客户交流，实现企业利润的提高。v对于客户量大、市场策略对企业影响较大的企业来说，必须在客户关系管理系统中包含数据仓库。2023-1-10仲恺农业工程学院市场营销系3内 容6.1 数据仓库的定义和特征6.2 数据仓
2、库与数据库的区别6.3 数据仓库的实施6.4 数据仓库的建模模型6.5 联机分析处理（OLAP）6.6 数据仓库中的数据集成2023-1-10仲恺农业工程学院市场营销系46.1 数据仓库的定义和特征v数据库技术，特别是OLTP（联机事务处理），主要是为自动化生产、精简工作任务和高速采集数据服务。它是事务驱动的、面向应用的。v 目前，人们要利用现有的数据，进行分析和推理，从而为决策提供依据。这种需求既要求联机服务，又涉及大量用于决策的数据。而传统的数据库系统已无法满足这种需求：所需历史数据量很大，而传统数据库一般只存储短期数据。涉及许多部门的数据，而不同系统的数据难以集成。对大量数据的访问性能明
3、显下降2023-1-10仲恺农业工程学院市场营销系5数据仓库的定义v数据仓库(Data Warehouse)：是一个面向主题的、集成的、随时间而变的、非易失的数据的集合，是支持管理部门的决策过程。v数据集市(Data Mart)：是一个针对某个主题的经过预统计处理的部门级分析数据库，如销售数据集市、营销数据集市、库存数据集市等。v元数据(Metadata)：是数据中的数据，即描述数据的数据，是数据仓库的蓝图，应包括如下内容:原始数据拥有者的信息原始数据的数据源信息数据的商业意义和典型用法。2023-1-10仲恺农业工程学院市场营销系6数据仓库概念的两个层次 功能上 数据仓库用于支持决策，面向分
4、析型数据处理，它不同于企业现有的操作型数据库；内容上 数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据，而且存放在数据仓库中的数据一般不再修改。2023-1-10仲恺农业工程学院市场营销系7数据仓库的特征（1）v面向主题(subject-oeiented)数据仓库围绕一些主题，如客户、供应商、产品和销售组织。数据仓库关心决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理。因此数据仓库排除对决策无用的数据，提供特定主题的简明视图。v集成性(integrated)构造数据仓库是将多个异种数据源，如关系数据库、一般文件和联机事务处理记录，集成在一起。使用数
5、据清理和数据集成技术，确保命名约定、编码结构、属性度量等的一致性。2023-1-10仲恺农业工程学院市场营销系8数据仓库的特征（2）v时变性(time-variant)数据仓库中数据都是和时间相关，并且每隔一段时间后，运作数据库系统中的数据将被抽取、转换后集成到数据仓库中。v非易失性(nonvolatile)数据一旦进入数据仓库就不再改变，因此不需要传统数据库中类似插入、更新、删除等操作，在数据仓库中只有装载操作。2023-1-10仲恺农业工程学院市场营销系9数据仓库的特征（3）可以看出，数据仓库最根本的特点是物理的存放数据，而且这些数据并非是最新的、专有的，而是来源于其它的数据库。数据仓库的
6、建立并不是要取代原有的数据库，而是建立在一个较全面、完善的信息应用的基础上，用于支持高层决策分析。2023-1-10仲恺农业工程学院市场营销系106.2 数据仓库与数据库的区别目的不同数据库用于事务处理；数据仓库用于决策支持存储方式不同数据库中的数据以表格方式存储；数据仓库中以数组方式存储查询方式不同数据库中应用OLTP(在线事务处理)；数据仓库应用OLAP(在线分析处理)或数据挖掘响应时间不同数据库要求响应时间短，数据仓库要求响应时间合理数据类型不同数据库针对交易型数据设计的，关心的是短期内每一笔交易的细节信息，并对这些交易记录进行增删改的操作；数据仓库一般只涉及从数据集中观察数据，并不进行
7、增删改等操作。完成任务的性质不同前者要求实时性、交互性，而后者需要涉及大范围的数据计算，复杂的基于多个层次的查询语言。2023-1-10仲恺农业工程学院市场营销系116.3 数据仓库的实施v主要包括五个部分的内容：数据仓库的设计建模v对数据仓库的数据组织进行逻辑结构的设计数据转换与集成v将数据进行提取、转换、装载到数据仓库（或集市）中数据存储与管理v保证数据的安全性、完整性、一致性数据的分析和展现v利用OLAP对数据进行多维分析、汇总，形成图表或报表数据仓库的维护和管理v对数据仓库中元数据的管理2023-1-10仲恺农业工程学院市场营销系12数据仓库系统体系结构 2023-1-10仲恺农业工程
8、学院市场营销系136.4 数据仓库的建模模型 数据仓库数据模型采用多维数据模型。可以以星型模型、雪花模型等形式存在。几个相关概念：事实表事实表（Fact）：存储用户需要查询分析的数据，事实表中一般包含多个维（Dimension）和度量（Measurement）。维维：数据立方中的空间坐标轴，例如时间维、地区维、产品维。粒度粒度：每个维可以分成若干等级，例如时间维可以分成年、月、日，描述了不同的查询层次。度量度量：是数据的实际意义，描述数据“是什么”，即一个数值的测量指标，如：人数、单价、销售量等。2023-1-10仲恺农业工程学院市场营销系14星型模型星型模型：度量的实际数据存放在事实表中。维
9、的详细信息，如不同的层次划分和相应数据等在维表中存储，事实表中存放各个维的标识码键。事实表和维表将通过这些键关联起来，构成一种星型模型。这种模式图像星星爆发，维表围绕中心事实表显示在射线上。在星型模式中，每维只用一个表表示，每个表包含一组属性。2023-1-10仲恺农业工程学院市场营销系152023-1-10仲恺农业工程学院市场营销系16雪花模型v雪花模型：对于层次复杂的维,为避免冗余数据占用过大的存储空间,可以使用多个表来描述,这种星型模式的扩展称为雪花模型。雪花模型是星型模型的变种，其中某些维表是规范的，把数据进一步分解到附加的表中。这种模型图形成类似于雪花的形状。2023-1-10仲恺农
10、业工程学院市场营销系172023-1-10仲恺农业工程学院市场营销系186.5 联机分析处理（OLAP）v联机分析处理,On-Line Analysis Processing,支持通过多维的方式对数据进行分析、查询和生成报表，其基本功能是对用户当前及历史数据进行分析以辅助领导决策。v相关概念：维维：数据立方中的空间坐标轴，例如时间维、地区维、产品维。粒度粒度：每个维可以分成若干等级，例如时间维可以分成年、月、日，描述了不同的查询层次。2023-1-10仲恺农业工程学院市场营销系19OLAP特性（1）多维性）多维性:多维性是OLAP的关键属性。系统必须提供对数据的多维视图和分析,包括对层次维和多
11、重层次维的完全支持。（2）快速性）快速性:用户对OLAP的快速反应能力有很高的要求。系统应能在5秒内对用户的大部分分析要求做出反应。（3）可分析性）可分析性:OLAP系统应能处理与应用有关的任何逻辑分析和统计分析。（4）共享性：）共享性：满足大量用户间数据的共享（5）信息性）信息性:不论数据量有多大，也不管数据存储在何处，OLAP系统应能及时获得信息，并且管理大容量信息。2023-1-10仲恺农业工程学院市场营销系20OLTP vs OLAP OLTPOLTP 细节的细节的 综合的或派生的综合的或派生的 当前的当前的 历史的历史的 可更新可更新 不可更新不可更新 需求事先可知道需求事先可知道
12、需求事先不知道需求事先不知道 符合系统生命周期符合系统生命周期 完全不同的生命周期完全不同的生命周期 对性能要求高对性能要求高 对性能要求相对宽松对性能要求相对宽松 事务驱动事务驱动 数据驱动数据驱动 面向应用面向应用 面向分析面向分析 一次操作数据量小一次操作数据量小 一次操作数据量大一次操作数据量大 支持日常事务支持日常事务 支持管理需求支持管理需求 OLAPOLAP2023-1-10仲恺农业工程学院市场营销系21OLAP的分析思路vOLAP是决策支持领域的一部分。传统的查询和报表工具是告诉你数据库中都有什么（what happened），OLAP则更进一步告诉你下一步会怎么样（What
13、next）、和如果我采取这样的措施又会怎么样（What if）。v用户首先建立一个假设，然后用OLAP检索数据库来验证这个假设是否正确。v比如，一个分析师想找到什么原因导致了贷款拖欠，他可能先做一个初始的假定，认为低收入的人信用度也低，然后用OLAP来验证他这个假设。如果这个假设没有被证实，他可能去察看那些高负债的账户，如果还不行，他也许要把收入和负债一起考虑，一直进行下去，直到找到他想要的结果或放弃。2023-1-10仲恺农业工程学院市场营销系22OLAP中的操作应用OLAP工具进行的分析操作主要有：钻取、旋转、切片v钻取：沿着维上粒度的粗细方向进行的分析操作，改变维的层次，变换分析的粒度。
14、它包括向上钻取和向下钻取。roll up是在某一维上将低层次的细节数据概括到高层次的汇总数据；而drill down则相反，它从汇总数据深入到细节数据进行观察v旋转：参与分析的维的变化，即在表格中重新安排维的放置（例如行列互换）v切片：将某维固定观察其他维的变化，即一部分维上选定值后，关心度量数据在剩余维上的分布。2023-1-10仲恺农业工程学院市场营销系23OLAP的分析方法(一)钻取按时间维向下钻取按时间维向上钻取602023-1-10仲恺农业工程学院市场营销系24OLAP的分析方法(二)旋转2023-1-10仲恺农业工程学院市场营销系25OLAP的分析方法(三)切片、切块2023-1-
15、10仲恺农业工程学院市场营销系266.6 数据仓库中的数据集成v数据集成的目的：访问多种数据源的数据转换成统一格式校验数据的完整性存储数据到数据仓库中2023-1-10仲恺农业工程学院市场营销系27v数据集成的四个阶段（ETL）数据抽取(Data Extraction)v使用规定的标准选择数据，并把数据传送到数据仓库中数据转换(Data Transformation)v建立不同数据源的源字段到数据仓库字段的映射数据清理(Data Cleaning)v把事实表中的属性字段对应的值逐个在维表中查询，审查字段值是否合理，并加以记录数据装载(Data Loading)v将经过数据抽取、转换、清理的数据，以及经过校正的脏数据导入到数据仓库
