1、基于基于CWM的数据仓库体的数据仓库体系结构设计系结构设计2022-9-29基于CWM的数据仓库体系结构设计我的工作我的工作v 提出了一个基于CWM的数据仓库体系结构v 基于该体系结构，参与设计和实现了一个电信综合业务信息服务平台基于CWM的数据仓库体系结构设计提纲提纲v 背景介绍背景介绍v 数据仓库、元数据理论介绍v CWM、MOF、UML、XMI规范介绍v 基于CWM的数据仓库体系结构设计v 电信综合业务信息服务平台设计基于CWM的数据仓库体系结构设计背景介绍背景介绍v 数据仓库的应用越来越广泛v 不同数据仓库工具之间无法进行数据交换v 企业的应用受到工具的限制v 利用元数据可以实现数据交
2、换基于CWM的数据仓库体系结构设计提纲提纲v 背景介绍v 数据仓库、元数据理论介绍数据仓库、元数据理论介绍v CWM、MOF、UML、XMI规范介绍v 基于CWM的数据仓库体系结构设计v 电信综合业务信息服务平台设计 基于CWM的数据仓库体系结构设计数据仓库理论v 数据仓库的定义v 数据仓库的建设v 数据仓库的应用v 国内数据仓库建设的问题基于CWM的数据仓库体系结构设计元数据v 定义 描述数据的数据v 研究元数据的原因 管理、使用数据的需求 系统分布和互通的要求 元数据重用、共享的要求基于CWM的数据仓库体系结构设计元数据的建模和标准化v 建模的两大方向 元数据参考模型 元数据模型v 标准化
3、 OMG MDC基于CWM的数据仓库体系结构设计提纲提纲 背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规规范介绍范介绍 基于CWM的数据仓库体系结构设计 电信综合业务信息服务平台设计 基于CWM的数据仓库体系结构设计元数据的层次元数据的层次 Student（“张东”，“男”，）Student（“李芳”，“女”，）Record（“Student”，Field（“name”，String），(Field（“sex”，String）)MetaClass（“Record”，MetaAttr(（“name”）,String),MetaAttr(“fields”),list)Meta
4、Class（“Field”，）通用的元元模型信息，数据（M0）模型（M1）元模型（M2）元元模型（M3）基于CWM的数据仓库体系结构设计OMGOMG规范和元数据层次的关系规范和元数据层次的关系 元数据元数据层次层次MOF术语术语示例示例M3元元模型MOF模型M2 元模型，元元数据 UML元模型，CWM元模型M1 模型，元数据 UML模型，CWM模型M0对象，数据数据仓库数据基于CWM的数据仓库体系结构设计CWM和相关规范的关系v CWM和MOF的关系v CWM和UML的关系 直接继承了UML核心元模型 使用UML图形标记 使用UML中的OCL（对象约束语言）v CWM和XMI的关系基于CWM的
5、数据仓库体系结构设计CWM的组成 CWM元模型基础包资源包分析包管理包 CWM DTD和CWM XML CWM IDL基于CWM的数据仓库体系结构设计提纲提纲 背景介绍 数据仓库、元数据理论介绍 CWM、MOF、UML、XMI规范介绍 基于基于CWM的数据仓库体系结构设计的数据仓库体系结构设计 电信综合业务信息服务平台设计基于CWM的数据仓库体系结构设计基于基于CWM的数据仓库体系结构的数据仓库体系结构基于CWM的数据仓库体系结构设计数据源v OLTP数据库v 遗留数据v 内部办公系统数据v 外部数据基于CWM的数据仓库体系结构设计数据源多种类型：关系型、多维、记录、XML以及其它一些工具类型
6、关系型关系型：模式，物理表，视图，字段，索引，触发器，外关键字，主关键字，数据类型，字段值，数据记录，记录的集合基于CWM的数据仓库体系结构设计Relational元模型基于CWM的数据仓库体系结构设计Relational元模型（续1）基于CWM的数据仓库体系结构设计Relational元模型（续2）基于CWM的数据仓库体系结构设计基于CWM的数据仓库体系结构设计关系型数据源的主要接口v BaseTable：查询和修改表的属性、触发器和结构v Catalog：查询和修改包含的元素v Column：查询和设置属性v Row：查询和修改一条记录的内容v RowSet：查询和修改包含的记录基于CWM
7、的数据仓库体系结构设计ETLv 读取数据v 清洁数据v 转换数据v 装载数据基于CWM的数据仓库体系结构设计ETL组件的接口v 黑盒变换：Transformation，DataObjectSet，TransformationUse v 白盒变换：FeatureMap，ClassifierMap，ClassifierFeatureMap，TransformationMap v 变换的执行顺序控制：TransformationTask，TransformationStep，TransformationActivity，StepPrecedence，PrecedenceConstraint 基于CW
8、M的数据仓库体系结构设计中央数据仓库中央数据仓库v 数据粒度最细且多层次v 数据是历史的 v 数据是时间相关的 v 大数据量 v 数据是整合的 v 通用的、全局的 基于CWM的数据仓库体系结构设计操作数据存储ODS 操作型系操作型系统统O D S1/21/2企企 业业数据仓数据仓库库基于CWM的数据仓库体系结构设计数据集市企 业数 据仓 库最 细 粒度数据集市部门部门2粒度2数据集市部门部门1粒度1部门部门3粒度3外 部数据源数据集市基于CWM的数据仓库体系结构设计数据集市的特点v 面向部门应用 v 规模小，投资少 v 使用方便且成本低 基于CWM的数据仓库体系结构设计元数据元数据库库v 类型
9、：中央元数据库 本地元数据库v 内容：抽取过程：任务、执行顺序、映射关系、转换规则 描述数据：方位图、数据之间的商业关系、商业规则、数据的改变 数据仓库管理：安全性、运行状态、抽取过程的调度、I/O对象及其关系基于CWM的数据仓库体系结构设计数据仓库管理 v 访问控制和安全性管理 v 数据增长管理 v 抽取过程的管理 v 性能管理 v 故障恢复 v 扩充和演变管理 基于CWM的数据仓库体系结构设计数据仓库管理接口v 抽取过程的调度抽取过程的调度（WarehouseProcess，WarehouseEvent，InternalEvent，ScheduleEvent，ExternalEvent）v
10、 抽取过程的执行抽取过程的执行（TransformationExecution，StepExecution，ActivityExecution）v 数据元素的变化数据元素的变化（Measurement，ChangeRequest）基于CWM的数据仓库体系结构设计OLAP组件接口组件接口v 立方体的定义：Cube，CubeDimAssoc，CubeRegion，Dimension，Hierarchy，Level，Mearsure，LevelBasedHierarchy，HierarchyLevelAsso，ValueBasedHierarchy，MemberSelection，MemberSel
11、Grp，v 立方体到物理数据源的映射StructureMap，LevelBasedHierarchy，ValueBasedHierarchy基于CWM的数据仓库体系结构设计数据挖掘组件的主要类及接口v MiningModel：模型属性和模型的输入v MiningSettings：对象属性，输入参数的说明v ApplicationInputSpecification，ApplicationAttribute：使用模型时的参数v MiningModelResult：挖掘的结果v SupervisedMiningModel:描述预言性算法产生的模型v StatisticsSettings,Assoc
12、iationRulesSettings,ClusteringSettings,ClassificationSettings,RegressionSettings：对应模型的设置基于CWM的数据仓库体系结构设计基于CWM的数据仓库体系结构的特点及优点 v 统一的数据集市和数据仓库 v 中央元数据库驱动机制v 灵活高效的数据交换方式v 易于升级v 高度的可集成性v 高度的可扩展性基于CWM的数据仓库体系结构设计基于基于CORBA的企业数据仓库扩展结构的企业数据仓库扩展结构 对对 象象 服服 务务企业数据仓库企业数据仓库 平台平台C W M（IDL）通用数据仓库通用数据仓库 工具工具C W M（IDL）对象请求代理（对象请求代理（ORB）基于CWM的数据仓库体系结构设计提纲提纲v 背景介绍v 数据仓库、元数据理论介绍v CWM、MOF、UML、XMI规范介绍v 基于CWM的数据仓库体系结构设计v 电信综合业务信息服务平台设计电信综合业务信息服务平台设计基于CWM的数据仓库体系结构设计系统体系结构设计基于CWM的数据仓库体系结构设计2022-9-29基于CWM的数据仓库体系结构设计
