数据仓库及ETL介绍(共-45张PPT)课件.ppt

1、12目录基础概念Informatica 组件详解Informatica KB介绍ETL系统介绍31、数据仓库数据仓库是一个：面向主题的（Subject Oriented）集成的（Integrate）相对稳定的（Non-Volatile）反映历史变化（Time Variant）的数据集合41、数据仓库数据仓库是一个：面向主题的（Subject Oriented）集成的（Integrate）相对稳定的（Non-Volatile）反映历史变化（Time Variant）的数据集合51、数据仓库的特点 面向主题的（Subject Oriented）数据是面向应用程序事务的，而数据仓库中数据的是按商业主

2、题存放的，商业主题会随着企业的不同而不同。集成的（Integrate）在将不同来源的数据存入数据仓库中之前，必须把这些不同的数据元素标准化，对数据进行清洗、转换等集成操作。相对稳定的（Non-Volatile）一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。反映历史变化（Time Variant）数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点到目前的各个阶段的信。6主题与主题域主题面向主题的数据组织方式，就是在较高层次上对分析对象数据的一个完整并且一致的描述，能刻画各个分析对象所涉及的

3、企业各项数据，以及数据之间的联系。主题域主题域是对某个主题进行分析后确定的主题的边界7主题与主题域主题与主题域：财务：资金筹集、资金配置、资本结构、现金创造、现金管理资产质量、盈利能力、债务风险、成本、费用、差旅人力资源：人员、薪酬、职位、员工关怀、人员流动、技能提升资产：固定资产、资产使用、资产维护、折旧、残值经营分析：流量、生产保障、精细化管理、运营效率、设施效率8主题与主题域9维度建模维度建模：其最简单的描述就是，按照事实表、维度表来构建数据仓库、数据集市。维度表：维度表可以看作是用户来分析数据的窗口，纬度表中包含事实数据表中事实记录的特性，有些特性提供描述性信息，有些特性指定如何汇总事

4、实数据表数据，以便为分析者提供有用的信息，维度表包含帮助汇总数据的特性的层次结构。事实表：在多维数据仓库中，保存度量值的详细值或事实的表称为“事实表”。10维度建模简单的说：1、事实表就是你要关注的内容；2、维表就是你观察该事务的角度，是从哪个角度去观察这个内容的。11星形模型与雪花模型12雪花模型13星形模型与雪花模型星形模型 一种使用关系数据库实现多维分析空间的模式，称为星型模式。星型模式的基本形式必须实现多维空间（常常被称为方块），以使用关系数据库的基本功能。雪花模式雪花模式不管什么原因，当星型模式的维度需要进行规范化时，星型模式就演进为雪花模式。14星形模型缺点Benefits：Sim

5、pler queriesSimplified business reporting logicQuery performance gainsExpansibilityDisadvantagesredundancy dataHarder Complex Queries 15缓慢变化维Supplier_KeySupplier_CodeSupplier_NameSupplier_State123ABCAcme Supply CoCASupplier_KeySupplier_CodeSupplier_NameSupplier_State123ABCAcme Supply CoILoriginalNow

6、16缓慢变化维处理方式Type 0:retain originalType 1:overwriteType 2:add new rowType 3:add new attributeType 4:add history tableType 6:hybrid17Type 2&TYPE 3Supplier_KeySupplier_CodeSupplier_NameSupplier_StateStart_DateEnd_Date123ABCAcme Supply CoCA01-Jan-200021-Dec-2004124ABCAcme Supply CoIL22-Dec-2004NULLSuppli

7、er_KeySupplier_CodeSupplier_NameOriginal_Supplier_StateEffective_DateCurrent_Supplier_State123ABCAcme Supply CoCA22-Dec-2004IL18Type 4:add history tableSupplier_keySupplier_CodeSupplier_NameSupplier_State124ABCAcme&Johnson Supply CoILSupplier_keySupplier_CodeSupplier_NameSupplier_StateCreate_Date123

8、ABCAcme Supply CoCA14-June-2003124ABCAcme&Johnson Supply CoIL22-Dec-200419Type 6 Supplier_KeySupplier_CodeSupplier_NameCurrent_StateHistorical_StateStart_DateEnd_DateCurrent_Flag123ABCAcme Supply CoNYCA01-Jan-200021-Dec-2004N124ABCAcme Supply CoNYIL22-Dec-200403-Feb-2008N125ABCAcme Supply CoNYNY04-F

9、eb-200831-Dec-2009Y20代理主键代理主键：维度建模理论中，维表里使用原业务中的主键作为主键就是业务键（Business Key）；建立新的主键就是代理键（Surrogate Key）为什么使用代理主键：性能主键重复21一致性维度一致性维度：当不同的维度表的属性具有相同列名和领域内容时，称维度表具有一致性。利用一致性维度属性与每个事实表关联，可将来自不同事实表的信息合并到同一报表中。建模四步骤:22总线架构23数据仓库架构24快速判断数据仓库水平 有没有带缓慢变化维度一致性维度 有没有跨层取数的现象25ETL 34个子系统抽取在ETL环境中从源系统收集原始数据并且在任何对数据的

10、重要重构发生之前都将数据写入磁盘。子系统1到子系统3都支持抽取过程。清洗和一致化通过ETL系统中的一系列处理步骤发送源数据，这些步骤提高了从源系统接收数据的质量，并且对两个或多个源系统中的数据进行了合并，创建并强化了一致性维度和一致性度量。子系统4到子系统8描述了支持清洗和一致化过程所需的架构。26ETL 34个子系统提交从物理上将数据组织和装载到呈现服务器的目标维度模型中。子系统9到子系统21提供了若干种将数据提交到服务器上的功能。管理用一致的方式来管理ETL环境中的相关系统和过程。子系统22到子系统34都描述了支持ETL系统现行管理所需的组件。27抽取子系统1-数据探查子系统2-变化数据捕

11、捉系统 审计列 定时抽取 完全差异比较 数据库日志刮取 消息队列监视28抽取子系统3-抽取系统 文件 FTP WEB SERVICE 数据库 接口29数据的清洗和一致化子系统子系统4-数据清洗系统数据清洗系统 对数据质量问题的早期诊断和鉴别分类：完整性、一致性、准确性、及时性 让源系统和集成工作提供更优质的数据 具有为ETL过程中遇到的数据错误提供特定描述的功能 具有能够随着时间推移捕捉所有数据质量错误和度量数据质量的框架 对最终数据的质量可信度进行度量的附加功能30数据的清洗和一致化子系统子系统5-5-错误事件模式错误事件模式子系统子系统6-审计维装配器审计维装配器31数据的清洗和一致化子系

12、统子系统7-7-重复数据删除系统重复数据删除系统子系统子系统8-一致化系统一致化系统子系统子系统9-向呈现层交付数据向呈现层交付数据子系统子系统9-缓慢变化维管理器缓慢变化维管理器子系统子系统10-代理键生成器代理键生成器子系统子系统11-层次管理器层次管理器32数据的清洗和一致化子系统子系统12-专用维度管理器专用维度管理器 日期/时间维 杂项维 微型维（视图维度）小型静态维 用户维护的维度子系统子系统13-事实表构建器事实表构建器 事务处理粒度事实表装载器 周期快照事实表装载器 累积快照事实表装载器33数据的清洗和一致化子系统子系统14-14-代理键管道代理键管道子系统子系统15-15-多

13、值维度桥接表构建器多值维度桥接表构建器子系统子系统16-延迟到达数据处理器延迟到达数据处理器子系统子系统17-维度管理系统维度管理系统子系统子系统18-事实提供系统事实提供系统子系统子系统19-聚集构建器聚集构建器子系统子系统20-OLAP多维数据集构建器多维数据集构建器子系统子系统21-数据传播管理器数据传播管理器34管理ETL环境 子系统子系统22-22-作业调度器作业调度器 子系统子系统23-备份系统备份系统 子系统子系统24-恢复和重启系统恢复和重启系统 子系统子系统25-版本控制系统版本控制系统 子系统子系统26-版本迁移系统版本迁移系统 子系统子系统27-工作流监视器工作流监视器

14、子系统子系统28-排序系统？排序系统？子系统子系统29-沿袭和依赖分析器沿袭和依赖分析器 子系统子系统30-问题自动调整系统问题自动调整系统 子系统子系统31-并行并行/管道系统管道系统 子系统子系统32-安全系统安全系统 子系统子系统33-合规性管理器合规性管理器35管理ETL环境子系统子系统34-元数据知识库管理器元数据知识库管理器技术元数据业务元数据运行元数据36Informatica整体架构37两个服务器端和五个客户端组件 服务器端Repository ServerInformatca Server 客户端Repository ManagerDesignerWorkflow Manag

15、er Workflow MonitorRepository Server Administration Console 38五个客户端组件的作用 Repository Manager 元数据资料库，依赖分析，安全性管理等。Designer 定义源和目标数据结构，设计转换规则，生成ETL映射。Workflow Manager 合理地实现复杂的ETL工作流，基于时间或事件的作业调度。Workflow Monitor 监控workflow和session,生成工作日志及报告。Repository Server Administration Console Repository的建立与维护39INFA

16、安装配置 依赖：Oracle DB2 或SQL SERVER的DBA权限 安装配置过程：点击Server软件包 setup.exe 完成安装登录控制台创建RS，IS，把RS由独占模式改为普通模式点击Client软件包setup.exe配置连接信息，连接到服务器端40客户端和服务端端组件 服务器端Repository ServerInformatca Server 客户端Repository ManagerDesignerWorkflow Manager Workflow MonitorRepository Server Administration Console 41INFA组件组件源、目标

17、SQ qualifierExpressionJoinerSorterFilter42INFA组件Sequence GeneratorAggregatorRouterUnionSQLUpdate StrategyLOOPUP43其他 Mapplet workflow Worklet4445激励学生学习的名言格言激励学生学习的名言格言220、每一个成功者都有一个开始。勇于开始，才能找到成功的路。221、世界会向那些有目标和远见的人让路（冯两努香港著名推销商）222、绊脚石乃是进身之阶。223、销售世界上第一号的产品不是汽车，而是自己。在你成功地把自己推销给别人之前，你必须百分之百的把自己推销给自己

18、。224、即使爬到最高的山上，一次也只能脚踏实地地迈一步。225、积极思考造成积极人生，消极思考造成消极人生。226、人之所以有一张嘴，而有两只耳朵，原因是听的要比说的多一倍。227、别想一下造出大海，必须先由小河川开始。228、有事者，事竟成；破釜沉舟，百二秦关终归楚；苦心人，天不负；卧薪尝胆，三千越甲可吞吴。229、以诚感人者，人亦诚而应。230、积极的人在每一次忧患中都看到一个机会，而消极的人则在每个机会都看到某种忧患。231、出门走好路，出口说好话，出手做好事。232、旁观者的姓名永远爬不到比赛的计分板上。233、怠惰是贫穷的制造厂。234、莫找借口失败，只找理由成功。（不为失败找理由

19、，要为成功找方法）235、如果我们想要更多的玫瑰花，就必须种植更多的玫瑰树。236、伟人之所以伟大，是因为他与别人共处逆境时，别人失去了信心，他却下决心实现自己的目标。237、世上没有绝望的处境，只有对处境绝望的人。238、回避现实的人，未来将更不理想。239、当你感到悲哀痛苦时，最好是去学些什么东西。学习会使你永远立于不败之地。240、伟人所达到并保持着的高处，并不是一飞就到的，而是他们在同伴们都睡着的时候，一步步艰辛地向上爬241、世界上那些最容易的事情中，拖延时间最不费力。242、坚韧是成功的一大要素，只要在门上敲得够久、够大声，终会把人唤醒的。243、人之所以能，是相信能。244、没有口水与汗水，就没有成功的泪水。245、一个有信念者所开发出的力量，大于99个只有兴趣者。246、环境不会改变，解决之道在于改变自己。247、两粒种子，一片森林。248、每一发奋努力的背后，必有加倍的赏赐。249、如果你希望成功，以恒心为良友，以经验为参谋，以小心为兄弟，以希望为哨兵。250、大多数人想要改造这个世界，但却罕有人想改造自己。