第7章数据资源处理技术课件.ppt

1、 数据处理方式数据处理方式 文件组织文件组织 数据库数据库 数据仓库和数据数据仓库和数据7.1 企业数据处理方式1、联机事务处理形式处理信息、联机事务处理形式处理信息 OLTP：即联机事务处理（：即联机事务处理（OnLine Transaction Processing），以），以事务处理的形式来处理信息，涉及到对要输入的信息的收集和处理，再对收集事务处理的形式来处理信息，涉及到对要输入的信息的收集和处理，再对收集和处理的信息加以利用，去更新已有的信息。和处理的信息加以利用，去更新已有的信息。OLTP是事件驱动，面向应用的，是事件驱动，面向应用的，基本特点：基本特点： 支持日常的业务支持日常的

2、业务事务驱动事务驱动面向应用面向应用数据是当前的并在不断变化数据是当前的并在不断变化存储详细数据存储详细数据 (每一个事件或事务每一个事件或事务) 支持办事人员或行政人员支持办事人员或行政人员 对应业务的变更频繁的存取对应业务的变更频繁的存取 利用业务数据库和数据库管理系统提供支持利用业务数据库和数据库管理系统提供支持7.1 企业数据处理方式2、联机分析处理形式处理信息，并利用信息进行决策、联机分析处理形式处理信息，并利用信息进行决策 OLAP：即联机分析处理（：即联机分析处理（OnLine Analytical Processing）是一种）是一种为支持决策而进行的信息处理方式，是跨部门的，

3、面向主题的，基本特点：为支持决策而进行的信息处理方式，是跨部门的，面向主题的，基本特点： 支持长远的业务战略决策支持长远的业务战略决策分析驱动分析驱动面向主题面向主题数据是历史的数据是历史的数据反映某个时间点或一段时间数据反映某个时间点或一段时间数据是静态的，除数据刷新外数据是静态的，除数据刷新外数据是汇总的数据是汇总的 优化是针对查询而不是更新优化是针对查询而不是更新支持管理人员和执行主管人员支持管理人员和执行主管人员 利用数据仓库提供支持利用数据仓库提供支持P170-图图7-1OLAP和和OLTP的区别：的区别： 联机分析处理和传统的联机事务处理(On Line Transaction P

4、rocessing, OLTP)是两种性质不同的数据处理方式。OLTP主要用来完成基础业务数据的增、删、改等操作，如民航订票系统、银行储蓄系统等等，对响应时间要求比较高，强调的是密集数据更新处理的性能和系统的可靠性及效率。OLAP应用是对用户当前及历史数据进行分析、辅助领导决策，主要通过多维数据的查询、旋转、钻取和切片等关键技术对数据进行分析和报表。 7.1 企业数据处理方式3、在信息应用过程中管理信息、在信息应用过程中管理信息企业在管理信息时应考虑：企业在管理信息时应考虑：考虑适当的技术组织信息，以便信息处理使用者能逻辑的使用信息，而不必了解信息的物理组织形式字段记录-文件-数据库-数据仓库

5、考虑使用权限：更新、使用权限等考虑信息的更新与维护：信息备份、信息的保存时间、信息的存储技术、更新技术等逻辑组织（1） 文件存储介质顺序存取设备，随即存取设备（2） 数据的逻辑组织与物理组织人机对话面外存内存（3） 数据传送外存内存数据缓冲区物理块物理记录（数据块）的传送7.2.3 几种文件组织方式数据库文件1文件2文件n-1文件n.记录1记录2记录n-1记录n数据项1数据项2数据项n-1数据项n.逻辑数据元素之间的关系学生数据库学生情况文件学生成绩文件学生1学生n学号姓名性别学号姓名性别96001章男96004女王.记录数据项（1） 顺序文件组织外存设备记录1记录2记录3记录4记录5.（2）

6、 索引文件索引非顺序文件索引非顺序文件学号姓名数学物理计算机96019604960396029605记录地址ABCDE学号记录地址9601A9602D9603C9604B9605E索引（3） 链表文件职工号姓名部门编号工作年限特资额1111SDSSDT202323DSDNW404545HGGDT706545HJGGDT5406767HHGNW601232HHHNW404321UYYEA304543TUDT501234IUYYDT50记录地址ABCDEFGHI7.3.1 数据库处理与数据库类型数据库处理与数据库类型数据库处理的三个基本活动： 更新维护共享数据库 使用能共享数据库数据的应用程序 通

7、过数据库管理系统提供查询/响应及报告功能，使用户能直接快速地访问数据库（2） 数据库处理系统银行文件处理系统银行文件处理系统客户交易帐户核对处理文件修改核对帐户核对程序客户财务报表存款处理存款文件修改存款程序客户票据贷款分析报告分期贷款处理分期贷款文件修改分期贷款程序核对帐户程序存款账目程序分期贷款程序客户交易程序数据库管理系统客户数据库查询银行数据库处理系统银行数据库处理系统2、 数据库类型数据库类型操作数据库（业务数据库）管理数据库：经汇总处理，由管理者使用信息仓库：当年和历史数据标准化处理后，由管理人员使用分布式数据库：企业各部门各自拥有的数据库外部数据库：信息服务公司生成与维护（1）企

8、业数据库种类：数据库管理操作系统数据库管理系统应用程序数据库数据字典DBMS7.3.4 数据库设计数据库设计1、 信息的转换信息的转换现实世界事物类：相关性质的集合客观事物人信息世界实体集合实体：相关属性的集合实体及联系加工转换数据世界文件记录相关数据项的集合数据库DBMS模型存储结构二进制数据的集合加工转换客观世界信息世界数据世界组织（事务及其联系） 实体及其联系数据库（概念模型）事物类实体集文件事物（对象，个体）实体记录特征（性质）属性数据项三个不同世界术语对照表三个不同世界术语对照表2、 数据库设计步骤数据库设计步骤（1）对现实世界进行需求分析（2）建立E-R模型（3）从E-R模型导出关

9、系数据模型3、 数据库设计例子：某学院数据库设计例子：某学院“教学管理教学管理”数据库模型的设计数据库模型的设计（1）需求和调查分析：）需求和调查分析：教学管理教学管理可以查询学生成绩可以查询学生教师情况输入学生成绩需要可以查询教师哪些信息？教师学生考虑研究生吗？有没有系部？系课程3、 数据库设计例子：某学院数据库设计例子：某学院“教学管理教学管理”数据库模型的设计数据库模型的设计（2）E-R图设计图设计 p186图图7-12,7-13系系代号系名称系主任电话教师编号姓名专业特长职称学号姓名性别年龄课程号课程名学时数学生课程学习成绩mn3、 数据库设计例子：某学院数据库设计例子：某学院“教学管

10、理教学管理”数据库模型的设计数据库模型的设计（3）关系数据模型：）关系数据模型： 对于1：n的联系方式： 系(系代号，系名称，系主任姓名，办公地址，电话) 教师(教师编号，教师姓名，专业特长，系代号，住址，电话) 对于m：n的联系方式： 学生(学号，姓名，性别，年龄，系代号) 课程(课程号，课程名，学分) 学习(学号，课程号，成绩) “教学管理”数据库的关系数据模型如下： 根据图714教学管理”E-R图转化成 (实体)系(系代号，系名称，系主任姓名，办公地址，电话) (实体)教师(教师编号，教师姓名，专业特长，系代号) (实体)学生(学号，姓名，性别，年龄，系代号) (实体)课程(课程号，课程

11、名，学分) (联系)学习(学号，课程号，成绩) (联系)教学(教师号，课程号，授课班评估，学院评估) 根据关系模型的设计，可以在计算机上实现数据库的建立实例：实例：厂长号姓名年龄厂号厂名地点厂长工厂管理11仓库号地点面积货号品名价格仓库产品存放数量n17.4 数据库的发展数据库的发展7.4.1 数据仓库数据仓库数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 数据仓库有四个特点 ： 面向主题。数据仓库中的数据是

12、按照一定的主题域进行组织。 集成的。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 相对稳定的。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留。 反映历史变化。数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点（如开始应用数据仓库的时点）到目前的各个阶段的信息 数据仓库特征：数据仓库特征：数据仓库数据仓库销售市场数据库销售额数据库顾客数据库竞争统计按年和季度求平均值顾客分类数据仓库

13、特征：数据仓库特征： 在实际决策过程中决策者往往需要从多个角度去考察一个或多个指标的值，在实际决策过程中决策者往往需要从多个角度去考察一个或多个指标的值，并希望了解这些指标之间的关系。并希望了解这些指标之间的关系。 比如：比如： 对某一产品的销售，希望能从不同的角度去了解它的销售额、纯利润以及对某一产品的销售，希望能从不同的角度去了解它的销售额、纯利润以及额外支出等指标，这些不同的角度包括不同时间（一年的各个季度或月份）、额外支出等指标，这些不同的角度包括不同时间（一年的各个季度或月份）、不同地区（个大省市）、不同的销售渠道（零售、代理商与批发），然后分析不同地区（个大省市）、不同的销售渠道（

14、零售、代理商与批发），然后分析出其相互关系。出其相互关系。多维数据：多维数据：时间（月份）销售渠道123批发零售地区销售额数据仓库系统体系结构：一个典型的企业数据仓库系统通常包含数据源、数据存储与管理、OLAP服务器以及前端工具与应用四个部分。 数据仓库体系结构图数据仓库DBMSMRDBMDDB数据抽取数据净化数据载入数据集市报表,查询,EIS工具OLAP工具数据挖掘工具操纵平台管理平台（1）数据仓库(DW，Data Warehouse)由数据源、数据的存储与管理构成。 （2）联机分析处理技术（OLAP，On-Line Analytical Processing）是使分析人员、管理人员或执行人

15、员能够从多角度对信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。OLAP也可以说是多维数据分析工具的集合。 （3）数据挖掘（DM，Data Mining）是从大量的数据中，抽取出潜在的、有价值的知识（模型或规则）的过程。数据挖掘的过程： 数据仓库 7.4.2联机分析处理联机分析处理OLAP 联机分析处理首先是由关系数据库泰斗之一Codd在90年代初期提出的。当时，Codd认为联机事务处理（OLTP）已经不能满足终端用户对数据库查询的需要，SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的

16、决策分析需要对关系数据库进行大量计算才能得到结果，而查询结果并不能满足决策者提出的要求。OLAP的提出：的提出： 在实际决策过程中决策者往往需要从多个角度去考察一个或多个指标的值，并希望了解这些指标之间的关系。 比如：比如： 对某一产品的销售，希望能从不同的角度去了解它的销售额、纯利润以及额外支出等指标，这些不同的角度包括不同时间（一年的各个季度或月份）、不同地区（个大省市）、不同的销售渠道（零售、代理商与批发），然后分析出其相互关系。因此提出了多维数据库和多维分析的概念，即因此提出了多维数据库和多维分析的概念，即OLAP多维数据：多维数据：时间（月份）销售渠道123批发零售地区销售额多维分析

17、的基本动作：多维分析的基本动作：（1）切片：某个维度上的取值选定一个固定值地区产品时间销售额地区产品销售额2001年10月多维分析的基本动作：多维分析的基本动作：（3）旋转：对各个坐标的旋转变换可以得到不同视角的数据地区产品产品地区（2）钻取： 多维视图中某个维度的取值可以分层 地区产品时间销售额OLAP的使用：的使用：针对不同的用户提供不同的工具：（1）面向“What”型用户比如“上个月西部地区几个省的家电销售量是多少？”（2）面向“Whatif”型用户比如“如果公司在西部地区增加三个销售代理，下个月西部地区几个省的家电销售量将会是多少？”7.4 数据库的发展数据库的发展7.4.3 数据挖掘

18、数据挖掘数据挖掘的主要方式：数据挖掘的主要方式：（1） 分类：从大量数据中找出不同类别对象的特征，从而对新加分类：从大量数据中找出不同类别对象的特征，从而对新加入的对象自动分类。入的对象自动分类。例如：银行按客户信用程度对客户分类，数据挖掘能找出每例如：银行按客户信用程度对客户分类，数据挖掘能找出每类客户的数据特征，快速判断一个新客户的信用类别类客户的数据特征，快速判断一个新客户的信用类别（2） 聚类：根据数据特征对数据对象进行自动归类聚类：根据数据特征对数据对象进行自动归类 例如：超市可以将客户划分为互不相交的不同客户群，为不例如：超市可以将客户划分为互不相交的不同客户群，为不同的客户群推荐

19、不同的目标商品。同的客户群推荐不同的目标商品。数据挖掘：是从大量数据中自动发现隐藏的有用知识的过程；数据挖掘：是从大量数据中自动发现隐藏的有用知识的过程；发现的知识包括：变化趋势、异常情况、数据关联关系发现的知识包括：变化趋势、异常情况、数据关联关系计算机自动发现规律计算机自动发现规律（3）关联规则发现：从大量数据中找出有关联的数据，或者找出同时发现的事件。 例如：从超市的交易数据中发现那些商品可能被同时购买，从而寻找那些商品捆绑销售能够有足够多的受众。（4）时序模式发现：寻找事件发生的时 序关系。 例如：分析超市数据，发现一个客户购买了一台电视机，几天后又买了摄像机，那么他在一个月内购买摄像机的概率为50%w 现代企业对数据仓库的利用程度如何？现代企业对数据仓库的利用程度如何？表现在哪些方面，其趋势是什么？表现在哪些方面，其趋势是什么？