审计数据采集与分析技术概要wxf课件.ppt

1、2022-8-2审计数据采集与分析技术概要wxf审计数据采集与分析技审计数据采集与分析技术概要术概要-wxf审计数据采集与分析技术概要wxf 一般认为，计算机审计有一般认为，计算机审计有3层含义：层含义：面向数据的审计面向数据的审计 面向现行信息系统的审计面向现行信息系统的审计 对信息系统生命周期的审计对信息系统生命周期的审计审计数据采集与分析技术概要wxf 审前调查：审前调查：电子数据的组织、处理和存储电子数据的组织、处理和存储 数据采集：数据采集：审计接口、数据库访问技术、数据采集技审计接口、数据库访问技术、数据采集技术术 数据清理、转换、验证、建立中间表数据清理、转换、验证、建立中间表

2、数据分析：数据分析：数据分析技术、数据分析技术、SQL、审计软件、审计软件 审计取证审计取证审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 对组织结构调查对组织结构调查 管理体制管理体制 在管理集中度高的单位，系统相应是集中式的；数据由下级部门录入并上传，下级部门可能了解数据结构，也可能根本不知道数据结构；在上传前可能进行具体的数据处理，也可能不进行任何处理，只上传原始数据；通过对管理体制的调查，可以为以后确定索取哪些技术资料、数据，以及索取的方式方法等提供依据；部门设置情况部门设置情况 部门的具体职能部门的具体职能 部门内计算机信息系统的情况部门内计算机信息系统的情况 并非

3、所有的业务都一定运用计算机信息系统并非所有的业务都一定运用计算机信息系统 选择重点部门进行部门内计算机信息系统情况的调查选择重点部门进行部门内计算机信息系统情况的调查审计数据采集与分析技术概要wxf 对计算机信息系统的调查对计算机信息系统的调查 对计算机信息系统概况的调查对计算机信息系统概况的调查 硬件设备硬件设备 系统软件系统软件 系统技术文档资料系统技术文档资料 系统的主要功能系统的主要功能 系统的业务处理流程系统的业务处理流程 对数据库及数据的调查对数据库及数据的调查 数据库相关技术情况数据库相关技术情况 系统设计说明书 数据库详细设计说明书，基本包含以下内容：总数据流图和具体业务数据流

4、图、软件结构图设计 数据库表间关系图 表结构描述 数据库SQL文件（含表、视图、触发器、存储过程等）用户使用手册 系统对业务处理的流程系统对业务处理的流程审计数据采集与分析技术概要wxf 提出数据需求提出数据需求 确定所需数据内容确定所需数据内容 确定数据获取的具体方式确定数据获取的具体方式 提出书面数据需求提出书面数据需求 审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 存储介质改变存储介质改变（纸张（纸张磁性、光电介质）磁性、光电介质）基于一定的数据处理平台，有一定的数据模型基于一定的数据处理平台，有一定的数据模型（层次、网状和关系模型，利

5、用（层次、网状和关系模型，利用DBMS存储和管理数据，存储和管理数据，会计信息组织与手工系统不同）会计信息组织与手工系统不同）数据表示编码化数据表示编码化（各种编码）（各种编码）带来系统控制和数据安全性的新问题带来系统控制和数据安全性的新问题（传统的控制点正在发生变化，信息系统的控制与安全（传统的控制点正在发生变化，信息系统的控制与安全性问题日渐突出）性问题日渐突出）审计线索改变审计线索改变（修改数据文件可以不留下痕迹，可以利用诸如系统日（修改数据文件可以不留下痕迹，可以利用诸如系统日志和数据库日志等系统控制手段发现一些线索）志和数据库日志等系统控制手段发现一些线索）审计数据采集与分析技术概要

6、wxf 数据模型数据模型 数据模型是对现实世界数据特征的抽象数据模型是对现实世界数据特征的抽象 它提供模型化数据和信息的工具它提供模型化数据和信息的工具审计数据采集与分析技术概要wxf在信息世界中，使用概念模型在信息世界中，使用概念模型（用于信息世界建模，语义表（用于信息世界建模，语义表达能力强）达能力强）E-R模型是一种常用的概念模型，它用来描述实体以及模型是一种常用的概念模型，它用来描述实体以及实体之间的联系实体之间的联系 E-R模型的要素模型的要素 实体：客观存在并可以相互区分的事物，用方框表示实体：客观存在并可以相互区分的事物，用方框表示 属性：实体的特征或性质，用椭圆表示属性：实体的

7、特征或性质，用椭圆表示 联系：实体之间的联系，用菱形表示联系：实体之间的联系，用菱形表示在计算机世界中，使用具体在计算机世界中，使用具体DBMS支持的数据模型支持的数据模型（用于机（用于机器世界，有严格的形式化定义）器世界，有严格的形式化定义）关系模型关系模型 层次模型层次模型 网状模型网状模型审计数据采集与分析技术概要wxf 数据结构数据结构 描述模型的静态特征描述模型的静态特征 是刻画数据模型最重要的方面是刻画数据模型最重要的方面 数据操作数据操作 描述模型的动态特性描述模型的动态特性 数据检索数据检索 数据更新（增加、删除、修改）数据更新（增加、删除、修改）约束条件约束条件 一组完整性规

8、则的集合一组完整性规则的集合 实体完整性实体完整性 引用（参照）完整性引用（参照）完整性 用户定义的完整性用户定义的完整性审计数据采集与分析技术概要wxf 关系模型是目前最常用的一种数据模型关系模型是目前最常用的一种数据模型 关系数据库采用关系模型作为数据的组织方式关系数据库采用关系模型作为数据的组织方式 关系模型建立在严格的关系代数基础之上关系模型建立在严格的关系代数基础之上 关系模型概念单一关系模型概念单一实体以及实体之间的联系都用实体以及实体之间的联系都用关系关系来表来表示。示。关系之间的联系则是通过关系之间的联系则是通过相容（来自同一个域）的属性相容（来自同一个域）的属性来表示。来表示

9、。关系必须是规范化的关系关系必须是规范化的关系 最基本的要求是每一个分量是一个不可分的数据项，亦即不允许最基本的要求是每一个分量是一个不可分的数据项，亦即不允许表中还有表表中还有表（满足第一范式，（满足第一范式，1NF）关系数据库的标准语言关系数据库的标准语言SQL是一种非过程化语言，使用方是一种非过程化语言，使用方便便审计数据采集与分析技术概要wxf 关系关系 一张二维表，每一列都不可再分一张二维表，每一列都不可再分 表中的行、列次序并不重要表中的行、列次序并不重要 元组元组 二维表中的每一行，相当于一条记录二维表中的每一行，相当于一条记录 属性属性 二维表中的每一列，属性有名称与类型。二维

10、表中的每一列，属性有名称与类型。属性不可再分，不允许重复属性不可再分，不允许重复 主键主键 由表中的属性或属性组组成，用于唯一确定一条记录由表中的属性或属性组组成，用于唯一确定一条记录 域域 属性的取值范围属性的取值范围 关系模式关系模式 记录结构的描述，对应关系表的表头记录结构的描述，对应关系表的表头审计数据采集与分析技术概要wxf 传统的集合运算传统的集合运算 并（并（UNION）交（交（INTERSECTION）差（差（MINUS）笛卡儿积笛卡儿积 专门的关系运算专门的关系运算 选择（选择（SELECTION）投影（投影（PROJECT）连接（连接（JOIN）连接的含义：相容属性之间的关

11、系连接的含义：相容属性之间的关系 连接的类型（内连接、外连接、自然连接）连接的类型（内连接、外连接、自然连接）审计数据采集与分析技术概要wxf 实体完整性（实体完整性（Entity Integrity）关键字属性的组成部分不能为空值关键字属性的组成部分不能为空值 参照完整性（参照完整性（Referential Integrity）参照表中的外关键字要么取空值，要么取被参照表参照表中的外关键字要么取空值，要么取被参照表中的某一主关键字的值中的某一主关键字的值 用户定义完整性（用户定义完整性（User-Defined Integrity）具体应用环境的完整性约束，反映了某一具体应用具体应用环境的完

12、整性约束，反映了某一具体应用所涉及的数据应满足的语义要求所涉及的数据应满足的语义要求审计数据采集与分析技术概要wxf“数据文件数据文件”这个概念具有非常丰富的内涵，它泛这个概念具有非常丰富的内涵，它泛指各种用来存储数据的文件。指各种用来存储数据的文件。在数据库技术诞生之前，它指的是存放数据的文件本身。在数据库技术诞生之前，它指的是存放数据的文件本身。数据库技术诞生后，数据由数据库技术诞生后，数据由DBMS管理，数据文件是存放物理数管理，数据文件是存放物理数据库的载体。据库的载体。不同的不同的DBMS存储数据的方式是不同的。存储数据的方式是不同的。FoxPro一个逻辑上的表对应一个一个逻辑上的表

13、对应一个“库文件库文件”（.dbf）Access所有的数据库对象放在一个数据库文件中（所有的数据库对象放在一个数据库文件中（.mdb）IBM DB2一张表的数据可能分别放在不同的数据文件中一张表的数据可能分别放在不同的数据文件中 除了除了DBMS产生和维护的数据文件之外，还有很产生和维护的数据文件之外，还有很多应用程序管理的数据文件，如各种临时文件、多应用程序管理的数据文件，如各种临时文件、数据交换文件等。数据交换文件等。审计数据采集与分析技术概要wxf 运用运用软件工程的思想与方法软件工程的思想与方法，根据数据库设计的，根据数据库设计的特点提出了各种设计准则和设计规程；特点提出了各种设计准则

14、和设计规程；逻辑数据库设计与物理数据库设计逻辑数据库设计与物理数据库设计是关键与核心；是关键与核心；对设计质量的控制是以对设计质量的控制是以大量的书面文档大量的书面文档和和数据字数据字典典为基础的；为基础的；目前出现了许多目前出现了许多可视化的规范化辅助设计软件可视化的规范化辅助设计软件；还没有支持数据库设计全过程的辅助工具还没有支持数据库设计全过程的辅助工具 。审计数据采集与分析技术概要wxf 需求分析需求分析 概念结构设计概念结构设计 逻辑结构设计逻辑结构设计 物理数据库设计物理数据库设计 数据库实施数据库实施 运行维护运行维护 审计数据采集与分析技术概要wxf需求分析的重点是获得两方面的

15、需求：需求分析的重点是获得两方面的需求：（1 1）信息需求）信息需求定义未来信息系统使用的全部信息，了解各项数定义未来信息系统使用的全部信息，了解各项数据间的本质联系，描述数据的内容和结构以及它据间的本质联系，描述数据的内容和结构以及它们之间的联系等。们之间的联系等。（2 2）处理需求）处理需求定义未来信息系统数据处理的功能及功能与数据定义未来信息系统数据处理的功能及功能与数据之间的联系。同时考虑性能、安全性和完整性约之间的联系。同时考虑性能、安全性和完整性约束。束。审计数据采集与分析技术概要wxf 自顶向下的结构化分析方法（自顶向下的结构化分析方法（Structured Analysis,S

16、A）是需求分析阶段的一种常用方法。）是需求分析阶段的一种常用方法。它的核心思想是：自顶向下逐层分解，直到每它的核心思想是：自顶向下逐层分解，直到每一项功能都可以被容易地实现为止。一项功能都可以被容易地实现为止。SA方法中要用到方法中要用到数据流程图数据流程图（Data Flow Diagram,DFD）来描述数据的处理过程。数据）来描述数据的处理过程。数据流图是从流图是从“数据数据”和和“处理处理”两方面来表达数两方面来表达数据处理过程的一种图形化的表示方法。据处理过程的一种图形化的表示方法。审计数据采集与分析技术概要wxf以储户取款业务为例以储户取款业务为例审计数据采集与分析技术概要wxf

17、数据字典（数据字典（Data Dictionary，DD）是在系统设计过程）是在系统设计过程中对各类基本要素进行描述的集合。它是描述系统逻辑中对各类基本要素进行描述的集合。它是描述系统逻辑模型的重要工具。数据字典的组成部分模型的重要工具。数据字典的组成部分：数据项数据项 数据结构数据结构 数据流数据流 数据存储数据存储 处理过程处理过程 其中数据项是数据的最小组成单位，若干个数据项可以其中数据项是数据的最小组成单位，若干个数据项可以组成一个数据结构，数据字典通过对数据项和数据结构组成一个数据结构，数据字典通过对数据项和数据结构的定义来描述数据流和数据存储的内容。的定义来描述数据流和数据存储的内

18、容。审计数据采集与分析技术概要wxf销售业务中有很多数据项，其中销售业务中有很多数据项，其中“科目代码科目代码”数据项数据项可以描述如下：可以描述如下：数据项编号：数据项编号：Item001数据项名称：数据项名称：KMDM 数据项含义说明：数据项含义说明：唯一标识每个科目唯一标识每个科目别名：别名：科目代码科目代码数据类型：数据类型：字符型字符型数据长度：数据长度：9取值范围：取值范围：100000000至至999999999取值含义：取值含义：前前3位是一级科目，后面每位是一级科目，后面每2位是一个科目位是一个科目级别级别与其他数据项的逻辑关系：与其他数据项的逻辑关系：审计数据采集与分析技术

19、概要wxf数据流数据流“工资结算单工资结算单”可以描述如下：可以描述如下：数据流编号：数据流编号：Flow001数据流名称：数据流名称：GZJSD说明：说明：财务部门计算的工资结算单财务部门计算的工资结算单数据流来源：数据流来源：财务部门财务部门数据流去向：数据流去向：职工职工组成（数据结构）：组成（数据结构）：职工号姓名性别基本工资出勤工日职工号姓名性别基本工资出勤工日缺勤工日病假事假工伤假应扣工资副食补贴物缺勤工日病假事假工伤假应扣工资副食补贴物价补贴房租水电储蓄其他实发工资价补贴房租水电储蓄其他实发工资平均流量：平均流量：1500/月（单位职工人数）月（单位职工人数）高峰期流量：高峰期流

20、量：低谷期流量：低谷期流量：审计数据采集与分析技术概要wxf处理过程处理过程“登记日记账登记日记账”可描述如下：可描述如下：处理过程编号：处理过程编号：Proc001处理过程名称：处理过程名称：DJRJZ输入数据流：输入数据流：记账凭证记账凭证输出数据流：输出数据流：现金及银行存款日记账现金及银行存款日记账处理说明：处理说明：根据收款凭证、付款凭证逐笔顺序登记现金日记根据收款凭证、付款凭证逐笔顺序登记现金日记账和银行存款日记账账和银行存款日记账处理要求：处理要求：每月处理多次，每次处理时间小于每月处理多次，每次处理时间小于15分钟分钟审计数据采集与分析技术概要wxf字段名称字段名称字段含义字段

21、含义字段类型字段类型字段属性字段属性Prj_Code项目编号项目编号字符型字符型关键字关键字Prj_Name项目名称项目名称字符型字符型非空非空Prj_Attr项目性质项目性质字符型字符型非空非空Audit_Chief审计组长审计组长字符型字符型非空非空Main_Staff主审主审字符型字符型非空非空Strategy审计方案审计方案字符型字符型非空非空Start_Date进点日期进点日期日期时间型日期时间型非空非空Time_Period工作周期工作周期数值型数值型非空非空审计数据采集与分析技术概要wxf 自顶向下：自顶向下：首先定义全局概念结构的框架，再做逐首先定义全局概念结构的框架，再做逐次

22、细化。次细化。自底向上：自底向上：首先定义每一局部应用的概念结构，然首先定义每一局部应用的概念结构，然后按一定的规则把它们集成起来，得到全局概念结后按一定的规则把它们集成起来，得到全局概念结构。构。由里向外：由里向外：首先定义最重要的那些核心结构，再逐首先定义最重要的那些核心结构，再逐渐向外扩充。渐向外扩充。混合策略：混合策略：把自顶向下和自底向上结合起来的方法。把自顶向下和自底向上结合起来的方法。它先自顶向下设计一个概念结构的框架。然后以它它先自顶向下设计一个概念结构的框架。然后以它为骨架再自底向上设计局部概念结构，并把它们集为骨架再自底向上设计局部概念结构，并把它们集成起来。成起来。审计数

23、据采集与分析技术概要wxf E-R方法用方法用E-R图来描述现实世界的概念模型。将现图来描述现实世界的概念模型。将现实世界抽象为实体以及实体之间联系。实世界抽象为实体以及实体之间联系。E-R图的元图的元素包括：素包括：方框：表示实体型（方框：表示实体型（Entity），并在框内写上实体），并在框内写上实体的名称；的名称；椭圆：表示实体的属性（椭圆：表示实体的属性（Attribute），并用无向边），并用无向边将实体与其属性连接起来；将实体与其属性连接起来；菱形：表示实体间的联系（菱形：表示实体间的联系（Relationship），菱形），菱形内写上联系的名称，用无向边将菱形分别与相关的内写上联

24、系的名称，用无向边将菱形分别与相关的实体相连，在无向边的旁边标明联系的类型。若联实体相连，在无向边的旁边标明联系的类型。若联系也有属性，则把属性椭圆和联系菱形也用无向边系也有属性，则把属性椭圆和联系菱形也用无向边连接起来。连接起来。审计数据采集与分析技术概要wxf 一对一的联系（一对一的联系（1：1）一个班级对应一个班主任一个班级对应一个班主任 一对多的联系（一对多的联系（1：n）一个班级可以有多名学生，一个学生只能属于一个班级一个班级可以有多名学生，一个学生只能属于一个班级 多对多的联系（多对多的联系（m：n）一个学生可以学多门课程，一门课程可以有多名学生一个学生可以学多门课程，一门课程可以

25、有多名学生审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 设计局部设计局部E-R模型模型 将局部将局部E-R模型集成为全局模型集成为全局E-R模型模型 属性冲突属性冲突 命名冲突命名冲突 结构冲突结构冲突 对全局对全局E-R模型进行优化模型进行优化审计数据采集与分析技术概要wxf 形成初始关系数据库模式形成初始关系数据库模式 关系模式规范化和优化关系模式规范化和优化 外模式设计外模式设计 提供了数据的逻辑独立性提供了数据的逻辑独立性 能适应用户对系统的不同需求能适应用户对系统的不同需求 具有一定的安全保密作用具有一定的安全保密作用 审计数据采集

26、与分析技术概要wxf符合建立索引的条件：符合建立索引的条件：主关键字及外关键字主关键字及外关键字上一般都应建立索引，以加快实体间连接上一般都应建立索引，以加快实体间连接速度，有助于引用完整性检查以及唯一性检查。速度，有助于引用完整性检查以及唯一性检查。用户用户经常访问的字段经常访问的字段上应建立索引。上应建立索引。以读操作为主的关系表以读操作为主的关系表尽可能多地建立索引。尽可能多地建立索引。对对等值连接查询等值连接查询而言，如果满足条件的元组数量小则可以考虑而言，如果满足条件的元组数量小则可以考虑在有关属性上建立索引。在有关属性上建立索引。有些查询可从索引中直接得到结果，不必访问数据块，此种

27、查有些查询可从索引中直接得到结果，不必访问数据块，此种查询可建索引，如查询某属性的询可建索引，如查询某属性的MIN，MAX，AVG，SUM，COUNT等函数值等函数值可沿该属性索引的顺序集扫描直接求得结果。可沿该属性索引的顺序集扫描直接求得结果。审计数据采集与分析技术概要wxf 聚簇是将有关的数据记录存放在一个物理聚簇是将有关的数据记录存放在一个物理块或同一柱面内以提高查询效率。块或同一柱面内以提高查询效率。聚簇一般至少定义在一个属性之上，不仅聚簇一般至少定义在一个属性之上，不仅适用于单个关系，也适用于多个关系。适用于单个关系，也适用于多个关系。聚簇功能可以大大提高按聚簇属性进行查聚簇功能可以

28、大大提高按聚簇属性进行查询的效率，但对于与聚簇属性无关的访问询的效率，但对于与聚簇属性无关的访问则效果不佳。则效果不佳。在特定的情况下可以考虑建立聚簇。在特定的情况下可以考虑建立聚簇。审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf定义：定义：审计接口是从被审计信息系统向审计应用系统传送审计信息的审计接口是从被审计信息系统向审计应用系统传送审计信息的规规范范和和程序程序。接口包含两方面内容：接口包含两方面内容：传送数据的格式和规范传送数据的格式和规范 完成传送作业的程序完成传送作业的程序数据传递的方式：数据传递的方式：系统内部多采用参数或共享数据来完成系统内部多采用参数或共享数

29、据来完成 系统与系统之间传递信息需要开发专用的数据接口系统与系统之间传递信息需要开发专用的数据接口审计数据采集与分析技术概要wxf按照不同的标准，可以将审计接口划分为不同的按照不同的标准，可以将审计接口划分为不同的类型。类型。按接口的用途划分，可以分为通用接口和专用接口；按接口的用途划分，可以分为通用接口和专用接口；按接口与源系统和目标系统的耦合程度划分，可以分按接口与源系统和目标系统的耦合程度划分，可以分为强耦合接口、弱耦合接口和一般耦合接口；为强耦合接口、弱耦合接口和一般耦合接口；按接口中数据传输的频率来划分，可以分为实时接口按接口中数据传输的频率来划分，可以分为实时接口与周期性接口。与周

30、期性接口。其他的分类方法其他的分类方法审计数据采集与分析技术概要wxf接口可以分为接口可以分为3层层 逻辑层：表示信息含义的语言，对信息的含义逻辑层：表示信息含义的语言，对信息的含义进行定义和描述进行定义和描述；传输层：载运信息语言的方式，选择最合适的传输层：载运信息语言的方式，选择最合适的方式完成源系统到目标系统之间的信息传输方式完成源系统到目标系统之间的信息传输；控制层：控制信息交换过程的规程，保证信息控制层：控制信息交换过程的规程，保证信息传输的适时性、正确性和有效性传输的适时性、正确性和有效性。审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 又称为接口标准又称为接口标

31、准 GB/T19581-2004信息技术信息技术 会计核算软件数会计核算软件数据接口据接口 中国软件行业协会中国软件行业协会98-001标准标准 上海市地方标准上海市地方标准 国家电子政务标准国家电子政务标准 描述接口标准的语法必须没有二义性描述接口标准的语法必须没有二义性审计数据采集与分析技术概要wxf 被审计单位信息系统和审计系统之间采用被审计单位信息系统和审计系统之间采用数据库连接件（如数据库连接件（如ODBC）通过计算机网）通过计算机网络直接相连。络直接相连。被审计单位信息系统和审计应用系统采用被审计单位信息系统和审计应用系统采用交换文件传输数据。交换文件传输数据。审计数据采集与分析技

32、术概要wxf审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 核对总记录数、总金额核对总记录数、总金额 检查借贷是否平衡检查借贷是否平衡 顺序码断号、重号验证顺序码断号、重号验证 检查勾稽关系检查勾稽关系审计数据采集与分析技术概要wxf 审计接口开发的根本性要求：数据经过一系列的传输审计接口开发的根本性要求：数据经过一系列的传输后，审计系统得到的数据与信息系统中的原始数据是后，审计系统得到的数据与信息系统中的原始数据是一致的，没有发生变异一致的，没有发生变异。审计接口的开发需要被审计单位和审计部门审计接口的开发需要被审计单位和审计部门双方共同双方共同参加参加。编程实现后，要由编

33、程实现后，要由双方共同进行确认测试双方共同进行确认测试，确认接口，确认接口功能的正确性，并功能的正确性，并对接口开发工作进行评审认定对接口开发工作进行评审认定。审计接口开发工作滞后时，可以在审计人员监督下，审计接口开发工作滞后时，可以在审计人员监督下，由被审计单位技术人员由被审计单位技术人员当场编程当场编程，从系统中获取所需，从系统中获取所需审计数据，转换成数据文件，交由审计系统读入进行审计数据，转换成数据文件，交由审计系统读入进行处理。处理。审计数据采集与分析技术概要wxf 审计接口开发完成后，不能随意更改审计接口开发完成后，不能随意更改 审计接口在使用时，首先由双方人员对要审计接口在使用时

34、，首先由双方人员对要使用的审计接口进行核查使用的审计接口进行核查 要要对通过接口采集的数据的完整性进行确对通过接口采集的数据的完整性进行确认认审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf（1）Microsoft ODBC Open Database Connectivity（2）Borland IDAPIIntegrated Database Application Interface（3）Microsoft UDAUniversal Data Access审计数据采集与分析技术概要wxfODBC是由是由Microsoft公司制订的数据库系公司制订的数据库系统互连标准。它为

35、客户端应用系统与数据统互连标准。它为客户端应用系统与数据库服务器之间的连接提供了一种开放的、库服务器之间的连接提供了一种开放的、标准的接口，使得支持标准的接口，使得支持ODBC的系统间能的系统间能够实现互连，具有一定的可移植性。够实现互连，具有一定的可移植性。审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 基于文件的驱动程序基于文件的驱动程序 既处理既处理ODBC调用也处理调用也处理SQL语句语句 依据其访问数据的存取方式还可以分为两种依据其访问数据的存取方式还可以分为两种 直接存取数据直接存取数据 采用客户机采用客户机/服务器模式服务器模式 基于基于DBMS的驱动程序的驱动

36、程序 只处理只处理ODBC调用调用 把把SQL语句的处理交给数据库引擎语句的处理交给数据库引擎 通过单独的引擎访问物理数据通过单独的引擎访问物理数据 既可以和数据源存储在同一个机器上，也可以分别存储既可以和数据源存储在同一个机器上，也可以分别存储在网络中的不同机器上，甚至可以通过网关访问。在网络中的不同机器上，甚至可以通过网关访问。审计数据采集与分析技术概要wxf 机器数据源机器数据源 存储在由用户定义名字的系统上存储在由用户定义名字的系统上 可以分为用户数据源和系统数据源可以分为用户数据源和系统数据源 文件数据源文件数据源 存储于一个文件中存储于一个文件中 允许连接信息由一个用户重复使用或者

37、由几个用户共允许连接信息由一个用户重复使用或者由几个用户共享享 驱动程序管理器用驱动程序管理器用.dsn文件中的信息连接数据源文件中的信息连接数据源 这个文件可以像其他任何文件一样操作这个文件可以像其他任何文件一样操作 一个文件数据源没有数据源名，并且它不注册到任何一个文件数据源没有数据源名，并且它不注册到任何用户或机器上用户或机器上审计数据采集与分析技术概要wxf1创建创建ODBC数据源数据源不同的驱动程序提供的不同的驱动程序提供的ODBC数据源配置界面数据源配置界面不同不同2使用使用ODBC获取数据获取数据 在审计软件中使用在审计软件中使用 在在DBMS中使用中使用 在在Excel等软件中

38、使用等软件中使用审计数据采集与分析技术概要wxfIDAPI是由是由Borland公司为首发布的一个异公司为首发布的一个异构数据库访问接口。它是一个强大的数据构数据库访问接口。它是一个强大的数据库引擎，基于驱动程序的体系结构和面向库引擎，基于驱动程序的体系结构和面向对象的设计方法为各种数据库的访问提供对象的设计方法为各种数据库的访问提供了一致的接口，扩展和定制起来很容易。了一致的接口，扩展和定制起来很容易。审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxfMicrosoft 的的UDA为关系型或非关系型数据为关系型或非关系型数据访问提供了一致的访问接口。这个一致的访问提供了一致的访

39、问接口。这个一致的接口使得应用程序能够通过它来访问各种接口使得应用程序能够通过它来访问各种各样的数据。同时，各样的数据。同时，UDA的多层结构和扩的多层结构和扩展能力使得它具有极强的生命力展能力使得它具有极强的生命力。审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf OLE DB 系统级的编程接口，定义了一组接口，封装了各种数据系统级的编程接口，定义了一组接口，封装了各种数据系统的访问操作；系统的访问操作；提供了一组标准的服务组件，用于提供查询、缓存、数提供了一组标准的服务组件，用于提供查询、缓存、数据更新、事务处理等操作；据更新、事务处理等操作；是新的底层接口，采用一种是新的

40、底层接口，采用一种“通用的通用的”数据访问范例，数据访问范例，能够处理任何类型的数据，不需考虑格式和存储方法。能够处理任何类型的数据，不需考虑格式和存储方法。ADO 应用层的编程接口，以应用层的编程接口，以OLE DB为基础并对其进行了封装；为基础并对其进行了封装；通过通过OLE DB提供的接口访问数据，适合于各种客户机提供的接口访问数据，适合于各种客户机/服务器应用系统和基于服务器应用系统和基于Web的应用；的应用；具有更好的灵活性，使用方便，效率更高。具有更好的灵活性，使用方便，效率更高。审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 优点：优点：灵活方便灵活方便 数据量

41、大小基本不受限制数据量大小基本不受限制 缺点：缺点：占用较大的存储空间占用较大的存储空间 较多的传输时间较多的传输时间 需要进行类型或字段名称的重定义需要进行类型或字段名称的重定义 分类：分类：分隔符形式分隔符形式 固定宽度固定宽度审计数据采集与分析技术概要wxf 分隔符形式的文本文件分隔符形式的文本文件 以回车换行符号作为记录间的分隔以回车换行符号作为记录间的分隔 以分隔符作为字段之间的分隔以分隔符作为字段之间的分隔 第一行可以表示字段名第一行可以表示字段名 可以有文本识别符号可以有文本识别符号 固定宽度的文本文件固定宽度的文本文件 以回车换行符号作为记录间的分隔以回车换行符号作为记录间的分

42、隔 以起始位置和宽度来标识字段以起始位置和宽度来标识字段 第一行一般不表示字段名第一行一般不表示字段名 一般没有文本识别符号一般没有文本识别符号审计数据采集与分析技术概要wxf行号行号,代码代码,名称名称,利率利率,开始日期开始日期500,100,90年五年期财政债券利率年五年期财政债券利率,8.31,01/10/1997500,200,开发银行债券利率开发银行债券利率(12.5%),10.41,01/10/1997500,201,开发银行债券利率开发银行债券利率(14%),11.64,01/10/1997500,300,总行金融债券利率总行金融债券利率(11.5%),9.57,01/10/1

43、997500,301,总行金融债券利率总行金融债券利率(11.25%),9.375,01/10/1997500,302,97年政策性金融债券利率年政策性金融债券利率(8.8%),7.32,03/19/1997500,1100,单位活期存款单位活期存款,1.2,07/01/1998500,1101,单位活期存款单位活期存款(协定协定),1.38,12/07/1998500,1200,单位活期存款单位活期存款,6.3,10/23/1997500,1201,同业存款同业存款,5.85,10/23/1997审计数据采集与分析技术概要wxf500 10090500 10090年五年期财政债券利率年五年期

44、财政债券利率 8.3101/10/19978.3101/10/1997500 200500 200开发银行债券利率开发银行债券利率(12.5%)10.4101/10/1997(12.5%)10.4101/10/1997500 201500 201开发银行债券利率开发银行债券利率(14%)11.6401/10/1997(14%)11.6401/10/1997500 300500 300总行金融债券利率总行金融债券利率(11.5%)9.5701/10/1997(11.5%)9.5701/10/1997500 301500 301总行金融债券利率总行金融债券利率(11.25%)9.37501/10/

45、1997(11.25%)9.37501/10/199750011005001100单位活期存款单位活期存款 1.207/01/19981.207/01/199850011015001101单位活期存款单位活期存款(协定协定)1.3812/07/1998)1.3812/07/199850012005001200单位活期存款单位活期存款 6.310/23/19976.310/23/199750012015001201同业存款同业存款 5.8510/23/19975.8510/23/1997审计数据采集与分析技术概要wxfExcel Excel 电子表格与关系数据库的对应关系电子表格与关系数据库的对

46、应关系审计数据采集与分析技术概要wxf在访问在访问Excel电子表格中的数据时，要特别注意这电子表格中的数据时，要特别注意这样两个问题：样两个问题：关系数据库的规范化问题。应该保证每一列只有一个关系数据库的规范化问题。应该保证每一列只有一个标题，且这个标题是最高层次的标题。标题，且这个标题是最高层次的标题。数据类型的一致性问题。数据类型的一致性问题。Excel工作表中每一个单元格工作表中每一个单元格都可以有不同的数据类型，因此每一列中的数据类型都可以有不同的数据类型，因此每一列中的数据类型可能会不一致。而关系数据库要求表中每个字段的类可能会不一致。而关系数据库要求表中每个字段的类型是固定的。如

47、果出现这种情况，需要首先统一型是固定的。如果出现这种情况，需要首先统一Excel工作表中每一列的数据类型。否则将不能访问数据。工作表中每一列的数据类型。否则将不能访问数据。审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 准确性：数据值与实际值的一致程度。准确性：数据值与实际值的一致程度。完整性：需要值的属性中无值缺失的程度。完整性：需要值的属性中无值缺失的程度。一致性：数据对一组约束的满足程度。一致性：数据对一组约束的满足程度。唯一性：数据记录（及码值）的唯一性。唯一性：数据记录（及码值）的唯一性。适时性：在所要求的或指定的时间提供一适时性：在所要求的或指定的时间提供一个或多

48、个数据项的程度。个或多个数据项的程度。有效性：维护的数据足够严格以满足分类有效性：维护的数据足够严格以满足分类准则的接受要求。准则的接受要求。审计数据采集与分析技术概要wxf 值缺失限制了审计人员的数据分析工作值缺失限制了审计人员的数据分析工作；数据表中的空值直接影响了数据分析结果数据表中的空值直接影响了数据分析结果的准确性的准确性；大量的冗余数据降低了数据分析的效率大量的冗余数据降低了数据分析的效率；数据值域定义的不完整性给数据审计工作数据值域定义的不完整性给数据审计工作带来障碍带来障碍。审计数据采集与分析技术概要wxf 确认输入数据确认输入数据 消除错误的空值（消除错误的空值（NULL）保

49、证数据值落入定义域保证数据值落入定义域 消除冗余数据消除冗余数据 解决数据中的冲突（不一致）解决数据中的冲突（不一致）审计数据采集与分析技术概要wxf 解决不完整数据（即值缺失）的方法：大多数情况下，缺解决不完整数据（即值缺失）的方法：大多数情况下，缺失的值必须手工填入；某些缺失值可以从自身数据源或其失的值必须手工填入；某些缺失值可以从自身数据源或其它数据源推导出来。它数据源推导出来。错误值的检测及解决方法：用统计分析的方法识别可能的错误值的检测及解决方法：用统计分析的方法识别可能的错误值或异常值，如偏差分析、识别不遵守分布或回归方错误值或异常值，如偏差分析、识别不遵守分布或回归方程的值；使用

50、简单规则库（常识性规则、业务特定规则等）程的值；使用简单规则库（常识性规则、业务特定规则等）检查数据值；使用不同属性间的约束；使用外部数据。检查数据值；使用不同属性间的约束；使用外部数据。不一致性的检测及解决方法：定义完整性约束用于检测不不一致性的检测及解决方法：定义完整性约束用于检测不一致性；通过分析数据发现联系。一致性；通过分析数据发现联系。审计数据采集与分析技术概要wxf审计数据采集与分析技术概要wxf 在在SQL Server的查询分析器（的查询分析器（SQL Query Analyzer）中）中执行下列执行下列SQL语句用语句用“0”替换某些字段的空值替换某些字段的空值：UPDATE