1、第章仿真模型的校核验证与确认第7章 输入数据的分析 7.1 VV&A概述 7.2 VV&A的过程、技术与方法 基本要求 了解VV&A的研究历史、现状、基本概念、基本原则。理解VV&A的过程、技术与方法。通过前面介绍，可以看出、应用仿真技术对生产系统进行分析通过前面介绍，可以看出、应用仿真技术对生产系统进行分析和研究的一个基础性和关键性的问题是将系统模型化。系统模型和研究的一个基础性和关键性的问题是将系统模型化。系统模型化是系统仿真的核心问题，也就是说由建模目的出发，根据相似化是系统仿真的核心问题，也就是说由建模目的出发，根据相似原理。建立正确、可靠、有效的仿真模型是保证仿真结果具有较原理。建立
2、正确、可靠、有效的仿真模型是保证仿真结果具有较高可信度的关键和前提。为此，系统仿真模型建立与验证的理论高可信度的关键和前提。为此，系统仿真模型建立与验证的理论和方法的研究一直受到国内外仿真界的高度重视。仿真模型的校和方法的研究一直受到国内外仿真界的高度重视。仿真模型的校核、验证与确认核、验证与确认(Verification,Validation and Accreditation)简称简称VVA是提高仿真结果置信度的重要方法，是仿真领域的一个重要是提高仿真结果置信度的重要方法，是仿真领域的一个重要的前沿课题。的前沿课题。引言v 仿真系统是否具有设计系统的特点,能否反应实际系统的真实的特征,必须
3、经过一定的置信度确认。VV&A技术是保证仿真置信度的保证。校核 Verification 验证 Validation 确认 Accreditation 简记为VV&A。7.1 VV&A概述v为了保证应用上的有效性(Validity)和可信度（Credibility)，通仿真模型必须满足下列三个条件:仿真模型与系统原型之间具有一定程度上的相似关系，以保证两者之间的可类比性。这是仿真模型能够得以存在的基础。仿真模型在一定程度上应该能够代替系统原型，即具有代表性。这是能够利用仿真模型来进行实验研究，也是仿真过程能够得以进行的前提条件。通过对仿真模型的研究，能够得到关于系统原型的一些准确信息，即仿真模
4、型具有外推性。这是仿真技术要实现的目标。7.1 VV&A概述v仿真模型的VV&A,可以达到以下目的:保证所建立的仿真模型能够足够精确地表达真实系统的行为，从而可以用这一仿真模型来代替真实系统进行实验研究，在此基础上，分析真实系统的行为，并对其性能指标进行预测。将仿真模型的可信度提高到一个能够为人们所接受的水平，以使得该仿真模型可被管理者及其他决策者来使用。7.1 VV&A概述vVV&A的研究历史 1、国外对仿真模型VV&A的研究最早可追溯到20世纪60年代仿真应用的初期；2、20世纪70年代，一些学者和学术组织开始倡导将v&v问题纳入仿真模型可信度的研究中。；3、自20世纪80年代以来，每年的
5、夏季计算机仿真会议和冬季仿真会议等都安排了一些关于模型V&V的专题讨论;4、进入20世纪90年代以后，对仿真模型VV&A研究的重点开始由以仿真模型的校核方法研究为主转向如何更加全面地对仿真模型进行VV&A上来。7.1 VV&A概述vVV&A的基本概念 校核校核(Verfication),是指确定模型的实施及其相关数据是否精确地表达了开发者的概念描述及相关技术规范的过程。验证验证(Validation),是指根据模型开发和应用的预期目的，来确定模型和相关的数据对真实世界进行描述的精确程度的过程。确认确认(Accreditation),是指官方对某一模型、仿真系统或者一系列的模型和仿真系统及其相关
6、数据能够适用于特定仿真目的的一种认证活动。7.1 VV&A概述vVV&A的基本概念 模型测试模型测试(Model Testing)。是指对仿真模型中是否存在错误进行判断的过程。通常是借助于给定的某些数据和案例来判断模型输出的结果是否与实际系统(原型)相吻合。仿真精度仿真精度(Simulation Accuracy)。是指仿真模型能够达到的性能指标与所规定或期望的参考值之间的误差。7.1 VV&A概述vVV&A的基本概念 仿真置信度仿真置信度(Simulation Fidelity)。是指在特定的建模目的和意义下，模型系统逼近实际系统(原型)的程度。7.1 VV&A概述vVV&A的基本概念 模型
7、校核、验证与确认实质上是进行模型模型校核、验证与确认实质上是进行模型有效性分析，它发生在模型发展的每个阶有效性分析，它发生在模型发展的每个阶段，与建模过程的关系如图所示。段，与建模过程的关系如图所示。问题实体问题实体(Problem Entity)研究对象，可以是一个系统研究对象，可以是一个系统(真实的真实的或假想的或假想的)。也可以是一种构思，一种。也可以是一种构思，一种概念，一种情景，一项决策或政策，概念，一种情景，一项决策或政策，或者是其它等待研究的事物或现象。或者是其它等待研究的事物或现象。概念模型概念模型(Conceptual Model)指在问题分析和建模阶段，针对某指在问题分析和
8、建模阶段，针对某一特定的研究目的，对问题实体所作一特定的研究目的，对问题实体所作出的数学的、逻辑的或自然语言的表出的数学的、逻辑的或自然语言的表述，以便于最终的仿真实现。述，以便于最终的仿真实现。计算模型计算模型(Computerized Model)是指通过程序设计，在仿真设备是指通过程序设计，在仿真设备(主主要是指计算机要是指计算机)上对概念模型的实现。上对概念模型的实现。7.1 VV&A概述vVV&A的基本概念 由图可知，由图可知，概念模型概念模型是在是在问题分析问题分析和和建模阶建模阶段段建立起来的建立起来的;计算模型计算模型是在是在概念模型概念模型的基础上通的基础上通过程序设计和实现
9、阶段建立起来的；关于问题实过程序设计和实现阶段建立起来的；关于问题实体体(研究对象研究对象)的一些结论，则是在仿真实验过程的一些结论，则是在仿真实验过程中通过运行计算模型而获得的。中通过运行计算模型而获得的。7.1 VV&A概述vVV&A的基本概念 系统建模与仿真过程的中，VV&A分别对应了对如下三个问题的回答:校核正确地建立了仿真模型吗?验证建立了正确的仿真模型吗?确认仿真模型可以使用吗?7.1 VV&A概述vVV&A的基本概念 仿真模型的校核、验证与确认三者之间的 联系:第一，校核侧重于对建模过程的检验，为模型系统的验收提供依据;第二，验证侧重于对仿真结果的检验，为模型系统的有效性评估提供
10、依据;第三，确认则是建立在校核与验证的基础上，指的是由权威机构来确定仿真模型对某一特定应用对象是否可以被接受的过程。7.1 VV&A概述vVV&A的基本原则 原则1:VV&A活动必须贯穿于系统建模与仿真的整个生命周期 原则2:在模型系统中，不存在绝对意义上的正确或错误，不应将VV&A活动的结果看做是一个非对即错的二值变量 原则3:仿真模型是根据建模与仿真的目标而建立的，其可信度也应由建模与仿真的相应目标来评判 7.1 VV&A概述vVV&A的基本原则 原则4:应在一定的程度卜保证仿真模型VV&A活动的独立性，以避开模型开发人员对VV&A结果的影响 原则5:仿真模型的VV&A活动需要评估人员具备
11、足够的创造力和洞察力 原则6:仿真模型的可信度仅仅是针对VV&A活动的特定条件而言的 原则7:完全的仿真模型测试是不可能的 7.1 VV&A概述vVV&A的基本原则 原则8:必须制订仿真模型VV&A计划并进行相应的文档记录 原则9:在VV&A活动中，应尽力避免三类错误的发生 原则10:应尽可能早地发现仿真生命周期中存在的错误 原则11:必须认识到多响应问题的存在并加以恰当地解决 7.1 VV&A概述vVV&A的基本原则 原则12:所有子模型(模块)的成功测试并不意味着整个模塑的可信度 原则13:必须认识到双验证问题的存在并加以恰当解决 原则14:仿真模型的验证井不能保证仿真结果的可信度和可接受
12、性 原则15:问题描述的准确性会大大影响仿真结果的可接受性和可信度 7.2 VV&A的过程、技术与方法vVV&A的过程 VV&A的过程指的是开展VV&A活动的流程。1.需求定义与校核需求定义与校核2.启动启动VV&A计划计划3.数据的校核与验证数据的校核与验证4.概念模型验证概念模型验证5.设计过程的校核设计过程的校核6.执行过程验证执行过程验证7.结果验证结果验证8.对校核验证结果进行确认对校核验证结果进行确认9.VV&A过程信息整理并归档过程信息整理并归档 7.2 VV&A的过程、技术与方法vVV&A的过程v 1.需求定义与校核 VV&A活动的实施始于确定VV&A需求，完整、正确的需求定义
13、是仿真模型VV&A的基础和前提。需求校核与验证阶段的主要活动包括对需要报告进行重新审核和明确模型逼真度(Fidelity)的可接受标准。7.2 VV&A的过程、技术与方法vVV&A的过程 2.启动VV&A计划 VV&A计划的主要内容一般包括:记录仿真模型的预期应用，确定对建模与仿真结果的要求等，将用户提出的仿真模型可接受性标准形成文档，以及确定能够达到可接受性标准的VV&A方法等。7.2 VV&A的过程、技术与方法vVV&A的过程 3.数据的校核与验证 数据校核的主要目的是保证对仿真应用而言，所选择的数据确实是最合适的，数据验证则主要是为了保证数据确实能够比较精确地反映真实系统某些方面的特性。
14、主要内容应包括:元数据的精度校核;各阶段数据转化方式的校核;概念模型、编码模型和集成模型的输入数据校核及输出数据验证;输出数据的有效性校核等。7.2 VV&A的过程、技术与方法vVV&A的过程 4.概念模型验证 概念模型表述的是仿真模型设计中的前提假设、算法、数据以及各阶段之间的结构关系。目的:说明建模与仿真从功能上可以完整、精确地反映系统设计的需求，以保证所有的项目参与人员都能够清晰、准确地了解仿真模型的预期用途，也能够进一步地明确一些假设或限定条件对仿真模型应用的影响。7.2 VV&A的过程、技术与方法vVV&A的过程 5.设计过程的校核 指为保证设计转化过程相对于概念模型的一致性和精确性
15、，在软件代码编写或硬件环境构造之前，对整个详细设计过程的审核过程。主要工作是对一些规范和功能上的设计方案进行检查。7.2 VV&A的过程、技术与方法vVV&A的过程 6.执行过程验证 主要工作:借助于已经验证过的数据，对软件代码、硬件结构以及二者的集成体进行测试。目的：从功能的角度来保证系统的软/硬件及其集成体能够精确地代表开发人员以及概念规范和设计的预期需求。7.2 VV&A的过程、技术与方法vVV&A的过程 7.结果验证 结果验证是指通过对仿真结果与已知的或者是所期望的数值进行比较，来确定仿真结果是否满足应用上的需求。目的:确定仿真模型满足需求的程度;确定仿真输出的逼真程度;确定仿真模型适
16、合于预期用途的好坏程度等。7.2 VV&A的过程、技术与方法vVV&A的过程 8.对校核验证结果进行确认 指的是使用者在仿真模型适合预期的应用能力和限定，而不会影响到正确结论等方面获得的一种官方认可的过程。主要内容:依据在计划过程中给定的确认标准，对VV&A过程中每一阶段的校核、验证结果和记录进行评估。简记为VV&A。主要内容应包括:元数据的精度校核;各阶段数据转化方式的校核;概念模型、编码模型和集成模型的输入数据校核及输出数据验证;输出数据的有效性校核等。系统模型化是系统仿真的核心问题，也就是说由建模目的出发，根据相似原理。VV&A的技术与方法2 VV&A的过程、技术与方法VV&A的技术与方
17、法原则10:应尽可能早地发现仿真生命周期中存在的错误结构假设通常涉及对实际系统的简化和抽象，或者说系统最低限度运行的条件。问题实体(Problem Entity)原则7:完全的仿真模型测试是不可能的通过对仿真模型的研究，能够得到关于系统原型的一些准确信息，即仿真模型具有外推性。3、自20世纪80年代以来，每年的夏季计算机仿真会议和冬季仿真会议等都安排了一些关于模型V&V的专题讨论;2 VV&A的过程、技术与方法验证(Validation),是指根据模型开发和应用的预期目的，来确定模型和相关的数据对真实世界进行描述的精确程度的过程。校核(Verfication),是指确定模型的实施及其相关数据是
18、否精确地表达了开发者的概念描述及相关技术规范的过程。原则12:所有子模型(模块)的成功测试并不意味着整个模塑的可信度校核(Verfication),是指确定模型的实施及其相关数据是否精确地表达了开发者的概念描述及相关技术规范的过程。VV&A的技术与方法原则12:所有子模型(模块)的成功测试并不意味着整个模塑的可信度这是仿真技术要实现的目标。为此，系统仿真模型建立与验证的理论和方法的研究一直受到国内外仿真界的高度重视。仿真模型的VV&A,可以达到以下目的:主要内容:依据在计划过程中给定的确认标准，对VV&A过程中每一阶段的校核、验证结果和记录进行评估。原则13:必须认识到双验证问题的存在并加以恰
19、当解决仿真精度(Simulation Accuracy)。正式方法主要基于对正确性的较为正式的数学证明。VV&A的技术与方法VV&A的技术与方法校核(Verfication),是指确定模型的实施及其相关数据是否精确地表达了开发者的概念描述及相关技术规范的过程。原则2:在模型系统中，不存在绝对意义上的正确或错误，不应将VV&A活动的结果看做是一个非对即错的二值变量7.2 VV&A的过程、技术与方法vVV&A的过程 9.VV&A过程信息整理并归档 VV&A文档中应至少包括确认计划、V&V计划、V&V报告、确认报告以及确认决定说明等。7.2 VV&A的过程、技术与方法vVV&A的技术与方法 VV&A
20、的技术与方法是指在系统建模与仿真的过程中，为了达到VV&A活动的各阶段目的而采取的各种技术、方法和工作策略等的总称。非正式方法 正式方法 静态方法 动态方法7.2 VV&A的过程、技术与方法vVV&A的技术与方法 1.非正式元法 “非正式”并不是说这些技术的运用缺乏特定的组织性或正式的指导原则，而是指所利用的工具和方法比较多地依赖个人的主观性和推理，而没用很强的数学形式。常用的非正式方法:审核、检查、表面验证和图灵测试等。7.2 VV&A的过程、技术与方法vVV&A的技术与方法 2.正式方法 正式方法主要基于对正确性的较为正式的数学证明。常用的正式方法:归纳、推理、逻辑演绎、谓词运算、谓词变换
21、和正确性证明等。7.2 VV&A的过程、技术与方法vVV&A的技术与方法 3静态方法 静态方法广泛应用于评估静态模型设计和源代码的情况。常用的静态方法:语法分析、语义分析、结构分析、因果图、控制分析和数据流分析等。7.2 VV&A的过程、技术与方法vVV&A的技术与方法 4.动态方法 动态方法是一类在实际中相对较为有效的方法，主要应用于校核和验证建模与仿真的动态方面。常用的动态方法:自顶向下、自底向上、黑自顶向下、自底向上、黑盒法、白盒法、执行追踪、执行接受测试盒法、白盒法、执行追踪、执行接受测试、回归测试、统计技术和图形比较、回归测试、统计技术和图形比较等。7.2 VV&A的过程、技术与方法
22、v 仿真模型验证的仿真模型验证的“三步骤三步骤”仿真模型的验证过程，实质上就是对模型系统和实际系统进行反复比较的过程。1.从直观上考察仿真模型的有效性 2.验证模型的假设 3.模型输出数据与实际数据的比较7.2 VV&A的过程、技术与方法v 仿真模型验证的仿真模型验证的“三步骤三步骤”1.从直观上考察仿真模型的有效性 用户和其他了解实际系统的人员参与建立仿真模型,直观上考察仿真模型的有效性。通过仿真模型运行的灵敏度分析，可以大致判断其结构上的合理性。7.2 VV&A的过程、技术与方法v仿真模型验证的仿真模型验证的“三步骤三步骤”2.验证模型的假设 仿真模型的假设一般可划分为两大类:结构假设结构假设 结构假设通常涉及对实际系统的简化和抽象，或者说系统最低限度运行的条件。数据假设数据假设 数据假设包括对所有输入数据的数值和概率分布所作的规定。7.2 VV&A的过程、技术与方法v 仿真模型验证的仿真模型验证的“三步骤三步骤”3.模型输出数据与实际数据的比较 将仿真模型的输出数据与真实系统中的实际数据作比较，是模型验证中最具有决定性的一个步骤。
