1、测评过程要求测评实验室专家组测评实验室专家组 马力马力20062006年年4 4月月6 6日日提提 纲纲n1、范围范围n2、引用文件引用文件n3、术语和定义术语和定义n4、管理要求、管理要求n4.1、组织组织n4.2、测试过程测试过程n4.3、项目管理项目管理n4.4、文档和记录的管理文档和记录的管理范围范围n规定了军用软件测评实验室在执行规定了军用软件测评实验室在执行GJB 2725A-2001测试实验室和校准实验室通测试实验室和校准实验室通用要求用要求时的附加要求；时的附加要求；n适用于军用软件测评实验室。适用于军用软件测评实验室。引用文件引用文件nGJB 2725A-2001 测试实验室
2、和校准实验室测试实验室和校准实验室通用要求；通用要求；nGB/T 11457 软件工程术语。软件工程术语。术语和定义术语和定义n软件测评实验室：软件测评实验室：nsoftware testing and evaluating laboratories n测试类型：测试类型：ntesting typesn测试项：测试项：ntesting items组织组织n4.1.1 实验室应有措施确保：实验室应有措施确保：n实验室的工作不利用委托方所拥有的知识产权牟实验室的工作不利用委托方所拥有的知识产权牟取利益；取利益；n不以各种压力影响软件测评工作的不以各种压力影响软件测评工作的公正性公正性。n4.1.2
3、 实验室应：实验室应：n制定保护委托方保密信息和知识产权的管理规定制定保护委托方保密信息和知识产权的管理规定或程序文件；或程序文件；n还应有措施确保软件安全和还应有措施确保软件安全和国防军事机密国防军事机密不被泄不被泄露。露。公正，不谋取私利公正，不谋取私利保守秘密保守秘密组织组织n4.1.3 为保证软件测评工作的公正性，实验室为保证软件测评工作的公正性，实验室的测评工作应保持的测评工作应保持独立性独立性：n软件测试人员不应承担被测软件的开发工作。软件测试人员不应承担被测软件的开发工作。n4.1.4 实验室应确保每个软件测评项目配备实验室应确保每个软件测评项目配备相相应人员应人员，其中至少应包
4、括：，其中至少应包括：n项目负责人；项目负责人；n测试人员；测试人员；n测试监督员；测试监督员；n质量保证人员；质量保证人员；n配置管理员。配置管理员。与被测软件组织、人与被测软件组织、人员等方面没有关联员等方面没有关联确保确保5类人员类人员组织组织n4.1.5 实验室的实验室的质量管理体系质量管理体系：n应覆盖软件测试过程和软件测评项目管理；应覆盖软件测试过程和软件测评项目管理；n质量管理体系文件应具有可操作性，便于实质量管理体系文件应具有可操作性，便于实施和有利于测评工作的顺利开展；施和有利于测评工作的顺利开展；n对对“必要必要”、“适用适用”和和“明显明显”等用语给等用语给出确切的说明。
5、出确切的说明。管理体系完整、可操作管理体系完整、可操作总结总结n质量管理体系完整可操作；质量管理体系完整可操作；n在测评工作中应：在测评工作中应：n公正；公正；n保密；保密；n独立。独立。n每个测评项目应配备每个测评项目应配备5类人员：类人员：n项目负责人；项目负责人；n测试人员；测试人员；n测试监督员；测试监督员；n质量保证人员；质量保证人员；n配置管理员。配置管理员。测试执行测试过程测试过程n顺序执行的过程；顺序执行的过程；n测试过程包括：测试过程包括：n测试需求分析；测试需求分析；n测试策划；测试策划；n测试设计和实现；测试设计和实现；n测试执行；测试执行；n测试总结测试总结，（，（包括
6、评价包括评价过程和总结）等。过程和总结）等。测试需求分析测试需求分析测试策划测试策划测试设计和实现测试设计和实现执行测试执行测试测试总结测试总结充分性？充分性？测试过程总结测试过程总结n测试活动是有依据的；测试活动是有依据的；n测试过程是顺序执行的过程，前一阶段的工作测试过程是顺序执行的过程，前一阶段的工作/工作产品是后续阶段的基础工作产品是后续阶段的基础；n工作产品（除记录外）要评审，并受到控制工作产品（除记录外）要评审，并受到控制；n过程评审有两个：过程评审有两个：n测试就绪评审；测试就绪评审；n测试总结评审测试总结评审。n从测试依据开始，建立从测试依据开始，建立需求追踪机制需求追踪机制，
7、以证明，以证明测评需求的状态，从已分析到已评价。测评需求的状态，从已分析到已评价。可使用需求跟踪矩阵可使用需求跟踪矩阵测试过程工作产品及管理要求测试过程工作产品及管理要求阶阶段段 工工作作产产品品 评评审审和和分分析析要要求求 配配置置管管理理要要求求 追追溯溯性性要要求求 测测试试需需求求分分析析 测测试试需需求求规规格格说说明明 建建立立测测试试项项与与测测试试依依据据的的追追踪踪关关系系 测测试试策策划划 测测试试计计划划 产产品品评评审审 受受到到变变更更控控制制和和版版本本控控制制 建建立立与与测测试试需需求求规规格格说说明明的的关关系系 测测试试说说明明 产产品品经经过过评评审审，
8、并并得得到到相相关关人人员员认认同同，受受到到变变更更控控制制和和版版本本控控制制，根根据据测测试试情情况况修修订订。确确定定与与测测试试计计划划的的追追踪踪关关系系 测测试试 设设计计与与实实现现 测测试试就就绪绪评评审审，与与说说明明同同时时评评审审，应应分分别别进进行行记记录录 原原始始记记录录 应应受受到到严严格格管管理理 至至少少包包括括测测试试用用例例标标识识、测测试试结结果果和和发发现现的的缺缺陷陷。问问题题及及变变更更报报告告 实实施施相相应应的的变变更更 软软件件问问题题报报告告 测测试试执执行行 分分析析测测试试的的充充分分性性 测测试试报报告告/测测评评报报告告 分分析析
9、和和评评价价测测试试工工作作 分分析析和和评评价价被被测测件件 测测试试总总结结评评审审 测测试试总总结结 将将对对以以后后有有价价值值的的数数据据和和文文档档收收集集入入库库 测试需求分析测试需求分析-4.2.2.1 n实验室对测评任务进行测试需求分析：实验室对测评任务进行测试需求分析：n进行测试需求分析的测试依据是：进行测试需求分析的测试依据是：n软件测评任务书；软件测评任务书；n合同或其他等效文件；合同或其他等效文件；n以及被测软件的需求规格说明或设计文档。以及被测软件的需求规格说明或设计文档。测试需求分析的内容测试需求分析的内容n确定需要的确定需要的测试类型测试类型：功能测试、性能测试
10、等：功能测试、性能测试等类型；类型；n确定需要的确定需要的测试要求测试要求，包括：，包括：n状态；状态；n接口；接口；n数据结构；数据结构；n设计约束等要求。设计约束等要求。n标识类型和要求，标识类型和要求，标识标识应清晰、便于识别。应清晰、便于识别。n确定测试类型中的各个测试项及其优先级。确定测试类型中的各个测试项及其优先级。测试类型和测试要求均测试类型和测试要求均应与合同中规定相匹配；应与合同中规定相匹配；测试需求分析还要确定测试测试需求分析还要确定测试要求，要有具体的内容，应要求，要有具体的内容，应该保证可测试性。该保证可测试性。标识的目的是为了后续使用，标识的目的是为了后续使用，一般应
11、保证标识的唯一性。一般应保证标识的唯一性。测试需求分析测试需求分析-4.2.2.2 和和4.2.2.4 n应建立测试类型中的测试项与应建立测试类型中的测试项与测试依据测试依据的追踪的追踪关系。关系。n应将测试需求分析结果，按所应将测试需求分析结果，按所确定的文档确定的文档要求要求形成测试需求规格说明。形成测试需求规格说明。n测试需求规格说明测试需求规格说明应经过应经过评审评审，并应受到变更，并应受到变更控制和版本控制。控制和版本控制。软件测评任务书、合同或其他等效文件、软件测评任务书、合同或其他等效文件、以及被测软件的需求规格说明或设计文档以及被测软件的需求规格说明或设计文档必须的要求，有独立
12、的测必须的要求，有独立的测试需求规格说明，其格式试需求规格说明，其格式可由实验室自行定义可由实验室自行定义测试需求规格说明的管理要求：测试需求规格说明的管理要求：经过评审；经过评审；受到管理和控制受到管理和控制是同行评审的概念：是同行评审的概念：要关注评审，有效的评审是提要关注评审，有效的评审是提高测试质量的最好的方法高测试质量的最好的方法测试策划测试策划-4.2.3.14.2.3.4n实验室应根据测试依据进行测试策划；实验室应根据测试依据进行测试策划；n策划的内容策划的内容；n实验室应建立测试计划与测试需求规格说明的实验室应建立测试计划与测试需求规格说明的追踪关系追踪关系；n实验室应将的测试
13、策划结果，按实验室应将的测试策划结果，按所确定的文档所确定的文档要求要求形成测试计划；形成测试计划；n测试计划测试计划应经过评审，并应受到变更控制和版应经过评审，并应受到变更控制和版本控制。本控制。在计划中，建立计划在计划中，建立计划与需求的追踪表与需求的追踪表测试计划是有格式要测试计划是有格式要求的文档，格式可由求的文档，格式可由实验室自行规定实验室自行规定测试计划的管理：测试计划的管理：经过评审；经过评审；受到管理和控制受到管理和控制测试设计和实现测试设计和实现-4.2.4.1 n实验室应根据测试需求规格说明和测试计划进实验室应根据测试需求规格说明和测试计划进行测试设计和实现；行测试设计和
14、实现；n应完成如下工作：应完成如下工作：n设计设计测试用例测试用例；n准备和验证所有的测试用数据；准备和验证所有的测试用数据；n确定测试用例的执行顺序；确定测试用例的执行顺序；n准备并获取准备并获取测试资源测试资源；n必要时，编写测试执行需要的必要时，编写测试执行需要的程序程序；n建立和校核测试环境，记录和标识测试环境偏差。建立和校核测试环境，记录和标识测试环境偏差。将测试项进行分解，针将测试项进行分解，针对分解后的每种情况设对分解后的每种情况设计测试用例；计测试用例；如测试环境所必须如测试环境所必须的软、硬件资源等的软、硬件资源等如开发部件测如开发部件测试的驱动模块试的驱动模块和桩模块以及和
15、桩模块以及测试支持软件测试支持软件等等测试设计和实现测试设计和实现-4.2.4.24n实验室应将测试策划的工作结果，按照实验室应将测试策划的工作结果，按照所确定所确定的文档要求的文档要求编写编写测试说明测试说明；n确定测试说明与测试计划的追踪关系，给出清确定测试说明与测试计划的追踪关系，给出清晰、明确的追踪表。晰、明确的追踪表。n测试说明的管理要求：测试说明的管理要求：n应经过评审，得到相关人员的认同；应经过评审，得到相关人员的认同；n受到变更控制和版本控制；受到变更控制和版本控制；n根据测试实际情况，修订测试说明。根据测试实际情况，修订测试说明。测试说明是有格式测试说明是有格式要求的文档要求
16、的文档测试设计和实现测试设计和实现-4.2.4.5 n测试就绪评审：测试就绪评审：n在测试计划评审和测试说明评审后，还必须进行在测试计划评审和测试说明评审后，还必须进行测试就绪评审，以确定能否开始执行测试；测试就绪评审，以确定能否开始执行测试；n当测试说明评审与测试就绪评审同时进行时，应当测试说明评审与测试就绪评审同时进行时，应分别有相应的评审记录。分别有相应的评审记录。测试设计和实现测试设计和实现-4.2.4.5n测试就绪评审要求：测试就绪评审要求：n审查测试文档内容的完整性、正确性和规范性；审查测试文档内容的完整性、正确性和规范性；n通过比较测试环境与软件真实运行的软件、硬件通过比较测试环
17、境与软件真实运行的软件、硬件环境的差异，审查测试环境要求是否正确合理、环境的差异，审查测试环境要求是否正确合理、满足测试要求；满足测试要求；n审查测试活动的审查测试活动的独立性和公正性独立性和公正性；n审查测试说明评审的有效性，如是否评审了测试审查测试说明评审的有效性，如是否评审了测试项选择的完整性和合理性、测试用例的可行性和项选择的完整性和合理性、测试用例的可行性和充分性。充分性。没有利益关系，没有利益关系，人员具有独立性人员具有独立性测试执行测试执行-4.2.5.14.2.5.2 n实验室应按照测试计划和测试说明的内容和实验室应按照测试计划和测试说明的内容和要求执行测试。要求执行测试。n实
18、验室应实验室应如实填写如实填写测试的原始记录，原始记测试的原始记录，原始记录应（录应（）：）：n受到严格管理；受到严格管理；n规范格式；规范格式；n至少至少包括测试用例标识、测试结果和发现的缺陷。包括测试用例标识、测试结果和发现的缺陷。及时、真实、完整及时、真实、完整支持问题可再现，证明所有设支持问题可再现，证明所有设计的用例均得到执行计的用例均得到执行测试执行测试执行-4.2.5.34.2.5.4 n实验室应根据每个测试用例的实验室应根据每个测试用例的期望测试结果期望测试结果、实际测试结果实际测试结果和和评估准则评估准则，判定测试用例是否，判定测试用例是否通过。通过。n当测试用例不通过时，实
19、验室应根据不同的缺当测试用例不通过时，实验室应根据不同的缺陷类型，采取相应的措施：陷类型，采取相应的措施：n对测试工作中的对测试工作中的缺陷缺陷，记录到相应的表格中（如，记录到相应的表格中（如问题及变更报告问题及变更报告），并实施相应的变更；），并实施相应的变更；n对被测软件的对被测软件的缺陷缺陷应记录到软件问题报告中；软应记录到软件问题报告中；软件问题报告的格式应规范。件问题报告的格式应规范。如测试用例缺陷、测试数据缺陷、执行测试步骤如测试用例缺陷、测试数据缺陷、执行测试步骤时的缺陷、测试环境中的缺陷等，时的缺陷、测试环境中的缺陷等，设计测试用例时，应确定期望的测试设计测试用例时，应确定期望
20、的测试结果和评估准则。结果和评估准则。测试执行测试执行-4.2.5.5n当所有的测试用例都执行完毕后，实验室应根当所有的测试用例都执行完毕后，实验室应根据测试的据测试的充分性充分性要求和有关原始记录，分析测要求和有关原始记录，分析测试工作是否充分，是否需要进行补充测试：试工作是否充分，是否需要进行补充测试：n当正常终止时，如果发现测试工作不足，或测试当正常终止时，如果发现测试工作不足，或测试未达到预期要求时，应进行补充测试。补充测试未达到预期要求时，应进行补充测试。补充测试应视情况按应视情况按4.2.24.2.4的要求进行；的要求进行；n当异常终止时，应记录导致终止的条件、未完成当异常终止时，
21、应记录导致终止的条件、未完成的测试或未被修正的错误。的测试或未被修正的错误。功能覆盖、路径覆盖、渔具覆功能覆盖、路径覆盖、渔具覆盖、分枝覆盖盖、分枝覆盖测试总结测试总结-4.2.6.1 n实验室应根据实验室应根据测试依据测试依据和测试文档对测试工作和被和测试文档对测试工作和被测软件进行分析和测软件进行分析和评价评价；n并将对以后有价值的数据和文档收集入库。并将对以后有价值的数据和文档收集入库。n测试文档包括：测试文档包括：n测试需求规格说明；测试需求规格说明；n测试计划；测试计划；n测试说明；测试说明；n测试记录、问题及变更报告和软件问题报告等；测试记录、问题及变更报告和软件问题报告等；n测试
22、报告和测试报告和/或测评报告。或测评报告。软件测评任务书、合软件测评任务书、合同（其他等效文件）、同（其他等效文件）、被测软件文档被测软件文档 评价的准确性决定于评价的准确性决定于测试活动进行的程度。测试活动进行的程度。测试总结测试总结-4.2.6.2 n实验室应对实验室应对测试工作测试工作进行分析和评价；进行分析和评价；n分析和评价包括：分析和评价包括：n总结测试需求规格说明、测试计划和测试说明的总结测试需求规格说明、测试计划和测试说明的变化情况变化情况及其原因；及其原因；n在测试异常终止时，说明未能被测试活动充分覆在测试异常终止时，说明未能被测试活动充分覆盖的范围及其理由；盖的范围及其理由
23、；n确定无法解决的软件测试事件并说明不能解决的确定无法解决的软件测试事件并说明不能解决的理由。（总结报告）理由。（总结报告）测试过程测试过程结合配置管理结合配置管理测试过程测试过程测试总结测试总结-4.2.6.3 n实验室对被测软件进行分析和评价；实验室对被测软件进行分析和评价；n分析和评价包括：分析和评价包括：n总结测试中所反映的被测软件与软件需求（或软总结测试中所反映的被测软件与软件需求（或软件设计）之间的件设计）之间的差异差异；n可能时可能时，根据差异评价被测软件的设计与实现，根据差异评价被测软件的设计与实现，提出改进的建议；提出改进的建议；n当进行配置项测试或系统测试时，当进行配置项测
24、试或系统测试时，需要时需要时，测试，测试总结中应对配置项或系统的性能做出评估，指明总结中应对配置项或系统的性能做出评估，指明偏差、缺陷和约束条件等对于配置项或系统运行偏差、缺陷和约束条件等对于配置项或系统运行的影响。的影响。软件问题报告软件问题报告可以可以裁减裁减有性能测试要求时，要说明偏差、有性能测试要求时，要说明偏差、缺陷和约束条件对软件运行的影响。缺陷和约束条件对软件运行的影响。测试总结测试总结-4.2.6.4n实验室应分析本测评项目中的实验室应分析本测评项目中的数据和文档数据和文档，以，以供以后的测试使用；供以后的测试使用；n数据如：数据如：n缺陷数据（包括缺陷描述、类型、严重性等）；
25、缺陷数据（包括缺陷描述、类型、严重性等）；n用例数据；用例数据；n管理数据（如生产率、工作量、进度等）；管理数据（如生产率、工作量、进度等）；n文档如：文档如：n好的用例设计；好的用例设计；n好的需求规格说明等。好的需求规格说明等。实验室自我总结和提实验室自我总结和提高的过程。在高的过程。在CMM中中建立过程资产库建立过程资产库测试总结测试总结-4.2.6.5（）n实验室应根据实验室应根据测试依据测试依据和和测试文档测试文档，对测试结，对测试结果和问题进行分类和总结，按所确定的文档要果和问题进行分类和总结，按所确定的文档要求编写测试报告或测评报告；求编写测试报告或测评报告；n测评报告应包括：测
26、评报告应包括：n对测试结果的分析；对测试结果的分析；n对被测软件的评价和建议。对被测软件的评价和建议。n测评报告测评报告和和测试报告测试报告有时可以合并。有时可以合并。软件测评任务书、合同（其软件测评任务书、合同（其他等效文件）、被测软件文他等效文件）、被测软件文档档测试需求规格说明、测试测试需求规格说明、测试计划、测试说明、测试记计划、测试说明、测试记录和软件问题报告等录和软件问题报告等测试报告：测试报告：测评报告：测评报告：测试总结测试总结-4.2.6.6 n实验室应进行测试总结评审；实验室应进行测试总结评审；n评审应在评审应在4.2.6.14.2.6.5的各项工作完成后进行，的各项工作完
27、成后进行，以确定是否达到测试目的，并给出评审结论；以确定是否达到测试目的，并给出评审结论；n测试总结评审的求是审查：测试总结评审的求是审查：n测试文档与记录内容的完整性、正确性和规范性；测试文档与记录内容的完整性、正确性和规范性；n测试活动的独立性和有效性；测试活动的独立性和有效性；n测试环境是否符合测试要求；测试环境是否符合测试要求；n软件测试报告与软件测试原始记录和问题报告的一致性；软件测试报告与软件测试原始记录和问题报告的一致性；n实际测试过程与测试计划和测试说明的一致性；实际测试过程与测试计划和测试说明的一致性；n测试说明评审的有效性，如是否评审了测试项选择的完整测试说明评审的有效性，
28、如是否评审了测试项选择的完整性和合理性、测试用例的可行性和充分性；性和合理性、测试用例的可行性和充分性；n测试结果的真实性和正确性。测试结果的真实性和正确性。策划的内容策划的内容-1n确定测试确定测试策略策略；n确定测试需要的确定测试需要的技术技术或方法；或方法；n确定要受控制的测试工作产品，列出清单；确定要受控制的测试工作产品，列出清单；n确定每个测试项的测试确定每个测试项的测试充分性充分性要求；要求；如部件测试策略如部件测试策略如测试数据生成与验证如测试数据生成与验证技术、测试数据输入技技术、测试数据输入技术、测试结果获取技术术、测试结果获取技术根据被测软件的重要性、测试根据被测软件的重要
29、性、测试目标和约束条件，确定每个测目标和约束条件，确定每个测试项应覆盖的范围及范围所要试项应覆盖的范围及范围所要求的覆盖程度求的覆盖程度策划的内容策划的内容-2n确定每个测试项测试终止的要求：确定每个测试项测试终止的要求：n包括测试过程正常终止的条件（如测试充分性是包括测试过程正常终止的条件（如测试充分性是否达到要求）；否达到要求）；n导致测试过程异常终止的可能情况；导致测试过程异常终止的可能情况；n确定用于测试的确定用于测试的资源要求资源要求；n进行测试进行测试风险分析风险分析；n确定测试任务的确定测试任务的结束条件结束条件；包括软硬件设备、包括软硬件设备、环境条件、人员数环境条件、人员数量
30、和技能等要求量和技能等要求如技术风险、人员风险、如技术风险、人员风险、资源风险和进度风险等资源风险和进度风险等根据测试需求和被测软根据测试需求和被测软件的特点确定结束条件件的特点确定结束条件策划的内容策划的内容-3n确定被测软件的评价准则和方法；确定被测软件的评价准则和方法；n确定测试活动的确定测试活动的进度进度；n确定需采集的度量及采集要求：确定需采集的度量及采集要求：n应根据测试的要求，确定要采集的度量；应根据测试的要求，确定要采集的度量；n特别是测试需求度量、用例度量、风险度量、缺特别是测试需求度量、用例度量、风险度量、缺陷度量等；陷度量等；n应明确相应的数据库。应明确相应的数据库。应根
31、据测试资源和应根据测试资源和测试项，确定进度测试项，确定进度测试说明的内容测试说明的内容-1nA）测试名称和项目标识；）测试名称和项目标识；nB）测试用例的）测试用例的追踪追踪；nC）测试用例）测试用例说明说明；nD）测试用例的初始化要求，包括：）测试用例的初始化要求，包括：n硬件配置；硬件配置；n软件配置（包括测试的初始条件）；软件配置（包括测试的初始条件）；n测试配置（如用于测试的模拟系统和测试工具）；测试配置（如用于测试的模拟系统和测试工具）；n参数设置（如测试开始前对断点、指针、控制参参数设置（如测试开始前对断点、指针、控制参数和初始化数据的设置）等的初始化要求。数和初始化数据的设置）
32、等的初始化要求。说明测试所依据的内容说明测试所依据的内容来源，并跟踪到相应的来源，并跟踪到相应的测试项的标识（编号）测试项的标识（编号）简要描述测试的对象、目简要描述测试的对象、目的和所采用的测试方法；的和所采用的测试方法；测试说明的内容测试说明的内容-2nE）测试用例的输入；）测试用例的输入；n每个测试用例输入的描述中包括：每个测试用例输入的描述中包括：n1)每个测试输入的名称、用途和具体每个测试输入的名称、用途和具体内容内容及其及其性性质质；n2)测试输入的测试输入的来源来源，以及选择输入所使用的，以及选择输入所使用的方法方法；n3)测试输入是真实的还是模拟的；测试输入是真实的还是模拟的；
33、n4)测试输入的时间顺序或事件顺序。测试输入的时间顺序或事件顺序。来源：如测试程序产生、磁盘文件、通过网来源：如测试程序产生、磁盘文件、通过网络接收、人工键盘输入等；络接收、人工键盘输入等；方法：如等价类划分、边界值分析、猜错法、方法：如等价类划分、边界值分析、猜错法、因果图以及功能图等因果图以及功能图等内容：如确定的数值、状态或信号等；内容：如确定的数值、状态或信号等；性质：如有效值、无效值、边界值等性质：如有效值、无效值、边界值等测试说明的内容测试说明的内容-3nF）测试用例的期望测试结果；）测试用例的期望测试结果；n期望测试结果应有期望测试结果应有具体具体内容，不应是不确切的内容，不应是
34、不确切的概念或笼统的描述；概念或笼统的描述；n必要时，应提供中间的期望结果；必要时，应提供中间的期望结果；如确定的数值、状如确定的数值、状态或信号等。态或信号等。测试说明的内容测试说明的内容-4nG）测试用例的测试结果）测试用例的测试结果评估准则评估准则；n评估准则应根据不同情况提供相关信息，如：评估准则应根据不同情况提供相关信息，如：n1)实际测试结果所需的精确度；实际测试结果所需的精确度；n2)允许的实际测试结果与期望结果之间差异的上、下限；允许的实际测试结果与期望结果之间差异的上、下限；n3)时间的最大或最小间隔；时间的最大或最小间隔；n4)事件数目的最大或最小值；事件数目的最大或最小值
35、；n5)实际测试结果不确定时，重新测试的条件；实际测试结果不确定时，重新测试的条件；n6)与产生测试结果有关的出错处理；与产生测试结果有关的出错处理；n7)其它有关准则。其它有关准则。是用以判断测试用例是用以判断测试用例执行中产生的中间或执行中产生的中间或最后结果是否正确。最后结果是否正确。测试说明的内容测试说明的内容-5nH）实施测试用例的）实施测试用例的执行步骤执行步骤；n执行步骤应包括：执行步骤应包括：n1)每一步所需的测试操作动作、测试程序输入或每一步所需的测试操作动作、测试程序输入或设备操作等；设备操作等；n2)每一步期望的测试结果；每一步期望的测试结果；n3)每一步的评估准则；每一
36、步的评估准则；n4)导致被测程序执行终止伴随的动作或指示信息；导致被测程序执行终止伴随的动作或指示信息；n5)需要时，获取和分析中间结果的方法。需要时，获取和分析中间结果的方法。按照执行顺序排列的一按照执行顺序排列的一系列相对独立的步骤系列相对独立的步骤测试说明的内容测试说明的内容-6ni)测试用例的前提和约束，并要说明它们对测试用例的前提和约束，并要说明它们对测试用例的影响。前提和约束如：测试用例的影响。前提和约束如：n特别限制；特别限制；n参数偏差；参数偏差；n或异常处理等。或异常处理等。nj)测试终止条件，包括：测试终止条件，包括：n测试正常终止；测试正常终止；n异常终止的条件。异常终止
37、的条件。4.3 项目管理项目管理n需求管理需求管理n策划管理策划管理n跟踪与控制跟踪与控制n质量保证质量保证n配置管理配置管理项目管理各过程的关系项目管理各过程的关系配置管理配置管理质量保证质量保证跟踪和控制跟踪和控制需求管理需求管理策划管理策划管理测试需求规格说明测试需求规格说明测试计划测试计划测试说明，程序等测试说明，程序等测试报告测试报告测试日志，问题报告测试日志，问题报告测试过程测试过程测试设计和实现测试设计和实现测试执行测试执行测试总结测试总结测试需求分析测试需求分析测试策划测试策划文档和记录的管理文档和记录的管理与配置管理一致；与配置管理一致；项目管理总结项目管理总结n需求管理：应
38、评审需求，建立基线，保持计划、活需求管理：应评审需求，建立基线，保持计划、活动和工作产品与需求一致；动和工作产品与需求一致；n策划管理：计划应基于估计，不断细化，得到认同，策划管理：计划应基于估计，不断细化，得到认同，并受到管理和控制；并受到管理和控制；n跟踪和控制：应建立机制，有跟踪基准，确定明显跟踪和控制：应建立机制，有跟踪基准，确定明显偏离，纠正措施跟踪到结束；偏离，纠正措施跟踪到结束；n质量保证：有计划，保持独立性和客观性，高管处质量保证：有计划，保持独立性和客观性，高管处理争议，情况要通报；理争议，情况要通报；n配置管理：有计划，配置项要标识，发布和变更要配置管理：有计划，配置项要标
39、识，发布和变更要受控，情况要通报。受控，情况要通报。需求管理需求管理-4.3.2.14.3.2.2 n测评项目需求管理的对象是测评需求；测评项目需求管理的对象是测评需求；n测评需求应根据不同的测试级别而定，一般指：测评需求应根据不同的测试级别而定，一般指：n软件测评任务书；软件测评任务书；n合同或其他等效文件；合同或其他等效文件；n技术附件：包括被测软件需求规格说明、被测软技术附件：包括被测软件需求规格说明、被测软件设计文档以及用户手册等。件设计文档以及用户手册等。n实验室应在测评项目的整个生存期内对测评需实验室应在测评项目的整个生存期内对测评需求进行管理。求进行管理。需求管理需求管理-4.3
40、.2.3（）n测评项目需求管理应：测评项目需求管理应：n评审评审测评项目的需求和需求变更，包括评审测评测评项目的需求和需求变更，包括评审测评需求的可测性、完备性、一致性；需求的可测性、完备性、一致性；n建立测评项目的需求建立测评项目的需求基线基线，控制和管理测评项目，控制和管理测评项目的需求和需求变更；的需求和需求变更；n有措施保证测试需求规格说明、测试计划、测试有措施保证测试需求规格说明、测试计划、测试活动和测试工作产品与测评需求相一致。活动和测试工作产品与测评需求相一致。视情况测评项目需求评审视情况测评项目需求评审可以与合同评审一起进行可以与合同评审一起进行使用配置管理技术，使用配置管理技
41、术，管理测评需求管理测评需求需求管理需求管理n建立条目化的测评需求；建立条目化的测评需求；n后续工作产品使用追溯表与上游文档建立追溯后续工作产品使用追溯表与上游文档建立追溯关系；关系；n变更控制。变更控制。测测评评需需求求测试需求测试需求规格说明规格说明测试计划测试计划测试测试/评报告评报告测试记录测试记录测试说明测试说明测试活动测试活动策划管理策划管理-4.3.3.1 4.3.3.2 n测评项目策划管理应贯穿测评项目的整个生存测评项目策划管理应贯穿测评项目的整个生存周期。周期。n测评项目策划管理的内容包括：测评项目策划管理的内容包括：n制定测试计划（如进度、人员安排）时应基于对制定测试计划（
42、如进度、人员安排）时应基于对软件测试工作量和资源的软件测试工作量和资源的估计估计；n应根据应根据测试实际情况测试实际情况，对测试计划不断细化和修，对测试计划不断细化和修订；订；n应应评审评审测试计划，并得到各有关方的认同；测试计划，并得到各有关方的认同；n测试计划应受到版本控制和变更控制。测试计划应受到版本控制和变更控制。计划基于估计，可计划基于估计，可以使用历史数据进以使用历史数据进行行计划应具有可执行性，不计划应具有可执行性，不能一成不变，变是永恒的能一成不变，变是永恒的关注点在于与需关注点在于与需求相比测试工作求相比测试工作的安排没有遗漏，的安排没有遗漏，并可行。并可行。跟踪与控制跟踪与
43、控制-4.3.4.1 n实验室应建立内部跟踪与控制机制，明确：实验室应建立内部跟踪与控制机制，明确：n跟踪跟踪什么什么；n由由谁谁跟踪跟踪；n如何如何跟踪跟踪；n以及跟踪以及跟踪频度频度等。等。确定要跟踪的元素，如确定要跟踪的元素，如工作量、用例数、进度工作量、用例数、进度等，等，指派确定的人跟踪，如指派确定的人跟踪，如测试项目负责人、张三测试项目负责人、张三等，等，采用什么方式跟踪，跟采用什么方式跟踪，跟踪的数据的记录方式踪的数据的记录方式跟踪的间隔，单周跟踪的间隔，单周/双周；双周；里程碑等里程碑等跟踪与控制跟踪与控制-4.3.4.2 n实验室应按照测试计划和测试说明，跟踪测评实验室应按照
44、测试计划和测试说明，跟踪测评项目的实施情况；项目的实施情况；n具体包括：具体包括：n跟踪实际结果和跟踪实际结果和性能性能，如进度、工作量和测试的，如进度、工作量和测试的充分性等；充分性等；n跟踪和评价测试人员工作的跟踪和评价测试人员工作的有效性有效性；n跟踪和评价跟踪和评价测试工具测试工具的使用情况。的使用情况。对按计划实施项目所得对按计划实施项目所得到的实际结果的一种度到的实际结果的一种度量。量。工作结果与所花工作结果与所花费工作量的一种费工作量的一种规格化度量规格化度量工具名称和版本、测工具名称和版本、测试类型、发现缺陷情试类型、发现缺陷情况、使用人员等况、使用人员等跟踪与控制跟踪与控制-
45、4.3.4.3 n实验室应将测试计划和测试说明作为跟踪的基实验室应将测试计划和测试说明作为跟踪的基准；准；n当实际的进度、工作量和测试的充分性等当实际的进度、工作量和测试的充分性等明显明显偏离偏离测试计划和测试说明时，实验室应采取纠测试计划和测试说明时，实验室应采取纠正措施；正措施；n纠正措施应加以管理直到结束。纠正措施应加以管理直到结束。应明确定义明显应明确定义明显的概念，适用阈的概念，适用阈值可以确定。如：值可以确定。如：偏离偏离20%质量保证质量保证-4.3.5.14.3.5.2 n实验室应有措施保证测评项目实验室应有措施保证测评项目正正在运行的过程在运行的过程和和正正在形成的工作产品，
46、在形成的工作产品，符合符合相应的技术文件相应的技术文件要求。要求。n实验室应：实验室应：n编制测评项目编制测评项目质量保证计划质量保证计划；n对质量保证计划进行评审；对质量保证计划进行评审；n并按计划执行。并按计划执行。两个两个“正正”字，说明审字，说明审核时机、审核间隔、核时机、审核间隔、QA的工作是符合性审的工作是符合性审核，检查表是必须的。核，检查表是必须的。质量保证质量保证-4.3.5.3 n测评项目的质量保证内容包括：测评项目的质量保证内容包括：n质量保证人员质量保证人员应客观地应客观地验证工作产品及其活动遵验证工作产品及其活动遵循所用标准、规程和需求的情况；循所用标准、规程和需求的
47、情况；n质量保证人员应将测评项目质量保证活动的结果质量保证人员应将测评项目质量保证活动的结果通知到通知到相关人员；相关人员；n最高领导层应负责处理在测评项目组内无法解决最高领导层应负责处理在测评项目组内无法解决的问题。的问题。n注：当测评项目较小时，可以由项目组成员承担质量保证工注：当测评项目较小时，可以由项目组成员承担质量保证工作，但必须保持相对的独立性和客观性作，但必须保持相对的独立性和客观性。不由不由QA个人决定个人决定对错和好坏，有标对错和好坏，有标准、规程等约束准、规程等约束让所有受影响的人了解，及时纠正让所有受影响的人了解，及时纠正不符合，预防不符合的再次发生。不符合，预防不符合的
48、再次发生。配置管理配置管理-4.3.6.14.3.6.2 n实验室应在测评项目的实验室应在测评项目的整个生存期整个生存期内，对测评内，对测评项目进行配置管理，保证工作产品的完整性。项目进行配置管理，保证工作产品的完整性。n实验室应：实验室应：n编制测评项目配置管理计划；编制测评项目配置管理计划；n对配置管理计划进行评审；对配置管理计划进行评审；n并按计划执行配置管理。并按计划执行配置管理。从项目起始到项目结束，从项目起始到项目结束，全部要实施配置管理，全部要实施配置管理，包括：包括：测试需求规格说明；测试需求规格说明；测试工作产品；测试工作产品；测试环境等。测试环境等。必要时，包括被测件。必要
49、时，包括被测件。配置管理配置管理-4.3.6.3（）n测评项目的配置管理应保证：测评项目的配置管理应保证：n所选定的所选定的工作产品工作产品及其描述、测试工具和及其描述、测试工具和测试环测试环境境等，是已标识的、受控的和可用的；等，是已标识的、受控的和可用的；n已标识的工作产品的已标识的工作产品的更改和发布更改和发布是受控的；是受控的；n基线的状态和内容基线的状态和内容通知到通知到各相关人员。各相关人员。工具和环境工具和环境等也是配置等也是配置项，用于确项，用于确定缺陷的再定缺陷的再现等。现等。配置项：配置项：测试需求规格说明；测试需求规格说明；测试计划、测试说明、测试计划、测试说明、测试报告
50、等；测试报告等；测试日志；问题报告；测试日志；问题报告；版本受控和变更受控版本受控和变更受控.让受影响的各方都了解让受影响的各方都了解配置管理的情况配置管理的情况.基线、三库及配置项基线、三库及配置项产品库产品库软件测试报告软件测试报告各个受控库内容各个受控库内容需求需求基线基线产品产品实现实现测试测试开发库开发库需求分析需求分析设计与设计与实现实现测试总结测试总结测试执行测试执行受控库受控库需求规格说明需求规格说明 软件测试计划软件测试计划软件测试说明软件测试说明源代码源代码可执行代码可执行代码测试记录测试记录问题报告问题报告 测试报告测试报告基于三库的变更控制过程基于三库的变更控制过程 执
