软件评测国家标准及质量特性测试方法介绍课件.ppt

1、 山东省软件评测中心 杨美红2003年8月27日国家标准介绍内容提要标准化意义讲座目的适用对象标准及测试方法介绍第三方中立测试机构总结2003年8月27日国家标准介绍标准化意义标准是对重复性事物和概念所作的统一规定。它以科学技术和实践经验的综合成果为基础，按照法定程序，经过参与方协商一致，由某个公认机构批准、发布，作为相关各方共同遵守的准则和依据标准化在经济、技术、科学和管理等社会实践中，通过制定、实施标准达到统一，以获得最佳秩序和社会效益的过程标准化作用及意义国际贸易的促进推动作用保护作用、协调作用、优化作用对供需双方意义2003年8月27日国家标准介绍讲座目的使企业了解与软件产品质量要求相

2、关的国家标准使企业了解如何衡量软件产品的质量使企业发现自身软件产品存在的问题和不足使企业的软件产品符合国家标准的质量要求有利于企业软件产品顺利通过第三方评测机构的产品符合性测试为软件用户定义产品质量要求提供依据2003年8月27日国家标准介绍适用对象软件开发企业测试中心或测试实验室软件用户2003年8月27日国家标准介绍国家标准GB/T 16260-1996(ISO/IEC 9126:1991)信息技术软件产品评价质量特性及其使用指南GB/T 17544-1998(ISO/IEC 12119:1994)信息技术软件包质量要求和测试2003年8月27日国家标准介绍标准介绍 GB/T 16260-

3、1996适用范围软件质量特性软件质量评价2003年8月27日国家标准介绍GB/T 16260-1996 适用范围适用于对软件产品质量需求的确定以及在软件生存期中对软件产品质量的评价适用于各种软件，包括固件中的计算机程序和数据适合获取、开发、使用、支持、维护或审计软件的人员使用2003年8月27日国家标准介绍软件质量特性质量特性功能性可移植性可靠性易用性效率可维护性适合性准确性互用性依从性安全性成熟性容错性易恢复性易理解性易学性易操作性时间特性资源特性易分析性易改变性稳定性易测试性适应性易安装性遵循性替换性2003年8月27日国家标准介绍软件质量特性功能性：与一组功能及其指定的性质有关的一组属性

4、可靠性：与在规定的一段时间和条件下，软件维持其性能水平的能力有关的一组属性易用性：与一组规定或潜在的用户为使用软件所需作的努力和对这样的使用所作的评价有关的一组属性效率：与在规定的条件下，软件的性能水平与所使用资源量之间关系有关的一组属性可维护性：与进行指定的修改所需的努力有关的一组属性可移植性：与软件可从某一环境转移到另一环境的能力有关的一组属性2003年8月27日国家标准介绍软件质量特性 功能性适合性：与规定任务能否提供一组功能以及这组功能的适合程度有关的软件属性准确性：与能否得到正确或相符的结果或效果有关的软件属性互用性：与同其他指定系统进行交互的能力有关的软件属性依从性：使软件遵循有关

5、的标准、约定、法规及类似规定的软件属性安全性：与防止对程序及数据的非授权的故意或意外访问的能力有关的软件属性2003年8月27日国家标准介绍软件质量特性 可靠性成熟性：与由软件故障引起失效的频度有关的软件属性容错性：与在软件故障或违反指定接口的情况下，维持规定的性能水平的能力有关的软件属性易恢复性：与在失效发生后，重建其性能水平并恢复直接受影响数据的能力以及为达此目的所需的时间和能力有关的软件属性2003年8月27日国家标准介绍软件质量特性 易用性易理解性：与用户为认识逻辑概念及其应用范围所花的努力有关的软件属性易学性：与用户为学习软件应用所花的努力有关的软件属性易操作性：与用户为操作和运行控

6、制所花努力有关的软件属性2003年8月27日国家标准介绍软件质量特性 效率时间特性：与软件执行其功能时响应和处理时间以及吞吐量有关的软件属性资源特性：与在软件执行其功能时所使用的资源数量及其使用时间有关的软件属性2003年8月27日国家标准介绍软件质量特性 可维护性易分析性：与为诊断缺陷或失效原因及为判定待修改的部分所需努力有关的软件属性易改变性：与进行修改、排除错误或适应环境变化所需努力有关的软件属性稳定性：与修改所造成的未预料结果的风险有关的软件属性易测试性：与确认已修改软件所需的努力有关的软件属性2003年8月27日国家标准介绍软件质量特性 可移植性适应性：与软件无需采用有别于为该软件准

7、备的活动或手段就可能适应不同的规定环境有关的软件属性易安装性：与在指定环境下安装软件所需努力有关的软件属性遵循性：使软件遵循与可移植性有关的标准或约定的软件属性易替换性：与软件在该软件环境中用来替代指定的其他软件的机会和努力有关的软件属性2003年8月27日国家标准介绍质量特性使用定义软件质量需求，评价软件产品定义软件产品质量需求评价软件规格说明在开发期间是否满足质量需求描述已实现的软件的特征和属性（如用户手册）对开发的软件在未交付使用前进行评价软件质量观点用户观点：功能、可靠、效率、易用、可移植开发者观点：除用户观点外，必须体现可维护管理者观点：关注总体质量，权衡进度、成本、质量2003年8

8、月27日国家标准介绍软件质量评价评价目的确定产品是否通过验收，确定何时发布产品与其他类似产品相比较，对产品进行选择在使用该产品时评估其正面及负面的影响确定何时优化或替换该产品评价步骤质量需求定义评价准备评价过程2003年8月27日国家标准介绍软件质量评价 质量需求定义根据质量特性和可能的子特性来规定需求需求表达了环境对被评价软件的要求，必须在开发前定义当软件产品分解成若干主要组成部分时，从总的产品需求衍生出来对各个组成部分的需求就可能有所不同2003年8月27日国家标准介绍软件质量评价 评价准备质量度量的选择等级定义评估准则定义2003年8月27日国家标准介绍软件质量评价 评价准备质量度量的选

9、择对质量特性进行定义所采用的方式不提供对它们的直接测量，需要建立与软件产品的特性相关的度量度量可以因不同的环境和不同的开发阶段而异根据用户观点采用的度量是关键的2003年8月27日国家标准介绍软件质量评价 评价准备等级定义对可定量的特征可用质量度量来定量地测量，将测试结果与预先定义好的等级（如规定达到什么程度为优秀，达到什么程度为良好，达到什么程度为合格，什么情况下为差）比较，得到该软件特性的评价结果质量与给定需求有关，不可能有通用的等级每一次具体的评价都必须对等级进行定义2003年8月27日国家标准介绍软件质量评价 评价准备评估准则定义为了评估产品质量，必须把不同特性的评价结果加以归纳使用决

10、策表或加权平均法，同时可以考虑其他因素，如在特定环境下对软件产品质量评估有影响的时间和成本应根据质量特性的重要程度确定其权值质量特性的重要程度可以根据软件类型的不同而有所不同对于任务关键型的系统软件，其可靠性是最重要的对于时间关键型的实时软件系统，其效率是最重要的对于交互终端用户软件，其易用性是最重要的2003年8月27日国家标准介绍软件质量评价 评价过程测量：把选定的度量应用到软件产品上去进行的活动评级：根据等级定义确定某一测量值的等级评估：将一组评出的等级加以归纳，得出软件产品质量报告。最后管理人员将归纳的质量与其他方面诸如时间和成本进行比较，根据管理准则作出决策，决定该产品是否通过验收或

11、者是否发行给出评价结果时，必须说明评价所使用的度量、等级以及准则2003年8月27日国家标准介绍标准介绍 GB/T 17544-1998范围定义质量要求测试细则2003年8月27日国家标准介绍GB/T 17544-1998 范围本标准适用于软件包规定了软件包的质量要求及其测试的细则只涉及到要提供的或要交付的软件包产品期望的用户供方购买者用户2003年8月27日国家标准介绍范围 期望的用户供方规定软件包的要求设计描述产品的格式评价自己的产品申请合格证书或标志购买者用本标准规定的内容来比较他们的要求用现有产品的产品描述中的信息比较期望的工作任务的要求寻求已认证的产品检验要求是否被满足用户可以从更好

12、的产品获益2003年8月27日国家标准介绍GB/T 17544-1998 定义功能需求文档包含由软件包满足的建议、要求或规则的任何组合的文档（如技术或人类工效标准，来自某一组织的需求列表，法律或法令）产品描述陈述软件包性质的文档，其主要目的是帮助潜在的购买者在购买前对产品进行适用性评价用户文档以打印或非打印形式得到的文档的完整集合，用户文档利于产品应用且是产品的必备部分包文档产品描述和用户文档2003年8月27日国家标准介绍GB/T 17544-1998 质量要求产品描述尤其应包含规定信息所要求的内容是可测试的、正确的用户文档程序数据如果一个软件包遵循上述三方面的所有要求，则该软件包符合本标准

13、（建议是可选的）2003年8月27日国家标准介绍产品描述性质：产品描述是产品软件包文档的一部分，提供关于用户文档、程序、数据(如适用)的信息作用：帮助用户或潜在购买者作出产品是否适用的评价；作为测试的基础内容要求2003年8月27日国家标准介绍产品描述 内容要求一般要求标识指示功能说明可靠性说明易用性说明效率说明可维护性说明可移植性说明2003年8月27日国家标准介绍产品描述 一般要求宜是充分可理解的、完整的并且易于浏览的应避免不一致，每个术语的前后意义应相同产品描述的说明应是可测试的并且是正确的2003年8月27日国家标准介绍产品描述 标识指示产品描述应具有唯一的文档标识产品标识应至少有产品

14、名字和版本号或日期产品描述应至少包含一个供方的名字和地址产品描述应标识期望产品能完成的工作任务产品描述应标识所引用的需求文档及其版本应标识产品投入使用所要求的系统配置信息产品描述应标识所引用其他产品接口或产品2003年8月27日国家标准介绍产品描述 标识指示应标识产品要交付的项目，包括文档和媒体应说明产品安装是否由用户来完成应说明是否提供对产品操作的支持应说明是否提供维护及其具体内容2003年8月27日国家标准介绍产品描述 功能说明功能概述应概述产品的用户可调用的功能及其数据和设施边界值应提供会致使产品的使用受限的特定边界值数据 安全应包含有关防止对程序和数据非授权访问的手段2003年8月27

15、日国家标准介绍产品描述 可靠性说明应包含数据存储规程的信息应描述保证产品的功能能力的附加性质检验输入的合理性防止由于用户的错误而产生的严重后果出错恢复2003年8月27日国家标准介绍产品描述 易用性说明用户界面应命名用户界面的类型，如命令行、窗口、功能键要求的知识应规定应用该产品所要求的专门知识和自然语言适应用户的需要应标识能被用户作适应性修改所需的工具和条件防止侵权的行为使用效率和用户满意度2003年8月27日国家标准介绍用户文档完整性产品描述和程序中的用户可用的功能都应被描述正确性所有信息应是正确的，不能有歧义和错误的表达一致性用户文档自身或相互间不应相互矛盾，术语一致易理解性易浏览性每个

16、文档应有目录表、索引表，应提供打印方法2003年8月27日国家标准介绍程序数据功能性可靠性易用性效率可维护性可移植性2003年8月27日国家标准介绍程序数据 功能性安装卸载应能按照安装手册中的信息成功安装和卸载产品功能表现用户文档中提到的所有功能应是可执行且正确的正确性程序和数据应与产品描述、用户文档的说明对应一致性程序和数据本身、与产品描述和用户文档间一致2003年8月27日国家标准介绍程序数据 可靠性系统不应陷入用户无法控制的状态系统既不应崩溃，也不应丢失数据即使在下列条件下，也应满足要求使用的容量到达规定的极限企图使用的容量超出规定的极限由产品描述中列出的程序或用户造成的错误输入用户文档

17、中明确规定的非法指令系统应忽略错误或未经定义的输入2003年8月27日国家标准介绍程序数据 易用性易理解性程序的问题、消息和结果应是易理解和解释的易浏览性媒体标识、程序功能和消息提示应易于辨识可操作性具有严重后果的功能执行应是可逆或警告的鼓励研究和应用 ISO 9241 系列新颁标准2003年8月27日国家标准介绍程序数据 其他特性效率应遵循产品描述中的效率说明可维护性应遵循产品描述中的可维护性说明可移植性应遵循产品描述中的可移植性说明2003年8月27日国家标准介绍测试细则细则概述测试预要求测试活动测试记录测试报告跟踪测试2003年8月27日国家标准介绍测试细则 细则概述测试内容产品描述、用

18、户文档、程序和任何要交付的数据都作为软件包的组成部分进行测试测试方式根据所有符合性产品要求的性质测试按照产品描述约定的性质测试文档的检查测试程序和数据的黑盒测试测试范围产品仅在要求的系统中被测试2003年8月27日国家标准介绍测试细则 测试预要求产品项的现场要求软件包所有要交付的项以及产品描述中已标识的需求文档对系统组成部分的现场要求产品描述中已指明要求的所有计算机系统的组成部分提供到测试现场培训测试者应有机会使用培训材料和培训大纲2003年8月27日国家标准介绍测试细则 测试活动产品描述及用户文档应按照产品描述及用户文档的要求检查评测程序和数据应在产品描述中提及的所有的计算机系统中进行测试用

19、户文档中例子应作为测试用例，但测试不应局限于这些例子如果产品描述中说明了程序能由用户来安装，则应测试这种安装，否则，应保证环境与说明相符应针对所有的边界值来测试程序文档中声明禁用的输入或命令应属于测试范围当一些细节对已指明的工作任务的影响可忽略或测试消耗太不合理时，可以不作测试，但需说明理由2003年8月27日国家标准介绍测试细则 测试记录应包含足够的信息以方便重复测试测试记录应包括测试计划或包含测试用例的测试规格说明与测试用例相关的所有结果，包括测试期间的所有失败测试中涉及的人员身份不作测试的细节及不测试的理由应在测试记录中作记录2003年8月27日国家标准介绍测试细则 测试报告报告结构产品

20、标识、用于测试的计算机系统、使用的文档、测试结果、问题清单、测试结束日期报告标识和页面总数应出现在测试报告的每页上未作测试的细节应在测试报告中加以说明报告声明仅与测试项相关的测试结果有效性说明未经测试实验室批准，不得部分复制报告2003年8月27日国家标准介绍测试细则 跟踪测试文档、功能和数据中所有的改变部分都应测试受改变部分影响的或受要求的系统中的改变影响的所有未改变部分都应测试所有的其他部分应至少按样本进行测试2003年8月27日国家标准介绍第三方中立测试机构（一）山东省软件评测中心山东省信息产业厅授权成立的省内唯一一家第三方中立测试机构国内通过国家实验室认可的屈指可数的软件测试机构之一业

21、务范围：登记测试、鉴定测试、确认测试、验收测试及其他测试顾问咨询测试依据：主要依据或参照GB/T 16260、GB/T 17544及其他行业标准及地方法规中国软件评测中心2003年8月27日国家标准介绍第三方中立测试机构（二）软件评测中心是为企业提供服务的中介机构 拥有优越的评测条件：人员 设施 技术、经验 评测服务可以回答受托软件产品程序与规格说明，用户手册间的一致性、符合性产品对质量标准的依从性指出存在的问题给出改进的建议2003年8月27日国家标准介绍总结软件产品质量特性功能性、可靠性、易用性、效率、可维护性、可移植性软件产品质量评价质量需求定义、评价准备、评价过程软件包的质量要求产品描述质量要求、用户文档的质量要求、程序和数据的质量要求软件包的测试细则准备测试、进行测试、分析测试第三方中立测试机构2003年8月27日国家标准介绍谢谢参与！