1、软件测试方法和技术软件测试方法和技术-Ch.2软件测试的基本概念和方法软件测试的基本概念和方法Zhu.KZhu.K朱少民朱少民Kerry Zhu第一章回顾第一章回顾Zhu.K 软件特点软件特点 软件开发的模型软件开发的模型p原型模型p改进的V模型p增量模型和迭代模型pXP模型p 测试的重要性测试的重要性第二章 软件测试的基本概念和方法Zhu.K2.1 软件质量就是客户的满意度2.2 软件缺陷(Bug)是什么2.3 软件测试的基本方法2.4 软件测试的分类和阶段2.5 软件测试的工作范畴软件质量的内涵软件质量的内涵 客户客户 +质质 +量量?Zhu.K质量质量(Quality)质量是系统、部件或
2、过程满足质量是系统、部件或过程满足1.明确需求2.客户或用户需要或期望的程度不同 IEEE p软件质量：软件产品具有满足 规定的或隐含要求能力要求有 关的特征与特征总和(ISO 8492)p软件质量：软件产品满足使用要求的程度 Zhu.K软件质量范围软件质量范围-3An Accountability(可说明性可说明性)用户可以基于产品或服务用户可以基于产品或服务的描述和定义进行使用的描述和定义进行使用.(例如例如:市场需求说明书市场需求说明书,功能功能设计说明书设计说明书.)n Availability(有效性有效性)产品或服务对于产品或服务对于99.999%客户客户总是有效的总是有效的 (例
3、如例如:性能测试和恢复测试性能测试和恢复测试)n Accessibility(易用性易用性)对于用户对于用户,产品或服务非常容产品或服务非常容易使用并且一定是非常有用的功能易使用并且一定是非常有用的功能.(例如例如:确认测试确认测试和用户可用性测试和用户可用性测试)Zhu.K高质量的软件高质量的软件应该是相对相对的无产品缺陷无产品缺陷(Bug Free)或只有极少量的缺陷,它能够准时递交准时递交给用户并且所用的费用都是在预算内预算内的并且满足客户需求满足客户需求，是可维护可维护的。但是,有关质量的好坏最终评价依赖于用户的反馈。“客户客户”广义定义广义定义:-内在内在的定义:下一个环节/工序的接
4、收者，更广的服务的对象，周围有任何联系或影响的团队、人。软件的设计者，程序的检测者，项目管理者，品质管理人员-广泛广泛的的定义:最终用户，客户管理，Zhu.K软件质量不同的视点软件质量不同的视点-先验论观点：先验论观点：质量是产品一种可以认识但不可定义的性质质量是产品一种可以认识但不可定义的性质-用户观点：用户观点：质量是产品满足使用目的之程度质量是产品满足使用目的之程度;-制造者的观点：制造者的观点：质量是产品性能和规格要求的符合度质量是产品性能和规格要求的符合度-产品观点：产品观点：质量是联结产品固有性能的纽带质量是联结产品固有性能的纽带;-基于价值观点：基于价值观点：质量依赖于顾客愿意付
5、给产品报酬的数量质量依赖于顾客愿意付给产品报酬的数量Zhu.K高质量软件标准体系高质量软件标准体系产品质量产品质量是人们实践产物的属性和行为，是可以认识，可以科学地描述的。并是人们实践产物的属性和行为，是可以认识，可以科学地描述的。并且可以通过一些方法和人类活动，来改进质量且可以通过一些方法和人类活动，来改进质量.质量模型:McCall 模型,Boehm 模型,ISO 9126 模型过程质量过程质量:软件能力成熟度模型软件能力成熟度模型 CMM(Capability Maturity Model).国际标准过程模型国际标准过程模型 ISO 9000 软件过程改进和能力决断软件过程改进和能力决断
6、 SPICE(Software Process Improvement and Capability dEtermination)在商业过程中有关的质量内容在商业过程中有关的质量内容:培训、成品制作、宣传、发布日起、客户、风险、成本、业务等 Zhu.K产品质量的标准产品质量的标准-功能性功能性 Functionality-可用性可用性 Usability(简单安装;轻松使用;友好界面)-可靠性可靠性 Reliability(用户使用的根本)-性能性能 Performance-容量容量 Capacity-可测量性可测量性 Scalability-可维护性可维护性 Service manageab
7、ility-兼容兼容性性 Compatibility-可扩展性可扩展性 ExtensibilityZhu.K软件质量特征软件质量特征(ISO9126)功能功能：与一组功能及其指定性质有关的一组属性，这里的功能是满足明确或隐含的需求的那些功能。p 可靠可靠：在规定的一段时间和条件下，与软件维持其性能水平的能力有关的一组属性。p 易用易用：由一组规定或潜在的用户为使用软件所需作的努力和所作的评价有关的一组属性。p 效率效率：与在规定条件下软件的性能水平与所使用资源量之间关系有关的一组属性。p 可维护可维护：与进行指定的修改所需的努力有关的一组属性。p 可移植可移植：与软件从一个环境转移到另一个环境
8、的能力有关的一组属性。其中每一个质量特征都分别与若干子特征相对应。其中每一个质量特征都分别与若干子特征相对应。Zhu.KBoehm软件质量模型软件质量模型阐述性阐述性数据公开性数据公开性连贯性连贯性容错性容错性执行效率执行效率/储存效率储存效率存取控制存取控制/存取检查存取检查可训练可训练沟通良好沟通良好 简单性简单性易操作的易操作的工具工具自我操作性自我操作性扩展性扩展性一般性一般性模块性模块性软件系统独立性软件系统独立性机器独立性机器独立性通讯公开性通讯公开性正确性正确性可操作性可操作性Zhu.KMcCall模型模型设备独立性设备独立性易更改易更改可靠性可靠性效率效率总体总体 效用效用易用
9、易用性性可维护性可维护性可测试性可测试性人体工程学人体工程学可移植性可移植性易懂性易懂性精确性精确性完整性完整性完全性完全性可说明性可说明性 设备功效设备功效易操作性易操作性沟通良好沟通良好自我操作性自我操作性架构性架构性简明性简明性易懂性易懂性可维护性可维护性模块独立性模块独立性连续性连续性Zhu.K软件过程质量软件过程质量n软件能力成熟度模型 CMM(Capability Maturity Model).n国际标准过程模型 ISO 9000n软件过程改进和能力决断 SPICE(Software Process Improvement and Capability dEtermination
10、)Zhu.K质量保证的策略质量保证的策略n主要分三个阶段：主要分三个阶段：以检测为重以检测为重：产品制成之后进行检测，只能判断产品质量，不能提高产品质量。以过程管理为重以过程管理为重：把质量的保证工作重点放在过程管理上，对制造过程 中的每一道工序都要进行质量控制。以新产品开发为重：以新产品开发为重：在新产品的开发设计阶段，采取强有力的措施来消灭由于设计原因而产生的质量隐患。Zhu.K全面质量管理全面质量管理(TQM)TQM=Total Quality Management 全面质量管理全面质量管理 TQM是为了能够在最经济的水平上，并考虑到充分满足用户要是为了能够在最经济的水平上，并考虑到充分
11、满足用户要求的条件下进行市场研究、设计、生产和服务，把企业内各部求的条件下进行市场研究、设计、生产和服务，把企业内各部门研制质量、维持质量和提高质量的活动构成为一体的一种有门研制质量、维持质量和提高质量的活动构成为一体的一种有效体系效体系 TQMTQM内容内容:全员参与质量管理全员参与质量管理 全过程质量管理全过程质量管理。TQMTQM的的4 4个关键要素个关键要素:关注客户关注客户过程改进过程改进质量的人性化因素质量的人性化因素度量度量(即模型的测量和分析即模型的测量和分析)Zhu.K质量管理发展五个阶段质量管理发展五个阶段1900手工操作者专职检验员1920过程统计技术1931全面质量管理
12、1960以顾客为中心阶段时间2000Zhu.K什么是什么是 Bug?Bug?2.2 软件缺陷(Bug)是什么Any problem/disfigurement/limitation in product design&development nFeature or function cant worknUnreasonable designnPartly realization in functionnData errornRun errornLimitation in featuresnDifference between actual results and expected result
13、snUnfriendly UI,Low performancenOthers Zhu.K问题出在哪里？问题出在哪里？项目没有被很好地理解；计划不项目没有被很好地理解；计划不周，最终导致进度拖延。周，最终导致进度拖延。没有充分的文档资料。没有充分的文档资料。人与人的人与人的交流交流比写程序困难得多。比写程序困难得多。软件可靠性软件可靠性缺少度量的标准，质缺少度量的标准，质量无法保证。量无法保证。软件难以维护、软件难以维护、不易升级。不易升级。Zhu.K解决问题的想法解决问题的想法 Better management 管理 Different team organizations 组织 Bette
14、r languages&tools 语言和工具 Uniform coding conventions 编程惯例必须意识到：“软件”编程，它有自己的生命周期(life cycle)。大型软件系统的开发与其它工程项目如建造桥梁、制造飞机、轮船等的开发是同理的。Zhu.K实践证明：实践证明：对软件进行充分的测试对软件进行充分的测试 才能够有效的保证软件质量才能够有效的保证软件质量软件测试软件测试对软件产品进行充分测试，找出其中的缺陷(Bug),并进行修复(Fix)。Zhu.K缺点（defect）偏差（variance）谬误（fault）失败（failure）问题（problem）矛盾（inconsi
15、stency）错误（error）毛病（incident）异常（anomy）缺陷-BugZhu.K软件缺陷软件缺陷IEEE(1983)729 IEEE(1983)729 软件缺陷一个标准的定义：软件缺陷一个标准的定义：p 从产品内部看，软件缺陷是软件产品开发或维护过程中所存在的错误、毛病等各种问题；p 从外部看，软件缺陷是系统所需要实现的某种功能的失效或违背。软件缺陷的主要类型软件缺陷的主要类型/现象：现象：p 功能、特性没有实现或部分实现p 设计不合理，存在缺陷p 实际结果和预期结果不一致p 运行出错，包括运行中断、系统崩溃、界面混乱p 数据结果不正确、精度不够p 用户不能接受的其他问题，如存
16、取时间过长、界面不美观 Zhu.KZhu.K软件缺陷的产生软件缺陷的产生 技术问题技术问题算法错误，语法错误，计算和精度问题，接口参数传递不匹配 团队工作团队工作误解、沟通不充分 软件本身软件本身文档错误、用户使用场合(user scenario)，时间上不协调、或不一致性所带来的问题系统的自我恢复或数据的异地备份、灾难性恢复等问题软件缺陷构成软件缺陷构成 Zhu.K软件缺陷在不同阶段的分布软件缺陷在不同阶段的分布 Zhu.K在真正的程序测试之前，通过审查、评审会可以发现更多的缺陷。规格说明书的缺陷会在需求分析审查、设计、编码、测试等过程中会逐步发现，而不能在需求分析一个阶段发现缺陷成本缺陷成
17、本Zhu.K2.3软件测试的基本方法Zhu.K根据G.J.Myers观点-软件测试的目软件测试的目:n 软件测试是为了发现错误而执行程序的过程n 一个好的测试能够在第一时间发现程序中存在的错误n 一个好的测试是发现了至今尚未发现的错误的测试。软件测试误区软件测试误区p 误区一：误区一：如果发布出去的软件有质量问题，都是软件测试人员的错p 误区二：误区二：软件测试技术要求不高，至少比编程容易多了p 误区三：误区三：有时间就多测试一些，来不及就少测试一些 p 误区四：误区四：软件测试是测试人员的事，与开发人员无关 p 误区五：误区五：根据软件开发瀑布模型，软件测试是开发后期的一个阶段Zhu.K软件
18、测试的原则软件测试的原则 所有测试的标准都是建立在用户需求用户需求之上。软件测试必须基于“质量第一质量第一”的思想去开展各项工作，当时间和质量冲突时，时间要服从质量。事先定义好产品的质量标准质量标准，只有有了质量标准，才能根据测试的结果，对产品的质量进行分析和评估。软件项目一启动，软件测试也就是开始软件项目一启动，软件测试也就是开始，而不是等程序写完，才开始进行测试。穷举测试是不可能的穷举测试是不可能的。甚至一个大小适度的程序，其路径排列的数量也非常大，因此，在测试中不可能运行路径的每一种组合。Zhu.K软件测试的原则软件测试的原则（2）第三方进行测试会更客观，更有效第三方进行测试会更客观，更
19、有效。软件测试软件测试计划是做好软件测试工作的前提。测试用例测试用例是设计出来的，不是写出来的，所以要根据测试的目的，采用相应的方法去设计测试用例，从而提高测试的效率，更多地发现错误，提高程序的可靠性。对发现错误较多的程序段，应进行更深入的测试对发现错误较多的程序段，应进行更深入的测试。一般来说，一段程序中已发现的错误数越多，其中存在的错误概率也就越大。重视文档重视文档，妥善保存一切测试过程文档（测试计划、测试用例、测试报告等）Zhu.K软件测试的原则软件测试的原则（3）p 应当把“尽早和不断地测试”作为测试人员的座右铭p 回归测试的关联性一定要引起充分的注意，修改一个错误而引起更多错误出现的
20、现象并不少见p 测试应从“小规模”开始，逐步转向“大规模”。p 不可将测试用例置之度外，排除随意性。p 必须彻底检查每一个测试结果。p 一定要注意测试中的错误集中发生现象，这和程序员的编程水平和习惯有很大的关系p 对测试错误结果一定要有一个确认的过程。测试方法测试方法 黑盒子和白盒子黑盒子和白盒子 静态的和动态的静态的和动态的 文档、代码审查文档、代码审查 数据输入边界条件法数据输入边界条件法 等价划分、数据流程图等价划分、数据流程图 状态变换图状态变换图 逻辑路径法逻辑路径法黑盒子和白盒子黑盒子和白盒子功能测试功能测试数据驱动测试数据驱动测试 结构测试结构测试逻辑驱动测试逻辑驱动测试 客户需
21、求事件驱动输入输出静态的和动态的静态的和动态的主持人主持人作者记录员列席人员内审员内审员技术专业人员用户代表不正式正式互审 走读 审查会议运行程序运行程序自动测试和手工测试自动测试和手工测试手工模拟用户手工模拟用户操作操作验证和确认（验证和确认（V&VV&V）Verification：Are we building the product right？是否正确地构造了软件？即是否正确地做事，验证开发过程是否遵守已定义好的内容。验证产品满足规格设计说明书的一致性Validation：Are we building the right product?是否构造了正是用户所需要的软件？即是否正在做正
22、确的事。验证产品所实现的功能是否满足用户的需求2.4 软件测试的分类和阶段软件测试的分类和阶段 维护 需求定义应用定义应用开发 修订 建立 建立执行.执行执行.测试计划缺陷跟踪测试开发测试设计评估软件测试分类软件测试分类方法方法目标目标/特性特性单元测试单元测试系统测试系统测试验收测试验收测试性能测试性能测试强壮性测试强壮性测试功能测试功能测试白盒测试白盒测试黑盒测试黑盒测试测试阶段或层次测试阶段或层次适用性测试适用性测试可靠性测试可靠性测试集成测试集成测试安全性测试安全性测试软件测试阶段软件测试阶段阶阶 段段输输 入入 输输 出出 需求分析需求分析需求定义需求定义,市场分析文档市场分析文档,
23、相关技相关技术文档术文档市场需求分析会议记要市场需求分析会议记要,功能设计功能设计,技术设计技术设计设计审查设计审查 市场需求文档市场需求文档,技术设计文档技术设计文档 测试计划测试计划,测试用例测试用例功能验证功能验证 代码完成文件包代码完成文件包,功能详细设计说功能详细设计说明书明书最终技术文档最终技术文档完整测试用例完整测试用例,完备的测试计划完备的测试计划,缺缺陷报告陷报告,功能验证测试报告功能验证测试报告系统测试系统测试代码修改后的文件包代码修改后的文件包 完整测试用例完整测试用例,完备的测试计划完备的测试计划 缺陷报告缺陷报告缺陷状态报告缺陷状态报告项目阶段报告项目阶段报告确认测试
24、确认测试代码冻结文件包代码冻结文件包确认测试用例确认测试用例缺陷状态报告缺陷状态报告缺陷报告审查缺陷报告审查版本审查版本审查版本发布版本发布 代码发布文件包代码发布文件包 测试计划检查清单测试计划检查清单当前版本已知问题的清单当前版本已知问题的清单版本发布报告版本发布报告测试阶段（测试阶段（SDLC)单元测试单元测试单元测试单元测试的对象是程序系统中的最小单元-模块或组件上，在编码阶段进行，针对每个模块进行测试，主要通过白盒测试方法，从程序的内部结构出发设计测试用例，检查程序模块或组件的已实现的功能与定义的功能是否一致、以及编码中是否存在错误。多个模块可以平行地、对立地测试，通常要编写驱动模块
25、和桩模块单元测试一般由编程人员和测试人员共同完成 集成测试集成测试集成测试，也称组装测试、联合测试、子系统测试，在单元测试的基础上，将模块按照设计要求组装起来同时进行测试，主要目标是发现与接口有关的模块之间问题 两种集成方式：一次性集成方式和增殖式集成方式。功能测试功能测试功能测试一般须在完成集成测试后进行，而且是针对应用系统进行测试。功能测试是基于产品功能说明书，是在已知产品所应具有的功能，从用户角度来进行功能验证，以确认每个功能是否都能正常使用 系统测试系统测试系统测试是将软件放在整个计算机环境下，包括软硬件平台、某些支持软件、数据和人员等，在实际运行环境下进行一系列的测试，包括恢复测试、安全测试、强度测试和性能测试等 验收测试验收测试&安装测试安装测试验收测试验收测试的目的是向未来的用户表明系统能够像预定要求那样工作，验证软件的功能和性能如同用户所合理期待的那样安装测试安装测试是指按照软件产品安装手册或相应的文档，在一个和用户使用该产品完全一样的环境中或相当于用户使用环境中，进行一步一步的安装操作性的测试 2.5 软件测试的工作范畴软件测试的工作范畴作业作业Zhu.K第二章第二章 4、5Q&AZhu.K
