1、2001-20102022年6月6日1 软件测试培训课程第第4单元单元 系统测试方法及实践系统测试方法及实践2001-20102022年6月6日2第4单元 系统测试方法及实践n性能/压力测试n易用性测试n配置和兼容性测试n安装/卸载测试2001-20102022年6月6日3系统测试方法及实践n单元目标n掌握常用的系统测试方法n性能/压力测试、易用性测试n配置和兼容性测试、安装/卸载测试2001-20102022年6月6日4系统测试方法及实践n性能/压力测试n引言n性能测试n确认在预定的各个负载等级上的系统性能是否是可以接受的n测试和评估系统性能是否满足性能需求或达到性能目标，找出应用系统的性能
2、瓶颈以作为性能优化的依据2001-20102022年6月6日5系统测试方法及实践n性能/压力测试n引言n性能测试n负载等级：同时在线用户数为 10、20，平均每秒事务数为 200、300n性能需求/目标：最长事务响应时间不超过 4 秒 2001-20102022年6月6日6系统测试方法及实践n性能/压力测试n引言n压力测试n通过将负载等级增加至足够高，观察系统是否失效或崩溃，以找出系统的断点n有的也称负载测试2001-20102022年6月6日7系统测试方法及实践n性能/压力测试n引言n压力测试n加压方法n增加并发的用户数n增加每秒请求处理的事务数n增加中断次数（实时系统、嵌入式软件）2001
3、-20102022年6月6日8系统测试方法及实践n性能/压力测试n引言n所使用的负载下列消耗系统资源n内存（物理内存、虚拟内存、缓存等）nCPU 时间nIP 地址n网络带宽n文件句柄2001-20102022年6月6日9系统测试方法及实践n性能/压力测试n引言n测试目标n测量最终用户的响应时间，完成一个业务流程需要多长时间n确定最优的硬件配置，哪一种硬件配置可以提供最佳性能n检查可靠性，系统无错误或无故障运行的时间长度n观察硬件或软件升级效果，升级对性能或可靠性有何影响n在选购新的服务器硬件或软件时进行评估n度量系统容量，在没有显著性能下降的前提下，系统能够处理多大的负载n确定瓶颈，哪些因素会
4、延长响应时间2001-20102022年6月6日10系统测试方法及实践n性能/压力测试n引言n在性能是项目成败的关键因素时必须做性能/压力测试n主要针对 C/S 和 B/S 应用、嵌入式软件n用户对性能的要求、性能问题的经济影响分析n一个示例网上零售书店2001-20102022年6月6日11系统测试方法及实践n性能/压力测试n引言n尽可能早地、反复地进行性能测试，尽早发现性能问题，以便为性能问题的解决留出足够的时间n系统测试阶段的早期，可能部分功能不可用n回归测试中包含性能测试n性能/压力测试需要自动化工具的支持n预先制订切实可行的性能/压力测试计划2001-20102022年6月6日12系
5、统测试方法及实践n性能/压力测试nWeb 应用模型n客户端发送一个请求至服务器n服务器处理这个请求，形成响应处理结果n服务器把响应发送到客户端n客户端分析响应，然后显示或执行2001-20102022年6月6日13系统测试方法及实践n性能/压力测试nWeb 应用模型n性能瓶颈分析n最有可能的性能瓶颈一般是：n服务器处理这个请求，形成响应处理结果n服务器把响应发送到客户端n其他两步也有可能2001-20102022年6月6日14系统测试方法及实践n性能/压力测试n性能/压力测试的主要测量指标nCPU 消耗（服务器） CPU 利用率 = CPU 繁忙时间所占的百分比 CPU 消耗= CPU 利用率
6、 x CPU 个数 x CPU 速度（MHz）/ 每秒事务请求数n一般地，增加 CPU 的最好效果：n双 CPU = 单 CPU 的 1.8 倍2001-20102022年6月6日15系统测试方法及实践n性能/压力测试n性能/压力测试的主要测量指标n内存消耗（服务器）n消耗的内存峰值n可用物理内存n每秒页输入，虚拟内存（硬盘）物理内存n每秒页输出，物理内存虚拟内存（硬盘）2001-20102022年6月6日16系统测试方法及实践n性能/压力测试n性能/压力测试的主要测量指标nBoW （Bytes over the wire）服务器和客户端之间传输的字节数n首次动作（Initial action
7、），客户端无可利用的缓存图像、脚本或网页n缓存模式（Cached mode）n吞吐量吞吐量：每秒在客户端和服务器之间传输的数据量2001-20102022年6月6日17系统测试方法及实践n性能/压力测试n性能/压力测试的主要测量指标nTTLB （Time to last byte）从客户端发出请求到接收到服务器的响应的最后一个字节之间的时间nTTFB （Time to first byte）2001-20102022年6月6日18系统测试方法及实践n性能/压力测试n性能/压力测试的主要测量指标n用户体验到的响应时间nTTLB + 客户端接收响应后显示和执行时间n数据库查询响应时间n每秒错误数2
8、001-20102022年6月6日19系统测试方法及实践n性能/压力测试n性能/压力测试的主要步骤n准备性能/压力测试n设计性能/压力测试n执行性能/压力测试n分析测试结果n改进系统性能2001-20102022年6月6日20系统测试方法及实践n性能/压力测试n准备性能/压力测试n建立测试环境n与用户真实工作环境的差异n客户端、服务器的硬件软件配置n网络速度/带宽、网络配置n虚拟用户与真实用户的差异n测试版本与发行版本的差异n要求进行最终真实环境下的通过测试2001-20102022年6月6日21系统测试方法及实践n性能/压力测试n准备性能/压力测试n建立测试环境n测试环境的硬件软件配置到性能
9、最优状态n排除测试环境成为性能瓶颈的潜在根源n多次进行测试环境的配置优化n性能测试工具消耗资源n占用内存、CPU 时间n使用足够数量的客户端2001-20102022年6月6日22系统测试方法及实践n性能/压力测试n准备性能/压力测试n应用系统分析n利用性能需求文档，观察应用系统n从用户和市场获得相关的数据与信息n确定应用系统的主要行为，即所关注的主要用户动作n收集和利用原有系统的历史数据，作为基准性能数据n收集单用户的基准性能数据2001-20102022年6月6日23系统测试方法及实践n性能/压力测试n准备性能/压力测试n确定预期的工作负载n各个等级的并发用户数、每秒事务量n尽可能有效地反
10、映应用系统的真实使用情况n高峰工作时间段n事务类型及比例n会话时间长度n使用双倍的工作负载业务发展空间2001-20102022年6月6日24系统测试方法及实践n性能/压力测试n准备性能/压力测试n确定性能目标n理想的、可以接受的或不可接受的目标范围n用户体验到的响应时间2001-20102022年6月6日25系统测试方法及实践n性能/压力测试n设计性能/压力测试n确定工作负载模式n确定性能测试的测量指标n开发自动测试脚本2001-20102022年6月6日26系统测试方法及实践n性能/压力测试n设计性能/压力测试n常用的工作负载模式n 递增模式n在测试初期，只有一部分虚拟用户参与测试，逐步增
11、加到所有用户参与测试n适用条件：用户希望发现在多少并发用户下系统崩溃，或响应时间超出可接受值，或错误超出阀值2001-20102022年6月6日27系统测试方法及实践n性能/压力测试n设计性能/压力测试n常用的工作负载模式n固定状态模式n固定数目的虚拟用户参与到整个测试过程。每个虚拟用户执行脚本中定义的事务，结束后继续开始，事务间没有延迟，直到simulation time已经到达n适用条件：用户希望知道被测系统在指定负载下的行为2001-20102022年6月6日28系统测试方法及实践n性能/压力测试n设计性能/压力测试n常用的工作负载模式n动态模式n可以在测试过程中手工改变虚拟用户的数目。
12、在预设的最大虚拟用户数范围内，用户数可以随时增减。没有simulation time，手工结束测试。 n适用条件：用户希望实验不同的负载水平，并且方便的控制 2001-20102022年6月6日29系统测试方法及实践n性能/压力测试n设计性能/压力测试n常用的工作负载模式n全天模式n最灵活的方式。客户可以在测试的任何间隔时间指定不同的虚拟用户数目，每个用户类型有不同的负载分布。因此可以按周或天指定复杂的测试场景，可以在测试中调整尚未开始的测试间隔的负载水平。 n适用条件：客户希望对复杂的长时间运行的测试场景以最实际的方式建模 2001-20102022年6月6日30系统测试方法及实践n性能/压
13、力测试n设计性能/压力测试n开发自动测试脚本n自动测试脚本的开发规范n简单、可维护性好的自动测试脚本n使用参数化输入2001-20102022年6月6日31系统测试方法及实践n性能/压力测试n执行性能/压力测试n设置性能计数器n初始化运行，使系统达到稳定状态n执行自动测试脚本n观察性能计数器，收集测量数据2001-20102022年6月6日32系统测试方法及实践n性能/压力测试n执行性能/压力测试n利用 Windows 的性能计数器2001-20102022年6月6日33系统测试方法及实践n性能/压力测试n分析测试结果n内存消耗n可用物理内存不少于 10% 为好n若每秒页输入和页输出持续高，则
14、内存可能为瓶颈n若每秒页输入远远小于每秒页输出，则可能内存泄漏nCPU 利用率n小于 75% 为好n若持续大于 90%，则CPU 可能为瓶颈n数据库高速缓存中找到数据的命中率 Cache Hit Ration如果持续小于 85%， 则表示内存有问题 2001-20102022年6月6日34系统测试方法及实践n性能/压力测试n分析测试结果n不同负载下的 CPU 利用率n不同负载下的 TTLBn不同负载下的用户体验到的响应时间2001-20102022年6月6日35系统测试方法及实践n性能/压力测试n分析测试结果n事务级、函数级的性能瓶颈分析n计算各类事务、各个函数的最短、最长、平均执行时间，统计
15、累计执行时间及在总的执行时间中所占的比例n找出占用时间比例高、调用频繁的事务类型或函数，作为优化对象2001-20102022年6月6日36系统测试方法及实践n性能/压力测试n改进系统性能n压缩多媒体数据的大小，减少线路上的流量n使用服务器缓存和客户端缓存，以减少数据库访问次数和数据流量n使用分布式架构，保持必要的冗余的服务器n优化代码，减少不必要的数据流量n服务器硬件配置升级n在部署应用系统后继续监测其运行情况，为进一步的性能改进收集数据2001-20102022年6月6日37系统测试方法及实践n性能/压力测试n一个示例n网上零售书店 2001-20102022年6月6日38系统测试方法及实
16、践n易用性测试n基本概念n测试内容n测试方法2001-20102022年6月6日39系统测试方法及实践n易用性测试n基本概念n易用性 Usability 与可用性 Availabilityn一个软件产品的易用性是指用户使用软件产品时体验到的难易程度和满意度。 2001-20102022年6月6日40系统测试方法及实践n易用性测试n基本概念n易用性 ISO 9241 三要素n有效性即一种产品能力，它在规定的使用环境下准确地、完整地为用户提供所要求的服务n效率即一种产品能力，它使用户在使用上述服务时耗费的资源数量是适当的n满意即一种产品能力，它在规定的使用环境下使用户满意2001-20102022
17、年6月6日41系统测试方法及实践n易用性测试n基本概念n易用性 ISO 9126 四个属性n可理解性用户理解产品功能和使用方法所需要的时间和精力n易学习性用户学习如何操作和应用产品所需要的时间和精力n可操作性用户操作和控制产品的费力程度n吸引力用户喜欢产品的程度2001-20102022年6月6日42系统测试方法及实践n易用性测试n测试内容n用户界面测试n用户文档测试n联机帮助n用户手册2001-20102022年6月6日43系统测试方法及实践n易用性测试n测试内容n用户界面测试n标准化n一致性n舒适性n宽容性n反馈性n简明性n个性化/灵活性2001-20102022年6月6日44系统测试方法
18、及实践n易用性测试n测试内容n用户界面测试n标准化n参考现行的用户界面标准Microsoft Windows User Experience Microsoft PressMacintosh Human Interface Guidelines Addison-Wesleyn公司、项目或 / 和用户遵循的标准或规范2001-20102022年6月6日45系统测试方法及实践n易用性测试n测试内容n用户界面测试n一致性n与用户的现实世界的一致性n与用户常用或习惯的软件产品的一致性n不同用户界面之间的一致性2001-20102022年6月6日46系统测试方法及实践n易用性测试n测试内容n用户界面测试
19、n舒适性n尽可能降低用户操作复杂性，尽量减少结构层次及用户操作量，提供在线帮助和快捷键等功能n用户界面的外观、风格与用户的工作性质和环境协调，符合用户审美观n当用户执行导致无法挽回的后果的操作时，提示用户确认2001-20102022年6月6日47系统测试方法及实践n易用性测试n测试内容n用户界面测试n宽容性n通过各种逻辑设计，把用户出错的概率减至最少 n尽可能提供用户错误操作的恢复功能2001-20102022年6月6日48系统测试方法及实践n易用性测试n测试内容n用户界面测试n反馈性n用户每一步的操作应尽可能快地得到可见的反馈，否则用户会怀疑计算机是不是出了问题，或者没有执行用户的命令n如
20、果用户操作的响应处理比较费时间，应使用进度状态条和显示剩余时间，否则用户可能会误认为“死机”了2001-20102022年6月6日49系统测试方法及实践n易用性测试n测试内容n用户界面测试n简明性n神奇的数字 7分组、分区、分类n界面上的信息应准确、清楚、简洁，表达正确的含义n个性化/灵活性n不同用户所使用的功能和数据存在差异，这种差异应反映到界面，即要为不同用户提供合适的个性化界面或选择的灵活性2001-20102022年6月6日50系统测试方法及实践n易用性测试n测试内容n用户文档测试n一致性n正确性n合适性n可读性n完整性2001-20102022年6月6日51系统测试方法及实践n易用性
21、测试n测试内容n用户文档测试n一致性n在功能说明、操作步骤、屏幕抓图等方面与交付的软件产品保持一致n所有示例 / 样例在通过软件产品再现时获得的结果与示例 / 样例所描述的一致n上下文敏感的联机文档应与上下文保持一致n文档内部的一致性：术语、用法、格式、风格、字体等2001-20102022年6月6日52系统测试方法及实践n易用性测试n测试内容n用户文档测试n正确性n联机帮助文档中超级链接的正确性：错误链接、断开链接、遗漏链接n在语言使用、定义术语、缩写语等方面的正确性n合适性n文档内容适合软件产品的用户，易于用户理解n用户可以快捷地查到或得到所需要的文档内容2001-20102022年6月6
22、日53系统测试方法及实践n易用性测试n测试内容n用户文档测试n可读性n文档主题明确，语言表达准确、无冗余性n主题的层次结构分明，提供主题目录和索引n文档的版面形式统一、简明n完整性n没有遗漏的主题n提供理解和使用软件产品的完整说明2001-20102022年6月6日54系统测试方法及实践n易用性测试n测试方法n测试准备n测试执行2001-20102022年6月6日55系统测试方法及实践n易用性测试n测试方法n测试准备n用户调查表（易用性测试）n软件产品用户界面和用户文档调查2001-20102022年6月6日56系统测试方法及实践n易用性测试n测试方法n测试准备n软件产品用户界面和用户文档调查
23、n各组成部分的用户界面的组成元素 - 窗口、菜单、工具条、图表 - 对话框、提示信息、错误信息 - 命令按钮、单选按钮、复选按钮 - 滚动条、下拉菜单、文本编辑框 - 列表、下拉列表、其他2001-20102022年6月6日57系统测试方法及实践n易用性测试n测试方法n测试准备n软件产品用户界面和用户文档调查n用户文档的目录、索引，以及所有主题和结构n用户文档中的插图、表格、示例和实例2001-20102022年6月6日58系统测试方法及实践n易用性测试n测试方法n测试执行n易用性测试工作表n逐项检查，发现问题n易用性测试用户评分表n征询用户反馈意见2001-20102022年6月6日59系统
24、测试方法及实践n配置和兼容性测试n确定配置测试范围n罗列用户的硬件类型，排除不需要考虑的类型。考虑下列各种可能的情况：n厂商及型号n主机配置特性n外设配置特性n接口n设备驱动程序n网络配置特性2001-20102022年6月6日60系统测试方法及实践n配置和兼容性测试n确定配置测试范围n使用等价类划分方法缩小要测试的配置情况数目n识别必须重点测试的配置情况n填写配置测试矩阵，标明需要测试的配置情况 n估算工作量，根据项目情况调整和确定配置测试范围2001-20102022年6月6日61系统测试方法及实践n配置和兼容性测试n确定配置测试范围n配置测试矩阵示例2001-20102022年6月6日6
25、2系统测试方法及实践n配置和兼容性测试n配置测试过程n确定配置测试范围n确定与硬件配置相关的关键应用程序特性n避免测试所有特性/功能，也没有必要n测试重点是软件产品与这些硬件设备的接口n测试软件产品的主要功能及错误处理 n设计和确定在不同配置情况下执行的测试案例集n在选定的一种配置情况下运行测试案例集n调整测试范围，反复测试直至达到测试目标 2001-20102022年6月6日63系统测试方法及实践n配置和兼容性测试n确定兼容性测试范围n罗列用户计算机上使用的软件类型，排除不需要考虑的类型。考虑下列各种可能的情况n操作系统及版本、补丁程序版本n数据库系统及版本n应用程序类型及版本n其他n罗列必
26、须遵循的各种标准和规范 n包括但不限于数据/文件格式、通信协议、用户界面、接口2001-20102022年6月6日64系统测试方法及实践n配置和兼容性测试n确定兼容性测试范围n运用等价类划分方法减少要测试的组合数n识别必须重点测试的组合情况n填写兼容性测试矩阵，标明需要测试的软件组合 n估算工作量，根据项目情况调整和确定兼容性测试范围2001-20102022年6月6日65系统测试方法及实践n配置和兼容性测试n确定兼容性测试范围n兼容性测试矩阵示例2001-20102022年6月6日66系统测试方法及实践n配置和兼容性测试n兼容性测试过程n确定兼容性测试范围n设计在每种组合情况下执行的测试案例
27、集n在选定的一种组合情况下执行测试案例集 n调整测试范围，反复测试直至达到测试目标2001-20102022年6月6日67系统测试方法及实践n安装/卸载测试n安装程序的工作流程n从源主机上执行安装程序n登录目的主机，询问目的主机以获得其环境信息；如果进行升级安装，则还要收集已安装的旧版本的信息n根据环境信息和用户的选择（例如用户选择最小安装、完全安装、自定义安装）安装软件组件n解压缩 ZIP 或者 TAR 文件n搜索或创建目录，安装过程中一些文件被复制到这个（些）目录中2001-20102022年6月6日68系统测试方法及实践n安装/卸载测试n安装程序的工作流程n复制可执行文件、DLL 文件
28、和数据文件，复制前与已安装的同名文件进行版本比较，确认安装哪个版本n复制共享文件，这些文件与其他已安装的软件共享n创建注册表项，填写注册表内容n改变注册表项，INI 文件或 BAT 文件n重新启动系统，启动数据库，创建或更新配置文件2001-20102022年6月6日69系统测试方法及实践n安装/卸载测试n安装程序的常见问题测试重点n安装失败n安装过程中止，或安装后无法启动安装的软件产品n文件复制错误n复制的文件不完全，有遗漏；复制的文件的版本错误；未按用户选择安装，复制的文件清单不符合用户选择。n未正确地收集用户环境信息n例如，未检测到已安装的软件或组件2001-20102022年6月6日7
29、0系统测试方法及实践n安装/卸载测试n安装程序的常见问题测试重点n未正确地设置注册表n安装程序的用户界面问题n丢失或损坏旧版本的数据文件，或未正确地把这些数据文件迁移到新安装的软件产品中2001-20102022年6月6日71系统测试方法及实践n安装/卸载测试n卸载程序的工作流程n删除应用程序可执行文件、专用 DLL 文件和数据文件n如果没有其他应用程序使用，删除共享文件n删除目录n删除注册表项n恢复原有注册表项2001-20102022年6月6日72系统测试方法及实践n安装/卸载测试n卸载的其他途经n通过连接和命令行执行卸载n通过添加/删除程序执行卸载2001-20102022年6月6日73
30、系统测试方法及实践n安装/卸载测试n卸载程序的常见问题测试重点n卸载失败n卸载过程被中止，不能完整地执行。n文件删除错误n未完全删除文件（有遗漏），或删除了不该删除的文件（例如删除了不该删除的、与其他应用共享的文件）。n未正确地删除目录n未正确地恢复注册表 2001-20102022年6月6日74系统测试方法及实践n安装/卸载测试n主要测试内容n安装程序的功能和用户界面n被安装的应用程序的主要功能n安装/卸载程序中已知的错误条件及其错误处理方法n安装/卸载程序对已有系统环境的影响n软件产品和硬件的接口n安装程序在不同的安装选项和条件下的功能n安装程序对已有文件和注册表所作的配置和修改n卸载程序是否删除了所有由安装程序安装的文件2001-20102022年6月6日75系统测试方法及实践n安装/卸载测试n在不同测试条件下执行安装/卸载测试n软件产品标明的最低配置下安装n在一个“干净”的操作系统上安装和运行n在一个“脏”的操作系统上安装和运行n在不同的操作系统上安装和运行n进行升级安装n在安装过程中减少可用磁盘空间n在安装中途取消安装n改变默认的安装路径2001-20102022年6月6日76系统测试方法及实践n提问与回答2001-20102022年6月6日77结束谢 谢Thank You
