1、测试现状及问题测试现状及问题1测试筹备测试实施系统内部测试系统连接测试(LT)系统集成测试(SIT)用户接受测试(UAT)测试审核现象：现象：接口测试，测试数据种类繁多，具有大量的测试案例现象：现象：大量集成测试案例，代码、界面不稳定，版本更新极为频繁现象：现象：大量业务测试案例，代码、界面不稳定，版本更新比较频繁运营维护测试问题：问题：关注关键数据，执行少量的、关键的测试案例，测试不足问题：问题：测试人员少，无法承受重复的繁重工作量，执行少量的、关键的测试案例，测试不足问题：问题：测试人员少，无法承受重复的繁重工作量，执行少量的、关键的测试案例，测试不足现象：现象：版本定期发布，大量回归测试
2、案例，代码、界面稳定问题：问题：大量回归测试案例，无足够手工回归测试人员，测试不足自动化测试的标准应用测试阶段的测试阶段的功能测试功能测试 背景：背景：在高覆盖率要求的前提下，每个功能的测试案例量很大，并且由于测试阶段中不断的代码修改、集成，重复测试的次数很多 应用：应用：自动化功能测试，包括接口功能测试、界面安全性测试、业务功能测试，提高测试的覆盖率，降低测试的工作强度 限制：限制：由于测试阶段中的代码和界面的频繁变更，自动化的覆盖率应以少量覆盖、关键覆盖为原则测试阶段的测试阶段的业务流测试业务流测试 背景：背景：在集成测试和用户接受测试阶段中，业务流程的测试是主要工作内容。但是，每个业务流
3、程由于操作步骤多，导致执行时间长，重复的执行增加了测试的工作量和加重了工作负担 应用：应用：自动化业务流测试，提高测试的覆盖率，降低工作强度 限制：限制：同样由于测试阶段中的代码和界面的频繁变更，自动化的覆盖率应以少量覆盖、关键覆盖为原则运营维护阶段运营维护阶段的回归测试的回归测试 背景：背景：在运营维护阶段，每次新版本发布前，应进行充分的回归测试，确保部分代码的变更不会影响大部分未变更的代码正确性。但是，通常情况下，这个阶段中不会固定拥有大量的测试人员来实施手工回归测试工作 应用：应用：自动化功能测试，自动化业务流测试 限制：限制：独立的测试环境引起资源争用或者巨大投入，在资源受限的情况下，
4、应以最小化占用资源的方式进行2解决思路初探解决思路初探自动化接口功能测试：自动化接口功能测试：测试数据自动生成，依据报文规范自动生成测试脚本，自动执行接口功能测试，提高接口测试的覆盖率，促进开发质量核心业务集自动化测试：核心业务集自动化测试：少量自动化测试工程师，自动化少量核心业务，版本更新时快速执行，保障核心模块的质量，提高测试效率核心业务集自动化测试：核心业务集自动化测试：少量自动化测试工程师，自动化少量核心业务，版本更新时快速执行，保障核心模块的质量，提高测试效率自动化功能测试、自动化业务流测试：自动化功能测试、自动化业务流测试：自动化测试小组，计算可行自动化率，建设自动化回归测试技术平
5、台，长期运行自动化测试，保障系统运行质量自动化测试的实际应用测试筹备测试实施系统内部测试系统连接测试(LT)系统集成测试(SIT)用户接受测试(UAT)测试审核运营维护测试3实施难度与风险实施难度与风险自动化测试自动化测试机构机构业务测试业务测试机构机构测试环境测试环境项目组项目组标准实施角色测试管理测试管理机构机构自动化测试自动化测试业务测试业务测试测试环境测试环境项目组项目组自动化测试设计自动化测试自动化测试业务测试业务测试测试环境测试环境项目组项目组自动化测试实现 自动化测试可能遇到多项目并行的情况 给自动化测试的管理带来较大的难度要求 自动化测试在运营维护期的执行过程中需要对测试环境独
6、占 若测试环境资源有限，会造成无测试环境资源或者测试环境资源严重争用的情况自动化测试自动化测试业务测试业务测试测试环境测试环境项目组项目组自动化测试执行降低业务测试不规范带来的各种工作量自动化测试技术平台自动化测试技术平台测试执行测试执行测试执行组织调度子系统测试执行组织调度子系统测试运行计划设计子系统测试运行计划设计子系统测试执行子系统测试执行子系统测试执行监控子系统测试执行监控子系统测试分析测试分析测试分析子系统测试分析子系统测试管理测试管理项目管理子系统项目管理子系统用户管理子系统用户管理子系统测试需求管理子系统测试需求管理子系统业务组件管理子系统业务组件管理子系统业务测试过程管理子系统
7、业务测试过程管理子系统BC、BP开发子系统开发子系统测试数据管理子系统测试数据管理子系统自动化测试技术平台自动化测试技术平台的建设目标1234自动化测试技术平台自动化测试技术平台项目管理子系统项目管理子系统用户管理子系统用户管理子系统项目自动化测试工作项目自动化测试工作项目自动化测试工作项目自动化测试工作多项目并行没有测试没有测试手工测试手工测试 时间紧时间紧 可靠性低可靠性低 人力缺乏人力缺乏 无法保证一致性无法保证一致性 无法重复无法重复快速快速可重复可重复高覆盖率高覆盖率高可靠性高可靠性重用性强重用性强自动测试自动测试1 1、将乏味且人工容易出错的工作进行自动化，实现功能的回归测试，在应
8、用程序将乏味且人工容易出错的工作进行自动化，实现功能的回归测试，在应用程序修改之后，运行自动化测试脚本，快速完成回归测试修改之后，运行自动化测试脚本，快速完成回归测试2 2、将重复的测试工作自动化完成，为其他方法的测试赢得更多时间；、将重复的测试工作自动化完成，为其他方法的测试赢得更多时间；3 3、降低测试成本，提高测试复用度和测试效率，占用少量的业务测试人力资源、降低测试成本，提高测试复用度和测试效率，占用少量的业务测试人力资源可维护性可维护性低低中中中中中中高高可靠性可靠性低低高高高高高高高高效率效率低低中中中中中中高高可复用性可复用性低低中中中中高高高高健壮性健壮性低低高高高高高高高高可
9、移植性可移植性低低低低中中中中中中易用性易用性高高低低中中中中高高基于风险和复杂度评估达到测试目标的最佳性价比Procedure forX Risk根据特定测试风险等级来选择合适的测试过程.通过以测试过程的最优组合和资源、进度、风险的约束来多次运行自动化测试次数，来达到最小化工作量的目标方法方法过过程程High RiskMedium RiskLow RiskHigh复杂度Medium复杂度Low复杂度Assuming test cases for all risks and complexities are in-scope for each test cycle.Automation ROI
10、 Matrix测试范围测试范围由风险驱动测试(例如：高风险的项先被测试)自动化的优先顺序自动化的优先顺序:对于能尽快（最少运行次数）达到投资回报平衡点高风险的测试案例优先低复杂度的测试案例优先优先级策略优先级策略#of Test Cycles for Beginning of Return on Automation 复杂度复杂度RiskHighMediumLowHigh5.05.95.5Medium6.67.38.1Low5.07.38.11342#-Priority#/Order58697v只适用于功能测试阶段，因为一般会：给定预算，进度，资源给定平均或期望的测试运行次数根据业务流程的不同
11、（复杂度和风险）最大化自动化率（只能达到有限值）初级阶段目标初级阶段目标v可以适用于回归测试：自动化率可以逐步提高增加自动化测试的次数减少测试运行时的缺陷高级阶段目标高级阶段目标通过灵活的合理的自动化测试目标最大化时间和资源的利用率和价值自动化测试固定成自动化测试固定成本的例子：本的例子：硬件硬件 应用软件的许可证应用软件的许可证 应用软件的技术支持应用软件的技术支持 自动化测试环境的设自动化测试环境的设计和搭建计和搭建 自动化测试环境的维自动化测试环境的维护护 脚本开发工具软件脚本开发工具软件 脚本开发工具的许可脚本开发工具的许可证证 测试工具的培训测试工具的培训 测试工具的引入和启测试工具
12、的引入和启动动自动化测试可变成自动化测试可变成本的例子：本的例子：自动化测试用例的设自动化测试用例的设计计 自动化测试用力的实自动化测试用力的实现现 自动化测试的维护自动化测试的维护 自动化测试用例的执自动化测试用例的执行行 自动化测试结果的分自动化测试结果的分析析 缺陷的报告缺陷的报告 测试结果的报告测试结果的报告 测试执行数据的保存测试执行数据的保存 自动执行的测试自动执行的测试手工测试共手工测试共同要素的例子：同要素的例子：被测软件分析被测软件分析 测试规划测试规划 基础测试设计基础测试设计 缺陷报告缺陷报告 测试结果报告测试结果报告测试执行管理工具基础测试管理平台用例向导用例设计用例参数管理业务流程设计初始化运行环境执行引擎结果分析用例数据管理测试数据库测试案例库CR运行测试执行工具营业自动化测试帐务自动化测试计费自动化测试
