1、手自一体化的移动云测试平台建设方案手自一体化的移动云测试平台建设方案案例简述移动自动化测试云手机平台移动手工测试测试管理平台Android、iOSAndroidAndroidiPhoneiPadPOS智能智能车机手机平板定位及目标方案定位功能测试人员的效能提升工具无需掌握特殊技能、易学易用定位及目标方案目标提高测试脚本的跨环境执行能力移动测试效能提升、不仅仅是自动化移动应用测试的困境重复性工作耗时更严重移动应用测试的困境重复性工作耗时更严重移动应用测试的困境重复性工作耗时更严重解决之道常见移动测试工具及使用问题分析测试类型测试类型常见工具常见工具使用存在的问题使用存在的问题功能自动化测试兼容性
2、适配测试AppiumMonkey需要编码，但是技术门槛高、测试代码维护成本高基于大量手机测试及收集日志、性能指标，编写报告不方便价格其实不便宜、发现的有效问题比较少；有效问题在修改、回归过程中还是没有设备；基于外部设备调试代码信息安全不允许；兼容性适配测试云手机平台公有云服务STF功能单一，源码代码维护、扩展困难什么是手自一体化？手工功能测试、自动化功能测试一体化手动执行测试计划测试案例测试报告生成测试覆盖分析自动执行一个App在某Android 6手机上安装成功，在其它Android 4/5/7/8手机上，一定能安装成功么？一旦都能安装成功，具体某个功能的业务逻辑，在Android6.0上测
3、试通过，在Android7.0上出Bug的可能性有多大？什么是手自一体化？功能/兼容性自动化测试一体化自动化测试类型自动化测试类型是否依赖海量设备是否依赖海量设备依赖是否依赖测试脚本是否依赖测试脚本安装测试/启动测试遍历测试/卸载测试不依赖依赖功能测试/场景测试不依赖基于大量设备的兼容性适配测试+基于少量设备的功能自动化回归测试基于少量设备的功能自动化回归测试手自一体化移动云测平台功能架构移动云测平台技术方案自动化测试最佳实践1复杂对象封装处理自动化测试最佳实践2自动翻屏查找对象第一页第一页第二页第二页第三页第三页自动化测试最佳实践3自适应网络延时Wait 2秒Wait 5秒Auto Wait
4、Wait 10秒2GWait 30秒自动化测试最佳实践4目标识别对象类型可以配置自动化测试最佳实践5支持配置为“可选”步骤自动化测试最佳实践6测试数据参数化及动态赋值手自一体化测试最佳实践1测试用例、任务管理一体化手自一体化测试最佳实践2测试报告、统计分析一体化兼容性测试最佳实践1参考被测App实际装机量选择机型VS50.76%兼容性测试最佳实践2支持多种遍历方式遍历测试Monkey遍历安装启动卸载配置脚本遍历深度递归遍历性能监测日志分析截图录像云手机平台最佳实践1云真机平台支持所有测试任务云手机平台最佳实践1云真机平台支持所有测试任务云手机平台最佳实践2在线设备实时大屏监控把分散在各个工位及
5、机柜中的设备，通过大屏集中、实时监控展现，设备使用状态一目了然。订阅所有在线设备的实时图像设备图像实时推送图像推送服务器订阅自己申请设备的实时图像自动化测试实施最佳实践1自动化测试团队组织方式建立独立团队，负责自动化测试脚本编写、执行及分析，手工测试团队不参与；自动化测试团队负责维护框架、编写脚本，交给手工测试团队执行使用；一级二级三级自动化测试框架研发、自动化测试框架扩展由不同的技术团队负责、测试脚本编写及使用由手工测试团队负责；自动化测试实施最佳实践2识别适合做自动化测试的项目适合做自动化测试的项目具备哪些特征？项目周期长、需要长期维护、版本发布频繁、质量要求高、采用敏捷开发模式、组织推行
6、DevOps、测试团队有基本编码技能 评估项目是否适合做自动化测试的关键非技术指标：当前测试覆盖度、质量风险及测试投入；目标测试覆盖度、质量风险，以及如果不引入自动化手段需要的测试投入；这个目标是谁制定的或者是向谁承诺要达成的？自动化测试实施最佳实践3自动化测试工作的开展方式及价值不要用手工测试的惯性思维来考虑自动化测试工作的开展方式及价值。自动化测试能否节省人力，主要取决于当前是否已经的人工测试投入；自动化测试在前期的主要价值是降低风险，后期逐渐节约成本；如果领导就是关注能否尽快降低成本，就先找当前手工测试最重复的一个点入手；自动化测试的度量：脚本稳定运行时长=节省的人力工时、自动化回归测试
7、发现缺陷=释放后缺陷方案推广实践小结手工测试手工测试自动化测试自动化测试现状问题现状问题方案对策方案对策现状问题现状问题方案对策方案对策 日志及性能数据获取不方便 测试过程自动获取日志及性能数据 版本更新频繁，设备类型众多，需要耗费大量人力进行重复性回归测试 支持自动化测试脚本录制及跨设备回放执行，一次录制、多次执行更多版本更多手机 缺陷提交过程繁琐 测试报告编写困难 支持一键提交缺陷 自动生成测试报告跨团队/地域复用、信息安全、设备分散、规范管理第三方测试管理第三方测试管理云手机平台云手机平台现状问题现状问题方案对策方案对策现状问题现状问题方案对策方案对策 外包人员管理成本高 反馈问题不及时
8、，测试进度无法实时掌控 离岸设备无法复用 通过大屏实时监控所有测试设备使用状态 支持临时接入外部设备验证问题 设备管理混乱，更无法跨地域复用 对移动设备进行集中管理，由使用者按需在线申请、远程操作 信息安全有保障 USB开放、设备外带引发信息安全风险在岸外包、离岸外包、第三方设备案例ROI分析自动化测试（2台手机，仅脚本维护成本）人工测试成本估计自动测试成本估计1回/周测试频度：案例规模：被测手机：人工测试效率：1回/周339件2部部测试频度：案例规模：被测手机：脚本编写效率：339件2部部339/40 件/人天40件/人天30000025000020000015000010000050000
9、0成本回收周期：成本回收周期：第第10轮轮次测试执行后即可收回自动测试脚本制作投入的成本。人工测试自动测试123456789 10 11 12 13 14 15 16 17 18 19 20案例ROI分析自动化测试（10台手机，仅脚本维护成本）人工测试成本估计自动测试成本估计1回/周测试频度：案例规模：被测手机：人工测试效率：1回/周339件2部部测试频度：案例规模：被测手机：脚本编写效率：339件2部部339/40 件/人天40件/人天16000001400000120000010000008000006000004000002000000成本回收周期：成本回收周期：第第2轮轮次测试执行后即
10、可收回自动测试脚本制作投入的成本。人工测试自动测试123456789 10 11 12 13 14 15 16 17 18 19 20案例ROI分析自动化测试（10台手机，含平台建设成本）人工测试成本估计1回/周自动测试成本估计1回/周1000件测试频度：案例规模：被测手机：人工测试效率：测试频度：案例规模：被测手机：1000件10部40件/人天10部脚本编写效率： 15件/人天平台建设费用： 200万手机采购费用： 10万自动测试人工： 5.4万（预计3人）人员单价 ￥1.8万/人月成本回收周期：成本回收周期：第第45轮轮次测试执行后即可收回全部投入的成本，第第10个月个月后自动测试开始受益
11、。5000000400000036900003000000人工测试自动测试200000010000000922500123456789 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54案例ROI分析兼容性适配测试公有云兼容性测试服务采购：20万/1App/年 + 调试出错机型的租用费用40万/2App/年 + 调试出错机型的租用费用搭建私有云兼容性测试平台：20万（100150台手机） + 兼容性测试平台搭建费用40万（200300台手机） + 兼容性测试平台搭建费用不限App数量、不限次数、不限时间案例启示测试工具是测试人员的效能提升工具对症下药，不要盲从外面的统计数据自动化测试、手工测试只是执行方式不同不要用手工测试的惯性思维来考虑自动化测试工作的开展方式及价值下一步要做深度遍历适配测试iOS兼容性适配测试通过日志分析做测试覆盖度对比统计移动安全性测试工具集成
