1、PerfDog系统性能测试方案介绍1、为什么越来越重视性能?2、性能实战中踩过的坑?3、前线人员需要什么利器?4、PerfDog技术解析?5、性能专项必备技术能力?6、未来计划?目录1、为什么越来越重视性能?用户关注什么?我们能做什么?2、性能实战中踩过的坑?痛点?1、ROOT2、准确性3、局限性(复合应用,如微 信小程序、小游戏)4、稳定性5、易用性1、越狱(iOS11后无法越狱)2、Xcode编译3、局限性(复合应用,如微信 小程序、小游戏)4、易用性 iOS无法性能测试无法性能测试(游戏、应用、微信小游戏小程序)iOS无法性能分析无法性能分析(Xcode源码编译一天,数据管理)无法竞品性
2、能分析无法竞品性能分析 Android不准确不准确(导致大量交叉复测验证,误导分析)Android不稳定不稳定(工具性能消耗太高被kill,无法长时间测试)Android不易用不易用(使用流程很复杂)行业痛点?腾讯腾讯游戏游戏CPTDR标准标准性能数据标准性能数据标准手机厂商手机厂商合作优化合作优化 性能数据标准性能数据标准普通用户普通用户流畅度流畅度 降降频频性能数据标准性能数据标准统一标准尺度统一标准尺度3、前线人员需要什么利器?1、ROOT2、准确性3、局限性(复合应用,如微信小程序、小游戏)4、稳定性5、易用性1、越狱2、Xcode编译3、局限性(复合应用,如微信小程序、小游戏)4、易
3、用性需要什么样工具?PerfDog呼之欲出移动全平台移动全平台iOS/Android性能测试、分析工具。性能测试、分析工具。快速定位分析性能问题,提升快速定位分析性能问题,提升APP应用及游戏的性能和品质。应用及游戏的性能和品质。手机无需手机无需ROOT/越狱、游戏及越狱、游戏及APP应用也无需做任何修改。应用也无需做任何修改。极简化即插即用极简化即插即用全平台全平台Android/iOS,PC端支持Windows/Mac无需无需ROOT/越狱越狱Android无需ROOT,iOS无需越狱高效解决高效解决IOS测试分析难题测试分析难题局限性局限性(数据、硬件完整性,复合应数据、硬件完整性,复合
4、应用用)解决复合应用测试问题解决复合应用测试问题(微信小程序、小游戏、入口微信小程序、小游戏、入口等等)已适配90%Android、iOS系统、机型及应用APP(其他工具涉及机型、系统、应用类型适配,性能参数不完整)稳定性稳定性解决系统强制解决系统强制Kill机制机制,双重获取权限机制保证长时间极限稳定测试准确性准确性工具本身性能影响极小11%(注:小米五锁定小核心频率。GB:20%、其他:28%),参数统一准确易用性易用性即插即用,无需手工手机安装APP 可编辑统计UI图表及数据标准输出云化管理云化管理任务管理、版本对比、数据传递分享、展示编辑查看任务管理、版本对比、数据传递分享、展示编辑查
5、看开发者社区开发者社区提供性能知识和技术支持,与万千开发者交流分享提供性能知识和技术支持,与万千开发者交流分享PerfDog对比/现状现状:500+公司使用(游戏、应用、微信小游戏)DAU:4000+人(每天使用人数)累计用户(开发和性能专项人员):10000+金字塔思维开发同学25%专项同学(35%)外包同学(40%)PerfDog产品服务云化管理云化管理Web展示展示PerfDogWeb展示展示自动化、自动化、云测等云测等iOSAndroid(Windows、Mac、Linux)(Windows、Mac)iOSAndroidPerfDog Service(Windows、Mac、Linux
6、)P e r f*二 次 开 发二 次 开 发 自己工具自己工具(Windows、Mac)PerfDog-展示4、PerfDog技术解析?iOSPerf Automation 自动化测试AndroidPerfDogSDKPerfDogPerfDog ServiceUIGRPCGRPCPerf*二次开发自 己性能工具(Windows、Mac、Linux)(Windows、Mac、Linux)(Windows、Mac、Linux)提供调用接口提供调用接口(本本地地/远远程程)(C#、C+、Java、Python、PHP、Go)(Windows、Mac、Linux)PerfDog技术框架Remote
7、 Perf*GRPC/TCP(Windows、Mac、Linux)iOS技术难点:难点:iOS封闭性,未任何公开资料。协议格式和XcodeServer架构 原理Xcode Server技术框架解读PerfDogPDMessageXcode ServerlibpdusbiOS技术ScreenShot ServerLog ServerXcode ServerConnectionDispatchPerf ServerGraphic ServerNetworkServerActivity/Sysmond ServerPower ServerTrace ServerAndroid技术PerfDogPer
8、fDogServerPerfDogAPP难点:难点:性能影响最小不同厂商、不同版本系统,参数API及形式不样,需要分析源码未公开API更高效,需要分析系统源码,进行参数优化及编译兼容性问题Linux内核APINativeAPI (未公开)JavaAPI(未公开)APPJavaAPP如何才能专业测试、分析?赛车运动5、性能专项必备技术能力?报告专业性?专业知识专业知识 移动硬件特性 硬件参数 系统性能参数理解 游戏性能特性 引擎渲染机制报告专业性报告专业性专业工具方法专业工具方法 SysTrace/ADB命令 Xcode/Instruments 高通/Mali Proflier PerfDog
9、GT案例沉淀案例沉淀 小米5机器降频 Mali显存统计定义 平均帧率 瞬时帧率游戏与APP区别 强制刷新 DirtyRedraw 脏区重绘fps:1秒内平均画面刷新次数fps苹果WWDC18年开发者大会 FramePacingfps=50:前前200ms刷新一次,后刷新一次,后800ms刷新刷新49帧,帧率帧,帧率 是是50,但觉得非常卡顿但觉得非常卡顿iOSAndroid4.4 流畅度机制 黄油计划-Jank Google提出JankGoogle Jank 计算思路:考虑视觉惯性,以硬件vsync时间间隔,连续1次vsync没有新画面刷新,则认为是一次卡顿,也就是说下一次vsync时间点没有
10、新画面刷新,则认为是一次Jank。Androidfps与流畅度流畅度!=fps流畅度 fps JankPerfDog计算方法:同时满足两条件,则认为是一次卡顿Jank.当前帧耗时前三帧平均耗时2倍。当前帧耗时两帧电影帧耗时(1000ms/24*2=84ms)。同时满足两条件,则认为是一次严重卡顿BigJank.当前帧耗时前三帧平均耗时2倍。当前帧耗时三帧电影帧耗时(1000ms/24*3=125ms)。PerfDogJankJank对比可量化 量化横向对比JankAndroid内存OOM本质?内存形态?关注那些参数?地址空间 VM HeapsizeNative heapsize LMK PSS
11、/SWAP Zram/vnswapiOS内存OOM本质?Footprint RealMemory?VMShort perLimit 地址空间 CPU多核心?核心Usage 核心频率 降频?能耗本质?CPU/GPU/屏幕?Power Voltage Current性能表现VS能耗?流畅度vs能耗?CPUGPU FPSWakeups执行场景设计?有效性 可对比性 严谨性6、未来计划?未来计划开发计划组件服务(PerfDogService)工具功能云端平台服务自动化测试支持混合程序测试(web程序)更加完善的版本对比功能微信公众号推送更多的工具技术文章服务二次开发获取更多的性能指标持续更新,支持最新的移动设备开发者社区推送更多的性能专项技术性文章分享更多性能分析优化案例Q&A自助服务未来计划合作行业合作厂商合作引擎合作ARM合作获取更多底层性能数据,帮助性能专项人员 更好的定位性能问题行业标准联合信通院,计量院等,制定游戏性能度量Benchmarks,建立移动应用性能行业标准信通院