1、OneAPM智能运维平台解决方案用人工智能点亮您的IT数据议题 从人工到人工智能 迈出AIOps的第一步 用人工智能点亮您的IT数据22022-11-8议题 迈出AIOps的第一步 用人工智能点亮您的IT数据32022-11-8当前运维和业务团队面临的困境不是没有数据，而是数据太多不是不想分析，而是无从下手42022-11-8从人工到人工智能挖掘海量数据的业务价值统一大数据分布式处理技术智能算法与机器学习业务系统将要发生什么？主动响应的预防预测性管理降低系统低效对业务的影响多种分散独立监控工具专业化专家型人才业务系统已经发生了什么？被动响应的故障恢复性管理人工运维AIOps52022-11-8
2、什么是AIOpsAIOps，即基于人工智能的IT运维（Artificial Intelligence for IT Operations），是由Gartner定义的IT运维管理新类别。AIOps将服务管理、性能监测、自动化结合在一起，以实现持续洞察和改进的目标，并由大数据和机器学习技术进行支撑。机器学习大数据平台AIOps商业价值监测（观察）服务管理（交互）自动化（行动）持续察洞持续洞察持续洞察From Gartners Report62022-11-8AIOps的四个核心能力对海量数据进行存储通过智能算法在数据提取时和存储后进行分析从不同的数据源中获取数据对海量数据进行高效访问72022-1
3、1-8AIOps的技术栈可视化机器学习算法分析计算大数据数据源事件日志监控工单任务 全量，海量，多样性，复杂性IT数据 集中统一管理，历史数据存储，实时数据存储 数据建模，模式识别，趋势识别，故障隔离 智能化选择，异常检测，异常定位，根因分析 算法自我修改演进，新算法创建 多维度，个性化，角色化，场景化展示 数据清洗，去重，过滤，关联，生成新数据82022-11-8AIOps的核心价值故障发现故障规避故障止损故障修复异常定位异常定位异常预测异常预测92022-11-8AIOps将在5-10年内成为ITOM的主流技术From Gartners Report102022-11-8议题 从人工到人工
4、智能 迈出AIOps的第一步112022-11-8OneAPM智能运维平台解决方案服务器数据存储数据网络数据应用数据用户体验数据流量数据日志数据交易数据任意IT数据OneAPMAIOps大数据实时多维分析机器学习大规模事务处理海量数据实时接入服务分析深度挖掘场景可视化多维指标告警数据建模122022-11-8OneAPM智能运维平台的五个能力层次发现接入存储整合梳理关联智能分析多维展示从哪里来到哪里去IT数据132022-11-8142022-11-8全栈IT数据的采集范围监控对象监控对象采集数据采集数据IT系统系统客户端 数据库虚拟化 中间件SaaS传统架构业务层应用软件层基础设施层业务系统
5、云架构硬件设备PaaSIaaS交易业务流程浏览器移动APP应用/微服务应用代码数据库服务中间件服务网络流量包日志虚拟化网络主机机房环境交易量交易金额交易成功率页面加载时间浏览器类型用户IP页面加载错误率CDN质量应用响应时间应用吞吐量应用错误率单个服务响应时间单个服务吞吐量单个服务错误率交易错误率交易处理时间APP页面响应时间APP崩溃率APP网络请求时间APP H5页面性能JVM内存利用率服务器时延SQL语句执行时间连接池数量缓冲区命中率告警虚拟机数量主机数量CPU利用率内存利用率丢包率平均建链时间网络流量磁盘可用容量电源处理器配置项业务逻辑IT资产库CMDB152022-11-8全栈IT数
6、据的采集方式IT数据SNMP、IPMI、WMI、SMI-S、JMX、GlassFish、JDBC、SSH、Telnet等Java、.Net、PHP、Python、Ruby、Node.js、Andriod、iOS等Rsyslog、NXlog、Kafka、SDK、Restful API等SFLOW、NETFLOW、IPFIX、SPAN、RSPAN、ERSPAN等StatsD、Web Service、JSON等URL、Host、Port、HTTP、RTSP、RTMP等162022-11-8IT数据采集方式的选择采集方式适用场景基础监控协议IaaS、PaaS层，服务器、网络、存储、操作系统、中间件、数
7、据库、应用进程，物联网传感器等网络及协议可达的IT资源状态和可用性指标数据采集网络流量采集提取网络包中携带的网络性能、用户体验、应用性能、交易等数据日志采集收集系统、应用、业务等日志，进行事件、告警、交易等任意可标识信息的采集分析字节码探针浏览器、移动APP用户体验数据采集，探针兼容的（Java、.Net、PHP等解释型语言开发）应用系统的代码性能数据采集，应用调用链路追踪数据采集模拟拨测通过定时任务模拟用户访问和系统调用，主动探测应用服务的可用性指标采集SDK/API可根据数据采集（任意数据、任意格式）需要，在应用开发过程中调用SDK和接口采集数据172022-11-8与已有ITOM工具的对
8、接JDBC，SNMP TRAP，Web Service，OneAPMAIOps182022-11-8192022-11-8海量IT数据处理的挑战数据规模高并发总量大种类多样格式各异毫秒级延时秒级处理响应逻辑复杂实效202022-11-8海量IT数据处理平台指标、交易、详情指标、事件历史大数据服务API 网关搜索服务消息服务交易关联/拼接服务/异常检测服务等历史数据处理实时数据处理数据采集器数据采集器数据采集器指标、事件、日志、交易、详情、流量业务交易、指标、告警、详情时间序列实时数据服务指标、事件、日志、交易、详情、流量业务交易、指标、告警、详情数据接入数据处理数据存储AgentSNMPECH
9、OIPMISDKFLOWLOG开发运维业务212022-11-8海量IT数据处理平台的能力OneAPMAIOps实时数据管理Streaming data management 历史数据管理Historical data management 指标数据管理Metric data ingestion 文本数据管理Document text ingestion 日志数据管理Log data ingestion 流量数据管理Wire data ingestion 通过NLP（自然语言处理）技术，对人类可读文档进行解析 从网络上直接捕获的数据包，兼容多种网络协议 任何软硬件设备生成的日志数据，并为访问分
10、析建立索引 对实时数据进行标准化和索引化，以时间尺度实时展示数据 吸纳海量多样化历史数据，并进行索引和持久存储 直接捕获和使用数值型数据，例如时间序列数据222022-11-8232022-11-8通过数据模型（Data Module）梳理IT数据CPU利用率%数据库服务错误数数据库服务请求数数据库平均响应时间数据库死锁率内存空闲率%存储空闲率%数据库连接池利用率%数据库服务健康指数JDBCSNMP数据库实例操作系统主机应用指标及阈值接口/协议依赖关系/拓扑数据模型Data Module242022-11-8开箱即用的数据模型和自定义扩展应用服务器关系型数据库存储操作系统Web服务器虚拟化应用
11、性能管理用户体验管理开箱即用扩展自定义l新增指标及阈值l新增接口/协议l修改依赖关系/拓扑l自定义指标及阈值l自定义接口/协议l自定义依赖关系/拓扑数据模型 Data Module252022-11-8深度挖掘多个指标对于服务质量的影响数据库服务数据库服务的KPI数据库服务错误数存储空闲率%数据库平均响应时间服务健康指数数据库服务请求数内存空闲率%CPU 利用率%开启深度挖掘分析严重严重严重重大正常正常正常服务分析深度挖掘%262022-11-8如何从IT数据中获得洞察？272022-11-8结合领域知识的人工智能算法人工智能算法聚类、决策树、随机森林、卷积神经网络运维领域知识异常检测、多维分
12、析、根因分析、故障预测行业运维经验金融、运营商、互联网、政府、大型企业AIOps282022-11-8OneAPM人工智能算法与分析平台基础数据层机器学习算法层RMDB事件指标日志工单作业监控MQNoSQLTSDBHDFSMPPDBARIMA卡尔曼时序数据分解Holt-Winters奇异谱变换（SST）DiDDBSCANPearson关联分析J-MeasureTwo-sample testAprioriFP-Growth分类聚类决策树逻辑回归DNNCNNLSTM/RNNNLPAIOps算法层指标分布预测指标聚类KPI联动分析KPI事件关联日志事件序列提取日志事件模板提取技术能力层数据源异常标记
13、单指标异常检测多指标异常检测关联分析故障拓扑图故障树根因分析调用链告警压缩单故障止损灰度版本止损配置优化成本分析容量规划资源调度发现问题定位问题解决问题其他应用层自适应异常检测多维异常问题定位故障根因分析异常预测292022-11-8什么是KPI异常检测KPI（Key Performance Indicator）：用于反映服务的健康程度。如：服务请求数、拒绝数、响应时间、流、订单等 如：服务 CPU、内存、络、磁盘等 KPI 异常行为：潜在的风险、故障、bugs、攻击.KPI 异常检测：用于识别 KPI 时序曲线上的异常行为。及早发现风险，防止其发展为故障及时发现故障，进行止损、诊断和修复运维
14、的重要基础302022-11-8OneAPM自适应KPI异常检测的特点 普适性检测算法动态基带算法，适用更多不同特点曲线基于迁移算法学习，自动适配场景变化依据反馈，对算法和参数进行优选，减少人工干预对比14种常用检测算法，准确度排名第一 算法自我容错 场景动态适配 异常精准检测312022-11-8OneAPM自适应KPI异常检测结果展示某大型互联网公司的KPI检测效果 322022-11-8什么是多维分析关键指标关键指标属性属性1属性属性2属性属性n交易时间、失败率、闪退率、销售额、订单数、PV、转化率、用户数、用户增速、留存率、投诉率.运营商、省份、城市、移动设备类型、软件版本号、移动端模
15、块、浏览器版本、无线网络参数、服务器端模块、后台负载、用户年龄、用户性别.发现业务“关键指标KPI”瓶颈，为正确决策提供依据。例:“响应时间”在什么条件下会慢？332022-11-8OneAPM多维异常问题分析的特点 自动识别瓶颈条件 基于决策树分析，从大量多维度数据中，自动确定影响属性 基于历史数据的AB测试，在历史数据中对比实验组和对照组的性能差别，预测可能的优化方案效果 预测优化效果 便捷的可视化系统，人员可对过程和结果进行核对，排除可能的干扰数据，重新分析，得到正确结果 过程和结果可视化 342022-11-8OneAPM多维异常问题分析结果展示352022-11-8如何从IT数据中获
16、得洞察？362022-11-8面向场景的多维数据分析和可视化场景化和可视化封装什么人什么时间什么问题如何处理372022-11-8面向不同场景的多维仪表盘382022-11-8面向不同场景的多维指标告警选择KPI所属和影响的服务 服务所选服务包含的KPI选择的KPI组合得分：范围：严重 0-20，重大 20-40，次要 40-60，低等 60-80，正常 80-100 正常多KPI 告警设置当多指标组合得分超过告警触发条件时，关联搜索将被执行 392022-11-8面向不同人员的场景可视化示例402022-11-8OneAPM智能运维平台解决方案的特点10亿+条事件分析，单服务器处理时间小于1
17、0秒快85%数据存储压缩比，每秒处理十万条记录，仅需一台4核普通配置虚拟机低多指标联动分析，针对不同人员的场景可视化展现炫全栈、全量数据采集，覆盖所有IT数据全无需外部专用数据库，数据存储没有时间限制无TCO，行业中最低总体拥有成本廉10分钟辅助根因分析，提升排障效率准自研大数据分布式计算框架、机器学习算法智All IT Data，One Analytics Platform，More Intelligence412022-11-8议题 从人工到人工智能 用人工智能点亮您的IT数据422022-11-8如果您认同以下问题，那么AIOps将非常适合您 您已在使用一些运维工具，但它们分散独立，您总
18、是需要在不同工具间来回操作 您期望在更短的时间（如，30分钟）内定位故障发生根因 您期望拥有自己的工作台，将职责范围内的信息聚焦在一个界面 您总被不准确的告警信息所干扰，急切希望提升告警的准确度 您觉得您的应用系统存在优化空间，却找不到优化的切入点 您期望在故障发生前尽早发现系统潜在问题 您期望能灵活的生成工作报表，并通过炫酷的大屏幕展示IT运维成果 您期望通过更加智能便捷的工具，代替日常繁琐重复的基础工作432022-11-8自上而下的方法解决自下而上的问题要监控的服务是什么？有什么问题需要解决？服务由哪些组件组成？如何评价这个服务（KPI是什么）？明确每个KPI的数据来源展现平台价值通过平台进行数据分析挖掘绘制场景化视图创建故障深度挖掘关联关系创建服务的KPI和数据源OneAPMAIOpsl挑选日常工作中一个有价值的运维难题l分析挖掘l与专家一同进行问题分解l将分解后的信息导入平台l建立数据模型和视图442022-11-8THANK YOU
