1、智慧城市大数据全业务链应用人工智能运营平台解决方案议题 智慧城市大数据全业务链应用人工智能运营平台建设背景 智慧城市大数据全业务链应用人工智能运营平台建设实施 智慧城市大数据全业务链应用人工智能运营平台顶层设计议题 智慧城市大数据全业务链应用人工智能运营平台建设实施 智慧城市大数据全业务链应用人工智能运营平台顶层设计当前运维和业务团队面临的困境不是没有数据，而是数据太多不是不想分析，而是无从下手智慧城市大数据全业务链应用人工智能运营平台建设背景挖掘海量数据的业务价值统一大数据分布式处理技术智能算法与机器学习业务系统将要发生什么？主动响应的预防预测性管理降低系统低效对业务的影响多种分散独立监控工
2、具专业化专家型人才业务系统已经发生了什么？被动响应的故障恢复性管理人工运维人工智能运维什么是人工智能运维人工智能运维，即基于人工智能的IT运维（Artificial Intelligence for IT Operations） ，是由Gartner定义的IT运维管理新类别。人工智能运维将服务管理、性能监测、自动化结合在一起，以实现持续洞察和改进的目标，并由大数据和机器学习技术进行支撑。机器学习大数据平台人工智能运维商业价值监测（观察）服务管理（交互）自动化（行动）持续察洞持续洞察持续洞察如何使用机器学习的方法明确问题：处理数据：我们要解决什么样的问题解决问题可能需要哪些数据我们可以获取哪些数
3、据流量预测/异常检测历史时刻对应的流量数据清洗特征工程数据标记清洗接口异常数据统计判别结合无监督学习标记数据训练模型：选择模型训练模型验证模型离线训练模型交叉验证模型表现使用模型：线上加载定期修正BadCase分析修正模型流量预测及异常检测的技术框架原始数据有标记样本库分类模型输出模型实时数据特征工程加载分类模型输出标记离线模块在线模块特征工程回归模型预测流量训练集样本的标记原始数据有监督分类模型统计方法及无监督算法有标记样本库分类模型实时判断异常人工修正确认告警和异常3-sigemaTukeys testIsolation ForestOne Class SVM投票 2负样本投票 =0正样本
4、训练样本库分类器有标记样本库标记Top N无监督分类模型流量预测整体规律性较强 历史同期流量统计特征 历史同期流量变化趋势 移动平均特征历史特征：流量数据特点：短期小幅波动较多移动平均吸收短期波动工作日，周末，假期影响较大设计对应的历史特征提取规则流量趋势可预测异常检测构建合适的对比样本库，提取特征用于对比 当日前n分钟流量数据 昨日同时刻前后n分钟流量数据 上周同时刻前后n分钟流量数据对比样本库对比样本库统计特征：均值中位数标准差最大值最小值偏度峰度样本对比特征：差值比值同比环比异常时流量一定有反常的波动异常发生频率较低统计判别结合无监督算法解决样本初始无标记问题智能告警合并维度选择集群=?
5、异常信息=?ganji合并条数=16合并条数=14合并条数=16合并条数=258tongchenganjuke页面连接错误页面连接错误页面状态码非200异常信息=?服务器ip=?合并条数=2页面关键字异常192.168.40.821.遍历全部备选维度，确认当前合并维度；2.基于合并维度划分数据集，继续选择合并维度；3.到达停止条件后停止；智能故障根因分析基于告警信息提取基于告警信息提取监控分层系统层：资源使用率(CPU、内存)监控应用层：端口、进程监控业务层(页面、接口)网络层、服务器层：网络设备硬件监控告警信息按层合并，异常发生时由上至下逐层获取告警信息，提取根因；优点：解释性好，结果可靠缺
6、点：非常依赖监控的完备性 智能故障根因分析调用链信息不完备智能故障自愈故障自愈的策略出现故障先不告警，自动执行预定义的一系列处理步骤，尝试自动处理故障如果故障自愈成功，那么无需发送告警如果故障自愈失败，按照预定义的方式发告警在合适的时间，将近期故障自愈的执行结果汇总后通知用户人工智能运维的四个核心能力对海量数据进行存储通过智能算法在数据提取时和存储后进行分析从不同的数据源中获取数据对海量数据进行高效访问人工智能运维的技术栈可视化机器学习算法分析计算大数据数据源事件日志监控工单任务 全量，海量，多样性，复杂性IT数据 集中统一管理，历史数据存储，实时数据存储 数据建模，模式识别，趋势识别，故障隔
7、离 智能化选择，异常检测，异常定位，根因分析 算法自我修改演进，新算法创建 多维度，个性化，角色化，场景化展示 数据清洗，去重，过滤，关联，生成新数据人工智能运维的核心价值故障发现故障规避故障止损故障修复异常定位异常定位异常预测异常预测人工智能运维将在5-10年内成为ITOM的主流技术From Gartners Report议题 智慧城市大数据全业务链应用人工智能运营平台建设背景 智慧城市大数据全业务链应用人工智能运营平台建设实施人工智能智能运维平台解决方案服务器数据存储数据网络数据应用数据用户体验数据流量数据日志数据交易数据任意IT数据人工智能人工智能运维运维大数据实时多维分析机器学习大规模
8、事务处理海量数据实时接入服务分析深度挖掘场景可视化多维指标告警数据建模人工智能智能运维平台的五个能力层次发现接入存储整合梳理关联智能分析多维展示从哪里来到哪里去IT数据全栈IT数据的采集范围监控对象监控对象采集数据采集数据IT系统系统客户端 数据库虚拟化 中间件SaaS传统架构业务层应用软件层基础设施层业务系统云架构硬件设备PaaSIaaS交易业务流程浏览器移动APP应用/微服务应用代码数据库服务中间件服务网络流量包日志虚拟化网络主机机房环境交易量交易金额交易成功率页面加载时间浏览器类型用户IP页面加载错误率CDN质量应用响应时间应用吞吐量应用错误率单个服务响应时间单个服务吞吐量单个服务错误率
9、交易错误率交易处理时间APP页面响应时间APP崩溃率APP网络请求时间APP H5页面性能JVM内存利用率服务器时延SQL语句执行时间连接池数量缓冲区命中率告警虚拟机数量主机数量CPU利用率内存利用率丢包率平均建链时间网络流量磁盘可用容量电源处理器配置项业务逻辑IT资产库CMDB全栈IT数据的采集方式IT数据SNMP、IPMI、WMI、SMI-S、JMX、GlassFish、JDBC、SSH、Telnet等Java、.Net、PHP、Python、Ruby、Node.js、Andriod、iOS等Rsyslog、NXlog、Kafka、SDK、Restful API等SFLOW、NETFLOW
10、、IPFIX、SPAN、RSPAN、ERSPAN等StatsD、 Web Service、 JSON等URL、Host、Port、 HTTP 、RTSP、RTMP等IT数据采集方式的选择采集方式适用场景基础监控协议IaaS、PaaS层，服务器、网络、存储、操作系统、中间件、数据库、应用进程，物联网传感器等网络及协议可达的IT资源状态和可用性指标数据采集网络流量采集提取网络包中携带的网络性能、用户体验、应用性能、交易等数据日志采集收集系统、应用、业务等日志，进行事件、告警、交易等任意可标识信息的采集分析字节码探针浏览器、移动APP用户体验数据采集，探针兼容的（Java、.Net、PHP等解释型语
11、言开发）应用系统的代码性能数据采集，应用调用链路追踪数据采集模拟拨测通过定时任务模拟用户访问和系统调用，主动探测应用服务的可用性指标采集SDK/API可根据数据采集（任意数据、任意格式）需要，在应用开发过程中调用SDK和接口采集数据与已有ITOM工具的对接JDBC，SNMP TRAP，Web Service，人工智能人工智能人工智能人工智能运维运维海量IT数据处理的挑战数据规模高并发总量大种类多样格式各异毫秒级延时秒级处理响应逻辑复杂实效海量IT数据处理平台指标、交易、详情指标、事件历史大数据服务API 网关搜索服务消息服务交易关联 / 拼接服务 / 异常检测服务等历史数据处理实时数据处理数据
12、采集器数据采集器数据采集器指标、事件、日志、交易、详情、流量业务交易、指标、告警、详情时间序列实时数据服务指标、事件、日志、交易、详情、流量业务交易、指标、告警、详情数据接入数据处理数据存储AgentSNMPECHOIPMISDKFLOWLOG开发运维业务海量IT数据处理平台的能力人工智能人工智能运维实时数据管理Streaming data management 历史数据管理Historical data management 指标数据管理Metric data ingestion 文本数据管理Document text ingestion 日志数据管理Log data ingestion 流
13、量数据管理Wire data ingestion 通过NLP（自然语言处理）技术，对人类可读文档进行解析 从网络上直接捕获的数据包，兼容多种网络协议 任何软硬件设备生成的日志数据，并为访问分析建立索引 对实时数据进行标准化和索引化，以时间尺度实时展示数据 吸纳海量多样化历史数据，并进行索引和持久存储 直接捕获和使用数值型数据，例如时间序列数据通过数据模型（Data Module）梳理IT数据CPU利用率 %数据库服务错误数数据库服务请求数数据库平均响应时间数据库死锁率内存空闲率 %存储空闲率 %数据库连接池利用率 %数据库服务健康指数JDBCSNMP数据库实例操作系统主机应用指标及阈值接口/协
14、议依赖关系/拓扑数据模型Data Module开箱即用的数据模型和自定义扩展应用服务器关系型数据库存储操作系统Web服务器虚拟化应用性能管理用户体验管理开箱即用扩展自定义l新增指标及阈值l新增接口/协议l修改依赖关系/拓扑l自定义指标及阈值l自定义接口/协议l自定义依赖关系/拓扑数据模型 Data Module深度挖掘多个指标对于服务质量的影响数据库服务数据库服务的KPI数据库服务错误数存储空闲率 %数据库平均响应时间服务健康指数数据库服务请求数内存空闲率 %CPU 利用率 %开启深度挖掘分析严重严重严重重大正常正常正常服务分析深度挖掘 %如何从IT数据中获得洞察？结合领域知识的人工智能算法人
15、工智能算法聚类、决策树、随机森林、卷积神经网络运维领域知识异常检测、多维分析、根因分析、故障预测行业运维经验金融、运营商、互联网、政府、大型企业AIOps人工智能人工智能算法与分析平台基础数据层机器学习算法层RMDB事件指标日志工单作业监控MQNoSQLTSDBHDFSMPPDBARIMA卡尔曼时序数据分解Holt-Winters奇异谱变换（SST）DiDDBSCANPearson关联分析J-MeasureTwo-sample testAprioriFP-Growth分类聚类决策树逻辑回归DNNCNNLSTM/RNNNLP人工智能运维算法层指标分布预测指标聚类KPI联动分析KPI事件关联日志事
16、件序列提取日志事件模板提取技术能力层数据源异常标记单指标异常检测多指标异常检测关联分析故障拓扑图故障树根因分析调用链告警压缩单故障止损灰度版本止损配置优化成本分析容量规划资源调度发现问题定位问题解决问题其他应用层自适应异常检测多维异常问题定位故障根因分析异常预测什么是KPI异常检测KPI（Key Performance Indicator）：用于反映服务的健康程度。如：服务请求数、拒绝数、响应时间、流 、订单等 如：服务 CPU、内存、 络、磁盘等 KPI 异常行为：潜在的风险、故障、bugs、攻击. KPI 异常检测：用于识别 KPI 时序曲线上的异常行为。及早发现风险，防止其发展为故障及时
17、发现故障，进行止损、诊断和修复运维的重要基础人工智能自适应KPI异常检测的特点 普适性检测算法动态基带算法，适用更多不同特点曲线基于迁移算法学习，自动适配场景变化依据反馈，对算法和参数进行优选，减少人工干预对比14种常用检测算法，准确度排名第一 算法自我容错 场景动态适配 异常精准检测人工智能自适应KPI异常检测结果展示某大型互联网公司的KPI检测效果 什么是多维分析关键指标关键指标属性属性1属性属性2属性属性n交易时间、失败率、闪退率、销售额、 订单数、PV、转化率、用户数、用户增速、留存率、投诉率. 运营商、省份、城市、移动设备类型、软件版本号、移动端模块、浏览器版本、无线网络参数、服务器
18、端模块、后台负载、用户年龄、用户性别. 发现业务“关键指标KPI”瓶颈，为正确决策提供依据。例:“响应时间”在什么条件下会慢？ 人工智能多维异常问题分析的特点 自动识别瓶颈条件 基于决策树分析，从大量多维度数据中，自动确定影响属性 基于历史数据的AB测试，在历史数据中对比实验组和对照组的性能差别，预测可能的优化方案效果 预测优化效果 便捷的可视化系统，人员可对过程和结果进行核对，排除可能的干扰数据，重新分析，得到正确结果 过程和结果可视化 人工智能多维异常问题分析结果展示如何从IT数据中获得洞察？面向场景的多维数据分析和可视化场景化和可视化封装什么人什么时间什么问题如何处理面向不同场景的多维仪
19、表盘面向不同场景的多维指标告警选择KPI所属和影响的服务 服务所选服务包含的KPI选择的KPI组合得分：范围：严重 0-20，重大 20-40，次要 40-60，低等 60-80，正常 80-100 正常多KPI 告警设置当多指标组合得分超过告警触发条件时，关联搜索将被执行 面向不同人员的场景可视化示例人工智能智能运维平台解决方案的特点10亿+条事件分析，单服务器处理时间小于10秒快85%数据存储压缩比，每秒处理十万条记录，仅需一台4核普通配置虚拟机低多指标联动分析，针对不同人员的场景可视化展现炫全栈、全量数据采集，覆盖所有IT数据全无需外部专用数据库，数据存储没有时间限制无TCO，行业中最低
20、总体拥有成本廉10分钟辅助根因分析，提升排障效率准自研大数据分布式计算框架、机器学习算法智All IT Data，One Analytics Platform，More Intelligence议题 智慧城市大数据全业务链应用人工智能运营平台建设背景 智慧城市大数据全业务链应用人工智能运营平台顶层设计如果您认同以下问题，那么人工智能运维将非常适合您 您已在使用一些运维工具，但它们分散独立，您总是需要在不同工具间来回操作 您期望在更短的时间（如，30分钟）内定位故障发生根因 您期望拥有自己的工作台，将职责范围内的信息聚焦在一个界面 您总被不准确的告警信息所干扰，急切希望提升告警的准确度 您觉得您
21、的应用系统存在优化空间，却找不到优化的切入点 您期望在故障发生前尽早发现系统潜在问题 您期望能灵活的生成工作报表，并通过炫酷的大屏幕展示IT运维成果 您期望通过更加智能便捷的工具，代替日常繁琐重复的基础工作自上而下的方法解决自下而上的问题要监控的服务是什么？有什么问题需要解决？服务由哪些组件组成？如何评价这个服务（KPI是什么）？明确每个KPI的数据来源展现平台价值通过平台进行数据分析挖掘绘制场景化视图创建故障深度挖掘关联关系创建服务的KPI和数据源人工智能人工智能运维l挑选日常工作中一个有价值的运维难题l分析挖掘l与专家一同进行问题分解l将分解后的信息导入平台l建立数据模型和视图THANK YOU
