1、A1ELK日志解决方案2019-01-03A2概览原理实践A3概览篇你负责的服务怎么处理日志什么是日志分析传统日志分析和ELK日志分析A4你负责的服务怎么处理日志?1.你怎么定义日志格式和内容?2.你怎么收集日志?3.你怎么分析日志?A5传统日志分析日志分析日志:结构化数据+时间戳作用:排查问题,信息检索,监控.传统日志分析思路SSH cat/grep/regexFTP 脚本分析缺点手工操作,效率低,易出问题延时高,无可视化效果.A6ELK日志分析主要需求日志索引/检索/分类/排序,提供可视化界面监控 分析重要日志不同数据规模的横向扩展可以做到准实时的日志分析设计思路Logstash收集应用日
2、志ElasticSearch存储/索引日志Kibana提供可视化界面A7ELK能做什么A8原理篇 网校公用日志服务基础架构和流程 nlp日志服务基础架构和流程A9网校日志中心架构A10日志服务流程图A11日志中心使用的问题 保存期限只有7天 没有权限控制,所有人都有读写权限A12nlp日志解决方案A13nlp日志流程图A14实践篇 实施要点 AI 老师1V1 ELK日志实践效果A15实施要点应用层日志统一规范统一日志库 C+glog,python logging统一日志格式 公共日志头+logType+(分隔符连接的文本|Json)日志规范WIKi注意点:日志的字段切分要设计好日志的字段切分要设计好A16AI老师1v1老版统计效果A17AI 老师1V1 ELK日志实践效果 discover visualize dashboardA18kibana timelion 不同数据源的数据画在一张时间序列图上FAQ:一.随着时间每个用户的开口时长变换二.上周五和这周五的用户量对比变化(同比和环比)三.在线教育总用户量的百分之多少是我们的用户四.10 days window moving average 用户量是多少(trend)A19THANKS