神策系统技术简介-PPT课件.ppt

上传人(卖家):三亚风情 文档编号:2953214 上传时间:2022-06-14 格式:PPT 页数:28 大小:3.35MB
下载 相关 举报
神策系统技术简介-PPT课件.ppt_第1页
第1页 / 共28页
神策系统技术简介-PPT课件.ppt_第2页
第2页 / 共28页
神策系统技术简介-PPT课件.ppt_第3页
第3页 / 共28页
神策系统技术简介-PPT课件.ppt_第4页
第4页 / 共28页
神策系统技术简介-PPT课件.ppt_第5页
第5页 / 共28页
点击查看更多>>
资源描述

1、大家好1神策系统技术简介2016-12-6大家好2 系统简介1 Web研发的新玩法2 大数据研发的新玩法3大家好3神策(数据分析管理平台)总体介绍n作业管理:统一平台化管理离线数据分析脚本,支持任务调度,频繁变更小需求运营自助完成,提高工作效率;n入侵检测:作为帐号异地登录提醒和设备锁等被动安全手段外的有效补充,主动防御撞库、弱密扫描和暴力破解;n实时监控:对任一个nginx集群服务的无侵入式监控,零接入成本,实时全服务、单接口及单机关键服务指标。 认证数据入侵检测实时监控作业管理数据分析管理平台(神策)数据采集数据分析任务调度可视化管理数据分析平台化、自动化和智慧化通用日志分散脚本p 平台优

2、势(部分功能对标腾讯蓝鲸): 通用化平台,几乎零成本应用于其它部门; flume无侵入式采集日志通过spark实时分析; 支持服务质量三级下钻(集群、接口、单机); 作业管理支撑分布式任务调度,运行可视化;p 平台现状: 作业管理已上线,管理100多个分析推送任务; 实时业务监控已经在云机测试环境运行; 帐号入侵检测完成功能测试,准备生产计算集群。大家好42个Web子系统(现场演示)大家好52个Spark实时分析子系统-云机环境AccountAnalyzerWebAnalyzer大家好6作业管理(数据分析、消息推送的平台化、可视化)大家好7实时入侵检测(异常登录IP、帐号识别和拦截,可视化管理

3、)大家好8实时入侵检测(异常登录IP、帐号识别和拦截,可视化管理)大家好9实时业务监控(并发量、成功率、服务质量P99P999P9999)大家好10丰富的系统监控功能大家好11主要需求1l通过GUI管理、简化、自动化脚本的执行l提高业务支撑效果,业务人员能简单执行l找出异常IP,实时推送l监控系统-子系统-机器性能l每日数据量:帐号ng日志+acc登录日志+mailLogin日志,平均超过3.8亿条/天 条件组合后,有几十种情况要计算 有攻击的情况下,数据量增长会超过10倍整个系统有数据分析管理+实时服务质量监控两个系统构成大家好12主要需求2l通过GUI实现分散的脚本平台化管理、简化、自动化

4、脚本的执行l提高业务支撑效果,业务人员能简单执行l实现远程拉取,分发管理分析脚本作业文件l帐号面临机器撞库、弱密扫描的安全威胁l攻击者的IP资源较多,可变换l实时分析多个异常攻击特征组合,准确找出异常IP,异常帐号,进行实时拦截l现有监控实时性不高,数据维度不支持,不支持多级下钻l监控系统-子系统-机器性能l每日数据量:帐号ng日志+acc登录日志+mailLogin日志,平均超过3.8亿条/天大家好13主要功能l脚本管理l集群环境下自动调度执行l脚本执行过程监控l脚本执行结果监控l生成脚本l执行脚本l脚本执行情况、历史管理对标腾讯蓝鲸作业平台l业务实时监控l用户登录行为分析l业务配置管理l异

5、常登录IPl异常帐号l系统配置l用户管理l丰富的系统监控功能l实时性可以5秒内l稳定可靠、轻量级大数据服务大家好14 系统简介1 Web研发的新玩法2 大数据研发的新玩法3大家好15整体技术架构大家好16项目经验总结l 注重技术创新l 首次实现脱离hadoop生态圈的大数据系统l 首次支持把云机作为大数据生产环境大家好17主要技术亮点l 采用spring boot + Cassandra设计、开发;l 提供bash脚本操作Cassandra,实现java与脚本之间的互操作;l 通过nginx + 多个Web应用实现动静分离;l 轻量级大数据方案l 基于集群,可靠地动态调度运行任务,支持大量任务

6、的运行, 消除了任务调度的单点,保障了任务调度的可靠性、唯一性;l Spring boot与shiro、天翼帐号开放平台成功集成, 实现基于天翼账号的对用户认证、授权的支持大家好18重要技术细节l 没有JSP,前端全部是静态文件;l 全面支持HTTPS;l 全部异步操作;l 支持移动端;l 不需要开发,系统质量反而更好: 读配置、JSON双向处理、HTTP处理、访问持久层库等;l 针对生产需要设计,标准监控接口,丰富、深入的监控功能l 有状态操作;l 实时、主动通知;l 整合spark、Cassandra、Kairos、zk;l 基于rdd的算法优化。l 消除单点,真正的、简单而强大的集群。公

7、司内首创大家好19其它应用大幅减少代码量,系统性能反而更高!大家好20 系统简介1 Web研发的新玩法2 大数据研发的新玩法3大家好21大数据计算集群架构、部署架构Spark 1.6.0 On Yarn(CDH5.7.2)大家好22主要技术亮点范围:大家好23主要难点l数据量变化大,有攻击时可飙升超过10倍l计算量大,调优措施依赖环境l需求复杂、不断变化l模板定制,业界独一无二lScala、rdd与Java做法差异较大lSpark编程模型与Java等传统做法差异较大l技术范围很广,需改造、定制部分开源项目大家好24成本控制、主要困难l 全职员工仅2人,1人10月底投入;l 计算集群支持云机环境

8、,不一定需要物理集群;l 减少了研发、运维工作量;l 没有产品、UED、测试人员,没有大数据运维;l 资源匮乏:直到11月底,计算集群资源才满足要求;9月低前,拿2核云机做大数据计算资源l 有人提出:换编程语言(scala-java);l 有人提出:应该采用基于Window的计算;l 有人提出:应该采用Hadoop MapReduce,而不是spark;l 其它没信心大家好25成本、风险控制良好,4个月完成2个项目l全职仅2人,7实习生;l计算集群支持云机环境,不一定需要物理集群;l减少了研发、运维工作量;l没有产品、UED、测试人员,没有大数据运维。l提出换编程语言(scala-java);

9、l应该基于Window计算;l应该采用Hadoop MapReduce,而不是spark;l其它没信心l需求不断增加、变、随意(例如,删除异常帐号-增强);l4个月换3拨人,其它项目优先;l无线办公网络慢、不稳定;l为节约成本,直到11月底才有足够的机器大家好26总结l 人员应基本稳定、满足l 不能不断新增需求,今天(2016-12-06)又加有1个l 资源控制应先满足基本需求l 机器资源、环境 到今天,物理集群资源都不充裕 别人很简单就有100多g用,这里申请很久2个应用才100g Spark 1.3、1.5、1.6l 大坑,牺牲健康为工作,别人还以为很简单l 感谢帐号研发部提供业务需求l 感谢大数据运维的友情支撑l 数据分析 感谢黄煌、杨方维、姜健、蔡俊华、唐莉萍的大力支持(5人,兼职) 感谢实习生高新、江露(2人)l 实时服务质量监控 感谢(3人)何成(唯一全职,10月下旬开始)、唐宇、张宏山 感谢5名实习生,特别是张涛大家好27问题讨论感谢何成友情提供电脑!大家好28Bye Bye

展开阅读全文
相关资源
猜你喜欢
相关搜索

当前位置:首页 > 办公、行业 > 各类PPT课件(模板)
版权提示 | 免责声明

1,本文(神策系统技术简介-PPT课件.ppt)为本站会员(三亚风情)主动上传,163文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。
2,用户下载本文档,所消耗的文币(积分)将全额增加到上传者的账号。
3, 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(发送邮件至3464097650@qq.com或直接QQ联系客服),我们立即给予删除!


侵权处理QQ:3464097650--上传资料QQ:3464097650

【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。


163文库-Www.163Wenku.Com |网站地图|