1、网络业务及安全态势大数据分析平台主要内容研发背景及目标平台软硬件架构关键问题及技术当前研究进展下一步研究计划研发背景及目标 研发背景 我校2014年12月11日召开的信息化领导小组工作会议决定，拟建立四川大学网络业务及安全态势大数据分析平台 由学校投资建设硬件平台，由四川大学网络与可信计算研究所负责软件研发 项目分阶段逐步推进，7月底硬件到位，目前处于第一阶段 大数据平台流量数据来源 校园网出口流量 川大数据中心流量 研发目标 实现全校网络出口流量的业务采集和分流，提供全校统一的解决方案 对核心网络流量进行业务分析，掌握全校网络的应用、性能等状况 对我校的网络安全态势进行实时分析和掌握3主要内
2、容研发背景及目标平台软硬件架构关键问题及技术当前研究进展下一步研究计划硬件架构 采集路由器 实现对全网数据流的采集，并通过策略将不同的数据流镜像到不同的端口 采集服务器 3台华为Tecal RH2288H V2服务器 采集川大数据中心原始流量数据+校园网出口Netstream数据 服务器集群 10台华为Tecal RH2288H V2服务器 实现对海量数据存储和分析 万兆交换机 实现对服务器、存储等的高速互联软件架构6数据采集与预处理数据传输数据存储与访问数据处理与分析数据可视化主要内容研发背景及目标平台软硬件架构关键问题及技术当前研究进展下一步研究计划关键问题及技术 采样信息失真严重 VS
3、原始流量规模较大 Netstream采样信息误差较大，给基础数据统计和行为分析的准确性造成一定影响 但是原始流量规模较大，直接采集原始数据包丢包率较高 采用PF_RING技术，解决大规模网络流量采集问题 分布式数据传输、聚合和缓存 采集端存储端 及 采集端流式处理端 使用Flume+Kafka组件作为数据传输管道和可持久化消息队列 分布式数据实时分析 基于Spark Streaming的实时处理技术8关键问题及技术 网络数据流重组及网络行为还原 如何将采集到的数据包还原为会话、还原为应用层行为：自建协议栈 数据中心大规模的流量，高性能采集和还原：PF_RING，XTASK多任务调度框架 服务器
4、行为建模 基于异常 vs 基于误用 基于流量结构稳定性和行为模式规律性建模，检测未知攻击和异常 动态时间序列实时检测 静态特征 vs 动态特征 静态时间序列检测 vs 动态时间序列检测 基于动态多维时间序列的网络行为模型9主要内容研发背景及目标平台软硬件架构关键问题及技术当前研究进展下一步研究计划当前研究进展 完成数据采集与预处理 数据中心原始流量采集还原、网络出口Netstream流量解析与采集 完成大数据平台的搭建 基于Spark的分布式离线处理、基于Spark Streaming的实时处理、分布式数据传输、分布式数据存储与访问等 网络流量各维度的分析 校内校外流量/包数/连接数TOP I
5、P排行、校内校外IP数统计、流量按协议分布情况、端口群流量分析等 Netstream流量各维度统计、DNS服务状态分析、DNS请求数据的分析、邮件数据的校区及地理分布分析等 实现了初步的系统功能 全局流量状态、校区流量状态、区域流量状态、机构流量分布、流量业务排行榜、网站业务排行榜、服务器分析、Web服务监测、DNS服务监测、安全事件实时监测等11阶段性成果展示 流量状态12阶段性成果展示 流量业务分析13阶段性成果展示 流量业务排行榜14阶段性成果展示 网站业务排行榜15阶段性成果展示 服务器分析总览16阶段性成果展示 Web服务监测17阶段性成果展示18 DNS服务监测阶段性成果展示19主
6、要内容研发背景及目标平台软硬件架构关键问题及技术当前研究进展下一步研究计划下一步研究计划 对网络出口原始流量的采集、存储与分析 Netstream采样信息误差较大，给基础数据统计和行为分析的准确性造成一定影响 出口流量规模较大（4.5Gbps左右），给数据采集和存储提出了新要求 丰富的信息来源，多样性的数据 当前研究主要以网络流量数据为主 引入更丰富的数据源：IDS、防火墙、漏洞扫描数据、各类告警数据等 网络业务和网络行为精细化分析 当前对网络业务的分析主要以统计分析技术为主 采用更丰富的数据挖掘方法，实现精细化分析，如多源异构数据关联分析、用户行为画像 大数据网络安全态势感知研究 大规模网络安全事件数据的获取与预处理 建立网络安全态势指标体系 态势评估与预测模型 态势展示21
