1、数据驱动安全安全态势感知大数据分析系统安全的挑战在于“看见”我们需要什么？全面、快速、准确的感知过去、现在、未来的安全威胁。!帮助自己第一次看清楚自己通过海量数据的收集、分析与展现，帮助企业获得更好的全局可见性和安全智能，从而抵御新型安全威胁和内部人员监守自盗。数据驱动安全信息安全为什么需要大数据？：你不能保护你不知道的（传统依靠特征码匹配的方式已经不足以应对未知威胁）。二：通过异常行为分析来侦测未知威胁已经是业界共识。三：“异常行为”蕴藏在各种数据源的海量数据之中，大数据技术是必要的支撑手段。2012年3月，Gartner发表了一份题为Information Security Is Beco
2、ming a Big Data Analytics Problem的报告，表示信息安全问题正在变成一个大数据分析问题，大规模的安全数据需要被有效地关联、分析和挖掘。从安全运维中心到安全智能中心从少量单一数据向海量丰富大数据的转变；从基于规则匹配向数据建模，机器学习智能化的转变；从短时间状态监控向长周期趋势变化及动态基线转变；从单一安全事件监控向整体安全态势感知的转变；从依靠自身安全能力为向威胁情报共享，风险预测的转变；洛克希德马丁公司，2015.9亚信安全安全态势感知大数据分析系统亚信安全安全态势感知大数据分析系统大数据分析平台数据中心安全云计算安全服务器安全边界安全下一代安全网关Deep E
3、dge威胁情报共享平台高级威胁监控平台高级威胁发现系统TDA终端安全下一代终端安全防护下一代智能终端安全防护安全服务安全态势感知大数据分析系统需要哪些能力？洞察未知追本溯源还原真相洞察未知l通过机器学习发现异常行为 异常行为分析技术通过对流经设备的流量进行连续、实时监控来分析流量信息，利用统计分析、关联分析和机器学习等多种技术手段来检测流量和用户或应用行为中的异常模式，以发现异常行为。异常可以与同类对象做比较而得出，也可以与历史数据做比较而得出。l自动关联异常行为上下文 自动关联分析可提供异常行为事件关联、上下文关联、攻击场景关联、位置关联、身份关联、角色关联等等。关联分析还有脆弱性信息关联、
4、因果关联、推理关联等等。追本溯源支持非结构化，半结构化，结构化数据；大于50000EPS处理能力;大于500TB历史日志全量存储分析能力;可灵活线性扩展，保护现有投资;高性能，大容量，多数据源实时日志分析告警采用Spark Streaming流式处理，日志实时采集、入库、分析、告警;从日志采集到分析取证和告警在1分钟内完成;还原真实全局关联分析可视化安全攻击可视化病毒呈现可视化根据可视化的全局安全状态统一显示可视化呈现 风险可视化全局可视化态势感知威胁动态攻击图SOC向SIC的转变人读机读简单丰富非实时实时孤立共享安全预警态势感知调查取证合规报表安全态势感知大数据分析系统的优势与价值数据中心海
5、量数据（100TB+）集中管理和实时运维分析；实时安全及异常行为检测（安全建模）；配合人员和流程构建安全智能中心；业务风险反欺诈分析能力；亚信安全态势感知大数据分析系统亚信安全威胁情报中心成功案例：天津滨海公安安全态势感知系统安全架构日趋复杂、新型技术不断涌现：不但有传统物理服务器、网络设备和安全设备，也有虚拟机和虚拟设备；不仅有C/S,B/S架构传统应用，也有IaaS，SaaS等新型服务。安全数据快速增长，数据快速处理能力不足：每台物理设备每天生成5万至50万条安全事件，全网带宽也从百兆提升至千兆，每年需处理的安全数据在10TB数量级，而现有安防系统的处理能力仍停留在1TB数量级，快速提取有
6、价值的数据进行分析。安全处理能力分散，未能形成整合优势：现有安全处理方式仍然按照防火墙、病毒防范、行为审计等独立事件进行处理，未能整合安全事件之间的相互关系、行为关联来产生总体安全态势，缺乏科学决策提供依据。解决方案整合传统安全、云安全和大数据安全，构建新型安防管控综合平台基础架构。实现全网安全基础信息采集子系统和存储子系统。完成现有安全监控体系进行云化改造。实现安全事件追踪溯源和风险预警等分析功能。云终端设备移动、终端设备数据大集中云数据云基础设施虚拟化部署效果实时攻击态势地图网络攻击实时展示网络流量的chord网络和旋图流量异常分析展示病毒云图病毒爆发的各种关联分析展示实现发现来自不同地图
7、上的各源IP对目的IP的攻击态势，线路。可以很清晰地展现网络流量的路径及分配情况。通过对五元组的流量收集分析，展现某些服务或设备之间双向流量的状态和占比，进一步可根据历史流量的变化，分析出可能存在的异常流量。图中一个点通过若干中间点到达另外一个点的路径代表关联链。所以能挖掘出深层次的关联关系。部署前后对比在安全设备与网络设备方面。对于数据的存储和分析能力得到很大的提升，以往的技术1秒最多存储2000条日志，无法满足我局每天几亿条日志的存储要求；由于数据的存储限制，对各种安全设备和网络设备难以进行统一的检测、展现，许多珍贵的信息数据被删除；造成各设备的独立性，无法最大程度的利用数据并找出数据与数
8、据之前的关联性；之前的安全管理方式还是被动式、孤岛式的，一是不能准确了解各种安全设备的配置是否合理；不能应对现有安全设备发现不了的未知威胁。在安全设备与网络设备方面。对于数据的存储和分析能力得到很大的提升，现在可以达到1秒存储30000条，性能提高了十几倍，实现了安全数据的全量存储，并通过对全量数据的专业化处理；大大提升了各种安全设备和网络的存储容量。找到数据与数据之前的关联性，并进行快速分析，还原出问题的真相，最终实现数据的“增值”；对于我局整体的安全状况更加了解，同时发现一些安全设备在配置规则上的薄弱环节加以改善对一些未知威胁可以成功预警；部署前状态部署后效果成功案例：招商银行安全态势感知
9、系统 “网上银行系统”作为招商银行最为重要的业务系统，每天都会产生大量日志，遗憾的是由于处理能力所限，招行现有HP ArcSight系统只能处理10小时内产生的日志。从而造成招行无法对这些日志进行长周期、大数据量的关联分析，进而发现潜在的威胁。招行急需一个大数据安全分析平台，以便对包括网银日志及SIEM系统事件进行长周期集中保存，并进行关联分析，从长远上，可以对留存的日志及事件进行关联并做长周期的分析，以便找到安全隐患。1.网银日志每天新增400GB，因ArcSight处理能力所限，只能存储分析最近10小时数据；2.已部署的WAF 和ArcSight基于特征码或规则进行检测，缺少对未知威胁和异
10、常行为分析手段；3.大量安全事件处理效率低，安全问题快速发现及溯源难；项目背景：客户现状：项目需求及阶段性实现总体需求阶段一阶段二 阶段三（ing）大数据平台搭建IIS Apache日志采集分析数据源入库规整化全文检索数据可视化数据长周期留存搜索准实时响应性能调优平台监控异常行为建模定制化图表需求 TOP X Histogram Term Aggs Monitoring运维 UI 定制ArcSight事件数据收集及关联分析扩容第三方接口IIS 日志收集Apache 日志收集ArcSight 事件收集（FW/IDS/IPSWAF）数据留存 2个月数据建模及未知威胁发现安全预警数据分析可视化搜索准
11、实时响应反欺诈物理部署示意图亚信安全态势感知大数据分析系统系统应用管理服务器日志存储检索分析服务器集群日志采集服务器集群日志采集服务器集群（例）计算和存储4台16核32GB 1TB存储性能每天可采集1.5T数据；单台采集器性能20000EPS；历史日志检索分析服务器集群（例）计算和存储20台16核64GB13*1TB300G*2(RAID1)存储性能可存储100T数据，90天滚动窗口；1天1T数据，搜索返回时间3秒内；1周7T数据，搜索返回20秒内；系统应用管理服务器（例）计算和存储2台8核16GB 2*1TB300G*2(RAID1)存储 亚信安全态势感知大数据分析系统为软件形态，招行在实际
12、部署中分为：数据采集、数据存储和分析、应用管理及配置三个集群。系统运行在X86架构服务器上，共采集100余个数据源日志，每天产生约1TB数据，存储3个月，部署的大数据安全分析平台相关的硬件配置和性能如右图所示：价值一：解决了海量网银日志存储及实时分析的难题招行每天400G的网银日志准实时入库存储及分析。价值二：为安全运维人员提供一个的快速全文检索溯源平台类似Google的检索，可通过关键字快速进行日志检索，并可进行基于日志字段的精细过滤。价值三：为决策者提供一个整体安全态势感知的平台威胁告警统计展示异常行为热度展示实时攻击地图展示价值四：安全异常事件自动发现通过ARIMA时间序列算法模型，对撞
13、库行为进行自动分析。价值四：安全异常事件自动发现通过K-Means 聚类算法模型，对访问状态码异常进行自动分析。实现效果总结实现效果IIS/Apache（可自动识别字段）Network（syslog udp/tcp）F5、HP Acrsight入库性能可达15000EPS1.海量数据的准实时入库全文统一检索可对任意信息进行查询可查询超过一个月的记录查询响应时间可在数秒完成2.任意信息长周期快速查询实时攻击展示地图行为异常分析图流量异常展示图威胁溯源分析图 3.数据的可视化展示基于时间序列异常检测撞库异常检测基于基线的异常检测访问状态码异常检测4.对于异常检测能力UserViewer:基于图算法
14、的用户行为分析列出单一某个时间段系统用户（2/1日8:00-9:00）的行为图要解决的问题：1.上下两幅图(该用户2/1日和2/2日)有何差异？2.和其他用户2/1日8:00-9:00的差异？3.和整个一年的8:00和9:00行为有何差异？ThreatViewer:基于图数据库的威胁情报搜索框：用于查询数据输入要查询的关键字，点击放搜索图标 图关联展示：搜索结果通过图的形式展现便于有效发现各信息节点之间的关联关系支持鼠标滚轴调节图大小支持鼠标点击特别关注节点的高亮显示结果详细列表：对图展示信息的有效补充支持鼠标点击对行为及杀软报告的二次搜索性能及扩展性对比对比项传统系统亚信安全产品架构基于传统
15、关系型数据库（Oracle）处理架构基于大数据分布式存储计算（ElasticSearch、Spark）处理架构支持数据种类结构化日志结构化、半结构化（如Linux、Tomcat日志）、非结构化日志（如数据库错误日志）数据存储数据有选择存储，处理不了的数据会丢掉原始数据全量储存支持数据量可处理10TB左右数据可处理1PB以上数据查询效率1TB数据查询返回结果时间30分钟1TB数据查询返回结果时间3秒扩展能力非常不易扩展，需要进行数据迁移、备份、表空间等等大数据分布式架构，水平扩展非常灵活，服务器即插即用产品部署由诸多子系统组成，部署起来相对比较复杂功能模块高度融合，大大简化部署和运维工作产品运维
16、规则配置复杂，大型企业需10几人的团队运维；通过机器学习、数据建模、可视化和强大的平台工具等，大大减少安全运维人员工作量，大型企业需几个人的运维团队；第一步：建立数据模型第二步：发现可疑号码第三步：钻取关联分析黑洞模型：账户大量转入交易火山模型：账户大量转出交易场景5：资金交易异常 威胁名称：盗用身份证开户及资金转入转出异常数据输入：网银应用系统日志检测对象：网银资金交易用户分析过程：自定义分析的网银交易日志周期；将海量用户手机号、账户号和身份证号码进行关联并可视化展示；发现盗用大量身份证频繁开户的用户；进一步钻取分析，查看到可疑的用户手机号及所有相关的账户和身份证号；同时发现相关账户有金融业务风险中的“火山”和“黑洞”情况出现；实际效果：作为用户每天基本运维的内容；已帮用户发现多起账户异常交易行为；
