1、新一代大数据安全分析系统数据驱动安全 Data Driven Security2 2目录3 3公司介绍4 4用大数据分析解决信息安全问题HanSight是首家将大数据分析与信息安全相结合的团队，投资人包括A股上市公司恒宝股份、南京高科和知名VC赛伯乐。我们专注于下一代信息安全，包括：海量安全数据收集与分析（日志、安全事件、网络流量、安全情报）；将机器学习、算法大规模应用于安全分析；兼顾传统私有部署与云部署。5 5我们的优势：大数据信息安全机器学习5年Hadoop/Spark经验，Hortonworks首家认证技术合作伙伴。10年核心安全经验，多项中美安全专利，包括反钓鱼、脚本分析、沙箱、日志降
2、噪等。坚信机器学习会在安全领域大放异彩。机器学习团队曾在美国与FireEye直面竞争并获胜。6 67 7安全管理缺失统一的抓手整体网络安全态势无法感知异常行为和未知威胁无法发现海量数据无法有效处理分析传统安全面临的问题 8 89 9方案解决思路瀚思大数据安全分析系统(HanSightEnterprise)，是一款基于大数据、机器学习、模式识别等技术的企业级智能安全分析平台，通过收集企业内部各个关键系统产生的业务数据，通过集中存储、快速检索、实时分析及告警、威胁响应、可视化展现和安全报告等功能。通过利用帮助海量数据的收集、分析与展现大数据安全分析平台发现和应对新型安全威胁。从而提升企业信息安全防
3、御能力1010安全态势感知持续监控与快速响应外部攻击与高级威胁内部违规与异常行为安全智能瀚思大数据安全分析系统安全设备网络设备主机/VM数 据 库资产信息认证系统应用系统终 端网络流量数据源关联分析机器学习数据建模威胁情报中心用户行为分析大数据安全分析基础平台大数据安全分析流量分析11 11系统架构1212 数据解析 字段识别 用户自定义字段 时间字段侦测 时间同步日志传输 批量传输 日志压缩 日志加密 日志缓存AAA数据源对接SNMP、SYSLOG、Agent、Netflow、API接口、数据库接口、FTP、HDFS、KAFKA、端口镜像、Netflow等；网络设备、安全设备、应用系统、中间
4、件、主机、数据库等；A数据源事件类别标签 数据源接收时间 事件起始结束时间 事件类别 事件对应主机 事件对应人员/Host/Application/Service/Access/Failure/Firewall/Informational 信息增强 服务器接收时间 地理位置信息 资产漏洞信息 资产分类信息步骤一：基础数据资源采集1313外部威胁情报整合恶意域名.恶意IP.恶意URL.Whois信息.木马病毒特征码.文件hash值.元素之间关联关系.1414数据数据日志NetFlow全流量威胁情报资产信息实时数据检测实时数据检测关联分析引擎安全规则库历史数据分析历史数据分析交互分析UBA安全事件
5、安全事件网络攻击木马病毒漏洞利用非法访问安全告警安全告警高高级级中中级级低低级级全文检索可视化分析智能分析数据建模机器学习数据泄露病毒爆发登陆异常溯源分析溯源分析威胁场景还原威胁场景还原处理措施处理措施资产画像图计算异常行为分析步骤二：安全分析威胁建模1515实时检测关联分析基于Spark Streaming技术实现的强大的CEP引擎，对系统采集的实时数据流进行关联分析.关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等.内置安全关联规则.1616关联分析（例）原始数据：GenTime=2016-07-27 21:58:20 src:10.0.0.1 drc:140.2
6、07.217.32 attack-name”后门木马网络红娘连接”内部基础信息10.0.0.1：审批门户网站，北京机房，张三，2014年上线，等保三级，外部威胁情报140.207.217.32:联通,上海市，恶意IP-网络红娘：远程木马，该软件可以进行屏幕捕捉、视频监控、获取操作文件、获取键盘记录、获取剪贴板内容、模拟MSDOS命令等诸多违规操作，安全事件：位于北京机房的审批门户网站服务器(10.0.0.1)从2016-07-27 21:58:20开始频繁访问上海市联通的恶意ip地址(140.207.217.32)，该行为经鉴定是由于服务器被植入远程木马程序导致，该软件可以进行屏幕捕捉、视频监
7、控、获取操作文件、获取键盘记录、获取剪贴板内容、模拟MSDOS命令等诸多违规操作，根据安全应急响应预案该风险等级为“高”，需要立即做下线处理。1717交互式分析全文检索支持通过模糊匹配的方式对已存储的海量事件进行全文检索.可以根据任意关键词(支持“与”和“或”，支持使用=、等关系运算符)进行日志数据检索.任意字段值可以进行排序统计分析.1818交互式分析可视化分析流量弦图分析.事件河流图分析.偏离分析图.数据透视图分析.关联分析图分析.1919交互式分析智能分析支持对一个或多个数据源进行灵活的可视化的图表分析.支持对任意字段值进行最多最少排序.可根据任意字段值进行多条件组合数据过滤.可查看原始
8、日志.2020UBA用户异常行为分析异常事件行为序列化.以部门、个人、资产等为单位建立行为基线.关联用户与资产的行为.用机器学习算法或者预定义规则找出严重偏离基线的异常行为.2121UBA盗取内部数据建立特定用户的画像，包括他的合法行为白名单和行为基线.用户行为分析引擎侦测用户的异常行为，例如异常时间、从可疑位置登录，或是访问和平时完全不同的数据或数据量，或是把数据上传至公司外部的可疑地址.提供可疑用户最近的所有行为给安全管理员进行进一步的详细调查.2222UBA撞库攻击撞库攻击场景行为序列化.检测场景数据建模.多维行为基线检测.撞库成功账号关联信息展示.养号阶段账号可视化展示.2323步骤三
9、：安全事件处置处置方式说明派发工单通过内置工单流转，实现了安全事故的记录从创建、处理到关闭的生命周期管理发送一个工单到运维系统例如发送给HPServiceDesk，或者BMC将攻击者或受害人添加到黑白名单中将产生该关联事件的重要原始属性添加到黑白名单中，供管理员重点观察。对于加入黑白名单的资产，管理员可以设定观察周期发送电子邮件发送一封电子邮件给指定人带外响应指通过网络之外的方式进行告警响应，避免由于网络故障导致告警不可达。包括发送手机短消息声光电告警屏幕闪动、声音告警2424步骤四：安全事件溯源分析基于洛克希德马丁的KillChain攻击链模型，提供网络攻击事件的场景还原功能.对于每条告警信
10、息，回溯产生告警的证据链，包括原始日志信息、流量摘要信息等.将IP与人和资产进行对应.2525步骤五：安全态势感知通过可视化的方式准确表达目前企业内部各区域、各部门、各业务系统的安全状况和变化趋势.对可能发生的安全事件和安全风险进行安全预警.2626步骤六：安全分析报告综合分析报告高层领导视角.专项领域安全运营报告业务部门视角.安全事件报告安全部门领导视角.2727价值和收益2828大数据安全分析系统的价值它能综合多种数据来源进行未知威胁和异常行为分析；它可以构建企业整体安全态势感知中心；它能基于威胁情报在事前提供风险预警；它能协助企业将复杂的安全运维流程落地；它能帮助安全人员进行安全事件溯源
11、取证；大数据安全管理平台风险预警态势感知威胁分析安全运维事件溯源2929方案优势3030优势亮点大数据能力 5年大数据经验，Hortonworks首家认证技术合作伙伴用户行为分析以内部用户为视角，多维度用户异常行为分析10年核心安全经验，多项中美安全专利安全能力机器学习团队曾在美国与FireEye直面竞争并获胜机器学习提高威胁检测准确度和风险预警集成威胁情报31313232成功案例：某公安单位安全架构日趋复杂、新型技术不断涌现：不但有传统物理服务器、网络设备和安全设备，也有虚拟机和虚拟设备；不仅有C/S,B/S架构传统应用，也有IaaS，SaaS等新型服务。安全数据快速增长，数据快速处理能力不
12、足：每台物理设备每天生成5万至50万条安全事件，全网带宽也从百兆提升至千兆，每年需处理的安全数据在10TB数量级，而现有安防系统的处理能力仍停留在1TB数量级，快速提取有价值的数据进行分析。安全处理能力分散，未能形成整合优势：现有安全处理方式仍然按照防火墙、病毒防范、行为审计等独立事件进行处理，未能整合安全事件之间的相互关系、行为关联来产生总体安全态势，缺乏科学决策提供依据。3333项目需求及阶段性实现整合内网设备数据利用大数据技术提升存储和检索效率可视化直观呈现网络态势大数据平台建设上下文信息关联已知和未知威胁发现整合资产信息结合外部威胁情报交互式分析工具异常行为检测安全事件告警攻击事件还原
13、实时数据检测3434部署前后对比部署后效果在安全设备与网络设备方面。对于数据的存储和分析能力得到很大的提升，以往的技术1秒最多存储2000条日志，无法满足我局每天几亿条日志的存储要求；部署前状态由于数据的存储限制，对各种安全设备和网络设备难以进行统一的检测、展现，许多珍贵的信息数据被删除；造成各设备的独立性，无法最大程度的利用数据并找出数据与数据之前的关联性；之前的安全管理方式还是被动式、孤岛式的，不能准确了解各种安全设备的配置是否合理；不能应对现有安全设备发现不了的未知威胁。在安全设备与网络设备方面。对于数据的存储和分析能力得到很大的提升，现在可以达到1秒存储30000条，性能提高了十几倍，
14、实现了安全数据的全量存储，并通过对全量数据的专业化处理；大大提升了各种安全设备和网络的存储容量；找到数据与数据之前的关联性，并进行快速分析，还原出问题的真相，最终实现数据的“增值”；对于我局整体的安全状况更加了解，同时发现一些安全设备在配置规则上的薄弱环节加以改善；对一些未知威胁可以成功预警。3535项目效果安全事件安全事件：网站遭受信息泄露扫描和SQL注入攻击持续时间持续时间：2016/04/22 19:32:51 19:37:55，持续约5分钟。事件分析事件分析：从2016/04/22 19:32:51 19:32:52的2秒钟内，向网站发出了380个请求；利用工具进行关键信息的注入和扫描
15、，没有成功；时间为2016/04/22 19:33:56 19:34:55的1分钟内攻击者利用浏览器进行探测，了解网站登录机制；从2016/04/22 19:35:47 19:37:55的2分钟内，利用sqlmap这个开源渗透测试工具对网站进行了200多次SQL注入攻击。建议操作建议操作：将IP 114.255.40.52加入防火墙的黑名单，阻止其访问网站3636成功案例：某大型商业银行 “网上银行系统”作为银行最为重要的业务系统，每天都会产生大量日志，遗憾的是由于处理能力所限，招行现有HP ArcSight系统只能处理10小时内产生的日志。从而造成招行无法对这些日志进行长周期、大数据量的关联
16、分析，进而发现潜在的威胁。招行急需一个大数据安全分析平台，以便对包括网银日志及SIEM系统事件进行长周期集中保存，并进行关联分析，从长远上，可以对留存的日志及事件进行关联并做长周期的分析，以便找到安全隐患。1.网银日志每天新增800GB，因ArcSight处理能力所限，只能存储分析最近10小时数据；2.已部署的WAF 和ArcSight基于特征码或规则进行检测，缺少对未知威胁和异常行为分析手段；3.大量安全事件处理效率低，安全问题快速发现及溯源难；项目背景：客户现状：3737项目需求及阶段性实现大量日志采集存储数据可视化全文检索大数据平台建设上下文信息关联已知和未知威胁发现通过长周期的日志检索
17、分析发现潜在威胁交互式工具、报表帮助发现异常行为威胁场景分析及预警攻击链还原集成外部威胁情报安全状态可视化安全分析报告3838数据输入：网银应用系统访问日志检测对象：网银近400个敏感 URL，涵盖注册、登录、密码重置等分析过程：用户自定义需要分析的URL；对这些URL建立ARIMA模型；每天入库信息与模型比对；与模型不匹配则产生预警信息；用户根据预警进一步确认；实际效果：作为用户每天基本运维的内容；目前预警频次约23次/周；已帮用户发现及溯源超过20次的风险；实际效果3939实现效果IIS/Apache（可自动识别字段）Network（syslog udp/tcp）F5、HP Acrsight入库性能可达15000EPS1.海量数据的准实时入库全文统一检索可对任意信息进行查询可查询超过一个月的记录查询响应时间可在数秒完成2.任意信息长周期快速查询实时攻击展示地图行为异常分析图流量异常展示图威胁溯源分析图 3.数据的可视化展示基于时间序列异常检测撞库异常检测基于基线的异常检测访问状态码异常检测4.对于异常检测能力项目总结
