1、第1章 日志基本知识w w w.q i a n x i n.c o m1.1 日志概述1.2 日志审计1.3 日志收集与分析系统目录1.了解日志的基本概念；2.了解日志管理设备产生原因；3.了解日志管理设备的定义；4.了解日志审计的概念及其面临的挑战；5.理解日志审计的法律法规；6.理解实现对日志全生命周期的管理；7.理解日志合规性要求的概念；8.掌握日志收集与分析系统的主要功能；本章学习目标日志概述1.1（1）日志的概念：日志（log）是由各种不同的实体产生的“事件记录”的集合，通常是计算机系统、设备、软件等在某种情况下记录的信息，并将这些信息按照某种规范将这些行为表达出来。（2）日志的功能
2、：帮助系统排错、优化系统的性能、调整系统行为、查询安全攻击事件和审计跟踪信息安全行为。传统的日志能够反映出系统运行的状态变化，同时能够对端口扫描、口令破解等安全事件进行记录。现有的部分安全产品能够将多条日志进行关联分析从而得到安全事件。（3）日志记录分类：安全日志记录、运营日志记录、依从性日志记录和应用程序调试日志记录。日志基本知识（1）随着网络规模的不断扩大，网络中的设备数量和服务类型也越来越多，给系统的安全性和稳定性带来了各种挑战。（2）长期以来，各种安全事件呈几何级增长，来自外部的攻击入侵事件频发。（3）要及时发现这些异常并进行防范或者在发生网络入侵之后使损失最小化，对网络中各种事件信息
3、的记录和分析必不可少。由此，对日志进行专门记录和管理的设备应运而生，称为日志管理设备。（4）日志管理设备是对全网范围内的主机、服务器、网络设备、数据库以及各种应用服务系统等产生的日志进行全面收集、实现日志的集中管理和存储并进行细致分析的设备，支持解析任意格式、任意来源的的日志。日志设备产生的原因（1）日志设备是指产生“事件记录”的各种设备，包括网络设备、计算机系统、数据库或者应用程序等。（2）日志管理设备主要是管理这些日志设备产生的各种日志记录。网络设备：计算机、集线器、交换机、网桥、路由器、网关、网卡、无线接入点、网络打印机、光纤收发器和光缆等。网络安全设备：防火墙，入侵检测设备、入侵防御设
4、备、WAF、VPN等。计算机系统：各种类型的服务器操作系统和服务器软件。数据库：各种数据库系统软件。应用程序：各种应用程序。日志设备（1）事件内容辅以适当的细节。（2）事件发生的开始时间和结束时间。（3）事件发生的位置（哪个主机、什么文件系统、哪个网络接口等等）。（4）参与者。（5）参与者来源。日志设备记录的基本信息（1）日志种类的多样性：目前尚未统一标准的日志格式，不同厂商根据自身需求制定相应的日志格式，故市场上出现了多种类型的日志。（2）日志数据量很大：由于日志对每一个事件均进行记录，因此，无论是操作系统还是网络设备都会产生大量的日志记录。（3）网络设备日志具有时空关联性：针对某个特定的网
5、络攻击事件，不同的安全设备通常都会进行记录，结合多个设备日志，采用数据挖掘算法找出日志之间的时空关联性，有利于提取出网络安全事件。（4）日志信息容易被篡改：网络入侵者如果获得足够权限，可对日志信息进行篡改或直接删除，因此存在较大的安全隐患。（5）分析和获取日志数据困难：不同设备的日志格式差异很大，部分设备日志信息需要专用的工具才能查看，这给分析日志带来了很大困难。日志的特点日志的作用日志的作用（1）安全日志审计：网络溯源追踪 网络管理人员可以采用网络溯源追踪技术，调取并分析事件发生前后的一段时间的日志，发现攻击者的一系列行为及其攻击手段。（2）运维日志：安全运维 管理者通过运维通道集中、网络运
6、维日志详细记录，可合理安排网络运维工作，实现运维人员工作的量化管理，提高运维管理要求落地的自动化水平、强制化能力。（3）合规类日志：调查取证 日志有助于加强收集到的其他证据，基于来自各种来源的数据，重现事件。日志的作用日志审计1.2（1）起步阶段：1960年至1970年，随着计算机的普及应用，会计操作从纸质凭证向电子化发展，审计人员意识到采用计算机开展审计业务的优势，信息系统开始起步。（2）快速发展阶段：1970年至1980年，随着计算机在各个行业各种业务中得到了更广泛的运用，计算机辅助审计的作用也日益突出，信息系统审计进入快速发展阶段。（3）成熟阶段：1980年至1990年，随着信息系统审计
7、的快速发展，审计部门意识到信息系统防范体系还不够成熟，1981年，美国电子数据处理协会开始组织注册信息系统审计师执业考试，这一考试的出现标志着信息系统审计步入成熟阶段。（4）普及阶段：1990年后，随着信息系统审计的日趋成熟，信息系统审计在很多发达国家已经进入了普及阶段。信息系统审计起步和发展阶段（1）信息系统审计是公司治理的重要举措。确保被审计单位信息系统得到高效运转；帮助管理层提出相应的改进措施，促进企业不断提高其竞争力；（2）信息系统审计是保证企业信息化发展的必然选择。传统计算机审计不能满足大数据环境下的审计目标；信息系统审计提高了审计的范围，增强的审计的安全性和可靠性；信息系统审计存在
8、的必要性 信息系统审计是一个通过收集和评价审计证据，对信息系统是否能够保护资产的安全、维护数据的完整、使被审计单位的目标得以有效地实现、使组织的资源得到高效地使用等方面做出判断的过程。国际通用的CC准则定义：信息系统安全审计主要是指对与安全有关的活动的相关信息进行识别、记录、存储和分析；审计记录的结果用于检查网络上发生了哪些与安全有关的活动以及这些活动的负责主体是什么。审计的主要功能包括：安全审计自动响应、安全审计数据生成、安全审计分析、安全审计浏览、安全审计事件选择、安全审计事件存储等。信息系统审计的概念信息系统审计过程分为准备阶段、实施阶段、报告阶段。准备阶段：准备阶段是整个审计过程的起点
9、，包括了解被审计单位的基本情况、签订审计业务约定书、初步评价被审计单位的内部控制系统、分析审计风险和编制审计计划。实施阶段：实施阶段所涉及的技术方法具有信息技术的特色，针对被审计的信息系统，审计人员使用相关技术对审计对象开展了解、描述和测试三方面的工作。报告阶段：报告阶段是在上述阶段完成后进行的总结工作，包括整理、评价执行审计业务中收集到的审计证据；复核审计工作底稿；审计后期事项；汇总审计差异，提请被审计单位调整或做适当披露；形成审计意见，撰写审计报告。信息系统审计过程 信息系统审计方法包括一般方法与应用计算机审计的方法。其中，应用应用计算机技术的审计方法主要是指计算机辅助审计技术与工具的运用
10、。一般方法：主要用于对信息系统的了解和描述。包括：面谈法、系统文档、审阅法、观察法、计算机系统文字描述法、表格描述法、图形描述法。应用计算机的方法：用于对信息系统的控制测试。包括：测试数据法、平行模拟法、在线连续审计技术（通过嵌入审计模块实现）、综合测试法、受控处理法和受控再处理法等。信息系统审计方法（1）审计记录的结果用于检查网络上发生了哪些与安全有关的活动以及这些活动的负责主体是什么。（2）审计的主要功能包括：安全审计自动响应、安全审计数据生成、安全审计分析、安全审计浏览、安全审计事件选择、安全审计事件存储等。信息系统审计的作用（1）日志审计通过集中采集并监控信息系统中的系统日志、设备日志
11、、应用日志、用户访问行为、系统运行状态等各类信息。（2）对收集的信息进行提炼，将信息进行过滤、归并和告警分析处理，建立起一套面向整个系统日志的安全监控管理体系。（3）将信息系统的安全状态以最直观的方式呈现给管理者，既能提高安全审计的效率与准确性，也有助于及时发现安全隐患、协助故障定位、追查事故责任，并能够满足各项标准、法规的合规性管理要求。日志审计的概念日志审计四个流程：（1）日志获取（2）日志筛选（3）日志整合（4）日志分析日志审计流程图日志审计流程（1）操作系统：支持采集各种主机操作系统记录的各种消息，这些操作系统包括Windows，Solaris，Linux，AIX，HP-UX，UNIX
12、，AS400等。（2）网络设备：包括路由器、交换机和其他将电脑桌面和服务器连接起来组成网络的设备，通常指交换设备、防火墙、入侵检测集UPS系统等。（3）安全设备：包括防火墙、虚拟私人网络（Virtual Private Network，VPN）、IDS、IPS、防病毒网关、网闸、防分布式拒绝服务（Distributed Denial of Service，DDOS）攻击、WEB应用防火墙等在主机上运行的具备安全保护功能的应用程序或者设备。（4）应用系统：包括邮件、Web、FTP、Telnet等，它可以记录业务应用系统上的每个账户的活动信息。（5）数据库：包括各种数据库（如Oracle、Sqls
13、erver、Mysql、DB2、Sybase、Informix等）记录的所有事务以及每个事务对数据库所做的修改操作。日志采集对象（1）找出恶意行为或可能是恶意行为的事件，并作为日志组合的基础。（2）通过对比恶意行为特征及对应的日志属性，确认可能的恶意行为事件。日志筛选示意图日志筛选的目的 将同一路径各种设备的同一事件关联表达出来，实现不同格式日志的多层解析和对解析结果作整合和初步统计，便于后续的日志分析工作，其方法包括：行为分析、行为方向分析、数据流分析。日志整合（1）关联规则：关联规则分析技术将不同分析器上产生的报警进行融合与关联，即对一段时间内多个事件间及事件中的关系进行识别，找出事件的根
14、源。目前基于日志事件的关联主要研究方法有：基于规则的推理、基于案例推理、基于模型的推理、基于事件产生的数据挖掘分析。（2）联动机制：日志审计系统通过分类、关联等数据处理办法，加速数据的处理速度，从而使系统能根据日志信息分析处理结果，及时发现并报告系统异常情况，联动机制帮助系统实现与其他设备联动或提醒网络管理人员快速作出响应，将故障的危害降到最低。日志分析的核心 通过关联分析技术将不同分析器上产生的报警进行融合与关联，即对一段时间内多个事件间及事件中的关系进行识别，找出事件的根源，最终形成审计分析报告。日志分析的过程（1）基于规则库：对已知攻击的特征进行分析，并从中提取规则，进而由巧得规则组合成
15、为规则库，系统在运行过程中匹配这些规则库中的规则信息从而生成告警。（2）数理统计方法：给网络流量、中央处理器（Central Processing Unit，CPU）占用率等相关数据设置一个阀值，当超过这个阀值就发出告警。日志审计的方法（1）实时采集日志信息并对采集到的日志进行格式标准化处理，实现全面的日志分析，及时发现各类具有安全威胁和异常行为的事件并发出相应告警信息，形成相应的审计报告。（2）实时展现系统的整体运行情况以及各个设备的运行状况，并且能够及时发现系统中已发生或者正在发生的危险事件，实现快速定位故障位置和状况，甚至可以预测可能发生的风险。日志审计系统法律法规法律法规相关条款相关条
16、款与日志审计相关的主要内容与日志审计相关的主要内容网络安全法网络安全法第二十一条国家实行网络安全等级保护制度。网络运营者应当按照网络安全等级保护制度的要求，履行下列安全保护义务，保障网络免受干扰、破坏或者未经授权的访问，防止网络数据泄露或者被窃取、篡改：（一）制定内部安全管理制度和操作规程，确定网络安全负责人，落实网络安全保护责任；（二）采取防范计算机病毒和网络攻击、网络侵入等危害网络安全行为的技术措施；（三）采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月；（四）采取数据分类、重要数据备份和加密等措施；（五）法律、行政法规规定的其他义务。信息系统安
17、全等级化信息系统安全等级化保护基本要求保护基本要求网络安全、主机安全和应用安全部分从第二级开始，针对网络安全、主机安全、应用安全都有明确的安全审计控制点。在管理要求中，“安全事件处置”控制点从第二级开始要求对日志和告警事件进行存储；从第三级开始提出了“监控管理与安全管理中心”的控制点要求。ISO27001:2005 4.3.3记录控制记录应建立并加以保持，以提供符合ISMS要求和有效运行的证据。企业内部控制基本规企业内部控制基本规范范第四十一条企业应当加强对信息系统的开发与维护、访问与变更、数据输入与输出、文件存储与保管、网络安全等方面的控制，保证信息系统安全稳定运行。（注：间接要求安全审计）
18、商业银行内部控制指商业银行内部控制指引引第一百二十六条商业银行的网络设备、操作系统、数据库系统、应用程序等均当设置必要的日志。日志应当能够满足各类内部和外部审计的需要。银行业信息科技风险银行业信息科技风险管理指引管理指引第二十五条对于所有计算机操作系统和系统软件的安全，在系统日志中记录不成功的登录、重要系统文件的访问、对用户账户的修改等有关重要事项，手动或自动监控系统出现的任何异常事件，定期汇报监控情况。第二十六条对于所有信息系统的安全，以书面或者电子格式保存审计痕迹；要求用户管理员监控和审查未成功的登录和用户账户的修改。第二十七条银行业应制定相关策略和流程，管理所有生产系统的日志，以支持有效
19、的审核、安全取证分析和预防欺诈。证券公司内部控制指证券公司内部控制指引引第一百一十七条证券公司应保证信息系统日志的完备性，确保所有重大修改被完整地记录，确保开启审计留痕功能。证券公司信息系统日志应至少保存15年。互联网安全保护技术互联网安全保护技术措施规定（公安部措施规定（公安部82号令）号令）第八条记录、跟踪网络运行状态，监测、记录用户各种信息、网络安全事件等安全审计功能。萨班斯（萨班斯（SOX）法案）法案第404款公司管理层建立和维护内部控制系统及相应控制程序充分有效的责任；发行人管理层最近财政年度末对内部控制体系及控制程序有效性的评价。（注：在SOX中，信息系统日志审计系统及其审计结果是
20、评判内控评价有效性的一个重要工具和佐证）日志审计法律法规（1）网络规模不断扩大：随着网络规模的不断扩大，网络中的设备所产生的日志数据量大、日志输出方式多种多样、志格式复杂、可读性差、分析备份工作繁杂、日志数据易篡改或删除。（2）工作效率低：面对如上述特点的数量巨大、彼此割裂的安全日志信息，安全管理人员需操作各种产品自身的控制台界面和告警窗口，工作效率低。（3）局面复杂：当今互联网行业的发展，来自于企业和组织外部的层出不穷的入侵和攻击，以及企业和组织内部的违规和泄漏，导致当今的企业和组织在IT信息安全领域面临比以往更为复杂的局面。（4）安全系统多种多样：为应对新的安全挑战，企业和组织部署的安全系
21、统都仅仅能抵御来自某个方面的安全威胁，这些系统不断产生大量的安全日志并且输出方式多种多样，这对安全管理人员及时、高效地发现安全隐患带来了极大的挑战。（5）需求迫切：企业和组织日益迫切的信息系统审计和内控、以及不断增强的业务持续性需求，也对当前日志审计提出了严峻的挑战。日志审计面临的挑战日志收集与分析系统1.3（1）概念：日志收集与分析系统是一个全面的、智能的网络日志和事件管理、分析工具，可以提供丰富的日志和事件管理、分析功能。（2）目的：实现对多种设备以及多种采集方式的日志和事件的支持，并提供强大的日志和事件处理、统计、分析和查询功能，实现科学的企业管理网络，逐步增强企业的网络安全管理力度。（
22、3）采集方式：基于SNMP TRAP的采集、基于Syslog的采集、基于Netflow、基于专有协议的采集等。日志收集与分析系统概述（1）日志收集与分析系统主要包含服务器和WEB客户端。（2）客户端的各项功能在服务正确启动后才能使用。（3）被管理设备需要进行集中管理配置和日志服务器配置，管理系统才能得到相关的设备信息，进行各项配置管理功能。日志收集与分析系统组成结构图日志收集与分析系统组成结构（1）管理服务器能够通过多种方式全面采集网络中各种设备、应用和系统的日志信息，能够支持国内外大部分主流的设备、系统品牌和型号，可灵活扩展。（2）管理服务器通过归一化和智能日志关联分析引擎，协助用户准确、快
23、速地识别安全事故，实现对企业和组织的IT资源中构成业务信息系统的各种网络设备、安全设备、安全系统、主机操作系统、数据库以及各种应用系统的日志、事件、告警等安全信息进行全面的审计，帮助企业及时作出响应。管理服务器（1）管理客户端与管理服务器相配合运行，为客户提供本地服务，可以为用户提供了一个从总体上把握企业和组织整体安全情况的界面，也可以成为仪表板。（2）用户可以通过管理客户端的主页从不同的角度了解系统中的实时信息，并通过各种统计图表（图形化显示）来获知当前的安全状况，并可以横向或者面向业务的模式，进行对比分析。（3）用户还可以通过客户端对资产进行管理，方便地进行设备的增加、修改、删除和查询，并
24、可以对设备当前的日志、事件进行实时的等级统计。管理客户端 日志收集与分析系统可以告诉用户很多关于网络中所发生事件的信息，主要包含以下功能：（1）资源管理（2）入侵检测（3）故障排除（4）取证（5）审计系统功能 日志可以按照设备资产重要程度和管理域的方式组织设备资产，提供便捷的添加、修改、删除、查询与统计功能，支持资产信息的批量导入和导出，便于安全管理和系统管理人员能方便地查找所需设备资产的信息，并对资产进行关键度赋值。资源管理 主机日志不同于网络入侵侦测系统（Network Intrusion Detection Systems，NIDS），是对入侵检测非常有用的一类日志记录。此外，用户行为也
25、包含在系统日志中，当一个用户登录、注销或者从某处进入等情况发生时，有些日志（如进程账户日志）会告诉你一些关于用户行为的信息。入侵检测 系统日志消息中有标准格式的消息（称为系统日志消息、系统错误消息或简单系统消息），也有从调试命令输出的消息。这些消息是在网络运作过程中生成的，旨在指明网络问题的类型和严重程度，或者帮助读者用户检测路由器的活动。故障排除 网络故障预测是指在历史日志数据的基础上，通过网络的实时状态，选择合理的模型或算法实时监控网络的健康状况，在用户感知到故障发生之前，做到对未来的网络状态进行故障的预测，判定故障是否会发生，从而为网络操作者提供帮助，使其及时运用操作策略对网络的健康进行
26、维护。网络故障预测（1）确定预测目标：目标可以是设备路由器、交换机、系统日志等。（2）选择预测技术：采用机器学习的分类器思想，判断预测目标所属类型。（3）评价预测模型：通过计算预测的精确度来衡量预测模型的准确性，通过验证方法对其进行验证。故障预测的基本步骤故障预测的基本步骤 常见的故障预测技术有基于统计的方法、基于数学的方法和基于人工智能的方法。（1）基于统计的方法：是指有关收集、整理、分析和解释统计数据，并对其所反映的问题作出一定结论的方法。（2）基于数学的方法：是指使用数学语言表述事物的状态、关系和过程，并加以推导、演算和分析，以形成对问题的解释、判断和预言的方法。（3）基于人工智能的方法
27、：是指通过对样本数据进行训练得到数据对应的模型，从而实现对位置目标的预测方法。常见的故障预测技术（1）回归分析法：是通过历史数据分析出其变化规律，研究出相应的变量及变量之间的关系，构建关联方程，从而预测未来故障。该方法实现较为容易，但误差较大。（2）时间序列分析法：是建立一个能够反映故障时间序列变化的模型，其对历史数据的需求较弱，该方法对变化因素敏感，故只适用于短时间预测。（3）主成分析法：用较少的分量对预测目标进行分析，故该方法适用于维度较高的目标，从而抓住主要的问题，提高了分析销量，但该方法依赖于对维度的选择。基于统计的方法（1）灰色理论法：是通过对不规律的数据转化为有规律的序列加以研究，
28、从而显示出其规律性，由于其模型为指数函数，故该方法适合于呈指数级上升的系统。（2）模糊理论法：使用模糊理论对预测目标进行预测。其好处在于可以处理复杂的变化、非线性的问题方面。基于数学的方法（1）基于分类的方法：:通过对样本数据进行分类器训练，对其分类到不同的故障类型中，通过训练模型对未来数据进行分类的过程。常用的方法有决策树、随机森林、支持向量机（Support Vector Machine，SVM）等。（2）基于遗传算法的方法：利用遗传算法的特性，寻找最优解，从而建立优化模型对故障进行预测；基于专家系统的方法含有大量的专家经验，利用人工智能所创建的知识库模拟领域专家的经验和判断，从而建立预测
29、模型。基于人工智能的方法 在事件发生后重建“发生了什么”情景的过程，这种描述往往基于不完整的信息，而信息可信度是至关重要的。日志是取证过程中不可或缺的组成部分：不易修改：日志一经记录，就不会因为系统的正常使用而被修改，这意味着这是一种“永久性”的记录。因此，日志可以为系统中其他可能更容易被更改或破坏的数据提供准确的补充。有助于加强其他证据的收集：重现事件往往不是基于一部分信息或者单个信息源，而是基于来自各种来源的数据，包括文件和各子系统上的时间戳、用户的命令历史记录、网络数据和日志。取证（1）审计是验证系统或者过程是否如预期般运行的过程，审计往往是为了政策或者监管依从性而进行的。（2）日志是审
30、计过程的一部分，形成审计跟踪的一部分，日志也可以被用于遵从技术策略（如安全策略）的依从性。（3）通过审计用户活动可以发现一些潜在的问题。审计 旁路部署模式通过将物理接口绑定到旁路模式功能域的方式实现。绑定后，该物理接口就成为旁路接口，此时，设备对从旁路接口收到的流量进行统计、扫描或者记录，即可实现旁路模式。优点：（1）不需改变原来的网络结构也能分析流量，同时也能配合日志服务器记录分析；（2）日志服务器即使在运行过程中出现问题，也不会对现有网络造成任何影响。日志旁路部署 日志全生命周期管理是一种信息管理模式，包含对日志的产生、使用、迁移、清理、销毁的全生命周期管理。开发合理的日志生命周期管理可以
31、有效控制生产系统日志数据规模，提高访问效率，从而提高系统运行的整体效率，帮助企业在日志数据生命的各个阶段以最低的成本获得最大的价值。日志全生命周期管理（1）评估使用的依从性需求：评估相关日志的最短留存周期。（2）评估组织的态势风险：对组织来说，每个风险领域的时间长度以及日志的重要性可能有很大的不同。（3）关注各种日志来源和生成日志的大小：各种设备或应用程序生成的日志体积有很大的不同，根据具体决定采用具体的留存周期。（4）评估可用的存储选项：日志存储选项主要取决于价格、容量、访问速度，以及能否以合理的周期得到正确的日志生命周期管理。日志留存计划（1）整体记录信息：系统将日志记录分为运行记录、交接
32、班记录、历史遗留记录。（2）其他记录信息：在调控值班过程中，除了记录运行日志，同时还要记录一些状态或事件信息，这些信息通常会有一个从开始到结束的状态演变过程。（3）交接班过程：这些状态或事件信息通常记录在交接班记录中，若状态或事件未结束，则对应的记录不终结，交班后将移交给下一值，将上一值移交下来的所有未闭环的记录称为历史遗留记录。生命全周期管理技术框图生命全周期管理技术（1）概念：合规性审计是指注册会计师确定被审计单位是否遵循了特定的法律、法规、程序或规则，或者是否遵守将影响经营或报告的合同的要求。合规性审计是内部审计实施的审计类型之一，可以作为单独的审计过程，也可能是财务审计或运营审计的一部分。（2）目的：在于揭露和查处被审计单位的违法、违规行为，促使其经济活动符合国家法律、法规、方针政策及内部控制制度等要求的审计。合规性审计
