1、XAI与可信任安全智能解读技术创新，变革未来提纲提纲1可信任的安全智可信任的安全智能能2XAI与模型可解释性与模型可解释性3XAI+Security实践实践1可信任的安全智能可信任的安全智能人工智能人工智能图片来源：中国信息通信研究院和中国人工智能产业发展联盟安全智能安全智能（恶意）（恶意）软件分析软件分析 恶意代码检测、分类、恶意代码检测、分类、家族，漏洞挖掘家族，漏洞挖掘流量分析流量分析Web攻击、攻击、DDoS、恶、恶 意软件通信、意软件通信、DGA、加、加 密流量密流量入侵检测入侵检测异常检测、行为预测、异常检测、行为预测、实体画像实体画像团伙挖掘团伙挖掘情报、情报、APT欺诈检测、风
2、控欺诈检测、风控 网站网站指纹攻击指纹攻击 恶意邮件恶意邮件协议分析协议分析 AI对对抗抗 4文本分析、目标检测、图像识别、聚类、词嵌入、图嵌入、社团分析文本分析、目标检测、图像识别、聚类、词嵌入、图嵌入、社团分析云、物联网、5G、边缘、AI平台端点、网络、文件、行为、情报、蜜罐免费的午餐？不存在的免费的午餐？不存在的对抗预对抗预期期现状阶段一：现状阶段一：1.1.需要大量标注数据；需要大量标注数据；2.2.经验化调参；经验化调参；未来：未来：模型易调试、决策可解模型易调试、决策可解 释、自动化知识提取、释、自动化知识提取、人机交互，高度自动化人机交互，高度自动化技术认知技术认知基本：依赖专家
3、样本分基本：依赖专家样本分 析、写规则、分析结果析、写规则、分析结果现状阶段二：现状阶段二：1.1.测试集上高性能，实际高误报；测试集上高性能，实际高误报；2.2.相对专家规则的一目了然，模相对专家规则的一目了然，模 型说啥就是啥？还是要人工确认；型说啥就是啥？还是要人工确认；理想：相对于专家规则，基于理想：相对于专家规则，基于 机器学习、深度学习的方法大机器学习、深度学习的方法大 幅自动化分析流程幅自动化分析流程现状阶段三：现状阶段三：1.1.伴生新的安全问题伴生新的安全问题2.2.合规、道德约束合规、道德约束可信任的安全智能可信任的安全智能=可信人工智能可信人工智能+安全场安全场景景可解释
4、性可解释性性能性能安全性安全性合法合规合法合规道德约束道德约束可审计可审计技术层面技术层面数据处理数据处理算法模型算法模型系统架构系统架构评估方法评估方法非技术层面非技术层面法规法规标准标准涵盖面最广，透明可解释是涵盖面最广，透明可解释是 核心需求之一核心需求之一常被列为隐含选项，是安全常被列为隐含选项，是安全 场景下需要优化的目标之一场景下需要优化的目标之一合规、合法、公平、可控、合规、合法、公平、可控、以人为本以人为本可信任的核心需求与主要技可信任的核心需求与主要技 术实现之一术实现之一提纲提纲1可信任的安全智能可信任的安全智能2XAI与模型可解释与模型可解释性性3XAI+Security
5、实践实践XAI与模型可解释性与模型可解释性2XAI定义定义XAI(eXplainable Artificial Intelligence)XAI定义定义https:/www.darpa.mil/program/explainable-artificial-intelligenceXAI(eXplainable Artificial Intelligence)Black BoxM a c h i n e M a c h i n e LeLea ar rn ni in ng g ProcessProcessT Tr ra ai in ni in ng g DataDataLearned Learn
6、ed F Fu un nc cti tio on nTodayToday WhyWhy did did you you do do that?that?Why Why not not somethingsomething else?else?When When do do youyou succeed?succeed?When When do do youyou fail?fail?When When can can I I trust trust you?you?HowHow dodo I I correctcorrect anan error?error?Decision Decision
7、 or or ReRec comommme en nd da at ti iononT Ta as sk kU Us se er rXAI定义定义XAI(eXplainable Artificial Intelligence)https:/www.darpa.mil/program/explainable-artificial-intelligenceNew New MMa ac ch hi in ne e LeLea ar rn ni in ng g ProcessProcessT Tr ra ai in ni in ng g DataDataXAIXAI I I understandund
8、erstand whywhy I I understand understand whywhy notnot I I know know when when you you succeedsucceed I I know know when when youyou failfail I I knowknow whenwhen toto trusttrust youyou I I know know why why youyou errederredT Ta as sk kU Us se er rE Ex xp pl la ainina ab bl le e ModelModelE Ex xp
9、pl la an na ati tio on n InterfaceInterfaceExplainable Models develop a range of new or modified machine learning techniques to produce more explainable modelsExplanation Interface integrate state-of-the-art HCI with new principles,strategies,and techniques to generate effective explanationsPsycholo
10、gy of Explanation summarize,extend,and apply current psychological theories of explanation to develop a computational theoryXAI热点热点Gartner 2019https:/ 高维度、非线性、非单调（高维数组、集成模型、深度模型）天下没有免费的午餐天下没有免费的午餐，我们很难苛求机器完全按照人类可理解的方式去工作并输出，同时保 持远高于人类的效率可解释性的缺失可解释性的缺失可解释性与预测性能的微妙平可解释性与预测性能的微妙平衡衡缺乏可解释性又怎样？缺乏可解释性又怎样？科
11、学科学 or 玄学玄学重新训练及更新？调参？换模型？人工？重新训练及更新？调参？换模型？人工？缺乏可解释性又怎样？缺乏可解释性又怎样？可解释性性能可信任的战友高性能，可解释高度自动化人工智能人工做低性能，难解释面子工程入门小白低性能，可解释轻量级任务神秘的黑盒子高性能，难解释偶尔智障？缺乏可解释性又怎样？缺乏可解释性又怎样？非关键任务及场景：智能客非关键任务及场景：智能客服服/家居，推荐，语音问答，图家居，推荐，语音问答，图 像识别像识别关关场场、键任务键任务及及景：军景：军事事网网络络安全、金融、医疗、交安全、金融、医疗、交通通刑事审判刑事审判 假释判断假释判断 再犯预测再犯预测 警力调度警
12、力调度金融金融 信用信用/贷贷 款款评估评估 保险报价保险报价医疗保健医疗保健 疾病检测疾病检测 处方推荐处方推荐网络安全网络安全 威胁检测威胁检测 风险评估风险评估 自动响应自动响应军事军事 目标识别目标识别 自动打击自动打击当机器智能可解释当机器智能可解释讲人话，能办事，可信任讲人话，能办事，可信任向使用者证明结果是稳定的、准确的、道德的、无偏见的、合规的合规的，从而提供决策的支持以 及AI自身安全性的可视性向开发者提供模型改进、调试的基础信息向研究者提供机器洞见，展现被人忽视、难于发现的潜在规律提升安全运维的处置效率提升安全研究自动化水平 提升安全产品性能支持技术合法合规需求模型可解释性
13、技术概览模型可解释性技术概览技术技术解释阶段解释阶段/方式方式解释域解释域模型相关性模型相关性内在可解释 (Intrinstic)建模后解释 (Post-hoc)全局解释性 (Global)局部解释性 (Local)模型相关(Model-specific)模型无关(Model-agnostic)DecisionDecision treestreesGraph-basedGraph-basedLIMELIMESHAPSHAPDeepLiftDeepLiftGlobalGlobal surrogate surrogate modelsmodelsPartial Partial D De ep pe
14、 en nd de en nce ce Plot(PDP)Plot(PDP)ModelModel distillationdistillation模型可解释性技术概览模型可解释性技术概览可解释的机器学习方法可解释的机器学习方法算法算法Algorithm线性线性Linear单调性单调性Monotone特征交互特征交互Interaction面向任务面向任务TaskLinear regressionYesYesNoregr(回归)Logistic regressionNoYesNoclass(分类)Decision treesNoSomeYesclass,regrRuleFitYesNoYescla
15、ss,regrNaive BayesNoYesNoclassk-nearest neighborsNoNoNoclass,regrhttps:/christophm.github.io/interpretable-ml-book/simple.html图模型图模型IBM Threat Intelligence ComputingMITRE CyGraphNoDozeHolmes优化原生难解释的模型优化原生难解释的模型模型可解释性技术概览模型可解释性技术概览PDP(Partial Dependence Plot)全局代理模型全局代理模型(Global Surrogate Models)特征归因特
16、征归因(Feature Attribution)可视化分析某特征值变化对模可视化分析某特征值变化对模 型预测的影响型预测的影响以模型预测值为样本标签，重以模型预测值为样本标签，重 新训练代理模型新训练代理模型多种方式确定分类器决策时最关键的特征集合：多种方式确定分类器决策时最关键的特征集合：基于反向传播基于反向传播（ClassClass ActivationActivation MappingMapping）、博弈论博弈论（SHAPSHAP）、局部代理模型、局部代理模型（LIMELIME）等等等等建模后的可解释性建模后的可解释性特征归因特征归因 LIMELEMNA:Explaining dee
17、p learning based security applications建模后的可解释性建模后的可解释性特征归因特征归因 LEMNAFused LassoMixture regression model如何构建可解释的模型如何构建可解释的模型可解释的定义、粒度、规范可解释的定义、粒度、规范以任务目标为导向的可解释定义可解释的输入可解释的输入/输出输出“以人为本”的，而非“机器为本”的预处理、特征提取可解释的模型可解释的模型针对任务目标的可解释方法选择、优化可解释性的评估可解释性的评估如何有效、量化评估解释结果的真实性提纲提纲1可信任的安全智能可信任的安全智能2XAI与模型可解释性与模型可解
18、释性3XAI+Security实践实践XAI+Security实践实践3一次一次Webshell流量检测探索流量检测探索基本原理一次一次Webshell流量检测探索流量检测探索基本原理https:/ HRtbC8%3D-https:/ tcp any any-any 80(sid:900001;content:“z1”;content:”base64_decode”;http_client_body;flow:to_server,established;content:”POST”;nocase;http_method;msg:”Webshell Detected Apache”;)-Fire
19、Eye，2014一次一次Webshell流量检测探索流量检测探索 Layer(type)Output ShapeParam#=dense_1 (Dense)(None,512)2560512 dropout_1 (Dropout)(None,512)0 dense_2(Dense)(None,10)5130=Total机器学习：百万量级标签数据，准确率可观机器学习：百万量级标签数据，准确率可观 99.8%params Trainable paramsNon-trainable params:2,565,642:2,565,642:0不可信任的技术不可信任的技术打开打开PcapPcap确认确认
20、误报以误报以及更多的误报及更多的误报调参以及没完没了的训练、更新调参以及没完没了的训练、更新Just Just ShutShut UpUp使用使用LIME内核解释模型内核解释模型alert tcp any any-any 80(sid:900001;content:“z1”;content:”base64_decode”;http_client_body;flow:to_server,established;content:”POST”;nocase;http_method;msg:”Webshell Detected Apache”;)Payload解释解释使用使用LIME内核解释模型内核解
21、释模型c c 6 6 A Amd=eval%28%22Ex%22%.3A496620457272205468656E6578743A45md=eval%28%22Ex%22%.3A496620457272205468656E6578743A45E6420573706F6E73652E5772697465285329%22%22%22%22%29%29%3E6420573706F6E73652E5772697465285329%22%22%22%22%29%29%3Response.Write%28%2%29%3AResponse.End%22%22%.%29Response.Write%28%
22、2%29%3AResponse.End%22%22%.%29Payload解释解释Webshell规则提取规则提取整体架构整体架构Webshell规则提规则提取取规则命中规则命中Webshell规则提取规则提取99.2%0.26%98.9%115/388总体准确率总体准确率告警误报率告警误报率攻击回召率攻击回召率规则命中数规则命中数/规则总数规则总数模型的泛化能力模型的泛化能力规则泛化能力规则泛化能力无监督的方式无监督的方式数据的局限性数据的局限性解释的准确性解释的准确性场景的想象场景的想象打开黑箱发现了什么打开黑箱发现了什么模型确实能够学习到与人直观感觉一致的论据模型确实能够学习到与人直观感
23、觉一致的论据模型能够发现大量数据中容易被人忽略的其他相关性模型能够发现大量数据中容易被人忽略的其他相关性模型判断有时确实令人难以理解，是人的弱点还是模型的错误？模型判断有时确实令人难以理解，是人的弱点还是模型的错误？可解释性技术本身是否令人信服？打开黑箱的方式及其安全性可解释性技术本身是否令人信服？打开黑箱的方式及其安全性具备可解释，即打开沟通之门具备可解释，即打开沟通之门技术赋能，可信为先技术赋能，可信为先集成集成XAXAI I技术，高技术，高 效生产可理解的效生产可理解的 告警告警可解释的、可量化的评估可解释的、可量化的评估 海量告警的处理优先级，海量告警的处理优先级，定位高置信度事件定位高置信度事件利用图模型高效利用图模型高效 整合多源数据，整合多源数据，构建研判上下文构建研判上下文数据智能驱动持续数据智能驱动持续 的、自适应的局部的、自适应的局部/全局风险感知全局风险感知鲁邦的、透明的、鲁邦的、透明的、可追溯的、合规可追溯的、合规 的自动化安全响的自动化安全响 应应高效、持续的人高效、持续的人-机机 智能交互智能交互打造可信任的安全智能打造可信任的安全智能 J.A.R.V.I.S.https:/
