IP网络度量熵方法精品30页课件.ppt

1、Research Centre for Optical Internet&Mobile Information Networks(),博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏IP网络的度量熵方法博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏汇报提纲0.科研和工程中的几个注意事项1.熵在网络度量中的应用2.熵在DDoS攻击和拥塞检测中的应用3.网络拓扑异质性博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏0.科研和工程中几个注意事项出现概率极小的事件一般不予考虑。比如去火车站，正常情况下大概30分钟，提前50分钟出发应该没有什么问题，下面的情况就没有必要考

2、虑：坐27路车，结果抛锚了，下来改打的，结果出租车撞车了，下车步行，结果崴脚了。我想这种情况几乎不可能出现，因此对于这种情况没有必要考虑，否则只会钻入牛角尖。很多情况下不可能有最终的解决方法，或者说没有最佳方法。比如：电子学中的带宽增益的关系；病毒攻击杀毒软件等关系，道高一尺，魔高一丈，不可能开发一种杀毒软件或者防火墙做到永远可以使用。系统越简单，可靠性越高，越复杂可靠性越低。该原则特别在工业上是一个最基础的理念，只要完成设计参数和任务即可，没有必要画蛇添足，增加很多花哨的功能也许对市场有用，但对于设备本身没有价值。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏1、熵在网络度量中的

3、应用节点重要性：用度来衡量，度越大，节点越重要。为第i 个节点的重要度,其中N 为网络中节点数目,k i 为第i 个节点的连接度。该方法的优缺点：基本反映节点的重要程度，但是节点之间重要性比较方面存在不足。如下图所示：1/NiiiiIkk博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏1、熵在网络度量中的应用熵的定义：目前用的熵的定义都是基于信息论中对于熵的定义，即网络结构熵网络的标准结构熵 网络完全均匀,即 时,E 取最大值 ，当k 1=N-1,k j=1(j 1)时网络最不均匀,网络结构熵最小 标准结构熵1lnNiiiEII 1iINmaxlnENminln4(1)2NEminm

4、axminEEEEElogNiiiHpp 博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏1、熵在网络度量中的应用边重要性的度量及其特点：1、边重要性可以通过该边连接的两个节点的重要性来评价。假设该边连接的两个节点都很重要，但容量较小，路由代价较大，实际上很多路由都不经过该边，那么它的重要性又如何体现呢？2、也可以用通过该边的最短路径的数量来评价。这与最佳路由的计算方法有关。3、用该边的容量来衡量。假设容量很大，但是众多路由都不经过该边，即大家都不使用该边，那么它的重要性没有得到体现。这三种衡量方法比较片面，不能很好的描述该边的重要性。博学之，审问之，慎寺之，明辩之，笃行之。精心整理

5、，欢迎收藏1、熵在网络度量中的应用综合上面对节点和边的重要性的衡量，可以发现前面的几种方法都不是很好。文献1,2 ，中提出的介数(betweenness centrality)似乎能很好地衡量节点的重要度,即经过该节点的最短路径越多该节点越重要。但计算节点的介数非常复杂。从理想情况下看该方法是最佳的：即用去掉该节点（边）网络性能下降的程度来衡量，性能下降越大，则该节点（边）越重要，但是计算将十分复杂，考虑的因素较多。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏1、熵在网络度量中的应用是否可以通过分层次的计算方法呢？比如：我要计算节点1的介数，我可以先计算小网络中的介数，再讲这个小

6、网络看成一个节点再计算大网络的介数。这种方法是可行的，比如每次计算100个，那么经3次计算，就可以计算上万个节点，用计算机分层计算这些节点是可行的。还有就是路由的最大跳数不超过16，假如超过16，协议以为不可达。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏1、熵在网络度量中的应用用网络熵来定量评估计算机网络攻击效果，选取合适的安全性能指标，根据安全准则选取n个指标并按重要性排列I1，I2，I3In，使得，（为小于1的常数，成为重要性常数），网络攻击效果的网络熵描述与计算：攻击前后的网络系统的安全性差值就可以作为攻击效果的一个测度：网络熵是对网络安全性能的一种描述，网络熵值越小，表

7、明该网络性能的安全性越好。对于网络的某一项性能指标来说，其熵值可以定义为：1NiiII1niiII2logiiHV 博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏1、熵在网络度量中的应用Vi为网络此项指标的归一化参数，显然网络受到攻击后，其服务性能下降，系统稳定性差，熵值增加，因此可用 来描述攻击效果，其中 是攻击后的性能参数 攻击前的性能参数，这些参数可以是信道总吞吐率、信道利用率、网络传输总延时、重要节点的传输延时、网络带宽、延迟、相应时间、系统恢复时间等。2logabVHV aVbV博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏1、熵在网络度量中的应用总体度量网络

8、的尝试：1、前面提到的网络结构熵2、链路的容量的熵：其中ci为第i个边的容量，C为网络的总容量，该方法问题是，熵的大小对应的网络的实际意义如何确定？比如熵越大说明链路容量均匀，无法对应实际中的骨干网和非骨干网的区别，熵越小说明链路容量差异越大，那么不可避免的出现瓶颈，3、链路的传输延迟熵：定义和缺陷同上1logmiiiccHCC 博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏1、熵在网络度量中的应用IP网络从网络结构、拓扑、用户群、业务类型、协议、链路容量、链路延时、节点等多种多样，单靠一两个量很难给出准确描述。从上面的分析可以看出很难找一种评价方法，因此我考虑能否用概率分布的方法

9、来研究，比如：网络链路容量，骨干网只占一小部分，而大部分是次级网络，还有很少一部分是容量较小的网络链路，计算或者统计某些网络的链路容量，观察其分布服从一种什么分布并大致确定其参数或者参数范围。借鉴无尺度网络的度分布，无尺度网络的节点度分布是幂分布。因此能否考查IP网络的各种参数的分布特性。这种方法可以应用到链路的延时、业务类型等。研究这些参数的动态变化与分布形式和参数之间的关系。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2.熵在DDoS攻击和拥塞检测中的应用攻击的种类及其特点：1、一对一攻击：该情况下，一台主机对另一台主机发动攻击，当攻击者性能较低时，无法对被攻击者形成威胁；当

10、被攻击者的性能低于攻击者时，被攻击者将无法处理而瘫痪，这种情况说明被攻击者不重要，重要的主机性能不会很低，因此一个不重要的主机即使被攻击也不会对整个网络带来性能的显著变化。因此这种情况不予考虑。该情况还有一种可能，比如攻击者伪造很多IP地址的报文攻击某台主机，那么可以通过检测报文的首部中的源IP地址来判别该报文是否合法来丢弃非法报文从而解决问题。2、一对多攻击：这种情况即使发生，其攻击能力也较弱，无力形成威胁。3、多对多攻击：这种情况下可能会出现不平衡攻击，导致某台主机或者服务器被攻击的攻击力较强。这种情况用下面的方法可以解决。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2、熵在

11、DDoS攻击和拥塞检测中的应用4、多对一攻击：这种攻击是威胁最大的，也是比较经常发生的，一般是众多受控制的主机同时向攻击目标发动攻击，这种攻击也称为DDoS（分布式拒绝服务攻击）攻击。5、还有一种情况就是当众多的合法用户同时访问一个服务器时，由于服务器的能力有限，导致系统不能正常提供服务甚至崩溃，对于这种情况假设不进行干涉，尽管是合法用户的正常访问，结果是系统崩溃，因此对于这种情况，将其按攻击处理以保护系统，这种处理方法是可行的。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2、熵在DDoS攻击和拥塞检测中的应用DDoS攻击的特点：1）利用一系列受控制的PC进行集中式攻击，2）产生

12、随机分布的IP地址来逃避跟踪，3）随机的改变报文的结构，4）发掘网络协议和操作系统的漏洞和弱点，5）在没有表面特征的情况下快速发送报文。DDoS攻击的目标：一般是高容量站点、搜索引擎、政府部门等。DDoS攻击的检测：基于签名的检测（只能检测已知的攻击），异常检测（检测攻击流速度、包大小、端口分布、同时传输流的数量等）博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2、熵在DDoS攻击和拥塞检测中的应用文献4提出用熵理论来检测DDoS是计算报文首部的某些特性的随机分布来检测DDoS。检测方式种主要包括攻击流的速度、报文的大小和端口分布、报文的到达时间分布、高级协议的特性、输入输出的数据

13、速率等。1）累积熵检测：通过监控网络一段时间内熵累积到什么程度，而不是检测到异常就做出判决来计算累积熵，有效避免了错误判决的概率，用熵来判决。确定是实时性不强2）累积时间熵检测。没有设置传输量的门限，而是用检测网络情况异常持续一定的时间来判决DDoS。用时间来判决，缺点同上。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2熵在DDoS攻击和拥塞检测中的应用文献5中提出，由于洪泛攻击时，流记录所消耗的内存和带宽超出了其可用的带宽和范围，因此该文献提出一种基于流聚合算法的熵，可以解决带宽和内存问题，而且还可以最佳化合法流的检测精确度，可以实时、高效的鉴别攻击流并将这些大量的短攻击流汇聚

14、成一个元流，大部分异常流具有固定的srcIP或者相同的dstIP，包含攻击流的聚类通常具有以下几个特征：1）聚类中流的数目大到足够形成洪泛攻击；2）流的大小通常小于正常的流；3）除了固定值之外的一个关键参数通常是随机的或者均匀分布的。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2熵在DDoS攻击和拥塞检测中的应用文献6中提出大规模的互联网中包含大量的路由器，这些路由器是各自独立工作，而没有集中控制，这些路由器的行为异常复杂，这种复杂的网路行为阻止了我们更精确的理解和有效的控制网络，该文提出熵throttling（节流）,也就是报文进入限制来解决拥塞，用熵来度量网络的拥塞程度，得出

15、用包移动率来作为熵的近似。当熵度量检测达到拥塞门限时，本文采用包进入限制的方法，这样，当网络达到拥塞时，要通过一些控制报文来处理拥塞，那么包进入限制的方法，将使网络无法自己来处理拥塞，若增加一个检测装置，来检测报文是数据报文还是控制报文，对于控制报文则不加限制。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2熵在DDoS攻击和拥塞检测中的应用协议对于拥塞或者攻击的处理：TCP协议：在TCP协议中，不管是那种方法检测到的拥塞，网络都采取相应的措施来解决，比如：发生超时和收到3个ACK采取的策略都不是限制报文的注入，而是减小慢开始门限，减小拥塞窗口值，并启动相应的开始策略，这些都表示要

16、继续传输报文，这些报文主要是控制报文。SCTP协议：在SCTP协议中，虽然较好的解决了洪泛攻击对服务器的攻击，但是大量的攻击流和相应的洪泛避免处理机制，将使网络通信量激增，因此这会使网络产生拥塞。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2.熵在DDoS攻击和拥塞检测中的应用博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2熵在DDoS攻击和拥塞检测中的应用综合以上对攻击和拥塞的讨论可以看出，这些解决方案中忽略了一个最重要的问题：网络的流量和系统的资源占用情况。这些处理方案中都是直接用熵或者其它检测手段检测是否发生攻击或者拥塞。这样检测将伴随着系统一直在运行，无疑消耗

17、了部分资源。因此可以考虑借用预警机制，当网络的某些参数达到一个门限之后再启动相关检测，那么可以节省一定的计算资源。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2熵在DDoS攻击和拥塞检测中的应用基于熵的攻击和拥塞检测机制：先监测网络的流量和系统资源的使用情况，当网络的流量出现突然增大时或者系统资源占用到一定程度时，这时启动预警机制，熵检测开始，利用熵检测拥塞程度，检测DDoS攻击，然后启用相应的处理机制。流程如下图所示：博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2 熵在DDoS攻击和拥塞检测中的应用流量检测和系统资源的占用情况无须再设计相应的检测程序或者手段，路由

18、器的操作系统及一些网络管理协议已经具有统计检测功能。当攻击规模比较小的时候，网络流量和系统的资源占用不大，不会影响到网络的正常运行，将这些攻击当成正常的业务流来对待；当攻击比较大的时候，要么网络的流量很大、要么使系统资源消耗很大，出现二者只一时就开始启动熵检测，来更精确的判定是否发生攻击或者拥塞。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏2.熵在DDoS攻击和拥塞检测中的应用 有待讨论的问题：对于攻击一般是攻击重要节点或者边，能不能像武侠小说中武功高手改变穴位来避免对方给予的致命一击一样，网络也通过某种手段来改变某些节点的重要性。博学之，审问之，慎寺之，明辩之，笃行之。精心整理

19、，欢迎收藏3.网络拓扑异质性网络的结构方面：文献7阐述了网络系统的异质性，度分布的熵曾用来测量实际网络的异质性，这种方法不是很精确，在该文中提出一种很精确的量化网络异质结构的方法-基于自同构划分的结构熵。并且分析了许多实际网络的对称性和异质性统计。得出实际网络在自同构划分下的熵相比基于度的熵更具有异质性。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏3.网络拓扑异质性如图所示，两个图的每个节点的度都是3，基于度的熵理论中，两个图中的各个节点是完全一致的，但是直观上两个图并不一样，左图可以分解成1,8,4,5,2,3,6,7三个顶点子集用 来表示。定义基于度的熵：定义基于自同构划分的

20、熵，P是网络的自同构划分，pi是顶点属于子集Vi的概率，也可以对EAP进行归一化，基于自同构划分的熵能精确描述网络的异质性，因此EAP越大，网络的异质性越强，异质性与复杂性成正比，越异质越复杂。12,.iV VV1logiiipEAPpp iiijjVVpNV博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏3.网络拓扑异质性未来需要做的工作：针对上面给出的两个度相同的图，他们的基于自同构划分的熵是不同的，但是这两个图在性能上有什么不同？比如生存性、抗毁性、在路由算法上等找出其不同，并分析其性能，将这种分析方法扩展到整个IP网络中去。博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢

21、迎收藏4、参考文献1 Robin Burke.Semantic ratings and heuristic similarity for collaborative filteringDBPOL .2000,http:PPwww.igec.umbc.eduPkbemP finalPburke.pdf.2 Budanitsky,Alexander,Hirst,Graeme.Evaluating wordNet2based measures of semantic distance J .Computational Linguistics,2019,32(1):13-47.3 Takashi Yo

22、kota,Kanemitsu Ootsu,Fumihito Furukawa,and Takanobu Baba Entropy Throttling:A Physical Approach for Maximizing Packet Mobility in Interconnection Networks4 Liying Li,Jianying Zhou,and Ning Xiao DDoS Attack Detection Algorithms Based on Entropy Computing5 Yan Hu,Dah-Ming Chiu,and John C.S.Lui Entropy

23、 Based Flow Aggregation NETWORKING 2019,LNCS 3976,pp.12041209,2019.6 Takashi Yokota,Kanemitsu Ootsu,Fumihito Furukawa,and Takanobu Baba Entropy Throttling:A Physical Approach for Maximizing Packet Mobility in Interconnection Networks7 Yanghua Xiao,Wentao Wu,Hui Wang,Momiao Xiong,and Wei Wang；Symmetry based Structure Entropy of Complex NetworksResearch Centre for Optical Internet&Mobile Information Networks(),博学之，审问之，慎寺之，明辩之，笃行之。精心整理，欢迎收藏Thanks谢谢