1、CMNET流量优化和安全策略流量优化和安全策略2目录目录当前主要问题和挑战CMNET网络整体情况介绍今年CMNET网络的工作重点重点关注点和工作思路3CMNET网络规模高速增长（承载组）CMNET流量本网率达到94.1%，较2011年增长37.4%。56.7%66.6%86.6%93.5%94.1%50%60%70%80%90%100%2011年2012年2013年2014年2015年5月CMNET流量本网率CMNET骨干网络容量已达14.5T，为2011年的4.4倍；预计2015年底将再翻倍。3.35.99.513.114.5280510152025302011年2012年2013年2014
2、年2015年5月2015年12月CMNET骨干网络容量TCMNET手机点击本网率达到83.1%，较2014年一季度增长12.7%。70.4%73.3%77.6%80.9%82.0%83.1%65%70%75%80%85%14年1季度14年2季度14年3季度14年4季度15年1季度15年2季度CMNET手机点击本网率0.7 1.4 3.1 5.9 7.3 0 2 4 6 8 2011年2012年2013年2014年2015年5月CMNET地市总流量CMNET地市总流量已达7.3Tbps，为2011年的10.4倍，目前月增长率保持在5%以上。Tbps2011年至今中国移动骨干网容量扩大4.4倍，2
3、015年底将再扩容1倍达到28Tbps；流量规模扩大到10.4倍；点击本网率和流量本网率指标也逐年稳步增长。CMNET网络现状分析-CMNET的业务定位手机用户数据卡用户2G 用户TD用户2G 数据卡TD数据卡LTE数据卡LTE用户GSM网络TD网络WLAN网络LTE网络物联网用户个人用户家庭宽带用户集团专线用户CMNET流量有线接入网络u中国移动互联网（以下简称为CMNET）建成于2001年，2014年底完成7期扩容，目前骨干网省际带宽14.5T。u中国移动CMNet定位于开放的信息承载网络，主要承载以下数据业务：l用户接入的承载p固定互联网接入，包括家庭宽带互联网接入和集团客户的专线互联网
4、接入；pWLAN接入业务；pGPRS/TD/LTE用户接入互联网以及核心网元的承载；l内容的承载p移动数据中心 IDC业务；以及各类基地业务：p移动梦网的信息服务业务：主要包括中国移动WAP网关、短信网关、多媒体消息业务中心、139邮件系统、飞信系统等提供业务。4各省CMNET省网/城域网CMNET骨干网全国 IDC/业务基地省IDC139/飞信等WAP/MMSC/SMSC等省IDC/业务基地核心网元等CMNET网络现状分析-CMNET的网络结构骨干接入节点A-CSCF省网汇接层骨干接入节点骨干接入节点骨干接入节点郑州、重庆接入节点国际互联节点国际互联节点国内互联节点省网汇接节点1省网汇接节点
5、2省网接入/城域核心节点BRAS/SRBRAS/SR骨干网骨干网省网/城域网武汉南京沈阳国内互联节点国际互联节点北京上海核心层接入层省网接入/城域核心节点城域网业务接入控制层网网间互联间互联国内互联节点成都西安广州节点1节点2杭州国内互联节点国内互联节点国际互联节点CMNET为骨干网和省网两级自治域、多层结构：骨干网分为骨干核心层、骨干接入层；所有省网出口流量均通过一对省网汇接节点与本省的骨干网节点互联国内网间互联：在北京、上海、广州、武汉、南京、沈阳、成都、西安、重庆、郑州10个互联点与对端运营商互联；部分省网开通国内第三方出口国际网间互联：设在北京、上海、广州；分为国际汇聚层、国际互联层；
6、CMNET网络现状分析-CMNET的内容源建设情况数据中心建设情况一类IDC：设置在北京、上海、广东、江苏、四川、浙江、重庆等公司；其他各省IDC为二类IDC；其中福建、湖南、安徽、江西、山西五省IDC作为一类IDC的补充；集中化大型数据中心:哈尔滨和呼和浩特；9大增值业务基地建设情况广东互联网基地、四川音乐基地、辽宁位置基地、上海视频基地、江苏游戏基地、浙江阅读基地、福建动漫基地、湖南电子商务基地、重庆物联网基地Web/P2P Cache系统建设情况集团Web Cache节点：3个，北京、上海、广州省级Web Cache节点：全网31省建设（自建和租用）省级P2PCache节点：全网27省建
7、设CDN系统为满足互联网电视(OTV)业务的试点需求，2012年底视频基地及其他8个试点省公司开展了CDN部署。现阶段部署方式以自建为主，少量合作部署省份也正在规划自建。预计2015年底完成全网CDN系统的建设。7目录目录当前主要问题和挑战CMNET网络整体情况介绍今年CMNET网络的工作重点重点关注点和工作思路8一般拥塞,13.1,36一般拥塞,13.2,24一般拥塞,13.3,24一般拥塞,13.4,14一般拥塞,13.5,16一般拥塞,13.6,16一般拥塞,13.7,17一般拥塞,13.8,16一般拥塞,13.9,12一般拥塞,13.1,8一般拥塞,13.11,11一般拥塞,13.12
8、,19一般拥塞,14.1,18一般拥塞,14.2,18一般拥塞,14.3,18一般拥塞,14.4,15一般拥塞,14.5,14一般拥塞,14.6,14一般拥塞,14.7,5一般拥塞,14.8,6一般拥塞,14.9,10一般拥塞,14.1,14一般拥塞,14.11,14一般拥塞,14.12,8一般拥塞,15.1,15一般拥塞,15.2,10一般拥塞,15.3,13一般拥塞,15.4,11一般拥塞,15.5,9一般拥塞,15.6,8严重拥塞,13.1,14严重拥塞,13.2,8严重拥塞,13.3,4严重拥塞,13.4,3严重拥塞,13.5,3严重拥塞,13.6,4严重拥塞,13.7,5严重拥塞,1
9、3.8,5严重拥塞,13.9,3严重拥塞,13.1,2严重拥塞,13.11,2严重拥塞,13.12,13严重拥塞,14.1,13严重拥塞,14.2,7严重拥塞,14.3,7严重拥塞,14.4,10严重拥塞,14.5,7严重拥塞,14.6,0严重拥塞,14.7,0严重拥塞,14.8,0严重拥塞,14.9,0严重拥塞,14.1,0严重拥塞,14.11,0严重拥塞,14.12,0严重拥塞,15.1,0严重拥塞,15.2,0严重拥塞,15.3,1严重拥塞,15.4,0严重拥塞,15.5,3严重拥塞,15.6,2拥塞局向占比,13.1,30%拥塞局向占比,13.2,19%拥塞局向占比,13.3,17%拥
10、塞局向占比,13.4,10%拥塞局向占比,13.5,11%拥塞局向占比,13.6,12%拥塞局向占比,13.7,13%拥塞局向占比,13.8,13%拥塞局向占比,13.9,9%拥塞局向占比,13.1,6%拥塞局向占比,13.11,8%拥塞局向占比,13.12,19%拥塞局向占比,14.1,19%拥塞局向占比,14.2,15%拥塞局向占比,14.3,15%拥塞局向占比,14.4,15%拥塞局向占比,14.5,13%拥塞局向占比,14.6,8%拥塞局向占比,14.7,3%拥塞局向占比,14.8,4%拥塞局向占比,14.9,6%拥塞局向占比,14.1,8%拥塞局向占比,14.11,8%拥塞局向占比,
11、14.12,5%拥塞局向占比,15.1,9%拥塞局向占比,15.2,6%拥塞局向占比,15.3,8%拥塞局向占比,15.4,7%拥塞局向占比,15.5,7%拥塞局向占比,15.6,6%0%10%20%30%40%020406013.1 13.2 13.3 13.4 13.5 13.6 13.7 13.8 13.9 13.1 13.1113.12 14.1 14.2 14.3 14.4 14.5 14.6 14.7 14.8 14.9 14.1 14.1114.12 15.1 15.2 15.3 15.4 15.5 15.6CMNet骨干网拥塞一般拥塞严重拥塞拥塞局向占比n10个局向忙时带宽利用
12、率超过70%；涉及北京、四川、新疆、山东、陕西、江苏、江西、上海、安徽9个省份。nCMNET骨干网当前拥塞局向为10个，占比为6%。当前骨干网带宽13.9T，但由于部分省份流量增长快，通过紧急扩容及流量优化调整后，目前还有10个拥塞局向，年底前拥塞形势依然严峻。骨干网6期工程实施，拥塞有所缓解。现网挖潜，优先扩容拥塞局向，拥塞有所缓解。业务量增长，拥塞加剧。骨干网7期工程实施及流量优化，拥塞缓解。拥塞缓解主要措施拥塞局向优先扩容：挖潜现网资源调度冗余传输，对拥塞局向优先安排扩容。加大热点本地缓存：对拥塞链路进行流量流向分析，针对性进行热点本地缓存。流量调度优化：对严重拥塞局向部署TE隧道，进行
13、骨干网流量疏通优化，有效提升网络疏通效率。CMNETCMNET网忙时部分局向拥塞网忙时部分局向拥塞CMNET骨干网忙时部分局向拥塞,乌鲁木齐2-北京2,93.76%CMNET骨干网忙时部分局向拥塞,乌鲁木齐2-西安2,92.28%CMNET骨干网忙时部分局向拥塞,成都2-北京2,89.35%CMNET骨干网忙时部分局向拥塞,乌鲁木齐1-北京1,88.21%CMNET骨干网忙时部分局向拥塞,成都2-北京4,86.61%CMNET骨干网忙时部分局向拥塞,南昌1-南京1,80.74%CMNET骨干网忙时部分局向拥塞,济南1-北京3,76.32%CMNET骨干网忙时部分局向拥塞,乌鲁木齐1-西安1,7
14、5.60%CMNET骨干网忙时部分局向拥塞,合肥2-上海4,74.49%CMNET骨干网忙时部分局向拥塞,合肥2-上海2,73.87%70%75%80%85%90%95%乌鲁木齐2-北京2乌鲁木齐2-西安2成都2-北京2乌鲁木齐1-北京1成都2-北京4南昌1-南京1济南1-北京3乌鲁木齐1-西安1合肥2-上海4合肥2-上海2CMNET骨干网忙时部分局向拥塞9DNSDNS安全事件频发安全事件频发百度劫持事件.cn域名服务器故障事件顶级域名服务器故障事件2003201020132014暴风网站的域名解析系统受到网络攻击出现故障。同时引发导致电信运营企业的递归域名解析服务器拥塞。百度被黑客组织入侵，
15、网站的域名被更换至雅虎属下的两个域名服务器。引发百度网站无法登陆。8月25日凌晨.CN域名出现大面积故障。CNNIC称故障是由于国家域名解析节点受到拒绝服务攻击。1月21日下午，中国境内大量知名 网站无法访问。CNNIC称事件是由于网络攻击导致我国境内用户通过国际顶级域名服务解析异常。12月10日包括骨干递归DNS在内、江西、江苏等十几个省公司DNS遭受DDOS攻击。2009暴风影音事件p 近年来，DNS系统安全事件频发，严重影响用户使用互联网业务。除影响用户感之外，在流量经营占据愈加重要地位的当下，DNS系统的故障将直接给公司造成严重的经济损失。10网间攻击网间攻击流量严重影响业务质量流量严
16、重影响业务质量进入2015年以来，CMNET网间攻击流量呈现全面爆发趋势，直接导致晚忙时单电路丢包率超过40%，业务不可用引发大量投诉。流量快速增长：攻击流量半年增长了198%，丢包率达到43%。17.319.522.430.844.351.701020304050602014年12月2015年1月2015年2月2015年3月2015年4月2015年5月攻击流量（Gbps）晚忙时丢包晚忙时丢包率达到率达到43%感染范围扩大：攻击源头由6个省份增加至20个省份。2014年年12月月攻击流量攻击流量（Mbps）山东 3048.38 湖南 2059.57 江苏 2017.97 云南 1461.96
17、河南 1312.05 四川 821.59 广东 821.20 2015年年5月月攻击流量（攻击流量（Mbps）2015年年5月月攻击流量（攻击流量（Mbps）四川 4343.50 安徽 1424.57 河南 4116.40 江苏 1420.90 甘肃 4070.90 河北 1352.43 福建 2497.14 黑龙江 1037.07 浙江 2432.64 辽宁 877.25 山东 2417.00 山西 868.30 广东 1840.35 西藏 668.64 湖北 1722.71 重庆 616.484江西 1626.00 青海 585.85 湖南 1572.54 注：以 攻击流量500Mbps为
18、标准。11目录目录当前主要问题和挑战CMNET网络整体情况介绍今年CMNET网络的工作重点重点关注点和工作思路 流量分析安全防范CMNET重点重点工作关注点工作关注点网络能力故障管理 u做好流量预测，提前规划储备网络容量。u按照总部要求，建立红橙黄蓝拥塞应急响应机制。u加强省网流量流向分析、拓扑流量拥塞监控、资源和质量分析监控。u充分使用网管手段，建立互联网端到端质量问题监测机制。u做好重大故障和影响业务故障的分析和总结，排除以往故障隐患。u按照总部要求，做好路由条目和路由疏通策略监控，降低路由震荡风险。u按照3个方面，9项要求，做好DNS安全防护工作。u按照“骨干分析、省网定位、地市拦截”的
19、思路进行各省网间攻击流量溯源整治。CMNET今年重点工作思路 为充分应对流量高速增长的挑战，今年CMNET需从网络能力、流量分析、故障管理、安全防范几方面开展工作，全面保障网络畅通、高效、安全。13新版互联网健康度指标说明互联网健康度评估体系，通过引导各省内容和网络协同发展来保障网络服务质量，包含“网络好”、“效果佳”、“质量优”3大类，共9项指标对各省互联网重点工作进行评估如下：网络好QoS队列质量：考察各省QoS队列（2G/3G/LTE上网业务）省间互访质量，保障高优先级业务质量。网络负荷：考察各省省内中继链路负荷情况，保证网络容量能匹配各省业务发展情况。网间攻击流量：考察各省至骨干网间（
20、电信，联通，铁通）攻击流量，提升CMNET攻击分析和防范能力。质量优TOP1000网站首屏打开时延：考察各省访问热点网站首页的时延感知，提升热点网站访问速度。TOP12视频首帧质量：考察各省访问热点视频的打开速度感知，减少用户等待时长，提升用户感知。TOP12视频卡顿次数：考察各省访问热点视频的流畅度感知，提升用户视频播放感知。效果佳手机点击本网率：考察并提升各省热点内容资源的IDC引入程度、Web Cache和CDN服务手机用户的能力。点击本网率：考察并提升各省热点内容资源的IDC引入程度、Web Cache和CDN服务手机和固网用户的能力。本省内容满足率：考察各省用户需求流量在本省IDC，
21、Cache及铁通直连解决的比重，降低骨干网络疏通压力。14目录目录当前主要问题和挑战CMNET网络整体情况介绍今年CMNET网络的工作重点重点关注点和工作思路流量预测方法和网络结构演进现网流量优化DNS安全能力提升攻击流量整治和URPF策略部署15行业行业环境分析环境分析“宽带中国”战略：2015年城市家庭平均接入带宽达到20Mbps 以上，农村家庭平均接入带宽4Mbps以上；互联网宽带接入用户超过2.5亿户，互联网宽带接入用户家庭普及率达到57%，城市家庭普及率达到60%，农村家庭普及率达到32%。2020年城市宽带接入速率超过50M，农村超过8M；城市家庭普及率达到77%，农村达到51%。
22、1.56.78.810.915.705101520中国美国英国日本韩国各国平均宽带连接速度（Mbps）全球平均：2.6Mbps全球互联网发展迅速固定宽带普及率加快，但我国目前“宽带不宽”近几年互联网从终端到移动产品到用户规模都产生了巨大的变化。2009年初，移动流量在整体互联网流量中的占比只有1%，截止目前已达14.2%。中国网络速度远落后于发达国家水平：2012年3月中国平均宽带连接速度1.5Mbps，低于全球平均宽带连接速度。韩国是全球网速最快的国家，平均接入速率达15.7Mbps。至2012年初，我国宽带普及率达到11.7%，超过8.3%的全球平均水平，但远低于发达国家25.1%全球互联
23、网用户数,/通用格式,/通用格式全球互联网用户数,/通用格式,/通用格式全球互联网用户数,/通用格式,/通用格式全球互联网用户数,/通用格式,/通用格式全球互联网用户数,/通用格式,/通用格式全球互联网用户数,/通用格式,/通用格式全球互联网用户数,/通用格式,/通用格式0 5 10 15 20 25 30 2,007 2,008 2,009 2,010 2,011 2,012 2,013 全球互联网用户全球互联网用户数（亿）数（亿）Mbps亿户16骨干网流量预测骨干网流量预测：用户接入骨干网流量用户数并发率并发用户忙时平均使用速率流量错峰系数出省网比例；参数取定依据：根据各省上报及集团三滚规
24、划提供的各类业务用户数预测、现网统计数据、业务发展预期；内容源流量预测：参数取定依据：基于各省流量统计及预测调研结果；骨干网流量分为以下两部分：用户接入流量：即家宽、集客、WLAN、2/3/4G用户产生的流量，包括用户访问网内/网间的IDC/Cache/CDN等内容源以及用户之间P2P流量；内容源流量：包括网内/网间IDC/CACHE/CDN等内容源同步、流量分发、服务用户及服务外网用户流量。用户接入骨干网流量预测用户模型预测法-关键参数取定2014年统计值2017年预测值家宽用户家宽并发用户的平均速率（Mbps）0.512.26家宽的用户并发率 42.90%47.50%家宽用户数（万户）33
25、067728家宽用户流量需求（Tbps）83TLTE用户LTE并发用户的平均速率（Mbps）0.060.782LTE的并发率6%20%LTE用户数（万户）700055783LTE用户流量需求（Tbps）87.2TWALN用户流量需求（Tbps）14T2G/3G用户流量需求（Tbps）2.3T集客专线用户流量需求（Tbps）36.7TCMNET地市总流量需求合计（Tbps）5.1223.1出省比例32.70%35%流量错峰系数-70.00%CMNET骨干网用户接入流量需求（Tbps）-54.7内容源流量预测为外省用户提供服务产生的骨干网流量需求（Tbps）19.1CMNET骨干网流量需求（Tbp
26、s）73.817中继带宽预测骨干网点到点流量的计算：各省接入骨干网流量*省间互访系数=骨干网点到点流量 网内流量互访系数 一个31X31的矩阵，参考现网统计数据，并根据建设期内各省业务发展情况进行适当调整；国内/国际网间流量互访系数：分别是10X31、3X31的矩阵；参考现网统计数据，并根据本期流量规划方案进行调整；链路利用率取定 省际中继带宽利用率：核心节点之间为70%；接入节点上连核心节点为80%；网间互联链路利用率：国内互联为85%、国际互联为80%；省网出口上联骨干网链路：70%。中继带宽设置策略 长途中继链路：中继链路尽量平均分配在多个异址节点上；新增链路采用以太端口，流量大的采用1
27、00GE；骨干网与省网互联链路：优先使用100GE和10GE WAN链路，减少10G POS链路扩容；同省的骨干节点间互联链路：原则上设置较小带宽，不承担单侧链路故障时的流量疏导。中继带宽（Tbps）8期后到达9期到达9期新增CMNET骨干网流量需求73.8CMNET骨干网带宽（对应流量需求）148其它特殊业务预留带宽(合计)32省际中继 33.8180146.2182014.22015.2网间流量占比变化趋势图网间流量预测方法 网间流量=骨干网流量*网间流量占比国内网间流量预测 国内网间流量占骨干网总流量比例逐年降低：2011年为46.7%、2012年为26%、2013年为21.8%；201
28、4年为12.2%；IDC内容源引入初期，出网流量比例明显降低，预计后续降幅放缓；取定2017年国内网间流量占比为10.2%。国际网间流量预测 国际网间流量占骨干网总流量比例逐年降低：2011为7.9%，2012为6.4%，2013年为4.0%，2014年为3.5%；国际出口链路长期拥塞，国际网间流量需求增长受到抑制，预计带宽扩容后占比增加；取定2017年底国际流量占比为5.3%。国内、国际网间流量预测Gbps低中高国内网间流量预测4,844.87,523.510,409.1国际网间流量预测2518393054122017年底国内、国际网间流量预测结果19网络结构演进10G和100G平面：CMN
29、ET 9期工程基本采用100G设备和传输；骨干层面双通道。扁平化：网络结构扁平化 路由协议扁平化 协议层次扁平化 业务流量扁平化 维护管理扁平化20 随着网络规模扩容，推动网络扁平化 为减少流量转发跳数，提升转发效率，节省网络投资，总部网络部协同计划建设部推动CMNET网络结构扁平化，主要措施包括IDC直挂骨干、城域网直挂骨干、新增类核心节点。并通过制定相应标准，在CMNET网技术体制中进行明确。n IDC直挂骨干 业务流量直上骨干l 当数据中心对外省服务带宽超过20G，且对外省提供流量不小于总流量的50%时，可同时接入CMNET骨干网和CMNET省网l 集团统一建设或统一规划使用的数据中心l
30、 省内自建五星级数据中心n 城域网直挂骨干 用户流量直上骨干l 城域网所在省网的出省总带宽大于1000G，且城域网出省带宽需求大于200G，直挂本省骨干n 新增类核心节点 减少骨干网跳数l 定义节点间流量较大的山西、福建、山东、江西、湖南、河南、重庆7个省份的骨干接入节点为类核心节点l 类核心节点间的直连带宽需求达到120G时建议开通直连链路21骨干核心层，引入高速平面随骨干核心节点从2节点到4节点的结构演进中，在骨干核心层之上引入100G高速平面，进行省际大流量快速转发，并与原有10G平面互通。n高速平面与原有平面间采用平行连接，简化网络逻辑结构 R1R2R3R4R1R2B省R1B省R2A省
31、R1A省R2R3R4POP2POP1B省MED=10C省MED=30MED=20C省R1C省R2A省MED=10C省MED=30MED=20MED=20R1R2R3R4R1R2R5R6R3R4R7R8原有POP点是2台设备新增2台设备原有POP点是4台设备新增4台设备采用平行链路设计n高速平面采用BGP MED的方式疏导流量，这种方式已在联通169部署100GE10GE 高速平面实现10G到100G技术的平稳过渡。高速平面解决网络扩容瓶颈（规模、机房、设备等）。高速平面具有更好的性价比，降低网络总体投资。22离线路径计算网络可视在线控制分阶段的CMNET骨干网SDN引入在CMNET适当引入SD
32、N等新流量调优技术，按照长远的全局战略规划，逐步推进，由易到难。1：网络可视加强网管能力，进行网络建模和流量流向分析，实现网络的可视化。2：路径计算实现分业务流量转发路径的离线计算，进行手工部署。3：在线控制实现SDN在线控制，提供DC-广域网及CMNET和其他海外运营商端到端弹性管道服务。23目录目录当前主要问题和挑战CMNET网络整体情况介绍今年CMNET网络的工作重点重点关注点和工作思路流量预测方法和网络结构演进现网流量优化DNS安全能力提升攻击流量整治和URPF策略部署24加强流量监控分析，建立质量监测机制加强流量监控分析，建立质量监测机制 根据网通 2015 83 号文“关于开展20
33、15年CMNET和IP承载网管理支撑能力提升专项工作的通知”，各省需在10月底前完善本省流量和质量监控视图，推动拓扑和流量监控、流量流向分析、内容质量和资源分布，建立互联网端到端质量问题监测机制。l6月省网流量和拓扑监控核查结果，各省CMNET拓扑监控整体质量较好，资源拓扑、流量指标相对完整，但西藏、新疆、广东三省目前进展较慢，需加快进度。l各省需充分利用以上网管监控手段，建立本省互联网端到端质量监测机制，及时发现处理网络拥塞和质量问题。骨干网流量监控骨干网流量监控省网流量监控省网流量监控25建立建立拥塞分级响应机制，完善红橙黄蓝应急流程拥塞分级响应机制，完善红橙黄蓝应急流程完善互联网流量和质
34、量监控视图建立红橙黄蓝拥塞分级响应机制l 各省需按总部要求完善本省流量和质量监控视图，推动流量流向、内容质量和资源分布可视化，建立互联网端到端质量问题监测机制通过完善流量监控视图，建立拥塞分级响应机制，采用拥塞预警、优先扩容、流量调优、内容下沉、业务限流等措施，不断提升互联网疏通能力。级别判别条件（忙时利用率）措施红橙黄蓝绿60%90%80%70%总部及各省每日分析链路流量各省对超过60%拥塞链路纳入重点关注，每日手工核实链路流量数据准确性，并进行流量预测和拥塞预警。各省配合总部提交紧急扩容需求，要求工程优先实施；同时分析拥塞链路流量组成及流向，推动内容与网络协同，对热点内容进行下沉访问。具备
35、流量绕远优化条件，各省配合总部实施TE优化方案，使部分流量绕远通过空闲局向进行疏导；不具备TE部署条件的省公司需采取业务限流措施限制低价值流量。各省进行省网到骨干网的BGP流量优化，均衡出省不同局向流量。l 各省需配合总部建立CMNEt省际和本省省内链路拥塞分级响应机制，针对不同拥塞程度，采用以下红橙黄蓝预案措施，缓解拥塞，保障高优先级业务质量。26部署部署流量工程流量工程，进行网络资源挖潜，进行网络资源挖潜CMNet骨干网拥塞局向部署流量工程，网络流量疏导原则由最短距离优先调整为缓解拥塞优先，充分挖潜现网空闲局向疏导能力，缓解拥塞及提升CMNET网络承载能力和网络利用率。l制定并实施CMNE
36、T网拥塞缓解红橙黄蓝绿分级处理流程，规范拥塞缓解分级处理措施。l总部安排对安徽、北京、福建、广东、河南、湖北、江西、辽宁、山东、山西、陕西、上海、四川、新疆、浙江15个省份通过流量绕转方式进行省际拥塞局向优化，有效缓解骨干网26个拥塞局向。27全网部署动态全网部署动态QoSQoS，分优先级转发，分优先级转发随着LTE业务大发展，受CMNET骨干8期工程实施滞后影响，预期2015年12月前CMNET骨干网持续拥塞，形势严峻。总部安排进行全网动态QoS部署，按业务价值重要性，划分8个不同转发优先级的队列；网络拥塞时，对高优先级队列数据进行优选转发，优先保障LTE、集客等高价值业务。B省用户金 银
37、铜A省静态管道根据静态IP地址配置QOS标识骨干网省网/城域网骨干网动态管道电信/联通根据动态路由信息配置QOS标识路由信息数据流各省QoS部署情况截止14年底，31省已经基本完成全网QoS部署，整体完成度为95.35%，其中20省份完成度在95%以上。华为设备硬件板卡不支持QPPB，部分省份未能完成QoS部署，请各省协调计划建设部进行板卡更换。QoS部署效果选取严重拥塞链路，进行HTTP、FTP和视频业务的QoS部署效果验证，有效改善LTE用户的业务访问感知，达到预期效果。指标未部署QoS部署QoS改善度Http页面下载时间(ms)14238694351%FTP传输速率(kbps)10232
38、57960%视频中断次数(次)4.50100%视频缓冲时间(ms)390340289%各省QoS完成度,湖北,100.00%各省QoS完成度,陕西,99.79%各省QoS完成度,江西,99.73%各省QoS完成度,江苏,99.65%各省QoS完成度,广东,99.22%各省QoS完成度,山西,98.94%各省QoS完成度,内蒙,98.84%各省QoS完成度,山东,98.82%各省QoS完成度,辽宁,98.76%各省QoS完成度,河北,98.64%各省QoS完成度,浙江,98.51%各省QoS完成度,湖南,98.47%各省QoS完成度,重庆,98.28%各省QoS完成度,四川,98.09%各省Qo
39、S完成度,西藏,98.00%各省QoS完成度,新疆,97.96%各省QoS完成度,吉林,97.91%各省QoS完成度,黑龙,97.88%各省QoS完成度,天津,97.56%各省QoS完成度,甘肃,96.61%各省QoS完成度,安徽,94.67%各省QoS完成度,青海,94.08%各省QoS完成度,河南,93.80%各省QoS完成度,北京,92.35%各省QoS完成度,福建,92.22%各省QoS完成度,云南,91.68%各省QoS完成度,上海,88.72%各省QoS完成度,广西,87.75%各省QoS完成度,宁夏,85.81%各省QoS完成度,海南,82.40%各省QoS完成度,贵州,80.5
40、7%80%85%90%95%100%湖北陕西江西江苏广东山西内蒙山东辽宁河北浙江湖南重庆四川西藏新疆吉林黑龙天津甘肃安徽青海河南北京福建云南上海广西宁夏海南贵州各省QoS完成度28按需开通省际直连，缓解拥塞按需开通省际直连，缓解拥塞省际直连链路开通条件省际直连链路撤销条件l 两省份流量疏导路径上某条链路的忙时利用率达到80%，两省份间忙时互访流量超过5Gbps，并且1个月内不能安排骨干工程扩容，允许两省份开通省际应急直连链路。l 省际应急直连链路优先通过骨干节点直连，若骨干节点不具备资源，可以通过省网核心节点进行直连。省网核心节点间开通的省际直连链路，省公司需要通过数据网管省部接口上报链路流量
41、数据。l 省际应急直连链路优先通过一干传输电路开通，若一干传输电路不能满足条件，可通过省内二干转接提供传输电路。l 省际直连链路的最小粒度为10Gbps。l 省际直连链路启用EBGP协议进行路由发布，路由掩码长度应小于或等于24位。根据2014年下发的中国移动互联网省际直连链路管理办法，明确了各省为缓解拥塞，应急临时开通省际直连链路标准和开通原则，制定了省际应急直连链路紧急开通流程，为中国移动CMNET网的省际直连链路管理工作提供依据。l 骨干工程扩容后，当估算撤消之前开通的省际应急直连链路后，两省份间骨干链路忙时利用率仍小于50%时，撤消开通的省际应急直连链路。目前已开通12省份的22条省际
42、直连，具体见Excel。29目录目录当前主要问题和挑战CMNET网络整体情况介绍今年CMNET网络的工作重点重点关注点和工作思路流量预测方法和网络结构演进现网流量优化DNS安全能力提升攻击流量整治和URPF策略部署30根根DNS顶级DNS权威DNS由管理机构掌控由ICP掌控其中，运营商自有网站的DNS由运营商掌控。由管理机构掌控大多数由基础网络运营商掌控递归DNS用户终端解析器位于用户终端，受操作系统管理。配置通常由ISP下发，也可由用户指定。p DNS系统为用户提供域名解析服务。它采用分布式数据库架构为互联网应用层资源的寻址服务，是其他绝大多数互联网络应用服务的基础。DNSDNS系统风险分析
43、及应对思路系统风险分析及应对思路p 从上图DNS解析流程可以看出，DNS解析的大量环节均不受运营商控制，因此对于直接面向用户提供服务的运营商来说，DNS的业务存在不可控风险！31 服务器:211.136.17.107服务器:211.136.20.203非权威应答:名称:Address:65.49.2.178异常情况 服务器:211.136.17.107服务器:211.136.20.203名称:Address:125.39.240.113正常情况故障过程分析：故障过程分析：本地域名服务器正确的域名服务器根域名服务器 com域名服务器正确的服务器客户端错误授权服务器美国 65.49.2.178错误
44、网站IP 美国65.49.2.178顶级域名服务器解析异常用户访问异常p 2014年1月21日下午15点全国范围内发生DNS解析服务故障（主要原因是DNS攻击或DNS劫持），多家知名网站无法访问，错误的解析IP地址为65.49.2.178（美国地址）。p 全网故障历时约2.5小时，于17:00左右恢复，期间CMNET骨干出口流量较日常值下降10%左右p从该典型案例中看出，全球顶级域名服务器出现解析异常时，骨干DNS系统运行是正常的，但是由于无法通过顶级域名服务器获得相应域名的IP地址信息，从而也无法向用户提供解析服务，导致了用户访问大量互联网业务出现异常。DNSDNS系统风险分析及应对思路系统
45、风险分析及应对思路32 服务器:211.136.17.107服务器:211.136.20.203非权威应答:名称 Waiting for timeout异常情况 服务器:211.136.17.107服务器:211.136.20.203非权威应答:名称:Ns:31.220.14.17（美国）（美国）正常情况故障过程分析：故障过程分析：本地域名服务器根域名服务器客户端 网站授权服务器 太多了，收到各种运营商SP针对不存在域名的查询请求，忙坏了！用户请求无响应 com、org、net域名服务器p 2014年12月10日早5:30开始全国范围内发生针对*、*.arkhamnetwork.org、*等域
46、名的分布式递归反射攻击。p 故障范围包括中国移动、联通、电信等各运营商网络，中国移动网内多省DNS和骨干DNS均受影响。个别省份DNS有瘫痪，骨干DNS解析时延增大，业务未受影响。p从该典型案例中看出，中国移动等运营商的DNS成为了网站授权服务器被攻击的反射器，通过反射所有攻击流量都指向了网站授权服务器，导致亚历山大的授权服务器瘫痪。DNSDNS系统风险分析及应对思路系统风险分析及应对思路压力大压力大压力山大压力山大33p 从近年DNS故障情况可以看出，DNS故障主要分为两类，一类是可控的ISP DNS故障，一类是不可控的管理机构和ICP DNS故障。p CMNET DNS应该从以下两个方面入
47、手，寻找对策：提升自有DNS安全性和容灾能力，保障用户感知。研究应急备份技术，规避外部故障（管理机构和ICP DNS故障），降低故障对用户的影响DNSDNS系统风险分析及应对思路系统风险分析及应对思路自有DNS风险外部DNS风险由自有DNS直接向用户应答正确的解析结果建设根/定级域备份节点，在递归流程中代替原有根/顶级域DNS应答，向网站授权DNS请求正确的解析结果 主机容灾 节点容灾 功能容灾网络容灾业务容灾 链路容灾 交换机容灾 策略容灾34多管齐下多管齐下，提升提升DNSDNS安全防范能力安全防范能力移动用户CMNET交换机DNS请求DNS响应业务接入交换机流量牵引流量回注流量清洗SP授
48、权DNS服务器省 DNS网络安全看似简单，网络攻击实则无孔不入且手段多样，2014年已发生多起DNS攻击导致互联网业务大面积受阻故障。各省需从DNS系统建设能力、系统维护能力、结构优化能力三方面切实落实安全防范要求，全面提升DNS安全防范能力。优秀省份落后省份大容量备份节点u 系统建设能力需满足攻击防范带宽和容量需要 系统容量：必须达到至少满足3倍峰值冗余；接入带宽：接入链路可承载超20倍日常请求流量；备份节点：大容量备份节点,紧急情况接管业务。u 系统维护能力需具备对攻击流量的快速处置能力 流量清洗：攻击流量超阈值自动进行流量清洗；域名防护：域名/IP攻击检测和错误重定向功能；访问控制：系统
49、配置端口+IP段的服务acl策略。u 结构优化能力需实现负载分担和动态路由保护机制 负载分担：节点内主机负载均衡业务分担；路由保护：节点间完全Anycast组网路由保护；分离部署：缓存和递归分离，定期缓存域名。35提升提升DNSDNS安全能力功能点安全能力功能点主机层面设备主要部件冗余配置系统容量超过峰值3倍具备重要进程守护功能异常自监测自恢复递归主机取消防火墙网络层面防火墙、交换机热备份，支持自动切换节点层面授权、递归分离节点内部递归、缓存分离（大业务量需要）异局点备份节点建设紧急情况下接管业务双节点异地保护，实现IP Anycast动态路由切换应对外部故障层面域名/IP攻击检测和错误递归域
50、名重定向功能具备类似DNS缓存的功能 必 备 功 能 建 议 功 能 配置53端口和网管等端口acl策略业务接入交换机带宽超过历史峰值请求流量20倍正解反解分级保障落实路由组织原则配置服务ACL36DNSDNS安全能力提升手段安全能力提升手段I.DNS解析服务：省内DNS无法提供服务时，引导用户DNS流量到备份节点提供DNS解析服务II.根/顶级域备份：根/顶级域故障时，引导省内DNS递归流量到到备份节点提供根/顶级域寻址服务通过在省网路由器上配置路由策略将用户流量引导到备份节点。备份节点每日自动备份百万量级域名：在综合平衡设备性能和业务能力的情况下，可覆盖约10%的根/顶级域名，满足约99%
