基于大数据的用户感知数据挖掘课件.pptx

1、-1-基于大数据的用户感知数据挖掘-2-2目录目录l背景及定位lLTE信令采集及数据挖掘l大数据分析及应用进展l下一步工作计划-3-3大数据将有力支撑LTE网络-4-4LTE信令分析定位信令监测系统可以挖掘海量用户任务、地点、事件等要素，信令监测系统可以挖掘海量用户任务、地点、事件等要素，MRO测量数据测量数据具备用户网络覆盖和质量等测量信息，而路测综合分析系统具备不同测试设具备用户网络覆盖和质量等测量信息，而路测综合分析系统具备不同测试设备测试数据全量管理和综合分析能力。通过将信令数据的备测试数据全量管理和综合分析能力。通过将信令数据的XDR数据和数据和MRO测测量数据按照一定规则结合并转换

2、模拟成专业测试数据的格式即可实现模拟量数据按照一定规则结合并转换模拟成专业测试数据的格式即可实现模拟DT/CQT，从而尽可能的部分替代专业测试数据，为测试数据分析提供更多、，从而尽可能的部分替代专业测试数据，为测试数据分析提供更多、更全、成本更低的数据源。进而在此基础上，扩展、开发更多的基于测试数更全、成本更低的数据源。进而在此基础上，扩展、开发更多的基于测试数据方面的应用。据方面的应用。-5-5目录目录l背景及定位lLTE信令采集及数据挖掘l大数据分析及应用进展l下一步工作计划-6-6LTELTE大数据采集架构大数据采集架构InternetUUUUX2X2S1-MMES1-MMES1-US1

3、-US11S11S5/S8S5/S8S6aS6aSGsSGsUUUUUEUEeNBeNBeNBeNBUEUESGWSGWMMEMMEPGWPGWHSSHSSMSCMSCn通过采集S1-U、S1-MME、S6a、SGs接口信令数据，进行解码、串联和信令数据库构建，实现基于信令信息的综合网络优化维护以及市场支撑应用。n目前现在是通过分光和镜像的方式接入，通过采集编解码程序处理后入到数据库。n后续可以对接集团规范DPI数据做上层应用。架构合理、功能完善、调整灵活架构合理、功能完善、调整灵活-7-7S1-MME接口u获取控制面信息u主要包括TAC和CIu用于判断用户的占用小区S1-U接口u获取用户面信

4、息u用户经纬度、业务类型、用户流量、下载速率、下载时延等。HSSS6aS6a接口u获取用户IMSI，增加IMSI回填率，提高用户经纬度适配率。在以往的数据平台上，通过以上接口获取的信息大概可以分为三类：1、时间：用户业务时间点、在线时长；2、人物：IMSI/MSISDN（用户类型、特征）、终端（终端类型、价格、能力）；3、事件：网络交互事件、性能（成功率、速率）、使用业务。（业务类型、具体业务、动作、内容）突破以往只能获取小区位置信息，通过解析用户使用APP，获取了第四类关键信息：4、地点：获取用户经纬度。通过用户实际经纬度和其他时间、人物、事件因素联合分析，形成用户大数据质量评估及模拟DT/

5、CQT、多维度地理化分析等LTELTE信令数据挖掘信令数据挖掘-8-8准确度、解析率、准确度、解析率、APPAPP方面成果方面成果-董增董增-9-9接口与采集方式接口与采集方式LTE信令监测采用信令监测采用空口软采空口软采集集+核心网硬采集核心网硬采集的方案，的方案，获取网络全接口的全量信令获取网络全接口的全量信令采集数据源采集数据源Uu口（软采）全量MR全量RRC连接/管理信令DCI、UCIPHR、TA等测量数据吞吐量等统计指标-10-10目录目录l背景及定位lLTE信令采集及数据挖掘l大数据分析及应用进展l下一步工作计划-11-11虚拟DT/CQT数据呈现-测试数据关键要素事件信息事件信息

6、：含准确经纬度的相关事件信息；（时域、空域的连续）采样点信息采样点信息：含准确、连续经纬度，同时包含有场强、质量、邻区信息等关键指标；（时域、空域的连续）信令信息信令信息：含层三信令原始消息-12-12虚拟DT/CQT数据呈现-信令数据特征分析信令数据的基本要素分析：信令数据的基本要素分析：事件事件信息信息：含所需的相关事件信息；（在经纬度抓取上，信令采用用户面数据分析的方法，辅以经纬度回填分析技术，后续可实现60%的经纬度填充率）采样点信息采样点信息：不包含采样点信息信令信息：信令信息：含层三信令原始消息信令数据的关键特征在于：信令数据的关键特征在于：1 数据全、是用户真实的业务数据；2 含

7、有关键的事件信息以及信令信息；作为模拟测试数据而言：作为模拟测试数据而言：1 缺乏分析所需的采样点信息；2 相对而言，经纬度的准确率以及在时域、空域连续性上有所欠缺-13-13虚拟DT/CQT数据呈现-信令与MRO关联分析信令与信令与MROMRO的互补特征分析：的互补特征分析：事件事件信息信息：信令中含所需的相关事件信息；（在经纬度抓取上，信令采用用户面数据分析的方法，辅以经纬度回填分析技术，后续可实现65%的经纬度填充率）采样点信息采样点信息：MRO中包含有无线参数信息、GSM/TD/LTE的邻区相关信息等，作为信令的补充信令信息信令信息：信令中含层三信令原始消息信令与信令与MROMRO的互

8、补的互补关键在于：关键在于：1 MRO补充了信令所缺的无线指标信息以及采样点信息；2 信令与MRO的关联，通过MME_S1AP_ID进行关联，实现数据的融合应用；-14-14DT和CQT用户状态判断计算用户移动速度n用户移动速度计算公式：用户移动速度=两个经纬度之间的距离两个经纬度上报的时间差n两个经纬度之间的距离：经纬度A与经纬度B之间的道路距离。需考虑到街道的转弯、道路中间是否有隔离带等。用户每两个经纬度之间都要计算一次距离。n两个经纬度上报的时间差：1、位移状态转换为静止状态后，用户在静止状态下第一个占用的小区时间为上一段位移状态的结束时间；2、静止状态转换为位移状态后，用户在位移状态下

9、第一个占用的小区或上报的经纬度为该段位移状态的起始时间。用户移动速度大于20KM为高速移动用户，小于20KM且大于0KM为低速移动用户，0KM为静止用户时间窗内占用小区的距离判定n通过设置5分钟时间窗口分辨哪些用户是高速移动用户；n将用户时间窗口内第一占用的小区与最后一个占用的小区的距离进行对比，若两个小区距离超过2KM，则认为该用户为高速移动用户；imsibegin_timeend_timefirst_lonfirst_latlast_lonlast_lat时速/KM距离(m)用户状态460025453334488 2015/6/15 8:002015/6/15 8:04126.655245

10、.74127126.667845.7250127 2055.48高速移动460025453334488 2015/6/15 8:042015/6/15 8:05126.667845.72501126.668345.725013 38.85625低速移动460025453334488 2015/6/15 8:182015/6/15 8:19126.667845.72501126.668345.725014 38.85625低速移动460025453334488 2015/6/15 8:242015/6/15 8:32126.668345.72501126.668345.725010 0静止用户4

11、60025453334488 2015/6/15 8:322015/6/15 8:38126.66645.72991126.664745.733334 395.1855低速移动460025453334488 2015/6/15 8:542015/6/15 8:57126.664745.73333126.666545.729917 407.1729低速移动-15-15虚拟测试数据呈现-虚拟DT/CQT转化已实现功能如下：已实现功能如下：DTCQT文件检索文件检索：在路网通中新增一个数据来源数据来源（LTE信令测试），新增一个业务类型业务类型（LTE_SIGNAL），并实现按文件名称、地理位置、时

12、间等的全方位文件检索DTCQT的场景区分的场景区分：已实现静止用户（CQT）以及移动用户（DT）的场景区分数据格式转换数据格式转换：已将信令、MRO数据融合并实现模拟测试文件格式的转换-16-16GIS渲染信息渲染信息：GIS针对采样点、事件的渲染，以及相关服务小区邻区的飞线渲染；（事件从信令来，采样点从MRO来）无线指标时序图无线指标时序图：包括速率、覆盖、质量等；（速率、事件从信令来，其它从MRO来）事件事件信息信息：详细的用户面、控制面以及自定义等相关的事件信息；（主要是信令，后续有可能通过MRO定制一些自定义事件）LTE服务小区及邻区的无线测量信息服务小区及邻区的无线测量信息；（MRO

13、提供）TD邻区测量信息邻区测量信息；（MRO提供）GSM邻区测量信息邻区测量信息；（MRO提供）服务小区相关无线参数等信息服务小区相关无线参数等信息；(MRO+信令)虚拟测试数据呈现-虚拟DT/CQT效果-17-17异常事件的自定义异常事件的自定义：针对信令自定义了低速率事件（同理可定义质差、弱覆盖等事件）异常事件的异常事件的GIS分布检索分布检索：可像操作路网通一样，对异常事件进行基于GIS的快速检索及GIS渲染虚拟DT/CQT数据呈现-低速率筛选-18-18分析上述低速率情况分析上述低速率情况：1 服务小区信号弱，距离太远（1439米），且没有LTE邻区信号；2 GSM/TD的信号在该处覆

14、盖还是不错的。该事件分析初步结论是该事件分析初步结论是：覆盖不足导致低速率情况，需要加大功率、调整天线方向角或俯仰角进行处理。或者是新建站。实现了信令模拟测试的异常事件的详细分析，包括时序图、LTE邻区、TD邻区、GSM邻区、GIS飞线分析、事件、服务小区无线参数信息、地理位置信息等，囊括了问题分析的所有基本要素！虚拟DT/CQT数据呈现-低速率分析案例-19-19综合应用 道路用户感知透视1 识别道路用户识别道路用户，并将感知数据进行道道路经纬度拟合路经纬度拟合；2 构造道路用户感知评估体系(覆盖覆盖+质质量量+下载速率下载速率+接入感知接入感知+掉线感知掉线感知)；3 全局GIS道路渲染道

15、路渲染感知指标，并形成统计报表；4 局部道路指标下下钻钻至统计，持续下下钻钻至用户事件进行分析；5 跟踪道路用户感知问题路段情况；大数据挖掘，拟合归一化为道路指标，替代路测大数据挖掘，拟合归一化为道路指标，替代路测综合评估综合评估并并发现、分析、解决道路感知问题！发现、分析、解决道路感知问题！-20-20综合应用 室内用户感知透视1 识别室内用户识别室内用户，并将感知数据进行建建筑物拟合筑物拟合；2 构造室内用户感知评估体系(覆盖覆盖+质质量量+下载速率下载速率+接入感知接入感知+掉线感知掉线感知)；3 全局GIS室内二维渲染室内二维渲染感知指标，并形成统计报表；4 局部室内指标下下钻钻至统计

16、，持续下下钻钻至用户事件进行分析；5 跟踪室内用户感知问题建筑情况；大数据挖掘，拟合归一化为室内深度感知指标，大数据挖掘，拟合归一化为室内深度感知指标，综合评估综合评估并并发现、分析、解决道路感知问题！发现、分析、解决道路感知问题！室内深度分析的新天地！-21-21综合应用 隐性投诉热点（投诉防患于未然)1 定义关注的问题；主要倾向于用户感知类的：弱覆盖弱覆盖、质差质差、低速率低速率、低接入、高低接入、高掉线掉线等；2 汇聚相关的问题，形成隐性投诉热点；3 区域评估、GIS渲染、总体统计；4 下钻到栅格、下钻到用户详细分析；（图）5 跟踪隐性投诉热点情况；大数据挖掘，主动定位隐性投诉问题点，并

17、能够下钻分析定位，进行大数据挖掘，主动定位隐性投诉问题点，并能够下钻分析定位，进行主动防御主动防御！-22-22综合应用 其它应用 1 定义VIP用户群组；2 相关感知预警门限的设置；3 VIP质量分析日报；4 下钻到栅格、下钻到用户详细分析；1 终端品牌、业务类型的综合分析报表；2 指定终端品牌同业务及地点的对比分析；3 终端及业务分布分析；4 终端信令接续异常分析；5 业务资源占用异常分析；1 区域的终端分布+4G容量特性+4G的覆盖分布+4G的弱覆盖问题点：支撑4G宏站的选点；2 指定小区的覆盖范围分析；VIP服服务保障务保障终端及终端及业务业务规划规划支撑支撑投诉投诉回溯回溯 1 指定

18、投诉号码及时间；2 投诉事件完整回溯，含：a 完整信令接续；b 无线环境重现；c 地理位置再现；d 智能分析预判；-23-23目录目录l背景及定位lLTE信令采集及数据挖掘l大数据分析及应用进展l下一步工作计划-24-24关键技术的验证应用功能的验证应用体系建立及推广大数据进一步挖掘信令经纬度抓取；数据关键要素的多维数据源关联；大测试数据的生成；DT/CQT数据的回放及分析道路感知透视室内感知透视VIP服务保障投诉完整回溯终端透视业务透视规划支撑道路的感知分析标准化体系的建立室内的感知分析标准化体系的建立VIP服务保障标准化体系的建立投诉分析标准化体系的建立市场支撑规划支撑优化支撑.技术验证，

19、业务验证到标准化体系，稳步推进固化，充分运用”大测试”对整体架构的关键技术进行攻关设计应用功能，并进行结果验证功能，结合流程，建立标准化作业体系并IT固化进一步的数据挖掘-25-25下一步工作计划表虚拟虚拟DT/CQTDT/CQT（用户感知数据（用户感知数据5 5维度维度分析）分析）任务大类任务大类内容分解内容分解完成标准完成标准负责人负责人一、Gb数据提升1、提高用户经纬度回填率1.完成功能开发，开发邻区级模糊定位模型功能，7月19日前基于大庆3G数据完成验证、修改。7月12日2.获取规则TOP贡献度部署，完成部署。7月5日董增2、提高用户经纬度准确率1.完成开发噪声点排除功能、坐标系转换两

20、项功能开发。7月5日2.完成验证、修改。7月10日董增3、提高用户经纬度解析率1.完成第一轮测试，在大庆的2/3G针对TOP APP现场测试，获取满采集解析率，检查程序问题。6月29日2.完成系统程序整改。7月8日3.完成整改验证测试，根据采集率计算系统解析率。7月10日董增二、高速和静止用户标签4、占用小区标签法1.开发基于3/4G时长驻留比统计3/4G占用小区数据的状态判定功能。7月11日2.在大庆基于3G数据验证功能准确性。7月15日3.7月19日前，完成功能整改、验证测试。7月19日董增5、位置/道路辅助标签法1、采用用户经纬度和道路信息进行融合，实现偏移经纬度校正，7月30日2、采用

21、校正经纬度进行DT位移算法更正,8月30日高春宝三、小数据离线呈现6、LBS应用融合1、研究LBS应用算法及应用可行性研究，7月30日2、LBS算法辅助定位，8月20日高春宝/支敏慧7、Gb系统时间戳同步1.研究DCN NTP时间同步源。7月2日2.完成瀚信平台和DCN NTP服务器时间同步。7月3日董增8、MR和Gb时间戳分析1、分析主流厂家MR系统时钟标准，7月15日。2、根据Gb时钟及MR时钟进行校正，并进行关联。7月25日董增9、呈现及分析1、采用异常事件汇聚黑点模式进行问题点的汇聚，7月14日2、针对黑点中的问题进行详细回放分析，7月17日3、将异常问题渲染到道路上，7月15日4、显示异常的路段（低速率、弱覆盖、弱质量、重叠覆盖等）7月31日5、基于栅格的区域渲染分析，包括速率、覆盖、质量6、指定用户的检索分析：可用于投诉分析处理等：同DT分析，7月24高春宝谢谢！