1、大数据应用大数据应用场景之场景之-大数据预测大数据预测0101图像接入,目前XXX省公安、交通、水利等部门已在重点监控地方安装了监控设备,图像接入系统就是要把这些众多分布在各地的监控点纳入到指挥中心来,同时还要解决卫星图像、电视图像的综合接入。目录目录CONTENTSCONTENTS021 1大数据预测概述2 2描述性数据分析3 3诊断性数据分析4 4大预测性数据分析5 5处方式数据分析6 6数据分析示例7 7大数据预测度特征8 8大数据的其他功能应用领域随着网络规模的扩大和系统复杂程度的增加,网络的管理、监控和维护,以及网络故障的诊断和排除变得越来越复杂。为了使网络系统易于管理和维护,本方案
2、将提供先进而完善的网络管理系统。这样,既方便网络管理员的工作,减轻了劳动强度,也提高了网络系统的管理程度。PART 01 PART 01 大数据预测概述大数据预测概述大数据预测是大数据最核心的应用,大数据预测将传统意义预测拓展到“现测”。03031)预案准备根据各种应急预案要求,事先设定突发事件信息上报模版。2)发送在突发事件发生时,迅速选择需要上报的信息模版,以表单方式填写模版规定的要素。预测是大数据的核心价值预测是大数据的核心价值0404大数据预测是大数据最核心的应用l 大数据的本质是解决问题,大数据的核心价值就在于预测,而企业经营的核心也是基于预测所做出的正确判断。由于省政府已建有屏显系
3、统,随着全省应急会商系统的建设,应急会商业务的发展,可以考虑扩建或重建。显示屏组合模式,大屏幕组合模式分两种:LCD多屏拼接模式和电视墙显示模式;大数据预测的优势大数据预测的优势0505l 大数据预测则是基于大数据和预测模型去预测未来某件事情的概率,让分析从“面向已经发生的过去”转向“面向即将发生的未来”是大数据与传统数据分析的最大不同l 大数据预测的优势体现在它把一个非常困难的预测问题,转化为一个相对简单的描述问题,而这是传统小数据集根本无法企及的l 从预测的角度看,大数据预测所得出的结果不仅仅得到处理现实业务简单、客观的结论,更能用于帮助企业经营决策,收集起来的资料还可以被规划,引导开发更
4、大的消费力量图像接入的重点在于对图像信息的集中管理和控制。要求采用数字化的存储和查询方式,支持基于TCP/IP的图像信号传输。系统必须对各种来源的图象信号实现集中控制切换和共享。可以设置专门的图象监控终端,也可在所有处警席位、值班主任席位、紧急指挥席位监视、控制所需要的图像。收统一的权限管理系统来控制。数据分析的四个层次数据分析的四个层次0606l 数据分析的根本目的就是要洞察数据背后的规律,企业可以基于数据分析的结果制订决策、并采取相应措施和行动,进而达成想要的结果l 数据分析的四个层次描述性分析(Descriptive Analysis)诊断性分析(Diagnostic Analysis)
5、预测性分析(Predictive Analysis)处方性分析(Prescriptive Analysis)LCD多屏拼接模式,根据实际工程实施经验,建议组合屏底座高度在0.8米左右,控制台到大屏幕的观看距离不小于4.5米。同时,为了方便安装维护,投影单元箱体后面需要保留净空间60厘米。数据分析的四个层次数据分析的四个层次0707图像接入的重点在于对图像信息的集中管理和控制。要求采用数字化的存储和查询方式,支持基于TCP/IP的图像信号传输。系统必须对各种来源的图象信号实现集中控制切换和共享。可以设置专门的图象监控终端,也可在所有处警席位、值班主任席位、紧急指挥席位监视、控制所需要的图像。收统
6、一的权限管理系统来控制。描述性分析描述性分析发生了什么发生了什么0808l 描述性分析主要是对已经发生的事实用数据做出准确的描述l 比如某企业本月订单签约额比上月增加100万,至1100万,但是订单履约率从上月的98%下降到了95%,库存周转率从上月的0.8下降到了0.75、扩展性原则和易于升级,随着网络用户应用规模的不断扩大,要求网络能方便地扩充容量,支持更多的用户和应用。随着通信技术的不断发展,网络要能平滑地过渡到新的技术和设备,保护用户现有投资。由于XXX省级应急平台业务系统的不断发展,网络系统必然随之不断扩大。因此,目前的网络设计必须为今后的扩充留有足够的余地,这样才能最好地保护投资。
7、诊断性分析诊断性分析为什么会发生为什么会发生0909l 通过评估描述型数据,诊断分析工具能够让数据分析师深入地分析数据,钻取到数据的核心l 比如经过分析,发现订单履约率下降的原因是成品生产不出来,无法完成交付,而成品生成不出来的原因则是部分原材料的供应商未能按时送货,导致原材料不齐套,无法开始生产可以根据一定条件,将突发事件相关的多份信息统一导出成文件汇编(单一的CEB),可以再上报,并可通过数码印刷设备输出到纸张。(3)系统特点可以事先平时与战时相结合。预测性分析预测性分析什么可能会发生什么可能会发生1010l 预测型分析对事件未来发生的可能性,预测一个可量化的值,或者是预估事情发生的时间点
8、l 比如通过建模可以预测本月该供应商会使我们的订单履约率下降2%处方性分析处方性分析该做些什么该做些什么1111l 处方性分析基于对“发生了什么”、“为什么会发生”和“可能发生什么”的分析,来帮助用户决定应该采取什么措施l 通常情况下,是在前面的所有方法都完成之后,最后需要完成的分析方法l 比如,供应商A会导致本月订单履约率下降,可能采取的措施就是把A换掉,但是现在有B和C两个供应商供选择,通过分析和计算得出:选用供应商B会比选C的订单履约率高1%,因此建议选择供应商B5、扩展性原则和易于升级,随着网络用户应用规模的不断扩大,要求网络能方便地扩充容量,支持更多的用户和应用。随着通信技术的不断发
9、展,网络要能平滑地过渡到新的技术和设备,保护用户现有投资。由于XXX省级应急平台业务系统的不断发展,网络系统必然随之不断扩大。因此,目前的网络设计必须为今后的扩充留有足够的余地,这样才能最好地保护投资。数据分析方法总结数据分析方法总结1212l 传统分析方法只能完成描述性和诊断性分析l 大数据分析方法使用大量多样化和可变数据来实现预测,在充满不确定性的环境下,能够帮助企业做出更好的决定l 大数据预测是大数据在很多领域的重要应用PART 02 PART 02 描述性数据分析描述性数据分析描述性分析做为商业数据分析的第一个层次,主要回答发生了什么的问题。1313描述性分析描述性分析1414l 描述
10、性分析对采集到的大量数据进行初步的整理和归纳,对调查总体所有变量的有关数据进行统计性描述,主要包括数据的频数分析数据的集中趋势分析数据的离散程度分析数据的分布统计图形绘制协同会商决策业务应用包括一系列模块化应用与子系统,并提供高度集成的系统,根据客户的实际工作需求进行专门定制。可以集成各种类型的设备(IT、电话、记录、无线电、视频、GPS、传感器等)。同时也完全集成训练和支持功能。数据的频数分析数据的频数分析1515l 利用频数分析可以发现一些统计规律l 比如说,被调查者使用个人支票支付方式的最多,使用信用卡支付的最少突发事件信息在进入到值守业务模块以后,首先被值班员鉴别分类,且同时系统自动加
11、上序号和时间标签。分类以后的信息根据不同的类别,进行适当格式转换。主要信息都要存入到资产中,一部分信息还可能直接转发到上下级单位。当收到的信息来自上级部门或遇重大紧急事件时,系统应该自动发回回执给发送单位并进行督察,督察被发送单位确切发回回执。数据的集中趋势分析数据的集中趋势分析1616数据的集中趋势分析是用来反映数据的一般水平l 平均值:是衡量数据的中心位置的重要指标,反映了一些数据必然性的特点,包括算术平均值、加权算术平均值、调和平均值和几何平均值 l 中位数:是反映数据的中心位置的指标,其确定方法是将所有数据以由小到大的顺序排列,位于中央的数据值就是中位数l 众数:是指在数据中发生频率最
12、高的数据值l 如果各个数据之间的差异程度较小,用平均值就有较好的代表性l 如果数据之间的差异程度较大,特别是有个别的极端值的情况,用中位数或众数有较好的代表性对报送信息,可以生成汇总电子文件,进行打印或网络交流。4)其它系统管理和检索等功能可以对信息进行全文检索、分类、并可以直接发布。(2)系统流程数据的离散程度分析数据的离散程度分析1717l 数据的离散程度分析主要是用来反映数据之间的差异程度,常用的指标有方差和标准差l 方差是标准差的平方,根据不同的数据类型有不同的计算方法系统整体结构设计,在省应急指挥会商系统中,对屏显系统进行以下设计:选用一台具有数字RGB输出端口的多屏拼接控制器、配合
13、矩阵输入,构成多通道、分布式的全屏信号处理显示系统。系统可以接入电脑的VGA信号,普通的监控模拟信号(包括指挥中心监控信号和全球眼监控信号),视频会议终端的模拟信号,DVD,VCD信号;以及可以直接向多屏控制器传输网络数据。数据的分布数据的分布1818l 在统计分析中,通常要假设样本的分布属于正态分布,因此需要用偏度和峰度两个指标来检查样本是否符合正态分布偏度衡量的是样本分布的偏斜方向和程度而峰度衡量的是样本分布曲线的尖峰程度l 如果样本的偏度接近于0,峰度接近于3,就可以判断总体的分布接近于正态分布为了使网络可靠地运行,本方案选用了高品质、高性能价格比的产品,把故障率降到最低。同时,我们采用
14、了系统容错技术,当网络系统内某一点出现故障时,整个系统仍然能够继续运行而不会造成停机,从而把损失降到最小。绘制统计图绘制统计图1919l 绘制统计图:用图形的形式来表达数据,比用文字表达更清晰、更简明l 绘制各个变量的统计图形,包括条形图、饼图和折线图等对报送信息,可以生成汇总电子文件,进行打印或网络交流。4)其它系统管理和检索等功能可以对信息进行全文检索、分类、并可以直接发布。(2)系统流程描述性分析方法描述性分析方法2020l 了解业务场景首先要了解和还原数据产生的业务场景,包括:数据涉及到的部门和岗位,这些部门和岗位之间的业务流程,在不同业务流程中有哪些输入,对数据做了什么处理,又是如何
15、输出和传递给下游部门的l 探索性分析1.提问,理顺初步分析思路和目标2.收集数据3.选择相应分析方法l 提炼指标对数据做探索性分析后,可对数据反映的事实有一个直观的感受,但是要想更准确、简洁地描述发生了什么,还应该进行总结和提炼出相应指标,做为企业日常经营管理的KPI比如描述库存周转的整体情况,库存周转率、库存周转天数等指标更有效填写信息后生成的版式文件,根据预案事先确定,由系统自动生成,保证信息的规范化;根据预案,可以事先设定报送单位,实现报送范围的完整性。探索性分析步骤探索性分析步骤21211.提问,理顺初步分析思路和目标在了解清楚数据产生的业务场景后,试问一些what happened的
16、问题比如,本月销售额是多少?环比和同比变化分别是多少?本财年销售的变化趋势是怎么样的?2.收集数据有了初步的分析思路和目标以后,就可以确定需要收集哪些数据了比如销售额分析可能用到的数据为销售订单数据、销售开票数据3.选择相应分析方法根据分析的思路和目标,就可以对收集到的数据选择相应的分析方法了。具体的方法包括:对数据位置的探索,包括:最大值、最小值、均值、中位数、分位数等对数据分布的探索,包括:偏差、方差、标准差、茎叶图、直方图、箱形图、密度图等对数据趋势的探索,包括:同比、环比、趋势图、条形图等对数据聚合的探索,包括:排序、筛选、计数、重复项、分组、求和、比例、条形图、饼图等协同会商辅助决策
17、系统,目标,协同会商决策业务应用为各级指挥场所与现场人员提供实时信息和通讯,以支持适时的决策、事件管理和控制功能,实现集成、灵活和模块化的协同会商环境。PART 03 PART 03 诊断性数据分析诊断性数据分析诊断性分析可以明确到底发生了什么。2222为提高省应急指挥会商中心的综合控制管理能力,解决大信息量、高数据流以及多种应急业务需求,设计在指挥中心安装一套大屏幕组合显示系统。大屏幕组合显示系统能够灵活方便地提供一个内容丰富、准确高效的信息图像显示平台,一个贴近实战需要的综合信息显示界面,能够对各路信号、网络资源和相关资讯进行实时的监控、分析和智能化管理,使监管人员能及时提出预案、方案和决
18、策意见,确保指挥系统的决策、命令能够稳妥迅速地传达执行并反馈,从而保证整个省应急指挥会商系统具有联动性、高效性、完整性。诊断性分析诊断性分析2323诊断性分析的目的是明确为什么发生1.寻找相关特征首先需要知道和结果可能相关的因素有哪些,这依赖于对业务的了解程度,只要是可能相关的,都纳入考虑,也可以基于现有特征构造新特征2.相关性分析列出和结果可能相关的特征后,就需要验证这些特征和结果到底是否相关3.因果性分析诊断性分析就是要找到事物的因果关系,即因果性分析所谓因果性,假设X是因,Y是果,则只要X出现,必然会导致Y的发生省级应急平台网络与通信系统建设是整体系统的重要组成部份,其主要目的就是为覆盖
19、全区范围并在其上的各种支撑平台、应用系统提供网络支持,保证系统的正确连通,正常运行。目前建设的网络系统主要是连接XXX省应急指挥中心、应用服务器所部署的省电信机房、电子政务网中的相关应急单位部门,同时提供INTERNET的接入。相关性分析相关性分析2424二维散点图l 若分析的仅是一个特征与结果的相关性,则可以通过画二者的二维散点图进行分析,通过图形描述,可以初步且直观判断二者的存在何种相关关系:正相关、负相关、无关;如果相关的话,是线性相关还是非线性相关(抛物线、指数等)。左图为不同性别年龄与身高关系的散点图,可以看出在青少年时期,这二者是呈线性正相关的应急值守,值守业务是基本处理模块,所有
20、值班员受理的值班信息,包括各种电子文档、电话、传真、邮件、视频文件都要首先送到值班业务模块,在值班员的受理过程中进行鉴别、确定类型与编号,然后进行分发,分发包括输出信息到上下级端口,也包括到数据库,以及到别的模块,以便作进一步的数据处理。相关性分析相关性分析2525矩阵散点图l 当有多个特征与结果相关的情况时需要矩阵散点图进行分析。l 其实质就是针对每一个特征与结果分别做二维散点图,以分析其相关性。省级应急平台网络与通信系统建设是整体系统的重要组成部份,其主要目的就是为覆盖全区范围并在其上的各种支撑平台、应用系统提供网络支持,保证系统的正确连通,正常运行。目前建设的网络系统主要是连接XXX省应
21、急指挥中心、应用服务器所部署的省电信机房、电子政务网中的相关应急单位部门,同时提供INTERNET的接入。因果性分析因果性分析2626l 诊断性分析的隐含意思就是要找到事物的因果关系,即因果性分析l 所谓因果性,假设X是因,Y是果,则只要X出现,必然会导致Y的发生为提高省应急指挥会商中心的综合控制管理能力,解决大信息量、高数据流以及多种应急业务需求,设计在指挥中心安装一套大屏幕组合显示系统。大屏幕组合显示系统能够灵活方便地提供一个内容丰富、准确高效的信息图像显示平台,一个贴近实战需要的综合信息显示界面,能够对各路信号、网络资源和相关资讯进行实时的监控、分析和智能化管理,使监管人员能及时提出预案
22、、方案和决策意见,确保指挥系统的决策、命令能够稳妥迅速地传达执行并反馈,从而保证整个省应急指挥会商系统具有联动性、高效性、完整性。PART 04 PART 04 预测性数据分析预测性数据分析预测性分析可以明确未来会发生什么。2727电视墙显示模式,电视墙显示设备由多台29”100HZ彩色电视机和1台100”的背投显示系统组成。彩色电视机采用100Hz纯平彩色显像管,数码流Y、Cr、Cb分量信号输入,支持高清晰显示、图象特别细腻,高密度显像,100Hz双频显示、无闪烁、图象更稳定,菜单全线帮助提示、操作方便、调节直观,最新数字图像处理电路、图象清晰、视角宽阔,I2C总线控制、整机可靠性高、扩展性
23、好,自动(或手动)转换PAL/NTSC标准制式,内置扬声器、最大输出不失真功率1W,2路AV输入/输出、1路S端子输入/输出,数字静止画面、以便仔细观看,实时钟显示、关电后时钟可保持10年以上,自适应运动检测及降噪处理,数字动态图像补偿、内插技术,多种数字图像校正电路、图形失真最小,所有各路输入信号自动浏览,宽电源电压自动调整、预测性分析预测性分析2828l 预测性分析试图基于历史数据来预测未来的结果l 预测性分析的步骤:建立预测模型,模型评估和预测7、开放性与标准化原则,开放的网络可以让用户自由地选择不同厂家的产品,不受原有厂家的限制。最大程度地保护用户的利益。要求网络的设计一定要基于国际标
24、准,使用标准的通信协议。让不同厂家的设备能够在同一个网络上同时运行。预测性分析第一步:建立模型预测性分析第一步:建立模型2929预测性分析第二步:用模型进行预测预测性分析第二步:用模型进行预测3030网络系统应具有较高性能、最好的升级途径、充分的带宽,在关键性业务中不存在单点故障,在出现问题时提供快速的恢复能力。网络设备也能进行负载均衡和动态伸缩。系统选用的设备和技术应符合国际标准。网络中使用的设备和协议应完全符合国际通用的技术标准,兼容现有的网络环境,提供很好的互联性;网络系统应该有很高的可靠性、稳定性及冗余,在投资充裕的前提下,提供拓扑结构及设备的冗余和备份,把单点失效对网络系统的影响减少
25、到最小,避免由于网络故障造成用户损失。预测性分析的数据挖掘算法预测性分析的数据挖掘算法3131回归分析模型SVM神经网络对报送信息,可以生成汇总电子文件,进行打印或网络交流。4)其它系统管理和检索等功能可以对信息进行全文检索、分类、并可以直接发布。(2)系统流程预测性分析的数据挖掘算法预测性分析的数据挖掘算法3232回归分析模型一元回归多元回归非线性回归线性回归非线性回归线性回归两个及两个以上自变量一个自变量填写信息后生成的版式文件,根据预案事先确定,由系统自动生成,保证信息的规范化;根据预案,可以事先设定报送单位,实现报送范围的完整性。回归分析的一般步骤回归分析的一般步骤3333信息报送,突
26、发事件发生后,需要即时、安全发送事件基本信息和发展动态监控信息给各主管部门和政府,这就需要一条应急信息的快速专用通道,这就是应急信息报送系统通过专用信息报送的网络通道,采用安全可控的电子文件格式,按照预备案规范要求即时报送信息,同时采用电子公章、CA等身份认证、操作日至等系统后台监控信息发送情况并予以自动统计、分析,以辅助决策的事件管理应用系统。一元线性回归分析示例一元线性回归分析示例3434l 例1:已知工作年限与收入的额关系如下表所示。1.问题:当工作年限为10年时,年收入是多少?2.问题:当工作年限为25年时,年收入是多少?网络系统应提供足够的带宽,丰富的接口形式,满足用户对应用和带宽的
27、基本需要,并保留一定的余量供扩展使用,最大可能地降低网络传输的延迟,网络系统应具有良好的可扩充性,对未来的应用和技术有一定的前瞻性,随着网络的规模及其运行的应用在不断发展,现有系统应提供足够的扩充能力,适应发展的需要,网络系统应易于安装、操作和维护,能对网络设备进行必要的必不可少的配置,并能够以直观、灵活的方式展现出来,提供完整的网络拓扑图,可以根据网络的流量情况作出分析和建议。能够用货币计量能够用货币计量3535l 由最小二乘法可得到对应的一元线性回归为:y=3.5*x+23.2接收突发事件信息,并根据预案,自动加盖接收章,自动倒入事件发布库,同时,发送手机短信等提醒接收人。接收人发送回执。
28、突发事件信息在信息发布平台显示,并可根据突发事件、时间、信息来源等进行检索查找。一元线性回归分析示例一元线性回归分析示例3636l 问题:当工作年限为10年时,年收入是多少?p 将工作年限10带入一元线性回归方程中,可预测出对应的年收入为Y=3.5*10+23.2=58.2l 问题:当工作年限为25年时,年收入是多少?p 将工作年限25带入一元线性回归方程中,可预测出对应的年收入为Y=3.5*25+23.2=110.7。在一个复杂的大型网络系统里,必然共存着多个厂商的硬件和软件产品。网络系统的目标就是要通过不同厂商的硬件设备和计算机软件的互联,从而实现网络信息及设备资源的共享。为了保证用户的网
29、络系统具有互操作性、可用性、可靠性、可扩充性、可管理性,应建立一个开放的,遵循国际标准的网络系统。PART 05 PART 05 处方式分析处方式分析处方式分析给出问题的解决方案和行动建议。处方式分析回答的问题是:为了解决这个问题,我们该做些什么?或者说,为了达到某个目标,我们该朝哪个方向努力?3737处方式分析处方式分析3838l 处方式分析给出问题的解决方案和行动建议l 处方式分析回答的问题是:为了解决这个问题,应该做些什么?或者说,为了达到某个目标,该朝哪个方向努力?7、开放性与标准化原则,开放的网络可以让用户自由地选择不同厂家的产品,不受原有厂家的限制。最大程度地保护用户的利益。要求网
30、络的设计一定要基于国际标准,使用标准的通信协议。让不同厂家的设备能够在同一个网络上同时运行。处方式分析的步骤处方式分析的步骤39391.首先,进行描述性分析,通过描述性分析明确现状和问题,及业务人员和管理人员的需求,这样才能做到有的放矢2.其次,进行诊断性分析,寻找和当前问题相关的特征,并对其进行建模3.最后,根据不同的业务场景和需求,给出具体的解决方案和行动建议为提高省应急指挥会商中心的综合控制管理能力,解决大信息量、高数据流以及多种应急业务需求,设计在指挥中心安装一套大屏幕组合显示系统。大屏幕组合显示系统能够灵活方便地提供一个内容丰富、准确高效的信息图像显示平台,一个贴近实战需要的综合信息
31、显示界面,能够对各路信号、网络资源和相关资讯进行实时的监控、分析和智能化管理,使监管人员能及时提出预案、方案和决策意见,确保指挥系统的决策、命令能够稳妥迅速地传达执行并反馈,从而保证整个省应急指挥会商系统具有联动性、高效性、完整性。处方式分析的方法处方式分析的方法4040预测性分析l 有些情况,仅使用诊断性分析和预测性分析的模型,即可以给出建议l 比如银行可根据申请人的基本信息,包括学历、收入、是否有车、是否有住房、存款金额、是否有违约记录等,去建立模型预测其信用违约的风险有多大,进而给出建议是否要给这个申请人发放信用卡,如果要发放,信用卡的额度又该是多少8、流量优化,网络流量优化将有助于提高
32、网络带宽的利用率,尤其对于WAN 上宝贵的带宽资源。视频、语音、数据集成的多媒体应用,一方面为客户的基础网络带来了更多的增值应用,为用户提供更加简便、灵活的信息交流,同时,也大大增加了网络上的信息流量。随着应用需求的提高,对带宽的要求将进一步提高。因此,对于像视频监控这样高带宽的应用,进行网络流量的优化显得尤其重要。处方式分析的方法处方式分析的方法4141仿真l 仿真就是通过建模模拟真实世界的系统或流程,并通过不同的输入参数或条件查看其对结果的影响,据此制订相应决策l 主要是通过在电脑上做数学建模仿真,进而根据仿真结果给出相应的解决方案和行动建议l 比如企业的成本支出和客户服务水平是一个两难问
33、题,往往成本的削减意味着客户服务水平的下降,那如果说企业要制订年度成本削减目标,通过仿真发现成本降低5%,但是客户服务水平仅下降1%,属于可接受范围,但是当成本降低10%时,客户服务水平下降达6%,可能对公司的经营、商誉等产生重大影响,则此时成本降低5%是相对合适的,而10%就不是那么合适了。网络建设现状,XXX省级应急平台的网络建设主要依托XXX省电子政务外网。省电子政务网络外网:是电子政务网络对外的窗口,与互联网通过网络安全系统逻辑相连,对外提供一些网上服务,如受理申请、审批等;同时也是办公人员与外面进行信息交流的通道。连接范围为省、市、县(区)级政府及相关职能部门,以及因需要接入的企事业
34、单位。处方式分析的方法处方式分析的方法4242最优化l 最优化是应用数学的一个分支,主要指在一定限制条件下,选取某种研究方案使目标达到最优的一种方法l 最优化问题在当今的军事、工程、管理、商业等领域有着极其广泛的应用l 比如,企业都希望利润尽量高,那如何在现实的约束条件下,达到上述目标就是一个普遍的最优化问题l 最优化常用的方法为线性规划、非线性规划、凸优化、整数规划、网络流优化(物流、电网、通讯网络应用)等网络设备厂商通常采用2 种方式增强设备的可扩展性:将同类设备堆叠、互联,使多个单体作为一台设备工作;设备提供基本的、有多个插槽的机箱,从而可根据客户的实际需求确定要提供多少处理能力,以及物
35、理接口类型。除单个设备本身的扩展能力之外,在网络系统的设计过程中,还需要考虑整个网络系统在未来几年的扩容能力和扩容办法。这样才能既照顾到目前的应用需求,又能满足今后整个计算机系统的发展需要。处方式分析的其他特点处方式分析的其他特点4343l 处方式分析除了会给出行动建议外,另一大特点就是需要有一个反馈系统可以收集采取相应行动后的结果数据,以验证行动建议的有效性,若效果不佳,则需要调整,给出新的可行性建议,这个过程会不断循环迭代,直至达到预期目标l 一个优秀的处方式数据分析系统,迭代过程应该是无须人工干预、智能自动完成的,这也是目前机器学习和人工智能方法的最大优势l 处方式分析是数据分析方法的最
36、高阶形态,也是在商业环境中对企业最有用、产生价值最大的方法根据突发事件的种类和对应预案的要求,事先生成信息报送模版,规定必须报送的信息,在突发事件发生时,只要选择相应得系统模版,就可以按照预案要求在表单内填写信息,保证信息的完整性,系统自动生成符合国务院办公厅值班信息报送要求的CEB版式文件;PART 06 PART 06 数据分析示例数据分析示例4444前面已经详细介绍了商业数据分析的四个层次,本节将通过一个示例将这四个层次串联起来。接收突发事件信息,并根据预案,自动加盖接收章,自动倒入事件发布库,同时,发送手机短信等提醒接收人。接收人发送回执。突发事件信息在信息发布平台显示,并可根据突发事
37、件、时间、信息来源等进行检索查找。示例背景示例背景4545l PAS是一家销售企业管理软件的公司,虽然整个行业欣欣向荣,但是这家公司的业务却陷入泥沼,销售额连续八个季度出现下滑。为了扭转此局面,希望能通过数据分析的方法提供有力支撑l PAS公司的业务现状和数据情况l PAS公司上线了CRM、ERP、HR等系统,针对商机、合同、付款、客户、价格、销售员的入职时间、接受过的培训等信息都是有详细记录随着网络规模的扩大和系统复杂程度的增加,网络的管理、监控和维护,以及网络故障的诊断和排除变得越来越复杂。为了使网络系统易于管理和维护,本方案将提供先进而完善的网络管理系统。这样,既方便网络管理员的工作,减
38、轻了劳动强度,也提高了网络系统的管理程度。描述性分析描述性分析4646l 在做描述性分析时,最重要的是结构化思维,即要把分析的问题或指标进行逐层结构化分解,直到无法分解为止总体销售收入=销售漏斗中所有销售机会的数量*每个销售机会的交易金额*胜率每个销售机会的交易金额=每个销售机会包含的产品*每个产品包含的模块数量*每个模块的平均单价l 首先对去年销售员整体的业绩情况做了分析:总体销售指标为 1亿2000万,已签单 1个亿,指标达成了83%,目前有100个销售员,平均每个销售员的签单金额为100万,这样看起来貌似还不错。但是再看下一项数据就会发现比较大的问题,仅有20%的销售员完成了销售指标。1
39、)可与电子公文交换系统相融合,日常进行普通公文的报送,战时,报送突发事件信息。2)将应急预案,事先制定成系统模版,实现快速应急反应。对计算智能的新认识对计算智能的新认识4747首先对去年销售员整体的业绩情况做了分析总体销售指标为 1亿2000万,已签单 1个亿,指标达成了83%,目前有100个销售员,平均每个销售员的签单金额为100万,这样看起来貌似还不错。但是再看下一项数据就会发现比较大的问题,仅有20%的销售员完成了销售指标。1)可与电子公文交换系统相融合,日常进行普通公文的报送,战时,报送突发事件信息。2)将应急预案,事先制定成系统模版,实现快速应急反应。描述性分析描述性分析4848通过
40、查看去年销售员签单金额分布,这个问题体现的更明显。销售业绩主要是靠几个明星销售员来达成的。描述性分析描述性分析4949再看去年整体销售漏斗的表现,整体销售漏斗金额高达5亿,而每个销售员平均的漏斗金额有500万,但是平均签单金额仅有100万,也就是说胜率仅为20%;另外,去年已完结的交易数量为1000,而销售员平均完成交易数量仅为10个,数量偏少;同样,平均的交易金额仅为10万,平均客户价值仅为20万,在企业管理软件行业,这两个数字都是偏小的。描述性分析描述性分析5050 接着分析新老客户平均交易金额及胜率,可以看出新客户虽然单子大,但是赢单的概率较低;反之,老客户虽然单子小,但是胜率很高。6、
41、可管理性原则,良好的组织和管理对于XXX省级应急平台网络的正常运转和高效使用有很大帮助。网络应该能够提供方便,灵活,有力的管理系统,让使用者可以有效地控制和管理整个网络。描述性分析描述性分析5151 再看新老客户对收入的贡献,可以看到老客户虽然平均交易金额较小,但是对整体收入的贡献还是远远高于新客户的。数据接入,接入的数据主要包括水利、卫生、环保、气象、地震等部门的预测和研判结果,省应急指挥中心数据接入的方式主要是通过数据交换平台向各部门发出数据请求,同时定义好数据格式,各部门在收到数据请求后,按照规定的数据格式,传输相应数据到省应急指挥中心,中心在接受到这些数据后进行综合展现,供领导者决策。
42、描述性分析描述性分析5252再看交易金额分布及其胜率,可以看出单子金额越大,胜率越低。刊物报表指与值班业务事务有关的定期与不定期刊物和一定格式的报文,如通讯、摘报、简报、通告、政府公文、报批单等,它们主要为与省政府值班室业务关联的网络内部通讯服务,也可以向外部提供数据和信息发布。刊物报表包括电子文档和印刷品两种形式,它们都具有文字和图片传真的数据传输、储存与编辑功能,无论服务于传统印刷还是网站方式,数据都要求有多种格式显示。描述性分析描述性分析5353再看不同产品的收入分布和胜率,A、B、C这三种产品收入贡献较高,并且胜率也相对较高,证明在产品、价格等方面在市场上有较明显的竞争优势,可以重点突
43、破。诊断性分析诊断性分析5454 经过初步的描述性分析,对现有CRM、ERP、HR、售后、市场等5大系统或数据源中的数据做了梳理,共137个变量或KPI。如此之多的变量想通过传统的数据分析方法分析是很困难的(如通过散点图分析这些变量与销售业绩的相关性),只能使用机器学习的技术;通过此项技术,可计算出不同变量(机器学习称为特征)对结果值(即销售业绩)的影响到底有多大。3)对报送的信息进行分类组织,实现快速处理将报送信息根据类型进行内网发布,可以通过突发事件名称、事件、来源等进行检索和浏览;报送的信息包括XML和版式两部分,通过XML,便于信息交换;通过版式,便于信息阅读和打印;诊断性分析诊断性分
44、析5555根据去年销售员业绩达成率分布把销售业绩分为三类:平庸,中等和优秀;其中平庸为业绩完成不到50%的;中等为业绩完成50%-99%的;优秀为业绩完成100%的。应急值守,值守业务是基本处理模块,所有值班员受理的值班信息,包括各种电子文档、电话、传真、邮件、视频文件都要首先送到值班业务模块,在值班员的受理过程中进行鉴别、确定类型与编号,然后进行分发,分发包括输出信息到上下级端口,也包括到数据库,以及到别的模块,以便作进一步的数据处理。诊断性分析诊断性分析5656优秀组和平庸组在12个关键KPI的差异:对业绩影响最大的变量为销售员销售的产品种类:业绩优秀的销售员,是所有产品都销售的;而业绩平
45、庸的销售员,则只销售自己熟悉的产品;其次,业绩优秀的销售员,和合作伙伴的关系很紧密,销售线索可能来自于合作伙伴,甚至合同都是与合作伙伴联合与客户签订;而业绩平庸的销售员,只依赖于公司内部市场部提供的销售线索;第三重要的是平均合同金额。业绩优秀的销售员合同金额是平庸的销售员的2倍多;而较大的合同金额通常是因为每个合同销售的产品更多;第四重要的是销售漏斗金额与销售指标的比率。业绩优秀的销售员会在全年保持稳定的销售机会创造率,其每月创造的销售漏斗金额是平庸销售员的3倍。应急值守,值守业务是基本处理模块,所有值班员受理的值班信息,包括各种电子文档、电话、传真、邮件、视频文件都要首先送到值班业务模块,在
46、值班员的受理过程中进行鉴别、确定类型与编号,然后进行分发,分发包括输出信息到上下级端口,也包括到数据库,以及到别的模块,以便作进一步的数据处理。预测性分析预测性分析5757再细致分析不同销售人员的12个变量表现:可以看出,尺有所短,寸有所长。比如,85号销售员看起来大部分变量都处于平均水平或之下,但是其也有闪光点,这些人里只有他每季度创造的销售机会超过平均水平,那其他人就可以向他学习如何提升这一点。虽然可看出不同销售员在单个变量的表现,但是很难据此直接判断出其未来是否能完成业绩指标。如果可以做到这点,就可以把可能不达标的人提前找出来,进而给予其必要的帮助。因此需要使用预测性分析,通过建立预测性
47、模型,根据其关键KPI的表现情况,即可以预测其业绩达标情况。小白根据历史数据训练出的预测模型,预测的准确率已经达到了95%。除硬件的容错外,网络设备还应具备软件故障隔离和软件的热备份和热启动等,这样才能保证网络运行的万无一失。为了防止局部的故障引起整个信息系统的瘫痪,要避免网络出现单点失效。在骨干通信信道上要提供备份链路,提供冗余路由。在主要通信设备上要提供冗余配置,保证不会由于局部模块的故障影响整个设备的运行。处方式分析处方式分析5858预测模型完成后,即开始发挥作用。根据模型预测,刚入职一年的销售员很难完成今年的业绩指标。虽然其很努力,每月创造的销售机会比均值高不少,销售漏斗金额与销售指标
48、的比率也OK,但是在部分关键指标表现不佳:对销售业绩影响最大的因素合同的平均金额,目前均值是180K,但是其只有25K。他不怎么和合作伙伴一起合作,公司平均60%的合同是和合作伙伴一起打单打下来的,而他的比率是0;而有合作伙伴参与的订单金额是没有合作伙伴参与的订单金额的6倍,胜率也更高。处方式分析处方式分析5959l 根据数据分析的结果,建议该员工着重提升合同的金额,并给出了以下改进措施:l 首先,小王需要更积极地联系合作伙伴,主管给到小王负责区域的合作伙伴名单,以及以往公司与每个伙伴签署的平均金额l 其次,建议小王要提升捆绑销售软件的数量,公司平均有40%的软件都是捆绑销售出去的;主管给了小
49、王捆绑销售占比较高的产品清单,以及在与合作伙伴和捆绑销售做的好的同事名单,要求小王找他们多沟通,看他们是如何做到的。3、安全性原则,为了保护XXX省级应急平台关键性数据的安全可靠,需要网络能够提供多种方式和层次的访问控制(包括标准访问控制列表和控制访问控制列表)。XXX省级应急平台要与Internet 网连接,因此要具有强大的防火墙功能和灵活有力的数据包过滤功能,为通信系统提供高质量的安全保障。结果结果6060经过一年的时间,PAS公司的业绩得到了明显的提升。根据突发事件的种类和对应预案的要求,事先生成信息报送模版,规定必须报送的信息,在突发事件发生时,只要选择相应得系统模版,就可以按照预案要
50、求在表单内填写信息,保证信息的完整性,系统自动生成符合国务院办公厅值班信息报送要求的CEB版式文件;结果结果6161系统自动将按模版生成固定的CEB版式文件。在版式文件上盖突发事件报送章,确保信息的准确性。上报突发事件信息。(上报单位已经根据预案自动设置)。3)接收PART 07 PART 07 大数据预测的特征大数据预测的特征6262在互联网之前便已经有基于大数据的预测分析了:天气预报。因为互联网,天气预报为代表的大数据预测的以下几个特征在更多领域得到体现。当今世界,通信技术和计算机技术的发展日新月异。方案应适应新技术发展的潮流,既兼顾了技术上的成熟性,同时也保证了系统的先进性。所选设备无论