1、 2011 CorporationSmarter Systems for a Smarter PlanetXXXX省电力大数据省电力大数据平台整体解决方案平台整体解决方案Page 2议程议程电力大数据背景简介电力大数据应用场景国内外案例分享基于Scada系统的电力大数据平台架构探讨Page 3电力大数据来源电网拓扑智能电表读数客户情感信息地理空间信息设备图像数据设备运行监测历史动态事件客户用电信息客户服务数据(文本+语音)外部环境信息(气象、气候)35/21/2014Teradata ConfidentialPage 4电力大数据的特征数据特征数据特征 数据类型不同数据类型不同:营销、生产等核
2、心业务系统的结构化数据,智能电表、系统日志等半结构化数据,客 户服务的音频、运行检修的视频监测、电网设计和拓扑等的非结构化数据。加载频率不同加载频率不同:根据业务数据分析时效要求,数据加载频率可按小时、天、周、月等。数据价值不同数据价值不同:相同的业务数据在不同专业体现不同的作用和价值。处理特征处理特征 调度模式不同调度模式不同:数据有时需要在不同平台间迁 移和复制,有时无需移动而只是简单的查询。加工特征不同加工特征不同:对于结构化数据,需要进行汇 总、分组、排序等,对于半结构化和非结构化 数据,需要先通过自然语言处理、视频分析等 技术转化成结构化数据。使用特征使用特征45/21/2014Te
3、radata Confidential 使用角色不同使用角色不同:业务分析人员、数据分析 师、数据科学家。使用方式不同使用方式不同:业务指标统计、预测分析、深度数据挖掘和探索。使用时效不同:使用时效不同:不同频度的指标统计、Ad-hoc查询、自助式的数据探索等。Page 5电力业务与大数据的有什么关系?Page 6电力大数据驱动电力业务管理模式发生变革发电输电变电配电用电1、基于数字化 电厂建设中不断 积累的海量数据,分析生产运行分析生产运行 状态,提升对机状态,提升对机 组的控制和优化组的控制和优化 策略、故障诊断策略、故障诊断 的能力的能力;2、对大量的分 布式能源进行实 时监测和控制,能
4、够及时准确掌准确掌 握分布式电源的握分布式电源的 设备及运行状态设备及运行状态1、通过大量积累的电网输、变、配电设备的运行状态设备的运行状态 和历史检修工作记录数据和历史检修工作记录数据,能够实现预测性资产维护预测性资产维护,提升电网运行的可靠性;2、结合外部环境数据外部环境数据(如:天气和自然灾害预报)、电网设备的地理信息数据、设备维护数据等,分析和评 估外部环境对电网设备的影响程度,并及时作出防灾、减灾措施(智能防灾智能防灾);3、通过配电网络的实时监测和分析实时监测和分析,能够快速定位电快速定位电 力中断的地点、识别断电原因力中断的地点、识别断电原因、估算电力恢复时间等,提高事故的响应程
5、度;1、通过分析智能电 表产生的海量用电明海量用电明 细数据细数据,分析客户的 用电行为,引导客户 提升用电效率,平衡平衡 用电负荷用电负荷;2、通过对智能电表智能电表 运行状态运行状态的监控,并 结合地理信息数据,能够高效判断故障来判断故障来 源源,提升运营效率;65/21/2014Teradata ConfidentialPage 775/21/2014Teradata Confidential提升用电环节的智能化,从大数据中掘金1、实现电网与用户的双向 互动,提升用户服务质量,满足用户多元化需求;2、改善终端用户用能模式,提升用电效率;智能用电整合整合智能电表客户服务客户档案社交网络分析
6、分析地理信息Page 8通过用电大数据分析,发现大价值客户服务:客户服务:为用电客户提供图形化 的分析工具,以准实时的方式告知 客户电力使用情况,并为客户提出 电力使用方案建议,从而 提升客 户服务能力。用电效率:用电效率:通过及时获知用电信息,以调整用电方式和期间,降低用 电成本,提高用电效率。运营效率:运营效率:自动读取智能电表数据,通过及时分析智能电表运行状态,能够高效地判断故障来源。资产利用率:资产利用率:通过提供透明的用电信息,影响客户的用电 行为模式,以降低高峰期的用电负荷,平衡用电,从而能 提高电网设备的利用率。85/21/2014Teradata ConfidentialPag
7、e 9电力大数据平台对实时数据进行深入分析,指导电网的规划/建设、运行、资产运维和客户服务,提升电力企业的运营水平n依据精确地监测数据和计算,指导线路和设备的布点n监视并分析过负荷,决定是否需要对变压器容量进行检查n根据负荷平衡状况,采取新的电网连接方式n电压和功率因数分析,调整电容器和电压调节器的位置n根据测量的故障电流,设置设备容量规划规划/建设建设配网运行配网运行资产运维资产运维n部署智能电表,实现对用户侧电量、电压、电流、功率的完整数据采集n借助双向通信的电表,实现与用户的互动n通过电价策略调整,加强需求侧管理,优化负荷曲线,减少电力消耗n通过系统集成,建立完成的停电管理系统n开始试点
8、家庭电力自动化管理方案客户服务客户服务n监视并识别电压和功率因数不合格的位置,安排合理的运行方式n监视并识别电压问题区域,发现负荷不平衡,调整运行方式,保证电压水平和负荷平衡n自动故障诊断、分析、隔离和处理。故障距离计算。n检测负荷容量,决定是否过负荷的状态,对闭环和并线是否有影响n利用监测数据更准确的计算线损,调整运行方式实现线损最小n对变压器和线路负荷峰谷值及持续时间进行记录,制定合理的维修和管理策略n根据实时运行数据,分析变压器和电缆的情况,改进设备检修计划;减少检修次数,以便于减少停电次数和停电时间,提高可靠性指标n识别接近额定容量并报警,减少负荷以增加设备的寿命n对设备老化情况进行分
9、析,制定合理维修策略 LAN 传感器数字化保护装置变电站自变电站自动化动化IED,线路监测,智能传感器,智能电网设备,线路监测,气象数据,表计作传感器智能传智能传感器平感器平台台分布式分布式线路传感器线路传感器保安监控保安监控远程视频监视远程视频监视智能化电网设备智能化电网设备表计网络表计网络数据采集和通信网关数据采集和通信网关Page 10数据采集数据传输信息集成分析优化信息展现数据源整合程度nLevel 4-高级优化,建模,规划,决策支持nLevel 3-数据分析,事件的实时或事后诊断处理,数据挖掘nLevel 2 指标计算,趋势分析nLevel 1 实时事件,阈值,通知;屏幕显示,邮件,
10、传呼4个分析层次电力大数据平台参考架构实时数据高速总线数据集成总线Page 11 p SCADA(Supervisory Control And Data Acquisition)是数据采集和监控,是一种实时采集和分析数据的计算机监控系统。p SCADA系统根据系统采集、控制点数的多少,系统规模的大小不同,小到只有一台计算机组成一个小型SCADA系统;大到由多台服务器和若干台工作站协同组成大型SCADA系统。p 工业上,SCADA系统广泛应用于远程通讯、供水与污水处理、化工、电力、电力、冶金、油气输送等领域。Scada系统简介Page 12SCADA系统典型硬件配置图Page 13议程议程电力
11、大数据背景简介电力大数据应用场景国内外案例分享基于Scada系统的电力大数据平台架构探讨Page 14什么样的平台能够承载大数据的分析和探索需求?大数据的数据独特特征对数据处理平台提出了全新的要求大数据的数据独特特征对数据处理平台提出了全新的要求。105/21/2014Teradata ConfidentialPage 15如何有效应用多种大数据处理技术?大数据时代没有大数据时代没有“银弹银弹”可以高效低成本的满足大数据处理的全方位要求,可以高效低成本的满足大数据处理的全方位要求,各种技术相辅相成,优势互补。各种技术相辅相成,优势互补。115/21/2014Teradata Confident
12、ialPage 16如何实现对大数据的统一管理和运维实现大数据的元数据、数据质量和安全统一管理,实现统一的开发管理实现大数据的元数据、数据质量和安全统一管理,实现统一的开发管理(IDE)和调度管理。和调度管理。125/21/2014Teradata ConfidentialPage 17电力统一大数据平台架构统统 一一 数数 据据 管管 控控统一分析应用统一分析应用数据整合平台数据整合平台数据探索平台数据探索平台数据汇集平台数据汇集平台构建在高性能高可靠硬件 平台上的MPP RDBMS高并发/高性能构建在X86平台上的MPP RDBMS较低并发/较低成本存储冷数据和非结构化原 始数据高并发/高
13、性能存储热数据高效数据加工,支撑KPI、月报的及时展现支撑数据的高可靠低时延 访问存储温数据支持大量Ad-hoc访问支撑各类高级分析和数据 挖掘通过沙盒模式支持自助分 析服务存储冷数据和非结构化原 始数据实现自定义、灵活的数据 加工和挖掘大规模简单数据查询数据互通数据互通服务器及本地存储服务器及本地存储数据采集与预处理平台数据采集与预处理平台数据源数据源运检运检营销营销建设建设规划规划运监运监物资物资财务财务135/21/2014Teradata ConfidentialPage 18用电信息查询用电信息查询用电策略优化用电策略优化 分析分析用电策略建议用电策略建议负荷预测负荷预测用电行为模式
14、用电行为模式 分析分析数据探索平台数据整合平台营销业务营销业务用电采集用电采集客户档案客户档案电网运行电网运行电网拓扑电网拓扑电力政策电力政策天气数据天气数据数据汇集平台电力营销 智能用电管理应用 大数据平台技术架构工程师工程师负荷实时监测负荷实时监测 用户数据科学家数据科学家业务分析师业务分析师管理统一数据管控迁移访问快速加载用电采用电采 集数据、电网运集数据、电网运 行、电网拓扑、行、电网拓扑、电力政策、外部电力政策、外部 天气等天气等半结构化 或非结构化数据,并对其进行原 始存储和初步加 工。整合智能电表采集、用电客户档 案等数据,利用数据探索和挖掘 技术,实现基于用电采集信息的基于用电
15、采集信息的 用户用电行为模式识别用户用电行为模式识别。整合客户档案、用电信息、电网拓扑、天 气等数据,构建电力负荷预测模型,分析分析 预测用户用电负荷和配电网络负荷预测用户用电负荷和配电网络负荷。同时,结合用户用电行为模式分析结果,设计设计 和仿真执行智能用电优化策略和仿真执行智能用电优化策略。14统一分析应 用数据源5/21/2014Teradata ConfidentialPage 19客户历史用电客户历史用电 信息查询信息查询客户满意度分客户满意度分 析析客户业务状态客户业务状态 分析分析客户投诉智能客户投诉智能 分析分析用户数据探索平台数据整合平台营销业务营销业务客户服务客户服务 系统
16、系统客户档案客户档案电力政策电力政策天气数据天气数据数据汇集平台客户服务 智能识别与分析应用大数据平台技术架构工程师工程师数据科学家数据科学家业务分析师业务分析师统一数据管控管理迁移访问快速加载大量的客户量的客户 投诉、咨询、建议和投诉、咨询、建议和 保修等业务的文本记保修等业务的文本记 录和语音记录录和语音记录、电力 政策文档和外部天气 数据等半结构化或非 结构化数据,并对其 进行原始存储和初步 加工、转换。引入文本挖掘和智能识别技术,整合客服文本记录数据和用电客整合客服文本记录数据和用电客 户档案数据户档案数据,实现对客户需求的 深度挖掘和精准分析。整合用电客户档案、业务办理过程、用电 信
17、息、客户电话记录智能分析结果等数据,全方位地获知和分析客户的业务状态全方位地获知和分析客户的业务状态,并结合对客户需求的智能识别和分析,提提 升客户服务的精准度和及时性升客户服务的精准度和及时性。14统一分析应 用数据源5/21/2014Teradata ConfidentialPage 20设备状态历史设备状态历史 分析分析设备智能防灾设备智能防灾设备运行监测设备运行监测预测性资产维预测性资产维 护分析护分析用户数据探索平台数据整合平台生产管理生产管理 系统系统SCADA电网拓扑电网拓扑外部环境外部环境 数据数据数据汇集平台电力生产 设备运维管理智能分析应用大数据平台技术架构工程师工程师数据
18、科学家数据科学家业务分析师业务分析师统一数据管控管理迁移访问快速实时加载大量的大量的 设备运行状态、设备设备运行状态、设备 运行视频、生产工作运行视频、生产工作 票、电网拓扑地理空票、电网拓扑地理空 间数据间数据和外部环境数 据等多结构化或非结 构化数据,并对其进 行原始存储和初步加 工、转换。利用MPP并行处理技术架构和流式计算技 术,通过对设备运行检修的视频流数据进设备运行检修的视频流数据进 行分析和挖掘行分析和挖掘,实现以自动化方式对设备 运行状态进行大范围和长周期的分析,从 而能够识别设备故障发生模式识别设备故障发生模式。整合设备当前运行状态、历史检修工作记设备当前运行状态、历史检修工
19、作记 录、设备地理空间信息录、设备地理空间信息和外部环境数据等,实现预测性设备资产维护和智能防灾和 减灾,同时,对设备运行的实时监测,实实时监测,实 现快速故障定位和原因分析现快速故障定位和原因分析。14统一分析应 用数据源5/21/2014Teradata ConfidentialPage 21 2008年初的罕见冰雪灾害发生后,国家电网公司、南方电网公司均加大了对输电线路覆冰、在线监测的研究投入1998年开始,国内高等院校及厂家陆续开展了对输电线路在线监测方面的产品的研发2002年2004年国内相继研发成功了输电线路图像监测系统及输电线路覆冰监测系统,覆冰监测装置在国内总体应用量在1500
20、余套左右,图像监测装置在3000套以上目前在线监测产品制造厂家达到10余家,监测装置总体产品应用量达到1万台左右第一、线路在线监测Page 22视频在线监测现状目前线路的视频在线监测还是以在线监视为主,使用人工进行视频或图片的巡检。直升机巡线应用也越来越多,巡线过程中拍摄的需要处理视频数据数量巨大Page 23自动异常识别的意义随着视频监测系统投入的越来越多,人工监视易造成肉眼疲劳,造成漏报。监控中心的视频线路较多,人工监视也无法一一监看,易造成漏报采用视频处理技术对监控视频和图片进行实时处理与分析,通过提取线路特征,自动识别异常情况并进行报警,能极大减少工作量,提升输电线路的安全可靠性。23
21、Page 24 线路视频在线监测常见的异常情况1)外物接近导线安全预警距离智能视频检测与报警2)线路飘挂物智能视频检测与报警3)导线弧垂点上下变化智能视频检测与报警;4)导线弧垂点舞动智能视频检测与报警;5)导线间距变化智能视频检测与报警1234524Page 25 线路视频在线监测常见的异常情况(续)6)导线覆冰智能视频检测与报警7)输电线路保护区内大型机械闯入并停留智能视频检测与报警:8)人员、车辆入侵输电线路特定区域智能视频检测与报警;9)输电线路保护区内树木生长超高的智能视频检测与报警:678925Page 26261视频读视频读入及预处入及预处理理2图像灰图像灰度化度化3图像边图像边
22、缘检测缘检测4直线监直线监测测5距离换距离换算算6异物检异物检测测技术方案Page 27第二、智能用电:通过分析、决策和评估,形成最优绩效目标的智能用电分析27分析决策评估用户特征及设备状态综合用户特征及设备状态综合:负荷特性挖掘:负荷特性挖掘:利用人工智能和数据挖掘分析技术分析个体及群体的典型负荷特性 重过载监测与分析重过载监测与分析:感知电力设备的负载状况,有针对性地分析解决在运行中出现的重过载现象 智能用电适应性评价:智能用电适应性评价:综合行为、经济、位置及其他因素,评估用户对不同智能用电策略的适应程度智能用电策略优化与仿真智能用电策略优化与仿真:策略定义:策略定义:针对用户特点寻找适
23、应的策略,针对设备发现并解决问题 方案优化:方案优化:针对给定的目标和用户适应的策略,综合考虑成本、供电可靠性和用户满意度等多重因素,形成最优方案 场景仿真:场景仿真:模拟不同场景,分析不同情况下的智能用电分析效果执行效果评估执行效果评估:用户表现考核:用户表现考核:跟踪用户对智能用电指令的执行情况,根据相应的激励和惩罚规则分析其奖惩结果 设备运行工况评估设备运行工况评估:根据重过载监测与分析,给出解决方案后查看设备运行工况 策略库反馈调整:策略库反馈调整:根据用户实际的执行情况,调整适应于用户的策略库定义规则1 12 23 3Page 28设计新型的用户用电特性分析模型,为新型智能用电解决方
24、案奠定基础用电特性识别是新型智能用电解决方案的基础。既要识别个体用电特性的技术,同时也需要从个体特性中提取出群体共性的方法。个体识别技术中需要重点考虑数据降噪等避免伪特性的方法,而群体共性提取技术则需要考虑如何识别个体特性相似性的模型。用电信息采集系统用户的用电信息整年的日负荷特性曲线用大数据技术进行聚类分析一个聚类代表一种用电模式用户用电行为分析基于数据挖掘和人工智能技术的用户用电行为分析主要有两方面的内容:时间对单个用户的用电模式进行识别。用户的用电模式往往不止一种,存在多样性。通过对用户的用电规律和用电特性进行深入分析,识别出用户的所有用电模式。对不同用户的用电模式进行聚类分析。得到用户
25、用电模式的群体性,有助于针对同一群体用户开展进一步研究,识别出对应的用电模式。各类应用Page 29制定错峰方案NONO用户用户IDID用户类型用户类型用电模式用电模式用电指导用电指导错峰量错峰量1富康线3号亮化工程,限减少部分亮化3.2MW2南环线7号娱乐场所营业推后半小时1.2MW3尹通线12号照明工程,限减少部分照明2.8MW428MW工业用户商业用户NONO用户用户IDID用户类型用户类型用电模式用电模式用电指导用电指导错峰量错峰量1北交线5号高耗能,限生产提前1小时2.6MW2富康线28号高排放,限生产推后1小时2.4MW3水泉线16号高排放,限关闭2台机组1.7MW462MW29P
26、age 30调度室营销部工用1工用2商用1工用3商用3工用5商用4错峰指令反馈信息错峰指令错峰指令020040060080010001200140016001800123456789 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24系列1系列2系列3反馈信息反馈信息营销部门把安排好的各用户的错峰量和错峰时间发送给用户,用户接到错峰指令后确认分配的错峰指标,开始实施错峰用电错峰方案实施之后,用户的用电方式发生改变,系统的实际负荷曲线也随之发生改变。从图中可以看出,错峰之后,电力缺口移除,且系统实际的用电负荷曲线与预测的负荷曲线图相比得到了优化错峰方案执行3
27、0Page 31设计新型智能用电优化模型,综合考虑用户特点、网络情况和经济因素等,形成最优绩效目标的轮休和错峰计划31输 入用户数据:个体特性群体特性系统数据:负荷缺口线路负载网络约束其他基础数据:政策规定其他用户设置参数输 出优 化约束条件Min经济性影响可靠性影响用户满意度影响CostTICostTIICostTIII+用户调整能力约束系统运行约束政策和规则约束智能用电备选方案方案效果与影响Page 32状态检修是指根据先进的状态监测和诊断技术提供的设备状态信息,判断设备的异常,预知设备的故障,在故障发生前进行检修的方式,即根据设备的健康状态来安排检修计划,实施设备检修。第三、故障预测:是
28、状态检修的核心问题Page 33研究思路故障关联关系分析故障概率分析结果故障原因分析结构化数据非结构化数据图片视频流运行数据气象信息缺陷报告病史信息试验数据投运信息33Page 34故障原因分析(变压器)序号序号部件部件设备故障事件设备故障事件1套管套管炸裂2分接开关触头烧损、桶体爆炸3储油柜变压器进水、油面异常升高、呼吸系统有异常4绕组绝缘击穿5铁芯铁芯过热6绝缘介质绝缘击穿7冷却系统冷却系统失效、冷却器故障8引线引线断股、引线相间短路、引线对地短路9附件绝缘油裂化、变压器跑油一级分类一级分类二级分类二级分类三级分类三级分类内部原因运行原因操作错误应急处理不当运行标准不当设备过载检修原因检修
29、操作不当监督不当图纸错误判断失误试验不合标准检修标准不当一级分类一级分类二级分类二级分类三级分类三级分类外部原因人为原因外力破坏极端天气原因雷电冰雪暴雨地质灾害原因地震土质松动洪水泥石流自然环境原因污秽原因生物原因鸟害问题小动物34Page 35关联分析外绝缘绝缘电阻油中气体外部气温负载故障概率电容量油位雷击p 使用Apriori算法计算关联系数,量化评估故障因素和故障率之间的关联性。p Apriori 算法使用逐层搜索的迭代方法,直到不能再找到频繁项集为止。35Page 36变压器健康状态评估附件引线绕绕组组绝缘介质分分接接开开关关铁芯套管冷却系统储油柜故障概率预测36Page 37业务与I
30、T人员的关于大数据的话题新的数据类型代表 着新的机会减少大数据分析的 复杂性让已有资源能从大 数据中产生价值使用下一代新的分 析方法实现业务洞 察力利用大数据 获取竞争优势195/21/2014Teradata ConfidentialPage 38数据探索数据数据仓库仓库/商商业业智能智能高高级级分析分析问题问题205/21/2014Teradata Confidential各种复杂的高各种复杂的高级分析级分析环环境导致境导致数数据碎片据碎片,更,更 高的成本,需高的成本,需要更复要更复杂杂的技能的技能,更长时更长时间才间才 能实现业务价能实现业务价值值。System and Technol
31、ogy Group数据探索集成的探索平台集成的探索平台(IDP)问题问题数据数据仓库仓库/商商业业智能智能高高级级分析分析解决方案解决方案各种复杂的高各种复杂的高级分析级分析环环境导致境导致数数据碎片据碎片,更,更 高的成本,需高的成本,需要更复要更复杂杂的技能的技能,更长时更长时间才间才 能能实实现现业业务务价值价值。集成的分析集成的分析探探索提供索提供了了更输入更输入的的洞察,洞察,统统一一的的 访问接口,易访问接口,易用性,用性,低低成本,成本,更更好的洞好的洞察。察。SQL框架访问层框架访问层215/21/2014Teradata Confidential预置分析函数预置分析函数Pag
32、e 40分析探索平台的需求数据源结构化 数据多结构化 数据非关系型 数据分析探索分析探索工具用户分析分析探索平探索平台台数据科学家业务分析师SQLMapReduce统计功能交易型 数据库结构化和多结构化数据不需要大量的数据建模需要从尽可能多的数据 中进行分析探索一定的数据完备性要求往往没有严格的SLAs具有快速迭代开发的能 力225/21/2014Teradata Confidential欺诈模式分析客户行为分析数字营销优化供应链分析等Page 41议程议程电力大数据背景简介电力大数据应用场景国内外案例分享基于Scada系统的电力大数据平台架构探讨Page 42案例一:Vestas风机选址以毫
33、秒级捕获传感器数据(如:主轴传感器、齿轮箱传感器和定子传感器等),监控单台风力发电机运行状态以秒级捕获传感器数据,监控风机位置、彼此协作情况,保证发电场以最优状态工作以分钟级捕获传感器数据,监控输电状态、效率Page 43案例一:Vestas风机选址Page 44案例二:EnerNoc 电力大数据中间商创新电力业务模式Page 45案例二:EnerNoc 电力大数据中间商创新电力业务模式Page 46案例三:某网省公司用电信息采集系统技术验证Page 47 性能验证采用xx省网公司用采业务真实数据,主要涉及29张数据表,共189.91亿条记录,选取了三个计算和四个查询任务场景,对比大数据平台和
34、Oracle关系数据库处理性能情况。三个计算任务涉及表和记录数:1)公变数据完整率之今日电量计算(2.47亿)2)低压数据完整率计算(116.1亿)3)低压用户电量计算(143.7亿)上报公变数据主表333390公变用户计量点228991停电统计表24151795上报公变电量数据153193115公变终端测量点250975终端资产2600453统计公变数据完整率明细66257003公变任务表112821系统单位代码1320数据完整率明细临时表9071统计终端用户表838885低压任务表1903834低压测量点表17954341统计低压数据完整率4134600916低压表记表18476053低压
35、用户表16224247系统单位代码1320上报低压数据主表22590221上报低压电量数据表7374570544停电统计表24151795终端资产2600453上报低压电量数据表7374570544上报低压数据主表22590221低压测量点表17954341低压用户表16224247低压表记表18476053终端资产2600453统计低压日电量6906656585低压测量点表17954341低压历史数据异常615803低压数据异常表854964性能验证47Page 48 1)采集覆盖情况明细 2)采集数据质量检查 3)批量抄表数据查询 4)台区线损分析明细四个查询任务涉及表和记录数:1.57亿
36、 条台区线损统计62931052P码2645单位级别关系1351G_TG634564单位级别关系1351用户280480低压数据46741659终端资产2550507上报任务数据主表910439上报数据完整率明细69259714P码2645用户数280357用户明细表225288终端资产2547680上报任务数据主表910106用户明细表 224140单位级别关系1351终端资产2315773P码2630用户数269803单位代码1320性能验证48Page 49低压用户电量计算:191 min 12 minOracle 平台大数据平台 143.7亿12min191min低压用户电量计算Pag
37、e 50678719012.518120 min50 min100 min150 min200 min250 min数据完整率之公变今日电量低压数据完整率计算低压用户电量计算计算所消耗的时间计算性能对比Oracle计算任务验证对比大数据50Page 511.1091.4853.5475.5470.3440.3280.2030.2810s1s2s3s4s5s6s采集覆盖明细查询台区线损分析明细查询 批量抄表查询采集质量检查明细查询查询所用时间查询性能对比Oracle查询任务验证对比Page 52议程议程电力大数据背景简介电力大数据应用场景国内外案例分享基于Scada系统的电力大数据平台架构探讨P
38、age 53美国南加州安迪生电力公司介绍 南加州爱迪生电力公司总部位于美国加利福 尼亚州的城市-罗斯米德,公司员工约1万7千 人。公司为1千4百万人口提供电力服务,覆盖加 州南部5万平方英里的区域、约180个城市。公司具备9000兆瓦的发电能力,发电方式:核电、水电、火电。公司拥有125年的电力生产与服务历史,其在 可再生能源生产、电力传输、智能电网、智 能电表等业务方面都处于美国电力行业的领 导者地位。385/21/2014Teradata ConfidentialPage 54智能电网发展愿景近些年来,SCE将发展智能电网作为公司战略目标,其愿景是:以环保和更加多样的方式生 产电力,通过更
39、智能和可靠的网络传输电力,为客户提供更优质的服务,帮助客户通过多种 途径更高效地使用电力。395/21/2014Teradata ConfidentialPage 55智能电表项目 SmartConnect 从2008年起,SCE启动了智能电表项 目 SmartConnect;同年,该项目获得了加州公共事业委员 会的批准通过,项目投资约16亿美元;该项目计划从2009年-2012年,使用5百万智能电表替换老式的机械或电子表;通过智能电表的应用,电力用户能够及 时地获知其电力的使用情况和成本消耗 情况,而且,通过近实时地获取用户的 用电信息,从而使实时定价机制的执行 成为可能;405/21/20
40、14Teradata ConfidentialPage 56SmartConnect 从概念到技术实现SCE分步骤、分阶段进行SmartConnect项目的设计和实施工作,将安装近5万块智能电表和 开发和部署相应的信息支持系统。调研和收集用户需求和 业务用例;分析电表需求,设计系 统架构;完成供应商提供的原型 系统测试;415/21/2014Teradata Confidential项目实施过程控制;完成两种电表和通信解 决方案的现场测试;完成业务用例的开发和 系统需求的完善;完成智能电表设备的采 购流程完成信息支持系统的开 发和实施;安装和部署5万块智能电 表;为终端用户提供对用电 效率的分
41、析能力,提升 客户服务水平;Page 57SmartConnect 业务变革与创新在实施SmartConnect项目后,SCE在12个小时内采集的智能电表数据要比采 用非智能电表时期一年内采集的电表数据还要多。每块电表每个月采集一次数 据,每月大约5百万条电表 数据。每年大概2.4百万次现场服务 变更 每年大概8.5万次电表数据校 验 每年约18.5万次由抄表人员 完成的现场客户服务;每月生成一次账单;每块电表每个月采集720次 数据,每月共计56亿次数据 采集。通过远程完成服务方式变更 通过远程完成电表数据校验 为终端用户提供更多服务:获知每天的用电情况、用电 费用预测和用电预算监测等;42
42、5/21/2014Teradata ConfidentialPage 58SmartConnect 客户用电服务体验通过SmartConnect系 统技术,提升电力负 载管理能力直 观 的 用 电 信 息 展 示,促 进 了 电 力 消 耗 的 降 低 和 电 力 节 约客户能够与智能电器进行自动化交互基于web的 移动终端应 用,展示客 户用电信息预定义的客 户用电模式,客户可以按 需选择435/21/2014Teradata ConfidentialPage 59客户用电信息展示可以按照小时频度展示客户用电信息,同时,可以展示一个算费周期内每一天 的客户用电信息,而且,可以进行每月客户用电
43、趋势预测分析。445/21/2014Teradata ConfidentialPage 60算费周期内的电费计算客户能够使用SCE提供的电费计算自助工具主动计算当前算费周期内的电费消 耗情况(电量消耗 阶梯电价),从而能够帮助客户有效管理用电成本。455/21/2014Teradata ConfidentialPage 61电量电费综合展示SCE提供基于WEB的客户工具,协助客户及时获知电量和电费信息,从而主动 调整用电行为,降低电力消耗和浪费。465/21/2014Teradata ConfidentialPage 62阶梯电价和电费计算说明电费计算报告能够帮助客户更好地理解居民阶梯电价结构
44、,这个动态的图形展 示了客户实际的电力成本和预测成本。475/21/2014Teradata ConfidentialPage 63Budget Assistant 电费预算辅助工具电费预算辅助工具能够允许客户设定一个电力消费目标,通过短消息、电子邮 件或电话语音的方式周期性地接收到电费信息和是否超过预定目标提示信息。485/21/2014Teradata ConfidentialPage 64SCE SmartConnect 技术架构uLDM各部分功能简述:MDMS:智能电表数据校验和估算,电费计 算因素生成,远程服务转换;数据仓库:存储智能电表明细数据和其他电 表数据元素;ENS:事件生成
45、、通知和交互;SCE.COM:客户能够通过基于web的应用获 知用电信息,电费预算管理和电费预测等;495/21/2014Teradata ConfidentialPage 65505/21/2014Teradata Confidential基于地理信息的客户用电信息展示Page 66515/21/2014Teradata Confidential电网资产信息展示Page 67525/21/2014Teradata Confidential停电和现场人员检修信息展示 整合天气信息Page 68通过数据整合,发掘各部分数据的关系和价值智能电表(28GB/天)用电客户(5M)用电检修气象数据(42
46、气象站采集)响应事件 信息电费电价/费率电网拓扑(地理信息)用户调查结果(基于WEB)每年产每年产生生 10TB数据,预计数据,预计到到2015年将达到年将达到50TB535/21/2014Teradata ConfidentialPage 69发掘更多价 值.配网设备 状态监测配网负荷 分析与预测客户用电行 为分析业务价业务价值值智能电表545/21/2014Teradata Confidential客户档案电网拓扑气象数据通过将数据整合,发掘各部分数据的关系和价值Page 70Scada系统数据现状 2.数据格式TagData int PlantType;/数据源类型,如火电、水电、太阳能、光伏、社会等 int PlantNO;/编号 char TagName128;/点名 double Value;/数值 long Time;/时间 bool Type;/类型 WORD Status;/状态数据量数据量每个点每秒的数据约为每个点每秒的数据约为2030B,较高的测试条件,较高的测试条件为为24万个点,计算后为万个点,计算后为8.64亿条亿条/小时(约小时(约24GB/小时)小时)入库频率Always,持续入库数据量增长数据采集量恒定,采集周期也固定(35秒)1.3.数据抽取性能需求 保证数据完整性 数据写入速度3秒 数据查询速度越快越好Page 71谢谢大家!