1、Vantiq使用案例电力行业泛在物联网中的应用省电力省电力IT现状:业务系统痛点现状:业务系统痛点System1System2System3System4System5ESBKafka 各个业务系统的标准化程度低,有很多跨多个系统的业务流程。 虽然使用ESB做各业务系统之间的集成,但是基于SOA架构的ESB使用不便,对所集成的系统所使用的技术、实现的接口都有限制,而现状是,集成时所需的业务系统的接口都没有提供。 也有使用Kafka或MQ实现事件驱动的服务集成,但是改造成本太高。电力行业电力行业IT现状:数据痛点现状:数据痛点System1System2System3源数据平台 各系统之间有大量
2、需要共享的数据,目前大量使用各种数据同步方案,将数据同步到共享数据平台来使用。为了保证这个同步的过程,就催生了很多数据治理的需求。DB1DB2DB3共享数据平台SharedDB2源数据库访问通过ETL定时同步共享数据库访问电力行业电力行业IT现状:物联网相关业务现状:物联网相关业务采集系统供服系统 原先的物联网业务由各个独立的系统实现,甚至数据的采集和使用由不同的系统实现,并且,数据采集系统由设备部开发维护,供服系统是另一个部门。DB1DB2SharedDB2设备设备设备智能终端ETL 两个系统之间的数据通过同步来实现共享,如果使用ESB来集成这两个系统,例如,ESB从采集系统将数据取出来实时
3、发到供服系统,两个系统都需要改造,这又牵扯两个部门。省电力省电力IT现状:原因分析现状:原因分析 现有的大部分的数据共享、数据同步业务,都是由于服务集成的需要而产生的。 但是现在的数据共享、同步方案,都是定时、批处理的方式,无法实时。 需要一个比ESB更加敏捷、易用、灵活、实时的服务集成方案。 需要一个实时数据处理、实时业务集成的平台。 需要满足国网泛在物联网架构规划的需求,既要能解决现在的问题,又能满足将来的需要。电力行业:泛在物联网平台规划电力行业:泛在物联网平台规划数据平台数据库分析数据库数据仓库业务中台共享微服务共享微服务业务前台分析平台BI HANA API网关物联网平台智能终端智能
4、终端设备设备设备设备大数据平台KafkaHadoopSpark其他.HBaseVantiq数据集成数据分发服务集成服务分发共享微服务共享微服务统一数据访问层BI HANA HANA 数据集成与分发数据集成与分发数据平台数据库分析数据库数据仓库物联网平台智能终端智能终端设备设备设备设备大数据平台KafkaHadoopSpark其他.HBaseVantiq数据集成数据分发服务集成服务分发 数据集成的目的,是业务的实时集成。 从源端接收数据,分发到目标数据源 数据源:数据库,使用R7(华为), OGG, JDBC-Connector(Vantiq), DataBridge(数梦) 数据源:大数据平台
5、,使用大数据平台的接口 数据源:物联网数据,使用物联网平台的接口 目标数据源:分析型数据库、大数据平台、业务系统等数据集成与分发数据集成与分发 目的是将一部分数据分析的过程改成实时分析。 以数据库、物联网数据为数据源 以大数据平台作为作为算子 以Vantiq作为业务规则引擎 将计算后的数据结果发送到分析数据库或大数据平台 VANTIQ相比较于大数据平台的实时计算框架如SparkStream,Flink等,使用起来简单、灵活。数据分析引擎数据分析引擎服务集成与编排服务集成与编排业务中台共享微服务共享微服务业务前台分析平台BI HANA API网关Vantiq数据集成数据分发服务集成服务分发共享微
6、服务共享微服务BI HANA HANA 通过Vantiq的服务编排功能,编排多个服务的业务流程,完成跨系统的服务集成与业务编排。 通过Vantiq使用服务集成,几乎不需要改造现有系统。 通过Vantiq的数据处理功能,解决服务集成过程中的异构数据问题。 通过Vantiq的快速开发与部署能力,实现新业务的快速响应。 Vantiq的数据处理与服务编排可以异步或同步执行。 Vantiq数据处理和业务处理的API也可以作为接口注册到API网关。服务集成与编排服务集成与编排全景运维监控系统全景运维监控系统智能运维平台网络拓扑应用拓扑Prometheus监控系统监控数据API接口插件插件插件插件Kuber
7、netes容器集群容器化应用虚拟机K8s组件其他.HBaseVantiq数据集成数据分发服务集成服务分发监控数据收集报警展示物联网平台智能终端智能终端设备设备设备设备 Vantiq作为数据分发、规则引擎 通过Vantiq接入Prometheus系统的各种监控数据 通过Vantiq接入物联网平台的有关设备的监控数据 通过Vantiq编写数据处理与规则,分发数据、触发告警。 将数据和告警灯发送到智能运维平台,它会以此生成网络拓扑图、应用拓扑图,根据告警在拓扑图上追踪和分析故障源全景运维监控系统全景运维监控系统现有物联网平台现有物联网平台业务平台客户服务营销服务GIS服务工单服务物联网平台设备接入设
8、备认证设备设备设备设备大数据平台KafkaHadoopSpark其他.HBase 现有的物联网平台,都是提供接入功能,也就是设备接入、认证,数据传输、加密,以及设备监控等。 物联网平台将数据写入大数据平台,大数据平台再进行定时或实时计算,保存结果。业务系统再将结果定时取出来,进行业务相关处理。 这种方案: 不能实时处理设备数据。 不能实时集成业务系统。 大数据平台的开发比较复杂,不能灵活响应业务变化。物联网应用物联网应用业务中台客户服务营销服务Vantiq数据验证数据分发规则判断统计计算GIS服务工单服务物联网平台智能终端智能终端设备设备设备设备大数据平台KafkaHadoopSpark其他.
9、HBase 原先由各个系统接入物联网数据,现在要由统一的物联网平台接入。各业务系统从物联网平台订阅数据来使用。 Vantiq接收物联网设备的数据,进行实时计算,数据验证、规则判断 对于需要大数据的复杂计算,Vantiq将计算的消息发送到大数据平台进行分析计算,并取回结果。 Vantiq将计算结果发送到业务系统、分析系统,或者发到Kafka给其他系统使用物联网应用物联网应用VANTIQ的优势的优势-敏捷开发敏捷开发需求分析产品设计软件设计开发测试部署上线需求分析业务设计与开发上线传统开发:一个简单的业务变更都需要几个月才能完成,如果这个变更涉及多个业务系统联动,耗时更久基于Vantiq实现使用V
10、antiq实现部分业务,并用Vantiq调用现有应用实现服务编排。通过Vantiq的快速开发和热部署,快速实现新业务的支撑。不变的业务在业务中台实现,变化的部分在Vantiq实现,通过不断完善实现业务中台的共享微服务的职能。VANTIQ的优势的优势-集成集成大数据平台分析平台数据中台业务中台共享服务DB分析型DB业务后台SAPERP物联网平台视频识别智能终端设备设备摄像头HadoopSparkHBaseKafkaHiveStorm缓存数据库分析系统BI系统Flink.BI系统数据仓库VANTIQ共享服务共享服务共享服务RestAPIJDBC连接器KafkaMQTT事件平台事件AMQP响应规则VANTIQ的优势的优势-可视化流程编排可视化流程编排订单微服务库存微服务用户微服务项目微服务财务微服务业务中台VANTIQ平台业务流程