1、大数据可视化平台建设方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案1.1.大数据平台建设目标大数据平台建设目标2.2.大数据平台规划及架构大数据平台规划及架构3.3.大数据平台建设内容大数据平台建设内容目 录Contents4.4.建设策略及方法建设策略及方法智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Part 1大数据平台建设目标智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据平台的建设目标数据集中与整合1数据存储与处理2数据交换与共享3数据管控与治理
2、4提升决策和风险防范水平提高社会治理的精准性和有效性提高服务能力与水平促进创新服务优化管理资源整合、信息共享、业务协同形成国家政府数据统一开放平台建设内容建设目的大数据平台智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Part 2大数据平台规划及架构智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据管理平台规划系统运维分析决策人员数据服务数据采集结构化及非结构化数据非实时采集系统运维规范与流程调度与监控配置与变更体制与机制数据存储数据管理数据标准元数据数据质量数据安全非结构化数据分布式存储集群灾备与恢复统
3、一规划与运营数据资产管理规划数据中心整体架构实施路线图规划BIU建设基础设施主机存储通信网络虚拟化操作系统数据库信息源流数据实时采集结构化数据仓库分析数据集市数据资源数据共享数据交换数据分发数据分析应用功能管理驾驶舱门户查询/检索统计分析数据挖掘预警告警大数据分析安全与审计开发人员运维人员智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据管理平台架构数据安全数据质量数据标准云平台业务数据OracleDB2MangoDBETL数据采集数据交换信息共享数据应用数据计算数据存储结构化数据非结构化数据HDFS关系表外部表MPP并行SQL水平分区垂直分区R语
4、言高级分析内置数据挖掘算法标准应用接口JDBC、ODBC等KingbaseDBCloud元数据数据治理数据挖掘多维分析灵活报表决策仪表盘地图分析自助分析KingbaseSmartBI数据分析 Smartbi Mobile Smartbi dataIn数据分析智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Part 3大数据平台建设内容智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据平台建设内容nETL架构与工具n数据库软件平台智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整
5、体解决方案金仓ETL流程结构图智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案金仓ETL 全面的数据访问与平台支撑支持符合ODBC/JDBC接口规范的46种数据库系统OracleKingbaseESMySQLDB2SQL ServerInformixSybase支持主流的国内外操作系统Windows 系列/Linux系列Hadoop智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据平台建设内容n数据库软件平台n数据架构设计n数据模型设计智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服
6、务平台整体解决方案KingbaseDBCloud 系统架构lKingbaseDBCloud是顺应大数据和云计算时代PB级海量数据处理而推出的高性 能、高可用、高扩展和支持全局事务的并 行分布式云数据库系统。l支持 OLTP 和 OLAP两种典型应用场景,使党政军及企业 级应用在处理业务的同时具有大数据分析 能力,可以有效构建100TB-PB级海量云数据中心。l采用Share-Nothing架构,包括负载均衡节点、协调节点、存储执行节点 和全局事务管理节点四大组件,每个组件均可以根据实际情况按需添加。l在KingbaseDBCloud架构基础上,增加对HDFS文件存储的支持,实现SQL和NoSQ
7、L统一访问接口,同时支持SQL和NoSQL查询处理智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案KingbaseDBCloud-系统功能数据处理数据存储结构化数据非结构化数据HDFS关系表外部表MPP并行SQL水平分区垂直分区R语言高级分析内置数据挖掘算法数据共享(标准应用接口JDBC、ODBC等)KingbaseDBCloud智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据平台建设内容n统一应用平台n应用架构设计n典型应用(管理驾驶仓、报表系统等)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解
8、决方案智慧小区云服务平台整体解决方案KingbaseSmartBI 应用功能体系 Smartbi Office Addin(开发)Smartbi 信息交付门户(在线报表、报告、仪表盘)Smartbi BI处理引擎多维数据库关系数据库Nosql数据库数据仓库监控视频3rd SDK Smartbi dataIn Smartbi Mobile决策仪表盘多维分析统一语义模型地图分析任务调度灵活报表所有数据源所有访问终端 SmartbixQuery3rd ToolSmartbi 数据补录+Smartbi绝不是个报表设计器,而是个集成、扩展的平台智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案
9、智慧小区云服务平台整体解决方案直观的图形展现表现形式丰富:内置全国地图(到区县级)、表格、油量图、泡泡图、雷达图、地图、柱图、饼图、曲线图等丰富的数据展示形式动态画图效果,生动形象 智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据平台建设内容n数据管控体系框架n数据标准n数据质量n元数据智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据管控体系框架数据整合域数据管控域技术体系组织体系管理体系数据标准标准定义标准映射标准执行标准维护元数据业务元数据技术元数据元数据维护元数据应用数据质量数据质量指标体系数据
10、质量分析数据质量改进数据安全权限管理统一认证数据防护安全审计数据质量检核数据集中实时数据集中批量数据集中数据集中策略数据整合数据转换与清洗数据加工数据整合模型组织架构角色与技能分工与职责制度流程方法数据服务域数据服务配置数据服务定制数据服务数据目录数据服务管理服务配置服务目录服务审计数据检索数据存储智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据标准建设流程标准范围包含哪些?目前的状况如何?标准应该是什么样?这些内容都在哪儿?标准应该如何执行?如何维护管理标准?智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方
11、案数据质量管理方法监控监控(发现问题)(发现问题)分析分析(分析问题)(分析问题)修正修正(解决问题解决问题)跟踪跟踪(执行监督执行监督)依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制,在第一时间发现数据质量问题,为数据质量问题分析提供原始依据 依据各系统的监控信息,对异常指标进行跟踪,提交相关数据质量问题报告,注重对分析过程中知识的积累 提出相应的解决方案和解决期限,方案和期限经评审通过后将正式进入修正过程 对于每一份数据质量问题报告都会进入问题跟踪库,确保数据质量问题可查、可跟踪及时性、完善性、合法性、准确性、唯一性监控问题分析、数据质量问题报告、知识库积累源系统、数据
12、平台、应用系统 关键:编号、解决期限、责任人数据质量监控系统数据质量报告分析系统数据质量修正系统数据质量BUG管理系统智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案元数据来源业务系统外部文件ETL服务器EDW/ODS/数据集市系统运行结构技术数据结构业务数据结构DW映射关系ETL程序信息数据转换规则数据清洗规则数据处理过程物理模型数据结构数据字典及敏感级别程序库数据库目录KPI关键业务指标数据分析模型数据库目录安全认证访问控制帮助文档结构OLAP服务器WEB服务器应用服务器门户服务器手工补录源数据层ETL过程层数据仓库层应用服务层门户层用户用户智慧小
13、区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案元数据应用n数据地图n血缘分析n影响分析智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据管控体系建设策略智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Part 4建设策略及方法智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据平台建设思路建议业务创新期-平台搭建-数据整合-报表支持管理优化期业务支持期-专题应用-数据集市-数据管理-数据开放-创新业务技术主导业务参与业务需求技术支
14、持业务主动技术服务业务价值驱动从技术“推”到 业务“拉”的转变养育数据、由小而大、分期建设规划勾画骨架;项目填充血肉智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案p KingbaseDI 数据采集,ETL软件。对数据进行抽取、清洗、转换和加载。p KingbaseDBCloud 数据采集,对各种数据源的数据进行采集。数据存储,对采集后的数据进行存储,包括结构化数据和非结构化数据。提供数据分析功能,通过标准SQL以及内置R支持,进行数据分析。提供数据挖掘功能,通过内置的挖掘算法,进行数据建模、验证、挖掘分析。提供标准程序接口(ODBC、JDBC等),供
15、应用程序开发调用。提供丰富的数据类型支持,除SQL基本类型外,还提供XML、JSON等类型。p KingbaseSmartBI 统计分析 报表展现人大金仓-全面的数据管理与服务的产品和解决方案提供商智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案服务宗旨 您的问题我们来解决!多层次,快速高效服务方式分为非现场技术支持与现场技术支持,非现场技术支持采用电话、传真、互联网、邮件、远程登录等多种方式服务团队由数据领域资深工程师承担,技术出众、经验丰富、尽职尽责。服务项目围绕技术发展和需求变化,并可灵活组合高品质,灵活适用全方位,周全细致服务内容包括产品相关服
16、务(如培训、产品支持、移植测试、部署调优、定制开发、售后升级、运维巡检等)和解决方案相关服务(如方案咨询、方案设计、数据治理、数据集成、BI交付等)全方位以客户为中心全方位高品质多层次智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案服务体系-服务项目(包括但不限于)解决方案类BI类产品数据库类产品l开发态:产品培训、产品咨询、技术支持、配置优化、应用迁移、系统测试、安装调试、实施部署、产品定制l运行态:运维管理、现场值守、巡查检测、售后升级l开发态:产品培训、产品咨询、技术支持、BI实施、模型开发l运行态:新需求实施、现场值守、售后升级l开发态:方案咨询、方案开发、方案实施、应用开发支持、系统测试l运行态:运维管理、新需求实现、现场值守、巡查检测