1、解决思路行业实践总结1 问题分析基于大数据的电子政务解决方案 2 问题分析解决思路行业实践总结问题问题 分析分析解决解决 思路思路行业行业 实践实践总结总结1234目录页目录页Contents Page 3 问题分析解决思路行业实践总结问题问题 分析分析解决解决 思路思路行业行业 实践实践总结总结1234 目录页目录页Contents Page解决思路行业实践总结4 问题分析问题分析问题分析信息资源共享难 缺乏统一数缺乏统一数 据标准据标准信息孤岛现信息孤岛现象严重象严重分析利用分析利用 程度程度低低信息共享难信息共享难 度大度大数据安全缺数据安全缺乏保障乏保障缺乏统一资缺乏统一资 源目录源目
2、录解决思路行业实践总结5 问题分析问题分析问题分析电子政务建设的问题 4 4 项目建设项目建设运维成本运维成本高高 电子政务电子政务 1 1 缺少总体缺少总体顶层规划顶层规划 2 2 条块分割条块分割纵强横弱纵强横弱 3 3 I IT T资源利资源利用率低用率低 标准不一、重复建设、粗放式建设1 1 2 2 各自为政、信息共享难、业务协 同更难3 3 基础设施利用率低、数据价值没有发挥4 4 投资成本高、缺乏专业运维团队、运维成本高、时间成本高（部 署、开发）。解决思路行业实践总结6 问题分析问题分析问题分析电子政务的大数据建设目标（1）构建政务大数据处）构建政务大数据处理理的交的交换换、整、
3、整合合、共、共享享、分、分析析与服与服务务的软的软件件平台平台（2）建立覆盖政务数据）建立覆盖政务数据定定义、义、存存储、储、管管理、理、共共享、享、分分析析与与服服务的务的标标准体系准体系（3）不）不断断整合整合各各类基类基础础设设施资源、数施资源、数据据资源资源，支支撑撑大大数据业务的数据业务的持持续发展续发展7 问题分析解决思路行业实践总结问题问题 分析分析行业行业 实践实践总结总结34 目录页目录页Contents Page解决思路2 21 1解决思路行业实践总结8 问题分析解决思路解决思路分布式数据中心架构 政府公共数据中心政府公共数据中心教育教育行业数据中心行业数据中心卫生卫生行业
4、数据中心行业数据中心交通交通行业数据中心行业数据中心其他其他交通监控系统公交调度系统机动车/驾驶 员管理系统停车引导系统摄像头GPSETC传感器解决思路行业实践总结9 问题分析解决思路解决思路逻辑库与物理库 卫生卫生公安公安教育教育远程物理库远程物理库缓冲库缓冲库基础库基础库内存内存闪存闪存硬盘硬盘分级缓存分级缓存分布式查询引擎分布式查询引擎逻逻 辑辑 库库分分 布布 式式 资资 源源 索索 引引资资 源源 调调 度度本地物理库本地物理库远程资源调度远程资源调度本地资源调度本地资源调度资源定位资源定位资源检索资源检索解决思路行业实践总结10 问题分析解决思路解决思路以数据流为主线，实现以数据流
5、为主线，实现从从数据数据采采集、集、数数据管据管理理、数、数据据服务服务到到数据数据应应用用4个个阶阶段的段的全全过程过程管管理理大数据生命周期 数据库数据库数据文件数据文件数据接口数据接口非结构化非结构化数据数据异构数据源异构数据源质量控制质量控制标准化标准化规整规整汇集汇集转换转换清洗清洗元数据库元数据库结构化数据库结构化数据库分布式文件库分布式文件库数据仓库数据仓库数据比对数据比对分析服务分析服务报表服务报表服务资源目录资源目录信息共享信息共享数据展现数据展现决策支持决策支持抽取抽取 报送报送分类分类 存储存储数据数据 接口接口服务服务 提供提供数据采集数据采集数据管理数据管理查询服务查
6、询服务数据服务数据服务数据应用数据应用解决思路行业实践总结11 问题分析解决思路解决思路相关技术 数数 据据 分分 散散 不不 规规 范范 问问 题题数数数数据据据据涉涉致致密密性性不不问问能能题题 落落 地地 问问 题题数数 据据 标标 准准 不不 一一 致致数数数数据据据据质质安安量量全全问问性性题题问问 题题数数数数据据据据深深可可入入视视分分化化析析程程不不度度够够低低结结 构构 化化 大大 数数 据据 存存 储储非非 结结 构构 化化 数数 据据 存存 储储解决思路行业实践总结12 问题分析解决思路解决思路“三张皮”变“一张皮”业务业务业务 应用应用应用 12N资源 资源 资源 数据
7、 数据 数据 共享 共享 共享 分析 分析 分析 应用1 应用2 应用N 应用1 应用2 应用N业务业务库库 OLTP共享库共享库三类数据资源三类数据资源主题主题库库 OLAP数据整合共享数据数据建模大数据平台大数据平台解决思路行业实践总结13 问题分析解决思路解决思路政务大数据应用架构 标标 准准 规规 范范 体体 系系基础基础 设施设施服务器服务器存储存储网络网络资源整合、虚拟化管理、按需分配财政建委应用应用支撑支撑业务报告业务报告图表展现图表展现监测警报监测警报Office集成集成领导驾驶舱领导驾驶舱工作流引擎工作流引擎KPI仪表盘仪表盘ESB即席查询即席查询SOA资源共享、业务协同、决
8、策分析、资源共享、业务协同、决策分析、信信息门息门户户、发改委应用应用平台平台数据集市数据集市 主题主题域数据库域数据库ODS采集、整合、服务、监管采集、整合、服务、监管社管社管卫生卫生环保环保交通交通教育教育建交委建交委公安局公安局规划局规划局卫生局卫生局教育局教育局安安 全全 防防 护护体体 数数 据据系系 中中 心心解决思路总结14 问题分析解决思解决思路路行业实践实现数据采集、交换、实现数据采集、交换、整整合、合、管管理及理及共共享等享等全全生命生命周周期管期管理理，能，能实实现数现数据据的集的集中中及分及分布布式式 存储，为政府大数据项存储，为政府大数据项目目提供提供基基础支础支撑撑
9、和保障和保障达梦大数据平台 解决思路行业实践总结15 问题分析解决思路解决思路大型大型通用通用关系型关系型云数据库云数据库安全安全自主自主DM7联机分析处理联机分析处理（列存库）（列存库）联机事务处理联机事务处理（兼容（兼容 oracle）大数据处理大数据处理（MPP数据库）数据库）安全保护ODBCJDBCPL/SQLOCIPDOADO统一接口达梦大数据平台数据存储类（DM7）列存表DMMPP智能索引并行加载解决思路行业实践总结16 问题分析解决思路解决思路达梦大数据平台数据存储类（MGBase）MasterMasterMaster数据 服务器数据 服务器列实例列实例列实例数据服务器 面向列的
10、分布式面向列的分布式NoSQL型数据库型数据库 构建于分布式文件系构建于分布式文件系统之上统之上 适用于半结构化和非适用于半结构化和非结构化海量数据存储结构化海量数据存储 解决思路行业实践总结17 问题分析解决思路解决思路达梦大数据平台异构分布式查询 TXT、EXCEL、XML和和WebService等其等其 他数据源他数据源关系型数据库关系型数据库综合查询系统综合查询系统资源目录系统资源目录系统缓存管理缓存管理中心节点中心节点安安 全全 管管 理理全全 局局 数数 据据 字字 典典 管管 理理分布式查询处理分布式查询处理会会 话话 管管 理理数据访问代理数据访问代理内存内存闪存闪存 硬盘硬盘
11、本地分级缓存本地分级缓存非关系型数据库非关系型数据库数据访问代理数据访问代理业务节点业务节点各类数据源各类数据源数据访问代理数据访问代理业务节点业务节点各类数据源各类数据源数据访问代理数据访问代理前置节点前置节点各类数据源各类数据源数据访问代理数据访问代理分数据中心节点分数据中心节点各类数据源各类数据源数据访问代理数据访问代理业务节点业务节点各类数据源各类数据源数据访问代理数据访问代理前置节点前置节点各类数据源各类数据源 采用一致接口访问本采用一致接口访问本地、远程数据源地、远程数据源 支持多级代理，适应支持多级代理，适应复杂网络部署复杂网络部署 支持关系数据库、数支持关系数据库、数据文件、数
12、据接口、据文件、数据接口、NoSql数据库数据库 解决思路行业实践总结18 问题分析解决思路解决思路前置交换库前置交换库前置交换库前置交换库前置交换库前置交换库前置交换库前置交换库业务信息库业务信息库达梦数据交换系统达梦数据交换系统数据中心数据中心业务信息库业务信息库业务信息库业务信息库业务信息库业务信息库业务信息库业务信息库 前置交换库前置交换库交换管理交换管理 支持异构数据源采集支持异构数据源采集OracleSql ServerDM dbmsDB2MySqlSybaseExcel文件其它文件 支持多级单位间的数支持多级单位间的数 据交换据交换 解决不同单位、不同系解决不同单位、不同系统统之
13、间之间的的数据数据采采集、集、数数据交据交换换等要等要求求。发改委发改委建委建委财政局财政局规划局规划局审计局审计局达梦大数据平台数据交换类（DMETL）解决思路19 问题分析解决思解决思路路行业实践总结1.数据备份数据备份2.OLAPOLTP分离分离3.实时同步实时同步4.灾备灾备达梦数据同步软件达梦数据同步软件(DMHS)是是支支持异持异构构环境环境的的高性高性能能、高、高可可靠、靠、高高可扩可扩展展数据数据库库实时实时同同 步复制系步复制系统统。对源系统。对源系统的的资源资源消消耗低耗低，数据数据同同步速步速度度快，快，支支持故持故障障恢复恢复后后断点断点续续传。传。达梦大数据平台数据交
14、换类（DMHS）解决思路行业实践总结20 问题分析解决思路解决思路达梦大数据平台数据交换类（请求服务引擎）分布式请求服务引擎分布式请求服务引擎穿透内外网请求转发远程服务代理中心/分中心一体 化服务分布式请求服务引擎解决数据不能落地的远程数据访问问分布式请求服务引擎解决数据不能落地的远程数据访问问题题。请求响应列表请求响应列表请求响应协调器请求响应协调器请求响应服务器请求响应服务器请求监听列表请求监听列表数据查询器数据查询器请求转发器请求转发器比对比对 请求请求交换交换 请求请求查询查询 请求请求任务池任务池内网内网外外网网外网请求服外网请求服 务数据库务数据库内网请求服内网请求服 务数据库务数
15、据库数据交换平台数据交换平台解决思路行业实践总结21 问题分析解决思路解决思路达梦大数据平台数据管理类（元数据管理）数据标准数据标准 元数据仓库元数据仓库 自动获取自动获取 关系维护关系维护 版本管理版本管理 导入导入/导出导出 元数据应用元数据应用元数据元数据数据来源数据来源数据仓库数据仓库 设计设计业务分析业务分析数据转换数据转换 工具工具业务视图业务视图数据仓库数据仓库 业务主题业务主题统一数据标准，全过程元数据记统一数据标准，全过程元数据记录，录，解决思路行业实践总结22 问题分析解决思路解决思路利用利用ETL工具工具异构数据源支持图形化设计器丰富的清洗转换组件基于插件模式扩展实现数据
16、的清洗、转换实现数据的清洗、转换、规整规整、治理治理、标准标准化化等等达梦大数据平台数据管理类（数据整合）解决思路行业实践总结23 问题分析解决思路解决思路数据管理数据管理 数据维护数据维护 数据权限数据权限 数据发布数据发布 备份备份/恢复恢复 导入导出导入导出 基于元数据，通过快速基于元数据，通过快速配配置实置实现现对数对数据据的基的基本本管理管理、访问访问权权限限控制与发布等功能控制与发布等功能达梦大数据平台数据管理类（数据资源管理）解决思路行业实践总结24 问题分析解决思路解决思路达梦大数据平台数据管理类（资源目录）收集整理所有相关系统、相关数据、相关服务等资源信收集整理所有相关系统、
17、相关数据、相关服务等资源信息息 方便用户寻找有用的信息方便用户寻找有用的信息解决思路行业实践总结25 问题分析解决思路解决思路达梦大数据平台数据管理类（数据质量管理）数据源数据源1数据源数据源n数据仓库数据仓库数据共享库数据共享库ETL完整性完整性校验校验准确性准确性 性校验性校验质质 量量 监监 控控质质 量量 报报 告告质质 量量 治治 理理 质质 量量 规规 则则 监监 控控数数 据据 探探 测测 服服 务务数据质量管理包括：数据质量管理包括：质量标准定义 质量规则设置 问题数据采集 问题数据管理 问题数据分析 数据治理实现数据质量监控、报实现数据质量监控、报 告及治理告及治理解决思路行
18、业实践总结26 问题分析解决思路解决思路网 络 服务池 服 务 注 册 中 心 服务总 线(ESB)服 务 调 度 器 其它系统其它系统 用户用户 异质异构服务集成；分布式服务集成。简化服务的提供和使用！达梦大数据平台数据管理类（服务管理平台）解决思路行业实践总结27 问题分析解决思路解决思路达梦大数据平台数据仓库建模工具 1.用于数据仓库建模用于数据仓库建模2.辅助数据仓库实施人员完辅助数据仓库实施人员完成成 从数据仓库概念设计从数据仓库概念设计 到最终物理实现全程到最终物理实现全程解决思路行业实践总结28 问题分析解决思路解决思路达梦大数据平台OLAP分析 1.支持支持ROLAP、MOLA
19、P、HOLAP2.支持星型模型、雪花模型支持星型模型、雪花模型3.标准化标准化MDX语言语言4.二次开发：二次开发：支持支持OLAP访问接口访问接口 支持支持XMLA协议协议 图形化查询工具图形化查询工具解决思路行业实践总结29 问题分析解决思路解决思路达梦大数据平台数据挖掘工具 数据源类型丰富数据源类型丰富 文文 件件 关系数据关系数据 多种挖掘分析方式多种挖掘分析方式 分类与回归分分类与回归分析析 聚类分析聚类分析 URL 管理分析管理分析多种挖掘分析算法多种挖掘分析算法 序列分析序列分析 Apriori 可视化挖掘可视化挖掘 BFTree FarthestFirst 应用系统可集成应用系
20、统可集成解决思路行业实践总结30 问题分析解决思路解决思路达梦大数据平台BI工具 提供丰富的展现形式 网络报表 分组报表 多维行列统计 卡片报表 线 图 面积图 提供应用集成接口解决思路行业实践总结31 问题分析解决思路解决思路达梦大数据平台数据门户 解决思路行业实践总结32 问题分析解决思路解决思路达梦大数据平台一张图呈现 基于地理信息、移动终端等多种方式呈现33 问题分析解决思路行业实践总结问题问题 分析分析解决解决 思路思路总结总结2 目录页目录页Contents Page11解解行行决决业业思思 实实路路践践3 34解决思路行业实践总结34 问题分析行业实践行业实践行业实践公安行业 公
21、安的 数据来 源？公安数 据的特 点？容量大结构多样化不断增长价值密度低物理分散视频监控卡口旅店网吧PGIS通信记录解决思路行业实践总结35 问题分析行业实践行业实践行业实践公安行业 异构异构OLTP、OLAP一体化，应用层透明切换一体化，应用层透明切换Oracle RACDMHSEP01EP02EP03EP04DM MPP数据量数据量：1.6T（不含大对象）（不含大对象）数据库并发连接：数据库并发连接：200-300个个对比对比项项警务平台生产警务平台生产库库(oracle rac)平均响应时间平均响应时间警务平台分警务平台分析析库库(dm mpp)平均响平均响应应时时间间人口统计人口统计1
22、00秒16秒接处警统计接处警统计130秒13秒治安盘查统计治安盘查统计110秒15秒治安管理统计治安管理统计120秒17秒案件查询统计案件查询统计140秒16秒主机主机类型类型节点数节点数CPURAMDM-MPP4Xeon E5-2620 2.00GHZ*4192GOracle RAC2Xeon E5-2680 2.70GHZ*4256G解决思路行业实践总结36 问题分析行业实践行业实践行业实践公安行业 DM MPPXxx省公安厅最大单表：24.1亿行数据存储方式：MPP，哈希分布 精确查询时间：1秒Xxx大数据量性能支撑大数据量性能支撑行业实践总结37 问题分析解决思路行业实践行业实践融合省
23、厅、市局、外部融合省厅、市局、外部数数据资据资源源，基，基于于分布分布式式查询查询，为领为领导导、业、业务务部门部门、外部外部用用户户 提供透明的数据即服务。提供透明的数据即服务。分 布 式 查 询 引 擎内 网 数 据 服 务 平 台外 网 数 据 服 务 平 台综 合 基 础 资内 网 共 享 资源 库外 网 共 享 资源 库数 据 仓 库 人 口 主 题 案 件 主 题 公公安安内前网置服服务务区区综 合 基 础 资 源 库xxx市 公 安 请 求 服 务 引 擎x x x 市 公 安 请 求 服 务 引擎第 三 方 系 统警 综 系 统.大 情 报 系 统界01外 网 请 求 服 务
24、引 擎01001001100101101101010101110101010100110101内 网 请 求 服 务 引 擎010010011001011011010101011101010101001101010010011001011 源 库01101010101110101010100110101 综 合 基 础 资源 库 行业实践公安行业 解决思路行业实践总结38 问题分析行业实践行业实践行业实践公安行业 建成全省统一标准建成全省统一标准 的数据的数据资源目录资源目录125个数据元标个数据元标 准和准和1358个数个数 据项据项被被公安部采公安部采 纳推广纳推广370个数据元个数据元
25、标准标准12万个数据项万个数据项该省被确定为全国该省被确定为全国 四个四个资源服务试点资源服务试点 单位之一单位之一数据资源数据资源解决思路行业实践总结39 问题分析行业实践行业实践固化经验，服务实战固化经验，服务实战行业实践公安行业 基于大数据的基于大数据的 动态专题模型库动态专题模型库技技战战 法法100 余余种种模模块块化化开开 发发应应用用 理理念念业务业务需求需求业务业务模模 模模型型型型算法公式固定提取方法算法公式固定提取方法各类技战法变各类技战法变成成模型模型 保保留留在云中在云中全警随时可以调用全警随时可以调用 提升了核心战斗力提升了核心战斗力口袋、脑袋中的经验口袋、脑袋中的经
26、验放在云上共享放在云上共享解决思路行业实践总结40 问题分析行业实践行业实践动态权限，方便全警应用动态权限，方便全警应用行业实践公安行业 高级权限高级权限普通权限普通权限侦查权限侦查权限高级权限高级权限侦查权限侦查权限普通权限普通权限按需申请按需申请网上审批网上审批自动收回自动收回传统方式传统方式动态权限管理动态权限管理 技术技术公安云动态公安云动态权限变更权限变更解决思路行业实践总结41 问题分析行业实践行业实践地质灾害预警决策与应地质灾害预警决策与应急急指挥指挥行业实践地质灾害行业 元数据 管理平台建库 更新 审核 发布 存储授权 查询 备份 恢复 导入 导出敏感数据库基础数据库操作数据库
27、空间数据库管理数据库 地质灾害防治 数据仓库元数据库网络、服务器、存储设备，操作系统、ArcGIS 数据获取系统单机版系统采集 直接输入 GPRS无线传输及短消息传输 通信平台传输 视频会议 采集数据 网络传输 数据中心连接ETL数 数系 系体 体 案据 据 数 标 质 安 据 准 量 全 存 与 管 管 储 政理 理 方 策数据仓库管理 ETL数据访问服务数据 管理专业属性数据库分析处理应用预警决策支持与应急指挥系统 地质灾害预测预报系统防治工程措施分析及评估系统 预测预报分析及评估系统事务处理应用灾害立体地质图建设系统 治理工程设计信息系统 勘察信息系统三维地质灾害体系统OA管理子系统 系
28、统管理子系统 数据管理平台 数据采集子系统基于GIS的稳定性评价系统 数据维护子系统数 据 质 量 管 理工 具元数据服 务 层查询删除修改 插入 订阅发布 分析 处 理 层操 作 处 理 层 脱密数据 复制源 数 据 层基础环 境层 应 用 层30多个业务系统 上千种地质数据，空间数 据、专业属性数据、管 理数据 网络整合、技术整合、数据整 合、应用整合、文档整合 行业实践总结42 问题分析解决思路行业实践行业实践基于全国产化软硬件平基于全国产化软硬件平台台构建构建横向横向打打通通政政法法委、委、公公安安厅厅、检察检察院院、法院、司法厅、安全厅法院、司法厅、安全厅六六个部个部门门专专 网，实
29、现案件流转网，实现案件流转纵向服务于省、市、县纵向服务于省、市、县、乡四乡四级级用用户，提升办公效率户，提升办公效率行业实践政法行业 行业实践总结43 问题分析解决思路行业实践行业实践行业实践政府公共数据服务 主题数据仓库数据 集市元数据库数据仓库 管理平台综合资源库智慧教育智 慧 应 用安 全 保 障 体 系运 维 管 理 体 系数标据准中规心 范 体 系分中心分中心全文检索数据分析 平台数据质量 平台元数据 管理平台文档管理 平台数据整合 平台请求服务引擎SOA服务 平台数据交换平台数据资源 管理平台WEB GIS 3D GIS智慧医疗智慧交通智慧社区公共信息门户信息资源目录整合各整合各委
30、委办办局局分散的分散的数数据据资资源，源，构建全局的资源目录，构建全局的资源目录，提提供数供数 据交换服务据交换服务构建基构建基础础信信息息库：人库：人口口、法法人、人、地理信息、宏观经济、地理信息、宏观经济、为公共服务提供数据支撑为公共服务提供数据支撑浦东新区公共数据中心浦东新区公共数据中心 襄襄阳市数据中心阳市数据中心扬州市政务资源目录扬州市政务资源目录武汉市资源目录和数据武汉市资源目录和数据交交换换解决思路行业实践总结44 问题分析行业实践行业实践行业实践其他案例 序号序号项目名称项目名称1湖北省电子政务一期工程项目人口库湖北省电子政务一期工程项目人口库2湖北省电子政务一期工程项目宏观经
31、济库湖北省电子政务一期工程项目宏观经济库3辽宁省数字消防综合信息平台辽宁省数字消防综合信息平台4温州市人口信息综合管理系统温州市人口信息综合管理系统5安徽招商数据中心安徽招商数据中心6公安部消防局决策分析平台公安部消防局决策分析平台7襄樊市工业数据中心襄樊市工业数据中心8江阴市宏观经济库项目江阴市宏观经济库项目9成都数据中心成都数据中心10商务部产业安全平台商务部产业安全平台11XX军区信息整合平台军区信息整合平台12XX厅综合信息管理平台厅综合信息管理平台45 问题分析解决思路行业实践总结问题问题 分析分析解决解决 思路思路行业行业 实践实践总结总结23 目录页目录页Contents Pag
32、e411解决思路行业实践总结46 问题分析总结总结总结 特点特点1：一体化数据采集、整合一体化数据采集、整合、管理管理、服务服务的的软件软件框框架，架，有效支撑大数据时代的数据处理需有效支撑大数据时代的数据处理需求求。解决思路行业实践总结48 问题分析总结总结总结 特点特点3：建立了多部门间的数据建立了多部门间的数据交交换共换共享享机制机制及及自动自动化化支支撑撑 平台。平台。公安消防医疗前置机前置机前置机综合基础资源库前置机数据交换平台服务住建委各委办局前置机前置机专网、电子政务网解决思路行业实践总结49 问题分析总结总结总结 特点特点4：建立物理库与逻辑库，建立物理库与逻辑库，实实现数现数据据分布分布式式存储存储，降降低低 数据存储压力，提高热点数据访问数据存储压力，提高热点数据访问性性能。能。解决思路行业实践总结50 问题分析总结总结总结 特点特点5：基于传统基于传统BI与与GIS结结合合的数的数据据分析分析挖挖掘，掘，基基于于dashboard与与“一张图一张图”的信息展示。的信息展示。51 问题分析解决思路行业实践总结谢谢谢谢
