工商数据中心架构创新之路.pptx

1、工商数据中心架构创新之路目录对架构的的基本理解工商数据中心的发展和现状工商数据中心改造的思路未来展望123413架构服务于战略目标提高部门职能履行水平和政务效能问题/目标门户网站App流程化软件统计警趋势预测综合评估XX许可系统XX模型XX检查系统XX管理系统X安全管理体系标准规范体系合规性判定 算法业务解决/制度创新方案系统一致平化台处理.数据库填I/O交换系统存储设备固定终端移动终端机房主机网络架构设计方法约束约束目标与任务（总体需求）业务、技术发展现状及趋势软件架构设计IT系统现状|软硬件功能架构逻辑架构约束数据架构技术实现架构约束逻辑部署架构IT基础设施架构（物理部署架构）约束约束标准

2、、规范26工商信息化发展概况整合、融合、一体化2003年1995年-2003年-今1984年-1995年联和通全和缺有和无统的商信息化体系总局数据中心建设经过了十年的积累数据共享、法人库、大数据加强市场服务和监管数据原始积累数据质量校核数据分析应用2006年起，总局陆续发布市场准入与退出数据规范-市场主体分册等10余部标准金信工程开始，总局数据中心建设2012年8月，企业登记管理数据分析总局发出2010年12月，企业局发布内资分析指引，为工商数据分析提供了业务指导标准2014年总局与安全部、中组部、高法、海关总署建立数据共享机制，2015年国务院出台大数据规划纲要、运用大数据加强监管与服务，关

3、于在全国工商行政管理系统开展“数据质量建设年”活动的通知系统项目招标完成，即将开始建设，标志着总局数据分析应用正逐步走向成熟2009年2012年2006年2010年2010年9月开始2011年20132014年年2014年8月，按2009年，总局在关于进一步加强工商行政管理信息化工作的意见，提出建立工商数据质量管理体系2011年5月外资登记数据分析系统开始建设，标志着总局信息化工作已经从业务系统建设开始迈2013初，总局牵头国 照李克强总理部建设工商总局数据质量校核系统，并开始了数据质量校核活动的序幕家四大基础信息资源库之一的国家法人单位信息资源库（简称法人库）项目建设。标志着工商数据正在为国

4、家基础信息建设发挥积极作用，为下一步深度应用奠定基础署，工商总局、发改委、中央编办牵头研究开展大数据加强市场服务和监管工作，创新服务监管理念和方式。入到数据分析应用的阶段8数据中心是工商信息化重点建设内容之一大数据监管与服务系统企业信用信息公示系统公共服务平台数据中心建设取得了显著的成效（1）两级数据中心框架总局综合业务门户总局领导 业务司局 中心领导 总局综合业务系统人员 总局数据管理人员 省局数据管理人员 建立了总 总局总局数据中心数据中心平台数据应用数据查询数据分析社会公众综合决策支持系统市场主体分析系统食品、非公党建等数据管理管理外资分析系统案件分析系统政府数据“供”享平台部门数据质量

5、校核 省局并承联网应用企业黑名单一人公司问题数据追溯食品禁业人员分析库数据分析情况统计与监控数据整合平台（ETL、内码主键）数据汇总通。省局数据中心省局业务系统数据应用情况统计与监控差异增量抽取转码库市场主体数据省局1备份库省局1汇总库数据预处理平台数汇总库代码对照文档12315数据据整合平台数据汇总情况统计与监控行政执法案件数据非公党建数据食品安全数据网络市场监管数据结构对照文档省局n备份库省局n总局登记数据数据运维管理汇总库已有系统在建部分需加强部分数据中心建设取得了显著的成效（2）管、数据中心建设取得了显著的成效（3）形成了数据质量管理为核心的数据保障体系 集中开展了2010-2012“

6、数据质量建设年”活动，印发了工商行政管理数据管理办法 开发了数据质量评价校核管理系统，建立数据质量监控、问题发现、反馈、整改、跟踪、通报日常工作机制 市场主体登记数据平均数据完整率、准确率、规范性分别达到97.81%、98.10%、97.27%，其他业务数据达到完整率95%、准确率98%。数据中心建设取得了显著的成效（4）提升了工商监管、服务能力 联网应用：黑牌企业、自然人一人公司、失信被执行人，“一处失信，处处受限”数据共享：住建部、人社部、民政部、国家统计局、国家税务总局、审计署等多个政府部门提供共享信息；服务地方经济社会发展，为北京金融行业数据分析、上海创新对口支援方式、河南中原经济区、

7、京津冀一体化建设提供重要数据支撑。数据分析：建设了企业（外资）登记管理数据分析系统，形成了企业发展与宏观经济关系分析和十七大以来全国内资企业发展分析、全国外商投资企业数据分析报告、全国内资企业生存时间分析报告等30余份报告，引起了广泛关注。标准标准规范应用、应用产生数据、数据促进应用数据中心建设基本经验总结（2）必须坚持走物理集中的道路生产库数据中心经办业总工商业务生产库总局务数据局数据中心省级局经办业务数据省局工商业务生产库数据中心外部数据协同应用地经办业务数据市级数据复制库级局县级局经济户籍数据库商标信息库经办业务数据其它各类主题数据库工商所经办业务数据数据中心建设基本经验总结（3）必须建

8、立工商特色数据治理体系以数据质量为核心足数据时空特征防范总局主体准入监控市场协同业务平台监管估市场主体行政执法省局省局市场客体消保维权商标注册管理市局市局市局数据治理体系与“多业务、多层级、多系统”紧密关联数据中心建设基本经验总结（4）必须大力推进数据应用 数据必须能够支撑领导决策分析，尤其是与处理好数据与统计的关系，否则数据分析将受限 数据必须能够支撑监管与服务，否则数据的价值就不能更好的发挥 只有数据应用的引领才能更好的推进数据中心建设数据中心建设的问题和难题 数据中心建设具有金字塔特征，牵涉面广，不单纯是一个技术问题，是一个管理问题，目前缺乏约束力 数据中心建设符合木桶原理，牵涉到31省

9、，往往短板制约整体效果 目前两级数据中心数据管控能力不足、运行支撑能力不足，总局省局工作耦合度高，数据上报不及时、不完整、不稳定、不一致等问题 统计报表与数据中心生成数据不一致，制约了数据分析工作的开展 08年建设至今基础设施没有升级过，性能受限小结有付出有成效有问题有经验320国家大数据战略要求 进一步加快人口、法人单位、空间地理、宏观经国务院办公厅关于促进电子政务协调发展的指导意见（国办发201466号）济等国家基础信息资源库共建共享；推进信息资源共享共用和数据开放利用 加强和规范政府数据采集。建立政府信息资源管理体系国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见（国办发20

10、1551号）高效采集、有效整合、充分运用政府数据和社会数据 加快政府数据开放共享，推动资源整合，提升治国务院关于印发促进大数据发展行动纲要的通知（国发201550号）理能力 政府数据资源共享开放工程 国家大数据资源统筹发展工程 政府治理大数据工程国家深化商事制度改革要求放管服 注册资本制 小微企业名录系统工商总局企业信用信息公示系统度等改革 三证合一、双告知一照一号 协同监管 38部门联合惩戒 统计数据生成的需要工商部门正面临着深化商事制度改革、加强事中事后监管、适应体制调整的新形势。信息化建设要求工程驱动国家法人单位信息资源库(一期)工程社会信用信息共享交换试点工程国家电子政务内网工程数据可

11、用性可持续性信息化驱动建成国家经济户籍数据库形成工商大数据资源体系须保证全国数据的归集集汇总技术驱动云计算大数据国产化替代16/11/2小结公示系统数据中心升级改造原则u应用导向、突出服务u统筹规划、分步实施u保护投资、深化完善u技术前瞻、实用为本u着眼未来、注重运维数据中心升级改造总体思路p 从分析型主题库建设向数据仓库、产系统转变p 从满商应用向满国家、部门、社会应用转变p 从单数据质量管理向构建数据治理体系转变p 从传统IOE架构向分布式、云计算模式转变数据中心升级改造总体思路理想数据中心构架问题分析效果数据转码前置在前端可实现有效的数据监控,防范脏数据进入汇总体系,殃及全国能够大大压缩

12、问题数据的反馈周期简化问题数据的追溯复杂度,管理协调的复杂度处理效能瓶颈数据质量不可控数据源不稳定数据稽核前移数据源监控管理系统化新技术的运用公示优先策略管理缺乏系统支撑源数据丢失增量异常未正常上报数据源监控数据同步机制不上报部分业务数据数据与文档不同步源表锁定省局负责标准化总局制定规格省局上报监控系统清洗转换周期长源表锁定上报与抽取冲突每日对账并行计算基础升级没有数据监控手段监控平台管理协作平台缺少针对数据管理的协作沟通平台16/11/2技术路线u分布式并计算uMPP架构u数据处理流线u云服务的关键技术u资源虚拟化u数据处理虚拟化u数据主题化u数据治理关键技术u元数据、标准、质量、模型管理u

13、采集、存储、数据仓库数据中心系统构成视图省局前置区总局区数据管理与应用提升数据服务能力-服务不稳定新建改造数据管理协作系统数据监控系统统计数据 联网应用生成 共享平台待建-服务方式单一提升数据汇总效能-部分省份数据汇总周期长-清洗转换周期长提升数据管控能力-数据质量仅有事后评估-缺少针对数据管理的协作沟通平台数据通数据清洗整合系统数据同步数据源稽核前移抽取比对汇聚系统并行处理升级 道系统基础设施云支撑平 分布式计算前置机升级数据中构成视图整体优化：分布式数据库、分布式处理、并行计算、云计算、基础设施升级可扩展优化：考虑节点纵向可扩展、业务横向可扩展关键环节0：上报环节对比对比 现状 改造数据格

14、 生产库总局格式式格式数据库类型传统 分布式全量 增量上报模式上报管理无监控 有监控上报周 每天、4h、每天期每周有、公示部分转义、统计部分聚合清洗转换无监控16/11/216/11/2对省级要求：强化省局数据预处理p 统到总局标准：31省独立建设、建设年份跨度较、符合标准程度不，源数据异构p 统时点更新：集中与两级部署并存，全省集中22个，计划单列市、副省级单独建设p 统数据库类型：有的省存在Oracl e、db2、sybase、sql ser ver、infomix其中多种数据库p 统汇集到经济户籍库：般是登记办案、12315、农资、监分别独立建库预处理要求：省局负责数据标准化 责任清任务

15、明 带动业务标准 不能掌握各地实际情况化 对省局要求高 符合公示要求优点 缺点风险 措施 数据不可控 实施周期长 加强指导 投资支持 加强监控16/11/2两级数据中心分工 总局数据中省局数据中 国家经济户籍库 制定数据汇总标准 数据稽核反馈 数据轨迹追溯 年报数据分发 统一监控 省级经济户籍库 数据标准化 数据上报监控 数据质量把关 年报数据下载 沟通协作关键环节1：采集环节对比对比 现状 改造采集方 异构转同构复制式换数据库类型稽核模式传统 分布式少量 全面稽核反馈优先级采集无无新增公示优先16/11/216/11/2前置系统：“大前置”思路16/11/2前置机配备广东全量：3天数据迁移：

16、1620数据稽核：30070060050040030020010001412108640540540 540420450数据抽取：14403002203006415020180180160120120110120701009080 8080704040305100内黑北 天 河 山 辽 吉 上 江 浙 安 福 江 山 河 湖 湖 广 海 重 四 贵 云 西 陕 甘 青 宁 新蒙龙江京 津 北 西 宁 林 海 苏 江 徽 建 西 东 南 北 南 西 南 庆 川 州 南 藏 西 肃 海 夏 疆古总耗时18 40 12 11 54 80 64 80 54 42 54 90 30 22 45 18 1

17、2 16 80 30 70 18 40 10 5 12 70 10 30 15每万户处理时间 1 1 1 2 12 1 10 1 2 1 2 1 3 4 2 1 1 2 1 9 1 1 1 2 2 2 2 1 2 3总耗时每万户处理时间现状：25小时目标：6至10小时 公示2小时关键环节2：全国汇总环节对比对比 现状 改造主体处理 并行、增加主题方式 省份 内并行并行数据库类 传统 分布式型稽核 人工 自动监测模式 检查 各环节清洗 代码无转换 转换16/11/2关键环节3：数据服务环节对比对比 现状 改造处理方人工 自动同步式数据格式数据库、接口文件同步机制多线程并行处理清洗转换大量 减少地

18、方共享年报等公示信息黑名单16/11/2关键环节4：数据管理环节对比对比 现状 改造终端评突出前端价为主，全程管理，及时反馈，业务问题为主质量管 业务问理题与技术问题纠缠数据仓库关联码 切片、全程数据库追溯管理安全管 基础安应用安全理全全面监控、易用、便于协作少、不直观可视化扩展到业数据处 务司局、为主 地方工商局用户16/11/2数据管理平台：提升管控能力“人员”协作管理、“数据”监控管理16/11/2数据管理平台：统一监控系统风险数据监控汇聚流程监控采集和检查规则管理汇聚流程监控采集和检查规则管理预警事件管理预警通知预警反馈可视化展现监控信息风险数据监控采集和检查规则管理问题数据 问题追溯

19、任务 追溯问题追溯报告归集加载自定义规则管理管理数据风险数据监控信息采集流程信息采集数据采集数据汇聚数据整合数据服务16/11/2数据管理平台：数据轨迹追溯系统轨迹管理轨迹分类前置区轨迹标识轨迹失效识别代理汇聚通道数据轨迹追溯识别代理轨迹采集批量数据追溯单项数据追溯轨迹库整合区归集加载识别代理服务区转出管理历史库识别代理16/11/2数据管理平台：数据质量管理数据管理平台：提升服务能力关键环节5：数据应用环节对比对比 现状 改造时效低、快速、结果一致统计 不一致性及时、完整、原始一致公示无专项查 临时性询统计 居多系统化16/11/216/11/2建设两类核心应用系统p 建设统计数据成系统p

20、建设业务司局专项查询统计系统p 支撑公示系统、联合惩戒双向服务统计报表联合惩戒部门社会业务司局外部应用数据中心内部应用信息公示查询统计16/11/2统计数据生成系统支持明细调阅及级联查询问题及执行情况反馈数据规范质量检查按登记机关分发数据修订各级登记机关每天检查报告问题跟踪处理每天ETL抽取省级报表生成（未审核）即时问题反馈省局/总局(系统承建商)主题库总局数据中心报表生成（已审核）报表自动校验（表内、表间）本地报表人工对比环比分析总局报表报送级联环比调阅报表输出省级自己生成的报表16/11/2业务司局专项查询统计系统16/11/2支撑公示互联网全国公示应用（Web服务器）全国企业报送（Web

21、服务器）系统应用开发应用服务器、web服务器部署位置可弹性移动公示应用总局公共服务网全国公示应用（应用服务器）全国企业报送（应用服务器）开发应用全国公示系统统一管理（Web服务器、应用服务器）全国企业报送数据库工商行政管理网分布式数据库以及云支撑平台分布式部署的全国公示查询库（MPP分布式数据、内存数据、高性能缓存、非结构化数据）31省+部分副省级总局数据中心A 省公示同步库B 省公示同步库汇总数据总局公示数据汇总省级公示系统公示库省级公示库地方总局数据中心前置库A 省公示前置库B 省公示前置库地局改5造1 作省局内网A 省业务库31省+部分副省级B 省业务库A省数据中心1.工商公示2.地方政

22、府公示3.地方企业公示1.工商公示2.地方政府公示升级改造内容：一云一库两平台三系统统计数据业务司局查询统计系统即时生成系统经济户籍库调整扩充数据中心升级改造3 省前置系统数据集成平台数据管理平台整合升级基础设施（云平台）一云：替换“IOE”p IOE中的I为主：小型机、DS4800、DB2、x3850、Datastage、SPSS、congnos、WebSphere、MQp 辅助O：oracle、OWB一云：PaaS层升级16/11/2p MPP数据库：share-nothing分布式体系结构、支持sql89 sql92 sql99、与Oracle等数据库兼容p 应用中间件：要支持国产MPP

23、数据库、集群版p 数据同步具：支持日志、时间戳等多种式p ETL具：支持多数据源、集群版p 此外总局将尝试使用hadoop、内存计算等技术进快速统计分析一云：IaaS层升级梳理数据标准规范梳理书格式国家经济户籍库数据汇总标准梳理统计报表梳理业务需求梳理数据中梳理地业务系统一库：数据汇总标准设计原则 分类汇总 关联整合 标准 应用 地方全面 全局汇总 优化问题 适度导向 冗余 结构问题 代码问题 应用问题 统计需要冗余 关联需要冗余 转义冗余16/11/2小结p 总局p 云支撑商事制度改革信息化p 库p 两平台p 三系统完善数据治理体系p 省局形成大数据资源体系p数据中p 业务系统后续建设内容：法人库、共享平台、分析平台数据分析法人库公示系统共享平台数据中心升级改造460数据中心建设新阶段现状总局数据中心 业务系统未来省局数据中心大数据大数据时代来临-业务架构革新大数据时代来临-技术架构革新小结：用大数据精准监管融合工商数据、部门数据、社会数据，转变监管手段，提升监管能力65