1、贵州银行ODS项目方案介绍金融业务业务能力公司介绍正文公司介绍国际化、专业化、高端化全球化的服务交付能力l日本及东南亚市场东京XX新加坡XX新加坡XX数码l北美市场SRS2(美国硅谷)波士顿XXl国内市场南京总部基地北京、上海、深圳、西安、无锡、香港等国际国内联动发展,以三个三年为阶梯,国内市场为基准、逐步外向拓展,完善国际化市场,最终实现全球化协同发展。国际、国内双轮驱动l2014年,公司实现营业收入7.33亿元,同比增长53.78%净利润1.1亿元,同比增长42.58%l2014年收入,按业务区域分布情况国际业务稳定增长国内多类业务迅速发展金融业务积极成长3发 展 战 略公司介绍金融业务业
2、务能力正文公司介绍国际化、专业化、高端化业务覆盖了智能手机、平板电脑、智能车载设备等消费电子的嵌入式软件市场,多数应用于电信运营商、智能终端设备提供商、智能汽车运营商等领域。智能终端嵌入式软件和产品提供电能质量监测与优化、智能监控微网等智能电网信息化解决方案,多数应用于电网的生产管理过程之中。智能电网信息化服务帮助客户协调整个生态系统,优化服务流程,节约成本提高效率,多数应用于汽车、服装、电子、医药流通、零售连锁等行业。供应链管理平台服务业务覆盖银行、保险与类金融企业,提供从IT咨询、解决方案、产品研发到运营服务等软件全生命周期作业服务。金融信息化解决方案公司介绍金融业务业务能力正文公司介绍顺
3、应市场发展趋势,自2014年起向金融领域转型,吸纳专业团队与人才,助力金融领域客户信息化建设,同年客户量50余家。国际化、专业化、高端化能力建设解决方案高端咨询创新服务l在岸与离岸服务l专业测试服务 l专业研发服务lODC 服务提供商定制化服务l银行资源管理解决方案(BRM)l生命周期管理解决方案(LCM)l互联网金融解决方案(IF)l风险管控解决方案(RM)l大数据应用解决方案(DAS)l测试工具(QA&Testing)产品与解决方案l银行业务咨询服务l银行IT蓝图架构咨询服务l项目质量与管理咨询服务l风险管理及大数据咨询服务专业咨询金融云服务l金融云规划l云迁移服务l云测试服务l直销银行l
4、征信云服务l供应链金融服务云平台正文金融业务公司介绍金融业务业务能力XX金融:以卓越的服务团队和行业应用为支撑点,多样化的服务模式为立足点,为金融领域客户提供从IT咨询、解决方案、产品研发到运营服务等软件全生命周期作业服务,致力于为客户降低风险,帮助客户应对市场严峻挑战。核心团队骨干团队技术团队20年+的行业领军人物;15年+的从业工作经验;10年+软件服务从业经验;主体具有海外工作经验;业务知识丰富的行业技术专家;丰富项目管理经验的骨干团队;市场反应迅捷的高层次商务人才;多数骨干成员拥有海外工作背景;拥有海外工作背景的员工超过10%,大学本科及以上技术团队成员构成;平台研发质保体系IT咨询云
5、服务解决方案公司介绍金融业务业务能力正文业务能力云服务互联网咨询服务风险管控质量&测试服务金融行业解决方案公司介绍金融业务业务能力正文业务能力基于企业架构思想、国内领先实践经验构建新一代银行IT整体架构;包括业务架构、应用架构、数据架构、技术架构、IT治理和实施路线图;架构咨询基于对市场及新兴业务的理解和业务积累协助银行进行业务创新;包括业务建模、业务高阶需求咨询、专项业务规划;业务咨询基于产品及业务积累为客户提供定制化的先进系统解决方案;包括系统选型、整体解决方案咨询、专项业务解决方案;方案咨询1专业咨询公司介绍金融业务业务能力正文业务能力客户名称项目名称案例概述中国建设银行 中国建设银行新
6、一代银行业务系统代收付咨询项目 提供新一代银行代收付业务系统的建设咨询,包括系统设计、系统架构、需求整理及系统实施方案。中国浦东发展银行中国浦东发展银行新一代核心系统规划咨询项目产品体系及新一代存贷款产品系统建设咨询项目。包括对于枢纽及金融工厂中多个重要系统,即产品目录系统、基本产品组合系统、客户特别定价系统、销售及服务流程系统及存贷款产品系统所做的整体规划。广发银行广发银行未来三年IT规划项目制定广发银行未来三年IT规划,包括应用架构、数据架构兴业银行兴业银行新一代核心银行系统咨询项目负责兴业银行核心业务系统部分模块架构设计,辅助软需设计审核工作;根据某某某银行核心系统现状,提供核心系统模型
7、设计建议;参与软需评审、架构设计评审。根据某某某银行核心业务系统设计改造的进度要求,提供人力资源进行部分模块的设计和开发。华兴银行华兴银行应用架构规划负责制定华兴银行应用架构规划凉山州商业银行凉山州商业银行IT规划咨询项目重新规划凉山州商业银行新一代信息系统架构,包括应用架构、数据架构和技术架构典型案例公司介绍金融业务业务能力正文业务能力2金融行业解决方案行业实施经验+过程控制方法=实施过程保障以咨询驱动开发的模式咨询规划模型设计系统开发维护升级模式探讨咨询规划联合研发协作运营LCM(Lifecycle Management)IT全生命周期管理03Add your texts hereAdd
8、your texts hereIF&CFO(Internet Financial&Creative Finance Office)互联网金融 DAS(Data Application Service line)大数据在线分析与应用BRM(Bank Resources Management)银行资源管理信息系统的持续演进提供全生命周期保障服务,多年行业系统成功实施经验(方法)+成熟的信息技术积累(系统)+充沛支持团队(人员),形成企业级生产运维体系。构建金融互联网生态圈,实现“平台化运营”,将金融服务融入到生活、生产与经营活动之中。如:电商平台、供应链金融、直销银行、社区银行、互联网(智慧)银行
9、等可度量的管理依据,提升风控与决策能力,提升服务质量和UX:如风险管理(市场风险辨识、度量、监测和控制),大数据&商业智能(通过互联网渠道大数据接入,结合传统手段,实现客户分析与产品管理)有效整合资源,建设高效运营和精益管理的基础(平台),提高银行运营效率,内、外部资源整合:人力资源、财务资源、产品资源、渠道资源(客户、供应商、合作伙伴),最大程度满足客户需求。公司介绍金融业务业务能力正文业务能力银行资源管理BRM(Bank Resources Management)为银行业务系统建设提供咨询规划、模型设计、系统开发、维护升级等全方位服务,他将银行内部资源(人力资源、财务资源、产品资源、渠道资
10、源)和外部资源(客户、供应商、合作伙伴)整合统一管理,提高银行整体运营&营销效率,最大程度上满足客户需求。基础平台类BOSENT平台、业务集成平台核心业务类客户信息、存款、贷款、凭证管理、尾箱管理、额度管理、押品管理、会计核算、总账业务运营类客户管理、组织机构管理、营销管理、产品管理、协议管理、财务管理、内容管理、支付引擎支付类统一支付平台、银行间支付系统、创新支付系统、国际支付系统、卡类解决方案增值类中间业务平台、金融产品代理平台、资产管理平台资金类内部资金管理、资金交易系统渠道类客户信息交互平台、移动银行、柜面系统创新类电子账户综合管理平台、实时营销平台案例分享典型客户BRM公司介绍金融业
11、务业务能力正文业务能力银行资源管理BRM(Bank Resources Management),以“一切皆资源”为理念(人、财、产品、渠道、客户、供应商、合作伙伴)为银行构建真正“资源管理与调度型”新一代银行整体架构与模型;使得银行的经营理念回归到:利润=收益(销售为核心)-成本(高效运营)风险(有效管控)案例分享典型客户BRM渠道层客户信息交互平台、移动银行、柜面系统、实时营销对外业务层统一支付平台、银行间支付系统、创新支付系统、国际支付系统、卡类统一解决方案;外围业务层中间业务平台、金融产品代理平台、资产管理平台业务系统层客户管理系统&电子账户体系、组织机构管理系统、营销管理系统、产品工厂
12、与管理系统、协议合同管理系统、财务系统、内容管理系统、支付引擎与网关管理视图层内部资金管理、资金交易系统新一代核心业务系统层会计核算、总账模块、账户管理、存款、贷款、凭证&尾箱、额度&费率、抵押品管理基础平台层BOSENT基础开发平台;BIP业务集成平台公司介绍金融业务业务能力正文业务能力以其先进的“银行即是企业”的思想,为民生银行提供架构设计以及各个业务子系统建设交付服务工作。从2008年开始至2013年上线,平均每年400人团队规模,涉及存款、贷款、信贷、增值、支付、资金等业务领域,最高时项目组规模数能达40多个项目。通过在民生银行新一代业务系统建设过程中的经验积累,联创智融组建了BRM业
13、务线,以资源管理的创新角度为商业银行提供新一代业务系统整体解决方案。并先后作为重要合作伙伴参与了建设银行、浦发银行、包商银行、兴业银行、广发银行、凉山州商业银行等新一代业务系统的建设。20072013:中国民生银行新核心系统再造项目调研准备新核心设计新核心开发测试演练上线运行民生银行流程银行新核心再造项目,是国内首次成功实施新一代银行业务系统的经典案例,民生银行新核心系统是基于先进技术架构、以客户价值为导向、以流程为枢纽、以平台为基础,拥有强大运维体系保障、为精细化管理提供支撑的综合金融服务系统。该系统建设项目历时7年,全新建设了10大类平台、115个应用模块,成为民生银行业务二次腾飞的核心驱
14、动力,被评为业界丰碑。同时,改进了1150个变革点,优化了7000多项应用,进行了91万个案例测试,对与核心系统相关的银行几乎所有的应用系统进行了一次彻底重构,对超过7000个业务流程进行了梳理和优化,IDC认为这在中国银行业历史上绝无仅有。BRM公司介绍金融业务业务能力正文业务能力互联网金融业务线IF(Internet Financial)&CFO(Creative Finance Office)致力于帮助银行等金融机构实现“金融互联网化”,建立银行自己的“金融互联网生态圈”,实现“平台化运营”、互联网环境下银行运作的“双核模式”内容包括电商平台、供应链金融、直销银行、社区银行、互联网银行和
15、其他电子渠道等互联网金融业务。体验开放创新多盈典型客户案例分享互联网化金融服务平台 IF&CFO公司介绍金融业务业务能力正文业务能力在线大数据应用服务团队DAS(Data application service)不再以传统数据仓库为核心进行(结构/非结构化数据)分析与建模的方式;在新一代银行整体架构中,数据架构将是其架构中的“DNA”,DAS团队的使命是,充分运用好这一基因,构建更具有实时性、预见性、可自我学习性的“金融大脑”,充分了解市场、客户,为营销工作提供有力的支撑与风险防范能力;1、数据平台建设、数据仓库建设、各类数据集市建设2、数据治理体系、数据标准化3、商业智能、应用门户、管理驾驶
16、舱、数据可视化4、数据建模、数据挖掘、综合报表平台、监管报表5、大数据管理、内存数据库主营业务以业务为导向,一体化实时数据平台构成企业统一数据视图,既满足企业级数据完整性,又满足业务应用时效性,同时使相关域又不失个性应用支持。数据平台多层分离、隔层透明设计、平台具备高承载能力,灵活性、健壮性、高扩展性、伸缩性。本案大规划、小实施,大大降低实施风险。同时使各逻辑单元清晰,使科技管理、运维、提供业务支持都非常清晰、便捷。特点及优势数据服务体系 客户关系管理;精准营销管理;数据挖掘及建模主营业务基于银行的现有数据仓库或数据平台系统、呼叫中心及电子银行等的电销营销历史数据,互联网数据,以客户为中心,从
17、基本信息、资产信息、交易行为信息、客户关系以及营销历史几大方面反映客户在银行的全貌。采用SAS分析工具对客户进行分析并分层,探索具有营销价值的客户群体,并建立各种预测模型从而提升营销成功率;实现营销目标客户名单、推荐产品的精准推送、执行、结果反馈与评估的闭环管理。特点及优势营销管理体系及建模 典型客户DAS公司介绍金融业务业务能力正文业务能力提供全面风险管理体系和新资本协议体系的规划、咨询和实施服务,包括资本管理、风险加权资产计量、经济资本计量、风险模型或评分卡开发、信用风险管理、市场风险管理、操作风险管理、交易对手风险计量、风险缓释品管理、反洗钱等业务内容;技术方案包括建立风险数据集市与数据
18、质量管理体系、风险报告体系、监管报表体系、风险指标体系、预警体系和各相关应用方案等。人员优势服务范围泛亚太区域的阅历和实践从2005年开始,参与国内外银行的新资本协议实施,包括中银(香港)、中国银行、南商(中国)、渣打(新加坡)、汇丰(香港)、东亚(香港)、东亚(中国)、北京银行、广发银行、Vietnam Bank(越南)等。国内银行的业务领域 从2008年开始为国内主要商业银行提供服务,参与新资本协议相关的项目包括:风险数据集市与数据管理、资本管理体系、风险加权资产计量系统、风险模型开发、信贷管理系统、贷款定价系统、风险管理报表体系、压力测试等人员优势团队成员包括银行行业和技术专家,除了熟悉
19、Basel和国内法规外,成员的经历多元化。除了银行的管理背景,参与过新资本协议的规划和落地外,也参与过各类银行应用系统的建设(包括核心系统、授信管理系统、模型实现室、1104报表平台、资产负债管理、流动和利率风险管理、客户单一视图、贡献度分析、FTP等)。咨询和实施并重除实施能力,团队成员也参与过应用差异分析、蓝图规划等咨询,可以为客户提供整体架构和实施规划的建议。此外,在实施过程中,成员也会根据银行现状提出落地需要关心的一些变革内容(政策、流程、人员、系统、数据)确保投产的不仅是一个系统,而是一套完整的业务方案。实施新资本协议的先锋4风 险 管 控公司介绍金融业务业务能力正文业务能力统一业务
20、 元数据管理ETL接口层预设数据校验规则数据库接口API接口统一数据模型面向全行的数据模型面向主题的目标表Web服务预警管理批处理管理第三方接口管理数据展现内部风险报告重要风险指标高管风险仪表板监管报表客户统一风险视图风险预警提示数据整合风险管理应用全面风险数据集市风险报告组合管理资本管理RWA压力测试经济资本风险成本风险绩效管理风险预警贷款定价流动性管理操作风险风险模型模型验证信贷审批缓释管理数据存储区客户协议额度抵押品帐户交易机构总帐头寸利汇率评级其它全面风险管理实施方案公司介绍金融业务业务能力正文业务能力需求管理业务仿真应用监控日终批量日志管理业务架构基础架构应用架构数据架构技术架构业务
21、域业务场景业务分类业务功能整体架构应用场景架构层次应用系统数据标准数据实体数据字典数据库参与人合约渠道产品规则信息披露核算机构应用服务应用接口应用逻辑数据字段数据映射研发中心验收测试需求设计开发测试迁移运维架构管理版本构建数据策略优化缺陷管理监管要求/IT治理业务战略数据中心测试中心运维中心项目管理生命周期(CMMI+GB/T23691/2/3+VP+SCC)数据管理生命周期(DMBOK+GB/T18219+DQMiner+SCC)质量管理生命周期(TMM+ISO9004&GB/T16260/17544+ISTP+SCC)需求开发数据标准集成测试仿真平台持续构建数据验证数据抽取数据转换配置管理
22、部署管理跟帐方案环境管理数据治理方案质量控制方案项目管理方案数据字典案例资产用例资产代码质量异种数据分析数据质量指标数据质量监控单元测试测试流程体系咨询运维管理 质量度量质量标准 数据规则TOGAF9/CMMI/TMM/DMBOK业务迁移模拟演练(ITIL+ISO20000AMP+LMP+SCC)过程全生命周期管理LCM(Lifecycle Management),为金融类系统建设,提供一整套:螺旋上升的、具有持续积累性的、规范软件全生命周期管理方法论的咨询、管理平台、实施过程保障等工作。LCM平台与应用l帮助客户规划系统演进全生命周期的管理,以降低建设周期的开发成本、提高建设质量。l帮助客户
23、规划系统上线实施路径,确保客户系统平稳安全上线投产。l帮助客户建立企业级的生产运维体系,以保障客户系统安全稳定的生产效率。LCM:基础、过程保障客户价值LCM公司介绍金融业务业务能力正文业务能力LCMLCM应用LCM服务LCM项目管理LCM核心SCC DevelopLCM研发支撑LCM运维支撑LCM核心SCC Runtime银行研发运维支撑体系LCM作为新兴软件开发交付全生命周期作业的管理体系(专业化管理工具+工序知识库+技术服务人员),以专业化管理平台与一系列具备“业务能力”的专业化技术服务代替传统单一技能人员的重复劳动。与现有只是解决局部效率问题的工具不同,LCM从业务需求开始一直到交付运
24、维,建立了一整套能够量化反映“核心管理对象以及之间映射关系”,管理核心对象动态变迁的管理平台。技术突破点 业务需求结构化抽象和量化表达;IT需求抽象的量化表达;IT架构的量化模型和可视化;项目管理中的SOW的量化模型;交易流水的全局化;应用技术创新 项目管理与核心管理对象联动;测试逻辑与数据解耦;集成的业务仿真;应用监控portal以及交易和业务视角的运维监控;典型客户1.贵州银行ODS项目理解1.1 项目建设主要内容1.2 项目建设主要原则2.项目技术方案2.1 数据架构整体规划2.2 数据交换平台2.3 数据模型2.4 ETL开发调度2.5 数据分发补录2.6 数据管控2.7 软硬件配置3
25、.项目实施管理3.1 项目实施方法论3.2 项目组织架构目录项目建设主要内容ODS基础平台数据模型建设数据管控建设应用系统建设1234接口层基础层汇总层业务汇总层数据采集数据加工数据模型ETL设计开发调度监控数据应用数据补录平台数据分发平台联机查询平台原有应用迁移历史数据查询平台元数据管理数据标准管理数据质量管理21准确性原则前瞻性原则实用性原则完整性原则数据平台为各业务系统提供数据服务,其数据的准确性非常重要,必须能够提供业务系统层、近源层等分层的数据核对,并能够在核对出现问题时通过系统界面弹出窗口或者短信提醒等方式自动提醒维护人员。系统设计要考虑到业务未来发展的需要,要尽可能设计得简明,各
26、个功能模块间的耦合度小,便于系统的扩展。如果存在旧有的数据库系统,则需要充分考虑兼容性。衡量一个系统的好坏决不是看它投入了多少、如何的先进,而是看它是否真正满足业务需求。在进行系统的建设时,始终不忘实用性原则,努力保证投资花在实处,保证建设出来的系统切切实实是所需要的。对于业务进行中的特殊情况能够做出及时、正确的响应,保证业务数据的完整性。数据库完整性是指数据库中数据的正确性和相容性。数据库完整性由各种各样的完整性约束来保证,因此可以说数据库完整性设计就是数据库完整性约束的设计。项目建设原则1.贵州银行ODS项目理解1.1 项目建设主要内容1.2 项目建设主要原则2.项目技术方案2.1 数据架
27、构整体规划2.2 数据交换平台2.3 数据模型2.4 ETL开发调度2.5 数据分发补录2.6 数据管控3.项目实施管理3.1 项目实施方法论3.2 项目组织架构目录q ODS(Operational Data Store)是操作型数据)是操作型数据 存储。存储。q“操作型数据操作型数据”:是指各类交易系统所产生的数据。:是指各类交易系统所产生的数据。q“存储存储”:包含了对:包含了对“操作型数据操作型数据”的的“汇聚汇聚”和和“整合整合”。q“汇聚汇聚”:是指将多个数据源的数据加载到统一数据库。:是指将多个数据源的数据加载到统一数据库。q“整合整合”:包含:包含“标准化标准化”和和“模型化模
28、型化”两层含义。两层含义。q“标准化标准化”:指汇集到:指汇集到ODS的操作数据必须遵循数据标准,在加载前需要进行的操作数据必须遵循数据标准,在加载前需要进行清洗、转换、补录等处理。清洗、转换、补录等处理。q“模型化模型化”:指存储在:指存储在ODS的数据是按一定的主题进行分类存储。的数据是按一定的主题进行分类存储。q 以应用需求目标设计模型以应用需求目标设计模型ODS平台定义:2022-8-924数据交换平台ETL平台/ETL调度分析应用平台数据集市数据集市数据集市分析应用业务应用数据接口用户数据标准元数据数据质量统一管控平台数据交换平台全行整体数据平台架构EDW平台接口层明细整合层汇总层O
29、DS平台接口层基础层汇总层业务汇总层指标层集市层实时流媒体(结构化和非结构化)事件检测和实时数据采集HADOOP体系架构25绩效集市产品集市个人ACRM集市公司ACRM集市应用集市层交易流水金融资产统计积数业务签约变动历史基础汇总层基础数据层产品汇总个人ACRM汇总公司ACRM汇总业务汇总层外部数据ODS平台数据模型缓冲操作层客户账户资产交易产品渠道财务本期项目数据模型本期项目数据模型n 综合多个系统数据源u 为汇总层、分行应用提供基础数据支持n 数据标准化和规范化u 对各源系统代码进行标准化处理u 对数据格式进行规范化处理u 统一数据项业务解释u 保留原交易币种,不做折算处理。n 数据的必要
30、整合u 对源系统进行整合、拆分,以达到应用方便、查询高效目的u 客户单一视图:采用EDW的客户整合u 机构整合建议:采用EDW的机构整合ODS基础层模型设计原则 2/1n 数据抽取u 以应用需求目标设计模型。u 源系统抽取时表范围确认原则:在对源系统表作分析后,对源系统中间表、过程表、临时表、系统参数表、控制表等与客户、与帐务无关的表不作抽取。u 多个源系统中同时存在的数据:业务意义的数据,取最初始来源系统的数据;而汇总类的数据,考虑时效性和易用性。n 数据整合u 满足数据分析应用需要,提高数据处理、查询效率n 实体表设计的基本要求u 快照表,增加源系统业务日期字段,以区分数据的最新更新日期u
31、 事件表,增加源系统编号字段n 遵守模型设计、命名规范ODS基础层模型设计原则 2/2n 汇总层管理的对象就是加工汇总和指标数据。多个应用相同的汇总要求多个应用汇总计算有重复汇总的部分如每天或每个阶段的业务量、业务额、平均额等数据的汇总。n 两种形态的数据:汇总指标数据(如平均余额等)和根据业务要求的分析加工数据(如理财卡帐务数据、客户大额存取款等)。n 汇总指标是根据应用需要来设计的,是应用驱动的结果n 汇总指标可以分为两类:基础指标和派生指标。基础指标可由基础数据层加工直接生成。派生指标是在基础指标的基础上再次加工生成的汇总指标。ODS汇总层模型设计原则ODS汇总层模型实例交易汇总:日汇总
32、建议保留一个月,月汇总保留一年。卡汇总:日汇总建议保留一个月,月汇总保留一年。账户:日汇总建议保留一个月,月汇总保留一年。渠道:日汇总建议保留一个月,月汇总建议保留两年。产品:日汇总建议保留一个月,月汇总建议保留五年。机构:日汇总建议保留一个月,月汇总建议保留两年。项目实施系统筛选基本规则(参考)n分布式系统暂时不进;n纯外购系统又无法得到提供商支持的应用暂时不进;n完全独立系统(即与其他应用没有关联信息)暂时不进;n很快就会被其他应用替代的应用暂时不进;n很快会有大版本变化的应用暂时不进;n本身不产生数据,而是由其他应用提供数据,这里只进行简单加工的应用暂时不进;n属于集市应用,将来有可能被
33、仓库或其他应用取代而变成下游应用的应用暂时不进;项目实施表级筛选基本规则(参考)n 源系统中作废的表(大多是备份表)去除n 临时表去除n 中间数据表去除n 纯业务流程表去除n 纯系统表去除n 纯系统使用的日志表去除n 简单的统计表可去除n 对分析系统意义不大的表去除n 当业务分多步完成,有很多不同阶段的记录时,通常选取最终结果表n 将同一份数据记多个表,选取数据最准最稳定的项目实施字段级筛选规则(参考)n 未用字段去除n 数据不准确的字段去除n 衍生字段去除n 对分析意义不大的字段去除n 对于不明意义字段,务必先搞清楚含义,不要盲目进库,使仓库变成垃圾库规则只是参考,合理性取决于模型设计人员的
34、经验统一数据交换平台-数据采集l 时效性l 数据规模l 成本统一数据交换平台逻辑架构图 Acrive DataExchange主机核心系统开放平台源系统 1开放平台源系统 2开放平台源系统 N数据交换存储原始区加工区源系统标准区数据仓库数据集成分析集市 1分析集市 2分析集市N目标系统数据仓库数据集成通用文件传输分行应用调度模块监控管理模块代理推送通用文件传输译码增量比对数据标准化格式标准化通用清洗检核数据关联数据筛选数据拆分数据打包直抽接入FTP兼容推送数据库直抽数据库直抽数据库直加数据库直加代理推送直抽接入统一数据交换平台逻辑架构图 数据加工、处理及标准化流程(ETL)架构统一调度架构统一
35、调度定位于整个基础数据平台的任务调度系统。跨越多个应用,将数据采集、数据处理、分发和加载、转换等过程通过任务间的依赖关系融为一体。实例36统一调度监控n统一监控包括监控基础数据平台内部的网络情况、系统性能,运行指标,以及实现趋势分析、故障报警、监控信息集成等功能维护体系运维架构程序优化作业配置优化任务依赖优化实施工艺流程优化数据源来数基线时间数据处理结束时间数据传输结束时间供数基线时间目标系统要求数据时间对外服务时间定期系统运行情况报告系统规划容量规划性能规划系统维护系统配置参数管理正常启停机检查清理过期数据故障干预备份恢复管理定期维护管理报告系统运行情况监控性能监控服务状态监控作业执行情况监
36、控源数据到达情况监控供数情况监控数据标准系统功能元数据管理适配器数据源配置任务配置数据质量管理平台数据质量管理数据管控-数据质量管理案例类型检查类型名称2001SDATA层代码检查2002SDATA主键重复检查2003SDATA空记录数检查2004SDATA标准代码检查2005SDATA空记录检查(周末允许为空)2007SDATA业务规则检查2009SDATA空记录检查(帐单日非空,其它时段不管)2010SDATA层字段乱码检查2011SDATA前天记录数/数值上下波动率检查(带阀值)2012SDATA上月记录数/数值上下波动率检查(带阀值)2013SDATA市场风险业务规则检查_头寸/交易数
37、据3003PDATA市场风险业务规则检查_交易对手&账户信息4001汇总层主键重复检查(每日全量表)4002汇总层主键重复检查(当前全量表)4007汇总层业务规则检查5001MART层业务规则检查5003MART层主键重复检查(带业务日期字段)5006MART层表记录数检查5007MART层有效率检查类型检查类型名称5008MART层聚合分类记录数检查5009应用层非负数字段检查5010应用层数据记录数波动性检查5011应用层数据数值波动性检查5013NIM记录数波动率检查5014MART层非法日期格式检查5015应用层两表记录数检查6001个贷总分检查6002DCC总分检查6003CLPM总
38、分检查6004国际卡总分检查6005OPICS总分检查_债券存量6006OPICS总分检查_拆借6007CCDA总分检查_016008CCDA总分检查_026009CCDA总分检查_036010总总检查7001DCC利率相关检查9001两表相关性检查9002PDATA_MART层字段乱码检查逐笔补录批量补录报表补录数据补录平台配置建议服务器配置建议操作系统备注数据库数据库平台:Oracle 11g RAC AIX 6.1 ETL平台informatica,datastage.AIX 6.1或者Linux如果采用高性能的数据库平台,可以采用ELT方式,即可不单独采购ETL软件ETL调度自主开发A
39、IX 6.1或者Linux招标人员能够在开发中使用应用服务器应用服务器软件:weblogic或者websphere,JRE等Linux 自动化辅助开发平台自主开发产品AIX 6.1或者Linux招标人员能够在开发中使用1.贵州银行ODS项目理解1.1 项目建设主要内容1.2 项目建设主要原则2.项目技术方案2.1 数据架构整体规划2.2 数据交换平台2.3 数据模型2.4 ETL开发调度2.5 数据分发补录2.6 数据管控3.项目实施管理3.1 项目实施方法论3.2 项目组织架构目录项目实施方法论业务探索信息探索逻辑数据模型设计物理数据库设计映射文档填写ETL脚本开发测试循 环 迭 代 开 发
40、 完全数据库化:外部的离线文档,仅作为编辑的介质(除LDM设计外)可以有效的与元数据、数据质量、ETL调度系统等集成。开发流程化:解决了工作衔接问题,即可顺序,也可返回迭代 系统级分析任务;表级分析任务;字段级分析任务;PDM任务;SDM任务;ETL任务l 已在多个实施案例中成功应用优化改进后辅助开发管理规范项目组织结构项目实施计划实例附录1:数据平台发挥的价值附录2:管理驾驶舱XX软件BI相关部分案例介绍中信银行反洗钱监管报送系统丹东银行数据仓库二期民泰银行数据平台兴业银行统一报表民生银行信用卡精准营销系统丹东银行金标存贷款、银监会EAST监管报送葫芦岛银行监管报送一体化平台项目本溪商行银监会EAST监管报送盘锦商行银监会EAST监管报送盘锦商行支付信息统计指标报送系统稠州银行支付信息统计指标报送系统金华银行支付信息统计指标报送系统唐山银行支付信息统计指标报送系统长沙银行支付信息统计指标报送系统新韩银行支付信息统计指标报送系统三井住友银行支付信息统计指标报送系统心才研业您的指导与建议谢谢谢谢!