1、基于基于GoldenGate的的数据分发实践数据分发实践需求背景 第一家总部位于浙江的全国性寿险公司 注册资本50亿元，资产逾300亿元，年保费收入超过100亿元 拥有18家分公司，63家三级机构，263家四级机构 拥有一家全国性保险销售公司-联创保险核心系统报表查询数据平台财务系统建议书系统客服系统精算系统各类报送系统移动保险系统 对原有系统影响较小或无影响 实现及管理较容易 提升数据流向的清晰度 降低系统间的耦合度 提升整体系统的性能归纳成图就是增量抽取报表查询数据平台核心系统财务系统客服系统精算系统增量抽取统一数据分发建议书系统增量抽取移动保险系统增量抽取各类报送系统增量抽取移动保险系统
2、客服系统系统建设原则 要有较高的可用性 数据准确性要高 容易管理和监控 能集成到大数据平台中可用性的实现 自动重启Extract或Replicat进程 在网络不稳定或网络短暂中断后特别有用 需要保证Manager进程正常运行 Checkpoint File Trail File 采用ACFS 用来安装GoldenGate软件 用来存储Trail File 可以配置GoldeGate VIP 实现故障转移原先的架构-比较重型 实施较繁琐，且比较容易出错 容易导致错误累积 容易导致数据延迟 双向复制比较困难轻量化架构 不会导致错误累积 数据延迟更小 双向复制更加容易实现 DBFS+DataGuar
3、dVIPDataGuardDBFSTRAILCHECKPOINT FILE保证数据准确性 本身没有机制来保证数据准确性 本身没有提供数据校验的方法 基于J2EE的B/S架构 数据校验在内存中完成 数据会先取到Veridata服务器上再进行校验运算，对数据库压力较小 可以进行数据修复2*6 Core CPU+32GB，能达到5万-10万条每秒的校验速度 Shell脚本+Cron job监控GoldenGate EM+GoldenGate Plugin进程状态监控和告警数据延迟监控和告警大数据平台集成*需求需求：数据能实时更新到Hive中增量抽取核心系统财务系统客服系统精算系统增量抽取统一数据分发增量抽取增量抽取增量抽取移动保险系统 读取JMS，将消息输出到Trail中MessageCaptureVAMJMSHandlerExtractJMSTRAIL 读取Trail，将事务写入到目标库或Flat File或消息中间件中(如ActiveMQ)JMSJavaUserExitJMSHandlerReplicatTRAIL目标库FlatFile GoldenGate Adapter的扩展 支持将事务输出到HDFS、HBase、Flume和Kafka 使用HDFS Handler 输出事务类型为Sequense FileReplicat进程配置要点Q&A
