1、大数据时代的数据质量保障- 数据质量中心的设计与实现阿里巴巴-CDO数据平台事业部 雨玟主要内容主要内容大数据时代的质量难题数据质量中心架构设计数据质量中心的实践阿里的数据中心CDO大数据时代的质量难题质量难题质量难题在数据处理流程中在那一部分数据出问题，不知道？ 不同系统间数据流通，是否有损失？表记录数据波动，与上期同比波动或与固定数据一致性比较是否正常？字段平均值字段最大值字段最小值字段汇总值字段空值个数字段重复值个数离散值带业务过滤条件的数据波动，精确监控难数据校验方法多样性难，平均值？方差？周期性？固定值？字段的唯一值个数质量保证历程质量保证历程数据质量中心架构设计数据质量中心数据质量
2、中心-Data Quality Center（DQC）产品介绍产品介绍整体设计整体设计核心内容核心内容数据监控数据清洗数据度量交互产品交互产品DQC离线计算平台元数据云调度告警数据通道数据质量DB GATEWAYS数据传输通道/离线处理 平台 DQC HOOKDQC EXECUTOR 数据质量WEB服务数据质量服务DQC ENGINEDQC规则中心DQC质量校验中心DQC 任务 POOLDQC报警模块 多级容错机制DQC 规则同步工具DQC样本对比工具DQC告警对比工具DQC 规则/模板配置DQC项目级管理DQC 报告展现任务及质量展现离线处理 调度系统整体设计整体设计架构示图架构示图整体设计
3、整体设计报警分级报警分级红色报警Red橙色报警Orange整体设计整体设计规则分级规则分级blockRulecheckalertweak整体设计整体设计阻塞逻辑阻塞逻辑Redblock下游任务阻塞HiveHDFS其他离线处理平台多种数据传输通道多种数据库存储ShellMR应用之前应用之前HiveHDFSShellMRDQC应用之后应用之后其他离线处理平台多种数据传输通道多种数据库存储DQC在数据生态链中的位置整体设计整体设计YY轴轴DB1DB2DB3S1DWS2OLAPOLAPS3report数据传输实时传输businessbusinessS4数据传输整体设计整体设计XX轴轴DW数据传输DB1
4、时间维度DT：数据传输通道数据质量中心的实践示例举例示例举例1 1某应用源数据某应用源数据s*表，发现表，发现“当日旺旺在线时长当日旺旺在线时长”有有24小时的情况小时的情况On_line_time24hRULEDataRunGet ODPSDataData ResultsCheck示例举例示例举例2 2某应用某应用订单交易明细表的订单总金额相比昨天波动订单交易明细表的订单总金额相比昨天波动-98.6%Sum(amount)RULEDataRunGet ODPSDataData ResultsCheckHistorical samples示例举例示例举例3 3某某日志统计日志统计r*表表，发现
5、，发现存在存在 pv=0 而而 uv0 的数据的数据Count(*)0pv=0uv0RULEDataRunData ResultsCheck方法1：如举例1图方法2：如举例3图DQC淘宝天猫一淘支付宝ICBU阿里金融阿里云CBUCDO聚划算应用情况应用情况规则总数, 7314监控表总数, 2587红色报警数, 220橙色报警数, 11应用情况应用情况应用优点应用优点智能阈值算法体系多级容错、缓存校验规则与生产任务异步模板规则灵活，可扩展校验，预警分级别ODPS紧密结合的数据采集器独立计算，不耗生产slotsDQC后续发展后续发展支付宝ICBU淘宝天猫一淘阿里金融阿里云CBUCDO聚划算HiveHDFSShellMRDQC后续发展后续发展其他离线处理平台多种数据传输通道多种数据库存储后续发展后续发展智能阈值算法体系可热插拔的规则与校验服务默认监控监控前移Q and AQ and AQ and A?Thanks !
