1、使用Data Profile进行数据剖析数据事件探查功能熟悉数据源并找出数据中要修复的问题仅对 SQL Server 中存储的数据进行事件探查并标识潜在的数据质量问题。数据事件探查步骤第一步:创建数据事件探查任务第二步:查看数据事件探查结果创建数据事件探查任务将探查结果放在test.xml中配置探查内容查看数据事件探查结果探查内容候选键候选键列长度分布列长度分布列列 Null 比率比率列模式列模式列统计信息列统计信息列值分布列值分布函数依赖关系函数依赖关系值包含值包含候选键候选键候选键(候选键(CandidateKeyProfiles)配置文件可以帮助您识别哪些列中存在重复值。通过使用这个功能
2、,可以判断表中的一列(或多列的组合)是不是适合做该表的主键。列长度分布列长度分布列长度分布列长度分布(Column Length Distribution)配置文件用于报告所选列中各个字符串值的不同长度。此配置文件可以帮助您识别数据中无效的值。例如,邮政编码的长度是固定的,如果发现有不是这个长度的数据,那么这个记录可能是错误的。列列 Null 比率比率列列 Null 比率比率(Column Null Ratio)配置文件用于报告所选列中 Null 值的百分比。列模式列模式列模式列模式(Column Pattern)配置文件用于报告一组正则表达式,其中涵盖字符串列中指定百分比的值。此配置文件可以
3、帮助您识别数据中无效的字符串列统计信息列统计信息列统计信息列统计信息(Column Statistics )配置文件报告各种统计信息,例如数值列的最小值、最大值、平均值和标准偏差。此配置文件可以帮助您识别数据中存在的问题,如无效的日期。例如,您对历史日期列进行事件探查,却发现最近的日期是一个将来的日期。列值分布列值分布列值分布列值分布(Column Value Distribution)配置文件报告选定列中非重复值以及每个值所在表中的百分比。此配置文件还可以帮助您识别非重复值的数目不正确。例如,您对应该包含美国的各州的列进行事件探查,却发现 50 多个非重复值函数依赖关系函数依赖关系函数依赖关
4、系函数依赖关系(Functional Dependency)用于报告某列(依赖列)中的值对另一列或一组列(决定列)中的值的依赖程度。此配置文件也可以帮助您识别数据中存在的问题,如无效的值。函数依赖关系函数依赖关系例如,您对包含美国邮政编码的列和包含美国各州的列之间的依赖关系进行事件探查。同一邮政编码应始终对应同一州,但配置文件却发现有违反此依赖关系的情况。值包含值包含 值包含值包含(Value Inclusion)用于计算两列或两个列集之间的重叠值。此配置文件还可以确定列或列集是否适合用作选定表间的外键。值包含值包含如下例,对FactInternetSales表的 ProductKey 列进行事件探查,却发现该列包含在产品表的 ProductKey 列中找不到的值值包含值包含使用命令来查询