1、数据中台:数据中台运营机制数据中台:数据中台运营机制演讲人2021-11-29数据中台运营机制数据中台运营机制数据中台运营机制123456运营的目标运营的4个价值切入点数据资产运营的4个目标数据资产运营的完整链路数据资产运营的5个动作数据资产质量评估数据中台运营机制运营的目标数据安全和质量是中台可持续运营的基础01降本生效是打造中台影响力的关键 02数据中台运营机制运营的4个价值切入点统一战略01搭建组织02打造氛围03实践创新04统一战略管理层对数据中台的建设有清晰的认知,坚定的决心01全体员工明白数据中台的重要性02自上而下,必须由最上层牵头来做,共同负责03 搭建组织搭建组织人员数据运营
2、专家数据架构师常规的数据分析师、数据产品组织指定数据建设战略方向,授权职能部门落地执行01数 据 委 员 会各 部 门 数 据 团 队 核 心 人员,数据数据建模理论,发开经验丰富02虚 拟 数 据 团 队统一开发标准规范,全面测试03执 行 团 队数据大屏就是一种常见的用于打造氛围的工具,所有员工都能轻松看到,逐渐形成数据影响力打造氛围实践创新目标让各业务部门形成争用数据资源的态势一些方式奖励重视数据的部门让各业务部门和数据部门进行共创,发现业务和数据的结合点 数据中台运营机制数据资产运营的4个目标可阅读 01好使用03易理解 02有价值 04可阅读 存在数据库中的数据无法让业务人员轻易理解
3、,长此以往会使他们丧失对数据的兴趣01通过技术人员去取数,时效性差,或偏离业务人员的本意02当业务变复杂时,技术资源不足以应付各种灵活的需求 03仅靠一个表、字段名和简单注释,业务人员无法得知字段生产加工逻辑、血缘、有效性等,无法判断是否是业务可用的 易理解 没有良好组织信息的数据,不足以成为数据资产,需要面向业务进行标签化才能成为资产易理解 以年龄(age)标签为例A描述B计算逻辑C取值类型D值字典E来源表字段信息F用户覆盖量以年龄(age)标签为例历史调用量、调用方价值分、质量分描述u注册身份证信息获得的年龄信息以年龄(age)标签为例计算逻辑u身份证710位抽取出生年份,进行年龄计算以年
4、龄(age)标签为例取值类型u数值型以年龄(age)标签为例值字典u0,1,2,.以年龄(age)标签为例传统方式u业务人员告诉开发人员使用的字段,开发人员编写数据服务接口,对接业务或数据应用系统,供业务人员使用数据好使用将数据使用方法进行抽象,供业务部门理解后直接配置使用 u解决了业务人员难以准确描述需求的问题u缩短了从0开始编程的过程u可以通过修改配置参数的方式快速变更,降低试错成本 数据服务体系有价值 数据资产运营要围绕资产的价值进行记录数据资产使用的情况调用情况如通过调用量反映资产的重要程度使用数据带来的效果AB测业务部门访谈评估资产的价值 u通过量化分析,数据服务带来的业务增长,这部
5、分增长即是数据服务带来的收益有价值 数据中台运营机制数据资产运营的完整链路看 选 用治评看 提供一个资产门户或资产管理场所,给数据消费方提供数据资产的基本信息,方便其选择和使用 选 传统方式:用文档方式记录和提报选用的数据资产01进阶方式:生成数据申请信息流确认所所需数据信息02高端操作:用户通过资产管理系统将所需资产加入购物车或收藏夹,放入意向资产库,方便业务人员反复查看研究03用通过生成服务接口或数据应用产品来使用1.面向业务层的标签治理2.新表现设计、标签上下架管理、标签类目管理、标签血缘分析、圆标签标准、标签质量评估、标签使用安全 3.面向存储层的数据治理 4.数据表/字段的生命周期管
6、理、血缘分析、元数据标准、数据质量评估、数据安全方案治评评估角度质量、成本、故障、使用等调用次数与频率业务人员的反馈评价意义让数据消费者更加全面理解数据资产的质量、应用价值和风险,形成有效闭环数据中台运营机制数据资产运营的5个动作治理优化价值评估组织登记宣传推广服务保障组织登记掌握现有数据1收集业务需求 2信息登记上架3组织登记掌握现有数据组织登记收集业务需求 单击此处添加标题9,300 Million优先根据主流的、核心的业务需求,将数据资产对象登记上架 要理解一线业务人员描述的内容、掌握业务生产经营活动的详细流程,才能做到准确的录入资产、生产标签由于十分了解生产经营流程,要比业务人员更有数
7、据前瞻性,想到将来有哪些也会用到,提前登记单击此处输入你的正文,文字是您思想的提炼,为了最终演示发布的良好效果,请尽量言简意赅的阐述观点;根据需要可酌情增减文字,以便观者可以准确理解您所传达的信息。2组织登记信息登记上架数据资产是一种商品,只有被用起来才有价值数据资产管理工具要支持资产的上架、使用审批、使用、评价等功能,提供给业务人员看、选、用、评的能力,持续治理当某资产长时间使用量为零或相关业务撤销时,通知正在使用、曾经使用或关注该数据资产的业务人员,即将下架,停止对该资产的计算、存储、读取的支持 宣传推广STEP1STEP2STEP3业务人员对数据的处理能力大概率是弱的,对数据的价值是认知
8、不足的,数据资产运营人员需要融入一些营销手段才能让数据被更好更多的利用起来 可以安排业务人员定期出报告,观察在使用数据标签后对业务是否有帮助或监控标签的调用情况、使用频率,观察业务是否对标签产生依赖,也能体现标签的价值服务保障搭建出一个可看、可控、可追溯、可预警的服务保障平台确保调用数据服务的上层应用都是经过审核授权的,避免数据资产泄露 保障服务调用的性能如响应时间、QPS、处理数据体量等会决定计算引擎的选型配合负载优化、分流控制等机制来避免调用激增、恶意攻击通过流量控制进行流量倾斜,向头部倾斜更多的流量,优先保障头部的稳定完整的监控体系,发现异常及时发送警告 运营人员记录使用过程中的问题,人
9、工修正或下发治理任务,不断迭代 部分资产治理工作可以由运营人员自己完成 元标签信息不够完备、有错误、不标准 某些资产具体取值存在错误,需要人工审核 新增或修改资产类目结构 定期关注使用中的资产的价值情况和占用的资源成本,及时清理长期不用、过失、性价比低的资产,沉淀出有价值的资产进行优化 治理优化价值评估010203根据资产使用情况判定判断维度制作数据资产价值看板或BI报表给管理层阅览价值评估判断维度使用准确率关注度调用量可用率故障率持续优化度价值评估判断维度持续实用度01成本与性价比02。03数据中台运营机制数据资产质量评估源头数据质量 1(标签)加工过程质量2使用价值质量 3源头数据质量 A
10、BCDE安全性准确性稳定性时效性全面性 安全性u元数据是否合法取得、是否有用户许可等源头数据质量 准确性u数据的生产方式:第一现场取得(如ip)、间接获取(如调用其他服务获取的数据)、边缘推算(设备侧进行的加工计算)源头数据质量 稳定性源头数据质量 u生产周期、生产时段、生产数据量、数据格式、数据取值等的稳定性源头数据质量 时效性从第一现场产生到传输录入的时间间隔01时效性会间接影响标签准确度,如行为类数据对推荐算法的影响02全面性 u是否支持各个层面数据打通、进行痊愈计算源头数据质量(标签)加工过程质量准确率稳定性时效性覆盖量完善度规范性(标签)加工过程质量离散度准确率u建模和测试过程中得到
11、的准确率,是类似实验性质的初始准确率,供参考用(标签)加工过程质量稳定性u标签每天加工产出的时间是否准时(标签)加工过程质量时效性u标签生产耗费的时间,越短时效性越强(标签)加工过程质量(标签)加工过程质量覆盖量具有某标签的标签值的对象个体数量01如性别信息,只有56%的用户登记了02完善度(标签)加工过程质量u标签的元数据是否完善,是否能说清楚标签的情况,让其可选可用规范性u标签元数据是否规范(标签)加工过程质量(标签)加工过程质量离散度01标签取值的分布情况,离散程度因场景而异02一般场景下离散度越大越好,说明人群在该标签属性下均匀分布与不同特征值使用价值质量 使用准确率调用量受众热度可用
12、率故障率 关注热度使用价值质量 持续优化度持续实用度成本性价比使用准确率u通过业务场景实际使用验证出的标签准确率使用价值质量 使用价值质量 受众热度被多少业务部门、业务场景、业务人员申请使用01反映标签的适用性和泛化能力 02可用率u被调用的成功次数/调用总次数使用价值质量 故障率 u故障时长在总服务时长中的占比 使用价值质量 关注热度使用价值质量 u标签在标签市集被搜索、浏览、收藏、咨询、讨论等方面的热度持续优化度u是否处于持续迭代优化的过程使用价值质量 持续实用度u平均持续调用情况使用价值质量 成本性价比使用价值质量 u加工标签投入的数据源生产、传输、计算、存储成本,为业务带来的价值感谢聆听感谢聆听