大数据基础平台建设解决方案.pptx

1、大数据基础平台建设方法目录大数据建设目的及建设方式大数据方案解读产品运行效果展示企业内部的各种应用系统相互独立，企业应用系统没有统一的入口，一名员工拥有多个账户个人业务相关信息缺乏集中展现的地方，员工需要不断在各种系统之间频 繁切换企业中的基础数据和主要数据有在不同的系统中都是重复，混乱的，没有 统一的入口企业无法快速，准确的获取下属企业的信息，并对下属企业进行有效管理信息化建设障碍社会 化编 码库组织管理编码历史高速缓存大数据管理平台编码规则访问服务编码库编码审批访问权限企业统一元数据资产管理NC-ERP项目管理其他系统GIS大数据：大数据：指系统间共享数据（例如，客户、供应商、物资和组织部

2、门相关数据），指系统间共享数据（例如，客户、供应商、物资和组织部门相关数据），与记录业务活动，波动较大的交易数据相与记录业务活动，波动较大的交易数据相比比，大数据（也称基准数据）变化缓慢，大数据（也称基准数据）变化缓慢 要要点点：唯一性、共享属性、运营属性、管理流程、变更流程、质量检查、数据清理唯一性、共享属性、运营属性、管理流程、变更流程、质量检查、数据清理大数据管理大数据管理所解决的问题一物一码同一个对象（人、物、单位等）在不同系统中的统 一标识核心信息的权威化专门的维护点、审核点创建流程、变更流程的记录扩展信息的完善管理机制企业规范的合法化为IT部门进行整合提供技术基础大数据管理的实质大

3、数据基本档案可根据需要挂接审 批流程的可供多个异构系统 共享的可通过封装服务访 问的目录大数据建设目的及建设方式大数据方案解读产品运行效果展示大数据标准解决方案组成编码规则数据清理方案接入系统改造方案管哪些东西，都是什么样子的东西都有谁要用这些数据，怎么用企业服务规范以前遗留下的数据怎么按编码规则迁移过来要用这些数据的人怎么样才能拿到想要的东西第一部分编码规范编码规范的内容管理对象编码体系管理对象的定义方式 基于各信息系统信息处理的需要，以减少对 信息的重复采集、加工和存储为目的，进行 管理对象的选择。最直接特征：需要在多个系统中出现管理者与使用者分离常见需要大数据管理的对象有组织机构、人员、

4、用户客商、物料（货品）项目等关联型业务数据其它用户所需要管理的核心数据编码体系常用编码形式分类码、顺序码、组合码单维度分类码与多维度复合编码编码体系差异及选择薄膜 衣片单维度分类码10000601344西药编码部分：A000001567属性部分：血液 系统多维度用药复合码物通用名通用名*剂型剂型*药品批药品批号号*类型类型甲钴胺 片薄膜衣 片国药准字H20051440血液系统用药物缺陷：弹性较差，个别类目上的代码改 变时会影响其他编码；层次较多时，代码位数较长；扩展性差，不利于增加新的描述分类；编A码：总西长药度过长。后9位为顺序码编码体系构成编码、属性属性包括：唯一性、共享分类属性填写要求序

5、号序号名称名称定义定义1原料药 按照集团统一编码系统的相关 约定设置该分类。2片剂(非包衣片、素片、压制片)，浸膏 片 按照集团统一编码系统的相关 约定设置该分类。3糖衣片 按照集团统一编码系统的相关 约定设置该分类。4咀嚼片，糖片，异 型片，糖胶片 按照集团统一编码系统的相关 约定设置该分类。5肠溶片(肠衣片)按照集团统一编码系统的相关 约定设置该分类。6调释片，缓释片，控释片，长效片 按照集团统一编码系统的相关 约定设置该分类。7泡腾片 按照集团统一编码系统的相关约定设置该分类。8舌下片 按照集团统一编码系统的相关 约定设置该分类。9含片，漱口片(含 漱片)，喉症片(喉片)，口腔粘附片 按

6、照集团统一编码系统的相关 约定设置该分类。第二部分 企业服务规范企业服务规范的内容大数据平台接入业务系统企业企业服务总服务总线线 ESB触发各类事件（审核完成、数据调整等）影响因素：是否存在需标准。影响因素：是否有新增、删除、修改数据的权利调用平台所提供的各类服务响应平台所触发各类事件使用大数据管理对提供象各类的服务系（统查询、=申报接、变入更业等）务系统对于大数据管理平台与接入业务系要统进行之主观间判断进的行填写数据交换方式的规定，就是企业服务规范制定企业服务规范的步骤分析系统数据交换形式及流程根据分析结果确定服务及事件清单综合编码规范确定服务及事件的输入输出 内容场景样例1某集团，下属20

7、0多家分子公司，其中包括 子集团集团总公司对于子公司无法全权控制，系统 形态较多，信息化供应商情况复杂集团在进行整体BI分析，部分企业直接通过ETL挖掘数据，部分企业使用手工上报平台进 行上报分子公司多业态，业务开展相对独立。业务 系统偏重点不同。集团设置质量部负责货品以及客商的有效性集团设置运营部负责货品及客商统计维度类 别划分特征分析分子公司存在异构系统，不可统一允许分子公司直接增加数据分子公司增加的数据需要集团进行核准集团对于数据的核准不能影响分子公司 业务的开展常见数据交换形式1：多点维护、统一认证集团大数 据管理系 统服务 提供 组件事件 触发 组件客商 信息 管理人客商分子公司 信

8、息ERP系统一 使用人大数据 编码库分子公司ERP系统二分子公司ERP系统三常见数据交换形式1：多点维护、统一认证集团大数 据管理系 统服务 提供 组件事件 触发 组件客商 信息 管理人客商分子公司 信息ERP系统一 使用人大数据 编码库分子公司ERP系统二分子公司ERP系统三数据交换形式1数据流程分析业 务 系 统主 数 据 服 务 总 线主 数 据 流 程 管 理 平 台申 报 请 求申 报 请 求 处 理申 报 请 求 响 应反 馈 信 息 处 理流 程 启 动 请 求提交唯一性及正确性 属性接收处理返回编码，保存 至本系统数据库。使用唯一性属性在正式数据中检索 若不存在，则生成临时码，

9、并想流程 管理平台提交申报请求。若存在，则获取正式码及当前相关属 性。将正式码作为申报请求响应返 回。比 较 当 前 正 确 性 属 性 与 申 报 请 求 中 的 正 确 性 属 性，若 存 在 差 异 则 向 流 程 管 理平台提交变更请求。流 程 请 求 响 应申 报 审 批 流 程审 批 完 成 后，如 审 批 通 过，返 回 正 式 码；如 审 批 打 回，返 回 打回意见。服 务 总 线 根 据 系 统 注 册 信 息 向 相关系统进行推送。接 收 数 据 后，若 为 正 常 通 过，则 将 本 系 统 临 时 码 更 新为正式码；若 为 审 批 打 回，则 将 打 回 意 见 通

10、 知 操 作 者，根 据 打 回 意 见 修 改 数 据 后 重 新 进 行申报提交。场景样例2某集团，下属20家分公司，10余家控 股子公司集团总公司对于分公司完全集中控制，管理系统均为统一采购，生产系统独 立采购企业所有人员由人力部门统一管理客商、存货数据由生产、营销部门进 行录入，信息部门进行审核特征分析整个集团中，同一功能使用相同系统人员信息在单一HR系统中进行维护，数 据的增加由集团统一完成 客商、货品信息在大数据平台中维护，需要多级审批，数据的增加可由下级单 位进行在数据没有通过审核时，不允许使用常见数据交换形式2：统一维护、多点使用集团大数 据管理系 统服务 提供 组件事件 触发

11、 组件员工 数据 管理人员工分子公司 数据ERP系统一 使用人大数据 编码库分子公司ERP系统二分子公司ERP系统三制定企业服务规范的步骤分析系统数据交换形式及流程根据分析结果确定服务及事件清单综合编码规范确定服务及事件的输入输出 内容样例服务列表常见服务种类查询全量、增量申报启动审批流程直接加入数据变更启动审批流程直接修改数据封存启动审批流程直接修改数据常见事件种类推送申报、变更、封存序 号服务编码服务名称服务描述PT_M_001GetMediTypesSrv获取药品分类清单。PT _M_002GetMediCountByTypeSrv获取指定类别药品数量。PT_M_003GetMediBy

12、TypeSrv获取指定类别药品数据。PT _M_004GetNewMediByTypeSrv获取指定类别药品增量数据。返回 指定药品类别某时点后更新过的药 品数据。PT_M_005GetMediByCodeSrv根据药品编码获取药品数据。PT_C_001GetCustTypesSrv获取客商分类清单PT_C_002GetCustCountByTypeSrv获取指定类别客商数量。PT_C_003GetCustByTypeSrv获取指定类别客商数据PT_C_004GetNewCustByTypeSrv获取指定类别客商增量数据PT_C_005GetCustByCodeSrv根据客商编码获取客商数据P

13、T_G_001GetCorpsSrv获取公司数据PT_G_002GetNewCorpsSrv获取公司增量数据PT_G_003GetCorpByCodeSrv根据公司编码获取公司数据PT_D_001GetDeptsSrv获取部门数据PT_D_002GetNewDeptsSrv获取部门增量数据PT_D_003GetDeptByCodeSrv根据部门编号获取部门数据PT_D_004GetDeptsByCorpSrv获取指定公司部门数据PT_D_005GetNewDeptsByCorpSrv获取指定公司部门增量数据PT_P_001GetPersonsCountSrv获取人员数量PT_P_002GetP

14、ersonsSrv获取人员数据PT_P_003GetNewPersonsSrv获取人员增量数据PT_P_004GetPersonByCodeSrv根据人员编码获取人员数据PT_P_005GetPersonsByCorpSrv获取指定公司人员数据PT_P_006GetNewPersonsByCorpSrv获取指定公司人员增量数据RQ_001ReqMediByTypeSrv指定类别药品申报RQ_002ReqCustByTypeSrv指定类别客商申报RQ_003ReqCorpSrv公司申报RQ_004ReqDeptSrv部门申报制定企业服务规范的步骤分析系统数据交换形式及流程根据分析结果确定服务及事

15、件清单综合编码规范确定服务及事件的输入输出 内容样例服务定义序号数据项名称数据项类型备注1Type客商类别字符在客商类别清单中存在的客商类别编码2Start开始记录数数字3Count返回数量数字序号数据项名称数据项类型备注1success成功标志位数字1：成功；0：失败2errcode错误代码字符成功时为空3message错误信息字符成功时为空4count数据数量数字客商数据集合中的记录数量5datas客商数据复杂类型服服务标务标识识PT_C_003服服务名务名称称获取指定类别客商数据（GetCustByTypeSrv）服服务描务描述述获取指定类别客商数据。与PT_C_002配合使用获取批量数

16、据时使用。根据客商类别，返回对应类别的客商数据。采用分页形式进行获取，调用方根据通过PT_C_002服务获取的客商数量，确定调用本服务的次数。为防止一次性传输数据量过大，本服务内置限定一个对于返回数据集合的数量限制。现约定此限制为1000。根据输入的不同客商类别，返回所对应的客商数据格式，具体格式见客商数据描述。输入输入输出输出第三部分 数据清理方案数据清理方案对于原始数据的处理及清理式具完成由于数据规则改变导致的修改对于不符合规范数据的清理对于重复记录的原始数据数据量一般采用线下工使用Excel作为数 据采集工具清理药品数据量 类别 数量医疗器械 15974西药 33660中成药 20197

17、方中药材 2927中药饮片 17789食品 322日用品 714包材 58生物制品 634其它 556化妆品 964化学试剂 3保健品 2102 合计 95900客商数据量 类别 数量 药店 16351个人 1302医院 21644其他单位 2171生产商 5300经销商 13893 合计 60661清 理 流 程 图用 友 方用 户 方1 。整 理 新 旧 大 小 类 对 照 关 系 表 5 。全 角 字 符 筛 选，提 交：全 角 字 符 替 换 确 认 表 1 4 。核 对 药 监 局 网 站 做 数 据 清 理，完 成 后 提 交 E x c e l 文 件1 3 。问 题 讨 论，整

18、理 数 据 清 理 规 则1 2 。对 排 重 的 数 据，合 并 并做 新 数 据 分 配1 1 。分 工 进 行 数 据 排 重，完 成 后 提 交 E x c e l 文 件1 0 。试 清 理 讨 论 并 制 定 信 息 属 性 和 分 类9 。数 据 清 理 培 训8 。生 成 对 应 数 据 清 理 用 的 E x c e l 文 件3 。统 计 大 小 类 数 据 量 分 析 表 4 。提 交 数 据 清 理 分 工 表 2 。大 小 类 对 照：系 统 数 据 后 台 处 理7 。全 角 字 符 替 换：系 统 数 据 后 台 处 理1 5 。将 清 理 过 的 E x c e

19、 l 文 件 导 入 到 系 统 中，替 换 原 有 数 据6 。确 认 全 角 字 符 替 换 确 认 表 数据清理工作流程适用于：期初数据清理，日常使用中的数据合并适用于：期初数据清理，日常使用中的数据合并IDID名称名称属性属性A000001康泰克颗粒物IDID名称名称属性属性合并合并A000002康泰克2颗粒物A0000011、建立专用区域存放被清理数据2、在被清理数据上标明被合并目标对象3、被清理数据保留一定时间可通过生存周期统计确定保留时间。对于重复记录的处理第四部分 接入系统改造接入系统改造方案数据库改造档案改造属性对照关系处理用户信息改造系统功能改造历史数据处理新增数据处理反馈

20、信息处理 数据推送模式 主动查询模式接入系统档案改造建议IDID名称名称属性属性A000001康泰克颗粒物集团大数据对象集团大数据对象业务档案数据对象业务档案数据对象(运营大数据运营大数据,系统共享数系统共享数据据)ID(ID(操作操作码码)名称名称主主IDID属性属性进货地区进货地区RRR0005003康泰克A000001颗粒物上海 5.5RRR0005004康泰克A000001颗粒物北京 5.6业务单据业务单据业务单业务单据据IDID销售对象销售对象数量数量DDD0000001RRR0005003500大数据部署模式管理平台对接独立部署模式模块部署模式独立中间件独立数据库作为NC模块部署共享NC基本档案数据所有系统均通过服务与目录大数据建设目的及建设方式大数据方案解读产品运行效果展示系统运行效果演示大数据管理平台 数据初始化服务 数据日常申报服务 数据查询服务数据管理服务 数据推送服务大数据服务总线发布方式数据发布格式接入业务系统Demo数据无缝提交 数据推送大数据管理平台数据服务总线接入系统谢谢！