最全电商大数据详细解决方案最新课件.ppt

1、系统产品功能模块系统产品功能模块 对每一标签用户画像对每一标签用户画像 聚合全网用户接触数据聚合全网用户接触数据 第一大模块第一大模块 分类群组并挖掘发现分类群组并挖掘发现 清洗整合形成唯一标示清洗整合形成唯一标示 全网数据采集全网数据采集 提供给其他系统和部门调用提供给其他系统和部门调用 其数据价值其数据价值 电商电商WEB WEB APPAPP接触数据接触数据 不同场景为客户提高不同场景为客户提高服务提高购买转化率服务提高购买转化率 提高接触客户转化率提高接触客户转化率 APPAPP营销宝营销宝 第三方电商第三方电商WEB WEB APPAPP、电信数据、电信数据 门店门店 客服互动数据客

2、服互动数据 第二大模块第二大模块 数据抽取数据抽取 聚合清洗聚合清洗 整合建模整合建模 标签标示标签标示 第三大模块第三大模块 用用 户户 主数据主数据 画画 像像 画像画像 第四大模块第四大模块 数据服务数据服务 会员关怀会员关怀 服务服务 标签查询标签查询 营销活动营销活动 业务系统数据业务系统数据 360360全景画像全景画像9 9个属性个属性 180180个维度个维度 63006300个触点个触点 分类分群分组分类分群分组 9 9个门类个门类 2727个群个群 18001800个组个组 线上线下线上线下精准推荐精准推荐 数据价值挖掘解析数据价值挖掘解析 行为数据驱动的个性化推荐服务行为

3、数据驱动的个性化推荐服务 当当 某某 人人 发发 生生 行行 为为 时时 历历史史购购买买推推荐荐 购购买买到到期期推推荐荐 相相关关搭搭配配推推荐荐 客客群群相相关关推推荐荐 客客户户行行为为推推荐荐 客客户户属属性性推推荐荐 产产品品交交易易推推荐荐 产产品品特特征征推推荐荐 产产品品优优惠惠推推荐荐 产产品品相相关关推推荐荐 产产品品搭搭配配推推荐荐 客客群群相相关关推推荐荐 产产品品群群相相关关推推荐荐 基于客群的推荐 基于产品群的推荐 群广告推荐 客户画像（客群）客户画像（客群）画像画像 客户标签客户标签 客户身份客户身份 属性数据属性数据 交易售后交易售后 业务系统业务系统 全网接

4、触全网接触 行为数据行为数据 在线实时在线实时 评分匹配评分匹配 产品（订单、行为）画像产品（订单、行为）画像 产品（订单、行为）标签产品（订单、行为）标签 数据源数据源 产品特征产品特征 属性数据属性数据 交易数据交易数据 被行为数据被行为数据 WEB、APP、电商、门店、电商、门店 秒级实时推荐精准营销秒级实时推荐精准营销 秒级实时个性化推送秒级实时个性化推送 行为模式模型 任何行为发生时任何行为发生时 Kafka 最佳产品模型 营销指标模型 Real Time Process 匹匹配配身身份份行行为为挖掘模型 Mining Model 交互执行 实时分析 RDBMS 实时预测模型 PMM

5、L Data Mart/Model OLTP 在线评分模型 Zementis 评分规则 预测模型+Near-line(reads)RDBMS NOSQL write&read fine-grain Data 数据集市 Data Mart 产产品品+历史数据 挖掘分析 Off-line 客户CRM身份数据 历史交易数据 Gross-grain Data 社交媒体WEB数据 移动位置APP数据 EDW Batch process 账单明细订单数据 视频机具数据 探索分析 知识库 全网触点客户和全渠道营销全网触点客户和全渠道营销 推全网触点数据推全网触点数据 视图视图 标签标签 CRMCRM订单已有

6、客户订单已有客户 区域人口基础客户区域人口基础客户 姓名年龄性别手机姓名年龄性别手机 家庭人口小区等级家庭人口小区等级 客客 户户 唯唯 一一 编编 码码 统统 一一 视视 图图 同学同事朋友同学同事朋友 收入历史购买产品收入历史购买产品 客户兴趣习惯偏好客户兴趣习惯偏好 咨询问题关注要点咨询问题关注要点 画像画像 兴趣偏好兴趣偏好女性女性2525岁岁 每月每月80008000元工资元工资 喜欢红色喜欢红色 活泼开朗活泼开朗 买买A A品牌鞋品牌鞋包包一年包包一年 购买时机购买时机 前周前周2 2次到次到专卖店咨专卖店咨询询D D鞋包鞋包 上周上周3 3次在次在麦包包网麦包包网站注册点站注册点

7、击击D D包包 在在APPAPP关注关注评价过评价过D D服服装装 推荐引擎推荐引擎 全渠道营销全渠道营销 直销员电话直销员电话 推荐推荐D D包包和包包和D D鞋鞋 自己网站自己网站 推荐推荐D D包包和包包和D D鞋鞋 自己自己APPAPP微信微信 推荐推荐D D包包和包包和D D鞋鞋 其他渠道来源客户其他渠道来源客户 门店咨询客户门店咨询客户 参加活动客户参加活动客户 自自 有有 电电 商商 第第三三方方电电商商 网站网站APPAPP注册客户注册客户 软文评价微博客户软文评价微博客户 网站网站APPAPP点击客户点击客户 注册询价放购物篮注册询价放购物篮 历史购买订单评论历史购买订单评论

8、 搜索点击跳转停留搜索点击跳转停留 上那些网站上那些网站 关注点击商品关注点击商品 网站网站APPAPP注册客户注册客户 软文评价客户软文评价客户 网站网站APPAPP点击客户点击客户 ADSLADSL点击客户点击客户 上网习惯上网习惯 购买时机购买渠道购买时机购买渠道 D D品牌品牌在在3737码码线线红色红色匹匹配配 中跟中跟旅游旅游鞋鞋 D D品牌品牌红色红色中号中号带拉带拉链包链包包包 第三方网站第三方网站 推荐推荐D D包包和包包和D D鞋鞋 第三方第三方APP APP 推荐推荐D D包包和包包和D D鞋鞋 门店活动渠道门店活动渠道 推荐推荐D D包包和包包和D D鞋鞋 线上线下关联

9、线上线下关联 推荐推荐D D包包和包包和D D鞋鞋 产品一、全网数据采集产品一、全网数据采集 业务数据业务数据 企业行业产品数据企业行业产品数据 自有电商数据自有电商数据 自有自有APP数据数据 第三方电商第三方电商APP数据数据 互动数据互动数据 门店数据门店数据 数采宝数采宝 范冰冰接触过某范冰冰接触过某 集团全网轨迹集团全网轨迹 采集全网触点数据聚合采集全网触点数据聚合 数聚宝数聚宝 范冰冰在集团范冰冰在集团 标签画像标签画像 画像宝画像宝 集团给范冰冰集团给范冰冰 的关怀与推荐的关怀与推荐 营销宝营销宝 20152015年年6 6月在国美月在国美网站点评过某品牌网站点评过某品牌冰箱冰箱

10、20142014 年年9 9月在京月在京东把某产品放入东把某产品放入购物篮没有付款购物篮没有付款 20142014年进入到某年进入到某集团集团APPAPP留下点留下点击产品行为数据击产品行为数据 20132013年月进入年月进入到集团官网注册到集团官网注册留下手机邮箱留下手机邮箱 20132013年淘宝买了年淘宝买了一台吹风机留下一台吹风机留下地址地址 20122012年维修留下年维修留下了地址电话邮箱了地址电话邮箱 20112011年购买一台年购买一台A A空调留下姓名空调留下姓名产品推荐产品推荐 最豪气的 电冰箱 导购导购 世界上最静音的空调 需求预测需求预测 空调冰箱 全套产品组合全套产

11、品组合 吹风豆浆机 优美生活组合豆浆机 服务关怀服务关怀 送给自己最好把匿名用户转化为实名用户把匿名用户转化为实名用户 的生日礼物 把实名用户转化成购买客户把实名用户转化成购买客户 提高客户场景购买转化率提高客户场景购买转化率 空调冰箱 挖掘忠诚潜在流失客户价值挖掘忠诚潜在流失客户价值 营销活动营销活动 吹风豆浆机 提高产品再销售转销售金额提高产品再销售转销售金额 优美生活组合 第一类第一类 业务系统数据的抽取业务系统数据的抽取 DMHBASE 地址标准库 核心业务核心业务 系统系统 销销 售售 数数 据据 C C R R M M 数数 据据 Sqoop ODS HIVE 贴源层 HQL/MR

12、 DWHIVE 模型层 ML DMHBASE 客户身份集市层 DMHBASE客户行为集市层 产产 品品 数数 据据 交易数据交易数据 .特征识别器特征识别器?精准特征识别精准特征识别(EMAIL.)(EMAIL.)?模糊特征识别模糊特征识别 DMHBASE 产品集市层 DMHBASE 其他集市层 其他系统其他系统 .数据清洗引擎数据清洗引擎?排错排错?去重去重?合并合并 2019/7/12?数据属性不同，特征不同，清洗规则不同?逐步建立地址基准库 第二类：自动抽取第二类：自动抽取WEB数据，建立产品库数据，建立产品库 社会媒体、自媒体、博客、微博、电商、论坛等数据数据采集抽取社会媒体、自媒体、

13、博客、微博、电商、论坛等数据数据采集抽取 样本分析 人为干预 形成规则及代码 配置好:交给机器就 OK啦!机器学习 自动 编码 类似传统ETL过程 可视化 企业产品和行业产品内容数据采集企业产品和行业产品内容数据采集 包含消费者和产品数据的来源 种类 数据种类 采集方式 自有网站 网站页面 商品名称、特征描述、价格 促销方式、促销价格 销售数量、评价 商品名称、特征描述、价格 促销方式、促销价格 销售数量、评价 商品名称、特征描述、价格 促销方式、促销价格 销售数量、评价 商品名称、特征描述、价格 促销方式、促销价格 销售数量、评价 自动抓取 行业网站 网站页面 自动抓取 友商网站 网站页面

14、自动抓取 京东天猫等第三方网站 网站页面 自动抓取 第三类第三类 自有电商自有电商WEB行为数据抓取行为数据抓取 数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）线上?自营电商平台 进入网站?流量来源?渠道转化率?来访时段?试用设备?广告有效性?访问量分析 浏览网站?浏览路径?页面跳出率?停留时间?页面关联 访问页面 注册会员 下单购物 关闭网站?页面点击?个人信息?购物历程?访问深度 习惯?联系方式?购买转化?访问时间?页面停留率 时间?家庭地址?潜在销售?最有价值机会?页面收藏?会员转化率 渠道?顾客留存?重复购买率 率?顾客忠诚?关联销售 度?促销效果评估

15、自有电商、自有电商、WEB数据采集数据采集 包含消费者和产品数据的来源 种类 数据种类 采集方式 自有电商网站 自有门户网站 自有APP 自媒体 微信公众号 博客 微博 论坛 网页显示数据 身份数据 行为数据 商品名称、价格、营销方式、评价等 注册姓名、邮箱、电话、手机、账号 IP、Cookie数据 进入网站打开页面数据 点击选择商品 鼠标点击停留时间 放入购物篮 支付 离开网页 购买商品名称、数量、价格、交易时间 直接抓取 交易数据 自营电商自营电商WEB端数据采集整合端数据采集整合 结构化的结构化的 业务数据业务数据 消费消费者在者在自营自营电商电商平台平台浏览浏览 业务数据库业务数据库

16、数据处理数据处理 消费者统一消费者统一视图库视图库 非结构化的非结构化的业务数据业务数据 分布式消息分布式消息队列队列 在线流式在线流式 处理处理 行为特性库行为特性库 页面埋点页面埋点 程序程序 日志服务器日志服务器 第三类第三类 自有自有APP行为数据采集行为数据采集 应 用 层 仓 库 层 分 析 层 存 储 层 总 线 层 采 集 层 APP数据平台 摇奖引擎 广告系统 同城会 用户画像 数据开放平台 搜索引擎 离线数据仓库 实时数据仓库 内存数据仓库 离线计算（Hadoop）（日常报表，规律趋势分析）实时计算（Spark/MPP内存数据库）（用户、实时行为、访问量、及时广告）即席查询

17、（Mongodb）推荐引擎（广告精准营销）分布式存储（HDFS）Redis 数据总线（DataBus）数据采集总线 APP请求 (action/request)APP上报(event)渠道(渠道API)网站(Session)业务系统 服务器（用户/消费）（运营日志）消息（Message）自营自营APP端数据采集整合端数据采集整合 结构化的业结构化的业务数据务数据 消费消费者在者在自营自营电商电商平台平台视图视图 业务数据库业务数据库 数据处理数据处理 消费者统一消费者统一视图库视图库 APP端操作端操作行为行为 HTTP请求请求 服务器端服务器端 行为特性库行为特性库 数据处理数据处理 第四类

18、第四类 第三方电商第三方电商WEB行为数据抓取行为数据抓取 数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）线上?自营电商平台?第三方电商平台所产生的数据业务、行为数据 进入网站 浏览网站?流量来源?浏览路径?渠道转化?页面跳出率 率?来访时段?停留时间?试用设备?页面关联?广告有效性?访问量分析 访问页面 注册会员 下单购物 关闭网站?页面点击?个人信息?购物历程?访问深度 习惯?联系方式?购买转化?访问时间?页面停留率 时间?家庭地址?潜在销售?最有价值机会?页面收藏?会员转化率 渠道?顾客留存?重复购买率 率?顾客忠诚?关联销售 度?促销效果评估 第三方电商

19、、第三方电商、WEB、APP、电信数据采集、电信数据采集 包含消费者和产品数据的来源 种类 数据种类 采集方式 第三方电商网站 第三方门户网站 APP 广电机顶盒 电信ADSL 网页显示数据 身份数据 行为数据 商品名称、价格、营销方式、评价等 注册姓名、邮箱、电话、手机、账号 IP、Cookie数据 进入网站打开页面数据 点击选择商品 鼠标点击停留时间 放入购物篮 支付 离开网页 购买商品名称、数量、价格、交易时间 抓取取得、直接购买结果数据、购买过程数据、合作埋点取得 交易数据 协议在第三方电商机房远程埋点协议在第三方电商机房远程埋点 远程机房远程机房备份服务器数据写入本地数据库消费者在消

20、费者在第三方电第三方电商平台商平台消费者统一视消费者统一视图库图库结构化的结构化的业务数据业务数据MD远程备份服务器接收数据包发送数据包产品统一视图产品统一视图库库消费者在第三方电商平台所产生的点击、浏览等行为数据，由于第三方公司对数据的保护，现在无法单纯的从技术上实现，只能通过合作的方式，购买与集团消费者相关的行为信息 协议购买第三方结果数据或过程数据协议购买第三方结果数据或过程数据 数据商数据商 Takingdata 数据堂 九次方 iclick 集奥GEO 淘宝商家 数据魔方 京东 数据罗盘 国家统计局 搜房网 京东 数据数据 访问记录，其他品牌竞品的销售统计 行为数据 部分区域上网，查

21、询记录 行业分析 预计可贡献指标预计可贡献指标 用户兴趣，产品定价 合作方式合作方式/金额金额 合作或购买 用户兴趣 用户兴趣 合作或购买 合作或购买 流量分析，行业（商品，购买，买家，搜索热词）房地产开发和销售情况月度/季度 房屋价格 用户特征，支付方式 用户兴趣 900/季度 区域潜在购买指数 区域购买指数 用户评级，支付手段 爬取 爬取 合作或购买 支付宝 移动电信 傲天 用户特征，支付方式 上网行为数据 用户评级，支付手段 行为数据 合作或购买 合作或购买 第五类、第五类、400或客服互动、营销活动数据的采集或客服互动、营销活动数据的采集 包含消费者和产品数据的来源 400 客服中心

22、CallCenter 投诉 营销活动 种类 数据种类 采集方式 语音通话数据 登记记录 访问询问记录 语音通话 文本文件 Excel Word PDF 语音通话 文本文件 Excel Word PDF 语音通话 文本文件 Excel Word PDF 科大讯飞 语意分析 分词分析 语音通话数据 登记记录 活动填表 访问询问记录 语音通话数据 登记记录 访问询问记录 门店互动交谈咨询 第六类第六类 渠道门店推荐导购渠道门店推荐导购 全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）线下?线下各个业务系管理系统中所积累的结构化业务数据?客户在门店、商场所产生的数据 进入门店?进店

23、入口?交通方式?日期时间?顾客活跃度 逛来逛去?逛店路线?停留时间?来店伙伴 停留场所?消费取向?消费能力?关联销售 WiFi上网?个人信息?兴趣评估?社交网络 消费购物?会员卡?金额?品类?信用卡信息?忠诚度?顾客价值 离开门店?离店入口?潜在销售机会 说明：线下数据源包括业务系统的数据、基于室内定位采集到用户状态变化数据、基于人脸识别提供的相片数据 可选试点 门店行为数据采集门店行为数据采集 高清监控器高清监控器 RFIDRFID天天线线 商品拿起放商品拿起放下下 次数数据次数数据 高清被动面部数高清被动面部数据据 RFID读写器读写器 Ibeacon 监控控制路由 ibeacon摇一摇手

24、机数据摇一摇手机数据 客户位置数据客户位置数据 WIFI:WIFI:注册身份数注册身份数据、手机、行为据、手机、行为数据数据 门店数据采集方式门店数据采集方式 面部数据采集面部数据采集 视频位置视频位置 数据采集数据采集 IbeaconIbeacon摇一摇摇一摇 身份数据采集身份数据采集 Ibeacon位置位置 数据采集数据采集 DFID试用试用 选择数据选择数据 WIFI数据采集数据采集 瞳孔数据采集瞳孔数据采集 线下 面部识别：身份、来店周期、面部表情、面对商品情绪。面部识别：身份、来店周期、面部表情、面对商品情绪。位置关系：位置与商品关系、可能意向、移动轨迹。位置关系：位置与商品关系、可

25、能意向、移动轨迹。身份：姓名、手机、邮箱、其他、。身份：姓名、手机、邮箱、其他、。位置：购买品牌型号、特征、数量、价格、层级、。位置：购买品牌型号、特征、数量、价格、层级、。选择犹豫：拿起放下商品次数、试用操作、反复比较。选择犹豫：拿起放下商品次数、试用操作、反复比较。点击行为：手机、点击网站、页面、鼠标停留、偏好倾向。点击行为：手机、点击网站、页面、鼠标停留、偏好倾向。瞳孔识别：注意力、兴奋度、情绪、决定、犹豫、轨迹。瞳孔识别：注意力、兴奋度、情绪、决定、犹豫、轨迹。门店数据整合门店数据整合 消费者在线下专属的各门店、商场专柜数据 专属专属 门店门店 消费消费者统者统一视一视图库图库 商场商

26、场 专柜专柜 行为行为特征特征库库 产品二产品二 客户统一视图客户统一视图 数据抽取数据抽取 客户数据聚合客户数据聚合 清洗合并建模清洗合并建模 建统一唯一标识编码建统一唯一标识编码 统一调用接口统一调用接口webservers 客户统一视图客户统一视图 统一视图统一视图=客户数据聚合客户数据聚合+清洗合并建模唯一标识清洗合并建模唯一标识+调用接口调用接口 一、抽取业务系统、电商、一、抽取业务系统、电商、WEBWEB、APPAPP、门店等客户（产品、订单、行为）数据加载到、门店等客户（产品、订单、行为）数据加载到Hadoop Hadoop 二、数据聚合：二、数据聚合：1 1、跨系统打通各系统的

27、数据，合并各系统的客户（产品、订单、行为）数据、跨系统打通各系统的数据，合并各系统的客户（产品、订单、行为）数据 2 2、建立用户与用户、产品和产品、产品与用户之间的数据关系和流向、建立用户与用户、产品和产品、产品与用户之间的数据关系和流向 3 3、编制跨系统数据蓝图、编制跨系统数据蓝图 三、合并清洗建模：三、合并清洗建模：清洗合并规则建模、对每一个客户清洗合并规则建模、对每一个客户(产品、订单）形成唯一的一个识别编码产品、订单）形成唯一的一个识别编码 1 1、用户基本属性清洗合并建模（姓名、地址、手机、固话、邮箱。）、用户基本属性清洗合并建模（姓名、地址、手机、固话、邮箱。）2 2、产品基本

28、属性清洗合并建模（品名、指标、性能、功能、价格、评价。）、产品基本属性清洗合并建模（品名、指标、性能、功能、价格、评价。）3 3、订单基本属性清洗合并建模（订单产品、单价、总价、分类、结构。）、订单基本属性清洗合并建模（订单产品、单价、总价、分类、结构。）4 4、行为基本属性清洗合并建模（点击、鼠标停留、注册、门店行为。）、行为基本属性清洗合并建模（点击、鼠标停留、注册、门店行为。）5 5、建唯一客户识别码和触点数据清单、建唯一客户识别码和触点数据清单 四、提供服务调用接口四、提供服务调用接口 Webservers,Webservers,提供客户识别编码和触点数据标签提供客户识别编码和触点数据

29、标签 数据抽取采集聚合数据抽取采集聚合 进入网店页面进入网店页面 注册登录注册登录 点击选购点击选购 搜索商品搜索商品 鼠标停留鼠标停留 时间位置时间位置 放入购物篮放入购物篮 支付交易支付交易 离开网店网页离开网店网页 电商电商 WEB WEB APP APP 电信电信 行为行为 数据数据 Kafka Spark Streaming Storm Spark MLlib API、ETL Kafka iBeaconiBeacon定位定位 摇一摇身份数据摇一摇身份数据 WIFIWIFI市内定位市内定位 面部识别面部识别 表情数据表情数据 RFIDRFID商品移动商品移动 识别数据识别数据 POSP

30、OS等数据等数据 Flume 科大讯飞科大讯飞 文字会话 录音语音台 聊天会话 数据计算数据计算 Hive Hive、HBase HBase、ImpalaImpala、Spark SQL Spark SQL 门店门店 行为行为 数据数据 数据存储数据存储 HDFS HDFS 批处理批处理 MapReduce MapReduce Kettle Sqoop 售后系统数据 会员系统数据 渠道系统数据 财务CRM 其他核心业务销售物流 系统数据物料 其他核心业务 系统数据 行为数据行为数据 系统结构化数据系统结构化数据 业务系统数据的抽取业务系统数据的抽取 DMHBASE 客户订单集市层 核心业务核心

31、业务 系统系统 销销 售售 数数 据据 C C R R M M 数数 据据 Sqoop ODS HIVE 贴源层 HQL/MR DWHIVE ML 模型层 DMHBASE 客户身份集市层 DMHBASE 客户行为集市层 产产 品品 数数 据据 交易数据交易数据 .特征识别器特征识别器?精准特征识别精准特征识别(EMAIL.)(EMAIL.)?模糊特征识别模糊特征识别 DMHBASE 产品集市层 DMHBASE 其他集市层 其他系统其他系统 .数据清洗引擎数据清洗引擎?排错排错?去重去重?合并合并 2019/7/12?数据属性不同，特征不同，清洗规则不同?逐步建立地址基准库 打通所有系统、进行数

32、据融合打通所有系统、进行数据融合 用户维度、产品维度、订单维度、行为维度用户维度、产品维度、订单维度、行为维度 统一数据存储池统一数据存储池?支持包括文件、流Kettle Sqoop flume sockt FTP Kafka 统一数据采集平台统一数据采集平台 ETL 科大讯飞 以及DBMS各种类型数据源?支持结构化和非结构化数据采集?提供多种接口对接各种数据源 数据源数据源 文件 数据库 流 整合跨系统、建立数据蓝图整合跨系统、建立数据蓝图 StreamStream传统数据库 MPP RDBMS SQL or SQL or 类类 SQL SQL 数据访问数据访问 批处理计算，批处理计算，库内

33、计算库内计算 igrationDB Stored Procedure DB SQL 实时流计算，实时流计算，ServiceService库外计算库外计算 Sqoop Hadoop M/R Script Phonix SQL Spark MLlib 数据库与数据库与HadoopHadoop 数据数据迁移迁移 快速检索快速检索 离线分析离线分析 HBASE 批处理计算，批处理计算，库外计算库外计算 HDFS 内存，在线分析内存，在线分析 Spark GrapicX Spark SQL 库内库内 or or 库外库外 ETL Spark Scala Script 智能家居 合并客户触点数据合并客户触

34、点数据 APP 电商订单（天猫/京东）1、姓名 2、手机 3、电话 4、省市 5、地址 未获取信息 1、下单时间 2.支付方式 门店 1、姓名 2、手机 3、省市 4、地址 未获取信息 售后系统 1、姓名 2、手机 3、省市 4、地址 未获取信息 客服系统 1、姓名 2、手机 3、省市 4、地址 未获取信息 内部数据 1、.2、.3、.4、.5、.未获取信息 1.xxxx 1、.2、.3、.4、.5、.未获取信息 1.xxxx 1、支付方式 客服 体验 购买 安装 外部数据 标签 网页访问数据 未获取信息 1、竞争对手产品 2、价格 3.浏览量 4、评分 5、购买量 微信 未获取信息 1。账号

35、 2、Q龄 3、交易次数 4、实名认证 5、快捷绑定 6.注册时间 7、交易额 8、活跃度 9、会员信息 10、权益信息 11.浏览器信息 12.IP地址 京东 未获取信息 1、身份证 2、手机 3、用户商龄 4、累积消费金额 5、购买力 6、有房/车 7、子女 8、消费活跃 9.价格敏感度 支付宝 未获取信息 1、是否学生 2、支付宝评价 3、实名类型 4、交易类型 5、资产水平 6、消费档次 7、交易评分 搜房网 未获取信息 1、楼盘 2、价格 人口属性 产品特征 订单特征 行为特征 体验环节：和数据厂商，合作或购买统计数据 购买环节：引入合作商用户数据 数据清洗整合规则建模数据清洗整合规

36、则建模 目标:高度共享的集中统一数据平台，统一消费者视图，实现精准营销、精准决策 个性化精准营销和关怀?个性化精准营销和关怀 客户消费需求 客户消费能力 个性化细粒度分析个性化细粒度分析 客户 消费 习惯 地域 消费需求 客户 忠诚度 产品主动售后 应用 系统 客群粗客群粗 粒度分析粒度分析?统一会员视图 集中统一平台 数据共享 统一消费者标识 实现个性化精准营销?主主 题题 数数 据据 数据挖掘数据挖掘 会员身份信息库 消费行为信息库 现状:数据分布各地信息分离、共享程度低 消费者信息不统一 无法实现一对一个性化精准营销 2019/7/12 产品基本属性 产品生命周期 统统 客户 一一 元元

37、 数数 产品 据据 客户数据清洗形成统一标签提供其他系统调用客户数据清洗形成统一标签提供其他系统调用 购买交易数据购买交易数据 从渠道和零售系统采集从渠道和零售系统采集 用户的交易记录用户的交易记录 清洗规则 手机号匹配 姓名匹配 地址匹配 产品号匹配 会员基本信息 会员购买的产品 会员存在的问题 会员间的亲友关系 会员的售后记录 退换货数据退换货数据 从渠道系统采集退换货记录从渠道系统采集退换货记录 咨询投诉数据咨询投诉数据 投拆投拆客服客服互动数据互动数据 从呼叫中心采集投拆数据从呼叫中心采集投拆数据 固话匹配 邮箱匹配 偶发出现行为数据偶发出现行为数据 从从WEBAPP 电商门店数据电商

38、门店数据 CRM或合作购买数据或合作购买数据 从或第三方购买数据从或第三方购买数据 2019/7/12 2019/7/12 Department Department 33 33 基于各类业务系统数据分析平台数据流架构基于各类业务系统数据分析平台数据流架构 业务系统 偶发行为 Kafka 售后系统 OLTP.实时处理+规则引擎 Spark Streaming 报表应用 Pentaho 数据服务 HTML5 WEB、手机 Phoenix Cassandra JDBC 在线平台在线平台 读取型 HBASE MongoDB HBASE API 细粒度数据细粒度数据 Data Mart/Model 批

39、处理 ETL服务器 Kettle Sqoop DW层/HIVE ODS层/HIVE 清洗 合并 基于Hadoop的大数据仓库 离线平台离线平台 读写型读写型 粗粒度数据粗粒度数据 HADOOP 规则 手机清洗逻辑手机清洗逻辑 手机正则(b0d2,3)?-_/*)?(134578(0-99)匹配字符长度11 且匹配手机号后一位非数字 N 原始字符长度=11 Y 去除非数字 N 格式错误 格式正确 校验区号 N Y Tel:400-00-31368 Website:bigdataunion.org 手机清洗规则模型手机清洗规则模型 固话清洗逻辑固话清洗逻辑 固话正则(b0d2,3)?-_/*)(d

40、7,8)(-_、呼转)+d1,6)?N 匹配字符长度9 且匹配固话号后一位非数字 重复数字 N 原始字符长度7,8位 Y Y 去除非数字 N 格式错误 格式正确 校验区号 N Y Tel:400-00-31368 Website:bigdataunion.org 地址清洗方案地址清洗方案?根据数据特点，分为两类数据清洗方案：规则1.存在标准地区代码，可以到标准地区库标准地址 规则2.不存在地区代码或者是脏地区代码，根据百度地图api接口 标准地址 odshive贴源层数据源.用户基本信息表（ods.t_cs_customer）地区代码不为空 地区标准库 递归找出标准地址 DWhive 模型层

41、地区代码为空 百度api接口 返回标准地址 地址唯一标示清洗地址唯一标示清洗 增量数据清洗、加载（废弃）增量数据清洗、加载（废弃）ODS 业务数据 消费者主对象 规范性规则 问题数据 Left Outer Join 消费者主对象(干净)数据合并 消费者主对象 对应关系(唯一)（得出关联客户）消费者主对象(编码)附属表插数 应用数据模型（Hbase）增量数据清洗、加载（保留）增量数据清洗、加载（保留）ODS 业务增量数据 合并规则 消费者主对象 规范性规则 问题数据 唯一性比对 消费者主对象(干净)消费者 不存在 唯一比较 数据合并 合并 存在 不能合并 获取UID 对应关系 消费者主对象（得出

42、关联客户）(编码)附属表插数 应用数据模型（Hbase）多系统客户数据整合流程图多系统客户数据整合流程图 业务系统数据(biz1)客户表(stage)1.stg_cust_biz1 业务系统数据(biz2)客户表(stage)1.stg_cust_biz1 业务系统数据(bizx)客户表(stage)1.stg_cust_biz1 WA.数据规范 统一客户表(ods)5.ods_cust_unique(唯一)客户表(normal)2.normal_cust_biz 电话,地址,.WA.数据规范 WB.数据匹配 N 客户表(tmp)3.tmp_cust_biz Y 和业务表关联 WC.数据合并(

43、M/R)规则过滤 新增客户 统一客户表(ods)4.ods_cust_incremental 客户表-脏数据(ods)5.dirty_cust_incremental 统一客户表(ods)5.ods_cust_unique(唯一)整合规则实现顺序整合规则实现顺序 清洗后的用户数据 完全去重 手机、地址、固话、姓名完全相等 覆盖手机规则 手机相等的前提下，任意两条记录两两相比，根据规则判定这两条记录是否相等 覆盖地址规则 带唯一标识的合并前全量用户信息 覆盖固话规则 用户基本信息表 用户联系方式表 用户地址信息表 用户关联关系表 覆盖姓名规则 提供客户标签调用和查询提供客户标签调用和查询 通过会

44、员关怀提高忠诚客户的比例 客户接触 客户标签 客户数据 客户分群 目目标标客客户户 呼叫中心 售后服务 营销活动 导购 互联网 2019/7/12 2019/7/12 Department Department 客户关怀计划 产品推荐 优惠活动 忠诚会员忠诚会员?提升销量?加强竞争地位?营销成本底?无需价格战?有利新品推广 转介绍 会员活动 亲情服务 营销活动 公关活动 44 44 产品三、产品三、360度全景画像度全景画像 打标签打标签 画像画像 分类群组分类群组 数据挖掘数据挖掘 需求特征需求特征 客户产品订单行为画像客户产品订单行为画像 身份身份 产品产品 订单订单 行为行为 画像画像

45、群组群组 价值价值 挖掘挖掘 画像画像 建立客户建立客户 产品产品 行为行为 订单订单 9 9个属性个属性 180180个维度个维度 63006300个触点个触点 标签画像标签画像 建立客户建立客户 建立客户建立客户 产品产品 产品产品 行为行为 行为行为 订单订单 订单订单 9 9类画像类画像 每一类群组每一类群组 2727群画像群画像 的数据的数据 180180组画像组画像 价值挖掘价值挖掘 客户画像客户画像 客户画像客户画像 客户唯一基本属性标识标签客户唯一基本属性标识标签 9 9个属性、个属性、180180个维度个维度 63006300个触点个触点 360360全景画像全景画像 9 9

46、个门类个门类2727个群个群 18001800个组个组 9 9个门类个门类2727个群个群 18001800个组个组 数据价值挖掘数据价值挖掘 姓名匹配姓名匹配 手机匹配手机匹配 3535个基本人口属性个基本人口属性 2525个区域小区楼栋房号个区域小区楼栋房号 1515个个关系群体人员属性关系群体人员属性 1515个个爱好兴趣属性爱好兴趣属性 喜欢喜欢3.003.00汽车汽车 喜欢静音喜欢静音 喜欢负离子清新通风喜欢负离子清新通风 喜欢自动睡眠功能喜欢自动睡眠功能 高价值客户高价值客户 低价值客户低价值客户 负价值客户负价值客户 活跃客户活跃客户 流失客户流失客户 粉丝粉丝 。邮箱匹配邮箱匹

47、配 关系人链匹配关系人链匹配 电话匹配电话匹配 2020个个使用习惯偏好属性使用习惯偏好属性 2020个个品牌偏好倾向属性品牌偏好倾向属性 等级匹配等级匹配 统一标示代码统一标示代码 喜欢粉红色喜欢粉红色 喜欢智能定时喜欢智能定时 。2020个个购买倾向情绪购买倾向情绪 1515个个购买时间时机属性购买时间时机属性 1515个个购买比较条件属性购买比较条件属性 。第一步第一步 建立客户产品唯一识别标签建立客户产品唯一识别标签 标签权重标签权重=衰减因子衰减因子行为权重行为权重网址子权重网址子权重时间衰减因子时间衰减因子 客户唯一标识标签客户唯一标识标签 姓名匹配姓名匹配 电话匹配电话匹配 邮箱

48、匹配邮箱匹配 关系人链匹配关系人链匹配 订单匹配订单匹配 等级匹配等级匹配 统一标示代码统一标示代码 。产品唯一识别标签产品唯一识别标签 姓名标示姓名标示 产品名称产品名称标签记录客户、产品特征数据标签记录客户、产品特征数据 和全网触点行为数据唯一识别和全网触点行为数据唯一识别 一、标签的唯一性一、标签的唯一性 二、标签的精准性二、标签的精准性 三、标签的简单明了三、标签的简单明了 四、标签的可调用性四、标签的可调用性 五、标签的可修改回写五、标签的可修改回写 产品型号产品型号 产品参数产品参数 产品指标产品指标 产品价格产品价格 产品交易量产品交易量 。统一产品标示代码统一产品标示代码 第二

49、步第二步 客户画像客户画像 9 9个属性、个属性、180180个维度个维度 63006300个触点个触点 360360全景画像全景画像 3535个基本人口属性个基本人口属性 把来自于全网各种渠道混杂的客户身份（产品、订单、行为）数据清洗统一标示后的客户特征画像 采集聚合客户数据采集聚合客户数据 唯一标签标示唯一标签标示 CRM 客户基本信息 姓名、电话、性别、地址 特征习好、客户关联关系 OCRM 客户操作型数据 与客户互动 电话记录、业务操作、货款交付 售前售中售后服务等数据 ACRM 客户行为数据 WEB、WIFI、APP点击浏览 POS刷卡消费行为 CCRM 客户协同型数据 呼叫中心、客

50、户渠道、交互服务 售后回访、拜访数据 姓名标示姓名标示 姓名匹配姓名匹配电话匹配电话匹配 邮箱匹配邮箱匹配 关系人链匹配关系人链匹配 订单匹配订单匹配 等级匹配等级匹配 。统一标示代码统一标示代码 统统 一一 客客 户户 视视 图图 2525个区域社区楼栋房号个区域社区楼栋房号 1515个个关系群体人员属性关系群体人员属性 1515个个爱好兴趣属性爱好兴趣属性 2020个个使用习惯偏好属性使用习惯偏好属性 2020个个品牌偏好倾向属性品牌偏好倾向属性 2020个个购买能力属性购买能力属性 1515个个购买时间时机属性购买时间时机属性 1515个个行为属性行为属性 客户客户9个属性个属性180个