大数据时代及数据挖掘的应用-56p课件.pptx

1、大数据时代及数据挖掘的应用aFocus BIGdATA大数据： 创新、竞争和生产力的下一个新领域！ BIGdATA 大数据来了！ 随着信息时代的到来，手机、电子邮箱、互联网搜索所有这些都可以用数据的形式表现并记录下来。 然而，在这一片看似杂乱无章又毫无规律的数据面前，很多人没有意识到其背后所蕴藏着的巨大价值。 BIGdATA 纷繁复杂的数据，就像一个巨大的矿脉，时时刻刻引诱着对信息极为敏感的人们。他们依托电脑为工具，进行着数据挖掘的工作，希望在其中找到真正的“金矿”！ 大数据在哪？ BIGdATA大数据是？无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。 BIGdA

2、TA 大数据的4V特性1. VolumeVolume2. VarietyVariety3. value4. VelocityVelocity结构化、半结构化和非结构化数据沙里淘金，价值密度低实时获取需要的信息数据量巨大体 量多样性价值密度速 度 BIGdATA 大数据有多大？全球每秒钟发送 2.9百万封电子邮件，一分钟读一篇的话， 足够一个人昼夜不息的读5.5年每天会有 2.88 万个小时的视频上传到Youtube， 足够一个人昼夜不息的观看3.3年推特上每天发布 5 千万条消息，10 秒钟浏览一条信息， 足够一个人昼夜不息的浏览16年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Face

3、book 上要花费7 千亿分钟， 被移动互联网使用者发送和接收的数据高达1.3EB Google 上每天需要处理24PB的数据 BIGdATA数据的价值到底在哪里？ 让我们从案例说起 BIGdATA 喜欢看足球的人们可能还记得，06年世界杯上一场激烈的德国对垒阿根廷的点球大战，最终以德国守门员莱曼神勇扑出对方多个点球而取胜。 有如神助？ 不如说是：有如数据之助！先从身边的案例看起： BIGdATA克鲁斯，原地不动，球门右下角。克鲁斯，原地不动，球门右下角。阿亚拉，低平球，左下角。马克阿亚拉，低平球，左下角。马克西，右侧死角。坎比亚索，等待，西，右侧死角。坎比亚索，等待，原地不动，左下角。原地不

4、动，左下角。10 德国成功的关键，就在赛前守门员教练科普克塞给了莱曼一张便筏： 这便是教练拥有的一个非常详尽的私人数据库，收集了13000个点球录像，进行了详细的分析，通过记录和分析去了解阿根廷球员的习惯，最后浓缩成了这张纸条。数据，带来的是实打实的效果！ BIGdATA11 掘金大数据时代 一小伙应聘上海（均价4万高档小区）的物业管理，自己配了扫描枪，每天盯着小区垃圾堆，看见有条形码就扫描，晚上回家把数据整理出来，得出这小区的人喜欢喝什么水、吃什么油、买什么衣服，他对整个小区的消费品类偏好和品牌偏好一清二楚，最终，形成报告卖给大公司，报告价值数十万。数据，带来的是白花花的银子！ BIGdAT

5、A马云的判断来自于数据分析马云对未来的预测，是建立在对用户行为分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品。这些，反应到阿里巴巴网站的统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，所以保证了用户行为模型的准确性。数据，带来的是前瞻性的眼光！ BIGdATA大数据，大未来 以上的案例向我们解释了，要在浩如烟海的数据中找到它的价值所在，首要进行的便是数据挖掘的工作。 数 据 挖 掘 BIGdATA数据挖掘： 大数据的淘金者！ BIGdATA数据挖掘能给我们带来什么？ BIGdATA例：【某品牌消毒蒸锅

6、】潜客数据部分预览：潜客不是几百几千个用户的标签，而是成千万、上亿的群体性标签！ 1 BIGdATA例：【某品牌移动硬盘】客户要求：形成直接的天猫旗舰店销售。订单 2 BIGdATA用户受到正向影响促进，决心下单。用户下单，完成购买。实施效果： 平均每月成单100单以上。 BIGdATA口碑根据潜在用户口碑资料，对产品进行改进。不但影响产品销量，甚至直接影响产品整体销售策略、定位策略！ 3 达到效果 对JVC品牌的正面影响。 BIGdATA为什么是微博？“从iPad和微博中，我似乎看到了一点点未来”默多克 BIGdATA对这些海量数据的存储，新浪微博超过了任何一家传统企业的能力，但是对于整个互

7、联网平台级的公司，他们每时每刻都在忙于把这些数据收集、整理、归类、保存。 BIGdATA微博颠覆了传统的 信息传播路径传统：单中心、单向的传播方式 短信、电话、问卷：效率低且数量少。微博：多中心、网状裂变传播方式 每一条都是直接的用户需求：效率高，且数量大。更庞大！更快速！更直接！更高效！ BIGdATA每天，新浪微博产生1亿条数据微博上的消费者是 数字化 的 在网络中，他们不会直接告诉你需求，企业必须自己去收集、分析、跟踪、对比。谁先在海量数据中沙里淘金，谁将在这轮技术变革中，脱颖而出。 BIGdATA微博数据挖掘能帮助客户解决什么问题？1. 制定产品策略，优化促销活动！2. 挖掘潜在客户，

8、进行个性化推荐！3. 增加驻留客户，优化聚类客户！4. 降低运营成本，提高企业竞争力！ BIGdATAaFocus是怎么做的？ BIGdATA BIGdATA1 1 用户分析 挖掘策略 基础数据 数据清洗 语义分析 BIGdATA售价：1299元产品特性：某品牌多组合蒸汽消毒锅 HY101W面向用户：0-6岁宝宝消毒用具需求者。主要功能：为奶瓶、奶嘴和儿童餐具消毒。主要优势：多组合、多功能、强力蒸汽、自动断电。了解产品，才能更好的了解用户。1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析 BIGdATA母婴用户群体特性：孩 子消费者特征： 扮演消费使用者，但由于年龄太小，自身没有判

9、断力和购买能力。 产品使用和购买的最终评价主要来自父母。父 母消费者特征：1.谈论子女的健康（预防，治疗）；2.谈论自己对子女的付出（精神，体力）；3.谈论子女的人生阶段（出生，满月，周岁等）。了解用户，才能更精准的挖掘。1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析 BIGdATA根据用户特性，制定关键词群。2.行为关键词： 挖掘对产品有潜在需求的用户：他们的行为有极大可能对产品产生需求，我们需要更好的刺激需求，也可借此扩大品牌影响力。1.产品关键词： 挖掘对产品有直接需求的用户：他们本身对产品有需求，想要购买，他们需要的是更好的推荐。1.用户分析2.挖掘策略3.基础数据4.数

10、据清洗5.语义分析 BIGdATA海尔多组合蒸汽消毒锅挖掘关键词：1.产品关键词2.行为关键词奶瓶 消毒玩具 消毒洗 奶瓶买 新奶瓶奶瓶 卫生一岁 送什么满月 送什么通过关键词群，挖掘出准确的潜在用户。1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析 BIGdATA海量数据库新浪每日微博数据1亿条。通过API接口，根据挖掘策略，获取基础数据：约6万条初步数据挖掘，是对所有相关用户的整合。1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析 BIGdATA1.系统清洗 蓝V清洗(蓝V认证) 官微发布，多为产品推广或知识宣传。 链接清洗( 带链接 )产品导流，加链接欲促成销售的

11、账号。 字数清洗(字数过多)草根特性，知识宣传等非快捷表达的大段文字。 系统直接过滤掉绝非潜在用户的群体。1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析 BIGdATA1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析2.数据分析师建模清洗 关键字规则(转让、代购、直购) 用户数据规则(不常在线的) 通过细致分析，筛掉反向需求用户和隐形需求用户。 BIGdATA中文切词分词技术上下文语境定义技术符号学分析技术自动摘要技术语言分段及结构化技术实体对象识别与抽取技术词性识别纠正技术情绪识别和分析技术关键词关联度发现技术文本挖掘与规则发现技术自然语言识别：Natural La

12、nguage Processing (NLP)自然语言识别特别是中文语义的识别需要基于智能、精准、可靠的切词技术，并能对上下文语义和语境进行识别，还可根据预设语境抽取语义关键词。文本挖掘技术：Text Miner & Sentiment Analysis文本挖掘借助于数据挖掘算法对文本信息进行分析，通过统计分析，聚类分析，规则发现，模式探索与识别对文本信息进行探索分析，发现其潜在的规律规则。1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析 BIGdATA分析范围：用户最近发布的500条微博。分析结果：（Excel表格方式呈现） 分析客户背后的隐性资料。 婴儿年龄、生日 家电品牌偏好

13、 消费水平 对促销的敏感度1.用户分析2.挖掘策略3.基础数据4.数据清洗5.语义分析 BIGdATA 执行产出之一：用户数据报表1万条左右高精准用户数据 BIGdATA执行产出之二：用户数据报告 总体呈现 关键词呈现 用户类型 性别分析 年龄分析 地域分析 发言时间 微博等级网购激励因素分析用户对网络广告/活动的参与情况用户网购的时间段用户触媒习惯用户浏览购物网站的地点潜客收入分析消费群体的划分与定位消费群体的喜好及网络行为特征主要包括： BIGdATA每日新增微博数据1亿条+关键字相关微博数据约60，000条左右具有分析意义的数据约20，000条左右潜客数据约1185条+难点：如何获取数据

14、？应对：API+智能爬虫难点：如何解读海量微博数据？应对：建模清洗难点：如何准确识别潜客？应对：行业切词+语义分析总体呈现：时间：2013.6.10-2013.6.210：00 12:00 BIGdATA执行产出之三：互动报告月互动总数约6000条自动回复带来的二次回复 4193条 1842条 人工回复带来的二次回复 1807条 1088条给消毒蒸锅页面带去1820次的高精准点击。 BIGdATA内容分配内容分配产品特征产品特征人群特点人群特点分类话术分类话术整体建议：1. 产品推销（60%）：销售形象，介绍产品、加链接等；2. 实用窍门（10%）：秘书形象，讲解产品相关知识；3. 疑难解答（

15、20%）：专家形象，解答网友产品相关困惑；4. 交流心得（10%）：朋友形象，交流产品使用心得。注意：具体项目，需根据项目需要和数据挖掘结果，进行具体分配。如何设置自动回复话术？1 BIGdATA如何设置自动回复话术？2阶段任务：1. 了解项目产品的总体定位；2. 了解项目的主推产品或主推功能；注意事项：1. 整体定位对回复话术的设定有很大影响；2. 主推产品和主推功能，直接决定话术的内容方向。内容分配内容分配产品特征产品特征人群特点人群特点分类话术分类话术 BIGdATA如何设置自动回复话术？3阶段任务：1.根据用户给出的资料，给产品消费者“画轮廓”（群体描述）；2.根据数据挖掘师的报告，给

16、潜在用户“涂颜色”（属性分类）；注意事项：1.群体描述时，尽量在大范围内精准，不要有过分细节的描述；2.属性分类时，先选取有价值的属性，然后尽可能细致的进行分类。内容分配内容分配产品特征产品特征人群特点人群特点分类话术分类话术 BIGdATA如何设置自动回复话术？4内容分配内容分配产品特征产品特征人群特点人群特点分类话术分类话术阶段任务：1. 将产品特征和人群特点“连线”，组合成不同的潜客群体；2. 针对不同的潜客群体，确定形成最终的回复话术；注意事项：1. 同一个产品特征，对应用一个人群特点，可以形成不同的潜客群体；2. 同一个潜客群体，根据特性，可形成不同的回复话术；3. 回复话术，切忌打

17、广告的形式，要给人“一对一”聊天的感觉。 BIGdATA例：用户年龄层次对应触及策略针对中老年人群针对中老年人群触及策略：触及策略：虽该人群消费习惯讲求实惠，但在后代有需求情虽该人群消费习惯讲求实惠，但在后代有需求情况下，则更加注重品质，故而在推荐时，注意讲求产品实用况下，则更加注重品质，故而在推荐时，注意讲求产品实用性和优质品质与传统方式的对比，导流于线下专卖店。性和优质品质与传统方式的对比，导流于线下专卖店。针对青年人群针对青年人群触及策略：触及策略：推荐产品时，注重突出方便实用性和时尚性。同推荐产品时，注重突出方便实用性和时尚性。同时，在推荐购买渠道中，根据其容易冲动消费的特点，将其时，

18、在推荐购买渠道中，根据其容易冲动消费的特点，将其倒流到网上商城，从而促进交易成功率。倒流到网上商城，从而促进交易成功率。对应触及策略展示互动展示 BIGdATA关键字对应触及策略自用人群自用人群触及策略：触及策略：注重品牌实用性。注重品牌实用性。送礼人群送礼人群触及策略：触及策略：针对该人群，应主推品牌优势、外观和实用性。针对该人群，应主推品牌优势、外观和实用性。对应触及策略展示互动展示 BIGdATA综合对应触及策略对应触及策略展示互动展示基本资料：女 50+ 北京海淀区 自用 家庭主妇 话术：宝宝太能干啦！小奶瓶拿得牢牢不放弱弱的问一句，奶瓶洗的辛苦么？为了宝宝的健康，总是要清洗很多遍吧！

19、不如试试消毒蒸锅，省事又绝对卫生，爱宝宝也要爱护自己哦 BIGdATA更多的案例 BIGdATA某月沟通结果浙江杭州地区潜客和竞品潜客321条沟通前已购车、订车13意向潜客141竞品高意向、无意向126暂无回复41 BIGdATA品牌产品客户类别区域市场品牌关键词产品1潜客上海杭州苏州竞品潜客上海杭州产品2潜客运营模型分为两个层级：l 中央层级：完成潜客数据挖掘，向区域市场推送潜客数据及互动策略建议。l 区域层级：n建设好本地分公司或核心4S店微博账号；n利用本地微博账号，将互动策略做本地化调整后，完成潜客O2O诱导到店，促成销售。 BIGdATA潜客沟通平台发布新浪微博两大平台成就微博主动营

20、销潜客分析平台获取潜客数据使用沟通平台收到微博信息 BIGdATA微博潜客主动式营销微博潜客扩大品牌影响力 有针对性的沟通 BIGdATA分析标签与分析标签与条件筛选条件筛选分析标签分析标签微博用户微博用户profileprofile微博原文微博原文微博主动式营销平台简介潜客沟通潜客沟通状态状态历史沟通历史沟通记录记录打印转打印转outboundoutbound到店邀约成到店邀约成功功 BIGdATA有专门的部门负责大数据营销。强悍有实战经验的合作伙伴。信任机制和试错机制。对大数据的正确共识。本案例特点：针对微博平台挖掘价格1560万汽车潜客。 提供互动策略及可视化营销工具给客户。 项目启动半年后4S店销售转化率平均4。 BIGdATA 微博数据挖掘触手可及的宝藏！THANKS