BI数据挖掘交流方案.ppt

1、内容纲要内容纲要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具1BIBI的相关背景的相关背景BI（Business Intelligence，商业智能）是目前全球IT市场中非常热门的一个话题；其关键推进因素是ERP等系统的相对完善后，形成了海量数据，如何发挥这些数据的价值其实就是BI所需要解决的问题；BI是 数据-信息-知识 的一个逐步转化过程；BI系统主要由 数据仓库DW(Data Warehouse)，联机分析处理OLAP(Online Analytical Processing)，数据挖掘-DM(Data Mining)三大部分组成；2BIBI的相

2、关背景的相关背景BI系统结构3内容纲要内容纲要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具4典型的业务问题典型的业务问题5数据挖掘都可以应用到何处？数据挖掘都可以应用到何处？6何谓数据挖掘？何谓数据挖掘？数据挖掘是一个从海量数据中抽取前所未知的，数据挖掘是一个从海量数据中抽取前所未知的，可理解的，可操作信息的过程。可理解的，可操作信息的过程。7数据库与数据挖掘发展历程数据库与数据挖掘发展历程8数据挖掘是一门交叉学科数据挖掘是一门交叉学科数据挖掘数据挖掘数据库技术统计学其他学科信息科学机器学习可视化技术9内容纲要内容纲要 BI的相关背景 数据挖掘的基础知

3、识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具10数据挖掘的过程数据挖掘的过程商业理解商业理解数据理解数据理解数据准备数据准备 数据 挖掘建立模型建立模型模型评估模型评估模型发布模型发布11商业理解商业理解 定义商业目标 定义数据挖掘目标12数据理解数据理解 需要的数据 可以获得的数据 对可获得的数据进行观察、分析 用直方图显示输入数据分布 聚类以发现孤立点 在保持数据特征的基础上抽样 过滤不想要的数据 值映射13数据准备数据准备一定要保证数据质量！14建立模型建立模型 确定抽样规则 选择合适的算法 调整算法的参数15模型评估模型评估 使用一组新数据评估构建好的模型16模型发布模型发布

4、制作成自动化处理软件包，上线使用。17数据挖掘过程中工作量比例数据挖掘过程中工作量比例18数据挖掘的过程数据挖掘的过程数据仓库选择的数据选择转换挖掘理解转换后的数据可理解的信息抽取的信息19内容纲要内容纲要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具20业务问题与数据挖掘算法间关系业务问题与数据挖掘算法间关系Debt$40KQ QQ QQ QQ QI II I1 12 23 34 45 56 6factor 1factor 2factor n神经网络神经网络 Neural NetworksNeural Networks聚类分析聚类分析 Clusteri

5、ngClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析序列分析 Sequence AnalysisSequence Analysis决策树决策树 Decision TreesDecision Trees 倾向性分析信用特性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析关联分析 AssociationAssociation 市场组合分析 套装产品分析 目录设计 交叉销售21数据挖掘的类型数据挖掘的类型 预测型预测型数据挖掘：数据挖掘：使用已知知识构建模型，用

6、以预测未来。描述型描述型数据挖掘：数据挖掘：寻找数据中的模式，使用找到的模式指导决策。22数据挖掘技术数据挖掘技术（预测型/描述型）分类 结果将落入哪个类别中？影响预测结果的主要因素是什么？值预测 这一事件发生的可能性是多大？23数据挖掘技术数据挖掘技术 聚类 存在哪些逻辑上的群集？关联规则 事件之间存在怎样的联系？序列模式 这个事件之后会发生那些事件？相似时间序列 这个结果是否与以前的一个模式相同？24三种主要的数据挖掘技术三种主要的数据挖掘技术分类（客户流失）聚类（客户细分）关联规则（购物篮分析）25分类分类分类算法采取行动！26决策树分类决策树分类训练：基于历史数据，创建决策树27决策树

7、分类决策树分类应用：基于历史数据，创建决策树28决策树分类的参数决策树分类的参数 一般数据挖掘工具在应用决策树分类算法时，可调整的参数：输入变量 误差矩阵（代价矩阵）最大树深度 节点最大纯度 节点最少记录数29神经网络分类神经网络分类 输入层(i)隐藏层(j)输出层(k)x1 x2 xi Wij Wjk O j O k 前馈是指信号先前传播，输入-隐层-输出结点结点(神经元）神经元）30BPBP算法原理算法原理 网络结构的确定1.输入层结构由输入变量（属性）来定。每个属性为一个输入结点；2.输出层结构由输出结果来定。有几个输出值，就有几个输出结点；3.隐藏层 层数和结点数点的确定：主要靠经验。

8、4.初始权值的确定：取决于对问题的了解和先验知识，那部分作用强，权值就设得大些；靠经验。训练过程：一个神经元连接权重调整的过程。1.前向传播阶段输入层隐层输出层2.反向传播阶段计算输出的结果和目标结果的差距经输出层隐层输入层 反推神经元连接的权重调整3.对每个输入样本重复上述步骤，直到网络收敛为止31聚类聚类低高高高因素二因素三因素一示例示例32聚类算法聚类算法 演示图分群 神经网络（Kohonen）33关联规则关联规则34关联规则关联规则 对于规则 A=B,A=B的支持度同时包含A、B的事务数总事务数 A=B的置信度（A交B）的支持度A的支持度 LIFT（A=B的置信度）B的支持度35序列模

9、式序列模式100购买C产品的顾客在未来的时间里都购买了X产品。36相似序列相似序列37相似序列相似序列38RBFRBF预测预测 RBF(Radial Basis Function)神经网络 预测结果是个连续型变量39RBFRBF预测预测 根据输出空间，将输入空间划分为区域p计算每个区域的区域中心40RBFRBF预测预测计算每个中心的权重Y=f(x1,x2,x3)41RBFRBF预测预测第一步：训练第二步：应用42内容纲要内容纲要 BI的相关背景 数据挖掘的基础知识 数据挖掘过程 常用数据挖掘方法 常用数据挖掘工具43常用数据挖掘工具常用数据挖掘工具pIntelligent Miner(IBM)

10、;pClementine(SPSS);pSAS Enterprise Miner(SAS)；44新业务营销新业务营销留住老客户留住老客户(提升老客户活跃度提升老客户活跃度)识别与培养影响力高识别与培养影响力高端端根据客户本业务行为特征及偏好开展针对性营销，改进客户体验客户流失预警及客户挽留靠影响力高端带动数据数据数据发展新客户发展新客户发现潜在客户，进行交叉销售靠影响力高端带动数据数据识别影响力高端根据影响力高端的需求特点设计产品制定能激发影响力高端积极进行横向传播的营销策略数据数据数据营销方式营销方式营销方式营销方式注释注释:电信新业务营销思路电信新业务营销思路项目整体操作框架项目整体操作框

11、架基于用户彩铃生命周期细分的算法描述基于用户彩铃生命周期细分的算法描述数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求彩铃潜在用户决策树模彩铃潜在用户决策树模型型彩铃目标用户（N=20228；L=13.2%）IVR用户N1：IVR用户（N=1238；L=35.1%）N6：ARPU58元（N=8880；L=19.3%）N2：非IVR用户（N=18940；L=11.74%）ARPU=66.5元N3：ARPU=66.5（N=862；L=44.8%）N4：ARPU=58N8：短信发送=10条（N=5076；L=22.9%）短信发送量=10N12：ARPU增量=15元（N=2479；L

12、=30%）ARPU增量=15N18：有漫游（N=808；L=11.5%）N17：没有漫游（N=1788；L=18.3%）漫游业务漫游业务N16：有漫游（N=821；L=20%）N15：没有漫游（N=1658；L=34.9%）梦网短信用户N22：非梦网短信用户（N=1029；L=31.2%）N21：梦网短信用户（N=629；L=41%）N23：彩信用户（N=194；L=26.8%）N24：非彩信用户（N=627；L=17.9%）彩信用户新业务个数=1N25：是（N=1069；L=20.6%）N26：否（N=719；L=14.9%）N13：彩信用户（N=282；L=24.5%）N14：非彩信用户（

13、N=3522；L=13.7%）彩信用户ARPU增量=15N19：是（N=1555；L=20.6%）N20：否（N=1967；L=8.3%）漫游业务N28：有漫游（N=401；L=13.7%）N27：没有漫游（N=1154；L=23%）动感地带学生套餐and ARPU30N10：非学生套餐（N=9626；L=4.7%）N9：学生套餐（N=434；L=13%）数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求改造平台，从用户出发重新规划彩铃铃音内容属性分析个人铃音库中铃音内容属性特点抽提出用户铃音内容偏好依据用户铃音内容偏好进行针对性营销对应归类打标数据汇总营销效果回馈贴铃音内容偏

14、好标签铃音内容偏好铃音内容偏好属性标签构建思路框架属性标签构建思路框架数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求彩铃铃音内容属性标签应用示例彩铃铃音内容属性标签应用示例歌手歌手地域地域表达情绪表达情绪铃音类型铃音类型音乐来源音乐来源榜单榜单音乐时尚观音乐时尚观DIYDIY彩铃彩铃铃音标铃音标签签秋天不回来秋天不回来黄金甲黄金甲Girl of your dreamsGirl of your dreams（开篇版（开篇版）数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求用户铃音内容偏好用户铃音内容偏好抽提示例抽提示例用户用户A A：铃音库中铃音：铃音库中铃音：用户用户B B：铃音库中铃音：铃音库中铃音：用户用户A A的铃音内容属性偏好特征：的铃音内容属性偏好特征：无跟随倾向；时尚族；喜欢主流男歌手，但无明显的歌手倾向；偏好国语，大众流行POP；影视插曲；情感属性：伤感；休闲圈；不具标新立异特质；用户用户B B的铃音内容属性偏好特征的铃音内容属性偏好特征：无跟随倾向；时尚族；喜欢新歌；无明显的歌手倾向，喜欢女歌手；偏好英文歌曲，大众流行POP；专辑CD；情感属性：欢乐激情；休闲圈；不具标新立异特质；提取用户彩提取用户彩铃内容属性铃内容属性偏好特征偏好特征 数据源整合需求用户细分模型及行为属性标签彩铃营销管理子平台建设需求