大数据处理技术与思维详解课件.ppt

1、1/17/2023大数据处理技术与思维S数据挖掘技术S商业智能1/17/2023数据挖掘技术的由来数据挖掘技术的由来大量信息在给人们带来方便的同时也带来了一大堆问题：第一：是信息过量，难以消化；第二：是信息真假难以辨识；第三：是信息安全难以保证；第四：是信息形式不一致，难以统一处理。网络之后的下一个技术热点网络之后的下一个技术热点 1/17/2023数据挖掘技术的由来数据挖掘技术的由来从商业数据到商业信息的进化从商业数据到商业信息的进化 进化阶段进化阶段 商业问题商业问题 支持技术支持技术 产品厂家产品厂家 产品特点产品特点 数据搜集数据搜集(60年代年代)“过去五年中我的过去五年中我的总收入

2、是多少？总收入是多少？”计算机计算机,磁带和磁盘磁带和磁盘 IBM,CDC提供历史性的、提供历史性的、静态的数据信息静态的数据信息数据访问数据访问(80年代年代)“在新英格兰的分在新英格兰的分部去年三月的销部去年三月的销售额是多少？售额是多少？”关系数据库关系数据库（RDBMS）,结构化查结构化查询语言询语言（SQL）,ODBC,Oracle,Sybase,Informix,IBM,MicrosoftOracle,Sybase,Informix,IBM,Microsoft在记录级提供历在记录级提供历史性的、动态数史性的、动态数据信息据信息数据仓库；数据仓库；决策支持决策支持(90年代年代)“在

3、新英格兰的分在新英格兰的分部去年三月的销部去年三月的销售额是多少？波售额是多少？波士顿据此可得出士顿据此可得出什么结论？什么结论？”联机分析处理联机分析处理（OLAP）,多维数据多维数据库库,数据仓库数据仓库Pilot,Comshare,Arbor,Cognos,Microstrategy在各种层次上提在各种层次上提供回溯的、动态供回溯的、动态的数据信息的数据信息数据挖掘数据挖掘（正在流行）（正在流行）“下个月波士顿的下个月波士顿的销售会怎么样？销售会怎么样？为什么？为什么？”高级算法高级算法,多处理器计多处理器计算机算机,海量数据库海量数据库Pilot,Lockheed,IBM,SGI,其他

4、初其他初创公司创公司提供预测性的信提供预测性的信息息1/17/2023数据挖掘技术的由来数据挖掘技术的由来数据挖掘逐渐演变的过程数据挖掘逐渐演变的过程 算法学习算法学习 专家系统专家系统 机器学习机器学习 1/17/2023数据挖掘的定义数据挖掘的定义数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。技术上的定义及含义技术上的定义及含义 1/17/2023数据挖掘的定义数据挖掘的定义 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分

5、析和其他模型化处理，从中提取辅助商业决策的关键性数据。按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。商业角度的定义商业角度的定义 1/17/2023数据挖掘的定义数据挖掘的定义 数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识.数据挖掘所得到的信息应具有先未知,有效和可实用三个特征.数据挖掘与传统分析方法的区别数据挖掘与传统分析方法的区别 1/17/2023数据挖掘的定义数据挖掘的定义数据挖掘和数据仓库数据挖掘和数据仓库 1/17/2023数据挖

6、掘的定义数据挖掘的定义数据挖掘，机器学习和统计分析数据挖掘，机器学习和统计分析 1/17/2023数据挖掘的定义数据挖掘的定义数据挖掘，机器学习和统计分析数据挖掘，机器学习和统计分析 1/17/2023数据挖掘的基本技术数据挖掘的基本技术关联规则挖掘技术关联规则挖掘技术 关联规则关联规则（association ruleassociation rule）挖掘技术用于发现）挖掘技术用于发现数据库中属性之间的有趣联系。和传统的产生式规则不同，数据库中属性之间的有趣联系。和传统的产生式规则不同，关联规则可以有一个或多个输出属性。同时，一个规则的关联规则可以有一个或多个输出属性。同时，一个规则的输出属

7、性可以是另一规则的输入属性。输出属性可以是另一规则的输入属性。关联规则分析有时也叫购物篮分析，是因为它可以找关联规则分析有时也叫购物篮分析，是因为它可以找寻出潜在的令人感兴趣的所有的产品组合。由此，有限数寻出潜在的令人感兴趣的所有的产品组合。由此，有限数目的属性可能生成上百条关联规则。目的属性可能生成上百条关联规则。1/17/2023数据挖掘的基本算法数据挖掘的基本算法其它数据挖掘算法其它数据挖掘算法 K-平均值算法（一种无指导聚类算法）平均值算法（一种无指导聚类算法）遗传算法（可用于有指导学习的算法）遗传算法（可用于有指导学习的算法）神经网络算法（可用于有指导学习的算法）神经网络算法（可用于

8、有指导学习的算法）1/17/2023BI理解数据商务智能是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助企业进行决策支持。数据信息知识决策获取管理使用1/17/2023BI概念S商业智能（商业智能（Business Intelligence，简称，简称BI）的概念最早是）的概念最早是Gartner Group于于1996年提出来的。当时将商业智能定义为一类由数据仓库年提出来的。当时将商业智能定义为一类由数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应

9、用。部分组成的、以帮助企业决策为目的技术及其应用。S目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企目前，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。业做出明智的业务经营决策的工具。S从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、从技术层面上讲，商业智能不是什么新技术，它只是数据仓库、OLAP和数据挖掘等技术的综合运用。和数据挖掘等技术的综合运用。1/17/2023S商业智能是一种商业智能是一种解决方案解决方案，关键是从许多来自不同的企业，关键是从许多来自不同的企业运作系统的数据中，提取出有用的数据，进行清理以保证运作系统的数

10、据中，提取出有用的数据，进行清理以保证数据的正确性，然后经过抽取（数据的正确性，然后经过抽取（Extraction）、转换）、转换（Transformation）和装载（）和装载（Load），即），即ETL过程，合过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、挖掘工具、OLAP工具等对其进行分析和处理（这时信息工具等对其进行分析和处理（这时信息变为辅助决策的知识），最后将知识呈现给管理者，为管变为辅助决策的知识），最后将知识

11、呈现给管理者，为管理者的决策过程提供支持。理者的决策过程提供支持。1/17/2023外外 部部 数数 据据 库库MSSQLORACAL外部外部文件文件ETL工具工具大数据大数据平台，平台，数据数据仓库仓库元数据元数据数据挖掘数据挖掘OLAP分析分析信息表现信息表现查询报表查询报表数据仓库数据模型数据仓库数据模型BI系统用户系统用户元数据库元数据库元数据元数据数据数据描述描述用用法法结构结构安全安全设置设置数据数据数据数据数据数据查询查询请求请求 商业智能基本过程图商业智能基本过程图 1/17/2023信息孤岛各自为政，互相独立财务分析运营分析客户分析财务系统营销系统服务系统1/17/2023帮

12、助企业提高战略决策建立业务单一视图、消除信息孤岛、多角度审视业务数据提高服务水平和客户满意度敏锐洞悉市场机会加强企业监管、防范欺诈内部效益考核优化资源科学决策数据仓库1/17/2023商务智能对企业的作用和价值理解业务：网络资源分析产品结构及组合分析服务质量分析业务发展分析理解客户：客户贡献度分析客户群体划分客户行为分析制订市场营销策略风险分析：客户流失的测算信用分析欺诈分析内部绩效考核：产品、部门利润分析资源分配资源成本分析谁是最好的客户?如何扩大利润?如何避免风险?收入/成本如何分配?大数据平台、数据仓库1/17/2023数据质量控制数据重新组织EII解决方案数据展现数据管理数据获取数据迁

13、移作业分配数据清洗数据仓库元数据管理数据集市管理安全性、分析管理企业商务智能体系架构规划最终用户数据质量控制数据重新组织ETL/DQ解决方案数据抽取、迁移、加载周数据加载日常数据增加日周期数据源ETL/EII数据存储管理业务模型数据展现利润成本分析资产分析营销分析投资组合分析平衡计分卡/KPI解决的业务问题数据分析采购系统生产系统销售系统财务系统即席查询Intranet/Internet产品报告数据挖掘例外分析随即查询报表例外分析数据挖掘决策人员管理人员分析人员业务人员实时增量虚拟数据仓库元数据管理（运营元数据、技术元数据、分析元数据）数据仓库企业数据模型MDMBW1/17/2023决策支持系

14、统解决五个层次的问题以前发生了什么为什么发生了现在发生了什么将来会发生什么业务活动管理1/17/2023商务智能5类前端展现的工具固定报表KPI指标即席查询例外分析数据挖掘1/17/2023Copyright 2005 Business Objects Greater China.All rights reserved.商业智能应用的三个阶段阶段一:报表 固定报表 灵活报表 复杂报表 报表共享 报表分发阶段二:查询分析 交互查询 切片钻取旋转 OLAP阶段三:高层次分析 AA/DM DSS1/17/2023商务智能的5个后台数据处理工具ETL工具 实时数据抽取 数据质量防火墙 元数据管理主数据

15、管理1/17/2023经营分析的关键主题经营操作分析决策业务发展的趋势客户行为分析风险分析竞争优势分析客户服务分析营业收入分析绩效考核管理入库率分析产品组合分析异常预警分析1/17/2023分析型客户关系管理q 收入分析市场细分客户类型地区年度业务部门q 争取客户能力分析市场细分客户类型地区年份q 客户成本分析市场细分客户类型地区年度业务部门q 客户活动周期分析q 保留客户能力分析市场细分客户类型地区年份q 客户忠诚度分析市场细分客户类型地区年份业务部门q 客户产品毛利分析市场细分客户类型地区年度业务部门q 市场细分表现分析市场活动营销媒体销售渠道时段q 目标市场表现分析市场活动营销媒体销售渠

16、道时段q 客户满意度分析市场细分客户类型地区年份业务部门活动q 最佳/最差客户分析历史收入预测收入平均定单销售额重复购买率加权评分q 潜在流失客户分析历史收入预测收入客户满意度服务请求加权评分等等1/17/2023客户分析的关键主题经营操作分析决策客户获取能力客户保留能力风险分析交叉销售能力向上销售能力客户管理能力客户轮廓分析客户行为分析产品组合分析客户细分分析1/17/2023数据仓库建设应以应用主题驱动主题客户关系管理问题客户流失分析-客户消费行为统计-客户群体的细分-存运票价的确定和客户的趋势分析-客户的满意程度-客户流失分析-获取新的客户-获利能力和在目标市场上所占的份额模型f(要素1,要素2要素n)要素1要素2要素n.业务系统网上信息市场数据问题客户满意度分析模型f(要素1,要素2要素n)要素1要素2要素n.业务系统网上信息市场数据1/17/20231.完整的、统一的数据模型2.所有数据存储在单一数据库中3.提供单一的“实事”数据 统一数据模型是基础统一数据模型客户服务财务人力资源合作伙伴市场营销销售产品管理定单管理