数据分析与商务智能概述课件.ppt

1、SQL Server 2005 Integration Services(SSIS)如何将数以百万计的网络文件、电话记录、销售细目文件记录变成可利用的信息和知识？Forest&Trees决策所需的历史数据量很大，而传统的数据库一般只存储短期数据。数据挖掘基础教程.这条规律对于商务的智能化和决策的科学化将有重要的意义。Replication Server PowerStage什么产品可以交叉销售或提升销售？Enterprise Manager此“金矿”的挖掘过程就是“数据信息知识智慧”的转化过程。现在有多少个三角形?Jiawei Han,Micheline Kamber著.管理科学与工程系管理科

2、学与工程系安利平安利平 数据分析与商务智能概述 数据仓库与OLAP基础 数据仓库的设计与OLAP建模 数据挖掘的过程与算法1.W H Inmon 著.数据仓库.机械工业出版社.2.林宇 编著.数据仓库原理与实践.人民邮电出版社.3.Jiawei Han,Micheline Kamber著.数据挖掘概念与技术.机械工业出版社.4.（美）谭,（美）斯坦巴赫 著,范明 等译,数据挖掘导论.人民邮电出版社.5.（美）贝里,（美）利诺夫 著,袁卫 等译.数据挖掘客户关系管理的科学与艺术.中国财经出版社.软件软件 SQL Server 2005/2008 数据仓库 IBM SPSS Modeler 企业数

3、据分析与挖掘 IBM SPSS Statistics 标准统计分析 关于Weka http:/www.cs.waikato.ac.nz/ml/weka/西蒙(印度).数据挖掘基础教程.机械工业出版社.关于SAS 朱德利.SQL Server 2005数据挖掘与商业智能完全解决方案.电子工业出版社.张文彤,钟云飞.IBM SPSS数据分析与挖掘实战案例精粹.清华大学出版社.元昌安.数据挖掘原理与SPSS Clementine应用宝典.电子工业出版社.（印度）西蒙.数据挖掘基础教程.范明,牛常勇 译.机械工业出版社.（Weka）http:/www.cs.waikato.ac.nz/ml/weka/

4、案例案例 1.电信公司的数据仓库建设 2.Data mining for decision support on customer insolvency in telecommunications business商务智能概述商务智能概述 为什么出现商务智能？Why 企业经营管理活动对商务智能的需求 如何理解商务智能?What 商务智能如何实现?How 商务智能的技术构成1 企业对商务智能的需求企业对商务智能的需求 商务工具的变迁商务工具的变迁 企业信息化系统的进化企业信息化系统的进化商务工具的变迁商务工具的变迁 伴随着商务工具的变迁，人们处理信息的能力在工具的帮助下变得越来越强大，信息量的增

5、长也越来越快。电报 电话 传真机 计算机 互联网商务工具的变迁商务工具的变迁 在20世纪初，或者即使到了20世纪中叶，没有一个公司的账目、订货记录和文件柜的数据总和能超过几十个百万字节(megabytes)。穿孔纸带商务工具的变迁商务工具的变迁 计算机计算机在商业领域的应用，标志着商业活动真正进入信息化时代，信息处理的方式发生了革命性的变化。商业单据的电子化 MIS(管理信息系统)广泛应用 数据处理方式以数据库为主商务工具的变迁商务工具的变迁 互联网互联网在商业活动中的应用，在信息增长和信息处理方式上也发生了前所未有的变化。每个邮件邮件在递送过程中都要对条形码进行多次扫描；统计控制过程通过成千

6、上万个传感器不断读取和记录生产过程生产过程数据；电话系统要跟踪每一个电话电话的开始时间、持续时间和网络路线等；顾客在网络上的每一次链接及看过的每一件商品商品都被记录下来。商务工具的变迁商务工具的变迁 今天，最大的公司数据库容量是用万亿字节(terabytes)来计量的。对于这些公司来说，数据的增长是以10万倍来计量的。商务工具的变迁商务工具的变迁 多数情况下，数据的搜集是为了提高内在操作的效率，并不是为了分析或者为了建并不是为了分析或者为了建立预测模型立预测模型。数据一旦积累起来，就成为信息财富信息财富。这些财富可被用来改进每个领域的决策。人们已不再满足于简单的数据操作，产生了进一步使用现有数

7、据的要求。辅助决策的信息涉及许多部门的数据，而不同系统的数据难以集成。数据仓库(数据集市)层例如，通过直方图等形式表现来自销售管理系统的地区销售情况报表。在20世纪初，或者即使到了20世纪中叶，没有一个公司的账目、订货记录和文件柜的数据总和能超过几十个百万字节(megabytes)。从各种异构数据源中整合BI需要的数据，同时可以实现与商务流程统一SQL Server 2005 Analysis Services(SSAS)由于访问数据库的能力不足，它对大量数据的访问性能明显下降。Enterprise ManagerDecisionBase这条规律对于商务的智能化和决策的科学化将有重要的意义。F

8、orest&TreesKnowledge Discovery in Database，KDD商务工具的变迁商务工具的变迁 利用现有的数据进行分析和推理，从而为决策提供依据。谁是高价值的客户？谁将成为高价值客户？什么产品可以交叉销售或提升销售？公司明年的收入前景如何？这种需求既要求联机服务，又涉及大量的数据。商务工具的变迁商务工具的变迁 传统的数据库技术已无法满足这种需求，具体体现在以下三方面：决策所需的历史数据量很大，而传统的数据库一般只存储短期数据。辅助决策的信息涉及许多部门的数据，而不同系统的数据难以集成。由于访问数据库的能力不足，它对大量数据的访问性能明显下降。如何将如何将数以百万计数以

9、百万计的网络文件、电话记录、销售的网络文件、电话记录、销售细目文件记录变成可利用的细目文件记录变成可利用的信息和知识信息和知识？企业信息系统的进化企业信息系统的进化管理信息系统和企业资源计划系统管理信息系统和企业资源计划系统 管理信息系统和企业资源计划系统积累了大量的历史数据。不同历史时期的数据 根据不同业务需要的数据 由不同供应商提供的数据 体系结构和管理实施等方面存在着较大的差异 数据相对分散和独立，难以共享 没有建立起统一的能用于分析处理的基础数据平台管理信息系统和企业资源计划系统管理信息系统和企业资源计划系统 明确整个企业中的业务数据和相互关系是有较大困难的。百家争鸣、百花齐放的管理系

10、统数据共有多少个三角形?商务智能系统商务智能系统 来自不同系统不同系统的大量数据大量数据中往往隐藏着重要的规律和商业规则规律和商业规则，这些是企业管理者需要寻找的“金矿”。此“金矿”的挖掘过程就是“数据数据信息信息知识知识智慧智慧”的转化过程。商务智能系统商务智能系统数据数据信息信息知识知识智慧智慧商务智能系统商务智能系统 如果将知识用在辅助企业经营管理决策中，那么这种智慧就可以称为商业智慧，也就是商业智能，或者叫商务智能商务智能。Business Intelligence,BI商务智能的商务智能的2个层次个层次 第第1个层次：个层次：在整合系统数据的基础上提供灵活的前端展现。例如，通过直方图

11、等形式表现来自销售管理系统的地区销售情况报表。例如，通过直方图等形式表现来自销售管理系统的地区销售情况报表。SQL Server 2005 Integration Services(SSIS)Replication Server PowerStage辅助决策的信息涉及许多部门的数据，而不同系统的数据难以集成。多数情况下，数据的搜集是为了提高内在操作的效率，并不是为了分析或者为了建立预测模型。电信公司的数据仓库建设如果将知识用在辅助企业经营管理决策中，那么这种智慧就可以称为商业智慧，也就是商业智能，或者叫商务智能。对于这些公司来说，数据的增长是以10万倍来计量的。SQL Server 2005的

12、商务智能构架第1个层次：在整合系统数据的基础上提供灵活的前端展现。SQL Server 2005 Analysis Services(SSAS)SQL Server 2005的商务智能构架商务智能的商务智能的2个层次个层次经过数据整合的BI系统功能现在有多少个三角形?数据仓库 Data Warehouse,DW联机分析处理 On-Line Analytical Processing,OLAP商务智能的商务智能的2个层次个层次 第第2个层次：个层次：数据库中的知识发现。数据库中的知识发现。数据库的爆炸性增长已远远超出了能够解释和消化这些数据的能力，需要新一代的工具和技术对数据库进行自动和智能地分

13、析。这些工具和技术正是知识发现知识发现。知识发现的主要技术构成就是数据挖掘。数据挖掘。Knowledge Discovery in Database，KDDData Mining，DM商务智能的商务智能的2个层次个层次历史数据历史数据预测数据预测数据？加入智能挖掘算法的系统功能最后一个框中应该有多少个三角形?商务智能的商务智能的2个层次个层次 例如，通过对销售数据的分析，发现一条关联规则：这条规律对于商务的智能化和决策的科学商务的智能化和决策的科学化化将有重要的意义。购买面包购买面包 andand 购买黄油购买黄油 9090购买牛奶购买牛奶2 商务智能的技术构成商务智能的技术构成 什么是商务智

14、能 商务智能的结构描述 商务智能工具 SQL Server 2005的商务智能构架什么是商务智能什么是商务智能1.Microsoft努力2.SAS智能和知识3.DMReview过程4.Gartner、IDC、IBM、SAP和MSTR工具和技术集合Replication Server PowerStageSQL Server 2005的商务智能构架http:/www.1 企业对商务智能的需求在20世纪初，或者即使到了20世纪中叶，没有一个公司的账目、订货记录和文件柜的数据总和能超过几十个百万字节(megabytes)。SQL Server 2005 Analysis Services(SSAS)

15、什么产品可以交叉销售或提升销售？数据处理方式以数据库为主Replication Server PowerStage在20世纪初，或者即使到了20世纪中叶，没有一个公司的账目、订货记录和文件柜的数据总和能超过几十个百万字节(megabytes)。SQL Server 2005的两大体系电信公司的数据仓库建设商务智能的结构描述商务智能的结构描述 商务智能的实现包含了“数据数据信息信息知知识识行动行动智慧智慧”这一过程所运用的技术技术和方法和方法。数据仓库 联机分析处理(OLAP)数据挖掘 模型库和方法库抽取抽取转换转换清洗清洗过滤过滤转载转载数据仓库数据仓库数据集市数据集市数据集市数据集市数据集市

16、数据集市数据挖掘数据挖掘OLAPOLAP数据报表数据报表前前端端展展现现工工具具数据源数据源ETLETL过程过程数据仓库及其应用数据仓库及其应用BIBI前端展现前端展现外部数据外部数据业务系统业务系统数据数据文档资料文档资料商务智能的结构描述商务智能的结构描述 商务智能系统工作过程的技术抽象技术抽象 源数据层 数据转换层 数据仓库(数据集市)层 OLAP 数据挖掘层 用户展现层商务智能的结构描述商务智能的结构描述 商务智能系统工作过程的技术抽象技术抽象 源数据层 数据转换层 数据仓库(数据集市)层 OLAP 数据挖掘层 用户展现层数据挖掘和商务智能工具数据挖掘和商务智能工具公司名称公司名称ET

17、L工具工具数据仓库管理数据仓库管理OLAP工具工具数据挖掘工数据挖掘工具具报表工具报表工具IBMWarehouseManagerVisual WarehouseOLAP ServerIntelligent MinerInsight&Qucik viewOracleOracle ETL ServerEnterprise ManagerExpress ServerDarwinExpress AnalyserSybaseReplication Server PowerStageWarehouse StudioWarehouse AnalyzerSAS SPSSInfoMakerCAInfoPumpP

18、LATINUM ERWin PLATINUM InfoPumpDecisionBase InfoBeaconNeugent AionForest&TreesInfoReprotsSAS第三方第三方Warehouse AdministratorSAS MDDBEnterprise MinerEIS ERMicrosoftSSISSQL ServerSSASSSASSSRS数据仓库与OLAP基础电信公司的数据仓库建设SQL Server 2005的两大体系在20世纪初，或者即使到了20世纪中叶，没有一个公司的账目、订货记录和文件柜的数据总和能超过几十个百万字节(megabytes)。商务智能系统工

19、作过程的技术抽象此“金矿”的挖掘过程就是“数据信息知识智慧”的转化过程。明确整个企业中的业务数据和相互关系是有较大困难的。例如，通过对销售数据的分析，发现一条关联规则：InfoReprotsJiawei Han,Micheline Kamber著.计算机在商业领域的应用，标志着商业活动真正进入信息化时代，信息处理的方式发生了革命性的变化。SQL Server 2005 Integration Services(SSIS)SQL Server 2005的商务智能构架的商务智能构架 SQL Server 2005的两大体系 数据库管理 商务智能应用SQL Server 2005的商务智能构架的商务

20、智能构架整合整合服务服务数据库引擎数据库引擎分析分析服务服务报告报告服务服务复制服务复制服务全文检索服务全文检索服务服务代理服务代理通知服务通知服务数数据据库库管管理理部部分分商商业业智智能能应应用用部部分分SQL Server 2005的商务智能构架的商务智能构架 SQL Server 2005的商务智能 三大服务三大服务 SQL Server 2005 Analysis Services(SSAS)SQL Server 2005 Integration Services(SSIS)SQL Server 2005 Reporting Services(SSRS)一个工具一个工具 Busine

21、ss Intelligence Development StudioSQL Server 2005的商务智能构架的商务智能构架Business Intelligence Development Studio集成集成（SSIS）分析分析（SSAS）报表报表（SSRS）服务服务作用作用商务商务智能智能应用应用数据抽取数据抽取数据整合数据整合OLAP数据挖掘数据挖掘自定义报表自定义报表数据展现数据展现从各种异构数据从各种异构数据源中整合源中整合BI需要需要的数据，同时可的数据，同时可以实现与商务流以实现与商务流程统一程统一 为已有数据建立为已有数据建立模型，并且经分模型，并且经分析后找出数据的析后找出数据的内部关系内部关系对分析结果提供对分析结果提供类型多样、美观类型多样、美观且适合不同需求且适合不同需求的图表和报表的图表和报表 Question?