1、IBM商业智能解决方案简介商业智能解决方案简介议程 数据分析与决策支持系统面临的挑战 IBM 商业智能解决方案简介 IBM 方案优势电信企业的需要 帐务统计 收益分析 网络、基站运维分析 绩效考核 客户关系管理 风险预测 市场竞争分析.帐务统计、分析?日、月统计报表?月结算报表?营业收入统计、分析?资费来源统计、分析?业务量统计、分析?.收益情况分析?收入总量分析及预测?收入增量分析及预测?ARPU分析及预测?收入结构分析及预测?大客户收入情况分析及预测?客户交费情况分析及预测?客户欠费情况及其结构分析及预测?新增客户交/欠费情况分析及预测?欠费回收情况分析?高额/欺诈分析?销账分析 市场竞争
2、分析?市场占有率分析及预测?市场需求分析及预测?竞争对手发展情况分析及预测?各竞争对手的市场营销分析?供应商市场行为特征分析?合作商市场行为特性分析 业务发展分析?业务量发展分析及预测?业务增量分析及预测?MOU分析及预测?新业务使用量分析及预测?业务资源使用特征分析及预测?大客户使用业务量的特征分析及预测?大客户使用业务的特征分析及预测?流量和流向特征分析及预测客户分析?客户总量分析及预测?新增客户分析及预测?客户净增量分析及预测?客户流失量分析及预测?客户转网量分析及预测?大客户发展分析及预测?客户消费能力分析及预测?客户消费习惯/爱好分析及预测客户信用度分析?外来用户分析?模拟用户分析?
3、储值卡用户分析?潜在用户分析?零次用户分析?一户多卡用户分析客户关系管理及市场策略?发现优秀客户?发现易流失客户群?调整产品定价?发现客户行为模式?开发新产品?交叉销售?.网络、基站分析?基站配置与话务量分布情况分析?分析各时段各基站/交换机的负载情况?网络收益分析?网络容量分析?网络安全分析?热点小区分析?路由分析等服务质量分析?客户服务质量分析?客户服务时限分析?客户咨询?查询焦点分析?客户投诉焦点分析?大客户服务质量分析?客户满意度分析?客户忠诚度分析 营销管理分析?市场价格分析?营销渠道作用分析?代销代办酬金分析?营销人员素质分析?营销宣传市场效果分析?促销行为市场效果分析综合决策分析
4、?决策取向模拟分析?决策行为市场操作模拟分析?决策行为市场效果模拟分析绩效考核?分公司绩效考核?营业部绩效考核?营业员绩效考核?.当前状态计费系统网管系统财务系统营业系统结算报表CRM局长信息系统挑战：信息孤岛财务系统市场促销数据客户数据营业数据呼叫中心数据建立数据仓库、实施商业智能生产系统数据仓库数据仓库OLAP智能挖掘智能挖掘如何实施商业智能分析的复杂度和价值分析的复杂度和价值统计统计多维多维数据挖掘数据挖掘优化优化阶段阶段 1 阶段阶段 2 阶段阶段 3 阶段阶段 4 阶段阶段 5分析的阶段分析的阶段数据集市数据集市数据仓库数据仓库发现发现验证验证IBM BI 解决方案产品业务系统业务系
5、统1业务系统业务系统2业务系统业务系统3业务系统业务系统n数据仓库管理器数据仓库管理器/数据库数据库 Warehouse Manager/DB2 UDBDB2 OLAP Server报表工具QMFDB2 OLAP Server AnalyzerIntelligent Miner for Data其它应用其它应用IBM BI体系结构DB2 UDBDB2 UDBDB2 Warehouse Manager数据仓库管理器Meta DataDB2 OLAP ServerDB2/Warehouse Control CenterOLAP Server App ManagerOLAP Server Analy
6、sis Server客户端工具支持WEB决策支持工具和应用程序DB2 FamilyORACLEInformixSybaseSQL ServerIMS&VSAMFilesData Joiner DB2 Intelligent Miner for Data数据智能挖掘服务器什么是数据仓库数据仓库是指从业务数据中创建信息数据库，并针对决策和分析进行优化。数据仓库中的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。数据来自多个数据源，并整合到一个数据库中。在数据整合的过程中数据要经过聚合、摘要和清洗。不同的数据用于不同的目的?面向主题?集成?比较稳定?包含历史数据?支
7、持管理决策?面向应用?有限集成?经常更新?仅有当前值?支持日常业务运作业务数据信息数据业务数据和信息数据根本不同！业务数据和信息数据根本不同！TrustAccountsCheckingAccountsLoanAccountsLoanAccounts年月日Account History建立数据仓库的过程商业主题商业主题业务信息业务信息业务数据业务数据管理管理转换工具转换工具商业视图商业视图元数据元数据?成员成员?映射映射?商业视图商业视图Templates外部数据外部数据DB2 Data Warehouse体系结构?Log Server?Kernel?Dispatcher?SchedulerCl
8、ientsWarehouse ServerWarehouse AgentsDatabasesRelationalSourceDB2 TargetDataMessageMessageNon-RelSourceEnd UsersDataDataDataDataNT/2000,OS/2,AIX,Sun,OS/390,AS/400?DDD?Log?Editions?ConfigurationControlDatabaseDB2MetadataMetadataType title?Type textFlat FilesData Warehouse CenterMessageNT/2000NT/2000
9、AgentNT/2000,AIX,SunIncluded with DB2 UDB数据仓库代理(Agent)技术数据仓库控制服务器数据仓库控制服务器(Warehouse Control Server)时间表启动时间表启动从控制数据库中获取商业视图定义从控制数据库中获取商业视图定义启动代理启动代理(通过代理后台进程通过代理后台进程)循环循环:-接受和记录结果接受和记录结果 -更新客户端显示更新客户端显示数据仓库代理数据仓库代理(Agent)响应响应VW管理器管理器循环循环:-接受命令接受命令 -执行命令执行命令 -报告状态报告状态DB2 UDB高度并行的海量数据库?Cluster?多个大缓冲区多
10、个大缓冲区?支持支持64位内存寻址位内存寻址内存管理内存管理单处理器单处理器对称多处理对称多处理(SMP)Massively Parallel Processor(MPP)?增强的增强的SMP并行支持并行支持?MPP并行支持并行支持?并行事务并行事务CPUSQLCPUSQLCPUSQLCPUSQL?并行查询并行查询SQLCPUCPUCPUCPUSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile-TimeRun-TimeAgentAgentAgentPrefetchers?Single query involves?1 coor
11、dinating agent?n sub agents?m prefetchers(shared)?All executing in parallel on available processors?Combination of.?Data parallelism?Each agent works on subset of data?Data dynamically assigned so user not required to partition data?Functional parallelism(pipelining)?Each agent works on different qu
12、ery function,e.g.scan,sort?Also enables?Parallel Index Create?Parallel Backup and Restore?Allows multiple processes to read or write data to/from the database?Parallel LOAD?Exploitation of multiple processors during load,particularly for parsing/converting/formatting data节点内部并行?Parallel Edition-styl
13、e(shared-nothing)?Data parallelism through hash partitioning?Partitions can be.?Physical on MPP or cluster?Logical on SMPRun-TimeAgentPrefetchersAgentPrefetchersAgentPrefetchersnode 0node 1node nSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile-Time节点间并行(数据库分区间并行).Single Database ViewParal
14、lel OptimizerUserQueryNode(CPU)Node(CPU)Node(CPU)Node(CPU)?Shared-nothing software architecture supports?Independent physical nodes?Separate CPU,memory,and disk?Including SMP nodes?OR?Multiple logical database partitions on single large SMP Server?Interpartition communication is cross memory,not cro
15、ss network?Data is partitioned across nodes automatically by hashing?Everything operates in parallel?Select?Insert?Update?Delete?Backup/restore?Load?Create index?Reorg充分利用分区数据库的能力Social Insurance NumberNameLocation123-456-789JoeBostonTorontoPartition Key value Hashed to:8VectorPosition0 1 2 3 4 5 6
16、7 8 9101112.Node1 2 3 1 2 3 1 2 3 1231.DB2DB2DB2?Partition Map?Determines home for row?Can be adjusted for data skew using the REDISTRIBUTE utilityHash分区和分区映射表?Blends best of MPP and SMP style of parallelism?Ideal for SMP clusters?Most flexible hardware support?Leading Edge Query Optimizer!Run-Timen
17、ode 0AgentAgentAgentPrefetchersnode 1AgentAgentAgentPrefetchersnode 2AgentAgentAgentPrefetchersSQL QueryQuery OptimizerBest Query PlanThreaded CodeCompile-Time分区内及分区间并行DB2 UDB:更大的容量 表/视图/列/别名长度增加 名字更容易记忆 更容易移植 SQL语句长度可达64KB 更复杂的查询和分类(如数据挖掘)由工具自动生成的语句 VARCHAR大小可以达到32KB 更小依赖LONG VARCHAR，节省空间并提高性能 最大表/
18、表空间大小64GB/128GB/256GB/512GB 可以生成更大的表而不需要分区(partition)索引字段总长度达1024byte 可以对更多/更长的字段加索引DB2 UDB:优化技术 优化级别0-9 查询重写 增加隐含的条件 一般条件下压(pushdown)子查询该为JOIN 消除不必要的JOIN 将量化的条件转化为标量子查询 将OR转为IN 将IN转为JOIN 视图合并 消除不必要的DISTINCT优化器扩展减少限制RID列表排序Index Oring执行计划分析避免Cartesian积增强的JOIN大小估计非统一的分布式统计I/O统计对随机和顺序I/O不同处理锁优化可修正的CPU
19、和I/O成本估算可更新的目录统计DB2 UDB与商业智能集成 新的统计函数 页面大小：4KB,8KB,16KB,32KB 更小的I/O，减少索引的层次 优化器可以利用多个缓冲池(与页面大小)更多的利用星型连接优化 利用星型连接设计的数据库性能更好 对数据仓库的增强 数据加载过程中自动建立索引 LOAD TERMINATE/RESTART选项 LOAD时递增的建立索引 利用LOAD INSERT将数据附加到已经存在数据的表中易用的管理工具DB2 Connect Enterprise EditionDRDA-Compliant Server?Data Replication?Capture?App
20、ly?VisualAge for Java?DB2 Extenders?Visual ExplainDevelopers?Client Configuration AssistantUsers?DB2 DiscoveryAdministrator?Command Center(GUI CLP)DB2 UDB ServerDB2 UDB Server?Governor?Control Center and Utilities?Performance Monitor?Job Scheduler?Performance SmartGuide?Network Configuration SmartGu
21、ide?Administration Server?Satellite Administration集成化的图形界面管理工具Control CenterCommand CenterPerformance MonitorPerformance Smart GuideIndex SmartGuideOther Tools Integrated with the DB2 Control Center?DB2 Script Center?Allows users to create and schedule scripts for regular database activities?DB2 Jou
22、rnal?Provides users with a view of activities which have occured in the DBMS?DB2 License Center?Allows users to monitor license compliance?DB2 Information Center?Provides users with the entire DB2 UDB Technical Library online?Server Communications(Network)Configuration Assistant?Automates set up of
23、server for communication with clients?Client Configuration Assistant?Database connection configuration and testing?Can request that DB2 Discovery search network for databases?ODBC administration?DB2 Discovery?Searches for DB2 servers and databases over the network?Returns information required for co
24、nnection to client DB2家族产品全面解决方案TCP/IPIPX/SPXNETBIOS?DOS?WINDOWS?WinNT?Win95?Win98?OS/2?AIX?HP-UX?SCO?SUN Solaris?SNI SINIX?SGI Irix?MAC?Web BrowsersClients?DB2 for OS/400?DB2 for AIX?DB2 for OS/2?DB2 for HP-UX?DB2 for HP-UX 11.0?DB2 for SUN Solaris?DB2 for SINIX?DB2 for NT?DB2 for SCO?DB2 for SCO U
25、nixware 7Servers?DB2 Connect?Datajoiner?Net.DataMiddlewareParallel Complexes?DB2 UDB EEE for AIX?DB2 UDB EEE for SUN Solaris?DB2 UDB EEE for Windows NT?DB2 UDB for OS/390?DB2 for OS/400Personal?DB2 for OS/2?DB2 for WinNT?DB2 for Win95?DB2 for Win98?Lotus Approach?Satellite Edition?DB2 Everywhere?Ora
26、cle?Sybase?Informix?SQL Server?IMS?VSAMSources?Tivoli TME-10?Satellite EditionManagementHosts?DB2 UDB for OS/390?DB2 for VM and VSE?DB2 for OS/400TCP/IPSNAIPX/SPXWANCompleteSolutionsOnline Analytical Processing(OLAP)由IBM研究员E.F.Codd提出，被业界广泛采用为计划和分析优化处理多维视图钻取切片满足用户需求填补关系型数据库的不足利用现有投资后台交易系统前台报表系统OLAP:多
27、维分析用维的方法观察数据产品，时间，地区，财务指标等数据模型等同于业务模型结算分析归属局被访局时间冲销结算北京上海天津北京广东.Q1Q4 来访费用出访费用Q2Q3OLAP：多维分析 旋转：按不同顺序组织各个维，对结果进行考察 钻取：在一个维内部沿着从高到低或从低到高的方向考察数据 上钻 下钻 切片：在确定某些维数据的情况下对其他维进行观察OLAP:多维分析时间归属局被访局2000年2000年1月2000年1月1日2000年1月2日2000年1月3日2000年2月考察一个特定的维时间维，包括每一个归属局到各被访局的冲销结算关系钻取到下面的层次来考察详细情况OLAP：旋转时间归属局被访局归属局被访
28、局时间按照不同的顺序组合维，对数据进行考察OLAP：钻取结算分析时间归属局被访局冲销结算199920002001北京上海.北京上海来访费用出访费用Q1Q2Q3Q4Apr May Jun钻取到各级数据层次时间，年，季，月，日归属局，省局，地市OLAP：切片时间归属局被访局时间被访局归属局一月份所有归属局对各被访局的冲销结算关系每个归属局对被访局北京每个月份的冲销结算关系用切片的方法从不同的角度观察OLTP vs.OLAP：不同的角色 纪录交易情况 有限的步骤 二维 数据管理 数据处理 运行 商业运作 确定任务 反复的过程 多维 数据合并 信息综合 推动 商业计划DB2 UDB支持OLAP的高级特
29、性优化的优化的SQL?先进的基于成本的优化器先进的基于成本的优化器(Starburst)?查询重写查询重写图形化界面生图形化界面生成的低效成的低效SQL?独特的星型连接算法独特的星型连接算法ProductStoreMonth?先进的索引技术先进的索引技术110011101010111010111101101010101010110001101010101010On-Line Analytical ProcessingProductMonthStore?Cube,Rollup 操作符操作符?表函数表函数?并行支持并行支持?自动的摘要表自动的摘要表?复制的表复制的表IBM DB2 OLAP Ser
30、ver开放的系统最终用户OLAP工具最终用户查询/报表工具易于实现和管理自动化的数据库设计利用现有的技能和工具系统管理数据库管理高度可伸缩性(Scalability)与IBM数据仓库体系结合提供两种存储方式易于使用的安全权限限制IBM DB2 OLAP Server Essbase OLAP EngineIBMRelationalStorageInterfaceEssbaseMulti-dimensionalData Store开放的接口标准 开放的应用程序接口和工具 C/C+API、JDBC、ODBC/CLI Embedded SQL、SQLJ、Java、C/C+、VB、Delphi/C+B
31、uilder、Power Builder 众多的客户端工具 DB2 OLAP Server Analyzer Business Object Brio Cognos Excel/Lotus 123 通用的运行平台 AIX Solaris HP-UX Windows NT/2000 Linux S390 AS400OLAP Server与数据仓库管理器紧密集成IBM的数据仓库管理器中带有大量与OLAP Server相关的程序(vwp)：文件数据加载到OLAP数据库数据加载OLAP用文件数据更新维用数据库数据更新维计算用规则计算 客户可以使用Web方式访问，不需要安装任何OLAP工具。Web浏览器
32、浏览器应用服务器WWWOLAP Server数据仓库TCP/IP客户端访问和维护完善的授权机制：应用程序级数据库(Cube)级过滤器读、写、计算、设计权限用户组图形化管理界面用户、权限管理完整的日志纪录数据挖掘数据仓库选择的数据选择转换挖掘理解转换后的数据可理解的信息抽取的信息一个过程，从大型数据库中抽取以前没有发现，可理解的，可操作的信息，用以支持企业关键性决策。数据挖掘的典型例子基于历史数据预测行为基于历史数据预测行为发现未知分群、规则和模式发现未知分群、规则和模式常用数据挖掘算法分为三类Data Mining AlgorithmsNo PredictionPredictOne Thing
33、Time Series MatchingPredictEverythingAssociationsSequential PatternsDecision TreeRBFClassificationValue PredictionNeuralNeuralClusteringDemographicNeural常用数据挖掘算法 Clustering(Segmentation)-no dependent variable Demographic Segmentation Neural Segmentation(Kohonen Map)Example:Identify common characteri
34、stics in a customer data base.Predictive/Classification Modeling-dependent variable Nonlinear regression Decision trees Neural networks Radial-basis functions Example:Predict IBMs stock price tomorrow.常用数据挖掘算法 Link Analysis-transaction data Basic associations(or dissociation)Sequential associations(
35、over time)Example:Identify which features of an insurance policy sell together.Similar Time Sequence许多业务问题可以映射到数据挖掘技术Intelligent Miner for Data V6.1IBM Intelligent Miner for DataSequential PatternsAssociationsPredictive ModelingDeviation DetectionClusteringClassificationData Mining KernelsVisualizat
36、ion ToolsIBM DM Pre-Processing LibraryFlat Files数据驱动发现竞争优势Server端运行于 NT/2000,AIX,SUN Solaris,MVS,AS/400Client端运行于Win95/NT/2000,AIX,SUN Solaris分群(Clustering)结果样例分群(Clustering)结果样例分类(Classification)结果样例?客户表客户表?公司与客户发生关系的各个方面公司与客户发生关系的各个方面?预测客户可能带来的利润预测客户可能带来的利润car typecar ageprofessionage amount of cl
37、aimsvan2.5 physicist520van12 physician315,000compact1 teacher25386sedan0.75 teacher551,234compact4 secretary39998sports car3 car dealer62stat.wagonvicar30sedan1.546compact1.5 butcher46预测样例?Intelligent Miner for Data支持三种类型的关联分析?发现关联规则?在交易数据库中，每一笔交易包括一组元素，本算法可以发现所有的关联关系，例如一组元素的出现将导致另一组元素的出现。?发现事件序列?在数
38、据库中存放这一段时间中的交易信息，本算法可以找出交易间的模式，例如一组元素将跟随另一组元素的出现而出现。?发现相似性时间序列?在时间序列数据库中，找出与某一个具有相同/不同时间间隔的序列相似的序列。关联分析(link analysis)IM4D体系结构ClientServerStandardExtraction or Replication ToolData AnalystResultsGraphical User InterfaceApplication Program InterfaceData Mining TechniquesOracleSybaseDataProcessingFunctionsFlatFilesDB2DB2Files数据挖掘为业务方案提供了一条途径Clearly Define theBusiness ProblemUnderstand ProblemPrepare Relevant Datadata miningAnalyze ResultsPresent ResultsImplement Solution and Measure Success
