1、Principles and Applications of Business IntelligenceChap 1: 导言商务智能方法与应用北京信息科技大学 胡敏 Principles and Applications of Business IntelligenceChap 1: 导言引例:(1)榨菜指数Principles and Applications of Business IntelligenceChap 1: 导言3引例:榨菜指数(1/2)Principles and Applications of Business IntelligenceChap 1: 导言4引例:榨菜指数
2、(3/4)Principles and Applications of Business IntelligenceChap 1: 导言引例:榨菜指数(4/4)Principles and Applications of Business IntelligenceChap 1: 导言(2)日本7-11案例(感冒指数)6Principles and Applications of Business IntelligenceChap 1: 导言日本7-11案例(温度和畅销品)7Principles and Applications of Business IntelligenceChap 1: 导言
3、 一家零售商最近发现,当天气变冷,肉桂葡式蛋挞的销量上升500%。那么零售商可能就要做出抉择。每当预测天气转冷时,应该储备多少肉桂葡式蛋挞?还有一家零售商发现,奶酪打折似乎能促进红酒的销售。那么希望减小红酒库存的时候,是不是应考虑奶酪打折这种方法? 这两个问题的答案取决于大数据分析的核心问题:弄清与因果关系之间的区别。将相关性误解为因果关系所做出的决策是危险的,可能会遭受惨败,因为你所期待看到的影响可能并不会发生。8葡式蛋挞Principles and Applications of Business IntelligenceChap 1: 导言(3)啤酒与尿布一般看来,啤酒和尿布是顾客群完全
4、不同的商品。但是沃尔玛一年内数据挖掘的结果显示,在居民区中尿布卖得好的店面啤酒也卖得很好。原因其实很简单,一般太太让先生下楼买尿布的时候,先生们一般都会犒劳自己两听啤酒。因此啤酒和尿布一起购买的机会是最多的。Principles and Applications of Business IntelligenceChap 1: 导言塔吉特 美国一名男子闯入Target店铺进行抗议:你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券。“ 该经理当时并不知道这一行为是总公司数据挖掘的结果。 一个月后,这位父亲来道歉,因为这时他才知道他的女儿的确怀孕了。 Target比这位父亲知道他女儿怀孕的时间足足早
5、了一个月。10Principles and Applications of Business IntelligenceChap 1: 导言塔吉特 Target能够通过分析女性客户购买记录,“猜出”哪些是孕妇。他们从Target的数据仓库中挖掘出25项与怀孕高度相关的商品,制作“怀孕预测”指数。 比如他们发现女性会在怀孕四个月左右,大量购买无香味乳液。以此为依据推算出预产期后,就抢先一步将孕妇装、婴儿床等折扣券寄给客户来吸引客户购买。11Principles and Applications of Business IntelligenceChap 1: 导言12Principles and A
6、pplications of Business IntelligenceChap 1: 导言过去零售商依靠供应链软件、内部分析软件甚至直觉来预测库存需求。预测分析能够准确预测哪些商店位置应该保持哪些产品。 使用 Microsoft Analysis Services,采用数据挖掘技术可以为产品存储决策提供准确及时的信息,可以预测在未来一周内一本书是否将脱销,准确性为 98.52%,预测该书是否将在未来两周内脱销的准确性为 86.45%。(4)库存预测Principles and Applications of Business IntelligenceChap 1: 导言美国一家箱包销售网站通
7、过个性化的展示提高销售额。与其他网站设计页面以鼓励大部分消费者采购的做法不同,该网站个性化的解决方案将不停地创建页面以适合每个具体的访问者。 如果访问者的浏览记录显示其对手提包感兴趣,网站将创建突出这些商品的个性化页面。 支撑上述目的实现的手段:准确的数据挖掘和智能分析。(5)登录网站的当前用户现在最可能购买什么东西?Principles and Applications of Business IntelligenceChap 1: 导言亚马逊网站的个性化推荐服务亚马逊网站的个性化推荐服务Principles and Applications of Business Intelligence
8、Chap 1: 导言 NBA的教练的新式武器:数据挖掘。使用IBM公司开发的数据挖掘应用软件优化他们的战术组合。 Anfernee Hardaway + Brian Shaw = -17分 Anfernee Hardaway + Darrell Armstrong = +14分增加Armstrong的上场时间, Armstrong得了21分,哈德卫得了42分,魔术队以88比79获胜。(6)NBA教练如何布阵以提升获胜机会?Principles and Applications of Business IntelligenceChap 1: 导言曼城队 2011年夏天,曼城队助理教练大卫普拉特决
9、定利用数据分析来解决球队在表现方面遇到的一个棘手难题。普拉特发现,尽管球队阵容中拥有多名高大强壮的球员,但他们的角球得分情况却不尽如人意。 在征求了俱乐部内部数据分析师的意见后,该队增加了对内旋角球(球转向守门员方向)的使用。战术转变产生了惊人的效果。在整个赛季中,曼城队依靠角球打入15个进球,成为英超角球得分效率最高的球队,其中2/3的进球采用的是内旋角球。 17Principles and Applications of Business IntelligenceChap 1: 导言曼城队 这一实践为数据驱动型决策提供了强有力的支撑。事实上,早在两年前,曼奇尼曾就球队角球的使用情况咨询过俱
10、乐部的数据分析师。分析师回应,曼奇尼依靠直觉偏爱采用的战术外旋角球(球飞向远离守门员的方向)从数据统计上看并不理想。 曼奇尼选择相信自己的直觉而非数据分析的导向性建议。因为直觉告诉他,球旋向远离门将的方向减小了门将触球的概率,同时增加了进攻队员冲顶时争到头球的概率。但当曼奇尼发现两种变数存在某种联系的时候,直觉却模糊了他对两者关联程度的判断能力。换句话说,外旋角球和进球数可能存在着某种关联,但数据表明,内旋角球和进球数存在着更为直接的因果关系。18Principles and Applications of Business IntelligenceChap 1: 导言创立于2007年 9月,
11、是淘宝第一箱包品牌 成功秘笈:强大的数据分析来锁定消费者需求利用IT技术,麦包包实现了对淘宝、拍拍和有啊三大C2C平台数百家箱包店铺以及数十家B2C箱包网站的信息和数据抓取,从而判断市场前景。麦包包的数据抓取范围已经走出中国,开始监控亚马逊、eBay和欧洲的一些电子商务平台。支撑这一系统的,是50多台服务器以及10个专职的数据分析师,天天对抓回来的数据进行分析,试图精确捕捉消费者需求。(7)麦包包:数据预测需求Principles and Applications of Business IntelligenceChap 1: 导言提前两个月,麦包包就在做市场分析计算出各种款式的受欢迎度预测在
12、淘宝以及它所有在线零售市场可能的销售数额倒推回去做产品设计、包装及宣传推广麦包包:数据预测需求成功模式Principles and Applications of Business IntelligenceChap 1: 导言中粮生化简介中粮生化简介中粮集团中粮集团中粮集团有限公司于中粮集团有限公司于19521952年成立,是一家集贸易、实业、年成立,是一家集贸易、实业、金融、信息、服务和科研为一体的大型企业集团,横跨金融、信息、服务和科研为一体的大型企业集团,横跨农产品、食品、酒店、地产等众多领域。农产品、食品、酒店、地产等众多领域。19941994年以来,年以来,一直名列美国一直名列美国财
13、富财富杂志全球企业杂志全球企业500500强。强。旗下上市公司旗下上市公司 中国粮油中国粮油中国食品中国食品中粮屯河中粮屯河中粮包装中粮包装中粮生化中粮生化中粮地产中粮地产蒙牛乳业蒙牛乳业旗下品牌旗下品牌 福临门玉米油,金帝巧克力,长城葡萄酒福临门玉米油,金帝巧克力,长城葡萄酒Principles and Applications of Business IntelligenceChap 1: 导言中粮生化简介中粮生化简介Principles and Applications of Business IntelligenceChap 1: 导言信息化建设较为完善信息化建设较为完善作为世界作为世
14、界500500强企业,中粮集团一直积极致力于信息化建设工强企业,中粮集团一直积极致力于信息化建设工作,充分利用信息化工具提高企业管理水平。中粮生化下属作,充分利用信息化工具提高企业管理水平。中粮生化下属各利润点基本实现业务流程的信息化,主要包括财务系统、各利润点基本实现业务流程的信息化,主要包括财务系统、生产制造系统、采购系统、人力资源管理系统、生产制造系统、采购系统、人力资源管理系统、6S6S报表系统。报表系统。Principles and Applications of Business IntelligenceChap 1: 导言全面信息化后存在的问题全面信息化后存在的问题1 1数据量增
15、大,数据难以管理数据量增大,数据难以管理随着中粮生化能源事业部各个业务系统的持续运行和未随着中粮生化能源事业部各个业务系统的持续运行和未来业务系统的陆续投入,形成了大量的基础数据来业务系统的陆续投入,形成了大量的基础数据 子公司子公司数据数据不断不断上传各业务系统,给业务系统带来大上传各业务系统,给业务系统带来大数据量的事务处理压力数据量的事务处理压力Principles and Applications of Business IntelligenceChap 1: 导言全面信息化后存在的问题全面信息化后存在的问题2 2查询与报表不足以支持战略决策的需求查询与报表不足以支持战略决策的需求在各
16、业务系统中进行统计分析,在各业务系统中进行统计分析,对各系统的日报表汇总对各系统的日报表汇总形形成成企业整体企业整体日报表日报表领导层不会看底层的原始数据和怎么处理业务,希望看到领导层不会看底层的原始数据和怎么处理业务,希望看到整个公司层面的信息整个公司层面的信息Principles and Applications of Business IntelligenceChap 1: 导言全面信息化后存在的问题全面信息化后存在的问题3 3信息孤岛,部门数据相互独立信息孤岛,部门数据相互独立销售、财务、人力资源、生产、日报表销售、财务、人力资源、生产、日报表等等业务系统相互业务系统相互独立独立,形成
17、信息孤岛形成信息孤岛各子公司数据相互独立,无法满足决策层统观全局的要各子公司数据相互独立,无法满足决策层统观全局的要求求Principles and Applications of Business IntelligenceChap 1: 导言商务智能解决方案商务智能解决方案- -数据整合数据整合建立统一数据模型建立统一数据模型对数据的规范化定义对数据的规范化定义,实现统一实现统一的的信息资源层次体系、数据信息资源层次体系、数据元素标准和信息编码元素标准和信息编码,建立统一的数据模型建立统一的数据模型以以满足各个业务满足各个业务系统的集成。系统的集成。整合各个业务系统,建立中粮生化数据仓库系统
18、整合各个业务系统,建立中粮生化数据仓库系统由于由于数据数据分布在不同分布在不同的业务系统的业务系统,给数据共享、数据管理和,给数据共享、数据管理和数据应用带来很多不便,因此数据应用带来很多不便,因此中粮生化中粮生化整合各个业务系统,整合各个业务系统,建立中粮生化数据仓库系统建立中粮生化数据仓库系统,将数据集中起来,解决数据层,将数据集中起来,解决数据层面的信息孤岛问题。面的信息孤岛问题。Principles and Applications of Business IntelligenceChap 1: 导言商务智能解决方案商务智能解决方案- -数据分析数据分析多维分析多维分析支持直接基于现有
19、的业务数据库支持直接基于现有的业务数据库( (关系型数据库关系型数据库) )创建多创建多维立方体;可进行常规的切片,旋转、钻取等在线分析维立方体;可进行常规的切片,旋转、钻取等在线分析操作;支持图表操作;支持图表( (如:直方图、饼图等如:直方图、饼图等) ),并能在图表中,并能在图表中钻取数据。钻取数据。数据挖掘数据挖掘从时间、空间、横向、纵向等多维度对数据进行分析。从时间、空间、横向、纵向等多维度对数据进行分析。按主题细分,可划分为生产主题分析、采购主题分析、按主题细分,可划分为生产主题分析、采购主题分析、销售主题分析、财务主题分析、产成品库存主题分析、销售主题分析、财务主题分析、产成品库
20、存主题分析、物流主题分析、人力资源主题分析等物流主题分析、人力资源主题分析等。Principles and Applications of Business IntelligenceChap 1: 导言商务智能解决方案商务智能解决方案- -数据分析数据分析销售分析产品库存管理分析物流管理分析人力资源管理分析财务管理分析原料采购管理分析生产管理分析Principles and Applications of Business IntelligenceChap 1: 导言商务智能解决方案商务智能解决方案- -结果展示结果展示能够制作标准、主从、交叉、分组统计、参数等各种能够制作标准、主从、交叉、分
21、组统计、参数等各种形式的报表形式的报表能够创建多种类型图形包括能够创建多种类型图形包括2D2D和和3D3D饼图、柱状图、线饼图、柱状图、线性图、泡泡图、散点图、漏斗图、金字塔图、锥体图等性图、泡泡图、散点图、漏斗图、金字塔图、锥体图等,提供多种美观仪表盘、信号灯等,支持多种形式的数据提供多种美观仪表盘、信号灯等,支持多种形式的数据钻取钻取支持支持WebWeb方式浏览方式浏览,所有报表能发布到指定的所有报表能发布到指定的Web Web serverserver,可以通过可以通过IEIE方式浏览各种报表的数据和相应的方式浏览各种报表的数据和相应的图表图表Principles and Applica
22、tions of Business IntelligenceChap 1: 导言商业智能案例:银行高管驾驶舱Smart eVisionPrinciples and Applications of Business IntelligenceChap 1: 导言高管驾驶舱目标32以用户最熟悉工具实现关键业务应用高可用性高性能 以集团运营的视角,以集团运营的视角,渗透到渗透到整个企业,整个企业,释放释放新的洞察力新的洞察力 按按需要,需要,快速创建快速创建跨跨系统、系统、逐步扩展逐步扩展的的业务解决方案业务解决方案Principles and Applications of Business Int
23、elligenceChap 1: 导言关注三位一体战略实况Principles and Applications of Business IntelligenceChap 1: 导言产品业务类别Principles and Applications of Business IntelligenceChap 1: 导言现金管理绩效分析Principles and Applications of Business IntelligenceChap 1: 导言客户贡献分析36Principles and Applications of Business IntelligenceChap 1: 导言营
24、业网点收益分析37Principles and Applications of Business IntelligenceChap 1: 导言服务网点扩张策略分析38 数据挖掘(2)Principles and Applications of Business IntelligenceChap 1: 导言商务智能能够为我们做什么?商务智能能够为我们做什么?Tosupportdecisionmakingatalllevelsofbusinessmanagementbasedonthefactsand(scientific)predictionsofcurrentandfuturebusiness
25、situationsthatareobtainedfromintelligentanalysisofhistoricalbusinessdata.BusinessdecisionsmadewithBIsupportaremoreCorrectAccurateObjectiveTimelyPrinciples and Applications of Business IntelligenceChap 1: 导言40Principles and Applications of Business IntelligenceChap 1: 导言聚类示意图(1/5)41Principles and App
26、lications of Business IntelligenceChap 1: 导言聚类示意图(2/5)42Principles and Applications of Business IntelligenceChap 1: 导言聚类示意图(3/5)43Principles and Applications of Business IntelligenceChap 1: 导言聚类示意图(4/5)44Principles and Applications of Business IntelligenceChap 1: 导言聚类示意图(5/5)45Principles and Applica
27、tions of Business IntelligenceChap 1: 导言聚类银行客户细分46Principles and Applications of Business IntelligenceChap 1: 导言聚类非学生群体的通信行为47Principles and Applications of Business IntelligenceChap 1: 导言48Principles and Applications of Business IntelligenceChap 1: 导言49Principles and Applications of Business Intell
28、igenceChap 1: 导言复杂类型数据挖掘 空间数据挖掘- 空间数据包括:地图,遥感图片,医学图像等- 空间数据的特点包括距离、位置、色块、气温等信息。通常按照复杂、多维的空间索引结构组织数据。- 空间数据挖掘是指对空间中非显式存在的知识、空间关系或其他有意义的模式等进行提取,需要综合数据挖掘与空间数据库技术。- 例如,通过对地质断裂带应力分析可以推断出哪些地方近期发生地震的概率较高,这个挖掘过程中,不但需要对地址断裂带的地理位置数据进行处理,还需要结合地震历史数据和时间数据进行挖掘。 50Principles and Applications of Business Intellige
29、nceChap 1: 导言51Principles and Applications of Business IntelligenceChap 1: 导言复杂类型数据挖掘 多媒体数据挖掘- 多媒体数据包括:音频数据、视频数据、图像数据等。- 典型的多媒体数据库系统包括Google Earth,百度图像,人类基因数据库等。- 如在反恐档案和追踪系统中,应用恐怖份子图像查询和搜索,音频匹配与语音识别等方面。 52Principles and Applications of Business IntelligenceChap 1: 导言图像数据轮胎痕迹(1/2)53Principles and Ap
30、plications of Business IntelligenceChap 1: 导言图像数据轮胎痕迹(2/2)54Principles and Applications of Business IntelligenceChap 1: 导言图像数据模糊的车牌画面(1/2)55Principles and Applications of Business IntelligenceChap 1: 导言56图像数据模糊的车牌画面(2/2)Principles and Applications of Business IntelligenceChap 1: 导言文本挖掘和多媒体挖掘举例(定制爱情)
31、57Principles and Applications of Business IntelligenceChap 1: 导言58Principles and Applications of Business IntelligenceChap 1: 导言59Principles and Applications of Business IntelligenceChap 1: 导言文本挖掘和多媒体挖掘举例60Principles and Applications of Business IntelligenceChap 1: 导言文本挖掘和多媒体挖掘举例 花田界面清新简洁,采用类似微博的信息流
32、展示形式。首页是异性用户最近更新的图片、内心独白和文字传情,展示其生活方式、个人品味等软性资料。 花田团队正试图通过自然语言处理技术和语义分析方法来解码用户性格,实现“软硬兼施”的精准推荐。 首先,他们运用切分词方法,从用户的“内心独白”中提取出现频率较高的关键词;再将这些关键词分类,如感性词汇或理性词汇;最后,通过文本分析、语义分析,从中挖掘出用户的性格是内向、外向、理想化还是现实派等等。61Principles and Applications of Business IntelligenceChap 1: 导言62Principles and Applications of Busine
33、ss IntelligenceChap 1: 导言文本挖掘和多媒体挖掘举例 花田团队只有 30多个人,大多是 85后。他们在对海量软硬数据进行分析的基础上,总结出一些人物特征,建立出一定数量的人物模型。再分析具体用户,将其分门别类套入各种模型。这样,用户心仪其中某一个人,便可向其推荐这一类人。 这种模型不仅是性格模型,还包括外貌模型。“我们马上要推出人脸识别。比如你想找个像范冰冰的女生,你输入范冰冰,就会推荐给你很多范冰冰脸型的女生。” 花田的后台已经提取出范冰冰脸型的数据,之后还会推出几十种流行的男女明星脸型供用户选择。 63Principles and Applications of Bu
34、siness IntelligenceChap 1: 导言文本挖掘和多媒体挖掘举例 如果花田能够跨产品平台,结合网易门户、邮箱、游戏等其它网易资源进行大数据分析,是否就能向用户推荐与自身阅读习惯、工作习惯、娱乐习惯都匹配的对象呢? 真正的大数据必然是跨平台的,但跨平台数据提取在一定程度上又涉及用户隐私。 数据分析不只可用于精准推荐,还能识别婚恋网站中的造假和诈骗。引入大数据可以开发出一套骗子识别模型,由以往的被动等待用户举报骗子,改为主动出击。64Principles and Applications of Business IntelligenceChap 1: 导言网络挖掘寻找意见领袖65Principles and Applications of Business IntelligenceChap 1: 导言ENDEND66