1、大数据时代下的数据挖掘 随着计算机技术的革新和网络媒体的快速发展，人们的生活已经进入高速信息时代。每天的生活都要产生大量数据，获取数据的速度和规模不断增长，大量数据不断的被存入存储介质中形成海量数据。 海量数据的存储、应用及挖掘已成为研究的重要命题。 未来几年，随着大数据迅速发展，数据挖掘将是极为重要的成长领域，只要企业拥有分析价值的数据源，皆可用来进行高价值的数据挖掘分析。 本课程主要介绍大数据的概念及其在生活、工作和思维带来的改变，介绍大数据与其他技术的关系，尤其是数据挖掘方面，介绍数据挖掘技术的基本知识，主要应用场景，常用算法，以及数据挖掘过程。学习目标1. 了解大数据的基本概念及其带来
2、的在生活、工作和思维上的改变和准备。2. 了解大数据在各个行业的应用。3. 了解大数据时代下对数据挖掘技术的推动。4. 掌握数据挖掘技术的基本概念、常用算法，了解其在各个行业的应用。主要内容主要内容大数据时代及其变革大数据相关技术方法大数据时代下的数据挖掘应用案例主要内容 大数据时代及其变革 大数据相关技术方法 大数据时代下的数据挖掘 大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发一场生活、工作与思维的大变革一场生活、工作与思维的大变革1. 大数据，变革公
3、共卫生2. 大数据，变革商业3. 大数据，变革思维4. 大数据，开启重大的时代转型5. 预测，大数据的核心6. 大数据，大挑战1. 改革公共卫生 流感预测与谷歌搜索2009年，甲型H1N1疾病控制与预防中心Nature杂志的一篇论文 google 4.5亿个数学模型 验证：2007年，2008年 45条检索词条 特定的数学模型 97%什么是大数据2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判
4、断出流感是从哪里传播出来的，没有一两周的滞后。Google处理了5000万条历史记录、4.5亿个不同的数学模型。2. 变革商业 飞机票的购买 2003年，奥伦埃齐奥尼西雅图-洛杉矶 几个月 机票价格埃齐奥尼 1994 搜索引擎metacrawler infoSpace公司 比价网站Netbot Excite公司 “世界就是一系列的大数据问题”。 机票预测系统什么是大数据Farecast是一个对机票价格进行预测的公司，帮助消费者抓住最佳购买机票的时机，使乘客节省很多钱。最初预测系统建立在41天之内的12000个价格样本基础上，数据是从旅游网站上抓取的，如今已经拥有超过2000亿条飞行记录。系统只
5、推测机票的价格何时最便宜，不关心是什么原因导致的价格下降。FarecastBing机票预测系统 41天 12000个价格样本 “哈姆雷特”项目Farecast票价预测工具 行业机票预定数据库 Farecast 2000亿条飞行数据记录 微软公司 1.1亿美金 必应搜索引擎 2012年 近十万条价格记录 75% 50美金3. 变革思维 信息爆炸 新处理技术的诞生Mapreduce Hadoop 思维模式的改变为什么？是什么？4. 大数据，开启重大的时代转型 天文学，信息爆炸的起源 2000年斯隆数字巡天项目启动 几周数据历史数据 2010 1.4*242字节 2016 智利 大型视场全景巡天望远
6、镜 5天数据量 互联网公司 Google 24PB Youtube 8亿/月访客 1小时视频/秒 Twitter 4亿/天微博何为大？何为大？数据度量数据度量 1Byte = 8 Bit 1KB = 1,024 Bytes=210B 1MB = 1,024 KB = 220B 1GB = 1,024 MB = 230B 1TB = 1,024 GB = 240B 1PB = 1,024 TB = 250B 1EB = 1,024 PB = 260B 1ZB = 1,024 EB = 270B 1YB = 1,024 ZB = 280B大数据大数据 红楼梦含标点87万字（不含标点853509字）
7、 每个汉字占两个字节：1汉字=16bit = 2*8位=2bytes 1GB 约等于671部红楼梦 1TB 约等于631,903 部 1PB 约等于647,068,911部 美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ） 1EB = 4000倍美国国会图书馆存储的信息量我们周围到底有多少数据？增长速度有多快？模拟数据模拟数据数字数据数字数据200075%25%20077%93%20132%？1.2zB1.2ZB=记录在书里，书可以覆盖整个美国52次； 刻录光盘，5堆，每一堆可以伸到月球； 。模拟数据 vs 数字数据 人类存储信息的增长速度比世界经济的增长速度快4倍，而计算机处理数据能力的增长速度则必世界经济的增长速度快9倍。5. 预测，大数据的核心 大数据的核心是预测 把数学算法运用到海量的数据上来预测事情发生的可能性。 从一个人乱穿马路时行进的轨迹和速度来看他能及时穿过马路的可能性，都是大数据可以预测的范围。 人工智能 反馈6. 大数据、大挑战1. 大量的数据，不再依赖随机采样2. 大量的数据，不再追求精确度3. 不再热衷于寻找因果关系大数据的特性大数据大数据的特性的特性 视频：买披萨告诉你什么是大数据时代？大数据时代的思维变革大数据时代的商业变革大数据时代的管理变革
