1、友情提示上课时间请勿：-请将您手机改为“震动” 避免在课室里使用手机-交谈其他事宜-随意进出教室请勿在室内吸烟上课时间欢迎：-提问题和积极回答问题-随时指出授课内容的不当之处数据：数据：数据是记录下来可以被鉴别的符号，包括文字、图片、视频和声音等。岩画 MB文字 GB 纸、印刷术 TB互联网 PB大数据 ZB太字节，记作TB，1TB=1024GB；拍字节，记作PB，1PB=1024TB；艾字节，记作EB，1EB=1024PB；泽字节，记作ZB，1ZB=1024EB。目录大数据的发展大数据的发展1大数据的定义和特征大数据的定义和特征2案例分享案例分享3大数据时代的机遇和挑战大数据时代的机遇和挑战
2、4 大航海时代，早大航海时代，早期由于对潮汐、风和期由于对潮汐、风和洋流等知识的缺乏，洋流等知识的缺乏，远洋航海不仅效率低远洋航海不仅效率低下，而且充满危险。下，而且充满危险。大数据的前世今生 马修马修方丹方丹莫里曾莫里曾是一名优秀的美国海是一名优秀的美国海军军官，在一次偶然军军官，在一次偶然的事故后被迫退役。的事故后被迫退役。随后，他与随后，他与20个志同个志同道合的数据处理者一道合的数据处理者一起，整理了所有旧航起，整理了所有旧航海图上的信息，并绘海图上的信息，并绘制了一张拥有制了一张拥有120万万数据点的航海图。数据点的航海图。 通过通过分析这些数分析这些数据，莫里知道了一些据，莫里知道
3、了一些良好的天然航线，这良好的天然航线，这些航线上的风向和洋些航线上的风向和洋流都非常利于航行。流都非常利于航行。他所绘制的他所绘制的图表使航图表使航海海路程路程减少，也变得减少，也变得更安全。更安全。莫里航海图，最早的大数据实践莫里航海图，最早的大数据实践 UPS的司机一般的司机一般每天要送每天要送120至至175次货。在任何两个目次货。在任何两个目的地之间，都可以选的地之间，都可以选择多条路线。显然，择多条路线。显然，司机和司机和UPS想要找到想要找到其中最有效率的那条其中最有效率的那条。大数据的前世今生UPS行车路线选择行车路线选择 因此因此UPS利用大数利用大数据分析打造了一个名据分析
4、打造了一个名为为Orion的道路优化的道路优化与导航集成系统，可与导航集成系统，可以在约以在约3秒内找出最秒内找出最佳路线。佳路线。 2011年年，UPS的 驾 驶 员 少 跑 了的 驾 驶 员 少 跑 了5000万公里的路，万公里的路，节省了节省了300万加仑万加仑燃燃料，少排放料，少排放了了3万万立立方公吨的二氧化碳。方公吨的二氧化碳。大数据的发展背景2001年Gartner研究研究指出，现代指出，现代信息社会的信息社会的信息爆炸已信息爆炸已经演变成了经演变成了数据爆炸。数据爆炸。2008年2011年Nature杂志出版专刊杂志出版专刊“Big Data”，分析了大，分析了大量快速涌现数据
5、给数据分量快速涌现数据给数据分析处理带来的巨大挑战。析处理带来的巨大挑战。Science推推出关于数据处理出关于数据处理的专刊的专刊“Dealing with data”，讨，讨论了数据洪流论了数据洪流（Data Deluge）所带来的挑战。所带来的挑战。5月麦肯锡全球研究院月麦肯锡全球研究院发布了大数据：创新、发布了大数据：创新、竞争和生产力的下一个竞争和生产力的下一个领域研究报告。领域研究报告。2012年3月奥巴马总统月奥巴马总统宣布美国政府投宣布美国政府投资逾资逾2亿美元启亿美元启动动“大数据研究大数据研究和发展计划和发展计划（BDRDI）”。5月，联合国发表名月，联合国发表名为为大数据
6、促发展：大数据促发展：挑战与机遇挑战与机遇的政务的政务白皮书白皮书。大数据的发展背景 随着一系列标志性事件的发生和建立，人们越发感觉到大数据时随着一系列标志性事件的发生和建立，人们越发感觉到大数据时代的力量。因此代的力量。因此2013年被许多国外媒体和专家称为年被许多国外媒体和专家称为“大数据元年大数据元年”。InformationIndustryDataAgricultural大数据的发展背景1 1、智能终端的、智能终端的普及普及2 2、网络带宽的、网络带宽的提升提升3 3、电子商务的狂热电子商务的狂热4 4、社交网络流行、社交网络流行5 5、位置信息、位置信息6 6、云云计算的兴起计算的兴
7、起7 7、物物联网时代的到来联网时代的到来大数据的发展背景大数据的发展背景大数据的定义麦肯锡全球研究院（2011）对大数据的定义是从数据集的大体量入手的：大数据是指那些规模大到传统的数据库软件工具已经无法采集、存储、管理和分析的数据集。百度百科对大数据的定义是: 大数据( Big Data) ，或称巨量资料，指由于容量太大和过于复杂，无法在一定时间内用常规软件对其内容进行抓取、管理、存储、检索、共享、传输和分析的数据集。维克托迈尔-舍恩伯格（2012）在大数据时代一书中主要从价值大的角度来定义大数据，他认为大数据是当今社会所独有的一种新型的能力：以一种前所未有的方式，通过对海量数据进行分析，获
8、得有巨大价值的产品和服务，或深刻的洞见。大数据的特征大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量存储量 据估计，2007年全球存储了大约300EB的数据，而到2013年，已达1.8ZB，据估计到2020年，世界上存储的数据预计能达到35ZB之多，相当于数千亿个大型图书馆存储的数据。太字节，记作TB，1TB=1024GB；拍字节，记作PB，1PB=1024TB；艾字节，记作EB，1EB=1024PB；泽字节，记作ZB，1ZB=1024EB。大数据的特征大数据的4V特点：Volume、Velocity、Va
9、riety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量存储量+计算量广州超算中心16000个运算节点312万个计算核心整体总计内存1.408PB12.4PB的硬盘阵列大数据的特征大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量Velocity 高速 处理速度快。1秒定律。 这一点也是和传统的数据挖掘技术有着本质的不同。数据更新、数据更新、增长速度增长速度快快 Facebook上每秒有4.1万张照片上传，淘宝每秒有数万笔交易。+数据存储、数据存储、传输等处传输等处理速度快理速度快大
10、数据的特征大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量Velocity 高速 处理速度快。1秒定律。 这一点也是和传统的数据挖掘技术有着本质的不同。Variety 多样 数据类型繁多。不仅包括传统的关系数据类型，也包括以网页、音视频、文档等形式存在的未加工的、半结构化和非结构化的数据。大数据的特征大数据的4V特点：Volume、Velocity、Variety、Value 数据体量巨大。从TB级别跃升到PB级别。Volume 大量Velocity 高速 处理速度快。1秒定律。 这一点也是和传统的数据挖掘
11、技术有着本质的不同。Variety 多样 数据类型繁多。不仅包括传统的关系数据类型，也包括以网页、音视频、文档等形式存在的未加工的、半结构化和非结构化的数据。Value 价值 价值密度低。但庞大的数据中蕴含着新知识，以及极其重要的预测价值。大数据平台框架管理模式的变迁决策、预策决策、预策业务数据市场、金融、政策等等业务数据市场、金融、政策等等报表等决策、预策决策、预策业务数据信息、预策大数据系统决策决策市场、金融、政策等等LOGO案例谷歌流感趋势项目 传统的流感预报会滞后大约两周的时间，这种滞后往往会导致严重的后果。p 谷歌发现，某些搜索字词可以很好地标示流感疫情的现状。Google 流感趋势
12、使用了经过汇总的 Google 搜索数据库来测流感疫情。案例谷歌流感趋势项目 20092009年，年，H1N1H1N1病毒肆虐全球，谷歌的病毒肆虐全球，谷歌的“全球流感地图全球流感地图”成功派上用场，准确预测出患病高发地区，有效地指导成功派上用场，准确预测出患病高发地区，有效地指导人们进行预防。人们进行预防。案例大数据在政务领域的应用 大数据的发展，将极大地改变政府的管理模式，有利于节约政府投资、加强市场监管能力、提高政府决策能力、提升公共服务能力，实现区域化管理。 20132013年年1010月，济南电子政务数据交换平台正式启用。该平月，济南电子政务数据交换平台正式启用。该平台基于云计算理念
13、，成功将工商、国税、质检、公安、社保台基于云计算理念，成功将工商、国税、质检、公安、社保等等2020多个部门数据共享。国税局与地税局通过数据比对，发多个部门数据共享。国税局与地税局通过数据比对，发现了现了2500025000条数据差异，落实纳税企业条数据差异，落实纳税企业50005000多户，补缴税款多户，补缴税款27002700多万元。多万元。推广：推广：如如将我国城镇居民医疗数据与保险数据对比分析可以将我国城镇居民医疗数据与保险数据对比分析可以优化保险企业报销比例，发现虚假报销行为；与制药厂数据优化保险企业报销比例，发现虚假报销行为；与制药厂数据比对分析可以调节药品的生产量与销售渠道。但医
14、疗政策信比对分析可以调节药品的生产量与销售渠道。但医疗政策信息并不能发挥这样的作用。息并不能发挥这样的作用。案例政治选举在 2012年 奥巴马的竞选团队对数以千万计的选民邮件进行数据挖掘，精确预测出更拥护奥巴马的选民类型，并进行了有针对性的宣传，从而帮助奥巴马成为了美国历史上唯一一位在竞选经费处于劣势下实现连任的总统。案例爸爸去哪儿大数据解读 新华社新媒体中心联合数托邦创意分析工作室抓取了新浪微 博上提及“爸爸去哪儿”45.5万条原创微博，并对36.7万独立原发作者用户（去除疑似水军账户）、1300余万条用户微博及近1亿的关系进行数据分析。结果发现：爸爸爸爸去哪儿去哪儿不仅成为名副其实的不仅成
15、为名副其实的“口碑王口碑王”，还使娱乐节目发，还使娱乐节目发生了很多微妙变化。生了很多微妙变化。 案例爸爸去哪儿大数据解读粉丝性别比例：粉丝性别比例：“爸爸粉”女性占到八成。难道是因为星爸太帅？当然，这与微博中女性用户占比较高和她们更爱分享转评的习惯也有关。 用户年龄分布：用户年龄分布：覆盖适龄婚育群体，观众气质更显成熟。不少适龄青年发微博称，“看到某某，我也好想结婚，想有个这样的儿子女儿。” 地区偏好排行：地区偏好排行：爸爸去哪儿的观众明显向GDP高地聚集。对湘派娱乐节目免疫力极强的京、沪、苏、蜀等地罕见上榜。爸爸去哪儿偏好度前十省份中，有个GDP十强省份，涵盖3个直辖市。这是否能说明，一部
16、分“先富起来”的人，对亲子关系有更深的焦虑和更多的期待？ 案例爸爸去哪儿大数据解读赞助商潜在赞助商明星同类节目竞争者节目组观众大数据解读大数据解读可能的受益可能的受益者者满足了自己“八卦”的需求。对这个节目有了深入的了解。从爸爸去哪儿的成功中可以学到什么？本次赞助是否成功？成功在哪里？为以后广告的投放提供了经验。了解了自己及孩子在观众心中的“热度”，为下一步转型及孩子未来的规划提供参考。根据之前的数据分析，大胆推出了低成本同名电影并大获成功！第二季的拍摄紧锣密鼓地进行着为决策提供支持。若自己的目标客户与该节目的观众一致，可以考虑下一季的赞助。案例纸牌屋的创作在 纸牌屋是从3000万付费用户的数
17、据中总结收视习惯、选择， 仔细分析400万条评论、300万次主题搜索，并对用户喜好精准分析的基础上进行创作的。最终，拍什么、谁来拍、谁来演、怎么播，都由数千万观众的客观喜好统计决定，是用大数据 “算”出来的电视剧。案例大数据在金融领域的应用大数据助力推进高频金融交易和小额信贷大数据助力推进高频金融交易和小额信贷高频交易高频交易：目前美国股市每天的成交量高达70亿股，通过对历史和实时数据的挖掘创新，以创造和改进量化交易模型，并将之应用于基于计算机模型的实时证券交易过程中。据统计其中高达三分之二的交易都是由建立在数学模型和算法之上的计算机程序自动完成的。小额信贷小额信贷： 截止2013年底阿里巴巴
18、数据平台服务器上，已积攒超过100PB已处理的数据，包括交易、金融、SNS、地图、生活服务等多种数据类型，依托阿里电商平台强大的数据体系和平台支撑,阿里金融开创了一种“纯信用、无抵押、免担保”的小额贷款模式，从而给数十万小微企业，放贷数百亿元，坏账率仅为0.3%左右，低于商业银行水平。案例纽约沙井盖爆炸预测在 每年纽约有很多沙井盖因内部失火发生爆炸，后来相关部门对足够围绕地球三周半的地下电缆和数万个沙井盖的历史数据进行了处理，从数据中发现了大型沙井盖爆炸的106种预警情况，并成功预测出了高危沙井盖。这样，包含这些预警指标的预测模型就建立起来了，可用于对以后的沙井盖爆炸做出预测，帮助公司事前做出
19、针对性的维修决策。案例CPI预测 美国劳工统计局每个月都要公布CPI,这些数据对投资者和商家都非常重要。政府为了得到这些数据，每年大概需要花费两亿五千万美元。这些数据是精确的也是有序的，但是这个采集结果的公布会有几周的滞后。 MIT的两位经济学家通过一个软件在互联网上收集信息，他们每天可以收集到 50万种商品的价格。通过把大数据和好的分析法相结合，这个项目在 2008年 9月雷曼兄弟破产之后马上就发现了通货紧缩趋势，然而那些依赖官方数据的人直到 11月份才知道这个情况。案例百度迁徙图 国内有2亿手机用户使用百度地图，用户每次位置变化，百度都能得到数据。把手机网民的定位信息汇总成大数据进行分析，
20、就能勾勒出人们的迁徙轨迹。房产房产道路道路广告广告案例智能电表 智能电表部署后，每隔5分钟就从用户处读取一次数据，从而产生海量用电信息。错峰用错峰用电电平衡平衡用电用电住房空置率住房空置率违建违建用电分析用电分析大数据时代的机遇 当前，我国工业化、信息化、城镇化、农业现代化任务很重，当前，我国工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领
21、会世情和国情，把握规律，实现的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。这也是李克强总理提出的重要价值。这也是李克强总理提出的“互联网互联网+”+”行动计划的重要行动计划的重要组成部分。组成部分。机遇机遇大数据技术促进国家和社会发展大数据技术促进国家和社会发展大数据时代的机遇 大数据正在对每个领域都造成影响，包括商业、经济等领域。大数大数据正在对每个领域都造成影响，包括商业、经济等领域。大数据正在促生新的蓝海，催生新的经济增长点。主动地拥抱这种变化，从据正
22、在促生新的蓝海，催生新的经济增长点。主动地拥抱这种变化，从战略到战术层而开始自我的蜕变和进化将会让企业更加适应这个新的时战略到战术层而开始自我的蜕变和进化将会让企业更加适应这个新的时代，大数据蓝海成为未来竞争的制高点。代，大数据蓝海成为未来竞争的制高点。机遇机遇大数据蓝海成为企业竞争的新焦点大数据蓝海成为企业竞争的新焦点 4 4月月1616日日, ,中石化宣布牵手阿里，对部分传统石油化工业务进行升级。中石化宣布牵手阿里，对部分传统石油化工业务进行升级。中石化与阿里巴巴合作意在将所有网点收集到的车辆加油及运行数据收中石化与阿里巴巴合作意在将所有网点收集到的车辆加油及运行数据收集起来，进行动态实时
23、的油量需求分析，在油品供应、油站建设、油库集起来，进行动态实时的油量需求分析，在油品供应、油站建设、油库建设、输送网络上进行更加满足市场需求的决策，这样可以大幅降低中建设、输送网络上进行更加满足市场需求的决策，这样可以大幅降低中石化的运营成本。石化的运营成本。大数据时代的机遇 大数据时代催生了一个创新型的职位大数据时代催生了一个创新型的职位数据分析数据分析师，麦肯锡公司预测美国到师，麦肯锡公司预测美国到20182018年需要深度数据分析人年需要深度数据分析人才才4444万万4949万，缺口万，缺口1414万万1919万人；需要既熟悉本单位万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者
24、需求又了解大数据技术与应用的管理者150150万，这方面万，这方面的人才缺口更大。的人才缺口更大。 中国是大国，但能理解与应用大数据的创新人才更中国是大国，但能理解与应用大数据的创新人才更是稀缺资源。是稀缺资源。机遇机遇大数据时代呼唤创新型人才大数据时代呼唤创新型人才大数据带来的挑战采集、存储、分析、呈现的技术采集、存储、分析、呈现的技术隐私泄露隐私泄露预测与处罚预测与处罚黑客攻击黑客攻击数据独裁数据独裁大数据带来的挑战 当前当前, ,大数据的应用只是大数据的应用只是冰山一角冰山一角, ,绝大部分隐藏在绝大部分隐藏在表面之下。未来，大数据所表面之下。未来，大数据所带来的精彩值得期待！带来的精彩值得期待！ Big Data，the revolution that has changed how we live, work and think.
