1、大数据技术及其在各行业中的应用主要内容第一章 大数据的概念与技术第二章 大数据带来的机遇与挑战第三章 大数据在各行业中的应用大数据的概念与技术第一章大数据大数据面面观面面观大数据大数据特征特征大数据大数据技术技术3一段小视频一段小视频4大数据的概念与技术第一章大数据大数据面面观面面观大数据大数据特征特征大数据大数据技术技术5数据爆炸式增长（每分钟）Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上
2、更新69.5万+条新状态12306出票1840+张6GBTBPBEBZB数据的爆炸式增长想驾驭这庞大的数据，我们必须了解”大数据”地球上至今总共的数据量：在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！1PB（拍字节）=250字节1EB（艾字节）=260字节1ZB（泽字节）=270字节7一段小视频一段小视频大数据名称由来大数据的来源看待大数据的不同视角大数据的定义大数据的市场分析大数据与国家战略大数据带来的
3、变革820世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data2011年5 月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念Big Data名词由来2011年6月，美国咨询界的翘楚麦肯锡咨询公司发布了大数据：下一个竞争、创新和生产力的前沿领域的研究报告,首次向学界以外的领域推出大数据的概念。9可采集可衡量价价值值人的行为活动生理行为自然属性社会属性交易行为 文化行为 信仰行为个体行为 家庭行为 群体行为企业经营活动研发服务营销推广物流采购生产销售交易活动交互活动多样性 相关性PC互联网移动互联网物联网数据获取通道大
4、数据的来源“看”数据的不同方式可视：结构化资料 15%未视：半/非结构化数据 85%DB/DW主管们看的战情数位仪表板，其实是残缺的11结构化数据半结构化数据非结构化数据大数据=海量数据+复杂类型的数据海量交易数据：p企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。大数据包括：交易数据和交互数据集在内的所有数据集海量交互数据：p源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管
5、理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：p大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。大数据的构成10万 GB10万 TB需要更高性价比的数据计算与储存方式数据库数据仓库计算更快 存储更省14 大数据=海量数据+复杂类型数据 增长如此之块，以至于难以使用现有的数据库管理工具来驾驭，困难在于数据的获取、存贮、搜索、共享、分析和可视化等方面 大数据的定义数据量数据量复杂性：种类和速度复杂性：种类和速度
6、销量销量库存库存薪酬表薪酬表客户信息客户信息合约合约ERP/CRMWEB2.0广告广告博客博客搜索营销搜索营销文本文本/图像图像网络日志网络日志大数据大数据社会情绪社会情绪音频音频/视频视频传感器传感器RFID维基维基/博客博客微博微博金融信息金融信息个人数据个人数据位置信息位置信息政府信息政府信息气象数据气象数据保险信息保险信息EBPBTBGB维基的大数据定义 任何超过一台计算机处理能力的庞大数据量亚马逊的大数据定义 需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产Informatica的大数据定义 大数据=交易数据+互动数据+观测数据中国电
7、信的大数据定义百度的大数据定义 如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的，则生活将是无趣的。利用因果关系解释观测的现象或预测未来存在逻辑和实际上的困难。对大数据的理性认知美C.R 劳 与传统比较，大数据的分析处理的核心是预测和推断，根本的变革在于不刻意追求因果关系，而更多关注相关关系。也就是说，只要知道和什么有关，而不必强求为什么有关。英舍恩伯格 大数据时代来临，使人类第一次有机会和条件在非常多和非常深入的层次获得和使用全面数据、完整数据和系统数据，简而言之就是样本=总体。英舍恩伯格 大数据为政府统计提供了总体性、非结构
8、化、丰富真实的原始资料，可以极大地缩短数据采集时间，减少报表填报任务，减轻调查对象负担，提高统计数据质量。国家统计局 马建堂大数据，也叫全局数据、总体数据，数据量越大其预测和推断的准确性越高大数据，也叫全局数据、总体数据，数据量越大其预测和推断的准确性越高大数据市场分析12011年-2016年中国大数据市场规模2各行业大数据市场规模l政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。l由于各个行业都存在大数据应用需求，潜在市场空间非常可观。l2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场
9、的飞速发展。l2012年中国大数据市场规模达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。中央政府对大数据的重视程度习近平习近平政府管理不仅要讲究策略，还要讲究手段，比如大数据技术的应用，2014年3月8日 “大数据”首次写入政府工作报告奥巴马奥巴马“将投入巨资拉动与大数据相关的产业”“数据为“未来的石油“，是美国综合国力的一部分，是与陆权、海权、空权同等重要的“国家核心资产”。李克强：李克强：加快推进全国中小企业征信系统建设,通过大数据等技术优化中小企业征信资质。李克强李克强经济数据和目标的进一步调整，中小企业将面临更大的压力，互联网金
10、融除了解决便利性问题外，更重要的是如何围绕特有的大数据资源展开对实体经济的服务汪洋汪洋数据为王，财政工作离不开大数据18 大数据上升为国家战略国家国家时间时间政策政策备注备注美国2012-03-29大数据研究与发展计划推动政府开放、提升政策预见性（粮食、天气、流感等）、提高政府服务水平、降底运营开支英国2010-05数据权、我的数据日本2012-05ICT战略中国2012-05互联网大数据技术创新研究大数据的概念与技术第一章大数据大数据面面观面面观大数据大数据特征特征大数据大数据技术技术20大数据的4V特征Value大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析（机器学习、人工智能V
11、s传统商务智能）Big Data大数据Volume全球在2010 年正式进入ZB 时代IDC预计到2020 年，全球将总共拥有35ZB 的数据量 Velocity实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效 Variety大数据的异构和多样性很多不同形式（文本、图像、视频、机器数据）无模式或者模式不明显不连贯的语法或句义21大数据的4V特征（Volume）1Byte1KB1MB1GB1TB1PB1EB1ZB1YB1PB相当于50%的全美学术研究图书馆藏书信息内容5EB相当于至今全世界人类所讲过的话语1ZB如同全世界海滩上的沙子数量总和1YB相当于7000位人类体内的微细胞总和
12、一般情况下，大数据是以PB、EB、ZB为单位进行计量的22Social MediaMachine/SensorDOC/MediaWeb ClickstreamAppsCall LogLog半结构化/非结构化数据大数据的4V特征（Variety）23大数据的4V特征（Variety）行业/企业内数据互联网数据物联网数据大数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，7080%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途
13、中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。24大数据的4V特征（Velocity）82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s 是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；25大数据的4V特征（Value）挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息价值密度低，是大数据的一个典型特征大数据不仅仅是技术，关键是产生价值可以从各个层
14、面进行优化，更要考虑整体26大数据带来的思维变革（更多）Google利用网络大数据预测流感基于全数据进行相扑比赛的作弊分析埃齐奥尼的Farecast有10万亿条数据预测机票价格乔布斯的癌症抗争，自身所有DNA和肿瘤DNA排序27大数据带来的思维变革（更杂）从皮尺到哈勃望远镜，人类一直在追求测量的精确性，一方面源于对未知世界的认知；一方面也源于收集信息的有限性。IBM的机器翻译 VS Google的机器翻译大数据时代要求我们重新审视数据精确性的优略大数据不仅让我们不再期待精确性，也让我们无法实现精确性错误不是大数据固有的问题，而是一个需要我们去解决的问题，而且会将长期存在28大数据带来的思维变革
15、（更好）佛教三世因果经主要讲：一是人的命是自己造就的；二是怎样为自己造一个好命；三是行善积德与行凶作恶干坏事的因果循环报应规律。佛教关于因果报应的解释原因和结果是揭示客观世界中普遍联系着的事物具有先后相继、彼此制约的一对范畴。原因是指引起一定现象的现象，结果是指由于原因的作用而引起的现象。大数据的相关关系，而不强调因果关系；（舍恩伯格），其实这个只是一种对无法探究因果的妥协，人类应该去探寻因果，因为世界存在客观的运转规律；29大数据带来的思维变革30大数据的概念与技术第一章大数据大数据面面观面面观大数据大数据特征特征大数据大数据技术技术31一段小视频一段小视频云计算与大数据大数据涉及的关键技术
16、大数据处理与分析Hadoop生态系统传统数据库与大数据32待处理的数据数据规模大（以GB、TB、PB为处理单位）小（以MB为处理单位）数据类型繁多（结构化、半结构化、非结构化）单一（结构化为主）模式和数据的关系先有数据后有模式，模式随数据增多演变先有模式后有数据（先有池塘后有鱼）处理对象“鱼”通过某些鱼判断其他鱼是否存在数据（池塘中的鱼）数据库（池塘捕鱼）大数据（大海捕鱼）大数据涉及的关键技术需求技术描述海量数据存储技术Hadoop，x86/MPP，Map Reduce分布式文件系统实时数据处理技术Streaming Data流计算引擎数据高速传输技术Infini Band服务器/存储间高速通
17、信搜索技术EnterpriseSearch文本检索、智能搜索、实时搜索数据分析技术Text Analytics Engine自然语言处理、文本情感分析、Visual Data Modeling 机器学习、聚类关联、数据模型数据采集数据储存数据管理数据分析与挖掘34基于基于SQL语言语言:面对OLAP的传统行和列不基于不基于SQL或或map-reduce的的:由谷歌率先发由谷歌率先发起起数据流数据流:基于运行商数据直接生成任意图形新平台技术新平台技术数据入数据入口口/汇聚汇聚数据平台数据平台分析分析不同范围的服务不同范围的服务传统交付模式-单片或基于设备的解决方案云云:能够充分利用物理设施的弹性
18、，以实现处理快速增长数据的能力“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”-Forrester analyst Jim Kobielus新的传输方案新的传输方案大数据涉及的关键技术35 大数据处理技术特征数据无限分而治之功能有限复制分发大数据的分析模型研究对象由组织、用户、大数据和工具构成的运行系统研究内容大数据的构成 大数据的行为 大数据的行为和数据的组织研究方法知识工程解构大数据系统研发工程支撑大数据系统价值工程牵引大数据系统研究目标大数据生产平台大数据开发平台大数据采集平台大数据应用平台研究重点数据分而治之资源组织调度逻辑复制迁移组织大数据用户工具知识工程研发工程价
19、值工程社会价值结构功能信源信宿信道控制状态协同生产采集存储应用传递展现概念定议划分经济价值科技价值商业价值为什么为什么是什么是什么怎么怎么做做云计算与大数据大数据应用运行在云平台之上如果数据是财富，那么大数据就是宝藏；云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的存储和积淀，云计算也只能是杀鸡用的宰牛刀！38什么是云计算（一段小视频）Hadoop平台Hadoop是基于Google有关大数据的论文的开源项目，最初的框架由Doug Cutting在2005年提出，目前是由Apache维护的开源项目。从初创到现在，Hadoop体系在10多年中开发完成了一系列重
20、要的子项目，已经形成一个涵盖数据存储、管理和分析功能的较为完整的大数据生态系统，成为大数据存储与处理领域地位最重要、应用最广泛的开源框架。一段视频一段视频介绍介绍Hadoop的的诞生与发展诞生与发展Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具39 Hadoop平台HDFS分布式文件系统，存储大数据，如同大坝前用于蓄水的水库(大坝发电前先要蓄水)Had
21、oop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具40 Hadoop平台HBase，实时、分布式、高纬数据库，对数据快速读取。(弱水三千、只取一瓢)Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统Zoo
22、Keeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具41Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具 Hadoop平台MapReduce，分布式计算框架，实现数据并行处理(一头牛拖不动，多头牛一起拖)42 Hadoop平台Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言
23、Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具Hive，数据仓库，支持提取、查询、分析(英文意为：蜂房，如同在大数据花园中采集花粉酿制蜂蜜)43 Hadoop平台Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具Pig
24、，数据流处理语言，提供编程接口(猪，懒惰而又浑身是宝，伸伸懒腰，不用费九牛二虎之力就能完成所需的数据操作)44 Hadoop平台Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具Mahout，数据挖掘(英文原意：骑象人，驯象人。分布式机器学习算法的集合)45 Hadoop平台Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据
25、挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具Flume，日志收集工具(英文原意：水管，日志数据如同水管中的涓涓细流汇集到大数据平台)46 Hadoop平台Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume
26、日志收集工具Sqoop，关系数据ETL工具(数据搬运工，完成外部数据和大数据平台中的数据的“搬运”)Hadoop平台Hadoop Manager安装、部署、配置、监控、告警和访问控制Mahout数据挖掘Pig数据流处理语言Hive数据仓库MapReduce分布式计算框架HBase实时、分布式、高纬数据库HDFS分布式文件系统ZooKeeper分布式协作服务Sqoop关系数据ETL工具Flume日志收集工具ZooKeeper，分布式协作服务(英文原意：动物园管理员)48大数据带来的机遇与挑战第二章大数据大数据的机遇的机遇大数据大数据的挑战的挑战49大数据改变生活50。各级政府、主管部门、上市公司
27、、企业集团、外资公司都将基于大数据分析平台优化其决策。优化 大数据分析能力逐渐加强，传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。革命 银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务颠覆 因大数据系统的出现，所有依赖信息不对称盈利的业务都将消失。改变大数据对政府、金融机构、企业来说，象空气一样不可或缺！一段小视频一段小视频51大数据技术促进国家和社会发展大数据技术促进国家和社会发展大数据蓝海成为企业竞争的新焦点大数据蓝海成为企业竞争的新焦点大数据时代呼唤创新型人才大数据时代呼唤创新型人才大数据技术的运用仍有困难大数据技术的运用仍有困难大数据给信息
28、安全带来新挑战大数据给信息安全带来新挑战5253机遇大数据技术促进国家和社会发展 大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。53 大数据所能带来的巨大商业价值，被认为将引领一场足以与20世纪计算机革命匹敌的巨大变革。大数据正在对每个领域都造成影响，包括商业、经济等领域。大数据正在促
29、生新的蓝海，催生新的经济增长点，正在成为企业竞争的新焦点。网民和消费者的界限正在变得模糊，无处不在的智能终端，随时在线的网络传输，互动频繁的社交网络让以往只是网页浏览者的网民的面孔从模糊变得清晰，企业第一次有机会进行大规模的精准化的消费者行为研究：作为保持着持续变革欲望的企业，主动地拥抱这种变化，从战略到战术层而开始自我的蜕变和进化将会让他们更加适应这个新的时代，大数据蓝海成为未来竞争的制高点。机遇大数据蓝海成为企业竞争的新焦点5455机遇大数据时代呼唤创新型人才 盖特纳咨询公司预测大数据将为全球带440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44
30、万-49万，缺口14万-19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才却是稀缺资源。55大数据带来的机遇与挑战第二章大数据大数据的机遇的机遇大数据大数据的挑战的挑战5657 今天，大数据似乎成了“灵丹妙药”，“包治百病”，无所不能。但千万别把“大数据”用做解决世界上所有问题的全能办法，无论是管理城市到消除贫困，制止恐怖袭击、疾病流行到拯救地球环境等，以为有了“大数据”，就没有解决不了的问题，这也是一种误解。人类的思想、个人的文化和行为模式、不同国家及社会的存在发展都非常复杂、曲折和独特，显然不能全部由计
31、算机来“数字自己说话”。无论到何时，其实都还是人在思考和“说话”。大数据的挑战大数据的技术挑战数据收集（去伪存真）数据存储（低成本、低能耗、高可靠性）数据处理（多源异构、参数多、动态及时性要求等）可视化呈现（大规模、非结构化数据）摘自工程院院士邬贺铨的报告大数据的挑战大数据的安全威胁大数据基础设施大数据存储安全数据访问安全隐私泄露持续攻击PRISMPRISM 面临的主要问题：1.未建立税源信息语义标准及数据采集规范。2.税源信息采集通道狭窄，缺乏有效的采集工具，无法保证采集质量。3.载体限于增值税发票。“金税工程”三期仍然未解决税源的基础数据交易数据采集问题。4.税源管理体系存在缺陷，不能将企
32、业交易与经营过程信息有机结合，税源信息分析亟需创新的系统支撑。5.“信息管税”能力和水平有待进一步提高和加强。税务管理的机会与挑战需要关注的问题：税源数据获取是一切工作的基础！新模式推广的方式转变如何由“抓管理”变化为“抓管理、重服务”？税务管理的机会与挑战解决问题的主要思路：1.建立新的数据标准与采集规范。2.扩大税源信息采集通道，积极采用新技术、新工具获取更多的数据3.以大数据思维和技术，提高涉税信息分析水平和利用能力更强大的数据分析处理能力4.推进财税物联网系统，提高税源信息管理能力系统能力建设税务管理未来展望大幅度提升税务管理涵盖面和服务效率：1.税源数据的完整性得到大幅度提升由“开票
33、数据”和“申报数据”拓展为“交易及交易过程数据”和“交易相关数据”2.税源信息分析处理方式的变革由 样本抽样数据分析 变革为 全数据（全样本）分析由 单纯统计归纳数据分析 变革为 多因素相关性动态分析（大数据分析）3.税源数据采集和处理的时效性得到大幅度提升采集：由 准实时数据、事后数据为主 提升为 以 实时数据为主处理：由 周期性和专项事务处理为主 提升为 以 敏捷服务响应为主、自助式服务为特色4.税务管理与服务模式提升由 固定周期和专项事务处理为主 提升为 以实时快速服务响应 和 动态管理为主由 侧重于结果分析与总结 提升为 过程与结果并重的管理与服务由 事后快速响应处理 提升为 事前准确
34、预测与风险防控大数据在各行业中的应用第三章64消费大数据65 亚马逊“预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单购物前，提前发出包裹。这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。所以，亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心或卡车里。亚马逊为了决定要运送哪些货物，亚马逊可能会参考之前的订单、商品搜索记录、愿望清单、购物车，甚至包括用户的
35、鼠标在某件商品上悬停的时间。大数据+政治66 奥巴马大选中，奥巴马背后的数据分析团队一直在收集、存储和分析选民数据。在大选中，奥巴马竞选阵营的高级助理们决定将参考这一团队所得出的数据分析结果来制定下一步的竞选方案。利用在竞选中可获得的选民行动、行为、支持偏向方面的大量数据。比如，在东海岸找到一位对女性群体具备相同号召力的名人，从而复制“克鲁尼效应”并为奥巴马筹集竞选资金。“Twitter的政治指数”提供了一个衡量社会化媒体平台的用户如何评价候选人的方式。奥巴马积极的情绪指数是59，而罗姆尼的只有53证监会大数据67 回顾“老鼠仓”的查处过程，在马乐一案中，“大数据”首次介入。深交所此前通过“大
36、数据”查出的可疑账户高达300个。实际上，早在2009年，上交所曾经有过利用“大数据”设置“捕鼠器”的设想。通过建立相关的模型，设定一定的指标预警，即相关指标达到某个预警点时监控系统会自动报警。而此次在马乐案中亮相的深交所的“大数据”监测系统，更是引起了广泛关注。深交所有几十人的监控室，设置了200多个指标用于监测估计，一旦出现股价偏离大盘走势，深交所利用大数据查探异动背后是哪些人或机构在参与。马乐，博时基金明星基金经理，在任期间先于、同期或稍晚于其管理的“博时精选”基金账户买入相同股票76只，累计成交金额高达10.5亿余元，从中非法获利1883万余元金融交易大数据68 量化交易，程序化交易，
37、高频交易是大数据应用比较多的领域。全球2/3的股票交易量是由高频交易所创造的，参与者总收益每年高达80亿美元。其中，大数据算法被用来作出交易决定。现在，大多数股权交易都是通过大数据算法进行，这些算法越来越多地开始考虑社交媒体网络和新闻网站的信息来在几秒内做出买入和卖出的决定。当一个产品可以在多个交易所交易时，会形成不同的定价，在这当中，谁能够最快地捕捉到同一个产品在不同交易所之间的显著价差，谁就能捕捉到瞬间套利机会，技术成为了重要因素。制造业大数据69 在摩托车生产厂商哈雷戴维森公司位于宾尼法尼亚州约克市新翻新的摩托车制造厂，软件不停的在记录着微小的制造数据，如喷漆室风扇的速度等等。当软件察觉
38、风扇速度、温度、湿度或其它变量脱离规定数值，它就会自动调节机械。哈雷戴维森同时还使用软件，还寻找制约公司每86秒完成一台摩托车制造工作的瓶颈。最近，这家公司的管理者通过研究数据，认为安装后挡泥板的时间过长。通过调整工厂配置，哈雷戴维森提高了安装该配件的速度。美国一些纺织及化工生产商，根据从不同的百货公司POS机上收集的产品销售速度信息，将原来的18周送货速度减少到3周，这对百货公司分销商来说，能以更快的速度拿到货物，减少仓储。对生产商来说，积攒的材料仓储也能减少很多。70谷歌基于每天来自全球的30多亿条搜索指令设立了一个系统，这个系统在2009 年甲流爆发之前就开始对美国各地区进行“流感预报”
39、，并推出了“谷歌流感趋势”服务。谷歌在这项服务的产品介绍中写道：搜索流感相关主题的人数与实际患有流感症状的人数之间存在着密切的关系。虽然并非每个搜索“流感”的人都患有流感，但谷歌发现了一些检索词条的组合并用特定的数学模型对其进行分析后发现，这些分析结果与传统流感监测系统监测结果的相关性高达97%。这也就表示，谷歌公司能做出与疾控部门同样准确的传染源位置判断，并且在时间上提前了一到两周。”医疗大数据能源大数据71国际大石油公司一直都非常重视数据管理。如雪佛龙公司将5万台桌面系统与1800个公司站点连接，消除炼油、销售与运输“下游系统”中的重复流程和系统，每年节省5000万美元，过去4年已获得了净
40、现值约为2亿美元的回报。准确预测太阳能和风能需要分析大量数据，包括风速、云层等气象数据。丹麦风轮机制造商维斯塔斯(Vestas Wind Systems)，通过在世界上最大的超级计算机上部署IBM大数据解决方案，得以通过分析包括PB量级气象报告潮汐相位、地理空间、卫星图像等结构化及非结构化的海量数据，优化风力涡轮机布局，有效提高风力涡轮机的性能，为客户提供精确和优化的风力涡轮机配置方案不但帮助客户降低每千瓦时的成本，并且提高了客户投资回报估计的准确度，同时它将业务用户请求的响应时间从几星期缩短到几小时。交通大数据72UPS最新的大数据来源是安装在公司4.6万多辆卡车上的远程通信传感器，这些传感
41、器能够传回车速、方向、刹车和动力性能等方面的数据。收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。大量的在线地图数据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。该系统为UPS减少了8500万英里的物流里程，由此节约了840万加仑的汽油。文化传媒大数据73与传统电视剧有别，纸牌屋是一部根据“大数据”制作的作品。制作方Netflix是美国最具影响力的影视网站之一，在美国本土有约2900万的订阅用户。N e t f l i x 成 功 之 处 在 于 其 强 大 的 推 荐 系 统Cinematch，该系统基于用户视频点播的基础数据如评分、播放、快进、时间、地
42、点、终端等，储存在数据库后通过数据分析，计算出用户可能喜爱的影片，并为他提供定制化的推荐。Netflix发布的数据显示，用户在Netflix上每天产生3000多万个行为，比如暂停、回放或者快进，同时，用户每天还会给出400万个评分，以及300万次搜索请求。Netflix遂决定用这些数据来制作一部电视剧，投资过亿美元制作出纸牌屋。Netflix发现，其用户中有很多人仍在点播1991年BBC经典老片纸牌屋，这些观众中许多人喜欢大卫芬奇，观众大多爱看奥斯卡得主凯文史派西的电影，由此Netflix邀请大卫芬奇为导演，凯文史派西为主演翻拍了纸牌屋这一政治题材剧。2013年2月纸牌屋上线后，用户数增加了3
43、00万，达到2920万。航空大数据74 Farecast 已经拥有惊人的约2000亿条飞行数据记录。用来推测当前网页上的机票价格是否合理。作为一种商品，同一架飞机上每个座位的价格本来不应该有差别。但实际上，价格却千差万别，其中缘由只有航空公司自己清楚。Farecast预测当前的机票价格在未来一段时间内会上涨还是下降。这个系统需要分析所有特定航线机票的销售价格并确定票价与提前购买天数的关系。Farecast 票价预测的准确度已经高达75，使用Farecast 票价预测工具购买机票的旅客，平均每张机票可节省50美元。消费者进入商业综合体区域，位置传感器就能够实时捕捉到其位置信息并进行比对识别通过Mall 或者联盟商家Apps 为消费者提供定制化的卖场相关服务信息和促销活动信息（由Mall主导的整体促销活动和消费频次最高的商铺）对消费者的位置进行精准定位，当到达目标热点区域或特定商铺时，提供即时的促销信息和消费提示在消费者付款时，根据消费者的个人偏好和消费习惯，即时推送场内其他商铺的服务信息提供给商家的整合营销数据服务以城市商业综合体为例：75税务大数据77
