1、互联网大数据BIG DATA ERA科技创新为体验而生大随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。BIG DATA据数大数据是什么？大数据的特征和结构大数据时代的机遇和挑战大数据的趋势大数据的应用和案例大数据是什么Whats The Big DataBIG DATA指无法在一定时间范
2、围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据（BIG DATA）对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。决策力洞察发现力流程优化能力何谓大？（数据度量）1Byte= 8 Bit1 KB= 1,024 Bytes = 8192 bit1 MB= 1,024 KB = 1,048,576 Bytes1 GB= 1,024 MB = 1,048,5
3、76 KB1 TB= 1,024 GB = 1,048,576 MB1 PB= 1,024 TB = 1,048,576 GB1 EB = 1,024 PB = 1,048,576 TB1 ZB= 1,024 EB = 1,048,576 PB1 YB= 1,024 ZB = 1,048,576 EB1 BB= 1,024 YB = 1,048,576 ZB1 NB= 1,024 BB = 1,048,576 YB1 DB= 1,024 NB = 1,048,576 BB1PB相当于50%的全美学术研究图书馆藏书信息内容1PB到底有多大？5EB相当于至今全世界人类所讲过的话语5EB1YB相当于
4、7000位人类体内的微细胞总和1YB1ZB如同全世界海滩上的沙子数量总和1ZB大数据带来的变革123更多不是随机样本而是全部数据更好不是因果关系而是相关关系更杂不是精确性而是混杂性特征和结构Features And Structures大数据带来的变革010203040506v 容量（Volume）数据的大小决定所考虑的数据的价值和潜在的信息v 种类（Variety）数据类型的多样性v 速度（Velocity）指获得数据的速度v 真实性（Veracity）数据的质量v 复杂性（Complexity）数据量巨大，来源多渠道v 价值（value）合理运用大数据，以低成本创造高价值大数据的特征和结构
5、大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。结构化半结构化非结构化020103理论（THEORY）实践（UTILIZATION）技术（TECHNOLOGY）大数据的三个层面特征定义价值探讨现在未来大数据隐私云计算分布式处理平台存储技
6、术感知技术互联网的大数据政府的大数据企业的大数据个人的大数据大数据分析能力逐渐加强，传统市场研究行业、证券研究所、产业链咨询机构将逐渐消失。因大数据系统的出现，所有依赖信息不对称盈利的业务都将消失。各级政府、主管部门、上市公司、企业集团、外资公司都将基于大数据分析平台优化其决策。银行都将基于企业大数据平台开展银行直销业务，同时按照产业链金融服务事业部模式开展业务优化颠覆革命改变大数据改变生活机遇和挑战Opportunities And Challenges机遇挑战大数据技术促进国家和社会发展大数据蓝海成为企业竞争的新焦点大数据时代呼唤创新型人才大数据技术的运用仍有困难大数据给信息安全带来新挑战
7、大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，实现科学发展做出科学决策健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。机遇机遇2 2：大数据蓝海成为企业竞争的新焦点：大数据蓝海成为企业竞争的新焦点大数据所能带来的巨大商业价值，被认为将引领一场足以与20世纪计算机革命匹敌的巨大变革。大数据正在对每个领域都造成影响，包括商业、经济等领域
8、。大数据正在促生新的蓝海，催生新的经济增长点，正在成为企业竞争的新焦点。创新型人才盖特纳咨询公司预测大数据将为全球带440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万49万，缺口14万19万人创新型人才需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国 是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。机遇机遇3 3：大数据时代呼唤创新型人才：大数据时代呼唤创新型人才挑战挑战1 1：大数据技术的运用仍有困难：大数据技术的运用仍有困难要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收
9、集异源甚至是异构的数据，还可与历史数据对照，多角度验证数据的全面性和可信性。数据收集数据存储要达到低成本、低能耗、高可靠性目标，要用到冗余配置、分布化和云计算技术，存储时对数据进行分类，通过过滤和去重，减少存储量，并加入便于检索的标签。数据处理大数据的复杂性使得难以用传统的方法描述与度量，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态及可能模棱两可的数据中综合信息，并导出可理解的内容。可视化呈现使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难
10、以通用。加大隐私泄露风险大量数据的集中存储增加了其泄露的风险；一些敏感数据的所有权和使用权并没有清晰界定。被运用到攻击手段中黑客可收集更多有用信息，大数据分析让攻击更精准；大数据为黑客发起攻击提供了更多的机会对现有存储和安防措施提出挑战复杂的数据存储在一起，可能造成企业安全管理不合规；安全防护手段更新升级慢，存在漏洞挑战挑战2 2：大数据给信息安全带来新挑战：大数据给信息安全带来新挑战“棱镜门”引爆大数据时代争议事情的起因是美国中情局前职员斯诺登向媒体爆料，过去事情的起因是美国中情局前职员斯诺登向媒体爆料，过去6 6年间，美国的情年间，美国的情报部门通过一个代号为报部门通过一个代号为“棱镜棱镜
11、”的项目，从多家知名互联网公司获取电子邮的项目，从多家知名互联网公司获取电子邮件、在线聊天内容、照片、文档、视频等网络私人数据，跟踪用户一举一动。件、在线聊天内容、照片、文档、视频等网络私人数据，跟踪用户一举一动。他说，自己只需要坐在办公桌前，动动指头，敲敲键盘，就能了解很多人的他说，自己只需要坐在办公桌前，动动指头，敲敲键盘，就能了解很多人的私密信息。私密信息。斯诺登的爆料引起一片哗然，根据他提供的资料，被卷入斯诺登的爆料引起一片哗然，根据他提供的资料，被卷入“棱镜门棱镜门”事件的事件的公司包括微软、雅虎、谷歌、苹果、公司包括微软、雅虎、谷歌、苹果、FacebookFacebook等等9 9
12、大大ITIT业巨头。在业巨头。在“棱镜门棱镜门”事件开始发酵之后，这些公司先是赶紧出面否认与美国政府的监视项目进行事件开始发酵之后，这些公司先是赶紧出面否认与美国政府的监视项目进行过合作，并相继发表声明，呼吁政府采取更透明态度，以证明他们的过合作，并相继发表声明，呼吁政府采取更透明态度，以证明他们的“清清白白”。大数据的趋势Trend Of Large Data借助大数据尖端分析加速发展如果正确的数据出现在合适的时间，您的业务将有望获得什么机会？如何更有效率地运营您的业务？通过数据分析获得变革的潜力与直观理解影响着医疗、银行、交通运输、制造等各行各业。对于许多早期的使用者，当他们从传统商业智能
13、 (BI) 的实践发展到可靠直观理解的更高级分析（预测性和规范性）时，数据改变了他们的业务，无论是通过新的发现、更尖端的产品和服务或总体更好的客户体验。趋势一数据的资源化：是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。趋势二趋势三与云计算的深度结合：大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。科学理论的突破：随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命
14、。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。趋势四趋势五趋势六数据管理成为核心竞争力：数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。数据科学和数据联盟的成立：未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。数据泄露泛滥：未来几年数据泄露事件的增长率也许会达到100%，除非数据
15、在其源头就能够得到安全保障。可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。应用和案例Application And Case应用领域BIG DATA教育学情报学公共服务天文学电子政务传媒业生物医学商业智能图书馆学金融学总统选举气候学企业管理市场营销生活娱乐商品零售大数据 此事经被纽约时报报道后，塔吉特“大数据”的巨大威力轰动全美 在美国，有一位父亲怒气冲冲地跑到塔吉特卖场，质问为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿? 然而后来证实，他的女儿果真怀孕了。这名女孩搜寻商品的关键词，以及在社交网站所显露的行为轨迹，使沃尔玛捕捉到了她的怀孕信
16、息。 模型发现，许多孕妇在第2个妊娠期的开始会买许多大包装的无香味护手霜；在怀孕的最初20周大量购买补充钙、镁、锌的善存片之类的保健品。 最后塔吉特选出了25种典型商品的消费数据构建了“怀孕预测指数”，通过这个指数，Target能够在很小的误差范围内预测到顾客的怀孕情况，因此Target就能早早地把孕妇优惠广告寄发给顾客。亚马逊可能会根据之前的订单和其他因素，预测用户的购物习惯，从而在他们实际下单前便将包裹发出。根据该专利文件，虽然包裹会提前从亚马逊发出，但在用户正式下单前，这些包裹仍会暂存在快递公司的转运中心或卡车里。亚马逊 “预测式发货”的新专利，可以通过对用户数据的分析，在他们还没有下单
17、购物前，提前发出包裹。这项技术可以缩短发货时间，从而降低消费者前往实体店的冲动。从下单到收货之间的时间延迟可能会降低人们的购物意愿，导致他们放弃网上购物。远程通讯传感器UPS最新的大数据来源是安装在公司4.6万多辆卡车上的远程通信传感器，这些传感器能够传回车速、方向、刹车和动力性能等方面的数据。收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。在线地图数据和优化算法大量的在线地图数据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。该系统为UPS减少了8500万英里的物流里程，由此节约了840万加仑的汽油。金融大数据v 阿里“水文模型”是按小微企业类目、级别等分别统计一个阿里系商户的相关“水文数据”库。v 如过往每到某个时点，该店铺销售会进入旺季，销售额就会增长，同时每在这个时段，该客户对外投放的额度就会上升，结合这些水文数据，系统可以判断出该店铺的融资需求；结合该店铺以往资金支用数据及同类店铺资金支用数据，可以判断出该店铺的资金需求额度。$感谢观看科技创新为体验而生
