1、第9章 云计算与大数据 9.1 概述 9.1.1大数据的概念 9.1.2大数据发展概况 9.1.3大数据发展趋势 9.1.4云计算与大数据的关系 9.2大数据的应用 9.2.1大数据产业链 9.2.2大数据核心技术 9.2.3 大数据应用领域9.1 概述 大数据的概念什么是大数据？1.大数据是一个体量和数据类别特别大的数据集，无法用传统数据库工具对其内容进行抓取、管理和处理。2.大数据本质上和传统的数据本无差异，他们大多是结构化、半结构化或者非结构化的数据。只是因为他们的数量级增长太快，我们需要用全新的方式来计算这些数据。9.1 概述 大数据的概念大数据的概念大数据具有4V特点：1.规模大(v
2、olumes)，这种规模可以从两个维度来衡量，一是从时间序列累积大量的数据，二是在深度上更加细化的数据。2.多样化(variety)，可以是不同的数据格式，如文字、图片、视频等，可以是不同的数据类别，如人口数据，经济数据等，还可以有不同的数据来源，如互联网、传感器等。3.动态化(Velocity）。数据是不停地变化的，可以随着时间快速增加大量数据，也可以是在空间上不断移动变化的数据。4.真实性(Veracity）。也就是价值密度低，因为大数据本身也具有一些问题，比如高噪声，缺失值等问题，因此需要更加精细化地分析处理，才能取得更好的效果。9.1 概述 大数据发展概况1.在全球七大重点领域内（包括
3、教育、交通、消费、电力、能源、大健康以及金融），大数据的应用价值预计在32200-53900亿美元之间。2.我国大数据仍处于起步发展阶段，各地发展大数据积极性较高，行业应用得到快速推广，市场规模增速明显。3.面临挑战：59%的数据是无效数据，70%-85%的数据过于复杂，85%的企业数据架构无法适应数据量和复杂性增长的需求，98%的企业无法及时、准确地为业务提供正确的信息。9.1 概述 大数据发展趋势1.机器学习算法越来越重要2.在分析领域内存计算应用更普遍3.Hadoop的应用领域将更加广泛4.预测分析业务激增，精准地预测未来可能放生的行为和事件5.数据可视化技术方便数据检索与处理6.物联网
4、、云技术、大数据和网络安全深层融合7.边缘计算技术兴起9.1 概述 云计算与大数据的关系1.二者关系：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。大数据着眼于数据，云计算着眼于计算，数据是计算的对象。2.大数据的总体架构包括三层：数据存储，数据处理和数据分析。分布式数据挖掘分布式处理分布式数据库云存储云存储虚拟化虚拟化如：Mahout如：MapReduce,JobKeeper如：HBase，数据立方如：HDFS，cStor如：VMare，OpenStackSaaSPaaSIaaS9.2 大数据的应用1.精准化定制：主要是针对供需两方的，获取需方的个性化需求，帮助供方定准定位目标，然
5、后依据需求提供产品，最终实现供需双方的最佳匹配。智能化的搜索引擎、精准营销、选址定位等。大概可以分为三类:a.个性化产品，比如智能化的搜索引擎，搜索同样的内容，每个人的结果都不同。或者是一些定制化的新闻服务，或者是网游等。b.精准营销，现在已经比较常见的互联网营销，百度的推广，淘宝的网页推广等，或者是基于地理位置的信息推送，当人到达某个地方，会自动推送周边的消费设施等。c.选址定位，包括零售店面的选址，或者是公共基础设施的选址。大数据的应用可以概括为两个方向，一是精准化定制，二是预测。9.2 大数据的应用2.预测：主要是围绕目标对象，基于它过去、未来的一些相关因素和数据分析，从而提前做出预警，
6、或者是实时动态的优化。从具体的应用上，也大概可以分为三类：a.决策支持类，小到企业的运营决策，证券投资决策，医疗行业的临床诊疗支持，以及电子政务等。b.风险预警类，比如疫情预测，日常健康管理的疾病预测，设备设施的运营维护，公共安全，以及金融业的信用风险管理等。c.实时优化类，比如智能线路规划，实时定价等。9.2 大数据的应用 大数据产业链大数据产业链主要包括数据采集、数据存储、数据处理和数据应用等环节。以数据产品为中心的纵向结构与以大数据技术为中心的横向结构结成一个T型价值链结构9.2 大数据的应用 大数据核心技术大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分
7、析及挖掘、大数据展现和应用。数据应用门户报表系统自助取款绩效考核专题分析监控预警数据挖掘实时API工作流引擎非结构转换搜索引擎推荐引擎Oracle/MySql/DB2.Oracle/MySql/DB2.文件服务HBase/HDFSHBase/HDFS数据集模型PDMOcacle/DB2.Ocacle/DB2.传统数据库分布式计算Hadoop/HIve/SparHadoop/HIve/SparkSQLkSQL实时流计算Storm/Spark Storm/Spark StreamingStreaming临时数据层数据集市ETL工具日志采集网络爬虫FTP/HTTPScript业务数据库业务数据库终端
8、设备日志终端设备日志网站日志网站日志网络数据网络数据其他数据其他数据运行状态及任务调度数据质量及系统监控元数据及数据管理权限及安全管理系统管理系统管理9.2 大数据的应用 大数据核心技术1.大数据采集技术：数据库采集、网络数据采集、文件采集；2大数据预处理技术：数据清理、数据集成、数据归约、数据转换；3.大数据存储及管理技术：MPP架构的新型数据库集群、基于Hadoop的技术扩展和封装、大数据一体机；4.大数据展现与应用技术：大数据检索、可视化、应用、安全等。9.2 大数据的应用 大数据核心技术5.大数据分析及挖掘技术数据挖掘概念：就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中
9、，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。大大数数据据分分析析的的五五个个基基本本方方面面大数据分析的理论核心就是数据挖掘算法，各种算法基于不同的数据类型和格式能更加科学地呈现出数据本身的特点。可视化分析能够直观的呈现大数据特点，同时容易被读者接收和理解，简单明了。大数据分析离不开数据质量和数据管理，他们保证了分析结果的真实性和价值性。大数据分析的重要领域之一就是预测分析，从大数据中挖掘出特点，建立模型，从而进行预测。大数据分析广泛应用于网络数据挖掘，如：用户搜索关键词或者其他输入语义分析，从而判断用户需求，提高用户体验和广告匹配。可视化分析数据挖掘预测分析语义引擎数据质量和数据管理9.2 大数据的应用 大数据应用领域1.金融行业大数据场景应用2.地产行业大数据场景应用3.零售行业大数据场景应用4.医疗行业大数据场景应用5.移动互联网广告6.农业大数据场景应用7.物流行业8.智慧城市管理本章结束谢谢观看
