数据可视化技术分析课件.pptx

1、数据可视化技术分析PPT智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案目录 01研究背景及意义 02数据可视化的主要方法03数据挖掘的可视化04大数据环境下数据可视化05数据可视化实现技术06问题与挑战智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案01研究背景及意义智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案课题背景及意义 世界已经迈入大数据时代,全世界每天产生 2.5EB的数据。由于呈指数增长的数据量，人类视觉系统不足以满足人类以数据本身的形式来工作的要求，因

2、此迫切需要提供可视化的工具。所谓数据可视化，是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，不再局限于通过关系数据表来观察和分析数据信息，而是以更直观的方法看到数据及其结构关系。数据可视化技术的基本思想是将每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据各个属性值以多维的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据可视化的定义实例：涉及到计算机图形学、图像处理、计算机视觉、计算机辅助设计等多个领域，成为研究数据表示、数据处

3、理、决策分析等一系列问题的综合技术广义：指一切能够把抽象、枯燥或难以理解的内容，包括看似毫无意义的数据、信息、知识等等以一种容易理解的视觉方式展示出来的技术；狭义：利用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术过程：是指将大型数据集中的数据以图形图像形式表示，并利用数据分析和开发工具发现其中未知信息的处理过程智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据可视化发展历程可视化思想的起源(15世纪17世纪)数据可视化的孕育时期(18世纪)数据图形的出现(19世纪前半叶)第一个黄金时期(19

4、世纪中、末期)低潮期(20世纪前期)新的黄金时期(20世纪中末期至今)数据可视化早期探索时期 没有实质性进展依附计算机技术的发展焕发新的生命数据可视化初步发展数据统计得到重视图形图表广泛应用智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据空间由n维属性和m个元素组成的数据集所构成的多维信息空间数据开发利用一定的算法和工具对数据进行定量的推演和计算数据分析指对多维数据进行切片、块、旋转等动作剖析数据，从而能多角度多侧面观察数据将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的

5、维度观察数据，从而对数据进行更深入的观察和分析。基本思想数据可视化的几个基本概念智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案一幅图胜过千言万语.人类从外界获得的信息约有 80%以上来自于视觉系统,当大数据以直观的可视化的图形形式展示在分析者面前时,分析者往往能够一眼洞悉数据背后隐藏的信息并转化知识以及智慧如图 所示是互联网星际图，将 196 个国家的 35 万个网站数据整合起来,并根据 200 多万个网站链接将这些星球通过关系链联系起来,每一个星球的大小根据其网站流量来决定,而星球之间的距离远近则根据链接出现的频率、强度和用户跳转时创建的链接.我们

6、可以立即看出,Facebook 以及 Google 是流量最大的的网站。研究背景及意义智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案02数据可视化的主要方法智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案空间三维图形01通过图形的密度颜色分布，大致能够了解数据的分布，数据之间的相似性和数据之间的关系颜色图02分为彩色图和灰度图。彩色图的每一种颜色，对应着不用的属性维，灰度图可以利用颜色的深浅来标记数据量的属性值的大小，颜色越深数值越大。数学的方法03利用数学中统计的方法，先对数据关系进行分析，得到数据的大体分

7、布信息，然后再结合其他可视化方法来进行细节数据分析。或者利用数学统计方法对数据中的关系进行映射，映射成为图形图像关系来帮助分析。亮度04对于特定的区域，用不同的亮度来辅助人眼对视点的观察。人类的认知系统可以识别空间三维物体，对于抽象的无线识别很困难。目前对于构成可视化的方法中主要的方法，有以下几个方面：智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Scatter plot 是显示多个数据维中任意两个数据维之间的依赖关系的矩阵图，分别把多维数据中的每一个维数对称地标注在横轴和纵轴上，把它们在数据集中每一对出现的频度作为关系依赖的评价，这样每两维的关系被

8、显示在这个平面网格图中(图 3)。在 Scatter plot 的 matrix n 维矩阵中，scatterplots 会产生 n*(n-1)/2 对维之间的关系。目前主要的多维数据可视化技术Scatterplot Matrix(散点图矩阵)智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案 1.星型图：每个星型标记的构造方法如下：任选空间的某一点作为一个星型标记的中心点，由中心点作出 n 条线段来代表 n 个数据维，这 n 个线段把平面平均分成 n 份。一般地，每一个线段长度代表一个数据维的值的大小。把一个星型标记线段的终点全部用直线连接起来，就构成

9、了一个星型图(图 4)。每一个星型图都代表数据库中一条记录，这样一组数据就用一组星型来代表。2.雷达图：类似于星型图的构造方法。3.Andrews Gurves：对于多维数据的数据点 x=(x1,x2,*,*,*,*,xn)，被周期函数 Fx(t)=X1/sqrt(2)+X2sin(t)+X3cot+X4Sin(2t)+cos(2t)作用于一个多维数据点或者（一个多维）数据集合，被显示成为一组曲线，曲线的分布情况反映了数据的性质。4.shapecoding 技术：主要思想是每一个数据点位于一个已经分解成 n 个细胞表格的长方形中，而且每一个细胞表格的颜色由每一维来控制。5.Grand-tour

10、 技术：从不同的视角看待多维数据，投影数据在可能的 d-planes 通过泛化的旋转。目前主要的多维数据可视化技术几何图技术智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案平行坐标技术是最早提出的以二维形式表示 n 维空间的数据可视化技术之一。它的基本思想是将 n 维数据空间用n 条等距离的平行轴映射到二维平面上，每条轴线都对应于一个属性维。坐标轴的取值范围，从对应数据维属性的最小值到最大值均匀分布（名词性属性依次在数据维上标出即可），这样数据库中的每一条数据记录都可以转换成为图形的形式，都可以用一条折线表示在 n 条平行轴上目前主要的多维数据可视化技

11、术平行坐标技术智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案03数据挖掘可视化智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据挖掘的可视化在数据挖掘算法所生成的大量的模式中，最终只有少量的信息能够以文字形式解释和评估。因而可视化技术作为服务于计算机与用户之间的沟通纽带，为用户提供关于数据和知识的直观信息。传统的数据挖掘过程不可见、不可观，用户无法干预挖掘过程，对用户来说好像一个黑箱子。使用适当的可视化技术，帮助用户更紧密地与整个过程结合，解决挖掘系统中的存在的一些问题。传统的数据挖掘过程如图1所示，是以机

12、器为中心的；而新的吸纳了可视化技术的数据挖掘过程是以人为中心的，如图2所示。以人为中心的数据挖掘过程，将数据挖掘与可视化技术完美结合，提高了数据挖掘过程的灵活性、有效性、与用户的交互性。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案数据可视化对于只有两个或三个属性的数据，可采用平面或立体的表现形式；多个属性的数据集，要用到离散点矩阵，矩阵的每一单元为数据基于某两维的表示。数据挖掘的过程的各个环节用可视化的方式表现出来，用户可从中直观的看到内容。易于理解并有助于知识的运用。展示，让模型输出可视化，模型用一种有意义的方式表示；交互，允许用户操纵模型，改变

13、模型输入以观察模型输出的变化。数据挖掘的可视化分类数据挖掘过程可视化数据挖掘模型可视化智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案如图3(a)所示作为观察”数据山“的第一步，应用于数据预处理阶段。以图形方式提供一个数据可视印象，给用户一个大体直观感受，帮助用户确定从何处着手挖掘。如图3(b)所示 作为直接执行数据挖掘的一种方法，应用于数据挖掘实施阶段，允许用户借助人脑的探索分析功能寻找发现模式。当人脑可以对显示的图形做出判断时，这种方式较使用计算机的自动数据挖掘技术有效的多。如图3(c)所示作为挖掘结果和预测模型的一种方式，应用于数据挖掘的最后阶段

14、，使最终用户能够更好地理解挖掘出的结果模式。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案04大数据环境下的数据可视化智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案公司财务报表、销售统计经济趋向、股票趋势数据挖掘电子地图核磁共振、CT扫描地质勘探、油气勘探天气预报人口普查等等大数据可视化的广泛应用智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据可视化分析是指大数据自动分析

15、挖掘方法的同时，利用支持信息可视化的用户界面以及支持分析过程的人机交互方式与技术，有效融合计算机的计算能力和人的认知能力，以获得对于大规模复杂数据集的洞察力。大数据可视化分析智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据可视化分析我们熟悉的那些饼图、直方图、散点图、柱状图等。现代的数据可视化：面对复杂或大规模异型数据集，比如商业分析、财务报表、人口状况分布、媒体效果反馈、用户行为数据等，数据可视化面临处理的状况会复杂得多。传统的数据可视化：智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案上图是经典的信息

16、可视化参考模型大数据分析将掘取信息和洞悉知识作为目标，根据信息的特征把信息可视化技术分为一维信息、二维信息、三维信息、多维信息、层次信息、网络信息、时序信息可视化。随着大数据的兴起于发展，互联网、社交网络、地理信息系统、企业商业智能、社会公共服务等主流应用领域逐渐催生了几类特征鲜明的信息类型，包括文本、网络或图、时空、多维数据等，这些与大数据密切相关的信息类型，将成为大数据可视化的主要研究领域。大数据可视化分析智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案大数据可视化分析方法4.可视化分析算法用户驱动的数据简化、可扩展性与多级层次、异构数据融合、交互

17、查询中的数据概要与分流、表示证据和不确定性、时变特征分析、设计与工程开发等。5.用户界面与交互设计大数据的可视化算法不仅要考虑数据规模，而且要考虑视觉感知的高效法，需要引人创新的视觉表现方法和用户交互手段。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案以社交媒体数据为例 新兴网络媒体，集以下特性于一身：文本（博客）社交网络新闻媒体基于用户关系的信息分享、传播、获取平台微博数据研究：数据分析领域热点话题显式内容文本：个人心情；文章；新闻报道等图像、视频隐性内容人际关系舆情突发事件信息产生、传播和消亡可以通过这些社交数据得到些什么呢？智慧小区云服务平台整

18、体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Twitter热词的Wordle智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案统计图表2011年Twitter上关于拉登死讯消息的消息数目的折线图。可以看出每个微博事件对消息传播的影响。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案使用Twitter发微博（蓝色点）和使用Flickr发照片（橙色点）的美国用户的地理分布。白色点表示两者均使用的用户。可以看出，西部人偏爱发照片，东部人偏爱发微博，白色 点大部分是人口密集的大城市。通过社交媒体

19、的数据获取的数据还有很多很多.智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案05数据可视化实现技术智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案基本工具（拖拽式）进阶工具（编程式）介绍几款数据可视化实现技术GeoFlow数据源：Excel数据http:/ projectR项目https:/www.r-project.org/智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Moojnn实例智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整

20、体解决方案GeoFlow实例 微软2013年发布的3D可视化工具运行平台：加载项形式运行在Excel上版本：支持版本 Excel 2013或 Office Professional Plus 2013功能：用户创建、浏览应用到数字地图上的时间敏感型数据并与之交互，最多数据条：100万可视化类型：立柱型、类似热图的二维斑块、气泡图智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案 OpenStreetMap智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案Google Chart API工具集中取消了静态图片功能，目

21、前只提供动态图表工具。能够在所有支持SVGCanvas和VML的浏览器中使用，但是Google Chart的一个大问题是：图表在客户端生成，这意味着那些不支持JavaScript的设备将无法使用，此外也无法离线使用或者将结果另存其他格式，之前的静态图片就不存在这个问题。尽管存在上述问题，不可否认的是Google Chart API的功能异常丰富，如果没有特别的定制化需要，或者对Google视觉风格的抵触，那么你大可以从Google Chart开始。Google Chart APIZingChart是一个强大的库，为用户提供了快速创造漂亮的图表、操作面板和信息图表的可能性。你可以在上百种图表类型

22、中自由选择，你的设计和个性化要求不会受到任何限制。你也可以使你的用户通过交互式图表特性参与到你的作品之中。ZingChart智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案作为用来分析大数据集的统计组件包，是一个非常复杂的工具，需要较长的学习实践，学习曲线也是本文所介绍工具中最陡峭的。但是拥有强大的社区和组件库，而且还在不断成长。当你能驾驭的时候，一切付出都是物有所值的。Leaflet是为移动端友好型交互地图所做的开源JavaScript库，其中包含了大部分在线地图开发人员都需要的所有特征。Leaflet被设计为简单易用、性能优良的工具。归功于HTML

23、5和CSS3，它得以支持所有主流电脑和移动平台。如果你还想扩展这个app，有大量可供选择的插件能安装Leaflet智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案06问题与挑战智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案1问题与挑战数据集成与接口的问题大数据可视化所依赖的基础是数据，而大数据时代数据的来源众多。且对来自于异构环境，即使获得数据源，得到的数据的完整性、一致性、准确性都难以保证。数据质量的不确定问题将直接影响可视化分析的科学性和准确性，大数据可视化的前提是建立在集成的数据接口，并且与可视化分析系

24、统形成松耦合的接口关系，以供各种可视化算法方便的调用，使得可视化分析系统的研发者和使用者不需要关系数据接口背后的复杂机理。智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案2数据量的无限积累与数据的持续演化，导致普通计算机的处理能力难以达到理想的范围，同时主流显示设备的像素数也难以跟上大数据增长的脚步，造成像素的总和还不如要可视化的数据多而且，大量在较小的数据规模下可行的可视化技术在面临极端大规模数据时讲无能为力。数据可视化分析系统应该具有较好的可扩展性，即感知扩展性和交互扩展性只取决于可视化的精度而不是依赖数据规模的大小，以支持实时的可视化与交互操作。

25、因此，未来如何面对超高维数据的降维以降低数据规模，如何结合大规模并行处理方法与超级计算机，如何将目前有价值的可视化算法和人机交互技术提升和拓展到大数据领域，将是未来严峻的挑战。问题与挑战可扩展性问题智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案智慧小区云服务平台整体解决方案1问题与挑战可视化与数据挖掘技术之间的松散关系问题目前，可视化技术运用于数据玩具，一般是作为表达工具，解决负责结构的数据和显示分析结构，而分析方法本身并不包括可视化。现有的项目插入策略，知识简单 将分析过程和图形可视化交错在一起，这突出了两者的欠缺和限制。一个更强的可视化数据挖掘策略依赖于将可视化与分析过程紧密结合起来形成一个统一强大的可视化数据挖掘工具。目前，使人类可视地参与到分析过程中以实现决策支持依然是一个主要的挑战：以基于可视化的人类决策代替一个分析过程的某以数据步骤;当决策不再能够自动生成时，以可视化支持人类来及处理决策。