1、物联网概论（第2版）-韩毅刚第第10章章 物联网的数据处理物联网的数据处理&10.1 10.1 数据中心数据中心&10.2 10.2 大数据与物联网大数据与物联网&10.3 10.3 数据库系统数据库系统&10.4 10.4 数据挖掘数据挖掘&10.5 10.5 搜索引擎搜索引擎物联网概论（第2版）-韩毅刚第第10章章 物联网的数据处理物联网的数据处理-续续&10.6 10.6 海量数据存储海量数据存储&10.7 10.7 云计算云计算&10.8 10.8 普适计算普适计算&10.9 10.9 数据呈现数据呈现物联网概论（第2版）-韩毅刚10.1 数据中心数据中心&10.1.1 10.1.1
2、数据中心的组成数据中心的组成&10.1.2 10.1.2 数据中心的分类与分级数据中心的分类与分级&10.1.3 10.1.3 数据中心的建设数据中心的建设物联网概论-韩毅刚数据数据中心中心的定义的定义 可以实现信息的集中处理、存储、传输、交换和可以实现信息的集中处理、存储、传输、交换和管理等功能的基础设施管理等功能的基础设施计算机设备服务器网络设备通信设备存储设备物联网概论-韩毅刚4物联网概论-韩毅刚数据中心外部数据中心外部 Google物联网概论-韩毅刚5物联网概论-韩毅刚IDCIDC物联网概论-韩毅刚6物联网概论-韩毅刚数据中心内部数据中心内部物联网概论-韩毅刚7物联网概论-韩毅刚数据中
3、心内部数据中心内部物联网概论-韩毅刚8物联网概论-韩毅刚10.1.1 10.1.1 数据中心的数据中心的组成组成物联网概论-韩毅刚9 物理组成物理组成 逻辑组成逻辑组成物联网概论-韩毅刚数据中心物理组成数据中心物理组成 计算机设备计算机设备 服务器服务器 网络设备网络设备 通信设备通信设备 存储设备存储设备物联网概论-韩毅刚10物联网概论-韩毅刚数据中心逻辑组成数据中心逻辑组成 支撑系统支撑系统 计算设备计算设备 业务信息系统业务信息系统物联网概论-韩毅刚11物联网概论-韩毅刚数据中心的逻辑组成示意图数据中心的逻辑组成示意图物联网概论-韩毅刚12物联网概论-韩毅刚10.1.2 10.1.2 数
4、据中心的分类与数据中心的分类与分级分级 分类分类EDCIDC 分级分级国标GB50174-92物联网概论-韩毅刚13物联网概论-韩毅刚数据中心分类数据中心分类 EDC企业数据中心 IDC互联网数据中心物联网概论-韩毅刚14物联网概论-韩毅刚分级分级 国标国标GB50174-92A（容错型）B（冗余型）C（基本型）国际国际TIA-942标准TierTierTierTier物联网概论-韩毅刚15物联网概论-韩毅刚10.1.3 10.1.3 数据中心的数据中心的建设建设 建筑建筑 装修装修 设备安装设备安装物联网概论-韩毅刚16物联网概论-韩毅刚数据中心部分机柜数据中心部分机柜物联网概论-韩毅刚17
5、物联网概论-韩毅刚数据中心部分通信设备机柜数据中心部分通信设备机柜物联网概论-韩毅刚18物联网概论-韩毅刚走线架走线架物联网概论-韩毅刚19物联网概论-韩毅刚数据中心的电源组数据中心的电源组物联网概论-韩毅刚20物联网概论-韩毅刚UPCUPC供电系统供电系统物联网概论-韩毅刚21物联网概论-韩毅刚发电机供电发电机供电物联网概论-韩毅刚22物联网概论-韩毅刚空调系统空调系统物联网概论-韩毅刚23物联网概论-韩毅刚监控系统监控系统 单个机房单个机房物联网概论-韩毅刚24计算机网络 TCP/IP TCP/IPAgent软件或Client软件机房环境 TCP/IPWeb软件 TCP/IP网络设备嵌入式
6、系统物联网概论-韩毅刚消防系统消防系统 原理原理物联网概论-韩毅刚25物联网概论-韩毅刚防雷接地系统防雷接地系统物联网概论-韩毅刚26物联网概论（第2版）-韩毅刚10.2 大数据与物联网大数据与物联网&10.2.1 10.2.1 大数据的概念大数据的概念&10.2.2 10.2.2 物联网与大数据的关系物联网与大数据的关系&10.2.3 10.2.3 物联网大数据的特点物联网大数据的特点&10.2.4 10.2.4 大数据的分析与处理大数据的分析与处理27物联网概论-韩毅刚物联网概论-韩毅刚10.2.1 10.2.1 大数据的大数据的概念概念 4 4个个“V V”Volume（大量）Varie
7、ty（多样）Value（价值）Velocity（高速），物联网概论-韩毅刚28物联网概论-韩毅刚10.2.2 10.2.2 物联网与大数据的物联网与大数据的关系关系 物联网催生了大物联网催生了大数据数据 大数据丰富了物联网应用大数据丰富了物联网应用物联网概论-韩毅刚29物联网概论-韩毅刚10.2.3 10.2.3 物联网大数据的物联网大数据的特点特点 1 1）数据量更）数据量更大大 2 2）数据速率更）数据速率更高高 3 3）数据更加）数据更加多样化多样化 4 4）物联网对数据真实性的要求更）物联网对数据真实性的要求更高高物联网概论-韩毅刚30物联网概论-韩毅刚10.2.4 10.2.4 大数
8、据的分析与大数据的分析与处理处理 1 1）批量）批量数据处理系统数据处理系统 2 2）流式）流式数据处理系统数据处理系统 3 3）交互式）交互式数据处理系统数据处理系统 4 4）图数据处理系统）图数据处理系统物联网概论-韩毅刚31物联网概论（第2版）-韩毅刚10.3 数据库系统数据库系统&10.3.1 10.3.1 数据库的类型数据库的类型&10.3.2 10.3.2 数据库的操作数据库的操作&10.3.3 10.3.3 数据库与物联网数据库与物联网32物联网概论-韩毅刚物联网概论-韩毅刚10.3.1 10.3.1 数据库的数据库的类型类型物联网概论-韩毅刚33 关系数据库关系数据库 层次数据
9、库层次数据库 网状数据库网状数据库物联网概论-韩毅刚新型数据库新型数据库 演绎数据库演绎数据库 面向对象数据库面向对象数据库 分布式数据库分布式数据库 分布式实时数据库分布式实时数据库 工程数据库工程数据库 时态数据库时态数据库 模糊数据库模糊数据库物联网概论-韩毅刚34物联网概论-韩毅刚10.3.2 10.3.2 数据库的数据库的操作操作 DBMSDBMS SQLSQL物联网概论-韩毅刚35物联网概论-韩毅刚DBMSDBMS 桌面数据库桌面数据库AccessFoxProdBase 客户客户/服务器数据库服务器数据库SQL ServerOracleSybase物联网概论-韩毅刚36物联网概论-
10、韩毅刚SQLSQL 查询查询 更新更新 添加添加 删除删除物联网概论-韩毅刚37物联网概论-韩毅刚10.3.3 10.3.3 数据库与物数据库与物联网联网 非关系数据库非关系数据库系统系统 物联网数据库特征物联网数据库特征物联网概论-韩毅刚38物联网概论-韩毅刚非关系数据库系统非关系数据库系统 非非SQL亚马逊的Dynamo脸谱的Cassandra阿帕奇的HBase物联网概论-韩毅刚39物联网概论-韩毅刚物联网数据库物联网数据库特征特征 数据量大数据量大 数据异构性强数据异构性强 数据关联性复杂数据关联性复杂 分布式存储分布式存储 数据实时性数据实时性物联网概论-韩毅刚40物联网概论-韩毅刚物
11、联网数据库举例物联网数据库举例 分布式实时数据库分布式实时数据库 主动数据库主动数据库物联网概论-韩毅刚41物联网概论（第2版）-韩毅刚10.4 数据挖掘数据挖掘&10.4.1 10.4.1 数据挖掘的过程数据挖掘的过程&10.4.2 10.4.2 数据挖掘的方法数据挖掘的方法&10.4.3 10.4.3 物联网中的数据挖掘物联网中的数据挖掘42物联网概论-韩毅刚物联网概论-韩毅刚10.4.1 10.4.1 数据挖掘的数据挖掘的过程过程物联网概论-韩毅刚43 1.1.数据处理数据处理 2.2.数据数据挖掘挖掘 3.3.知识评估与表示知识评估与表示物联网概论-韩毅刚1.1.数据处理数据处理 1）
12、数据准备）数据准备 2）数据选取）数据选取 3）数据预处理）数据预处理 4）数据变换）数据变换物联网概论-韩毅刚44物联网概论-韩毅刚2.2.数据数据挖掘挖掘 1）选择算法）选择算法 2）数据挖掘。）数据挖掘。物联网概论-韩毅刚45物联网概论-韩毅刚3.3.知识评估与知识评估与表示表示 模式选择模式选择 知识评估知识评估 结果可视化结果可视化物联网概论-韩毅刚46物联网概论-韩毅刚10.4.2 10.4.2 数据挖掘的数据挖掘的方法方法 集合论方法集合论方法 信息论方法信息论方法 仿生学方法仿生学方法 其他方法其他方法物联网概论-韩毅刚47物联网概论-韩毅刚数据数据挖掘挖掘的具体方法的具体方法
13、 1）统计分析方法）统计分析方法 2）决策树）决策树 3）神经网络）神经网络 4）遗传算法）遗传算法 5）粗糙集）粗糙集 6）联机分析处理技术）联机分析处理技术物联网概论-韩毅刚48物联网概论-韩毅刚10.4.3 10.4.3 物联网中的数据物联网中的数据挖掘挖掘 1.1.异构数据的异构数据的处理处理 2.2.分布式数据挖掘分布式数据挖掘物联网概论-韩毅刚49物联网概论-韩毅刚1.1.异构数据的异构数据的处理处理 结构化数据结构化数据 半结构化半结构化数据数据 非结构化数据非结构化数据物联网概论-韩毅刚50物联网概论-韩毅刚2.2.分布式数据分布式数据挖掘挖掘 集中式集中式 局部式局部式物联网
14、概论-韩毅刚51物联网概论（第2版）-韩毅刚10.5 搜索引擎搜索引擎&10.5.1 10.5.1 搜索引擎的分类搜索引擎的分类&10.5.2 10.5.2 搜索引擎的组成和工作原理搜索引擎的组成和工作原理&10.5.3 10.5.3 面向物联网的搜索引擎面向物联网的搜索引擎52物联网概论-韩毅刚物联网概论-韩毅刚10.5.1 10.5.1 搜索引擎的搜索引擎的分类分类物联网概论-韩毅刚53 全文全文搜索引擎搜索引擎 目录目录索引类索引类搜索引擎搜索引擎 元元搜索引擎搜索引擎物联网概论-韩毅刚10.5.2 10.5.2 搜索引擎的组成和工作搜索引擎的组成和工作原理原理 工作过程工作过程 组成组
15、成 工作原理工作原理物联网概论-韩毅刚54物联网概论-韩毅刚搜索引擎工作过程搜索引擎工作过程 搜索信息搜索信息 整理信息，建立索引整理信息，建立索引 结果排序结果排序物联网概论-韩毅刚55物联网概论-韩毅刚搜索引擎系统结构搜索引擎系统结构物联网概论-韩毅刚56物联网概论-韩毅刚搜索引擎的组成搜索引擎的组成 1.搜索器搜索器 2.索引器索引器 3.检索器检索器 4.用户接口用户接口物联网概论-韩毅刚57物联网概论-韩毅刚10.5.3 10.5.3 面向物联网的面向物联网的搜索引擎搜索引擎 数据特征数据特征 搜索引擎特征搜索引擎特征物联网概论-韩毅刚58物联网概论-韩毅刚搜索引擎特征搜索引擎特征
16、1）搜索内容的时空性强）搜索内容的时空性强 2）实体搜索）实体搜索 3）查询输入方式多样）查询输入方式多样 4）安全和隐私问题）安全和隐私问题 5）多媒体搜索）多媒体搜索物联网概论-韩毅刚59物联网概论（第2版）-韩毅刚10.6 海量数据存储海量数据存储&10.6.1 10.6.1 磁盘阵列磁盘阵列&10.6.2 10.6.2 网络存储网络存储&10.6.3 10.6.3 云存储云存储60物联网概论-韩毅刚物联网概论-韩毅刚10.6.1 10.6.1 磁盘磁盘阵列阵列物联网概论-韩毅刚61 1 1RAIDRAID级别级别 2 2.RAID.RAID技术技术特点特点 3 3.RAID.RAID的
17、实现的实现物联网概论-韩毅刚磁盘阵列磁盘阵列物联网概论-韩毅刚62物联网概论-韩毅刚4 4盘位磁盘阵列存储器盘位磁盘阵列存储器物联网概论-韩毅刚63物联网概论-韩毅刚机柜式磁盘阵列机柜式磁盘阵列物联网概论-韩毅刚64物联网概论-韩毅刚RAIDRAID级别级别 RAID分为分为 07个级别个级别 RAID 10RAID 0与RAID 1的组合 RAID 50RAID 0与RAID 5的组合物联网概论-韩毅刚65物联网概论-韩毅刚RAIDRAID优点优点 传输速率传输速率高高 容错容错物联网概论-韩毅刚66物联网概论-韩毅刚RAIDRAID的具体实现的具体实现 软件软件RAID 硬件硬件RAID物
18、联网概论-韩毅刚67物联网概论-韩毅刚10.6.2 10.6.2 网络网络存储存储 1.1.直接附加存储直接附加存储DASDAS 2.2.网络附加存储网络附加存储NASNAS 3.3.存储区域网存储区域网SANSAN物联网概论-韩毅刚68物联网概论-韩毅刚1.1.直接附加存储直接附加存储DASDAS 直附直附式式存储存储Direct Attached Storage 电缆直接相连电缆直接相连物联网概论-韩毅刚69物联网概论-韩毅刚2.2.网络附加存储网络附加存储NASNAS 网附网附式式存储存储Network Attached Storage 通过网络接口连接通过网络接口连接物联网概论-韩毅刚
19、70物联网概论-韩毅刚3 3.存储区域网存储区域网SANSAN SANStorage Area Network物联网概论-韩毅刚71物联网概论-韩毅刚10.6.3 10.6.3 云云存储存储 概念概念 结构模型结构模型物联网概论-韩毅刚72物联网概论-韩毅刚云存储的概念云存储的概念 一种服务模式一种服务模式 云计算的延伸云计算的延伸物联网概论-韩毅刚73物联网概论-韩毅刚云存储的体系结构云存储的体系结构 访问层访问层 应用接口层应用接口层 基础管理层基础管理层 存储层存储层物联网概论-韩毅刚74物联网概论（第2版）-韩毅刚10.7 云计算云计算&10.7.1 10.7.1 云计算的概念云计算的
20、概念&10.7.2 10.7.2 云计算系统的组成和结构云计算系统的组成和结构&10.7.3 10.7.3 云计算系统实例云计算系统实例&10.7.4 10.7.4 云计算系统的开发云计算系统的开发75物联网概论-韩毅刚物联网概论-韩毅刚10.7.1 10.7.1 云计算的云计算的概念概念物联网概论-韩毅刚76 定义定义 分类分类 延伸延伸物联网概论-韩毅刚云计算的定义云计算的定义 一种基于互联网的新的一种基于互联网的新的IT服务增加、使用和交付服务增加、使用和交付模式模式物联网概论-韩毅刚77物联网概论-韩毅刚云云计算的计算的服务模式服务模式 基础设施即服务基础设施即服务IaaSInfras
21、tructure as a Service 平台即服务平台即服务PaaSPlatform as a Service 软件即服务软件即服务SaaSSoftware as a Service物联网概论-韩毅刚78物联网概论-韩毅刚云计算的类型云计算的类型 公共云公共云 私有云私有云 企业云企业云物联网概论-韩毅刚79物联网概论-韩毅刚云计算云计算的延伸的延伸 云存储云存储 云安全云安全 云电视云电视 云手机云手机 海计算海计算 框计算框计算 风计算风计算物联网概论-韩毅刚80物联网概论-韩毅刚10.7.2 10.7.2 云计算系统的组成和云计算系统的组成和结构结构 SOASOA层层 中间管理层中间
22、管理层 资源池层资源池层 物理物理资源资源层层物联网概论-韩毅刚81物联网概论-韩毅刚云计算体系结构云计算体系结构物联网概论-韩毅刚82物联网概论-韩毅刚10.7.3 10.7.3 云计算系统云计算系统实例实例 1.1.亚马逊云亚马逊云计算计算 2.2.微软云计算微软云计算Windows AzureWindows Azure物联网概论-韩毅刚83物联网概论-韩毅刚1.1.亚马逊云亚马逊云计算计算 弹性计算云弹性计算云EC2Elastic Compute Cloud 简单存储服务简单存储服务S3Simple Storage Service 简单数据库服务简单数据库服务SDBSimpleDB物联网
23、概论-韩毅刚84物联网概论-韩毅刚EC2EC2基本架构基本架构物联网概论-韩毅刚85物联网概论-韩毅刚S3S3基本数据结构基本数据结构物联网概论-韩毅刚86物联网概论-韩毅刚2.2.微软云计算微软云计算Windows Windows AzureAzure 云计算操作系统云计算操作系统 SQL Azure云计算数据库云计算数据库.NET服务服务物联网概论-韩毅刚87物联网概论-韩毅刚 Windows Azure Windows Azure主要部分主要部分物联网概论-韩毅刚88物联网概论-韩毅刚10.7.4 10.7.4 云计算系统的云计算系统的开发开发 1 1.开开源云计算系统源云计算系统Had
24、oopHadoop 2 2.开开源云计算系统源云计算系统SparkSpark 3.3.云云计算虚拟化计算虚拟化技术技术 4.4.云计算仿真器云计算仿真器CloudSimCloudSim物联网概论-韩毅刚89物联网概论-韩毅刚1.1.开源云计算系统开源云计算系统HadoopHadoop HDFS分布式文档系统分布式文档系统 MapReduce分布式平行计算框架分布式平行计算框架 Hbase分布式数据库分布式数据库物联网概论-韩毅刚90物联网概论-韩毅刚HadoopHadoop的云计算架构的云计算架构物联网概论-韩毅刚91物联网概论-韩毅刚2.2.云计算虚拟化云计算虚拟化技术技术 全虚拟化全虚拟化
25、 半虚拟化半虚拟化 硬件辅助虚拟化硬件辅助虚拟化物联网概论-韩毅刚92物联网概论-韩毅刚3.3.云计算仿真器云计算仿真器CloudSimCloudSim 用户代码层用户代码层 CloudSim层层 GridSim层层 SimJava层层物联网概论-韩毅刚93物联网概论-韩毅刚CloudSimCloudSim体系结构体系结构物联网概论-韩毅刚94物联网概论（第2版）-韩毅刚10.8 普适计算普适计算&10.8.1 10.8.1 普适计算技术的特征普适计算技术的特征&10.8.2 10.8.2 普适计算的组成普适计算的组成&10.8.3 10.8.3 普适计算的体系结构普适计算的体系结构&10.8
26、.4 10.8.4 普适计算的关键技术普适计算的关键技术95物联网概论-韩毅刚物联网概论-韩毅刚普适计算的概念普适计算的概念物联网概论-韩毅刚96物联网概论-韩毅刚10.8.1 10.8.1 普适计算技术的普适计算技术的特征特征物联网概论-韩毅刚97 信息空间与物理空间信息空间与物理空间 间断间断连接与轻量计算连接与轻量计算物联网概论-韩毅刚信息空间与物理信息空间与物理空间空间的融合的融合物联网概论-韩毅刚98物联网概论-韩毅刚10.8.2 10.8.2 普适计算的普适计算的组成组成 普适计算普适计算设备设备 普普适计算适计算网络网络 系统软件系统软件 人机交互人机交互物联网概论-韩毅刚99物
27、联网概论-韩毅刚普适计算系统普适计算系统物联网概论-韩毅刚100物联网概论-韩毅刚10.8.3 10.8.3 普适计算的普适计算的体系结构体系结构 层次层次模型模型见仁见智 4 4层模型层模型 8 8层模型层模型物联网概论-韩毅刚101物联网概论-韩毅刚应用环境中的普适计算体系结构应用环境中的普适计算体系结构物联网概论-韩毅刚102物联网概论-韩毅刚10.8.4 10.8.4 普适计算的关键普适计算的关键技术技术 1.1.人机接口人机接口技术技术 2.2.上下文感知上下文感知计算计算 3.3.服务的服务的组合组合 4.4.自适应技术自适应技术物联网概论-韩毅刚103物联网概论-韩毅刚1.1.人
28、机接口人机接口技术技术 1）接口的自适应性）接口的自适应性 2）不可见的用户接口）不可见的用户接口物联网概论-韩毅刚104物联网概论-韩毅刚2.2.上下文感知上下文感知计算计算 上下文信息上下文信息“5何”何时、何地、何人、何事、何因5Wwhen,where,who,what,why 物联网概论-韩毅刚105物联网概论-韩毅刚3 3.服务的服务的组合组合 组合服务组合服务的发现的发现服务的匹配服务的选择 服务协调器服务协调器 错误检测与修复错误检测与修复物联网概论-韩毅刚106物联网概论-韩毅刚4 4.自适应自适应技术技术 对用户情境自适应对用户情境自适应 对设备资源自适应对设备资源自适应 对
29、系统资源状态自适应对系统资源状态自适应 保留系统保留系统物联网概论-韩毅刚107物联网概论（第2版）-韩毅刚10.9 数据呈现数据呈现&10.9.1 10.9.1 实时推送技术实时推送技术&10.9.2 10.9.2 数据可视化数据可视化&10.9.3 HTML510.9.3 HTML5&10.9.4 10.9.4 数据呈现开发实例数据呈现开发实例108物联网概论-韩毅刚物联网概论-韩毅刚10.9.1 10.9.1 实时推送实时推送技术技术 1.1.拉取技术拉取技术 2 2.传统推送技术传统推送技术 3.Web3.Web实时推送技术实时推送技术物联网概论-韩毅刚109物联网概论-韩毅刚WebW
30、eb实时推送实时推送技术技术物联网概论-韩毅刚110物联网概论-韩毅刚10.9.2 10.9.2 数据数据可视化可视化 1.1.数据可视化的过程和评判指标数据可视化的过程和评判指标 2.2.数据可视化的常用技术数据可视化的常用技术物联网概论-韩毅刚111物联网概论-韩毅刚文本可视化文本可视化 标签云标签云物联网概论-韩毅刚112物联网概论-韩毅刚网络可视化网络可视化 中国教育与科研计算机网可视化图中国教育与科研计算机网可视化图物联网概论-韩毅刚113物联网概论-韩毅刚时空数据可视化时空数据可视化 流式地图流式地图百度迁徙数据物联网概论-韩毅刚114物联网概论-韩毅刚10.9.3 10.9.3
31、HTML5HTML5 HTMLHTML是构建以及呈现互联网内容的描述是构建以及呈现互联网内容的描述语语言言 HTMLHTML广义上指的是包括广义上指的是包括HTMLHTML、CSSCSS和和Java Java ScriptScript在内的一套技术组合。在内的一套技术组合。物联网概论-韩毅刚115物联网概论-韩毅刚10.9.4 10.9.4 数据呈现开发数据呈现开发实例实例 基于基于WebWeb的前端数据可视化的前端数据可视化工具工具 CanvasCanvas开发的基本流程开发的基本流程物联网概论-韩毅刚116物联网概论-韩毅刚基于基于WebWeb的前端数据可视化的前端数据可视化工具工具 图表类图表类eCharts、iCharts、HighCharts、Google Charts、D3等 图谱类图谱类Arbor.js、Sigma.js、Processing.js等；三维图形三维图形PhiloGL、Three.js等 地图类地图类Google Map、百度地图、高德地图、PolyMap等物联网概论-韩毅刚117物联网概论（第2版）-韩毅刚总结总结&数据中心数据中心&数据存储、组织、搜索、挖掘数据存储、组织、搜索、挖掘&云计算云计算&普适计算普适计算&数据可视化数据可视化
