ImageVerifierCode 换一换
格式:PPT , 页数:90 ,大小:4.65MB ,
文档编号:4953465      下载积分:28 文币
快捷下载
登录下载
邮箱/手机:
温馨提示:
系统将以此处填写的邮箱或者手机号生成账号和密码,方便再次下载。 如填写123,账号和密码都是123。
支付方式: 支付宝    微信支付   
验证码:   换一换

优惠套餐
 

温馨提示:若手机下载失败,请复制以下地址【https://www.163wenku.com/d-4953465.html】到电脑浏览器->登陆(账号密码均为手机号或邮箱;不要扫码登陆)->重新下载(不再收费)。

已注册用户请登录:
账号:
密码:
验证码:   换一换
  忘记密码?
三方登录: 微信登录  
下载须知

1: 试题类文档的标题没说有答案,则无答案;主观题也可能无答案。PPT的音视频可能无法播放。 请谨慎下单,一旦售出,概不退换。
2: 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。
3: 本文为用户(晟晟文业)主动上传,所有收益归该用户。163文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(点击联系客服),我们立即给予删除!。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 本站仅提供交流平台,并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

版权提示 | 免责声明

1,本文(信号处理与通信研究方向介绍-课件.ppt)为本站会员(晟晟文业)主动上传,163文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。
2,用户下载本文档,所消耗的文币(积分)将全额增加到上传者的账号。
3, 若此文所含内容侵犯了您的版权或隐私,请立即通知163文库(发送邮件至3464097650@qq.com或直接QQ联系客服),我们立即给予删除!

信号处理与通信研究方向介绍-课件.ppt

1、-1主讲人主讲人:路新华路新华南阳理工学院南阳理工学院通信技术教研室通信技术教研室-2主要内容一、压缩感知二、物联网三、分布式计算与云计算2022-10-27-3Compressive Sensing一、压缩感知2022-10-27-4目录目录p背景现状背景现状u理论产生背景u研究现状p 压缩感知描述压缩感知描述u压缩传感u稀疏表示u测量矩阵u重构算法u模拟实验u整体流程p 应用展望应用展望u 应用举例u展望 -51、背景现状、背景现状1.1 理论产生背景理论产生背景采样采样发的采样数据采样数据压缩压缩原始图像原始图像数据传输数据传输解压缩解压缩恢复图像恢复图像通过显示器通过显示器显示图像显示

2、图像大部分冗余信息在采集后被丢弃采样时造成很大的资源浪费能否直接采集不被丢弃的信息?-6被感知对象重建信号压缩感知压缩感知名词解释名词解释:压缩感知直接感知压缩后的信息基本方法基本方法:信号在某一个正交空间具有稀疏性(即可压缩性),就能以较低的频率(远低于奈奎斯特采样频率)采样该信号,并可能以高概率重建该信号。1.1 理论产生背景理论产生背景1、背景现状、背景现状-71.2 研究现状研究现状2006Robust Uncertainty Principles:Exact Signal Reconstruction fromHighly Incomplete Frequency Informati

3、onTerence Tao、Emmanuel Cands2006Compressed SensingDavid Donoho2007Compressive SensingRichard Baraniuk上述文章奠定了压缩感知的理论基础。国内也将其翻译成压缩传感或压缩采样。1、背景现状、背景现状-8u理论一经提出,就在信息论、信号处理、图像处理等领域受到高度关注。u在美国、英国、德国、法国、瑞士、以色列等许多国家的知名大学(如麻省理工学院、斯坦福大学、普林斯顿大学、莱斯大学、杜克大学、慕尼黑工业大学、爱丁堡大学等等)成立了专门的课题组对CS进行研究。u此外,莱斯大学还建立了专门的Compress

4、iveSensing网站,及时报道和更新该方向的最新研究成果。1.2 研究现状研究现状1、背景现状、背景现状-9u西安电子科技大学石光明教授在电子学报发表综述文章,系统地阐述了压缩传感的理论框架以及其中涉及到的关键技术问题。燕山大学练秋生教授的课题组针对压缩感知的稀疏重建算法进行了系统深入的研究,提出一系列高质量的图像重建算法。中科院电子所的方广有研究员等,探索了压缩感知理论在探地雷达三维成像中的应用。u除此之外,还有很多国内学者在压缩感知方面做了重要的工作,如清华大学、天津大学、国防科技大学、厦门大学、湖南大学、西南交通大学、南京邮电大学、华南理工大学、北京理工大学、北京交通大学等等单位,在

5、此不一一列举。1.2 研究现状研究现状1、背景现状、背景现状-102、CS描述描述2.1 压缩传感压缩传感x是K稀疏的,并且y与满足一定关系时-112、CS描述描述2.1 压缩传感压缩传感yx (1)很显然,由于的维数远远低于的维数,方程1有无穷多个解,即该方程是不适定的,很难重构信号。然而如果原信号是K稀疏的,并且y与满足一定关系时,理论证明,方程是可以通过求解最优范数问题精确重构0argmin.xxstxy (2)式中,为向量的范数,表示向量中非零元素的个数,Cands指出,如果要精确重构,测量次数M必须满足M=O(Kln(N),并且满足约束等距性条件。-122、CS描述描述2.1 压缩传

6、感压缩传感-132、CS描述描述2.1 压缩传感压缩传感-142、CS描述描述2.2 稀疏表示稀疏表示 如果一个信号中只有少数元素是非零的,则该信号是稀疏的。通常时域内的信号是非稀疏的,但是在某个变换域可能是稀疏的。-152、CS描述描述2.2 稀疏表示稀疏表示 如果长度为N的信号X,在变换域个系数不为零(或者明显不大于其他系数),且KN,那么可以认为信号X在域中是稀疏的并可记为K-稀疏(不是严格定义)。-162、CS描述描述2.2 稀疏表示稀疏表示-172、CS描述描述2.2 稀疏表示稀疏表示2022-10-27-182、CS描述描述2.3 测量矩阵测量矩阵2022-10-27-192、CS

7、描述描述2.3 测量矩阵测量矩阵yx (3)为了重构稀疏信号,Terence Tao、Emmanuel Cands 给出并证明了必须满足约束等距性条件,对于任意和常数,有222222(1)(1)kkccc (4)2022-10-27-202、CS描述描述2.3 测量矩阵测量矩阵 Baraniuk给出了约束等距性条件的等价条件是测量矩阵和稀疏表示基不相关,即要求的行不能由的列稀疏表示,且的列不能由的行稀疏表示。由于是固定的,要使得满足约束等距性条件,可以通过设计测量矩阵来解决,有证明,当时高斯随机矩阵时,能以较大概率满足约束等距性条件。2022-10-27-212、CS描述描述2.3 测量矩阵测

8、量矩阵 随机矩阵重建性能好,但不易于硬件实现。确定性测量矩阵因为其占用存储空间少,硬件实现容易,是未来测量矩阵的研究方向,但目前确定性矩阵的重建精度不如随机矩阵。随机测量矩阵确定性测量矩阵高斯矩阵轮换矩阵傅里叶多项式矩阵贝努力哈达吗矩阵非相关测量矩阵托普利兹矩阵结构化随机矩阵Chirp测量矩阵.2022-10-27-222、CS描述描述2.4 重构算法重构算法直接求解相当困难。以下两种解决方案:1 不改变目标函数,寻求近似的方法求解 用近似的方法直接求解0范数问题,如贪婪算法等。2 将目标函数进行转化,变为更容易求解的问题(1)将0范数问题转化为1范数问题(2)采用光滑函数逼近0范数,从而将0

9、范数问题转化为光滑函数的极值问题2022-10-27-232、CS描述描述2.4 重构算法重构算法(1)匹配追踪系列:匹配追踪(Matching Pursuit,MP)正交匹配追踪(Orthogonal Matching Pursuit,OMP)稀疏自适应匹配追踪(Sparse Adaptive MP,SAMP)正则化正交匹配追踪(Regularized OMP,ROMP)等(2)方向追踪系列:梯度追踪(Gradient Pursuit,GP)共轭梯度追踪(Conjugate GP,CGP)近似的共轭梯度追踪(Approximation CGP,ACGP)贪婪算法2022-10-27-242、

10、CS描述描述2.4 重构算法重构算法凸优化算法(1)基追踪法(Basis Pursuit,BP)(2)最小角度回归法(Least Angle Regression,LARS)(3)梯度投影法(Gradient Projection for Sparse Reconstruction,GPSR)另类算法(1)Bayesian类的统计优化算法2022-10-27-252、CS描述描述2.5 模拟实验模拟实验2022-10-27-262、CS描述描述2.5 模拟实验模拟实验2022-10-27-272、CS描述描述2.5 模拟实验模拟实验2022-10-27-282、CS描述描述2.5 模拟实验模拟

11、实验OMP_time =0.051175secs2022-10-27-292、CS描述描述2.6 总体流程总体流程理论依据理论依据:设长度为N的信号X在某个正交基上是K-稀疏的,如果能找到一个与不相关(不相干)的观测基,用观测基观测原信号得到M个观测值,KMN,得到观测值Y,那么可以利用最优化方法从观测值中高概率重构X。找到某个正交基,信号在该基上稀疏找到一个与不相关,且满足一定条件的观测基 对Y采用最优化重建,均是其约束。以观测真实信号,得到观测值Y主要解决的问题主要解决的问题:信号的稀疏表示观测基的选取重构算法的设计2022-10-27-303、应用展望、应用展望3.1 应用举例应用举例2

12、022-10-27-312022-10-273、应用展望、应用展望3.2 展望展望目前,压缩感知理论仍处于发展阶段,有很多关键问题尚待解决,如:(1)探索测量矩阵的必要条件,构造确定性矩阵;(2)如何硬件实现压缩感知的过程;(3)提高现有重建算法恢复质量、速度,论证算法理论基础,保证其收敛,增强鲁棒性;(4)设计不同环境下的重建算法;(5)设计移动压缩传感器等。-32二、物联网技术-33物联网概念物联网概念 英文:英文:Internet of ThingsInternet of Things 物联网是通过射频识别物联网是通过射频识别(RFID)(RFID)装置、红装置、红外感应器、外感应器、全

13、球定位系统、全球定位系统、激光扫描激光扫描器等信息传感设备,按约定的协议,把器等信息传感设备,按约定的协议,把任何物品与互联网相连接,进行信息交任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、换和通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络。跟踪、监控和管理的一种网络。自治、协同、智能。自治、协同、智能。-34突尼斯信息社突尼斯信息社会世界峰会上会世界峰会上,国际电信联,国际电信联盟发布盟发布ITUITU互互联网报告联网报告20052005:物联网:物联网,提出了提出了“物联物联网网”的概念。的概念。在美国召开的在美国召开的移动计算和网移动计算和网络国际会议提络

14、国际会议提出了出了“传感网传感网是下一个世纪是下一个世纪人类面临的又人类面临的又一个发展机遇一个发展机遇”。奥巴马举行奥巴马举行“圆桌会议圆桌会议”,IBMIBM首席执行首席执行官彭明盛提出官彭明盛提出“智慧地球智慧地球”,建议政府投,建议政府投资新一代的智资新一代的智慧型基础设施慧型基础设施国内外研究现状国内外研究现状 物联网物联网199920052009-35物联网本质特征物联网本质特征 可标识、感知能可标识、感知能力力 联网能力,即信联网能力,即信息交换能力息交换能力 智能智能-36物联网体系架构物联网体系架构-37标识技术标识技术 物体的标识是实现物联网的基础。物体的标识是实现物联网的

15、基础。标签作用:完成物体的标识和信息的采标签作用:完成物体的标识和信息的采集。集。-38RFIDRFID射频识别技术射频识别技术 RFIDRFID,是一种非接触式的自动,是一种非接触式的自动识别技术,它通过射频信号自识别技术,它通过射频信号自动识别目标对象并获取相关数动识别目标对象并获取相关数据。据。防水、防磁、耐高温、使用寿防水、防磁、耐高温、使用寿命长、读取距离大、标签上数命长、读取距离大、标签上数据可以加密、存储数据容量更据可以加密、存储数据容量更大、存储信息更改自如。大、存储信息更改自如。非接触操作,长距离识别。非接触操作,长距离识别。无机械磨损,寿命长,并可工无机械磨损,寿命长,并可

16、工作于各种油渍、灰尘污染等恶作于各种油渍、灰尘污染等恶劣的环境。劣的环境。39基于标签的应用(一)基于标签的应用(一)将将RFIDRFID标签贴在重要标签贴在重要物品上,例如车钥匙、物品上,例如车钥匙、钱包、公文包等。钱包、公文包等。重要物品丢失时,可重要物品丢失时,可以使用以使用RFIDRFID读写器协助读写器协助寻找。寻找。出门时,可以通过出门时,可以通过RFIDRFID标签读写器检查物标签读写器检查物品是否带齐,同时提供品是否带齐,同时提供提醒功能。提醒功能。40基于标签的应用(二)基于标签的应用(二)把把RFIDRFID标签贴在冰箱标签贴在冰箱中的食物上。中的食物上。当食物快要过期时自

17、当食物快要过期时自动提醒。动提醒。当孩子食入过量某些当孩子食入过量某些食物时(如冰激凌)自食物时(如冰激凌)自动提醒父母。动提醒父母。根据食谱检测所需原根据食谱检测所需原料是否齐备。料是否齐备。对某一种食物,通知对某一种食物,通知微波炉使用方法,从而微波炉使用方法,从而自动加热。自动加热。食物没有时自动提醒食物没有时自动提醒购买。购买。根据食物调整温度。根据食物调整温度。-41网络技术网络技术 网络层是物联网的神经中枢,主要用来网络层是物联网的神经中枢,主要用来实现无缝透明的接入,并完成信息的传实现无缝透明的接入,并完成信息的传递和处理。递和处理。-42无线传感器网络技术无线传感器网络技术 无

18、线传感器网络是由众多传感器节点构无线传感器网络是由众多传感器节点构成的无线网络。其目的是感知、采集和成的无线网络。其目的是感知、采集和转发网络覆盖的感知对象的各种信息,转发网络覆盖的感知对象的各种信息,并发送给观测者。并发送给观测者。43基于传感器网络的应用基于传感器网络的应用1.1.使用传感器网络自使用传感器网络自动感动感 应用户的位置。应用户的位置。2.2.当用户从场景当用户从场景A A转移转移到场景到场景B B时,用户目前时,用户目前所操作的数据也随之所操作的数据也随之转移,例如正在听的转移,例如正在听的音乐、正在看的电影音乐、正在看的电影、正在写的文档等。、正在写的文档等。3.3.其他

19、可控设备,如其他可控设备,如电灯、空调等也随着电灯、空调等也随着用户的进入或离开而用户的进入或离开而自动打开或关闭自动打开或关闭。44基于视频感知的应用基于视频感知的应用孩子在无人看管的情况孩子在无人看管的情况下溺水。下溺水。摄像头捕捉到此场景,摄像头捕捉到此场景,从表情动作等方面感知从表情动作等方面感知出孩子并非正常洗澡。出孩子并非正常洗澡。感应孩子父母所在的位感应孩子父母所在的位置,并发出警报,通知置,并发出警报,通知相应的设备。相应的设备。父母在第一时间捕捉到父母在第一时间捕捉到了此场景,并采取相应了此场景,并采取相应的措施。的措施。-45三、云计算 云计算的概念 云计算的体系结构 云计

20、算的发展历史和应用现状 云计算与相关计算模型的关系 云计算核心技术简介 云计算应用实例 云计算的研究和发展方向-46为什么使用云计算?随着新一代计算机网络技术以及通信技术的不断进步,特别是Web2.0技术体系的发展,包括协同计算、数字媒体点播、基于3G的移动计算在内的各种应用已经把日常生活与互联网紧密相连。这些应用在带给人们便捷的同时也使得互联网数据量高速增长,不断增加的数据量与互联网数据处理能力相对不足的矛盾日益明显。-47为什么使用云计算?用户往往通过购置更多数量和更高性能的终端设备或者服务器来增加计算和存储能力,但是不断提高的技术更新速度和似乎无限扩充的外界需求让用户在购置昂贵设备的过程

21、中倍感压力。与此同时,互联网上却存在着大量处于闲置状态的计算设备和存储资源,如果能够将这些相对闲置的资源聚合起来统一调度提供服务,使得用户能够根据需要进行租用,则可以大大提高其利用率,减少人们对自有硬件资源的依赖,让更多的人从中受益。-48云计算正在让期待成为现实-49什么是“云”可以简单地把“云”看作是一组通过因特网公开访问的计算机和服务器,这些硬件一般在一个或多个数据中心里进行联合运营,这些机器通常能够运行各种操作系统。-50从软件体系结构的角度看“云”云将网络上分布的计算、存储、服务构件、网络软件等资源集中起来,以基于资源虚拟化的方式,为用户提供方便快捷的服务,这些资源就是云计算体系结构

22、中的构件;同时云计算还可以实现计算与存储的分布式与并行处理,一系列的网络管理构件和服务管理构件就是它的连接件;而其约束应该根据欲实现的商业计算目标和安全管理形式来决定。-51云计算名称的来源 云计算(Cloud Computing)源自亚马逊公司(Amazon)的EC2(Elastic Compute Cloud)产品和Google-IBM分布式计算项目,这两个项目直接使用了“Cloud Computing”的概念。-52云计算的概念 云计算至今为止也没有统一的、公认的定义,包括IBM在内的许多公司、大学、组织和专家学者从不同的角度给出了多种不同的解释。本书给出一个简单的理解:“如果把云视为一

23、个虚拟化的存储与计算资源池,那么云计算就是该资源池基于网络平台为用户提供的数据存储和网络计算服务。”-53云存储与云服务 云计算的一个主要用途就是存储数据。采用云存储的过程中,数据被存放到多个第三方服务器的存储介质上,而不是像传统的数据存储那样存放在企业的专用服务器上。云动态地管理可用的存储空间,实际的存储位置可能每天甚至每分钟都不尽相同。尽管位置是虚拟的,用户所看到的数据位置每天都处于相对于观察者的固定状态。-54云存储与云服务 通过云计算提供的任何基于web的应用或服务都被称为云服务,它包括从日历和客户关系管理到文字处理和演示的任何应用。云服务具有诸多优势,如果用户的电脑崩溃,它既不会影响

24、到宿主应用程序,也不会影响到已经打开的文件,并且个人用户可以从任何地点,在任何时间,使用任何智能终端访问他的应用程序和文件。-55云计算的特点(优点)规模超大,数据存储和处理能力强 虚拟化技术 高可靠性和数据容错安全性 通用性 动态可扩展性 按需服务 易于使用 规模可变,易于定制 可以改进操作系统之间的兼容性 廉价,高性价比,对用户透明-56云计算的特点(缺点)企业级安全性问题,数据隐私保密 云计算宿主离线 所产生的事故 迫使用户适应新的操作环境、更改使用习惯 网络带宽的局限性问题-57云计算服务的分类 将基础设施作为服务(Infrastructure as a Service,IaaS)将云

25、计算软件开发平台作为服务(Platform as a Service,PaaS)将软件作为服务(Software as a Service,SaaS)除此之外,基于云的数据作为服务(Data as a Service,DaaS),通信作为服务(Communication as a Service,CaaS)等形式的更多的XaaS也在根据用户的需要不断应运而生-58云计算服务的分类-59云计算的体系结构 云计算直到目前也没有一个统一的体系结构 给出一个综合并改进的云计算体系结构的分层:物理资源层、虚拟化资源池层、服务管理中间件层和SOA构建层-60 服务管理中间件 资源管理 任务管理 用户管理

26、负载均衡 故障检测 映像部署和管理 使用计费 用户环境配置 用户交互管理 故障恢复 监视统计 账号管理 安全管理 访问授权 综合防护 审计评估 服务接口 服务注册 服务查找 服务访问 服务工作流 SOA 构建层 计算资源池 虚拟化资源 服务器集群 存储设备 数据库 物理资源 存储资源池 网络资源池 数据资源池 软件资源池 应用软件 网络设备 身份认证 任务执行 任务调度 生命期管理-61云计算的体系结构 物理资源层包括服务器集群、存储设备、网络设备、数据库和应用软件。虚拟化资源池是将大量相同类型的资源构成同构或接近同构的资源池,如计算资源池、数据资源池等。虚拟化资源池层主要用于管理和集成实体计

27、算资源、存储资源以及部分软件资源,例如,为服务器安排合理的搭建结构,为物理存储介质选择合适的安装空间。-62云计算的体系结构 服务管理中间件层负责对云计算的资源进行管理,并对众多应用任务进行调度,使资源能够高效、安全地为应用提供服务。SOA构建层将云服务封装成标准的Web Services服务,并纳入到SOA体系进行管理和使用,包括服务接口、服务注册、服务查找、服务访问和服务工作流等。服务管理中间件层和虚拟化资源层是云计算技术的核心部分。-63云计算的发展历史和应用现状 云计算的发展历史 云计算的应用现状-64云计算的发展历史 早期计算中心所采用的体系结构是客户机/服务器模式。无须经由服务器,

28、将一台计算机连接到另一台计算机的计算模型导致了对等(P2P)计算的发展。P2P计算模型的推广导致了分布式计算的发展。在分布式计算发展过程中,为了提高团队之间的协作能力,让多个用户一起从事同一个基于Web的项目,协同计算应运而生。随着并行计算、网格计算和效用计算的不断发展以及硬件处理能力的提高,以大型计算中心为骨架的云计算时代终于到来。-65云计算的应用现状 包括Google、亚马逊、IBM、微软和Yahoo、Salesforce、Facebook、YouTube等许多公司都提供种类繁多的云计算服务。-66云计算与相关计算模型的关系 分布式计算是指在一个松散或严格约束条件下使用一个硬件和软件系统

29、处理任务,这个系统包含多个处理器单元或存储单元,多个并发的过程以及多个程序。云计算属于分布式计算的范畴。并行计算(Parallel Computing)就是在并行计算机上所做的计算,它与常说的高性能计算、超级计算属于同一范畴。云计算也是并行计算的一种形式。-67云计算与相关计算模型的关系 效用计算是一种基于计算资源使用量付费的商业模式,用户从计算资源供应商获取和使用计算资源并基于实际使用的资源付费,在效用计算中,计算资源被看作是一种计量服务。云计算以服务的形式提供计算、存储、应用资源的想法和效用计算类似,可以把效用计算作为云计算的服务形式之一进行看待。-68云计算与相关计算模型的关系 网格计算

30、是在网络基础之上,基于SOA,使用互操作、按需集成等技术手段,将分散在不同地理位置的资源虚拟成为一个有机整体,实现计算、存储、数据、软件和设备等资源的共享,从而大幅提高资源的利用率,使用户获得前所未有的计算和信息能力。云计算是网格计算的一种应用于商业的简化实用版。-69云计算核心技术简介 以Google云为例简单介绍云计算的核心技术以及各自的工作原理 分布式海量数据存储技术 分布式海量数据编程模型 分布式海量数据的锁服务 分布式海量数据管理技术-70分布式海量数据存储技术 Google云计算技术包括四个部分:Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chub

31、by和分布式结构化数据存储系统Bigtable等。Google文件系统(Google File System,GFS)是一个大型的分布式文件系统,它为Google云计算提供海量存储,处于所有核心技术的最底层-71分布式海量数据存储技术-72分布式海量数据编程模型 作为一种处理海量数据的并行编程规范,MapReduce由Google的设计师Jeffery Dean首先提出,它是一种抽象模型,将并行化、容错、数据分布、负载均衡的等杂乱细节放在一个库里,使程序员在进行并行编程时不必关心这些问题,用于简化分布式系统编程。它也是一个软件架构,用于TB级大规模数据的并行运算。-73分布式海量数据编程模型

32、MapReduce的核心思想,就是“任务的分解与结果的汇总”。Map是展开并进行映射的意思,指将一个任务分解成为多个任务;Reduce可以翻译成聚集之后化简,指将分解后得到的多任务处理的结果汇总起来,得出最后的分析结果。MapReduce通过Map和Reduce这样两个简单的概念来构成运算基本单元,Map负责将数据打散,而Reduce则负责对数据进行聚集,用户只需提供自己的Map函数以及Reduce函数即可并行处理海量数据。-74MapReduce工作原理-75MapReduce执行流程图-76分布式海量数据的锁服务 Chubby是Google设计的提供粗粒度锁服务的一个文件系统,它基于松耦合

33、分布式系统,解决了分布的一致性问题。通过使用Chubby的锁服务,用户可以确保数据操作过程中的一致性。Chubby系统本质上就是一个分布式的、存储大量小文件的文件系统,它所有的操作都是在文件的基础上完成的。-77分布式海量数据管理技术 由于需要存储种类繁多的数据以及服务请求数量庞大,一些Google应用程序需要处理大量的格式化以及半格式化数据,并且通常的商用数据库根本无法满足Google海量数据的存储需求,Google自行设计了Bigtable。Bigtable是Google开发的基于GFS和Chubby的分布式存储系统,Google的很多数据,包括Web索引、卫星图像数据等在内的海量结构化和

34、半结构化数据,都存储在其中。Bigtable的存储逻辑可以表示为一个三元组的形式:(Row:string,Column:string,Time:int64)-78云计算核心技术的开源实现 Hadoop是开源组织Apache的子项目,由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。Hadoop的MapReduce也采用Master/Slave结构,其中的Master叫做JobTracker,Slave叫做TaskTracker。Hadoop的HDFS是Google GFS的开源版本,一个拥有高度容错能力的分布式文件系统,它能够提供高吞量的数据访问,适合存储PB

35、级的海量大文件。-79 HDFS结构图-80Eucalyptus Eucalyptus是Amazon EC2的一个开源实现,它是一款实现云计算弹性需求环境的软件,通过其在集群或者服务器组上所进行的部署,并且使用常用Linux工具和基本的基于Web的服务,与商业服务接口兼容。Eucalyptus的结构包括:Instance Manager、Group Manager和Cloud Manager三部分,采用层状结构。-81-82云计算的安全问题 云计算服务存在着七大潜在安全风险:(1)优先访问权风险(2)数据处所风险(3)隔离数据风险(4)权限管理风险(5)支持调查风险(6)长期发展风险(7)恢复

36、数据风险-83云计算的安全保障方案 企业必须考虑:数据保护、身份管理、安全漏洞管理、物理和个人安全、应用程序安全、事件响应和隐私措施。用户还需要服务级协议,具体规定一些详细的责任条款和承担的后果,公司必须理解法规问题的影响、服务提供商处理数据安全的方式以及公司的知识产权是否存在风险。企业用户在使用云计算服务提供商的服务之前,还应当做好相应的评估工作。云计算中数据存储和应用处理都是在企业网络之外操作。在云计算安全领域建立学术或者企业联盟以及协会,不断进行云计算安全问题的研究并制定相应的行业标准。-84云计算应用实例 云计算服务不仅被很多企业逐步采用,同时也已经广泛地应用在日常生活中。普通用户可以

37、使用云中提供的包括在线文字处理、演示文稿、编辑共享数字照片、基于Web的数据库、日历和日程安排在内的多种协作软件。-85云计算的研究和发展方向 云计算技术上的研究主要包括两个方面:如何构建分布式平台的基础设施 如何帮助开发人员在云计算的分布式平台上进行编程-86云计算的研究和发展方向 云计算是并行计算、分布式计算和网格计算的发展,也是它们的商业实现,同时也是虚拟化、效用计算、将基础设施作为服务、将平台作为服务和将软件作为服务等概念混合演进并跃升的结果。云计算在目前还没有一个统一的标准,云计算在行业标准、数据安全、服务质量、应用软件等方面依然面临着各种问题。云计算领域的研究还处于起步阶段,尚缺乏

38、统一明确的研究框架体系,作为包括软件体系结构在内的多学科交叉研究领域,云计算尚存在大量的开放性问题有待进一步研究和探索。-87并行计算 Parallel Computing 是指同时使用多种计算资源解决计算问题的过程,其主要目的是快速解决大型且复杂的计算问题 特点:把计算任务分派给系统内的多个运算单元 大型机的多CPU和多存储器 并行计算问题的特征 将工作分离成离散部分,有助于同时解决 随时并及时地执行多个程序指令(多条线同时运行)多计算资源下解决问题的耗时要少于单个计算资源下的耗时-88分布式计算 Distributed Computing 所谓分布式计算是一门计算机科学,它研究如何把一个需

39、要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给许多计算机进行处理,最后把这些计算结果综合起来得到最终的结果。特点:把计算任务分派给网络中的多台独立的机器 优点:稀有资源可以共享 通过分布式计算可以在多台计算机上平衡计算负载 可以把程序放在最适合运行它的计算机上-89网格计算 Grid Computing 网格是利用互联网把地理上广泛分布的各种资源(包括计算资源、存储资源、带宽资源、软件资源、数据资源、信息资源、知识资源等)连成一个逻辑整体,就像一台超级计算机一样,为用户提供一体化信息和应用服务(计算、存储、访问等)网格计算是分布式计算的一种,是分布式计算封装2022-10-27-902022-10-272、CS描述描述2022-10-27满足社会发展需要是科技进步的动力满足社会发展需要是科技进步的动力实践是科研的基础和目的实践是科研的基础和目的路漫漫其修远兮,吾将上下而求索!路漫漫其修远兮,吾将上下而求索!

侵权处理QQ:3464097650--上传资料QQ:3464097650

【声明】本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是网络空间服务平台,本站所有原创文档下载所得归上传人所有,如您发现上传作品侵犯了您的版权,请立刻联系我们并提供证据,我们将在3个工作日内予以改正。


163文库-Www.163Wenku.Com |网站地图|