基于P2P和云计算的动态内容管理研究 .ppt

1、研究背景及研究内容基于P2P的大规模多人在线游戏通信平台P2P网络中的动态内容管理P2P和云计算相结合的动态内容管理总结和展望2023-6-4基于P2P和云计算的动态内容管理研究2未来网络发展趋势动态内容管理本文研究路线和研究内容2023-6-4基于P2P和云计算的动态内容管理研究3P2P网络云计算用户参与网络的构建维护分担服务器工作增强网络可扩展性降低服务成本设备自身资源有限无法承担大量存储和计算所有工作依赖于服务器2023-6-4基于P2P和云计算的动态内容管理研究4两种趋势并不是独立的：网络的异质性不同能力的终端 不同的职责 能力较强的终端：成为超级节点，分担服务器的工作 能力较弱的终端

2、：连接服务器或超级节点获得服务用户参与网络的构建和维护带来的新问题 网络中存在海量的节点和内容 内容：网络中存储的文件，数据等 如何有效地对海量内容进行管理，比如：找到所需的内容 对内容进行操作 动态内容管理2023-6-4基于P2P和云计算的动态内容管理研究5需求关键技术操作的实时性数据的一致性系统的鲁棒性负载均衡拓扑结构资源发现机制更新发布机制节点管理机制2023-6-4基于P2P和云计算的动态内容管理研究62023-6-4基于P2P和云计算的动态内容管理研究7动态内容管理的具体实例：MMOG Slide模型P2P网络中的动态内容管理SCDN模型内容节点双向聚类模型基于小世界的资源发现P2

3、P和云计算结合的动态内容管理PA-Cloud模型Slide模型2023-6-4基于P2P和云计算的动态内容管理研究8传统MMOG：C/S结构 服务器处理用户一切请求 缺陷：可扩展性差，服务器易于成为系统瓶颈 解决方式：分区或分服2023-6-4基于P2P和云计算的动态内容管理研究9区域结构 超级节点一次性的资源发现 N-Tree模型，事件发布模型，ZF模型，SimMud模型 从超级节点一次性获得一个区域的资源信息 超级节点将更新推送给区域内的所有节点 缺陷：超级节点负载远超过普通节点，大量冗余信息逐步式的资源发现 MOPAR模型 节点每一步仅获得所需资源，仅接收到所需更新 缺陷：超级节点的计算

4、量和通信量都远远超过普通节点我们的工作：负载均衡的Slide模型2023-6-4基于P2P和云计算的动态内容管理研究10可视范围：玩家可以“看见”或者“感知”的空间范围计算范围：节点需要计算和存储的所有资源（包括：其他玩家，道具，NPC等）的范围2023-6-4基于P2P和云计算的动态内容管理研究11逐步式的资源发现：以普通节点相互协助为主，超级节点补充辅助直接传递的更新发布：主动通知当前区域的超级节点和可视范围内的所有节点基于乐观同步的一致性检测：仅当玩家和其他玩家或者道具发生交互时触发2023-6-4基于P2P和云计算的动态内容管理研究12基本假设：n个/区域，区域长为a，宽为b 玩家移动

5、，战斗，进食，加入，离开服从泊松分布 移动参数为 ；战斗或进食的参数为 ；加入和离开游戏的参数为 消息大小：请求状态消息MA；状态消息MS；更新消息MU；hash消息MC；一致性检测请求消息MQ；一致性检测结束消息ME，TCP/UDP的消息头MH计算量和通信量的基本组成：资源发现，更新发布，超级节点更替，一致性检测2023-6-4基于P2P和云计算的动态内容管理研究13计算量分析CCsp和CCnp分别是超级节点和普通节点的计算量通信量分析TLsp和TLnp分别是超级节点和普通节点的通信量2023-6-4基于P2P和云计算的动态内容管理研究14Slide和SimMud的通信量和负载均衡能力对比2

6、023-6-4基于P2P和云计算的动态内容管理研究15区域平均人数加入离开速率战斗进食速率玩家移动速率区域形状出错率超级节点通信量负载均衡能力普通节点通信量Slide:SimMudSP：11.13%NP：85.87%大幅降低SP通信量良好的负载均衡2023-6-4基于P2P和云计算的动态内容管理研究16当前玩家其他玩家NPC池塘 砖墙普通节点计算范围等同于可视范围 降低了整个系统的通信量普通节点相互协助实现资源发现和更新发布 将超级节点的通信量分摊到普通节点之上基于乐观同步的一致性检测机制 保证所有的关联节点都能接收到相同的更新消息Slide vs.SimMud 大幅降低超级节点的通信量：11

7、.14%小幅降低普通节点的通信量：85.87%大幅提高负载均衡能力：12.97%负载均衡能力仅受玩家移动和加入离开游戏速率的影响2023-6-4基于P2P和云计算的动态内容管理研究17SCDN模型内容节点双向聚类模型基于小世界理论的资源发现2023-6-4基于P2P和云计算的动态内容管理研究18动态内容 生存期内不断动态的主动或者被动变化自身值的资源 MMOG中的玩家属性，分布式协同编辑的文本等动态内容管理的主要任务 资源发现：在海量节点中迅速准确定位用户所需的内容 衡量：实时性和鲁棒性 更新发布：控制用户对动态内容的更新操作，并将更新结果发布给所有受到影响的用户 衡量：一致性难点：参与节点动

8、态变换，缺乏全局知识2023-6-4基于P2P和云计算的动态内容管理研究19无结构化P2P网络Gnutella，Freenet命中率低，通信量高副本难以管理结构化P2P网络Chord，CAN拓扑结构复杂维护成本高混合结构P2P网络SWOP，HRing超级节点通信量高鲁棒性差2023-6-4基于P2P和云计算的动态内容管理研究20实现动态内容管理SCDN模型拓扑结构相关协议理论分析仿真实验提高关联内容查询速度内容节点双向聚类存储结构二元查询仿真实验分析查询速度提高的原因小世界理论远程连接构建方式远程连接个数选取2023-6-4基于P2P和云计算的动态内容管理研究21节点层：根据CAN协议构建一个

9、d维协作空间内容层：每个内容根据DHT被映射到键值最接近的节点上2023-6-4基于P2P和云计算的动态内容管理研究22内容的四种关联节点：CP，VS，CRP，IRP网络中的两种连接：邻居连接和远程连接2023-6-4基于P2P和云计算的动态内容管理研究23基于远程连接的资源发现远程连接实时性，成本混合Push/Pull的更新发布访问频率节点类型更新方式CAN的查询路径SCDN的查询路径2023-6-4基于P2P和云计算的动态内容管理研究24CP键值空间内存在内容依据CAN协议选出新CPVS会发现CP失效VS节点有内容需要发布所有CRP中选出新VSCP和CRP都会发现VS失效CRP无主动通知V

10、SVS会发现CRP失效IRP节点从网络中查询内容无影响无影响2023-6-4基于P2P和云计算的动态内容管理研究25CRPIRP2023-6-4基于P2P和云计算的动态内容管理研究26fusefupdatefusefupdate节点访问内容的频率捎带给VS单位时间内节点访问内容的次数常数，取值范围为0,1VS更新内容的频率降低系统通信量提高系统对动态环境的适应能力资源发现过程Markov链的吸收过程2023-6-4基于P2P和云计算的动态内容管理研究27一个查询请求从节点i被成功转发到节点j的查询路径长度查询请求从节点i转发到节点j的概率从任意源节点到目标节点0的平均查询路径长度(i=1,2,

11、N-1)B(i)是远程邻居子集，满足：N(i)是邻接邻居子集，满足：LK是远程连接个数l(i,j)是依据CAN覆盖网格计算的节点i和j之间的距离，即CAN距离至少有一个远程连接属于B(i)的概率SCDN倾向于选择距离目标最近的节点作为下一跳，所以pi,j和l(j,0)之间存在反比关系B(i)集为空的概率2023-6-4基于P2P和云计算的动态内容管理研究28SCDN的平均查询路径长度约为SWOP的80.86%仅为CAN的30.69%SCDN的远程连接是通过更新发布过程创建并维护的路径短成本低2023-6-4基于P2P和云计算的动态内容管理研究29网络维数d平均查询路径长度最大存储内容数平均查询

12、路径长度理论结果非常接近仿真结果理论分析正确性2023-6-4基于P2P和云计算的动态内容管理研究30N=1024N=4096CAN路由概率大于远程路由概率SCDN往往使用远程路由作为第一跳远程路由粗糙的全局搜索CAN路由精细的局部定位2023-6-4基于P2P和云计算的动态内容管理研究31内容更新周期MMOG文件共享系统T10s时副本一致性可以达到99%以上2023-6-4基于P2P和云计算的动态内容管理研究32节点失效率98%节点失效率=50%：路由成功率80%鲁棒性好SCDN和SWOP、CAN相比，资源发现的速度更快 N=4096，d=3时，平均查询路径长度仅为3.71跳 原因：远程连接

13、的粗糙全局搜索CAN连接的精确定位即使内容频繁被更新，仍能保证一致性 T10s时，副本一致的概率可以达到99%对于一般的文件共享系统而言，这个更新频率已经很高了即使参与节点频繁动态加入离开网络，仍能保持良好的鲁棒性 失效率=20%时，仍能保持98.83的路由成功率和4.77跳的平均查询路径长度不需要任何额外的成本用于构建和维护远程连接2023-6-4基于P2P和云计算的动态内容管理研究33实现动态内容管理SCDN模型拓扑结构相关协议理论分析仿真实验提高关联内容查询速度内容节点双向聚类存储结构二元查询仿真实验分析查询速度提高的原因小世界理论远程连接构建方式远程连接个数选取2023-6-4基于P2

14、P和云计算的动态内容管理研究34用户在一段时间内频繁访问的内容集可以视为一个内容间的松散聚类请求了同一内容的节点，可以视为一个节点间的松散聚类2023-6-4基于P2P和云计算的动态内容管理研究352023-6-4基于P2P和云计算的动态内容管理研究36节点Px的综合性能Px拥有的内容数两节点拥有内容重复的个数Px在最近一段时间满足查询的次数反馈查询结果时捎带节点内容列表贪心查询“一步”的关联查询2023-6-4基于P2P和云计算的动态内容管理研究37N=1000NK=5每次查询所需的平均消息数每个节点平均存储空间消耗2023-6-4基于P2P和云计算的动态内容管理研究38一个节点查询一个指定

15、内容一个节点查询两个相互关联的内容两个节点查询同一个内容两个节点查询两个相互关联的内容SCDN内容节点双向聚类模型提高了查询的响应速度减少了用户的等待时间关联查询不会被转发不会增加中转节点负载关联列表的构建成本低能适应动态变化的需求实现动态内容管理SCDN模型拓扑结构相关协议理论分析仿真实验提高关联内容查询速度内容节点双向聚类存储结构二元查询仿真实验分析查询速度提高的原因小世界理论远程连接构建方式远程连接个数选取2023-6-4基于P2P和云计算的动态内容管理研究39小世界效应两种构建方式：重连，添边特性：任意两个节点之间的平均距离都很短 网络具有较高的聚类系数基于小世界理论的资源发现：远程连

16、接 随机构建的远程连接：SWOP 基于距离构建的远程连接：HRing，CAN-SW 基于语义构建的远程连接：SSW，GES 其他：基于Ping的最短时间，基于节点带宽等2023-6-4基于P2P和云计算的动态内容管理研究40WS小世界网络NW小世界网络在d维网格空间，如果每个节点根据距离d次方的反比选择构建远程连接，则存在一种贪婪算法可以实现O(log2N)的平均查询路径长度，N为网络规模。Kleinberg理论并不适用于实际P2P网络 基于Kleinberg理论的远程连接在实际中难以构建和维护 节点缺乏全局知识，无法知道网络规模和节点间距离 参与节点动态变化，造成拓扑结构、网络规模和距离动态

17、变化 在实际网络中，查询对象并不是服从随机均匀分布，而是根据对象流行度服从Zipf分布 非均匀分布源节点和目标节点：Kleinberg理论并不是最有效的2023-6-4基于P2P和云计算的动态内容管理研究41两种邻居节点：直接邻居和远程邻居三种远程连接构建方式：随机选择，基于Kleinberg理论，基于历史信息2023-6-4基于P2P和云计算的动态内容管理研究422023-6-4基于P2P和云计算的动态内容管理研究43基于历史信息的查询性能最优邻居连接主要影响查询成功率远程连接主要影响平均查询路径长度基于历史信息的远程连接成本最低2023-6-4基于P2P和云计算的动态内容管理研究44网络规

18、模N远程连接个数LK平均查询路径长度N=1万3万验证了公式的有效性稳定的内容分布网络SCDN模型 双层拓扑结构 基于远程连接的资源发现和混合Push/Pull的更新发布 节点加入离开处理机制和节点类型管理 Markov链的理论分析和仿真实验内容节点双向聚类模型 内容节点双向的松散聚类结构 高效低成本的二元查询基于小世界理论的资源发现 远程连接构建方式对查询性能的影响 远程连接个数的选择2023-6-4基于P2P和云计算的动态内容管理研究45PA-Cloud模型2023-6-4基于P2P和云计算的动态内容管理研究46云是大量易用并可存取的虚拟资源（比如硬盘、平台和服务）的组合。这些资源可以动态重

19、配并不断优化调整，以适应不同的负载。这个资源组合通过按次计费的形式开发配置提供服务，并通过基础框架提供商根据定制的服务层协议进行维护。云最小化的定义可以用下列特征集合说明：可扩展性 虚拟化 按次计费的通用程序模型2023-6-447基于P2P和云计算的动态内容管理研究网络服务（Mashup）：Google Maps等软件服务（SAAS）：Google Apps、微软的office live等应用层平台服务（PAAS）：Google Apps Engine，S 的F等平台层计算服务：Amazons EC2等存储服务：Amazons S3等通信服务：Microsoft Connected Serv

20、ice Framework 等基础资源层2023-6-448基于P2P和云计算的动态内容管理研究问题：云端采用一个集中式索引管理所有的分布式存储实体 系统瓶颈 例：Google的GFS，IBM的Blue Cloud，Amazon的EC2 可扩展性建立在服务提供商不断增加资源的基础上的 成本问题 存储计算资源、带宽、能源，即雄厚资本网络的异质性：处理能力强的PC和资源受限的移动便携终端并存 负载转嫁 云计算+P2P2023-6-449基于P2P和云计算的动态内容管理研究2023-6-4基于P2P和云计算的动态内容管理研究50云计算 依赖于服务提供商 优点：易于控制，可靠性高 可扩展性成本问题P2

21、P 主要由普通用户组成 优点：成本低廉，可扩展性好 参与节点动态变化可靠性差云计算+P2P=易于控制+可扩展性+可靠性+低成本数据和视频分发需要大量交互的分布式应用：如MMOG，视频会议，IP电话等需要大量计算的应用：如：视频编辑，实时翻译适合的应用上层：服务提供商提供的核心云，用于提供稳定的存储，保证内容可用性和可靠性下层：用户节点构成的扩展云，用于提供低成本的内容管理，实现负载转嫁，保证可扩展性四种类型的节点：CP，VS，CRP和IRP2023-6-4基于P2P和云计算的动态内容管理研究51传统副本位置分为两类 内容的需求者：如查询的请求者 缺陷：副本数过多难以管理，查询过程中副本利用率低

22、 内容的非需求者：如内容的邻居节点或查询路径节点 缺陷：占用了其他节点的存储空间，私密内容泄露PA-Cloud使用基于需求的副本布局 所有的复制节点都是内容的需求节点，层次结构 首次查询核心云的CP，后续查询和操作扩展云的VS低成本的内容更新机制 沿用SCDN中混合Push/Pull的更新机制2023-6-4基于P2P和云计算的动态内容管理研究52沿用SCDN模型中CRP和IRP管理机制复制节点类型管理沿用SCDN网络中的VS，CRP和IRP的正常离开和失效处理机制复制节点离开后的处理机制提高VS处理能力热点转移减少VS的负载构建负载均衡树热点内容处理机制2023-6-4基于P2P和云计算的动

23、态内容管理研究53降低了VS负载减少了扩展云内部的通信量构建了稳定的扩展云结构提高了对热点内容的处理能力增强了可扩展性衡量：需要处理的消息数云端：PA-Cloud/纯云结构=58.50%用户端：PA-Cloud/纯云结构=145.95%2023-6-4基于P2P和云计算的动态内容管理研究54文件规模网络规模节点失效率查询频率PA-Cloud云端PA-Cloud用户端纯云结构用户端纯云结构云端PA-Cloud云端需要处理的消息数始终低于纯云结构PA-Cloud云端增幅远远低于纯云结构云端增幅2023-6-4基于P2P和云计算的动态内容管理研究55PA-Cloud通过热点转移和构建负载均衡树可以有

24、效应对网络中的查询热点PA-Cloud在服务提供商的核心云外延构建扩展云 扩展云管理动态内容，提高可扩展性，降低成本 核心云提供有效备份，保证可用性和可靠性只有内容的需求者会成为复制节点，参与扩展云的构建和更新传播 避免了内容非需求者的存储空间和带宽消耗根据用户访问内容的频率和内容更新频率决定副本更新方式 避免了用户和云端以及用户之间不必要的通信热点转移和动态构建负载均衡树 提高了系统对热点内容的适应能力PA-Cloud可以减少约四成的云端负载2023-6-4基于P2P和云计算的动态内容管理研究562023-6-4基于P2P和云计算的动态内容管理研究57创新点基于P2P的大规模多人在线游戏通信

25、平台P2P网络中的动态内容管理P2P和云计算相结合的动态内容管理2023-6-4基于P2P和云计算的动态内容管理研究58Slide模型SCDN模型内容节点双向聚类模型PA-Cloud模型基于小世界理论的资源发现逐步式的资源发现直接传递的更新发布基于乐观同步的一致性检测机制内容节点双层结构基于远程连接的资源发现混合Push/Pull的更新发布节点加入离开相关处理机制节点类型管理机制通过关联列表实现聚类二元查询机制基于历史信息构建的远程连接在实际网络环境下具有最优的查询性能，较高的鲁棒性和最低的成本扩展云：低成本的内容管理核心云：稳定的存储和备份基于需求的副本布局低成本的内容更新自适应的复制节点管理机制P2P和云计算相结合的动态内容管理网络 我们的现有工作：更新发布的负载转嫁 未来的研究方向：资源发现的负载转嫁安全问题 我们的现有工作：数据的一致性，系统的鲁棒性 未来的研究方向：用户的隐私保护2023-6-4基于P2P和云计算的动态内容管理研究59提问时间2023-6-4基于P2P和云计算的动态内容管理研究60