1、云环境下的分布式存储技术1内容1软件定义存储技术的发展2分布式存储技术 VSAN 介绍 存储形态的变化2服务器直连存储25年之前服务器直连外部存储5年以前现在服务器直连外部存储云存储变化的驱动力：变化的驱动力：服务器闪存服务器闪存 多核多核CPU 虚拟化普及虚拟化普及 云经济云经济 数据增长数据增长3IT 基础架构迈向Server SAN和超融合架构Source:IDC Hyperconverged Systems 2015-2019 Forecast$.8B$1.6B$2.4B$3.2B$3.9B20152016201720182019全球超融合系统市场状况全球超融合系统市场状况Tradit
2、ional SAN/NAS CAGR1:-17.8%1 Wikibon Server SAN Research Project 2014Enterprise Server SAN CAGR1:44.2%60%CAGR 软件定义的存储 Server SAN 计算与存储的融合4当今未来未来一切以计算为核心与CPU/Memory 捆绑低延时通过虚拟化层访问虚拟化存储闪存主宰性能以提供容量为核心白牌设备弹性，跨地域同时提供文件/对象访问扩展到云CloudObject Storage什么是软件定义存储？软件定义的存储：是将工业标准服务器的存储提供出来并通过软件控制层面实现存储的自动化和池化。它将存储的置
3、备和管理的方法简化到了极致，并利用工业标准服务器的存储大大降低了成本。软件定义的存储产品：是一个将硬件抽象化的解决方案，它使你可以轻松地将所有资源池化并通过一个友好的用户界面（UI）或API来提供给消费者。一个软件定义的存储的解决方案使得你可以在不增加任何工作量的情况下进行纵向扩展（Scale-Up）或横向扩展（Scale-Out）软件定义存储是云数据中心的重要组成部分软件定义的存储 特点7目前的方式n软件定义的存储Object-based PoolSAN/NAS PoolHypervisor Converged PoolLUNArray ALUNLUNArray BLUNLUN抽象抽象与池化
4、与池化以虚拟机为核心的以虚拟机为核心的自动化自动化SLASLA设定设定以虚拟机为粒度的数据服务以虚拟机为粒度的数据服务SAN/NASx86 ServersCloud Object Storage虚拟化层虚拟化层ReplicationSnapshots虚拟 SAN虚拟存储卷软件定义存储的分布式扩展性8纵向扩展纵向扩展添加更多磁盘添加更多磁盘IOPS容量 XX TBXXX TBXX PB横向扩展横向扩展添加更多节点添加更多节点 分布式分布式可扩展性：可扩展性：弹性弹性 按需伸缩粒度粒度 添加单个节点或磁盘无干扰无干扰 无应用程序停机简单简单且全自动自动可预测可预测避免复杂预测以及前期大量投资9软件
5、定义存储分类：控制平面 +数据平面 控制平面是关键根据不同的工作负载来动态分配存储资源。Hypervisor/OS，或者云管理软件具有优势。10软件定义存储的分类(存储资源由软件来自动控制，即存储策略驱动)Data Plane(数据平面)1）基于商用的硬件n 包括了IDC分类中VirtualStorage Appliance（简称VSA）和PhysicalStorage Appliance（简称PSA）两类。n Server SAN/HCI里有：VMware VSAN或 EVO:RAIL、EMCScaleIO、DELL Fluid Cache、HPStorVirtual、RedHatInkta
6、nkCeph、MicrosoftStorage Spaces、Nutanix、Maxta、SimpliVity、ScaleComputing、Pivot3等；n 国内有：华为FusionStorage、华云网际、达沃时代、XSKY(Ceph)、大道云行SSAN、志凌海纳SmartX、BigTera、深信服aSAN；开源的有OpenvStorage（类似Nutanix架构）；n 在ServerSAN里，非超融合架构（也即不提供计算资源）的有：主要是分布式文件系统，如GPFS、Lustre、Panasas等；n 其他SDS有：飞康、DataCore、Nexenta、国内的InfoCore(信核)等
7、，还有其他支持SolarisZFS的存储；另外还有开源的FreeNAS、NAS4Free等1011软件定义存储的分类(存储资源由软件来自动控制，也即存储策略驱动)DataPlane(数据平面)（续）2）传统的 SAN/NAS（ExternalStorage）n 支持SPBM(如Virtual Volumes)，或者OpenStack Cinder的传统外置磁盘阵列3）Cloud/Object Storagen 做为DataPlane的组成部分，实际上是以后端存储的身份为VM/App提供存储资源的。n 私有云和公有云之间，能在存储级别，实现存储的备份、归档和容灾。运行在公有云之上的VSA，即可与
8、本地存储建立数据交换。如：NetApp的CloudONTAP、SoftNAS、Zadara等ControlPlane(控制平面)1）VMware SPBM；2）OpenStack Cinder；3）EMC ViPR；4）ProphetStor（希智）的Federator；n 未来几年内，会有越来越多的数据平面未来几年内，会有越来越多的数据平面(Data Plane)的存储的存储产品，向，向控制平面开放开放API，支持存储策略驱动，支持存储策略驱动。11传统共享存储阵列的时代传统共享存储阵列的时代SSD出现之前，出现之前，CPU发展速度是磁盘的几十万倍发展速度是磁盘的几十万倍软件定义存储的发展：
9、过去、现在和未来SSD和高速网络的出现，改变了存储的游戏规则未来的主流是分布式分布式存储，分布式存储，数据靠近计算，数据靠近计算，延时更短！性能更高！延时更短！性能更高！传统外置磁盘阵列一个I/O落到盘上，要经历多个环节，延时在毫秒以上；而SSD内置在服务器里，延时在亚毫秒(也即0.1ms)级别2014年04月30日,SanDisk发布世界上第一款4TB SSD；2015年3月，SanDisk推出的InfiniFlash，单卡容量达8TB的闪存卡（64个）；2015年08月11日,三星在闪存峰会上公布世界容量最大的2.5英寸硬盘：16TB SSD PM1633a。相比之下，希捷或西部数据制造的
10、容量最大的机械硬盘只有8TB或10TB软件定义存储的现在软件定义存储的未来：Server SAN(软件定义存储中最大组成部分)预计预计5年左右年左右，Server SAN(SDS中主要的种类中主要的种类)，将占据整个全球存储市场份额的半壁江山将占据整个全球存储市场份额的半壁江山！2.The Rise of Server SAN,Jul 16,2015Source:http:/wikibon.org/wiki/v/The_Rise_of_Server_SAN企业级Server SAN预计达44.2的年复合增长率；2021年 企业级Server SAN 将是传统外置磁盘阵列的1.24倍。分布式存储
11、 VSAN 技术介绍VSAN是：内嵌在vSphere内核的分布式的对象存储聚合了虚拟化管理程序的极其简单的虚拟机存储 vSphere+Virtual SAN.软件定义的存储针对虚拟机进行了优化超融合体系架构（分布式，横向和纵向扩展）可在任何标准可在任何标准 x86 服务器服务器上运行上运行将 HDD/SSD 池化为共享数据存储提供企业级的可扩展性和性能基于策略的自动化，满足SLA，可按虚机甚至vmdk级别的颗粒度设置存储策略与VMware产品体系深度集成概述概述硬盘硬盘SSD硬盘硬盘SSD硬盘硬盘SSDVSAN 数数据存储据存储用来取代用来取代vSphere后端的传统外置磁盘阵列后端的传统外置
12、磁盘阵列17存储策略向导存储策略向导SPBMVSAN 对象VSAN 对象对象管理器管理器虚拟磁盘(vmdk)VSAN 对象可能(1)跨主机进行镜像，以及(2)跨磁盘磁盘/磁盘组/主机进行条带以符合虚拟机存储配置文件策略数据存储配置文件数据存储配置文件存储策略决定服务级别（包括确定数据如何布局）从上至下，围绕着业务从上至下，围绕着业务/虚机为中心虚机为中心每个虚机甚至每个vmdk在置备时都可配置各自的个性化QoS的属性。用户以策略的形式指定所需设置，然后VSAN会自动决定如何在集群中为每个vmdk分配存储资源，以满足用户的QoS需求共享存储生产集群冗余交换机管理集群传统方式虚拟化资源池环境传统方
13、式虚拟化资源池环境存储单点故障风险容量和性能无法同步扩展存储维护配置复杂传统存储的局限性NAS19 VSAN相对于传统存储方案的优势更简单更简单n内嵌于vSphere,无需安装n虚拟机存储策略驱动，不再需要存储设备上的操作n和虚拟化单一界面管理，维护更方便更快速更快速n通过SSD缓存加速技术，IO性能大幅提升n分布式弹性扩展，节点内垂直扩展，容量和性能线性扩展更可靠更可靠分布式存储架构，节点冗余技术，消除存储单点故障风险更更高效高效n融合部署，提升资源利用率n最短存储路径，虚拟机感知的虚拟化存储池适合投适合投资保护与未来发展资保护与未来发展降低外部存储的配置成本互联网存储模式，符合未来数据中心
14、虚拟化 的发展方向需要操作需要操作传统传统存储存储VSANRaid组创建LUN划分ZoningLUN Masking/Mapping多路径软件安装配置Disk Group创建存储策略创建VM存储策略选择虚拟机存储配置方式比较虚拟机存储配置方式比较人工操作人工操作 VS 自动化策略自动化策略Virtual SAN 数据数据存储集群存储集群Virtual SAN-从根本上简化存储Virtual SAN-利用缓存提升性能 所有虚拟机 I/O 均指向 SSD。写入内容稍后会转储到 HDD。如果请求的读取数据块不在缓存中，会将该请求定向到 HDD硬盘SSDvSphereVSANVSAN 数据存储12写入
15、(30%)硬盘SSDvSphereVSANVSAN 数据存储12读取(70%)Virtual SAN-可用性与性能虚拟机存储对象(主目录、VMDK、增量、交换)可以分布在 VSAN 集群中的多个主机和磁盘内。虚拟机可以使用复制副本提供可用性，或使用条带提供 HDD 性能硬盘硬盘SSDSSD硬盘SSD虚拟机 1 的副本与条带虚拟机 2 的副本与条带vSphereVSAN264Virtual SAN 数据数据存储存储集群集群Virtual SAN-恢复能力极强通过虚拟机的存储策略实现存储自动分配 按照存储策略为虚拟机调配存储资源。策略在创建后便向下发送到VSAN，然后按照策略中的功能实例化虚拟机对
16、象。借助VSAN，单个数据存储现在可以针对各个虚拟机或各个虚拟磁盘强制实施不同的服务质量(QoS)级别。VSAN数据存储白银级白银级可用性=x性能=y容量=z虚拟机存储策略白银级黄金级青铜级青铜级按需定制存储策略每个对象的磁盘条带数 Number of disk stripes per object存储对象的各个副本所跨的HDD数量。用于改善性能，缺省为1，最大12。允许的故障次数 Number of failures to tolerate 定义存储对象能够允许的主机、网络和/或磁盘的故障次数。可用性保障，缺省为1，最大为3。对象空间预留 Object space reservation 应
17、预留的存储对象(包括快照)逻辑大小百分比(厚配置)。闪存读取缓存预留 Flash read cache reservation预留闪存容量，作为存储对象的读取缓存。用于提升性能，缺省为0，最大100%。强制调配 Force provisioning在数据存储不能满足资源时是否进行调配。白银级白银级可用性=x性能=y容量=z虚拟机存储策略简化存储变更操作，提升效率传统方式1.将虚拟机从数据存储迁移走；2.卸载LUN/卷；3.创建新的LUN/卷以满足虚拟机对存储需求的变化；4.如果是块设备，使用VMFS格式化LUN；5.将虚拟机迁移到新的数据存储。VSAN1.编辑或创建新的存储策略；2.将存储策略
18、应用到虚拟机。vs.Scale UPAdd more DisksIOPSCapacity40 TB400 TB4.4 PBScale OUTAdd more nodes 弹性弹性 按需增减 颗粒颗粒度度 单节点或磁盘 非破坏性非破坏性 业务不中断VSAN可以根据性能和容量需求进行线性扩展27分布式存储 SAN 6.0 性能参数28Hosts/Cluster326464VMs/Cluster320064006400VMs/Host100200200IOPS/Host20K40K100KSnapshot depths23232VMDK Size2TB62TB62TBVirtual SAN5.5Vi
19、rtual SAN6.0 混合混合Virtual SAN6.0 全闪存全闪存分布式存储VSAN其它特性29第 4 代 Virtual SAN 具有重要的新功能特性企业就绪支持IPv6网络软件校验和（Software Checksum）增强的Horizon集成已经过SAP测试且已就绪适用于VMware Photon的VSAN技术预览版极其简单极其简单QoS（IOPS限制值）性能监控和容量监控Health Check集成到vSphere Web Client内最低成本最低成本去重 压缩 纠删码Client Cache和Sparse Swap30特性一和特性二：去重和压缩（提高空间效率）n 支持全闪
20、存n 按照磁盘组的级别，实现近线的去重和压缩叫做“提高空间效率”磁盘组越大，去重比率越高n 去重和压缩在集群级别激活n 当数据从缓存层De-staging（刷新）到持久化层时实现去重，在去重后实现压缩去重在缓存写确认后执行固定大小的块去重(4KB 数据块)n 在VSAN Stretched Cluster和ROBO方式下也支持去重和压缩30Betaesxi-01esxi-02esxi-03vmdkvmdkvSphere&Virtual SANvmdkAll Flash Only31特性三 纠删码：RAID-5 Erasure Codingn “FTT=1”高可用性 RAID-5 3+1(最少4
21、台主机，并非4的倍数，而是4台或更多即可)1.33倍的开销，以往的开销是两倍倍的开销，以往的开销是两倍以往20GB数据消耗40GB空间,现在约为27GB 可以实现在vmdk的颗粒度上，在VMware SPBM（基于存储策略的管理）里设置 不支持VSAN Stretched ClusterRAID-5ESXi HostparitydatadatadataAll Flash OnlyESXi HostdataparitydatadataESXi HostdatadataparitydataESXi Hostdatadatadataparity32特性三 纠删码：RAID-6 Erasure Cod
22、ingn“FTT=2”的高可用性 RAID-64+2(最少6台主机)1.5倍的开销，以往的开销是倍的开销，以往的开销是3倍倍以往20GB数据消耗60GB空间,现在约为30GB可以实现在vmdk的颗粒度上，在SPBM里设置不支持VSAN Stretched ClusterAll Flash OnlyESXi HostparitydatadataRAID-6ESXi HostparitydatadataESXi HostdataparitydataESXi HostdataparitydataESXi HostdatadataparityESXi Hostdatadataparity33特性三：存
23、储策略里可按vmdk设置Erasure Coding特性四：IOPS限制（QoS）34New in 6.2 基于每个虚机或每个vmdk，能以可视化的图形界面来设置IOPS的限制值 一键即可设置 消除noisy neighbor（相邻干扰）的不利影响 可以在vmdk的颗粒度上满足性能的服务等级协议（SLA），在SPBM里设置 在一个集群/存储池，可以为不同虚机/vmdk，提供不同的性能，将原本可能相互影响的负载区分开来 用户在图形界面中，可以看到每个vmdk的IOPS值，并通过颜色(绿色,黄色,红色)判断实际IOPS与IOPS限制值的关系 计算IOPS时，包括vmdk及其快照的读写操作vSphere+Virtual SANvSphere&Virtual SAN谢谢大家！
