1、1 1全闪存阵列的设计与实测专业存储领域领导品牌21全闪存阵列设计目录2典型应用场景与实测案例3什么是闪存？闪存的出现：去除在线存储系统内唯一的机械部件磁存储方式、机械臂电存储方式、芯片4闪存的显著优点 性能高固态硬盘I Intel ntel DC S3610 400GBDC S3610 400GBSAS15KSAS15K希捷ST300MP0005ST300MP0005SAS10KSAS10K希捷ST1200MM0088ST1200MM0088SAS7.2KSAS7.2K希捷ST4000NM0033ST4000NM00334K随机IOPS8.4w(读)2.5w(写)18015576顺序读MB/
2、s550(读)400(写)160233108215175平均延迟55s(R)66s(W)2ms+3.5ms2.9ms+3.5ms4.16ms+9ms 固态硬盘的随机读写性能是传统磁盘的数百倍，延迟只有传统磁盘的一百至数百分之一！5闪存性能举例45万IOPS1536块传统硬盘过去需要1536块硬盘完成的任务，在今天的全闪存上只需要20块硬盘！6闪存的显著缺点 擦写寿命与写放大擦写寿命：SLC：典型擦写寿命10万次MLC：典型擦写寿命1万次eMLC：典型擦写1.53万次注：当然根据制程不同，又略有区别写入放大：SSD是以1 page（如4K）写入，而擦除则是以block（128*4K）为最小单位。
3、当发生数据更改时，需要先擦除，而擦除block就需要将其中有效的page移动并写入到其他位置，于是就发生了写放大问题。7闪存的典型寿命举例SATA接口的耐磨度和最大容量：Intel 3710：10DWPD，Max 1.2TB Intel 3610：3DWPD，Max 1.6TB Intel 3510：0.3DWPD，Max 1.6TB 三星SM863：3.6DWPD，Max 1.92TB 三星PM863：0.8DWPD，Max 3.84TB高可靠领域：10*1.2=12TB/天传统阵列中的二级读缓存典型的全闪存阵列配盘DWPD(Disk Write Per Day)(全盘磁盘写/每天)8基于闪
4、存的三种阵列传统阵列：常见形态传统阵列+少量SSD盘，SSD盘用作二级缓存，提升性能。二级缓存以读居多。混合阵列：常见形态闪存+机械硬盘混合的阵列，闪存、机械硬盘都用于存放数据。数据可在闪存及机械硬盘之间进行迁移。全闪存阵列：未来的方向只采用闪存用作存储介质的阵列。闪存的性能完全不同，全闪存阵列需要完全不同的硬件架构！闪存的特性完全不同，全闪存阵列需要完全不同的软件处理方式！9 关于全闪存阵列的不同设计思路（EMC）关键字：横向扩展节点（不是最强的）0.5ms的延迟（不是最强的）采用XDP与重删，提高利用率采用eMLC降低成本注重性能与功能的平衡n基本单元1个UPS2个控制器1个磁盘框10 关
5、于全闪存阵列的不同设计思路（IBM）关键字：特殊设计的硬件，追求极致性能，如4模块200万4K随机IOPS低于200s的延迟基本没有高级特性借助SVC等实现高级特性11全闪存阵列的不同设计思路（华为）关键字：采用传统双控存储硬件不横向扩展、只纵向扩展宣传最大IOPS 60万，延迟0.5毫秒功能特性丰富12宏杉全闪存阵列的设计思路闪存的性能完全不同，因此，全闪存阵列需要完全不同的硬件架构！闪存特性完全不同，因此，全闪存阵列需要完全不同的软件处理方式！硬件架构优化横向扩展设计引擎处理能力设计硬盘通道设计软件架构优化全局磨损平衡写入优化性能与功能的平衡13MS7000AF横向扩展硬件架构控制矩阵（8
6、引擎扩展）SSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSD硬盘通道1010核2020线程1010核2020线程1010核2020线程1010核2020线程1.5TB1.5TB高速缓存主机通道横向扩展：通过控制矩阵，可横向扩展至8个控制引擎（PCIE3.0或40Gb/100Gb低延迟以太网）；纵向扩展：多个独立的384Gb通道扩展6个硬盘框（SAS3.0）；14单引擎处理能力SSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDSSDS
7、SDSSDSSDSSDSSD硬盘通道1010核2020线程1010核2020线程1010核2020线程1010核2020线程1.5TB1.5TB高速缓存主机通道15硬盘通道设计全新设计的硬盘通道，确保吞吐性能，是传统存储的4倍以上传统SAS架构：采用24Gb SAS2.0或4Gb FC连续；每个硬盘柜2条链路上行，2条链路向后端纵向扩展；宏杉SSD架构：采用48Gb SAS3.0连接；每个硬盘柜8条链路上行，不纵向扩展；每个硬盘柜25盘，每6个SSD独享2条48Gb SAS3.0通道前端总线CPUCPU后端总线前端总线CPUCPU后端总线SAS SAS SAS SAS SASSAS SAS S
8、AS SAS SAS纵向继续扩展传统SAS架构24Gb SAS2.0/4Gb FC48Gb SAS3.0X2前端总线CPUCPU后端总线前端总线CPUCPU后端总线SAS SAS SAS SAS SASSAS SAS SAS SAS SAS不纵向扩展SSD架构X8瓶颈瓶颈16全局磨损平衡基于Cell的RAID3.0 AF技术全局磨损平衡：CRAID3.0将硬盘分块并打散到所有硬盘，实现全局硬盘磨损平衡；17写入优化n 重写软件代码，减少数据回读，满条带刷盘，RAID5写入放大控制在1.6倍左右；n 同等业务条件下，采用RAID10可以更有效减少回读，提升IO效率。实际测试n MS7000AF配
9、置1个SSU配置25块盘4组6块盘RAID10/1块全局热备盘n 性能延时低于1ms，混合IOPs（70%读+30%写，8KB全随机）30万（1个SSU）18性能与功能的平衡生产卷双活卷主机B存储引擎A A存储引擎B B虚拟卷数据中心A A40GE/RDMA灾备卷存储引擎A A数据中心C C数据中心B BGE/10GE复制快照镜像自动精简双活工作模式可选择n性能模式：去除复制、快照等高级特性，缩短IO路径，提供极致性能；n提供“功能模式”可供选择，在功能模式下，提供足够的性能，同时保留快照、复制等高级特性；19MS7000AF规格项目描述MS7000AFMS7000AF架构多引擎架构，支持1-
10、8个引擎横向扩展处理器（每引擎）2*2路Intel多核处理器最大缓存能力（每引擎）1.5TB硬盘柜扩展能力（每引擎）6（每硬盘柜25盘位）硬盘柜接口（每磁盘柜）8*4*12GbSAS接口IO模块类型8Gb/s FC模块、16Gb/s FC模块10Gb/s iSCSI模块、40Gb/s iSCSI模块IOPS（每引擎）300,000（8K全随机，70%读+30%写混合）延迟1ms20对比EMC XtremIO 4.01、测试模型：70%读+30%写，8KB全随机2、EMC数据为官网标称数据，宏杉为实验室实测数据宏杉MS7000+SSU宏杉MS7000+SSU宏杉MS7000+SSU宏杉MS700
11、0+SSU宏杉MS7000+SSUEMCStarter X-BrickEMC1 X-BrickSSD盘数量24（可扩展至50）1224122415（可扩展至25）25Rack Space7U（9U）7U7U7U7U6U6U性能（8K全随机，70%读+30%写）300K300K100K200K200K60K120K150K150K150K平均延时0.9ms0.9ms0.5ms0.5ms0.5ms0.5ms0.5ms0.5ms0.5ms0.5ms最大带宽6GB/s6GB/s6GB/s6GB/s6GB/s6GB/s3GB/s3GB/s3GB/sRAID类型10101055XDPXDP211全闪存阵列
12、设计目录2典型应用场景与实测案例22闪存的典型应用场景1234索引数据仓库OLTPOLTPVDIVDI随机顺序读取密集型写入密集型索引 维护索引以实现更快的数据访问 在数据库上运行以加快查询数据块的定位数据仓库 存储的数据用于创建报告或者获取商业智能 用于数据挖掘、分析、假设检验、建模OLTPOLTP零售、金融等面向交易应用如果数据无法访问或者访问速度缓慢，业务可能会受到影响的应用在使用高峰期间，客户体验可能会受到影响的应用VDIVDI在集中式服务器的虚拟机上承载桌面操作系统实现黄金映像的快速检索存在启动风暴、写入分配和延迟等问题闪存的最佳应用：交易性、密集IO的工作负载23实测案例：数据库加
13、速（某集团）测试环境业务软件：用友NCNC系统报表处理数据库：Oracle 12Oracle 12小机：Power 840/AIX 7.1Power 840/AIX 7.1厂商存储阵列任务耗时间原有存储系统原有混合阵列01:03:40IBM测试存储FlashSystem 840；20TB；00:44:36宏杉测试存储MS7000AF；20*400GB SSD00:42:49IBMIBM原有传统阵列宏杉00.511.5处理时间(小时)传统阵列IBM FS840宏杉MS7040AF宏杉科技MS7000AF实测试性能优于IBM FS84024实测案例：服务器虚拟化（某银行）测试环境平台软件：VMwa
14、re5.1/SUSE/DD服务器：4台Dell R720测试方法1、4台物理机，每台物理机内创建1台虚拟机（SUSE）；2 2、4台虚拟机中同时运行DD脚本读写数据，块大小1K1638K测试结果记录每一个数据块下，存储的读写性能；厂商存储阵列IBMFlashSystem 900；21TB；宏杉MS7000AF；25*400GB SSD05001000150020002500300035001k2k4k8k16k32k64K128k256k512k1024k2048k4096k8192k16384kMS7040AF(读)F900(读)MS7040AF(写)F900(写)宏杉科技MS7000AF实测试性能优于IBM FS900MB/s2525谢谢大家！
