1、华为华为OceanStor9000技术技术主打胶片主打胶片Volume：数据量巨大Velocity：分析处理速度快Variety：种类和来源多样化 集中储存/集中计算已经无法处理巨大的数据量 日志/图片/视频/文档/地理位置 海量数据的及时有效分析 Value：价值密度低，商业价值高 大量的不相关信息进行复杂深度分析，深挖价值Source:IDC32%63%年增长率结构化数据 非结构化数据80%60%40%20%0%0.20.8非结构化数据结构化数据视频网站每天上传百TB数据终端用户每天产生数十TB日志数据每分钟290万封邮件电子商务实施翻译，以促成订单，增强用户黏性移动互联网广告迅速调整，实
2、现对于广告需求的精确满足社交网络快速分析用户行为，实现精准营销物联网日本大地震后9分钟发出海啸预警 业务1服务器存储业务2服务器存储业务3服务器存储服务器存储网络网络网络网络云化IT系统服务器存储服务器存储服务器存储网络网络网络q 容量扩展和信息孤岛的问题带来管理池化的需求q 并行运算、云计算带来的性能扩展问题q 扩容、维护工程的复杂性带来的管理问题传统技术面临大数据的扩展困境性能成本q 数据按照热、温、冷分级管理，带来数据割裂，自动化程度低，数据迁移代价高，时效性差，管理复杂q 大数据处理中需要高性能系统的支撑，而性能的提升往往带来成本的压力传统技术面临大数据生命周期管理的挑战SANNASo
3、rNASSAN结构化非结构化非结构化结构化q 对于结构化与非结构化数据的处理需要采用分离式系统，购置多套设备，分散管理存储系统分析系统数据源中间数据分析结果数据导入数据分析q 存储和分析系统分离，需要大规模数据迁移和装载，降低处理效率传统技术面临多种数据类型的挑战OceanStor 9000大数据存储以融合替代割裂以规则应对不规则以简单化解繁琐 以融合的系统架构替代高代价的数据迁移 以规则的横向扩展应对不可预期的数据增量 以极简的配置部署化解繁琐的系统管理应用层数据处理层硬件节点层P系列节点C系列节点InfoTier(动态分级)InfoAllocator(配额)InfoLocker(WORM)
4、InfoReplicator(远程复制)InfoStamper(快照）I系列节点数据分析HPC视频监控媒体与娱乐精准营销文件存储备份、归档软件与Hadoop生态系统对接分布式数据库备份、归档商业推广OceanStor DFS(WushanFS)FTPNFSCIFSJDBCODBCHDFSNDMPSecureVideo（视频图像修复）容量系统容量 业界第一1.2倍华为VS业界最高60PB50PB(EMC isilon)扩展能力 业界第一2倍华为VS288个业界最高144个(EMC isilon)60PB容量288节点复杂简单传统NAS存储OceanStor 9000管理不同文件系统10GB/s的
5、带宽需求高清制作新闻制作媒资管理融合生产2-25分钟2分钟0.5分钟2.5分钟排队等待定位抓取磁带加载文件传输在线媒资库近线带库在线存储0-5分钟2.5分钟排队等待文件传输7分钟-30分钟 2.5分钟-7.5分钟OceanStor 9000统一命名空间Tier1Tier2Tier3现场低并发处理1分钟：基于分级的跳跃式回迁磁带型号标称容量(压缩比2:1)native容量网上参考价格（人民币）每TB的native容量的价格IBM LTO53TB1.5TB420元280元/TBIBM LTO41.6TB0.8TB320元400元/TBIBM LTO3800GB0.4TB240元600元/TB每年约
6、15%降幅LTO标准磁带每2年更新1代，价格呈降低趋势。以IBM磁带为例：每年约20%降幅如没有创新性技术，2017年磁盘和磁带价格持平，2018年将磁盘价格低于磁带；SMR技术的使用，磁盘和磁带价格持平的时间会提前，推测为20152016年。磁盘的成本逆袭（更快的价格降幅）冷数据资产无带化，在线应用，瞬间回迁应用层文件系统层网络层系统集成视频监控行业视频云中心智能分析实时调阅图像侦查人脸对比GIS系统共享 分析 归档联网 存储池OceanStor 9000业务系统地铁商业道路小区视频采集融合汇聚，更大范围快速高效，更快响应数据安全，更可信赖开放架构，海量空间，简单易接入保证各种来源的视频数据
7、融合并行架构，弹性能力，多处理模式保证各种类型的数据视频高效分析分布RAID，弹性冗余，自动容灾保证关键视频的持久可信赖S 数据分散校验存储多个节点，多个节点故障数据不丢失，业务不停顿l关键视频4级冗余 关键视频最高可达4级冗余，可实现4份冗余校验l容灾保护 关键视频自动容灾备份，关键视频0丢失容灾保护关键视频弹性冗余分布式数据冗余+1+2+3+4弹性冗余快速恢复多层视频安全技术高性能计算行业模拟地震波地震资料处理油藏模拟成像可视化地震资料收集石油勘探业务分析地震资料处理过程计算能力数据处理p随着处理精度的增加、算法复杂度的增加，对计算能力的需求持续增加p随着勘探面积的扩大和数据采集密度的增加
8、，对数据处理能力的需求急剧增加常规处理叠前时间/深度偏移处理叠后常规处理 石油勘探业务流程：1.反射波数据采集：野外人工模拟地震波，通过仪器收集反射波情况。2.地震资料处理：把采集所获得的地震波在地层中传播的运动学和动力学信息进行去伪存真处理，转化为地质信息。3.油藏模拟：经过计算分析，反推出地下的生油、储油、盖层的地质构造特点。性能大量的地质数据需要计算、处理和分析，要求存储系统提供5GB/s以上的数据吞吐率需要提供PB级单一命名空间，存储原始地震数据和计算中间数据石油勘探对存储的关键诉求支持空间配额管理，存储资源可以灵活的划分给不同的计算任务（计算节点）可靠性扩展性易用性原始地震资料和过程
9、数据需要长期保存，要求存储高可靠，数据不丢失基因测序的业务流程：基因测序(454)：DNA文库制备、PCR扩增和焦磷酸测序，中间数据保存月半年左右，一年后归档；数据分析：测序得到的原始数据是长度只有几十个碱基的序列，将这些短的序列组装或者比对到已有的基因组或者相近物种基因组序列，分析得到有生物学意义的结果；基因库保存：储存和管理本国特有的遗传资源、生物信息和基因数据。基因数据库Trace数据库/SRA数据库基因测序分析结果数据分析基因库保存自然生物国家级基因库基因序列基因组学研究产生的海量数据正以每12-18个月10倍的速度增长，已远超越著名的摩尔定律，这使得众多生物企业和科研机构面临强大的数
10、据分析和存储需求。人类健康动植物研究微生物研究药物研发性能扩展性智能归档需要数GB/s甚至数10GB/s的吞吐，满足上百个计算节点并行处理I/O需求需要数PB甚至数10PB的存储容量，以应对数据增长过快的压力需要智能的归档策略，以便将历史数据归档至高性价比的存储介质卫星测绘的业务流程：1.卫星信号处理：将获取的高频载波信号进行编解码处理，过滤出需要的影像数据；2.卫星影像数据处理：对影像数据进行去“云雾”、逻辑分景、立体图像等处理；3.天地图应用：卫星测绘应用中心对外提供的在线地图应用，涉及到大量的地图缩影文件；4.离线存档：每隔七天，将处理完的逻辑分景及立体图像等数据离线归档到磁带系统中；5
11、.数字地形产品应用：分析某时间段内行政区域的地形变化，涉及到从离线磁盘系统导入数据到分析系统中。编解码处理卫星信号处理数字地形产品应用在线高端存储天地图应用WEB服务器群LAN Free离线磁带库分析存储分析工作站ETL卫星影像数据处理分布式文件系统卫星信号接收与处理离线存档Oracle 数据库编辑工作站性能扩展性智能归档需要数GB/s甚至数10GB/s的吞吐，以便及时处理超大的卫星影像数据文件需要数PB甚至数10PB的存储容量，以便永久保存超大的卫星影像数据文件需要智能的归档策略，以便将历史数据归档至廉价的存储介质中数据增长迅速，如何与业务相匹配？多套系统，分散的数据，如何简化管理？数据如何
12、快速流动，有效装载？50%数据需要长期保存，如何智能归档？生产系统分析系统归档系统计算 头节点计算节点队列1计算节点队列2计算节点队列3核心交换机（万兆或InfiniBand交换机）千兆GE交换机数据采集用户查询访问 万兆以太网络或InfiniBand网络 千兆以太网络OceanStor 9000万兆或InfiniBand交换机l全球领先的读写性能，单节点1.6GB/s吞吐，超过500万+OPS，400GB/s带宽，充分满足高性能应用的需求高性能弹性扩展高可用简单易用l3288节点线性扩展，单一文件系统容量可达60PB，满足未来业务发展l整体性能随存储节点数量线性增长l全对称架构，采用节点间分
13、布式RAID技术，系统无单点故障，长时间稳定运行，数据更安全l实现数据的全生命周期管理l全方位可视化统一资源管理，自动化统计及分析，管理更简单海量文件存档分行票据影像存储系统ECM集群银行业务系统索引数据库后督系统稽查系统配置管理库ECM集群数据清理Hadoop分析集群业务系统ECM前置缓存ECM及分析系统银行归档平台柜员集中作业系统远程集中授权系统票据影像集中归档存储集群NFSCIFSSQLHDFSOceanStor 9000大数据存储系统以弹性扩展的存储架构，满足百亿级文件管理并提升归档查询效率数亿级海量文件，秒级查找效率比传统文件系统查找效率提升10万倍以上创新的索引查找文件路径变形金刚
14、.avi/娱乐/电影/变形金刚3.avi卷珠帘.mp3/娱乐/音乐/流行/卷珠帘.mp3时间都去哪儿了.mp3/娱乐/音乐/流行/时间都去哪儿了.mp3./娱乐电影变形金刚3.avi工作程序流行时间都去哪儿了.mp3卷珠帘.mp3古典驱动Word.exeExcel.exePPT.exe文档Sogoupinyin.exe办公系统传统逐级遍历时间都去哪儿了.mp3音乐/资料娱乐电影变形金刚3.avi工作程序流行卷珠帘.mp3古典驱动Word.exeExcel.exePPT.exe文档Sogoupinyin.exe办公系统音乐资料（以1亿文件为基准）20小时 VS 0.1秒高性能存储节点大容量归档节
15、点SATASASSSD业界独有的可编程归档策略存储区归档区SELECTSELECT fid,filepath FROMFROM file_meta_data WHEREWHERE owner=“金庸”ANDAND type=“小说”ANDAND compile age “1970s”（归档金庸在1970年以前创作的小说）数据价值决定存储位置，自动实现资源最优l在提供大容量的前提下，能够提供超过2.4GB/s的吞吐量；l可持续扩展的存储架构，满足未来业务高速增长的扩展需求。业务挑战l部署一套华为OceanStor 9000存储，结合业务与上层应用“中科大洋编辑软件”适配，满足实际业务2.4GB/
16、s的吞吐量需求，可支撑40台精编工作站同时实时编辑；l支撑多台打包、传输、配音工作站工作以及岛间数据交换等。解决方案l高可靠，24小时不间断运行，为央视编辑业务提供持续支撑；l运维和扩容简单，横向扩展，支持性能及容量在线平滑扩容。客户收益关键点：分布式架构，高性能，高可靠l建成一个大型虚拟化存储资源池，实现资源共享，按需分配调度，减少媒体数据在各独立存储间的流动；l要求总带宽13.375GB/s，总有效存储容量1,100TB，系统性能和容量能够灵活扩容业务挑战l10GE组网，配置30个存储节点（在线20节点，归档10节点）l在线和归档相结合的整体架构，在线存储采用高性能配置，归档存储采用大容量
17、配置，对媒体以及其它非媒体文件进行分级存储l扩展能力强，可扩展到288节点解决方案l全IP组网，高吞吐、大容量和资源共享，满足当前业务需求l架构先进，性能和容量随节点数增加呈线性增长，满足未来业务发展需求l全冗余部署，N+M数据保护，保障客户业务的可靠性客户收益“华为OceanStor 9000存储，存储带宽线性增长，每多增加一个节点性能增加1倍，不像其他厂家增加节点涨量不涨性能。”-赵为纲，深圳广电集团技术中心主任l各行政区域分散建设，无法统一管理和调度，资源使用不均；l网络化、高清化转型，需要对现有前端系统升级改造；l根据业务规划，未来需要对高清图像进行智能分析和预警识别业务挑战l华为视频
18、云存储解决方案，为12,000路摄像头提供存储空间l一期配置2PB OceanStor 9000，未来会扩容至15PB容量l配置N+2:1的冗余算法，在磁盘利用率和可靠性之间取得最佳平衡解决方案l构建统一的资源池供全市业务系统使用，提升资源利用率l高达288节点的扩展能力，满足未来数据存储容量的增长需求l面向未来，具备向视频分析的平滑演进能力客户收益关键点：分布式架构，扩展性，单一命名空间l需对现网的1,500路摄像头进行高清化改造，并新建3000路摄像头l对视频数据实时查阅和联网共享需求l集中建设模式，需具备专业存储设备可靠性，保障关键数据业务挑战l华为视频云存储解决方案，总计容量超过25P
19、Bl视频存储：供4,500路高清摄像头使用，保存时间30天l实时显示：部分摄像头数据经数据中心直接在中心大屏显示l支持针对历史视频调阅，支持在政务平台平台取阅解决方案l良好的弹性，未来摄像头扩容后，存储系统仍具备良好的容量扩展能力，减少采购成本；l专业存储技术：视频修复，数据恢复，关键视频容灾等技术，提升设备可靠性，保障关键数据安全客户收益关键点：集中建设方案，扩展性，三大专业存储关键技术l写入压力:每天需归档38个分行和总行约2,000万笔交易影像数据l查询压力：3年归档的交易纪录达到100亿条，15年达400亿条，在线系统查询反应速度要求秒级，现有光盘塔无法满足归档要求l存储压力：归档数据
20、需保存15年，预测数据量将超过60PB，需要海量存储及在线扩容能力业务挑战l根据业务量划分4个分区，共部署38套OceanStor 9000，用于存储归档数据l采用N+M冗余配置，充分保障数据的可靠性解决方案l效率提升：采用NAS存储替代光盘归档，有效提升数据的检索和查询速度，消除了手工查找光盘塔的困扰；l管理简单：采用单一文件系统，并且实现设备集中统一管理，使用和管理都很简单；l面向未来：OceanStor 9000采用全分布式架构，具备良好的弹性扩展能力，性能容量线性增长，能满足建行长达15年的存储需求。客户收益华为OceanStor 9000采用先进的Scale-out全分布式架构，在可靠性、可扩展性、性能和可维护性上处于业界领先水平，多个节点并发访问，可提供高并发、高带宽、低时延的存储性能，满足建行的应用需求。-中国建设银行
