1、内容简介什么是云计算云计算解决方案的特点:按需自助服务广泛的网络访问资源池快速弹性测量服务云计算模式简介混合云是一种将两个单独的云(公共云和私有云)绑定在一起的技术,以组合和补充每个云提供的优势公共云是云服务提供商提供的供公众访问和使用的基础架构,平台或应用程序服务私有云是一种私有的且受用户自管理的云,其提供类似于公共云的优点,但是被设计使得用户在自己的数据中心管理和维护私有云的基础设施数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统IaaSP
2、aaSSaaS本地部署云计算服务模式如何理解IaaS PaaS和SaaSIaaS目标用户是企业内部架构师,基于云平台提供底层基础架构服务。PaaS目标用户是应用开发者,提供各种预制的托管的开发环境。SaaS目标客户是终端用户,为企业提供最终解决方案。到底该如何理解云平台服务模式呢快速理解IaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统IaaS快速理解PaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统PaaS快速理解SaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统SaaS网络存储服务器虚拟化操作系统中间件运行环境数据应用网络存储服务器虚拟化操作系统中间件运行环境数据应
3、用网络存储服务器虚拟化操作系统中间件运行环境数据应用网络存储服务器虚拟化操作系统中间件运行环境数据库应用私有云计算(laaS、PaaS)实例1)如果你自己买了服务器,要托管在集团数据中心:2)你直接向数据中心申请服务器资源:3)如果有需要,数据中心连中间件和运行环境也提供:4)我们的数据中心,甚至可以直接提供数据库资源:服务的类型服务可用性那些服务可以优先上云不适应迁移到云上的服务新服务如何部署云原生原则12-factor容器即服务CaaS快速理解容器即服务CaaS其实还没完,还有FaaS妈妈再也不担心我封装服务了更多的XaaS内容一览26IAAS定义基础设施即服务(实用计算、虚拟化)laaS
4、 提供服务的架构InternetInternet映像管理资源部署服务目录&门户服务管理用量计量&计费统计报表资源性能管理浏览器用户用户物理系统云计算服务Telnet,ftp,.云主机云存储云主机网络资源申请资源访问物理资源的转变资源管理浏览器云存储云主机服务器网络存储服务器和存储刀片服务器开放异构的硬件29IAAS应用特点及优势30PAAS定义平台即服务最中间基于互联网的应用开发环境应用编程接口和运行平台等,并且支持应用从创建到运行整个生命周期所需的各种软硬件资源和工具32PAAS应用特点及优势33PAAS应用实例35SAAS定义软件即服务普通用户企业团体减少了客户安装和维护软件的时间和技能等
5、代价通过按使用付费的方式来减少软件许可证费用的支出37SAAS应用特点及优势38SAAS应用实例40总结主要内容什么是SDN?l解耦控制平面和数据平面 逻辑上集中网络智能和状态 将底层网络基础设施从应用中抽象出来l在通用硬件上执行和运行控制平面软件 解耦传统网络设备固件 使用商用服务器和交换机l数据平面可编程 集中维护、控制数据平面及对数据平面状态编程 lSDN结构不仅限于控制单个网络设备,而是控制整个网络SDN至于企业的意义l超大型云计算平台:在低成本硬件上自己开发软件(Google)希望用到自定义的功能和协议(Yahoo)白盒硬件+开源软件(Facebook)l普通用户需求 更快速的软件开
6、发 可编程网络模块 快速就位 集中化管理SDN的起源和大事件Google SDN带来的启发主流SDN组织l 2大SDN组织:Open Networking Foundation-ONF:由Microsoft,Google,Facebook联合提出和发起,成立于2011年,推动SDN的标准化的非营利性组织,目前已经制定了OpenFlow协议和OF-Config版本的标准Open Daylight-ODL:于2013年成立,由Brocade,Cisco,Citrix,IBM,Juniper,Red Hat,Microsoft,VMWare,HP,Intel,Ericsson等18家厂商发起。l 2
7、大SDN组织的区别:ONFODL目标制定SDN标准,推动SDN产业化打造统一开放的SDN平台,推动SDN产业化 主要任务制定唯一的南向接口标准OpenFlow,制定硬件转发行为规则不制定任何标准,打造一个SDN系统平台,利用现有一些技术作为南向接口与OpenFlow的关系其唯一的南向接口包括OpenFlow1.0、1.3,BGP-LS 等,OpenFlow是其南向接口之一,北向接口暂无任何北向接口标准化定义了一套北向接口API南向接口使用Open Flow定义转发平面标准行为不涉及任何转发平面工作SDN分类和结构传统网络设备结构l管理平面l控制平面大脑/决策者 l数据平面数据包转发器控制路径(
8、软件)数据路径(软件)SDN-网络发生解耦和分离交换机控制平面控制平面数据平面数据平面分离SDN解耦的主要部份网络操作系统路由流量工程其他应用已知API网络图抽象转发转发转发转发数据平面和控制平面分离网络虚拟化安全数据平面控制平面应用平面指令指令指令指令SDN结构网络应用网络应用管理平面控制平面数据平面控制平面和数据平面分离可编程接口 差异化、个性化 加速新功能及服务的迭代集中网络智能 简化创建 优化性能 更细颗粒度的管理松耦合及分离 软硬件松耦合 控制平面和数据平面分离 物理和逻辑配置分离lSDN控制器是SDN网络的逻辑控制中心通过南向接口与交换机连接,提供网络指令,目前比较热的ONF的Op
9、enflow协议,IETF的ForCES协议,还有OVS使用的OVSDB等等,都是定义控制平面与数据平面分离之后使用的通信协议通过北向接口与应用连接,向上提供资源抽象,实现软件可编程控制的网络架构,目前尚未形成统一标准,常见的北向接口有Restful API、RPC、Java等下一个目标是控制平面的扩展性问题,也就是多个设备的控制平面之间如何协同工作lSDN控制器产品分两类:一类是推出商用级产品的厂商Cisco XNC/ACI,Juniper Contrail,NEC ProgrammableFlow等另一类是较大开源社区中打算开发SDN控制器软件的开源项目/组织SDN控制器“Overlay”
10、SDN 和“Underlay SDNl Overlay SDN 更多指的是以软件厂家为代表的SDN解决方案,比如VMware NSX,Microsoft HNV,Juniper Contrail,Overlay SDN构建于现有Underlay网络基础之上。Overlay SDN 使用VXLAN,STT和NVGRE封装原始数据包(带有Payload),并在虚拟交换机内部或者支持的物理交换机上创建隧道终点(VTEP或者HNV Filter等),使用Underlay网络进行隧道传输 优势使用隧道很好的隔离租户,保证大量租户的网络重复但是不冲突,对Underlay隐藏租户网络。l Underlay
11、SDN更多指的是以硬件厂家为代表的SDN解决方案,比如OpenFlow,这类SDN对底层网络结构进行重新布局和配置。SDN控制器 负责集中操作网络组件的配置,确保控制器北向接口API得到正确的组织。优势1沉淀了多年的网络、网络架构、配置路径和链路等知识,可以使用到复杂的路由算法提高网络结构效率。优势2 SDN控制器对网络流量的控制更为准确,对于排错效率,影响分析和安全都有很大的帮助。实现SDN的4种方式l控制平面和数据平面分离 比如OpenFlowl控制或管理平面交互 现有或者新的控制平面协议,比如BGP,BGP FlowSpec,I2RS等 现有或者新的管理平面协议,比如NETCONF,XM
12、PP,OpFlex l解耦和抽离 Overlay虚拟网络 l使用传统网络设备供应商提供的API 比如Juniper SDK,Cisco OnePK,Arista eAPI,F5 iControl等Overlay网络的意义l 技术层面 超越4096 VLAN的限制 位置和ID分离,Overlay结构里,设备移动时仍保留ID 结合分布式路由技术减少路由路径设备移动后ID不变IP coreIP地址代表ID和位置10.1.0.1设备移动后,ID和位置都发生变化20.2.0.9IP地址代表ID和位置IP core1.1.1.12.2.2.2仅位置发生变化10.1.0.110.1.0.1UnderlayO
13、verlay网络虚拟化平台A-子网192.168.2.0/24B-子网192.168.2.0/24C-子网192.168.2.0/24IP虚拟化l 收益 灵活自定义自己网络 公有云租户地址的重复 租户自带IP到公有云Overlay协议l目前已经广泛在使用的 VXLAN NVGRE STTl新的协议 Geneve-Generic Network Virtualization Encapsulation3种常用的Overlay协议比较VXLANNVGRESTT提出者Cisco、VMWareMicrosoftNicira适用场景物理或虚拟交换机物理或虚拟交换机物理或虚拟交换机原理MAC in UDP
14、MAC in GRETCP over IP优势可以更好地进行负载均衡可以利用现有技术,大多设备都支持GRE可以依靠网卡对包分片,降低CPU负担劣势需要新购或者升级硬件/软件设备来支持有些设备不支持用GRE Key做负载均衡Nicira私有协议,且不能用于硬件交换机什么是OpenFlow?OpenFlow类似于x86服务器的指令集,用于管理网络设备。提供开放的接口对“黑盒”网络设备(如路由器和2/3层交换机)进行管理,达到对网络的可视性和开放性。OpenFlow交换机的数据路径包含一个或者多个流表(Flow Table),每个流(Flow)入口关联了一个操作;控制路径包含了用于编程流表流入口的控
15、制器。分离控制平面和数据平面集中控制网络设备(不同品牌和型号)全局网络视图 从交换机获取状态信息 发送控制指令到交换机 基于流(Flow)进行控制 利用以太网交换机和路由器中的路由表SDN并不是OpenFlow,OpenFlow是SDN的解决方案之一 SDN 是分离物理网络数据平面和控制平面、网络虚拟化等的概念集合 OpenFlow 是SDN结构中网络控制平面和网络设备通信的接口 直接访问和控制物理层及虚拟层的交换机/路由器的转发平面 OpenFlow是一种协议,和在控制器接口和交换机中使用的协议类似。OpenFlow 协议数据路径数据路径(硬件硬件)控制路径控制路径OpenFlow控制平面(
16、网络OS)应用A应用B数据路径数据路径(硬件硬件)控制路径控制路径OpenFlow应用层控制层基础结构层应用网络服务网络服务OpenFlow网络应用网络应用管理平面(应用层)控制平面(控制层)数据平面(基础结构层)控制平面和数据平面分离OpenFlow和SDN结构的相似之处可编程接口 差异化、个性化 加速新功能及服务的迭代集中网络智能 简化创建 优化性能 更细颗粒度的管理松耦合及分离 软硬件松耦合 控制平面和数据平面分离 物理和逻辑配置分离OpenFlow结构SDN结构网络应用网络应用管理平面控制平面数据平面基于语言的虚拟化编程语言网络应用程序网络虚拟化网络操作系统北向接口网络基础架构南向接口
17、到管理平面或应用的API,开放发布、无标准,基于软件体系 网络虚拟化软件(FlowVisor),隐藏复杂性、向下级管理员委派管理子网、实现多个控制器和一组交换机对话、隔离实验和测试环境、虚拟化网络模型(如拓扑、路由等)OpenFlow详细结构决策和发送指令路由、负载均衡和安全执行SDN所需的编程语言、抽象和接口,确保单一应用的多个任务互相之间不干扰,提供高级编程接口避免低层指令和配置Big Data Apps:优化网络使用率CloudNaaS:云应用的网络基元,NOX控制器FlowComb:预测应用负载,使用NOXFlowDiff:检测运行问题,FlowVisor控制器LIME:实时网络迁移,
18、FloodLight控制器NetGraph:网络管理图表查询,使用自己的控制器OpenTCP:动态和可编程的TCP引用,使用自己的控制器。所有的组件都使用OpenFlow与交换机进行通信,OpenTCP除外部分支持OpenFlow的网络设备(待更新)Ciena CoredirectorNEC IP8800Juniper MX-seriesHP Procurve 5400Pronto 3240/3290WiMax(NEC)PC EnginesNetgear 732463传统交换机/路由器转发邻居路由器路由器管理/策略平面配置/命令行/图形静态路由控制平面BGP/ISIS/OSPF邻居表链路状态数
19、据IP路由表转发表数据平面数据平面控制平面BGP/ISIS/OSPF邻居路由器数据平面控制平面BGP/ISIS/OSPF路由交换l功能固化l暴露执行细节l非标准/非现成的状态管理API包入站2层表+VLAN3层表VRFACL/QoS端口组包出站ABCOpen Flow交换机转发包入站流表包出站ABC流表流表交换机交换机/路由器路由器OpenFlow数据平面MAC学习路由算法指令检测系统负载均衡控制平面:SDN控制器流表使用安全通道通信网络应用程序规则操作状态数据包+计数器1.将数据包转发到端口2.封装并转发到控制器3.丢弃数据包4.发送到正常处理管道交换机端口源MAC地址目标MAC以太类型交换
20、机端口源IP目标IP源TCP端口目标TCP端口匹配数据包头流表(包含3个部分)流表流表OpenFlow如何工作?l使用以下交换机中的流表控制器管理流量(网络流)存储在流表的指令l当数据包到达交换机时,将报头字段与流表中的流条目进行匹配。l如果有匹配的条目,则执行所指示的操作并更新计数器。l如果不匹配,交换机通过发送数据包头的消息来询问控制器。控制器流表安全通道PCOpenFlow协议TCP/TLS硬件软件66OpenFlow网络组件lOpenFlow控制器通过OpenFlow通道管理一个或多个交换机使用OpenFlow协议和支持OpenFlow的交换机通信和传统交换机控制平面角色一样为北向接口
21、的应用提供网络范围的抽象在OpenFlow交换机里编程不同的表交换机可以被多台做成负载均衡的控制器管理,控制器既可以是Master和Slave或者Equal lOpenFlow通道用于交换机和控制器之间交换消息交换机可以建立单一或者多个连接到相同或不同的控制器控制器配置和管理交换机,并从交换机上接收事件和数据 安全通道基于TLS/TCP连接,交换机和控制器通过交换由站点交换机私钥颁发的证书进行相互验证lOpenFlow交换机包含一到多个流表、组表和计量表单一交换机可以被一个或多个控制器管理 在查找和转发阶段将用到流表和组表,以将数据包转发到正确的端口计量表既可用于简单的QoS操作如限速(Rat
22、e Limiting),又可用于复杂的QoS操作如DiffServOpenFlow控制器软件lIRIS:(Java语言)扩展性和高可用lMUL:(C语言)SDN)控制器,基于C语言,具备多线程基础架构lNOX:(C+/Python语言)NOX是第一个OpenFlowlJaxon:(Java语言)Jaxon是基于Java语言写的依赖于NOX的OpenFlow控制器lTrema:(C/Ruby语言)Trema,基于C和Ruby语言,用于开发OpenFlow控制器的全栈框架lBeacon:(Java语言)Beacon支持基于事件和线程操作 lFloodlight:(Java语言)是由Beacon控制
23、器的分之,最初由Stanford的David Erickson开发。l其他OpenFlow 交换机软件lIndigo:运行在Mac OS X,开源lLINC:运行在Linux,Solaris,Windows,MacOS和FreeBSD,开源lPantou:将商业无限路由/访问设备转为OpenFlow交换机,运行在OpenWRTlOf13softswitch:用户空间软件交换机,基于Ericsson TrafficLab 1.1软交换机lOpen vSwitch:开源,使用较为广泛Open VSwitch Switch-OVS软件l开源虚拟交换机l基于Nicira概念l既可以是单独的虚拟交换机,
24、也可以是跨多台物理机的分布式虚拟交换机。l内置于XenServer 6.0,Xen云平台并支持Proxmox VE,VirtualBox,Xen KVM.l集成在多个云管理系统,比如OpenStack,openQRM,OpenNebula和oVirt.l和Ubuntu,Debian,Fedora Linux和FreeBSD一起发布OpenFlow 交换机OpenFlow 交换机OpenFlow 交换机控制器 1控制器2OpenFlow交换机和控制器常规拓扑采用网络虚拟化(FlowVisor)的OpenFlow拓扑OpenFlow协议OpenFlowFlowVisor&Policy Contro
25、l广播多播OpenFlow协议http负载均衡OpenFlow 交换机OpenFlow 交换机OpenFlow 交换机dl_dst=FFFFFFFFFFFFtp_src=80,ortp_dst=80Open Flow 部署结构转发硬件软件控制转发硬件软件控制转发硬件软件控制转发硬件软件控制转发硬件软件控制转发硬件OpenFlow转发硬件OpenFlow转发硬件OpenFlow转发硬件OpenFlow转发硬件OpenFlow软件控制存储发展简史1980s 个人电脑1960s 大型机1990s 互联网2000s 移动互联网2010s 大数据,云计算分布式存储最早诞生在互联网行业,随着技术的产品化成
26、熟,越来越多的企业级用户也在尝试,将传统的业务迁移到弹性,灵活的分布式存储资源池IBM DS8000EMC VMAXHuawei 180001956年世界第一台磁盘存储系统IBM 305磁盘介质取代打孔卡,容量5MB读写速率10K/s1980年,薄膜磁头技术,性能飞跃,容量8*2.52GB读写速率3MB/s1993年 EMC Symmetrix16MB DRAM,1 GB Global Memory,容量1 TB,Hypervolume ExtensionIAAS 2.0IAAS 2.0以服务器、SAN/NAS为主TB时代,时代,GB/sIAAS 1.0IAAS 1.0以主机和终端、DAS为主
27、GB时代,时代,MB/sIAAS 3.0IAAS 3.0以云服务、移动宽带网络、大数据分析、社交网络技术为依托PB时代,时代,10100GB/s,分布式架,分布式架构构存储基本概念-RAIDRAID(Redundant Array of Independent Disks)即独立磁盘冗余阵列,RAID将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘,从而提高了硬盘的读写性能和数据安全性RAID5和RAID10 计算机发展初期,大容量硬盘价格非常高,而需要存储的数据量越来越大容量性能 CPU运算速度飞速提高,数据读写速度不应该成为计算机系统处理的瓶颈 信息时代,数据对企业和个人的重要性越来越大
28、,数据存储安全更需要保障RAID可靠性槽点:RAID横行30年,技术越来越复杂,维护难度加大存储基本概念-物理卷与逻辑卷l 物理卷由几个硬盘通过RAID方式组成,从整体上看相当于一个盘组l 在物理卷的基础上可以按照指定容量创建一个或多个逻辑卷,通过LUN(Logic Unit Number)来标识l 槽点:卷管理的概念,既在存储设备中存在,也在主机操作系统中使槽点:卷管理的概念,既在存储设备中存在,也在主机操作系统中使用,因此传统块存储的用,因此传统块存储的IO层级较为复杂,维护工作量较大层级较为复杂,维护工作量较大RAID10RAID5物理卷物理卷逻辑卷逻辑卷单个物理卷上创建1个逻辑卷单个物
29、理卷上创建2个逻辑卷LUN1LUN2LUN3存储基本概念-磁盘阵列控制器是磁盘阵列的“大脑”,主要部件为处理器和缓存,最先主要实现简单IO操作、RAID管理功能,随着技术发展,能够提供各种各样的数据管理功能,如快照、镜像、复制等磁盘柜包含了多块的磁盘,本身既没有处理器,也没有缓存,RAID及数据管理功能通过控制器实现槽点:中高端存储经过crossbar架构、全点对点总线架构等演进,掌握架构基本靠想象,黑盒子形成控制器磁盘柜磁盘线缆存储基本概念-DAS、NAS、SAN 主机DASFC SAN应用文件/操作系统I/O 重定向器TCP/IP 协议栈NFS/CIFS网络接口卡 主机文件处理 I/ONA
30、S IP Network网络接口卡TCP/IP 协议栈NFS/CIFS文件系统+逻辑卷管理器数据管理系统RAID块处理 I/O设备驱动应用逻辑卷管理器 裸卷SCSI 设备驱动块处理 I/OIP SAN应用逻辑卷管理器 裸卷iSCSI LayerTCP/IP Stack网络接口卡 主机块处理 I/O块处理 I/O IP Network FC Network网络接口卡TCP/IP协议栈数据管理系统RAID块处理 I/OFC总线卡FC协议栈数据管理系统RAID块处理 I/O应用逻辑卷管理器 裸卷SCSI 设备驱动FC协议栈FC总线卡设备驱动设备驱动SCSI 设备驱动 主机文件/操作系统数据库文件/操
31、作系统数据库文件/操作系统数据库RAIDSCSI/FC 总线卡什么是NAS?优点:价格相对低廉,NAS 以合理的价格提供集中存储易于配置缺点:访问时间较慢不是企业解决方案NAS是通过网络共享访问附加的专用存储设备的存储类型File serverLocal Area Network(Ethernet)NAS deviceFile-level access(CIFS,NFS)Network什么是SAN?优点:最快的访问时间 易于扩展 集中存储 高水平的冗余 缺点:更贵 需要专业技能SAN提供更高的可用性和最大的灵活性通过使用光纤通道或iSCSI实施SANServersSwitchesStorage
32、 devicesDAS NAS SAN的比较和使用场景DAS:复杂性最小最低设置成本NAS:最适合特定情况的解决方案与DAS和SAN互补SAN:性能最高有最多的功能未来的趋势:Windows Server存储功能正在扩展,以提高使用DAS时的功能块级存储与文件级存储块级存储:是高性能通常是基于SAN的向服务器提供LUN不是最具成本效益的文件级存储:通过NAS,存储服务器或文件服务器提供使用CIFS/SMB(共享文件夹)或NFS(导出)在存储后端使用块级存储什么是光纤通道?光纤通道组件包括:SAN具有HBA卡的计算机光纤通道交换机以太网光纤通道:同时采用一种廉价的,预先存在的以太网基础架构,为您
33、提供了光纤通道的好处光纤通道布局包括:仲裁环路:不需要采用交换机,目前比较罕见点对点:光纤通道主机直接连接到存储设备,并且不需要交换机,不常用交换网络:所有光纤通道主机连接到光纤通道交换机,光纤通道交换机连接到后端存储。什么是iSCSI?iSCSI通过IP网络传输SCSI命令组件组件描述描述ip网络网络提供高性能和冗余iscsi目标该存储装置上运行,并允许访问磁盘的服务器iscsi启动器在服务器上的软件组件或主机适配器,它提供iscsi目标的访问iscsi iqniscsi用于在iscsi网络上寻址发起方和目标的全局唯一标识符iSCSI client that runs the iSCSI i
34、nitiatorTCP/IP protocoliSCSI Target ServerStoragearray核心存储组件网络适配器通常在以太网上使用HBA通常用在存储网络(如SAN)上聚合网络适配器可用于以太网或SANInfiniBand主机通道适配器用于InfiniBand网络磁盘控制器便于磁盘驱动器和CPU之间的通信传统存储的问题总结(满满的槽点)l 投资投资:一次性成本较高,中高端集采单价1.5W/TB,光交30-40万一对,FC适配器可忽略;如无规模优势,维保成本高;维护人员成本高,令人艳羡的待遇;能耗成本高。l 工程集成:工程集成:zone、LUN、RAID、owner、多链路、卷管
35、理、备份、冗余、容灾。工作量较大,技能get投入大l 维护监控:维护监控:一套存储三种软件,有额外软件成本;厂家异构型号异构让统一存储运维只是一个梦想;运维数据难于导出和解读,“拿去!你看不懂!”;故障处理往往需要多方会诊,问题定位周期长,分析靠创意,排查靠遍历。l 扩容升级:扩容升级:需要停机、扩容周期长、实施风险高,0点以后3小时起刷大夜。l 性能表现:性能表现:需根据实际配置进行计算,从不能相信技术指标;性能数据需专业解读,性能优化基本靠扩l 高可用及稳定性:高可用及稳定性:稳定性高的背后,是大量的更换备件和升级版本操作;高可用演练环节多,药不能停;设备老旧,稳定性骤减,老干部要好好伺候
36、。l 存储本质上是存储本质上是IT硬件集成,硬件集成,IT软件定义。无非是集成和定义谁来做的问题。软件定义。无非是集成和定义谁来做的问题。几个存储新概念软件定义存储:存储资源由软件自动控制,通过抽象、池化和自动化,将标准服务器内存存储、直连存储、外置存储或云存储等存储资源整合起来,实现应用感知,或者基于策略驱动的部署、变更和管理,最终达到存储即服务的目标超融合(HCI):是指同一套单元设备(如X86通用服务器)同时具备提供计算、存储和网络服务的能力Server SAN(基于服务器的分布式块存储):采用标准服务器作为硬件,通过软件对外提供存储服务的产品对象存储(基于服务器的分布式对象存储):采用
37、标准服务器作为硬件,通过软件对外提供对象服务的产品,对象是一种数据集合,如图片、视频等,每个对象都在一个被称作存储池的扁平地址空间的同一级别里拥有唯一OID,一个对象不会属于另一个对象的下一级基于服务器的分布式文件存储:采用标准服务器作为硬件,通过软件对外提供文件存储服务的产品,主流还是NAS,使用NFS/CIFS文件共享传输协议,树形目录+inode管理方法实现SDS的scale-out架构VMVMVMSANCPUCPU硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘硬盘传统集中存储Scale-Up架构分布式存储Scale-Out架构X86服务器1X86服务器2X86服务器N1.通过昂贵硬件保证系统的高可用
38、性2.管理维护要求能力高3.扩展方式通过增加硬件配置实现1.X86硬件,软件定义实现自动化、智能机制2.管理维护要求能力低3.扩展容易,可以达到PB级扩容空间X86服务器1VMVMVMVMVMVM软件定义存储硬盘硬盘硬盘硬盘硬盘硬盘.X86服务器2X86服务器N分布式块存储-VSANVSAN与其他 VMware 产品集成部署在一起,主要针对虚拟机应用进行了优化,聚合了虚拟化管理程序的体系结构,按虚拟机设置的存储策略进行管理。要合理搭配服务器内存和硬盘占比,以最大化利用存储资源和计算资源。基于服务器的分布式文件存储存储空间使用存储空间:将任何类型和大小的物理磁盘添加到存储池从池中创建高可用性虚拟
39、磁盘要创建虚拟磁盘,您需要:一个或多个物理磁盘包含磁盘的存储池虚拟磁盘(或存储空间)使用磁盘创建的存储池基于的磁盘驱动器虚拟驱动器Disk drivePhysical disksStorage poolVirtual disk存储空间的组件和功能特征特征选项选项存储布局简单双向或三向镜像校验磁盘扇区大小512或512e4 KB驱动器分配数据存储手动热备用配置方案精简配置空间固定配置空间条带参数列交错在您的环境中最佳地使用存储空间的功能存储空间使用场景存储空间功能:实施和轻松管理可扩展,可靠和廉价的存储使用具有或不具有外部存储的廉价存储将多个驱动器合并到存储池中,管理员可以将其作为单个实体进行管
40、理在同一池中实施不同类型的存储根据需要增加存储池根据需要从现有存储池中调配存储将特定驱动器指定为热备用Fibre Channel/(iSCSI)协议层存储层NFS/CIFSFile SystemObjectObject SystemObjectKeyMetadatadataUser defined meta-dataS3/SwiftObjectObjectObjectObjectl主要协议:FC,iSCSIl应用场景:结构化,数据库应用,低延时,高性能,如Oraclel主要协议:NFS,CIFSl应用场景:非结构化,文件共享的服务l主要协议:S3,Swift,RESTful/soapl 应用场
41、景:对象数据,互联网服务存储,数据归档或备份iSCSI/FC SANNASObjectbucketbucketbucket对象存储SAN、NAS 和 Object的对比说明:说明:近年出现分布式架构,主要以传统架构为主说明:说明:逐渐演进到分布式架构,也支持传统架构说明:说明:从出现开始就是分布式架构,集中式架构极少对象存储使用场景业务场景场景详情医疗影像云1)医疗影像文件较大,且多跨医院与地域访问,云存储可以方便的解决跨医院访问的问题。2)医疗影像要求保存10年以上,长期保存在本地的成本高企业网盘1)文件备份2)文件共享云备份icloud、EMUI、公有云l1)桶数量l2)对象尺寸带宽要求T
42、PS接口调用时延l3)每日读写量、删除量l4)单桶对象数l5)最大并发数l6)上层业务平台引入评估指标项ObjectKey元数据数据User defined 元数据metadata ObjectObjectObject业务主机APPeSDK调用本地API直接调用Web服务开发软件使用工具BucketObjectObjectBucketObjectObject用户小总结:不同形态存储产品对比存储产品存储产品全闪存阵列全闪存阵列分布式块存储分布式块存储分布式文件存储分布式文件存储对象存储对象存储性能性能业界最高性能,百万级IOPS,1ms时延对位业界中端SAN存储,性能与中端SAN存储相仿。IOP
43、S可达10万级别,时延一般在5ms-40ms之间性能随节点数增加而线性上涨。对于全对称式结构分布式,单节点带宽一般在400MB/s到800MB/s之间,时延在5ms-40ms之间非性能敏感场景下使用,性能一般不重点关注,性能与中端SAN存储相仿。功能功能SANSANNAS对象商用情况商用情况企业或者机构核心业务、关键业务中,其稳定性、性能、对技术的成熟度要求高,例如数据库应用场景在非关键环境中,在建设成本相对有限、数据量较大的条件下使用较多,例如云资源池、虚拟主机、桌面云等等文件存储场景,在强调系统扩展性及文件系统性能的场景下使用,例如视频监控、媒体云、大数据分析等场景对外提供对象存储接口(如
44、S3,Openstack Swift),多用于互联网行业,关注数据共享功能及容量,在云盘类应用使用广泛。生态链生态链兼容性测试已非常充分,所有高端、中端、以及低端的服务器均能支持,所有存储厂家均有相关产品。主要完成的是Windows,Linux等较低端的服务器的兼容性测试。支持NAS协议,兼容性测试已非常充分,所有高端、中端、以及低端的服务器均能支持。支持对象存储协议,数据共享性最优,支持公网访问、跨地域访问,对主机兼容性无明显要求价格体系价格体系全闪存架构,商务成本最高存储介质多为全SATA或全NL SAS,关注系统容量,部分产品会考虑到性能而增加少量SSD,商务成本较低。关注系统容量,商务
45、成本根据节点数量增长而线性提升。商务成本最低Cloud Native 云原生概念基准代码 依赖配置 后端服务 构建,发布,运行 进程端口并发易处理 开发环境与线上环境等价 日志管理进程 12-factors基准代码依赖配置后端服务进程端口绑定并发易处理开发环境与线上环境等价日志管理进程微服务架构微服务架构(Cont.)磐石微服务单体应用程序实现方式微服务架构应用程序开发方法的比较应用程序样式之间的状态存储比较微服务平台微服务特点微服务应用程序由独立控制版本和可缩放的、以客户为中心的服务组成,这些服务通过标准协议和定义完善的接口彼此通信。SOA 和 微服务DevOps 推动商业价值配置规划OPS
46、创建校验打包发布监控DEVSource:Global Study by CA Technologies开发人员编码构建测试和发布运维人员安装配置运行监控升级优化DevOps实现开发和运维的有效隔离CI/CD|主题思想CI/CD|基本概念持续集成持续地做集成和集成结果的修正持续交付持续地完成小颗粒,高频次的交付持续部署持续地将需求部署到目标环境上容器化的工作流管道Container ServiceService FabricApp ServicesFuture ServicesBuild/CI,Integrate,TestPushCodeProductionenvironmentsRun,Man
47、ageCodeRunValidateDebugCD,DeployVisual Studio Team ServicesSource Code Control(SCC)Container RegistryAzureCI/CD和DevOps内容一览为什么使用 Docker?软件开发目前遇到的困境然而,太阳下面没有新鲜事集装箱已经深刻地改变了一次世界docker is a shipping container system for codeDocker特性特性特性集装箱集装箱Docker打包对象 几乎任何货物任何软件及其依赖硬件依赖标准形状和接口允许集装箱被装卸到各种交通工具,整个运输过程无需打开容
48、器无需修改便可运行在几乎所有的平台上-虚拟机、物理机、公有云、私有云隔离性集装箱可以重叠起来一起运输,香蕉再也不会被铁桶压烂了资源、网络、库都是隔离的,不会出现依赖问题自动化标准接口使集装箱很容易自动装卸和移动提供 run,start,stop 等标准化操作,非常适合自动化高效性无需开箱,可在各种交通工具间快速搬运轻量级,能够快速启动和迁移职责分工货主只需考虑把什么放到集装箱里;承运方只需关心怎样运输集装箱开发人员只需考虑怎么写代码;运维人员只需关心如何配置基础环境Build Once,Run AnywhereBuild Once,Run AnywhereConfigure Once,Run
49、AnythingConfigure Once,Run Anything容器的优势容器的优势物理机虚拟机物理/虚拟化环境关键优势关键优势容器虚拟机 versus 容器 虚拟机 versus 容器 虚拟机 versus 容器 Docker 核心技术Docker 架构Docker Registry/Docker映像库Docker 映像库(Registry)Docker私有映像库Docker 映像Docker build 如何工作RegistryDOCKER_HOSTDOCKER_HOSTImagesContainers0001Program.cs110AspCoreApp.dll1110101110
50、11011010Code/BinariesClientDocker buildDocker daemonFROM microsoft/dotnet:1.0.0-rc2-coreWORKDIR/appCOPY/app/appENTRYPOINT dotnet AspCoreApp.dlldockerfileDocker runDockerfile Docker 映像构建模式Dockerfile.build Dockerfile Dockerfile 使用dockefiles创建映像使用docker build命令构建容器映像与容器进行交互使用commit将更新整合到映像登陆到docker hub