云计算与大数据第三章-云计算与大数据体系架构剖析课件.pptx

1、孙宇熙 编著 云计算与大数据的到来一前一后，但两者之间又是相辅相成的关系。云计算与大数据的到来一前一后，但两者之间又是相辅相成的关系。云计算改变了云计算改变了ITIT，大数据改变了业务。云计算作为基础架构与平台化运，大数据改变了业务。云计算作为基础架构与平台化运维的使能者为大数据系统的实现提供了弹性、敏捷性与健壮性；大数据维的使能者为大数据系统的实现提供了弹性、敏捷性与健壮性；大数据作为一种主要的应用类型也持续地推动了底层云基础架构向高效性、实作为一种主要的应用类型也持续地推动了底层云基础架构向高效性、实时性、基于时性、基于APIAPI的互联互通方向发展。本章我们将就开源、闭源、软件定的互联互

2、通方向发展。本章我们将就开源、闭源、软件定义、一切皆服务等行业趋势展开论述。义、一切皆服务等行业趋势展开论述。3.1 3.1 关于开源与闭源的探讨关于开源与闭源的探讨3.1.1 3.1.1 软件在吃所有人的午餐！软件在吃所有人的午餐！无论媒介的形式是软件还是硬件，开源与闭源指的都是信息（特别是无论媒介的形式是软件还是硬件，开源与闭源指的都是信息（特别是科技信息）被共享的方式。开源通常被无差别地等同于免费（尽管不准确，科技信息）被共享的方式。开源通常被无差别地等同于免费（尽管不准确，但是大体上是不错的），而闭源则通常以携带但是大体上是不错的），而闭源则通常以携带copyrightcopyrigh

3、t（版权）的方式呈（版权）的方式呈现，需要付费购买。现，需要付费购买。以史为鉴，笔者把人类开源的发展史划分为以史为鉴，笔者把人类开源的发展史划分为7 7个阶段，如图个阶段，如图3-13-1所示。所示。互联网前时代的科技共享-Ford Motors、Marie S.Curie互联网曙光初现（1970）-ARPANET-RFC免费软件运动（1983 GNU;1985 FSM by Richard Stallman）开源软件诞生-Netscape Navigator（1998）操作系统、软件体系架构（2000-）云时代、软件定义时代（2005-）谁会笑到最后？（2016-）图图3-1 技术信息开源发

4、展历程技术信息开源发展历程 最早的开源可追溯到互联网出现之前的汽车工业时代。最早的开源可追溯到互联网出现之前的汽车工业时代。19111911年，福特年，福特汽车之父汽车之父Henry FordHenry Ford打赢了一场美国司法历史上著名的历时八年之久的专打赢了一场美国司法历史上著名的历时八年之久的专利官司，导致从利官司，导致从18951895年开始就垄断汽车发动机两冲程引擎专利技术的律师年开始就垄断汽车发动机两冲程引擎专利技术的律师George B.SeldonGeorge B.Seldon再也无法以独享（闭源）专利的方式从数以千家的美国再也无法以独享（闭源）专利的方式从数以千家的美国汽车

5、企业（是的，没有看错，和今天的中国汽车生产企业数量一样多，但是汽车企业（是的，没有看错，和今天的中国汽车生产企业数量一样多，但是最后终将只剩下三家）那里征收专利费用了。随之形成的机动车厂商联盟在最后终将只剩下三家）那里征收专利费用了。随之形成的机动车厂商联盟在其后的数十年间免费（其后的数十年间免费（“开源开源”）共享了数以百计的专利技术。）共享了数以百计的专利技术。2020世纪世纪8080年代见证了免费软件（年代见证了免费软件（Free SoftwareFree Software）运动的诞生，始作俑）运动的诞生，始作俑者非当时尚在者非当时尚在MITMIT的的Richard StallmanRi

6、chard Stallman（RMSRMS）莫属。他最早于）莫属。他最早于19831983年在年在USENETUSENET上面宣布开始编写一款完全免费的操作系统上面宣布开始编写一款完全免费的操作系统GNUGNU（GNUs Not UNIXGNUs Not UNIX时代背景为当时流行的操作系统时代背景为当时流行的操作系统UNIX 100%UNIX 100%被商业企业闭源控制）。为了确保被商业企业闭源控制）。为了确保GNUGNU项目代码保持免费并可被公众获取，项目代码保持免费并可被公众获取，RMSRMS还编写了还编写了GNU GPLGNU GPL（GNU General GNU General P

7、ublic LicensePublic License，通用大众版权）。，通用大众版权）。GNUGNU的创立为的创立为LinuxLinux最终的诞生（最终的诞生（19911991年年Linus TorvaldsLinus Torvalds编写的编写的LinuxLinux内核问世，采用内核问世，采用GPL v2GPL v2许可）铺平了道路，而许可）铺平了道路，而GPLGPL则逐渐成为开源最主要的版权许可方式。则逐渐成为开源最主要的版权许可方式。RMSRMS的另一大贡献是以组织、机构的方式系统化地推动免费软件深入人心。的另一大贡献是以组织、机构的方式系统化地推动免费软件深入人心。他于他于19851

8、985年成立了年成立了FSFFSF（Free Software FoundationFree Software Foundation，免费软件基金会），免费软件基金会），业界为此有了个充满政治含义的新名词业界为此有了个充满政治含义的新名词FSMFSM（Free Software MovementFree Software Movement，免费软件运动）。从最早的免费软件运动）。从最早的GNUGNU项目到后来的项目到后来的LAMPLAMP，到近年来经互联网公司大，到近年来经互联网公司大肆鼓吹的共享经济形态，究其根本是，如果有免费的肆鼓吹的共享经济形态，究其根本是，如果有免费的“午餐午餐”（来替

9、代需付费（来替代需付费的产品或服务方式），绝大多数人会趋之若鹜，此人性也。免费理念与实践之的产品或服务方式），绝大多数人会趋之若鹜，此人性也。免费理念与实践之集大成者非集大成者非RMSRMS莫属。莫属。真正的开源（真正的开源（Open-SourceOpen-Source）软件要到）软件要到19981998年年1 1月，月，NetscapeNetscape公司宣布公司宣布把把NavigatorNavigator（19941994年问世的第一款互联网浏览器，年问世的第一款互联网浏览器，Mozilla FirefoxMozilla Firefox的前的前身）浏览器的代码开源。身）浏览器的代码开源。R

10、MSRMS在第一时间意识到开源的潜在价值，同年二月在第一时间意识到开源的潜在价值，同年二月即成立了即成立了OSIOSI（Open-Source InitiativeOpen-Source Initiative，开放源码促进会）。，开放源码促进会）。GNU GNU免费软件项目出现的时候其目标是构建一个完整的、可以取代免费软件项目出现的时候其目标是构建一个完整的、可以取代UNIXUNIX操作系统的集编程、编译、调试、集成与运行环境于一体的生态系统。显然操作系统的集编程、编译、调试、集成与运行环境于一体的生态系统。显然这个宏大的目标在头十年内这个宏大的目标在头十年内 （198319931983199

11、3年）并没有实现，而最完整的实年）并没有实现，而最完整的实现是现是LAMPLAMP开源技术栈（见图开源技术栈（见图3-23-2）。）。图图3-2 LAMP开源栈与系统环境开源栈与系统环境 开源技术在最早期并非纯粹以商业目的为驱动，确切地说是一种黑客文开源技术在最早期并非纯粹以商业目的为驱动，确切地说是一种黑客文化（化（Hacker CultureHacker Culture），以），以RMSRMS为首的开源推动者们认为开源为首的开源推动者们认为开源+共享共享+众筹是众筹是更高层次的精神享受（成就感）继而带来更高的劳动生产率（效率）更高层次的精神享受（成就感）继而带来更高的劳动生产率（效率）这一

12、这一点和当下的互联网思维如出一辙。点和当下的互联网思维如出一辙。业界的另一个大趋势，是随着底层硬件的同构化（通用化、商品化），业界的另一个大趋势，是随着底层硬件的同构化（通用化、商品化），系统主要的差异性都通过软件来体现（例如，虚拟化，容器化，软件定义的系统主要的差异性都通过软件来体现（例如，虚拟化，容器化，软件定义的计算、网络、存储等）。软件，无论开源与否，以其远超硬件的灵活性（可计算、网络、存储等）。软件，无论开源与否，以其远超硬件的灵活性（可定制性、可编程性、可二次开发性）顺应并引领了信息时代需求多变的特点定制性、可编程性、可二次开发性）顺应并引领了信息时代需求多变的特点而越来越受到青睐

13、。而越来越受到青睐。接下来让我们聚焦大数据与云计算体系架构，无论是接下来让我们聚焦大数据与云计算体系架构，无论是HadoopHadoop、NoSQLNoSQL还是还是NewSQLNewSQL，无论是，无论是IaaSIaaS、PaaSPaaS还是还是SDXSDX（软件定义一切），它们都具有一个共性（软件定义一切），它们都具有一个共性分布式处理系统架构，而大多数的分布式系统是采用商品硬件（分布式处理系统架构，而大多数的分布式系统是采用商品硬件（Commodity Commodity HardwareHardware）平台作为底层支撑架构。我们在本章后续部分中将分别阐述商品硬件）平台作为底层支撑架构

14、。我们在本章后续部分中将分别阐述商品硬件趋势、软件定义一切、硬件回归三个前后关联的议题（如图趋势、软件定义一切、硬件回归三个前后关联的议题（如图3-33-3所示）。所示）。图图3-3 软件在统治世界，硬件在哪里？软件在统治世界，硬件在哪里？3.1.2 3.1.2 商品化硬件趋势分析商品化硬件趋势分析 笔者将商品化硬件（笔者将商品化硬件（Commodity HardwareCommodity Hardware）的发展历程分为）的发展历程分为6 6个里程个里程碑（如图碑（如图3-43-4所示），我们在此逐一梳理。所示），我们在此逐一梳理。图图3-4 商用（通用）硬件发展之路商用（通用）硬件发展之路

15、DEC PDP8（1965）通用微处理器 （1971）Apple II&VisiCalc（1977）IBM PC&MS-DOS（1981）&Lotus 1-2-3（1983）X86/Intel 80386&Windows（1985）,Linux（1994-）64-bit系统&虚拟化、云计算、大数据（2005-）20052005年对于年对于PCPC市场而言是个分水岭，市场而言是个分水岭，X86-64X86-64位中央处理器的推出让基位中央处理器的推出让基于于PCPC架构的服务器处理能力成倍增长，虚拟化技术让新的架构的服务器处理能力成倍增长，虚拟化技术让新的PCPC具有像原来的具有像原来的大型机一

16、样有分时处理、服务多租户的能力，而其相对低廉的价格更是对同大型机一样有分时处理、服务多租户的能力，而其相对低廉的价格更是对同时期其他解决方案（如时期其他解决方案（如RISCRISC指令集）形如一剑封喉。即便是在不计成本追指令集）形如一剑封喉。即便是在不计成本追求性能的超算中心（求性能的超算中心（Supercomputing CenterSupercomputing Center）领域，基于）领域，基于X86-64X86-64的的IntelIntel自自20052005年开始连续年开始连续1010年高速增长（见图年高速增长（见图3-53-5），），1010年内其他竞争对手几乎全年内其他竞争对手几

17、乎全部经历了销售萎缩、资产减记最终或委身于下家或破产的命运。即便是如日部经历了销售萎缩、资产减记最终或委身于下家或破产的命运。即便是如日中天的中天的IBM PowerPCIBM PowerPC、Sun Microsystems SPARCSun Microsystems SPARC也难逃一劫，令人唏嘘。也难逃一劫，令人唏嘘。图图3-5 x86 vs.PowerPC/SPARC 硬件商品化与通用化趋势的形成主要推手有二，一是需求侧推动厂家间硬件商品化与通用化趋势的形成主要推手有二，一是需求侧推动厂家间形成通用标准以此来避免形成通用标准以此来避免vendor-lockinvendor-lockin

18、（单一厂家锁定）；二是整个（单一厂家锁定）；二是整个ITIT产业产业链之间只有形成行业标准才会大幅降低设备设计、生产、集成与互联互通的费链之间只有形成行业标准才会大幅降低设备设计、生产、集成与互联互通的费用。剩下的工作就留给物竞天择了，行业领先者形成了规模经济（用。剩下的工作就留给物竞天择了，行业领先者形成了规模经济（Economies Economies of Scaleof Scale）后的必然结果会是一家独大。）后的必然结果会是一家独大。商品化硬件在商品化硬件在ITIT领域向商品现货（领域向商品现货（Commodity Off-the-ShelfCommodity Off-the-She

19、lf）的发）的发展经历了以下几个阶段。展经历了以下几个阶段。l 服务器（计算）商品化。服务器（计算）商品化。l 存储设备商品化。存储设备商品化。l 网络交换商品化。网络交换商品化。服务器商品化（服务器商品化（Commodity ComputingCommodity Computing）的标志是业界普遍采用低性）的标志是业界普遍采用低性能、低成本的设备来组建服务器集群（能、低成本的设备来组建服务器集群（Commodity Cluster ComputingCommodity Cluster Computing），），通过并行计算来弥补单机的运算能力不足，从而取代那些高性能、高成本硬通过并行计算来

20、弥补单机的运算能力不足，从而取代那些高性能、高成本硬件。最典型的例子就是使用基于件。最典型的例子就是使用基于x86x86处理器体系架构的方案来取代处理器体系架构的方案来取代PowerPCPowerPC或或SPARCSPARC。在计算硬件商品化的过程中受到最大冲击的是。在计算硬件商品化的过程中受到最大冲击的是IBMIBM与与SunSun，前者的，前者的PowerPCPowerPC业务持续缩水，后者干脆委身于业务持续缩水，后者干脆委身于OracleOracle，而获利最大的当属，而获利最大的当属IntelIntel。如图如图3-63-6所示，以服务器为例，其中速度最快的所示，以服务器为例，其中速度

21、最快的“存储组件存储组件”是是CPUCPU的的registersregisters，随后是，随后是SRAMSRAM，在主板上的是，在主板上的是DRAMDRAM与与Server FlashServer Flash，直连的通，直连的通常还有全闪存阵列，再慢的就是本地的常还有全闪存阵列，再慢的就是本地的HDDHDD硬盘与网络连接的存储系统了。硬盘与网络连接的存储系统了。从左边的从左边的registersregisters到右边的到右边的AFA FlashAFA Flash，它们的时延相差，它们的时延相差5050万倍左右，成万倍左右，成本则恰好成反比。把所有需要处理的数据保留在内存本则恰好成反比。把所

22、有需要处理的数据保留在内存DRAMDRAM中当然会让处理中当然会让处理速度可以匹配速度可以匹配CPUCPU（仅慢了（仅慢了1010倍），但是高企的成本是无法让人接受的。倍），但是高企的成本是无法让人接受的。图图3-6 性能性能vs.储能储能、延迟延迟vs.成本成本 网络交换设备商品化的推手有两大阵营，网络交换设备商品化的推手有两大阵营，一是大型企业特别是互联网一是大型企业特别是互联网公司，另一是运营商。前一阵营在公司，另一是运营商。前一阵营在20112011年形成了年形成了ONFONF（Open Networking Open Networking FoundationFoundation）来

23、推广）来推广SDNSDN（Software Defined NetworkSoftware Defined Network，软件定义的网，软件定义的网络）；后一阵营在络）；后一阵营在20122012年成立了一个挂靠在年成立了一个挂靠在ETSIETSI（欧洲电信标准协会）之（欧洲电信标准协会）之下旨在推动下旨在推动NFVNFV（Network Function VirtualizationNetwork Function Virtualization，网络功能虚拟化），网络功能虚拟化）的委员会。两大阵营出发点不同。前者的目标是网络组件（交换机、路由器、的委员会。两大阵营出发点不同。前者的目标是网

24、络组件（交换机、路由器、防火墙等）功能的高度自动化实现，例如防火墙等）功能的高度自动化实现，例如VLANVLAN、接口预部署等。、接口预部署等。SDNSDN通常与通常与服务器的计算虚拟化（包括容器化）关联。后者则更多地关注诸如如何把负服务器的计算虚拟化（包括容器化）关联。后者则更多地关注诸如如何把负载均衡、防火墙、载均衡、防火墙、IPSIPS等服务从专有硬件平台上（如等服务从专有硬件平台上（如CiscoCisco网络设备）迁移网络设备）迁移到虚拟化环境（由商品化硬件构成）中去。到虚拟化环境（由商品化硬件构成）中去。NFVNFV通常作为更宽泛的应用与服通常作为更宽泛的应用与服务虚拟化的功能的一部

25、分来实现（如图务虚拟化的功能的一部分来实现（如图3-73-7所示）。所示）。图图3-7 NFV发展愿景：网络核心功能虚拟化发展愿景：网络核心功能虚拟化 小结一下：如图小结一下：如图3-83-8所示，所示，CT/ITCT/IT系统的体系架构发展经历了从定制化硬系统的体系架构发展经历了从定制化硬件件+软件软件+服务，到商用软硬件服务，到商品化软硬件服务三大阶段。整个过服务，到商用软硬件服务，到商品化软硬件服务三大阶段。整个过程中越来越多的功能、服务通过软件来实现，这是厂家与消费者双方不断地程中越来越多的功能、服务通过软件来实现，这是厂家与消费者双方不断地追求更高的利润率、新的业务增长点以及更高的性

26、价比（高性能、低成本）、追求更高的利润率、新的业务增长点以及更高的性价比（高性能、低成本）、灵活性、敏捷性的必然结果。灵活性、敏捷性的必然结果。定制化Bespoke商用化Commercial商品化Commodity图图3-8 IT/CT体系架构发展趋势的三大阶段体系架构发展趋势的三大阶段3.1.3 3.1.3 硬件回归硬件回归 软件的如日中天反映在资本市场上是最近软件的如日中天反映在资本市场上是最近20203030年以来涌现了市值屡创年以来涌现了市值屡创新高的软件巨头，从新高的软件巨头，从2020世纪世纪8080年代初踩在巨人年代初踩在巨人IBMIBM肩膀上发家的微软，到肩膀上发家的微软，到2

27、020世世纪纪9090年代中后期因开创互联网门户时代而备受追捧的雅虎，再到世纪之初开年代中后期因开创互联网门户时代而备受追捧的雅虎，再到世纪之初开始以提供搜索引擎业务而独占鳌头的谷歌（还有因其抛弃中国市场而拱手让始以提供搜索引擎业务而独占鳌头的谷歌（还有因其抛弃中国市场而拱手让位给最近忙着做外卖生意的百度），到近位给最近忙着做外卖生意的百度），到近1010年来因重新定义手机而打了漂亮年来因重新定义手机而打了漂亮翻身仗的苹果，还有以社交或电商业务聚集人气的翻身仗的苹果，还有以社交或电商业务聚集人气的FacebookFacebook、AmazonAmazon、腾讯、腾讯、淘宝、小米，这个名单长到可

28、以写一系列专著来介绍互联网软件企业如何在淘宝、小米，这个名单长到可以写一系列专著来介绍互联网软件企业如何在颠覆这个世界颠覆这个世界 软件给人们带来了无限遐想。基于商品现货平台构建的体系架构，把软件给人们带来了无限遐想。基于商品现货平台构建的体系架构，把软件实现层面的门槛极大降低，除了微软，前面提到的所有软件巨头清一色软件实现层面的门槛极大降低，除了微软，前面提到的所有软件巨头清一色全是全是LAMPLAMP工作室：开源工作室：开源LinuxLinux或或BSDBSD操作系统、开源操作系统、开源WebWeb服务器、开源数据库、服务器、开源数据库、开源编程语言。基于开源软件技术，从最初的计算的软件定

29、义（虚拟化），开源编程语言。基于开源软件技术，从最初的计算的软件定义（虚拟化），逐步发展到存储的软件定义（对象存储逐步发展到存储的软件定义（对象存储存储虚拟化存储虚拟化），到网络的软件），到网络的软件定义（定义（SDN/NFVSDN/NFV），最终形成软件定义的数据中心（），最终形成软件定义的数据中心（SDDCSDDC）。）。另一个需要明确的概念是，软件并非万能，它受制于底层的硬件能力另一个需要明确的概念是，软件并非万能，它受制于底层的硬件能力（Software,in its best form,is only as fast as the underlying Software,in its

30、 best form,is only as fast as the underlying hardwarehardware）。每一层虚拟化，每一次）。每一层虚拟化，每一次APIAPI调用都会降低硬件所提供的性能。特调用都会降低硬件所提供的性能。特别是在以云计算为背景下的别是在以云计算为背景下的ITIT体系架构通常具有如下特点：底层的存储与网体系架构通常具有如下特点：底层的存储与网络系统与上层应用之间会有很多层分隔络系统与上层应用之间会有很多层分隔用户终端通过互联网服务提供商用户终端通过互联网服务提供商（ISPISP）接入运营商网络后，到达云服务提供商的前端互联网服务器（可能是）接入运营商网络后

31、，到达云服务提供商的前端互联网服务器（可能是NginxNginx一类的反向代理服务器或负载平衡服务器），再经过其内部网络到达应一类的反向代理服务器或负载平衡服务器），再经过其内部网络到达应用服务器、底层操作系统、虚拟硬件、虚拟层（用服务器、底层操作系统、虚拟硬件、虚拟层（HypervisorHypervisor）、服务器硬件）、服务器硬件平台、数据存储路径管理（如平台、数据存储路径管理（如PowerPathPowerPath）、网络、存储磁盘阵列）、网络、存储磁盘阵列整个过程整个过程从技术栈的角度看近从技术栈的角度看近1010层之多。层之多。我们把应用与存储之间的渐行渐远称作我们把应用与存储之

32、间的渐行渐远称作Application DistanceApplication Distance（应用（应用远离，参考图远离，参考图3-93-9）。造成这种现象一方面是由于存储、网络与计算虚拟化、）。造成这种现象一方面是由于存储、网络与计算虚拟化、抽象化的高度发展出现了很多中间层以提高灵活性，但在相当程度上牺牲了抽象化的高度发展出现了很多中间层以提高灵活性，但在相当程度上牺牲了应用的执行效率。举一个具体的例子：应用的执行效率。举一个具体的例子：IntelIntel的的CPUCPU过去过去4040年以来按照摩尔年以来按照摩尔定律的预测越来越快，处理能力越来越强，但是随着操作系统和应用越来越定律的

33、预测越来越快，处理能力越来越强，但是随着操作系统和应用越来越庞大、笨重，用户并没有得到与庞大、笨重，用户并没有得到与CPUCPU处理速度提升一致的体验提升。在图形处理速度提升一致的体验提升。在图形化操作系统出现之前，化操作系统出现之前，MS-DOSMS-DOS是最快的；图形化之后，是最快的；图形化之后，Windows XPWindows XP也许是也许是相对最快捷的一代操作系统，而之后的相对最快捷的一代操作系统，而之后的VistaVista、Windows 7-10Windows 7-10的性能只能用的性能只能用凑合来形容。究其原因是软件的复杂化严重制约了硬件的能力。凑合来形容。究其原因是软件

34、的复杂化严重制约了硬件的能力。图图3-9 第第1、2、3平台的应用远离存储与网络的趋势平台的应用远离存储与网络的趋势 前者是尽可能让应用可以以最短的路径调用存储，或把最高速的存储前者是尽可能让应用可以以最短的路径调用存储，或把最高速的存储设备（如内存）作为应用与数据的交互媒介，常见于在设备（如内存）作为应用与数据的交互媒介，常见于在HPCHPC（高性能计算）、（高性能计算）、基于内存的分析、流数据实时数据处理等要求高性能、低延迟的应用场景中。基于内存的分析、流数据实时数据处理等要求高性能、低延迟的应用场景中。当然，综合考虑系统造价与性能，并非所有的计算都有高实时性要求，于是当然，综合考虑系统造

35、价与性能，并非所有的计算都有高实时性要求，于是市场上出现了不同类型的按距离分类的计算与数据之间的关系。如图市场上出现了不同类型的按距离分类的计算与数据之间的关系。如图3-103-10所示，从左到右可以理解为存储（数据）与计算（应用）越来越近，系统处所示，从左到右可以理解为存储（数据）与计算（应用）越来越近，系统处理速度、吞吐率越来越高，但系统的成本也线性增高理速度、吞吐率越来越高，但系统的成本也线性增高摩尔定律告诉我们另摩尔定律告诉我们另一件事情就是，在一个技术周期之内，系统成本会逐年稳步降低（一件事情就是，在一个技术周期之内，系统成本会逐年稳步降低（10%10%20%20%），直到一种新兴的

36、颠覆性技术出现后，会出现大规模降低（约），直到一种新兴的颠覆性技术出现后，会出现大规模降低（约50%50%或或更多），直至老的技术完全被淘汰。更多），直至老的技术完全被淘汰。图图3-10 计算（服务器）与数据（存储）计算（服务器）与数据（存储）下面我们主要介绍第二种解决方案下面我们主要介绍第二种解决方案硬件加速。硬件加速。硬件加速通常是相对于通用微处理器（硬件加速通常是相对于通用微处理器（CPUCPU）而言的。通用处理器常于）而言的。通用处理器常于通用计算，各种数学运算、解方程、加解密、压缩解压缩、多媒体文件处理通用计算，各种数学运算、解方程、加解密、压缩解压缩、多媒体文件处理等，它的灵活性无

37、与伦比，但就效率而言，它并无太多优势。考察处理器的等，它的灵活性无与伦比，但就效率而言，它并无太多优势。考察处理器的效率通常从效能（效率通常从效能（Energy EfficiencyEnergy Efficiency，一般用，一般用Performance per Watt Performance per Watt MOPS/mW MOPS/mW或或Performance Per Dollar MOPS/$Performance Per Dollar MOPS/$衡量）出发，如图衡量）出发，如图3-113-11所示。所示。FPGAFPGA每毫瓦的运算能力是每毫瓦的运算能力是CPUCPU的十倍，而

38、的十倍，而ASICASIC则可达到则可达到CPUCPU的的1,0001,000倍倍之多，也就是说对于某些专有计算需求，之多，也就是说对于某些专有计算需求，CPUCPU的性价比要远低于的性价比要远低于FPGAFPGA或或ASICASIC之类的硬件解决方案。之类的硬件解决方案。图图3-11 微处理器微处理器vs.FPGA vs.ASIC 以以NPUNPU（Network Processing UnitNetwork Processing Unit，网络处理器）为例，基于，网络处理器）为例，基于ASICASIC（Application Specific Integrated CircuitAppli

39、cation Specific Integrated Circuit，专用集成电路）架构的，专用集成电路）架构的NPUNPU在完成同样的数据处理功能前提下，较基于在完成同样的数据处理功能前提下，较基于X86 CPUX86 CPU架构的解决方案快架构的解决方案快10102020倍，并且所占空间（倍，并且所占空间（Foot-PrintFoot-Print）更小，能耗更低。）更小，能耗更低。如图如图3-123-12所示，所示，CiscoCisco公司在公司在20132013年年9 9月推出的月推出的nPower X1nPower X1可编程网络处可编程网络处理器，在一块理器，在一块ASICASIC芯

40、片上实现了高达芯片上实现了高达400Gbps/230Mpps400Gbps/230Mpps（每秒钟（每秒钟2.32.3亿个亿个IPIP包交换）的数据吞吐率，而包交换）的数据吞吐率，而IntelIntel同期推出的同期推出的E5-26xx v2E5-26xx v2系列通用系列通用CPUCPU处理处理器的处理能力则只有器的处理能力则只有40Gbps/640Gbps/622MppsIntel22MppsIntel显然意识到了硬件加速的显然意识到了硬件加速的重要性，于是在重要性，于是在1 1年半（恰好是摩尔定律一个周期）之后，年半（恰好是摩尔定律一个周期）之后，20152015年花了年花了167167

41、亿亿美元收购了美元收购了AlteraAltera公司公司后者是业界最大的后者是业界最大的FPGAFPGA（Field Programmable Field Programmable Gate ArrayGate Array，现场可编程门阵列），现场可编程门阵列）/ASIC/ASIC设计公司之一。设计公司之一。图图3-12 Networking ASIC vs.X86 CPU 硬件加速的方案通常有硬件加速的方案通常有3 3大类：大类：l FPGAFPGA（现场可编程门阵列）；（现场可编程门阵列）；l ASICASIC（专用集成电路）；（专用集成电路）；l SoCSoC（系统级芯片）。（系统级芯片

42、）。三者间有着千丝万缕的联系，三者间有着千丝万缕的联系，SoCSoC可以基于可以基于FPGAFPGA或或ASICASIC构建，构建，FPGAFPGA与与ASICASIC又有趋同的发展趋势，表又有趋同的发展趋势，表3-13-1列出了不同加速方案的比较。列出了不同加速方案的比较。X86-CPUFPGAASICSoC能耗高低极低低功能全（浮点/图形）单一单一较全性能较低高极高高Time-to-Market快较快较慢取决于FPGA/ASIC产量高适于低量产高同上可复用是是不是同上开发难度低较低较高同上Unit成本高较低低低开发成本高低高（NRE）较高表表3-1X86、FPGA、ASIC、SoC比较矩阵

43、比较矩阵 硬件加速除了广泛应用于网络数据处理领域，在服务器主机与存储领硬件加速除了广泛应用于网络数据处理领域，在服务器主机与存储领域也越来越多受到关注，下面我们给出两个具体的例子。域也越来越多受到关注，下面我们给出两个具体的例子。（1 1）硬件加速实例一：搜索引擎加速。）硬件加速实例一：搜索引擎加速。大型数据中心中使用大型数据中心中使用FPGAFPGA对搜索引擎实现加速。以微软公司的搜索引对搜索引擎实现加速。以微软公司的搜索引擎服务擎服务Bing Bing（BB）为例，在）为例，在CatapultCatapult项目中微软的研发人员在项目中微软的研发人员在1,6321,632台定制服务器（如图

44、台定制服务器（如图3-133-13的的C C部分所示，微软采用的定制版部分所示，微软采用的定制版0.5U0.5U服务服务器，空间上比普通的器，空间上比普通的1U1U服务器节省服务器节省50%50%）上加装了）上加装了XilinxXilinx的高端的高端FPGAFPGA芯片芯片（图（图3-133-13中的中的A A、B B部分），其中每个机架上的部分），其中每个机架上的4848台服务器上的台服务器上的FPGAFPGA组件构组件构成成6 6个集群实例（每个集群实例由个集群实例（每个集群实例由8 8台服务器上的台服务器上的8 8个个 FPGA FPGA 卡链接构成）。卡链接构成）。在在BingBin

45、g搜索过程中的排序（搜索过程中的排序（RankingRanking）功能通过这些）功能通过这些FPGAFPGA集群来实现，主要集群来实现，主要包括特征计算（包括特征计算（Feature ComputationFeature Computation）、）、FFEFFE（Free-Form ExpressionFree-Form Expression，例如计算一个关键字在文章中出现的频次等）、机器学习模型等功能。例如计算一个关键字在文章中出现的频次等）、机器学习模型等功能。图图3-13 微软的微软的Catapult硬件（硬件（FPGA）加速）加速 图图3-143-14中展示了中展示了Catapul

46、tCatapult项目中每一个集群的项目中每一个集群的8 8块块FPGAFPGA是如何形成一是如何形成一个可重构的闭环构造个可重构的闭环构造第第1 1（0 0）块）块FPGAFPGA用来做特征提取与队列管理，第用来做特征提取与队列管理，第2 23 3块块FPGAFPGA用来做用来做FFEFFE，第，第4 4块实现数据压缩（以提高后续的排序速度），块实现数据压缩（以提高后续的排序速度），第第5 57 7块完成基于机器学习模型的打分排序，最后一块为备份块完成基于机器学习模型的打分排序，最后一块为备份FPGAFPGA。在这。在这个流水线（个流水线（MacropipelineMacropipeline

47、）中，每一个步骤的运行时间都不会超过）中，每一个步骤的运行时间都不会超过8s8s，也就是说走完整个流程也不超过也就是说走完整个流程也不超过0.11ms0.11ms（0.008ms0.008ms 7 7 2 2）。）。图图3-14 8块块FPGA卡构成的环状排序流水线卡构成的环状排序流水线 基于基于CatapultCatapult硬件架构，硬件架构，BingBing实现了以下设计目标。实现了以下设计目标。l 排序处理速度提高一倍（排序处理速度提高一倍（2X2X），单位时间文档排序增加一倍，最大延迟），单位时间文档排序增加一倍，最大延迟降低降低29%29%。l 总成本增加控制在总成本增加控制在30

48、%30%以内。以内。l FPGAFPGA能耗占整机能耗的能耗占整机能耗的10%10%以内。以内。l FPGAFPGA网络性能高度稳定（卡故障率网络性能高度稳定（卡故障率0.4%0.4%，链接故障，链接故障0.03%0.03%）。）。l 与原有纯软件实现与原有纯软件实现100%100%兼容！兼容！l 实现了基于实现了基于FPGAFPGA网络的可重构架构（网络的可重构架构（Reconfigurable FabricsReconfigurable Fabrics）。）。（2 2）硬件加速实例二：海量数据备份加速。）硬件加速实例二：海量数据备份加速。在企业、研究机构、政府机关中，数据备份、存档（在企业

49、、研究机构、政府机关中，数据备份、存档（Data ArchivingData Archiving）保存非常重要。因备份数据体量巨大，通常在实现过程中会对数据进行压缩、保存非常重要。因备份数据体量巨大，通常在实现过程中会对数据进行压缩、加密、数据去重等对主机计算能力要求非常高的一系列操作。在本实例中我加密、数据去重等对主机计算能力要求非常高的一系列操作。在本实例中我们为大家介绍笔者在们为大家介绍笔者在EMCEMC中国研究院的同事们实现的基于中国研究院的同事们实现的基于SoCSoC硬件的数据备份硬件的数据备份加速。加速。参考图参考图3-153-15，第一个框内是普通的数据备份流程，第一个框内是普通

50、的数据备份流程数据通过常见网络通信数据通过常见网络通信协议，如协议，如NFS/CIFSNFS/CIFS或或FCFC由客户端传输至由客户端传输至DataDomainDataDomain（简称（简称DDDD）备份服务器，）备份服务器，在服务器端完成所有的数据去重、压缩、加密等一系列操作。毫无疑问，这样在服务器端完成所有的数据去重、压缩、加密等一系列操作。毫无疑问，这样的操作虽然对客户端机器而言简单和透明，但是网络、备份服务器负荷巨大，的操作虽然对客户端机器而言简单和透明，但是网络、备份服务器负荷巨大，效率不高。效率不高。一种提升效率的办法就是利用客户端的处理能力，在客户端完成一些预处一种提升效率的