1、内容简介什么是云计算云计算解决方案的特点：按需自助服务广泛的网络访问资源池快速弹性测量服务云计算模式简介混合云是一种将两个单独的云（公共云和私有云）绑定在一起的技术，以组合和补充每个云提供的优势公共云是云服务提供商提供的供公众访问和使用的基础架构，平台或应用程序服务私有云是一种私有的且受用户自管理的云，其提供类似于公共云的优点，但是被设计使得用户在自己的数据中心管理和维护私有云的基础设施数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统数据应用运行环境中间件网络存储服务器虚拟化操作系统IaaSP
2、aaSSaaS本地部署云计算服务模式如何理解IaaS PaaS和SaaSIaaS目标用户是企业内部架构师，基于云平台提供底层基础架构服务。PaaS目标用户是应用开发者，提供各种预制的托管的开发环境。SaaS目标客户是终端用户，为企业提供最终解决方案。到底该如何理解云平台服务模式呢快速理解IaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统IaaS快速理解PaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统PaaS快速理解SaaS数据应用运行环境中间件网络存储服务器虚拟化操作系统SaaS网络存储服务器虚拟化操作系统中间件运行环境数据应用网络存储服务器虚拟化操作系统中间件运行环境数据应
3、用网络存储服务器虚拟化操作系统中间件运行环境数据应用网络存储服务器虚拟化操作系统中间件运行环境数据库应用私有云计算（laaS、PaaS）实例1）如果你自己买了服务器，要托管在集团数据中心：2）你直接向数据中心申请服务器资源：3）如果有需要，数据中心连中间件和运行环境也提供：4）我们的数据中心，甚至可以直接提供数据库资源：服务的类型服务可用性那些服务可以优先上云不适应迁移到云上的服务新服务如何部署云原生原则12-factor容器即服务CaaS快速理解容器即服务CaaS其实还没完，还有FaaS妈妈再也不担心我封装服务了更多的XaaS常见云平台分析常见云平台分析常见云平台分析常见云平台分析天翼云分析
4、天翼云3.0产品视图注：加星号产品为天翼云3.0中新增加的产品，RDS计划2016年3季度上线 天翼云3.0以云主机为基础核心产品，从计算、存储、网络、安全及管理等维度不断丰富云计算产品能力，满足客户对网络接入、服务能力弹性扩展、应用安全等场景需求天翼云3.0基础产品总览互联网/企业内网云资源池弹性云主机云硬盘镜像服务弹性负载均衡弹性伸缩虚拟私有云云硬盘备份云监控DDoS流量清洗123公网IP + 公网带宽VPN接入4云专线接入1基础云主机产品：为用户提供包括vCPU、内存、操作系统和数据盘在内的具备计算能力的云主机提高云主机服务能力：使资源配置情况能够根据业务发展灵活调整，为用户提供高可用、
5、可扩展的云主机服务2增强云主机产品安全：为用户提供逻辑隔离的网络、数据备份和恢复服务，并能随时监控资源使用情况，做到异常情况及时告警提供网络接入能力：以多种方式提供云主机与互联网、与企业内网相连接的能力34物理机 自助独享的资源能力 多重保障的安全机制 独特的云网融合产品 可信认证的产品能力更贴近政企客户需求的差异化能力差异化的云网融合产品DCIChinaNet/CN2东西向融合南北向融合云资源+云网络（CN2/互联网）云公司一点受理东西向融合，催生产品新质态依托DCI承载东西向流量，依托业务调度系统实现资源统一调度产品新质态：业务容灾与100公里内双活、客户不同节点部署的资源互访、按需配置跨
6、域带宽南北向融合，实现“云+网”一体化服务将CN2 MPLS VPN纳入云网络标准产品与集团IT/流程贯穿，统一业务受理，统一故障受理“云+网”作为整体能力面向行业应用及合作伙伴开放私有云平台分析内容一览云平台管理NFVOverlayOpenFlowXENKVMvSphereHyper-V存储虚拟化ServerSAN硬件基础架构管理层资源虚拟化层基础设施层计算虚拟化网络虚拟化存储虚拟化和云计算相关的IT技术计算虚拟化-实现资源弹性扩展开源通用平台(华为、华三等)全虚拟化技术永不过时的虚拟化技术开源技术VMware 采用全虚拟化技术独立开发支持设备驱动私有技术Citrix华为采用半虚拟化技术技术
7、社区没落使用厂商减少开源技术 微软采用全虚拟化技术Window2008标准功能私有技术NV网络虚拟化Overlay网络：对物理网络进行隧道叠加，逻辑划分成虚拟网络分片，满足基于租户的个性化需求网络功能虚拟化：剥离网络功能，虚拟化2-7层网络业务功能，将硬件和软件解耦和；由欧洲电信联盟提出标准软件定义网络：控制与转发分离，网络控制集中化，实现4层以下流量调度Openflow是SDN典型协议之一SDN软件定义网络NFV网络功能虚拟化-广义的SDN分类网络虚拟化狭义SDN传统网络软件定义网络自己思考自己踢自己思考别人踢SDN就是“中央集权制”的最佳实践网络虚拟化-Overlay网络 VxLAN虚拟化
8、环境下用于业务隔离为了业务隔离而生局域网环境下用于业务隔离隔离容量：212=4K隔离容量：224=16M网络虚拟化-NFV网络功能虚拟化存储虚拟化帮助数据高效流动x86服务器内部资源虚拟共享存储池网络虚拟化计算虚拟化存储虚拟化超融合第一阶段超融合第二阶段软件定义最佳实践超融合超融合基础架构（Hyper-Converged Infrastructure，或简称“HCI”）是指在同一套单元设备中不仅仅具备计算、网络、存储虚拟化等资源和技术，而多套单元设备可以通过网络聚合起来，实现模块化的无缝横向扩展（Scale-Out），形成统一的资源池。-Gartner权威定义管理服务操作系统服务器虚拟化网络虚
9、拟化存储虚拟化超融合IT架构（所有硬件资源池化）超融合引领IT时代的变革超融合IT架构应用/业务操作系统安全服务操作系统超融合IT架构灵活性强业务按需部署业务逻辑隔离资源利用率高计算及存储效率提升网络带宽利用率提升自动化程度高自动化配置部署专业的管理平台安全融合网关DatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseDatabaseInternet安全融合网关核心、汇聚交换机接
10、入交换机物理服务器FC 交换机物理存储超融合私有云建设的基础单元传统的数据中心的架构超融合单元超融合单元超融合单元超融合单元集群1虚拟网络虚拟计算虚拟存储DatabaseDatabaseDatabase安全融合网关核心、汇聚交换机接入交换机Internet超融合数据中心的架构超融合私有云建设的基础单元实现云计算数据中心的步骤01100111100010101100010100100110001010101100010100011001111001001010101100010100011001111001001110001010001100010110001010001100001001011
11、00010100011111100110110010001100111100100100101001010003超融合 硬件化 设备独立 硬件孤岛 管理割裂 厂商异构 横向扩展 管理统一传统数据中心虚拟化数据中心0102 资源池化软件定义数据中心虚拟化04混合云云化数据中心三方兼容 云交互 云爆发 云迁移 云备份 网络虚化 易于管理 存储虚化自动部署48私有云平台架构范例云服务中心产品管理订单管理施工管理资源管理资产管理软件管理业务系统管理业务域管理计费管理报表管理视图管理系统管理我的业务系统申请服务我的订单我的资源软件管理操作日志告警通知云监控物理机监控虚拟机监控网络监控存储监控虚拟化监控应
12、用监控数据库监控操作系统监控告警管理自动化运维大屏监控综合视图硬件设备服务器存储网络运营门户自助门户虚拟化层WinServer虚拟化管理中心虚拟化管理层CNware中间件层虚拟化融合引擎资源统一管理平台常规的私有云方案通过虚拟化、资源池化、自动化资源调度、容灾备份、数据中心可视化等关键技术，构建高效、智能的云计算平台；为企业用户提供云服务交付、运营和运维的一体化功能。概述私有云平台功能分析49云计算平台统一纳管云计算资源池和服务，提供对整体资源的动态调度能力、运维管理以及业务支撑功能、实现对IaaS、PaaS等资源池的调度以及云平台资源和服务的综合监管控概述云服务能力IaaSPaaS云服务门户
13、数据库服务应用自服务门户云平台管理员门户桌面云结构化数据库服务非结构化数据库服务中间件服务应用容器业务总线消息队列云管理平台超 融 合 一 体 机网络资源存储资源SDC服务器资源公 有 云 服 务云 运 营 管 理云 安 全 管 理云 运 维 管 理VMwareHyper-VXenKVMSDNNFVOpenflowOverlaySDS虚拟化网关分布式存储云资源调度平台 商用云调度平台开源云调度平台用户管理员IaaS的核心是资源的池化基础设施基础设施即服务(IaaS)服务器服务器服务器服务器服务器服务磁盘阵列磁盘阵列磁盘阵列磁带库存储服务+服务器服务器服务器服务器服务器虚拟化磁盘阵列磁盘阵列磁盘
14、阵列磁带库存储虚拟化+虚拟服务器文件系统逻辑卷应用入池分析框架根据应用对CPU和内存的负载特点，可以将应用分成不同的类型。轻量级、可分布式的应用可整体部署在X86虚拟化池中，重量级、紧耦合的应用需考虑整体部署在物理机池中。对于大部分应用来说，可以将应用进行层次拆解，从不同层次来分析应用的入池需求。应用入池需求分类将应用拆解为不同部分，分类入池整体进X86虚拟池低CPU、低IO的应用计算需求负载低，CPU占用率低IO需求低，对IO的占用率低高CPU、低IO的应用计算需求负载高，CPU占用率高IO需求相对较低，对IO的占用率低高CPU，高IO的应用计算需求负载高，CPU占用率高IO需求高，对IO的
15、占用率高低CPU、高IO的应用计算需求负载低，CPU占用率低IO需求高，对IO的占用率高例：综合管理类应用例：应用集成、实时订单系统等例：ERP数据库、核心应用系统例：财务管控、安防系统、门户目录等 用户有两个或以上的数据中心L2互联需求； 或者用户在数据中心内有跨L3的L2连接需求； 适用于：主机集群、虚机高可用、主机迁移；2015 Lenovo Internal. All rights reserved.私有云平台整体网络架构实例APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器SAN主数据中心APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器A
16、PPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器虚拟化服务器集群APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器SAN2#数据中心APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器APPOSAPPOSAPPOSAPPOSAPPOSAPPOS虚拟化服务器虚拟化服务器集群DWDMGE/10GGE/10GEVI应用场景 基于IP层面实现跨数据中心的L2互联 不依赖MPLS & STP、对广播流量有优化措施、对多地点的网关一致性有配套的解决方案。 对虚拟高可用有优化支持。技术优势2#数据中心，与主数据中心数据中心，与主数据中心间采用密
17、集波分系统间采用密集波分系统DWDM链路高速连接链路高速连接DWDM通过通过OADM基于基于10G/GE连接到互联交换设连接到互联交换设备备 大二层网络二层多路径二层的扩展 多中心选路LSIP 多中心互联DWDMEVI VM流量感知VMotionHADRS 服务可用DNSLB私有云网络安全设计原则防火墙作为边界防御设备，决定了哪些内部服务可以被外界访问；外界的哪些人可以访问内 部的哪些服务，以及哪些外部服务可以被内部人员访问。防火墙（FireWall） 全自动的精确检测、实时阻断恶意连接； 在线部署，也可旁路部署入侵防御系统（IPS） DDoS防御设备通过静态漏洞攻击特征检查、动态规则过滤、异
18、常流量限速和 “基于用户行为的单向防御”技术流量清洗（Guard） NAT不仅能解决了lP地址不足的问题，而且还能够有效地避免来自网络外部的攻击，隐藏并保护网络内部的计算机。网络地址转换（NAT） 支持SSL / IPsec VPN，通过加密技术、完整性校验技术保障。 完整性和保密性保护虚拟私有网络（VPN） 部署堡垒机设备，是为了加固数据中心运维环境的安全系数，最小化的规避运维过程中面临的风险问题，保障良好的交付水平，同时也能有效的提高数据中心运维工作的安全管理能力及时间成本。堡垒机网络安全是指网络系统的硬件、软件及其系统中的数据受到保护，不因偶然的或者恶意的原因而遭受到破坏、更改、泄露，系
19、统连续可靠正常地运行，网络服务不中断。网络安全概念1 2008年9 月，美国自然（Nature）杂志专刊The next google,第一次正式提出“大数据”概念。2 2011年2月1日，科学（Science）杂志专刊Dealing with data，通过社会调查的方式，第一次综合分析了大数据对人们生活造成的影响，详细描述了人类面临的“数据困境”。3 2011年5月，麦肯锡研究院发布报告Big data: The next frontier for innovation, competition, and productivity,第一次给大数据做出相对清晰的定义：“大数据是指其大小超出了
20、常规数据库工具获取、储存、管理和分析能力的数据集。”时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型”。 “大数据”这一概念的形成，有三个标志性事件：大数据的由来4 V特征种类多（Variety）速度快（Velocity）价值高（Value）体量大（Volume）大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。随着现代感测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。大数据有巨大的
21、潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。大数据的特点大数据数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率云计算、硬件性价比的提高以及软件技术的进步智能设备、传感器的普及，推动物联网、人工智能的发展计算运行、计算速度越来越快存储 存储成本下降 智能实现信息对等解放脑力，机器拥有人的智慧大数据的技术支撑美国著名管理学家爱德华戴明所言：“我们信靠上帝。
22、除了上帝，任何人都必须用数据来说话。”（1）有数据可说 在大数据时代，“万物皆数”，“量化一切”，“一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般重要。 （2）数据更可靠 大数据中的“数据”真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的数理哲学基础是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律，只要通过适当编码，均可以通过统一的数字信号表达出来。 因此，“用数据说话”、“让数据发声”，已成
23、为人类认知世界的一种全新方法。大数据意义风马牛可相及 在大数据背景下，因海量无限、包罗万象的数据存在，让许多看似毫不相干的现象之间发生一定的关联，使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与作用现在难以进行估量，但揭示事物的相关关系无疑是其真正的价值所在。经典案例：（1）啤酒与尿布（2）谷歌与流感大数据的意义来自大量传感器的机器数据科学研究及行业多结构专业数据来自“大人群”泛互联网数据智能终端拍照、拍视频发微博、发微信其他互联网数据海量的数据的产生随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的
24、数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会应运而生。大数据的来源大数据的采集1大数据的采集通常采用多个数据库来接收终端数据，包括智能硬件端、多种传感器端、网页端、移动APP应用端等，并且可以使用数据库进行简单的处理工作。常用的数据采集的方式主要包括以下几种：数据抓取01数据导入02物联网传感设备自动信息采集03大数据处理方法导入/预处理2虽然采集端本身有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些数据导入到一个集中的大型分布式数据库或者分布式存储集群当中，同时，在导入的基础上完成数据清洗和
25、预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。现实世界中数据大体上都是不完整、不一致的“脏”数据，无法直接进行数据挖掘，或挖掘结果差强人意，为了提高数据挖掘的质量，产生了数据预处理技术。数据清理数据集成数据变换数据归约主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。是将多个数据源中的数据结合起来并统一存储，建立数据仓库。过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。寻找依赖于发现目标的数据的有用特征，缩减数据规模，最大限度地精简数据量。大数据处理方法 统计与分析3统计与分
26、析主要是利用分布式数据库，或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求，在这些方面可以使用R语言。R语言是用于统计分析、绘图的语言和操作环境，属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。R语言在国际和国内的发展差异非常大，国际上R语言已然是专业数据分析领域的标准，但在国内依旧任重而道远，这固然有数据学科地位的原因，国内很多人版权概念薄弱，以及学术领域相对闭塞也是原因。R语言是一套完整的数据处理、计算和制图软件系统。R语言的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算
27、的函数，从而使使用者能灵活机动地进行数据分析，甚至创造出符合需要的新的统计计算方法。在大数据的统计与分析过程中，主要面对的挑战是分析涉及的数据量太大，其对系统资源，特别是I/O会有极大的占用。大数据处理方法大数据挖掘4数据挖掘是创建数据挖掘模型的一组试探法和计算方法，通过对提供的数据进行分析，查找特定类型的模式和趋势，最终形成创建模型。分类朴素贝叶斯算法一种重要的数据分析形式，根据重要数据类的特征向量值及其他约束条件，构造分类函数或分类模型，目的是根据数据集的特点把未知类别的样本映射到给定类别中。支持向量机SVM算法AdaBoost算法C4.5算法CART算法聚类BIRCH算法目的在于将数据集
28、内具有相似特征属性的数据聚集在一起，同一个数据群中的数据特征要尽可能相似，不同的数据群中的数据特征要有明显的区别。K-Means算法期望最大化算法（EM算法）K近邻算法关联规则Apriori算法索系统中的所有数据，找出所有能把一组事件或数据项与另一组事件或数据项联系起来的规则，以获得预先未知的和被隐藏的，不能通过数据库的逻辑操作或统计的方法得出的信息。FP-Growth算法预测模型序贯模式挖掘SPMGC算法一种统计或数据挖掘的方法，包括可以在结构化与非结构化数据中使用以确定未来结果的算法和技术，可为预测、优化、预报和模拟等许多业务系统所使用。大数据处理方法大数据7个应用场景 环境教育行业医疗行
29、业 农业 智慧城市零售行业金融行业大数据应用场景Hadoop的由来面临的问题Hadoop设计思想Hadoop的构成Hadoop 分布式文件系统 (HDFS)Hadoop的存储系统以块（block）为存储单位文件被分成多个块，并存储在整个集群的工作节点上HDFS向用户隐藏了这些数据分块切片及分布的复杂性MapReduce内容一览企业云平台发展方向企业IT云之路物理设备虚拟化资源整合资源按需使用自动化管理资源弹性调度基于大集群的HA，DRS多数据中心整合统一管理和运维多级备份容灾SDN网络虚拟化统一管理资源最优配置业务灵活迁移PrivatePublicHybrid Cloud私有云虚拟化分布式云数
30、据中心混合云关注资源逐渐关注业务关注全局业务灵活的业务驱动OpenStack概述OpenStack概述OpenStack的优势北向标准OpenStack API，生态系统丰富大规模的云3rd Network3rd Hypervisor3rd Storage3rd DCManagementMANO/BOSS3rd Guest OS &ApplicationsNovaCinderNeutronHeatOpenStack + OpenStack：架构开放、扩展性良好、支持多厂商基础设施的统一平台OpenStack 概念架构图OpenStack 核心组件服务服务功能功能HorizonPortalNov
31、a计算服务Neutron网络服务Swift对象存储 Cinder块存储Keystone认证服务Glance镜像服务Ceilometer计量监控 Heat业务编排 方案价值:满足公有云规模需求，级联后最大可支持十万主机、百万虚拟机，并且支持跨数据中心分布基于原生态标准Openstack API和架构，维护了OpenStack生态系统的稳定支持多厂商OpenStack无缝接入，保证了OpenStack的开放性真正意义上的故障隔离的高可用 (Availabity Zone)按Scale Out架构扩展，直至跨多数据中心满足公有云要求OpenStack级联方案级联OpenStackOpenStack
32、APIOpenStack API DC1 DC2 DCnAvailability Zone 1Availability Zone 2Availability Zone 3AvailabilityZone 4Availability Zone 5Availability Zone nVendor1OpenStackOpenStack APIRedhatOpenStackVendor2OpenStackVendor1 OpenStackVendor 1OpenStackVendor 3OpenStack内容一览为什么使用 Docker?软件开发目前遇到的困境然而，太阳下面没有新鲜事集装箱已经深刻地
33、改变了一次世界docker is a shipping container system for codeDocker特性特性特性集装箱集装箱Docker打包对象 几乎任何货物任何软件及其依赖硬件依赖标准形状和接口允许集装箱被装卸到各种交通工具，整个运输过程无需打开容器无需修改便可运行在几乎所有的平台上 - 虚拟机、物理机、公有云、私有云隔离性集装箱可以重叠起来一起运输，香蕉再也不会被铁桶压烂了资源、网络、库都是隔离的，不会出现依赖问题自动化标准接口使集装箱很容易自动装卸和移动提供 run, start, stop 等标准化操作，非常适合自动化高效性无需开箱，可在各种交通工具间快速搬运轻量级，
34、能够快速启动和迁移职责分工货主只需考虑把什么放到集装箱里；承运方只需关心怎样运输集装箱开发人员只需考虑怎么写代码；运维人员只需关心如何配置基础环境Build Once, Run AnywhereBuild Once, Run AnywhereConfigure Once, Run AnythingConfigure Once, Run Anything容器的优势容器的优势物理机虚拟机物理/虚拟化环境关键优势关键优势容器虚拟机 versus 容器 Kubernetes Kubernetes Components Source: http:/k8s.info/cs.htmlKubernetes是什么不不不不不不Kubernetes不是什么Kubenetes的生态环境支持为什么是KubernetesKubernetes由来Borg架构Kubernetes架构图Kubernetes核心组件Kubernetes架构详解整体架构示意图Kubernetes架构详解设计理念和功能Kubernetes架构详解设计理念和功能Kubernetes常见部署场景Kubeadm部署场景演示谢谢！
