1、神州泰岳云计算环境下的系统监控、管理和运维1什么是云计算Wikipedia的定义，云计算（Cloud Computing）是一种动态的、易扩展的、且通常是通过互联网提供虚拟化的资源计算方式。其主要特点是能够快速部署资源或获得服务，能够按需扩展和使用，能够按使用量付费，并且通过互联网提供服务。2云计算的提供者：以租代售云计算的使用者：按需使用使用云计算，企业无需增加硬件基础设施投资，训练员工成为专业人员或购买新软件，就能实现增加资源容量或提升计算性能等IT方面的需求集中式数据处理能力的不足 ，资源利用率不平衡（单机能力）ICT产业由卖产品变为卖服务，从自给自足小作坊到规模化运营用户方便使用，不需
2、要专业知识，设备无需专业人员维护减少初期投资，降低管理开销3云计算简易架构图l云计算是分布式计算（Distributed Computing）、并行计算（Parallel Computing）和网格计算（Grid Computing）的发展，是这些科学概念的商业实现l云计算也是一种新的基础架构管理方法，是一种有效资源的合理共享，它能够把大量的、高度虚拟化的资源管理起来，组成一个庞大的资源池，统一提供服务4云计算的关键技术数据安全技术数据存储技术分布式计算并行计算数据管理技术云计算关键技术虚拟化技术5上节标题中可详细说明6云计算在信息产业中的层次7云计算使用现状89云计算使用目的对比分析多数中国
3、企业使用云计算的目的是：希望云计算为企业节省成本，增加灵活性，并非创新或市场增长10云计算环境下监控运维的挑战 多种异构平台组成 需要处理海量数据 虚拟化资源的管理 对安全的更高要求11云计算可以构建在不同的基础平台之上n横向维度：可采购不同厂商的软硬件，有效兼容不同种类硬件和软件基础资源n纵向维度：既可兼容当下采购的新设备和新软件系统，也可兼容旧有设备和原有软件系统在有效利用老资源的同时，保证新老资源平滑过渡多种异构平台组成 12n云计算的底层需要面对各类众多的基础软硬件资源；上层需要能够同时支持各类众多的异构业务；而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息
4、交互，需要有高效、稳定的海量数据通信/存储系统作支撑，并需要实现对云环境下海量数据的监控。海量数据的处理支持 13n网络环境三大主要资源：计算(服务器)存储 (存储设备)网络(交换机、路由器等设备)n云环境下不仅包含物理设备，还包含虚拟化技术形成的逻辑虚拟设备n传统的网络管理软件大多只考虑对物理设备的管理n只有实现对虚拟设备的管理，才真正实现云集群服务器的网络运维管理虚拟化资源的管理 14n不安全的接口和APIn针对云端的恶意攻击n共享产生的数据安全问题n数据泄漏n未知的风险场景对云平台提出更高的安全要求对安全的更高要求 15神州泰岳云计算监控运维思路网络监控可扩展的监控系统基于捆绑式的网络监
5、管架构系统管理虚拟化资源管理运维服务可视化的网络监控管理基于云端的运维服务云监控调度方案云平台安全管理业务视角的运维管理基于智慧库的自动化运维自动化的流程服务16基于捆绑式的监控架构n采用分布式架构，各个管理服务器分别监控各个服务器集群下的子服务器；n通过将多套系统进行捆绑，结合负载均衡处理器，连接各个系统，实现万台级别的管理能力；n管理客户端具有单一登录，统一显示界面，节点管理权限设置的功能，部署方式灵活，可根据数据中心的规模灵活扩展。 监测管理服务器监测管理服务器管理客户端服务器集群服务器集群服务器集群服务器集群17数据采集数据采集数据采集系统1DB数据采集数据采集数据采集系统2DB数据采
6、集数据采集数据采集系统NDB负载均衡处理系统WEB服务器被监控对象被监控对象被监控对象管理客户端1管理客户端2管理客户端500管理客户端100支持多达500个客户端同时在线。单套系统1000台服务器管理能力，数据轮询间隔5分钟。配置数据库18多平台、可扩展的监控系统n神州泰岳通过预置、整合各类服务器和应用的监控功能模板，可以有效兼容不同种类硬件和软件的基础资源n既可以兼容旧有设备和原有软件系统，又便于随时扩展监控新设备和新软件系统，使云监控系统具有更高的兼容性和更好的可扩展性服务器服务器Windows, linux, unix, IBM, Solaris应用应用数据库数据库MySql, Sql
7、Server, OracleWeb服务服务/SQAApache, IIS, 网站监测（网站监测（URL）应用服务器应用服务器Tomcat等等19可视化的云监控平台n云环境中，服务器、应用、业务、网络更为集中,企业IT环境复杂多样n只有通过综合的、可视化的展示界面，才能实时掌控云环境整体架构的综合状况和云下业务及其功能要素的实时性能可视化、整合的性能监控展示界面 20n需要监视的服务器和应用的性能指标，可以根据不同主机/应用，以及不同的环境需要，进行自定义配置直观、可自定义的性能评估指标 21n云下的服务器集群众多，集群下的服务器又多达成千上万个，泰岳系统将传统网络拓扑图分为根图与子图，便于查看
8、与管理分层次的云网络拓扑展示方式 22强大的云监控调度功能云计算环境下对于集群服务器的监控和负载调度的评判分为两种类型：u监测各个物理服务器的硬件指标，了解物理服务器的负载状况u监测对集群的响应延时，据此调节集群下的资源与服务u泰岳的调度方案虚拟机动态迁移调节负载均衡对集群监控访问实现负载均衡平衡采集流量保证负载均衡23虚拟机动态迁移负载均衡n泰岳系统通过监测各个物理服务器的硬件指标来了解物理服务器的负载状况，当负载过低或者过高时，对云计算集群服务器中的虚拟机进行动态迁移，使各个服务器的负载保持均衡24平衡采集流量负载均衡n云环境下的集群可能有万台服务器，需要对大量服务器进行界面展示，因而需要
9、采集大量服务器的数据n神州泰岳通过建立平衡采集流量的调度方法，保证监控采集服务器的负荷均衡。数据采集数据采集数据采集系统1DB数据采集数据采集数据采集系统2DB数据采集数据采集数据采集系统NDB被监控对象被监控对象被监控对象监测采集负载均衡处理系统配置数据库TomcatProxyTomcatProxyTomcatProxy25完整的虚拟化资源管理虚拟化计算管理平台虚拟化网络管理平台基于元数据存储的虚拟存储管理平台虚拟化资源管理26虚拟化计算管理平台27虚拟化网络管理平台nVLAN 管理不同用户虚拟机之间的网络安全隔离不同物理服务器上的用户虚拟机安全连接、通信n网络IP管理按需为虚拟机分配公网
10、IP 地址虚拟机关闭公网IP地址回收，提高利用率n网络流量控制和监控获得整个云平台网络资源利用率根据各种监控数据提前做出预判充分保证云平台网络可靠性n虚拟防火墙管理实现自定义虚拟防火墙，提升管理便利性28基于元数据的虚拟存储管理n元数据是提供关于信息资源或数据的一种结构化的数据，是对信息资源的结构化的描述。通过将虚拟化整合的云计算存储资源以元数据的形式进行管理，将能非常方便地对整合的资源进行定位和存取。29虚拟存储管理 元数据管理服务器 客户端 后端存储集群 元数据管理模块元数据存取模块30n利用元数据搜索和定位存储资源客户端先通过与元数据集群交互，获取文件的元数据信息获取元数据信息后，客户端
11、直接和存储集群进行交互，以并行 I/O的方式访问文件数据 控制路径与数据路径相分离 ,避免服务器成为数据传输路径上的瓶颈 基于元数据存储的虚拟存储管理平台原理31强大的云平台安全管理n 面向虚拟机的离线安全检测技术 n 面向虚拟机的在线安全检测技术n 实时升级的杀毒软件病毒库32面向虚拟机的离线安全监测技术传统方式创新方式虚拟机病毒查杀采用最近最久未使用算法，提高查杀效率批量查杀管理：查找关闭状态、自上次杀毒后启动过的虚拟机，全部记录后依次杀毒为每个虚拟机安装杀毒软件，根据需要单独对各个虚拟机进行病毒查杀，分散、耗时、效率低下只能对单一虚拟机进行查杀，无法统一管理33基于云端的运维服务n 云计
12、算IT运维服务把数据乃至应用程序全部集中到云端，大量本地的运维工作转移到云服务器端n 基于云计算的IT运维管理服务模式以各种监控、告警、日志、报告服务工具为依托，结合部署在云端的运维服务，可实现全网的统一运维管理 不仅打破传统的本地式运维的地域限制，还能及早发现故障隐患，从而可以建立起主动式IT运维，同时运维总体工作量大大减少，运维成本大幅降低34业务视角的运维管理n 通过从业务视角统一管理服务器、应用、网络状态，对业务及其下软硬件资源进行高效的运维管理n 在故障发生时，通过颜色、声音邮件等方式进行报警通知；同时按照业务逻辑进行多层次管理，准确解决业务中出现的问题35基于智慧库的自动化运维n云
13、计算能力与规模越来越大，人工管理资源越来越不实际。这些新特性对IT管理自动化能力提出了更高要求n部署基于智慧库的自动化运维管理模块，自动化管理云平台n智慧库从历史操作中积累运维知识，当发生事件或监控数据触发规则时，基于智慧库中存储的历史方案，由决策引擎提供自动化解决方案，节约人力，同时提高响应速度智慧库 （XML） 策略管理 决策引擎 应用管理对象 服务器管理对象 业务管理对象 选择自动/手动处理从智慧库检索解决方案根据新的事件进行知识积累36强大的自动化管理流程业务部门选择应用访问自助服务门户挑选应用基础设施模板资源自动供应工具确定资源(验证资源分配)(选择合适的规模 合适的应用)启动(工作
14、流自动启动)(一个完整的应用基础设施启动和运行)(可用的资源和何时使用)ERPCRM数据仓库数据库邮件和消息通信文件, 打印, 基础设施n减少人员 n自动化的步骤n整合的资源信息管理37企业级的云计算监控运维解决方案38云计算集群服务器监控模块划分服务器管理安全管理应用管理业务管理配置管理事件管理性能管理云平台的虚拟化安全技术，提供无插件、无代理的云安全服务监视服务器各性能指标和阈值、程序组的性能指标以业务视图的形式展示了业务的构成（网络链路、服务器、程序组、端口和监视器），及时了解服务的状态和告警为管理人员提供管理入口，进行设备资源管理和、IP资源管理历史性能、实时性能、性能分析、性能阈值、
15、性能公式设置事件通知、集中展示、查询统计、事件设置及关联事件设置、行为及级别管理等环境管理、模板管理、轮询设置、Trap设置、采样周期设置、数据维护监视各种中间件、数据库、web应用运维管理39项目目标用户群实现效果专门针对数据中心的系统监控和分析系统 实现云计算环境下大量服务器监控中间件、数据库以及业务系统监控虚拟机的监控和管理数据分析和容量预测 提供云服务器的IT企业 IDC企业 企业集团和政府的大型数据中心实现可用性，健康度量化指标，建立可量化的IT系统评估指标，提高服务质量。自动化监控大量服务器，降低劳动强度，节省人力。提供容量规划参考，有效提高服务器利用率，节约购置成本。40安全管理
16、模块无插件、无代理的虚拟化云安全服务实时防护安全查杀批量查杀修复漏洞定制安全策略历史记录WebUI杀毒引擎模块日志模块安全内核模块策略模块UI通信模块在线杀毒功能模块在线管理模块KVMKMODVMM内核Ring 0虚拟机进程杀毒引擎病毒库离线升级补丁库日志数据库云平台的虚拟化基础设施HOST云安全服务镜像处理离线杀毒功能模块离线控制模块日志模块策略模块杀毒引擎模块虚拟机文件离线升级功能模块日志模块策略模块升级模块升级管理模块虚拟机文件镜像处理UI通信模块UI通信模块41运维管理模块42配置监视管理43服务器管理44应用管理45业务管理46性能管理47事件管理轮询与告警设置 48成功案例49结束语 云计算是新一代信息技术产业的重要组成部分 云计算将极大推动传统产业改造升级、加速培育高科技新兴产业 云计算下网络系统的监控、管理和运维是云计算平台安全、高效运行的保证50
