1、方德高可信服务器集群方德高可信服务器集群报告日期：报告日期：目录目录 集群介绍集群介绍 集群管理工具集群管理工具 集群各模块服务集群各模块服务 集群应用集群应用 总结总结集群介绍集群介绍n集群概述集群概述 集群技术集群技术(Cluster(Cluster技术技术) )就是将多台服务器用集群软件连接在一就是将多台服务器用集群软件连接在一起，组成一个高度透明的大型服务器群的计算机系统；起，组成一个高度透明的大型服务器群的计算机系统； 作为一个整体为客户端提供服务，客户端能共享网络上的所有资源作为一个整体为客户端提供服务，客户端能共享网络上的所有资源，如数据或应用软件等，同时客户端的用户并不关心其应
2、用，如数据或应用软件等，同时客户端的用户并不关心其应用ServerServer运行在那台服务器上，只关心其应用运行在那台服务器上，只关心其应用ServerServer是否能连续工作。是否能连续工作。集群介绍集群介绍 当集群系统内某一台服务器出现故障时，其备援服务器便当集群系统内某一台服务器出现故障时，其备援服务器便立即接管该故障服务器的应用服务，继续为前端的用户提立即接管该故障服务器的应用服务，继续为前端的用户提供服务。供服务。 从客户端看来，集群中的所有服务器是一个系统，就像一从客户端看来，集群中的所有服务器是一个系统，就像一台大型的计算机系统，其上运行着客户端需要的应用服务台大型的计算机系
3、统，其上运行着客户端需要的应用服务。在一年之内可达。在一年之内可达99999999可用性时，这样的集群系统我可用性时，这样的集群系统我们称为高可用性的集群系统。们称为高可用性的集群系统。集群模型集群模型集群普通结构集群普通结构集群分类（集群分类（1 1）n 高可用集群高可用集群高可用集群简称高可用集群简称HA（High Availability Cluster）。是一项以减少服务中断时间为目。是一项以减少服务中断时间为目的的服务器集群技术。的的服务器集群技术。工作方式工作方式高可用集群通常有两种工作方式：高可用集群通常有两种工作方式：容错系统：通常是主从服务器方式。容错系统：通常是主从服务器方
4、式。互备系统：集群中所有的节点都处于活动状态，它们互备系统：集群中所有的节点都处于活动状态，它们 承担系统的工作负载。承担系统的工作负载。集群分类（集群分类（2）n 负载均衡集群负载均衡集群 负载均衡集群就是带均衡策略算法的服务器集负载均衡集群就是带均衡策略算法的服务器集群。负载均衡集群在多节点之间按照一定的算法群。负载均衡集群在多节点之间按照一定的算法分发网络或计算处理负载。分发网络或计算处理负载。集群的重要性集群的重要性n 在高可用性的集群系统中，由于是多台服务器在高可用性的在高可用性的集群系统中，由于是多台服务器在高可用性的集群系统软件的管理下为客户端提供服务，故每一个计算机集群系统软件
5、的管理下为客户端提供服务，故每一个计算机的部件都有冗余备份，其中最重要的是数据存放的介质要有的部件都有冗余备份，其中最重要的是数据存放的介质要有冗余保护，一旦某个部件出现问题，冗余部件会自动接管故冗余保护，一旦某个部件出现问题，冗余部件会自动接管故障部件的工作，也就是说某台服务器出现故障，则备份服务障部件的工作，也就是说某台服务器出现故障，则备份服务器将在集群软件的指挥下自动接管故障服务器的工作，从而器将在集群软件的指挥下自动接管故障服务器的工作，从而消除了此故障对整个系统的影响。消除了此故障对整个系统的影响。集群应用前景集群应用前景n 网络的高速发展网络的高速发展, ,带来了服务器的线形增长
6、带来了服务器的线形增长, ,当访问需求增当访问需求增长时长时, ,服务器会在很短的时间内超载服务器会在很短的时间内超载, ,集群技术由此应运而集群技术由此应运而生。目前生。目前, ,越来越多的企业采用越来越多的企业采用LinuxLinux操作系统操作系统, ,提供提供WebWeb、邮件、文件存储数据库等服务。邮件、文件存储数据库等服务。n 随着人们对随着人们对LinuxLinux服务器依赖的加深服务器依赖的加深, ,对其可靠性、负载能对其可靠性、负载能力和数据能力也备加关注。力和数据能力也备加关注。LinuxLinux集群技术以低廉的成本集群技术以低廉的成本, ,实现了这些需求。实现了这些需求
7、。LinuxLinux可以运行于极为普及的可以运行于极为普及的PCPC机上机上, ,不不需要购买昂贵的需要购买昂贵的UNIXUNIX硬件设备。在几台运行硬件设备。在几台运行LinuxLinux的的PCPC机上机上, ,只要加入相应的集群软件只要加入相应的集群软件, ,就可以组成具有很强可靠性、就可以组成具有很强可靠性、负载能力和计算能力的负载能力和计算能力的LinuxLinux集群。集群。集群介绍集群介绍小结：小结：l 本次集群是在中科方德高可信服务器操作系本次集群是在中科方德高可信服务器操作系统平台上进行搭建；统平台上进行搭建；l 技术的目标在于通过多层网络结构进一步提技术的目标在于通过多层
8、网络结构进一步提高扩展性、可用性与可靠性；高扩展性、可用性与可靠性；l 将目前应用最为广泛的高可用集群技术和负将目前应用最为广泛的高可用集群技术和负载均衡集群技术融合到一起。载均衡集群技术融合到一起。目录目录 集群介绍集群介绍 集群管理工具集群管理工具 集群各模块服务集群各模块服务 集群应用集群应用 总结总结Heartbeat介绍：介绍：概述：概述：HeartbeatHeartbeat是是Linux-HALinux-HA工程的一个组件。是集群的管理工程的一个组件。是集群的管理工具，同时也是集群中的一个服务；工具，同时也是集群中的一个服务；它通过插件技术实现了集群间的串口、多播、广播和它通过插件
9、技术实现了集群间的串口、多播、广播和组播通信，根据通信媒介选择采用的通信协议，组播通信，根据通信媒介选择采用的通信协议，heartbeatheartbeat启动的时候检查这些媒介是否存在，如果存启动的时候检查这些媒介是否存在，如果存在则加载相应的通信模块。在则加载相应的通信模块。检测各节点和服务的运行状态，不需要人工干预的情检测各节点和服务的运行状态，不需要人工干预的情况下，自动保证系统能持续对外提供服务。况下，自动保证系统能持续对外提供服务。 HeartbeatHeartbeat组件结构图组件结构图n 结构图结构图Heartbeat原理原理高可用性集群的实现原理大致来说，就是有服务监测进程高
10、可用性集群的实现原理大致来说，就是有服务监测进程运行在负载均衡器上，用来定期检查服务器是否可用。运行在负载均衡器上，用来定期检查服务器是否可用。如果在指定的时间内没有响应服务接入请求或没有从服务如果在指定的时间内没有响应服务接入请求或没有从服务器获得器获得ICMP ECHO_REQUEST数据，监测服务就会认为数据，监测服务就会认为服务器是不可用，并且将它从现有的负载均衡器上的服务服务器是不可用，并且将它从现有的负载均衡器上的服务器列表中删除，从而不会有新的请求再被发送到这台不可器列表中删除，从而不会有新的请求再被发送到这台不可用的服务器中。用的服务器中。当监测服务检测到不可用的服务器已经可以
11、恢复工作，监当监测服务检测到不可用的服务器已经可以恢复工作，监测服务将会把这台服务器重新添加到可用的服务器列表中测服务将会把这台服务器重新添加到可用的服务器列表中。pacemakerpacemaker介绍介绍PacemakerPacemaker是集群资源管理。它利用你的集是集群资源管理。它利用你的集群基础组件（如群基础组件（如heartbeatheartbeat）来停止，启动）来停止，启动甚至监控你希望集群提供服务的健康状况。甚至监控你希望集群提供服务的健康状况。它可以在任何大小规模的集群中工作，伴随它可以在任何大小规模的集群中工作，伴随使用可靠的模块，管理可以很准确的描述集使用可靠的模块，管
12、理可以很准确的描述集群中资源的关系。群中资源的关系。hb_guihb_gui介绍介绍 pacemakerpacemaker的图形管理工具的图形管理工具 : :图形界面图形界面n rootroot用户登录信息用户登录信息 ：CmanCman介绍介绍l cmancman概述概述 cmancman（cluster managercluster manager）是）是RHCS(Red Hat RHCS(Red Hat Cluster Suite)Cluster Suite)管理工具集的其中一个组件，是一管理工具集的其中一个组件，是一个基于内核的对称通用分布式集群管理工具，在个基于内核的对称通用分布式集
13、群管理工具，在RHCSRHCS中执行集群管理任务，通过配置和管理其它组中执行集群管理任务，通过配置和管理其它组件来管理高可用集群。件来管理高可用集群。CmanCman介绍介绍l cmancman原理原理 cmancman通过监视集群节点提供一个法定节点数（通过监视集群节点提供一个法定节点数（quorumquorum），当集群中有多余一半的节点处于活），当集群中有多余一半的节点处于活跃状态时说明有一个法定节点数，当有一半或跃状态时说明有一个法定节点数，当有一半或少于一半的节点处于活跃状态是则不具有一个少于一半的节点处于活跃状态是则不具有一个法定节点数，此时整个集群不可用。法定节点数，此时整个集群
14、不可用。cmancman通过通过监控节点来了解节点的成员关系，当集群中的监控节点来了解节点的成员关系，当集群中的成员关系改变时，成员关系改变时，cmancman通知底层结构做相应调通知底层结构做相应调整。整。CmanCman组件（组件（1 1） cman.kocman.ko：CMAN CMAN 的的内内核核模模块块。 cman_toolcman_tool：这：这是是 CMAN CMAN 的的管管理理前前台台，是，是一一个个管管理理 CMAN CMAN 群群集集管管理理器器的的程程序序。它它启启动动和和停停止止 CMAN CMAN 并并能能修修改改某某些些内内部部参参数数，它，它提提供供加加入入
15、集群集群、离离开开集集群群、杀杀死死节节点点或或修修改改集集群群里里节节点点的的预预期期 quorum quorum votes votes 的的功功能能。 dlm_controlddlm_controld：由：由 cmancman 初初始始脚脚本本启启动动的的守守护护进进程程，它，它管管理理内内核核中中的的 dlmdlm；用；用户户不不可可直直接接使使用用。CmanCman组件（组件（2 2） gfs_controldgfs_controld：cman cman 初初始始脚脚本本启启动动的的守守护护进进程程，它，它管管理理内内核核中中的的 gfsgfs；用；用户户不不可可直直接接使使用用。
16、group_toolgroup_tool：用：用来来获获取取与与保保护护（fencingfencing）、）、DLMDLM、GFS GFS 相相关关的的组组群群列列表表，并，并获获取取调调试试信信息息，包，包括括 cman_tool cman_tool services services 在在 RHEL 4 RHEL 4 中中提提供供的的信信息息。 GroupdGroupd：cman cman 初初始始脚脚本本启启动动的的守守护护进进程程，它，它是是 openais/cman openais/cman 和和 dlm_controld/gfs_controld/fenced dlm_contro
17、ld/gfs_controld/fenced 之之间间的的接接口口；用；用户户不不可可直直接接使使用用。总结总结l HeartbeatHeartbeat集群管理工具主要负责心跳信号，而集群管理工具主要负责心跳信号，而PacemakerPacemaker对资源进行管理。对资源进行管理。PacemakerPacemaker则可以通过命令行或者图形界则可以通过命令行或者图形界面来对资源（组），节点创建，管理，配置等工作，用来面来对资源（组），节点创建，管理，配置等工作，用来搭建和管理一个高可用集群。搭建和管理一个高可用集群。l cmancman集群管理工具用于管理集群成员，消息和通知。集群管理工具用
18、于管理集群成员，消息和通知。cmancman包括一套内核补丁和一个用户空间程序包括一套内核补丁和一个用户空间程序 。cman_tool cman_tool 用于用于使一个节点加入或者离开集群。改变集群的投票期望值。使一个节点加入或者离开集群。改变集群的投票期望值。目录目录 集群介绍集群介绍 集群管理工具集群管理工具 集群各模块服务集群各模块服务 集群应用集群应用 总结总结多网卡绑定多网卡绑定l bonding概述概述 Linux bonding实现就是用多块网卡虚拟成实现就是用多块网卡虚拟成为一块网卡，这个聚合起来的设备对外看起来为一块网卡，这个聚合起来的设备对外看起来是一个单独的以太网接口设
19、备，通俗点讲就是是一个单独的以太网接口设备，通俗点讲就是多块网卡具有相同的多块网卡具有相同的IP地址而并行链接聚合成地址而并行链接聚合成一个逻辑链路工作。一个逻辑链路工作。BondingBonding原理原理 正常情况下，网卡只接收目的硬件地址正常情况下，网卡只接收目的硬件地址(MAC Address)(MAC Address)，自身，自身MacMac的以太网帧，将别的数据帧都滤掉，以减轻的以太网帧，将别的数据帧都滤掉，以减轻驱动程序的负担。驱动程序的负担。 网卡也支持另外一种被称为混杂网卡也支持另外一种被称为混杂promiscpromisc的模式，可以的模式，可以接收网络上所有的帧，接收网络
20、上所有的帧，bondingbonding运行在这个模式下，而运行在这个模式下，而且修改了驱动程序中的且修改了驱动程序中的macmac地址，将两块网卡的地址，将两块网卡的MacMac地址地址改成相同，可以接收特定改成相同，可以接收特定macmac的数据帧。然后把相应的的数据帧。然后把相应的数据帧传送给数据帧传送给bondbond驱动程序处理。驱动程序处理。 Linux bonding Linux bonding 驱动提供了一个把多个网络接口设备捆驱动提供了一个把多个网络接口设备捆绑为单个的网络接口设置来使用，用于网络负载均衡及绑为单个的网络接口设置来使用，用于网络负载均衡及网络冗余。网络冗余。b
21、ondingbonding模块模块 bonding模块本质上是一个虚拟的网卡驱动（模块本质上是一个虚拟的网卡驱动（network device driver），只不过并没有真实的），只不过并没有真实的物理网卡与之对应，而是由这个虚拟网卡去物理网卡与之对应，而是由这个虚拟网卡去“管辖管辖”一系列的真实的物理网卡，所以它的代一系列的真实的物理网卡，所以它的代码结构和一般网卡驱动的代码结构非常类似，码结构和一般网卡驱动的代码结构非常类似，这是共性；除此之外，它还有自己的一些特性这是共性；除此之外，它还有自己的一些特性功能，例如特别的链路状态监控机制，绑定功能，例如特别的链路状态监控机制，绑定/解解除
22、绑定等。除绑定等。DRBDDRBD介绍介绍DRBDDRBD概述：概述： DRBD（Distributed Replicated Block Device）实际上是一种块设备的实现，主要被用于构建实际上是一种块设备的实现，主要被用于构建linux系统下的高可用集群。它是由内核模块和系统下的高可用集群。它是由内核模块和相关程序组成，通过网络通信来同步镜像整个设相关程序组成，通过网络通信来同步镜像整个设备。备。DRBD 负责接收数据，将数据写入本地负责接收数据，将数据写入本地DRBD设备上的文件系统时，数据会同时被发送设备上的文件系统时，数据会同时被发送到该服务器集群中另外的节点，并以完全相同的到该
23、服务器集群中另外的节点，并以完全相同的内容格式保存。内容格式保存。 DRBDDRBD原理：原理： 每个设备（每个设备（DRBD 提供了不止一个设备）都有一提供了不止一个设备）都有一个状态，可能是主状态或从状态。在带有主设备个状态，可能是主状态或从状态。在带有主设备的节点上，应用程序能运行并且访问主、从节点的节点上，应用程序能运行并且访问主、从节点设备。每次写入都会发往本地底层设备和从节点设备。每次写入都会发往本地底层设备和从节点设备中。从节点只能简单地把数据写入它的底层设备中。从节点只能简单地把数据写入它的底层块设备上。块设备上。DRBD数据镜像特点数据镜像特点适时性：当应用程序在写入或修改数
24、据的同时也在向其它适时性：当应用程序在写入或修改数据的同时也在向其它节点进行备份该数据；节点进行备份该数据；透明性：将数据保存到本地设备时，实际上也保存到其它透明性：将数据保存到本地设备时，实际上也保存到其它节点上，而在其它节点也能看到数据的保存过程；节点上，而在其它节点也能看到数据的保存过程；同步或异步：同步是指本地节点与集群中的其它节点同时同步或异步：同步是指本地节点与集群中的其它节点同时对数据进行写入；异步是写数据被存储到本地节点中之后对数据进行写入；异步是写数据被存储到本地节点中之后，写事务被认可，对等节点中的数据副本出现在后台中；，写事务被认可，对等节点中的数据副本出现在后台中；DR
25、BD模式模式n单用户模式单用户模式 在单主模式下，任何资源，在任何时候，集群成员只有一在单主模式下，任何资源，在任何时候，集群成员只有一个主角色。这样就保证了只有一个集群节点操纵数据，这个主角色。这样就保证了只有一个集群节点操纵数据，这种模式可用于与任何传统的文件系统。种模式可用于与任何传统的文件系统。n双主模式双主模式 在双主模式下，任何资源，在任何时候，两个节点都在集在双主模式下，任何资源，在任何时候，两个节点都在集群节点上都发挥主节点作用。这种模式要求共享集群文件群节点上都发挥主节点作用。这种模式要求共享集群文件系统管理者使用一个分布式锁机制。包括系统管理者使用一个分布式锁机制。包括GF
26、SGFS与与OCFS2OCFS2。DRBDDRBD组件组件 DRBD包含几个具有可与内核组件通信能力的管理工具，包含几个具有可与内核组件通信能力的管理工具，为了能够配置和管理为了能够配置和管理DRBD资源。资源。n drbdadm：DRBD应用套件的高层管理工具。应用套件的高层管理工具。n drbdsetup：需要用户配置已经被载入到运行内核的：需要用户配置已经被载入到运行内核的DRBD模型，它是模型，它是drbd应用套件的底层工具。应用套件的底层工具。n drbdmeta：该应用允许用户创建，删除，恢复，修改：该应用允许用户创建，删除，恢复，修改DRBD的元数据结构，也是一个很少使用的命令的
27、元数据结构，也是一个很少使用的命令iSCSIiSCSI介绍介绍niSCSIiSCSI概述概述iSCSIiSCSI是由是由IEETFIEETF开发的网络存储标准，目的是为开发的网络存储标准，目的是为了用了用IPIP协议将存储设备连接在一起。通过在协议将存储设备连接在一起。通过在IPIP网网上传送上传送SCSISCSI命令和数据，命令和数据，iSCSIiSCSI推动了数据在网际推动了数据在网际之间的传递，同时也促进了数据的远距离管理。之间的传递，同时也促进了数据的远距离管理。iSCSIiSCSI原理原理n iSCSIiSCSI技术的核心是在技术的核心是在TCP/IPTCP/IP网络上传输网络上传输
28、SCSISCSI协议，是指用协议，是指用TCP/IPTCP/IP报文、报文、iSCSIiSCSI报文封装报文封装SCSISCSI报文，使得报文，使得SCSISCSI命令和数据可以在普通命令和数据可以在普通以太网络上进行传输，以太网络上进行传输，iSCSI iSCSI 协议定义了在协议定义了在 TCP/IP TCP/IP 网络发送、接网络发送、接收收 blockblock（数据块）级的存储数据的规则和方法。发送端将（数据块）级的存储数据的规则和方法。发送端将SCSISCSI命命令和数据封装到令和数据封装到 TCP/IP TCP/IP 包中再通过网络转发，接收端收到包中再通过网络转发，接收端收到
29、TCP/IP TCP/IP 包之后，将其还原为包之后，将其还原为SCSISCSI命令和数据并执行，完成之后将命令和数据并执行，完成之后将返回的返回的SCSISCSI命令和数据再封装到命令和数据再封装到 TCP/IP TCP/IP 包中再传送回发送端。而包中再传送回发送端。而整个过程在用户看来，使用远端的存储设备就象访问本地的整个过程在用户看来，使用远端的存储设备就象访问本地的 SCSISCSI设备一样简单。设备一样简单。iSCSIiSCSI工作流程工作流程iSCSIiSCSI工作流程：工作流程：iSCSIiSCSI组件组件iSCSI存储使用以下三个组件：存储使用以下三个组件： 服务端（服务端（
30、Initiator）：安装在需要使用）：安装在需要使用iSCSI存储设备的主机存储设备的主机上的客户端软件，提供连接上的客户端软件，提供连接iSCSI存储设备并进行数据读写存储设备并进行数据读写的驱动程序；的驱动程序； 客户端（客户端（Target）：）：iSCSI存储设备，提供数据存储服务；存储设备，提供数据存储服务； 端口（端口（Portal）：由）：由IP地址和端口（默认为地址和端口（默认为TCP 3260）组成）组成，发起方通过入口来连接目标。，发起方通过入口来连接目标。iSCSIiSCSI模块模块n iscsiadm模块模块 iscsiadm是用来管理（更新、删除、插入、查询）iSC
31、SI配置数据库文件的命令行工具。n iscsi-target模块模块 target端即磁盘阵列或其他装有磁盘的主机。n iscsi-initiator模块模块 iSCSI-initiator提供了相当合理的iSCSI解决方案。GFS与与GFS2 介绍介绍nGFS与与GFS2概述概述 Global (GFS)是一个开放源代码的，是一个开放源代码的，POSIX兼容的兼容的Cluster文件系统和卷管理系统。是文件系统和卷管理系统。是Red Hat Cluster Suite提供一个集群文件系统，它允许多个节点在块级别提供一个集群文件系统，它允许多个节点在块级别上共享存储。上共享存储。GFS使用一个
32、分布式的元数据和多个记录使用一个分布式的元数据和多个记录，GFS是一个理想的集群文件系统。是一个理想的集群文件系统。 GFS2是是GFS基础基础上的改进。上的改进。GFS工作原理工作原理 n GFS文件系统通过一个或多个存储单元来构建一个存储文件系统通过一个或多个存储单元来构建一个存储池，集群中的节点通过池，集群中的节点通过SAN可以连接到指定的存储池，可以连接到指定的存储池，这样每个集群节点就可以通过一个或多个路径把存储池这样每个集群节点就可以通过一个或多个路径把存储池连接到网络应用中，由于存储池连接方式是通过直接连接到网络应用中，由于存储池连接方式是通过直接I/O连接方式，所以可以大大提升
33、连接方式，所以可以大大提升I/O性能。性能。 GFSGFS文件系统格式转换文件系统格式转换 将将GFS文件系统转成文件系统转成GFS2文件系统操作步骤：文件系统操作步骤：n 备份原来的备份原来的GFS文件系统；文件系统；n 从所有集群节点中卸载从所有集群节点中卸载GFS文件系统；文件系统；n 在在GFS文件系统中执行文件系统中执行gfs_fsck命令，确保没有文件系统损坏，并命令，确保没有文件系统损坏，并且现在使用的文件系统是一个干净的文件系统；且现在使用的文件系统是一个干净的文件系统；n 执行执行gfs2_convert + 文件系统，系统将显示警告或确认信息文件系统，系统将显示警告或确认信
34、息ldirectord 介绍介绍n 为了从主为了从主Director将将LVS负载均衡资源故障转移到备用负载均衡资源故障转移到备用Director，并从集群中自动移除节点，我们需要使用，并从集群中自动移除节点，我们需要使用ldirectord程序，这个程序在启动时自动建立程序，这个程序在启动时自动建立IPVS表，表，然后监视集群节点的健康情况，在发现失效节点时将其然后监视集群节点的健康情况，在发现失效节点时将其自动从自动从IPVS表中移除。表中移除。ldirectord原理原理n ldirectord守护进程通过向每台真实服务器真实守护进程通过向每台真实服务器真实IP（RIP）上的）上的集群资
35、源发送访问请求来实现对真实服务器的监控，这对所集群资源发送访问请求来实现对真实服务器的监控，这对所有类型的有类型的LVS集群都是成立的：正常情况下，为每个集群都是成立的：正常情况下，为每个Director上的上的VIP地址运行一个地址运行一个ldirectord守护进程，当真实服务器不响守护进程，当真实服务器不响应运行在应运行在Director上的上的ldirectord守护进程时，守护进程时，ldirectord守护守护进程运行适当的进程运行适当的ipvsadm命令将命令将VIP 地址从地址从IPVS表中移除。（表中移除。（以后，当真实服务器回到在线状态时，以后，当真实服务器回到在线状态时，
36、ldirectord使用适当的使用适当的ipvsadm命令将真实服务器重新添加到命令将真实服务器重新添加到IPVS表中）；表中）；Ldirectord功能功能n 负载均衡集群，通过负载均衡集群，通过Ldirectord监测各监测各Real Server的健康状况。在的健康状况。在Real Server不可用不可用时把它从群中剔除，恢复时重新加入。时把它从群中剔除，恢复时重新加入。ldirectordldirectord模块模块n ipvsadmIPVS（IP虚拟服务器）是实现传输层的负载均衡工具包虚拟服务器）是实现传输层的负载均衡工具包含在含在linux内核中，所以也叫做内核中，所以也叫做4层
37、交换机。层交换机。n ldirectordLdirectord (Linux Director Daemon)是是Jacob Rief编程实编程实现的一个独立进程，以实现对服务和物理服务器的监测现的一个独立进程，以实现对服务和物理服务器的监测，广泛地用于，广泛地用于http和和https服务。服务。NFS NFS 介绍介绍n NFS（Net ）网络文件系统是由）网络文件系统是由SUN公司开发，目前已经公司开发，目前已经成为文件服务的一种标准（成为文件服务的一种标准（RFC1904，RFC1813）。）。n NFS是分布式计算机系统的一个组成部分，可实现在异构是分布式计算机系统的一个组成部分，可
38、实现在异构网络上共享和装配远程文件系统。其最大功能是可以通过网络上共享和装配远程文件系统。其最大功能是可以通过网络让不同操作系统的计算机可以共享数据和远程访问，网络让不同操作系统的计算机可以共享数据和远程访问，所以也可以将其看作是一台文件服务器。所以也可以将其看作是一台文件服务器。NFSNFS原理原理nNFS客户端通过其客户端通过其TCP/IP模块向模块向NFS服务器发送服务器发送RPC请请求，求，NFS主要使用主要使用UDP，最新的实现也可以使用，最新的实现也可以使用TCP。nNFS服务器在端口服务器在端口2049接收作为接收作为UDP数据包的客户端请数据包的客户端请求，尽管求，尽管NFS可
39、以被实现为使用端口映射器，允许服务可以被实现为使用端口映射器，允许服务器使用一个临时端口，但是大多数实现都是直接指定器使用一个临时端口，但是大多数实现都是直接指定UDP端口端口2049。n当当NFS服务器收到一个客户端请求时，它将这个请求传服务器收到一个客户端请求时，它将这个请求传递给本地文件访问例程，然后访问服务器主机上的一个递给本地文件访问例程，然后访问服务器主机上的一个本地的磁盘文件。本地的磁盘文件。 LVMLVM介绍介绍n LVM概述概述n LVM是逻辑盘卷管理（是逻辑盘卷管理（Logical Volume Manager）的简）的简称，称，LVM作为作为Linux环境下对磁盘分区进行
40、管理的一种环境下对磁盘分区进行管理的一种机制，机制，LVM是建立在硬盘和分区之上的一个逻辑层，来是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。提高磁盘分区管理的灵活性。LVM是在磁盘分区和文件是在磁盘分区和文件系统之间添加的一个逻辑层，来为文件系统屏蔽下层磁系统之间添加的一个逻辑层，来为文件系统屏蔽下层磁盘分区布局，提供一个抽象的盘卷，使得用户在无需停盘分区布局，提供一个抽象的盘卷，使得用户在无需停机的情况下方便地调整各个分区大小，在盘卷上建立文机的情况下方便地调整各个分区大小，在盘卷上建立文件系统。件系统。 基本术语基本术语 n物理存储介质（物理存储介质（The physi
41、cal media）这里指系统的存储设备：硬盘，如：这里指系统的存储设备：硬盘，如：/dev/hda1/dev/hda1、/dev/sda/dev/sda等等等等，是存储系统最低层的存储单元。，是存储系统最低层的存储单元。n物理卷（物理卷（physical volume）物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设物理卷就是指硬盘分区或从逻辑上与磁盘分区具有同样功能的设备备( (如如RAID)RAID)，是，是LVMLVM的基本存储逻辑块，但和基本的物理存储介的基本存储逻辑块，但和基本的物理存储介质（如分区、磁盘等）比较，却包含有与质（如分区、磁盘等）比较，却包含有与LVMLVM相
42、关的管理参数。相关的管理参数。n卷组（卷组（Volume Group）LVMLVM卷组类似于非卷组类似于非LVMLVM系统中的物理硬盘，其由物理卷组成。可以系统中的物理硬盘，其由物理卷组成。可以在卷组上创建一个或多个在卷组上创建一个或多个“LVMLVM分区分区”（逻辑卷），（逻辑卷），LVMLVM卷组由一卷组由一个或多个物理卷组成。个或多个物理卷组成。基本术语基本术语n逻辑卷（逻辑卷（logical volumelogical volume）LVMLVM的逻辑卷类似于非的逻辑卷类似于非LVMLVM系统中的硬盘分区，在逻辑卷之上可以系统中的硬盘分区，在逻辑卷之上可以建立文件系统建立文件系统( (
43、比如比如/home/home或者或者/usr/usr等等) )。nPEPE（physical extentphysical extent） -逻辑扩展逻辑扩展每一个物理卷被划分为称为每一个物理卷被划分为称为PE(Physical Extents)PE(Physical Extents)的基本单元，的基本单元，具有唯一编号的具有唯一编号的PEPE是可以被是可以被LVMLVM寻址的最小单元。寻址的最小单元。PEPE的大小是可的大小是可配置的，默认为配置的，默认为4MB4MB。nLELE（logical extentlogical extent）逻辑卷也被划分为被称为逻辑卷也被划分为被称为LE(Lo
44、gical Extents)LE(Logical Extents)的可被寻址的基的可被寻址的基本单位。在同一个卷组中，本单位。在同一个卷组中，LELE的大小和的大小和PEPE是相同的，并且一一对是相同的，并且一一对应。应。集群服务总结集群服务总结n 总结总结集群的实现离不开以上的服务，多网卡绑定保证了网络的集群的实现离不开以上的服务，多网卡绑定保证了网络的连接；磁盘镜像实现了数据的备份；多机热互备为用户服连接；磁盘镜像实现了数据的备份；多机热互备为用户服务提供了安全保障；负载均衡提高了服务器的性能，同时务提供了安全保障；负载均衡提高了服务器的性能，同时也节省了用户的访问时间。也节省了用户的访问
45、时间。目录目录 集群介绍集群介绍 集群管理工具集群管理工具 集群各模块服务集群各模块服务 集群应用集群应用 总结总结系统配置环境系统配置环境 本章所描述的实例应用的系统配置环境如下：本章所描述的实例应用的系统配置环境如下：n 硬件环境：硬件环境： 集群节点：每个节点设备应该能运行中科方德高可信服务器集群节点：每个节点设备应该能运行中科方德高可信服务器 操作系统，并且内存大于等于操作系统，并且内存大于等于1GB，应具备两个，应具备两个网络适配器接口。网络适配器接口。 交换机或者交换机或者Hub：为了每个节点相互链接。：为了每个节点相互链接。 存储器：集群所必需的设备存储器：集群所必需的设备 系统
46、配置环境系统配置环境 n 软件环境：软件环境： 操作系统版本：方德高可信服务器操作系统操作系统版本：方德高可信服务器操作系统64位位 操作系统内核版本：操作系统内核版本：2.6.18-123.7NFS Heartbeat服务版本：服务版本：heartbeat-2.99.2-9.1 Pacemaker服务版本：服务版本：pacemaker-0.6.6-6.6 Bonding服务版本：服务版本：3.2.4 Drbd服务版本：服务版本：0.7.23 Iscsi-target版本：版本：0.4.17-LAXS3 Iscsi-initiator-utils版本：版本：6.2.0.868-0.18.LNF
47、S Ipvaadm服务版本：服务版本：1.24 Ldirectord服务版本：服务版本：1.186-ha-2.99.2集群应用（集群应用（1 1） 下图提供了一种下图提供了一种5 5节点的高可用负载均衡集群解决方案：节点的高可用负载均衡集群解决方案：方案说明方案说明n 从上图我们看出，从上图我们看出，LVSLVS的抽象体系结构分为三个层次的抽象体系结构分为三个层次。 第一层是负载均衡器，这是集群的唯一入口。从第一层是负载均衡器，这是集群的唯一入口。从客户端的角度看，集群通过这层的服务体现为一个客户端的角度看，集群通过这层的服务体现为一个基于基于IPIP地址的单一系统映像（地址的单一系统映像（S
48、SISSI），整个集群共用），整个集群共用这个虚拟地址，通过它客户端可以把整个集群看作这个虚拟地址，通过它客户端可以把整个集群看作一个独立的具有合法一个独立的具有合法IPIP地址的主机系统，客户端的地址的主机系统，客户端的所有访问都发往这个虚拟所有访问都发往这个虚拟IPIP地址。地址。 方案说明方案说明n 但我们也发现，如果仅有一台负载均衡器，容易造但我们也发现，如果仅有一台负载均衡器，容易造成负载均衡器成为集群的单点失效，使其成为集群成负载均衡器成为集群的单点失效，使其成为集群中最脆弱的环节。因此，有必要提供容错机制，能中最脆弱的环节。因此，有必要提供容错机制，能够在负载均衡器失效的时候进行
49、自动检测并平滑替够在负载均衡器失效的时候进行自动检测并平滑替换，也就是常说的换，也就是常说的HAHA技术。在上图的结构中，有一技术。在上图的结构中，有一个以备份均衡身份运行的结点实时地监控负载均衡个以备份均衡身份运行的结点实时地监控负载均衡器的运行状态，并根据检测到的状态做出响应：报器的运行状态，并根据检测到的状态做出响应：报警、接管、恢复。警、接管、恢复。方案说明方案说明n 第二层是提供实际服务的服务器组，并且节点间使第二层是提供实际服务的服务器组，并且节点间使用用drbddrbd服务来实现磁盘镜像。客户端发出的服务请服务来实现磁盘镜像。客户端发出的服务请求经过均衡器处理以后，转交到服务池由
50、具体的服求经过均衡器处理以后，转交到服务池由具体的服务器响应请求并返回数据。通常我们会在服务结点务器响应请求并返回数据。通常我们会在服务结点池上提供池上提供WebWeb服务、服务、FTPFTP服务或者视频点播服务。由服务或者视频点播服务。由于单一系统无法应付高峰值的数据访问，那么通过于单一系统无法应付高峰值的数据访问，那么通过多台服务器分担这些负载就比较经济可行了。多台服务器分担这些负载就比较经济可行了。方案说明方案说明n 服务器节点也有可能出现暂时失效的情况，特别是服务器节点也有可能出现暂时失效的情况，特别是在节点提供多种服务的时候，系统的随机故障或外在节点提供多种服务的时候，系统的随机故障
