1、平安云容器服务与运平安云容器服务与运维维 平台的对接平台的对接主要内容主要内容平安云及容器服务简介0103容器服务应用与运维容器服务构建与运维02平安云概貌平安云概貌云主机云主机Elastic Compute Cloud对象存储对象存储OBS弹性文件系统弹性文件系统Elastic File System负载均衡负载均衡Elastic Load Balancing虚拟私有云虚拟私有云Virtual Private Cloud块存储块存储Elastic Block Store自动化部署自动化部署Middleware/VADNoSQL 数据库数据库RDB数据库服务数据库服务（MySQL等）容器服务容
2、器服务CaaS产品服务产品服务云备份云备份Cloud Backup Service身份管理身份管理服务目录服务目录云门户云门户 产品订购产品订购计费计费/账单账单资源管理资源管理公共服务公共服务监控监控日志日志部署部署北京深圳云数据中心云数据中心上海其他服务其他服务安全安全平安集团子公司中包含金融行业的各个类别，不同企业、不同来源、不同 开发模式的业务系统对底层资源的需 求差异很大。所有这些需求对于平安 云来说都是必须要满足的。因此平安云会为用户提供不同类型的 弹性计算服务，包括：物理机：高性能，高规格物理机：高性能，高规格 虚拟机：虚拟机：灵活、安全的共享灵活、安全的共享容器：灵活、轻量、快
3、速交付容器：灵活、轻量、快速交付这些不同的计算模式可以共享相同的 VPC网络，用户可以根据应用架构选 择将一部分应用部署在物理机上，也 可以部署在虚拟机上或容器服务中。源起金融行业用户需求特源起金融行业用户需求特征征计算网络存储容器虚拟机VPC物理机投资系统保险系统信托系统基金系统其他系统容器服务的设容器服务的设计计目标目标自助服自助服务务对于大多数租户而言，希望能够使用容器服务加快环境部署的速度，提高扩容的效率，降 低运维成本，因此平安云提供一套简单有效的容器服务产品，使得用户能够自助完成容器 部署工作。自助式容器服务（私有或公有云服务）自助式容器服务（私有或公有云服务）用户可定制容器基础架
4、构（*）公共镜像商城私有镜像管理支持混合部署方式（*）兼容平安云基础架构（*）兼容平安应用架构规范（*）公共镜像 和私有镜 像镜像Stack编排应用服务集群 管理服务容器的简 便化管理容器容器服务的设容器服务的设计计目标目标流水流水线线平安云容器服务（CaaS API）对于开发团队而言，希望拥有一套从开发测试到生产部署的流水线，容器服务作为流水线 中的实际运行环境，完成最后一公里的工作。全流程部署自动化（私有云服务）全流程部署自动化（私有云服务） 提供API与开发管理平台紧密结合 支持开发-测试-生产环境部署流水线 用户可定制容器基础架构 支持“全容器”和“开发测试容器+生产非容器”型部署需求
5、 私有镜像版本管理 平台层服务支持Wizard研发管理持续验证持续集成基础服务平台构建与运平台构建与运维维持续优化平台运维01产品规划03服务交付05010203040502系统架构04产品规划产品规划应用管理l 应用编排部署l 应用管理服务管理l 创建服务l 服务配置镜像管理l 镜像商城l 公共镜像l 私有镜像租户管理l 部署容器服务l 管理运行环境环境管理l 环境授权l 管理主机系统架构系统架构架构约束架构约束同时支持物理机和虚拟机，支持动态 添加计算资源优先使用IaaS的弹性计算资源支持多区域数据中心分层架构，统一入口容器平台无法解决的服务需要借助于外部服务，例如防火墙，ADC等容器平台
6、与运维平台（ITIL，监控平台） 的集成兼容VPC网络，因此需要采用简易的 网络模型利用基础的存储服务实现可靠的弹性 存储，例如DNAS租户环境主机容器服务应用1nn11nn1镜像编排nn系统架构系统架构CaaS PortalPub HubAnsibleMySQL ClusterOrchestration（rancher）Docker ServerRegistry MirrorDocker HostDocker HostDocker Host云管区公共服务区租户VPCDocker HostOPCM平安云服务交付服务交付使用容器编排使用容器编排1.提供常见的编排方案，一键式部署应用2.应用和编排
7、相互转，个人编排发布到应用商城镜像仓库镜像仓库1.镜像商城：提供多种官方镜像，所有租 户均可使用2.公共仓库：每个租户拥有自己的公共仓 库，租户内用户共享租户内镜像3.个人镜像：支持将容器提交成镜像，下 载官方和公开镜像服务管理服务管理1.详细的服务管理：服务信息、服务 事件、服务配置2.支持shell、文件上传、镜像制作等 扩展功能新建应用和服务新建应用和服务1.应用：包含一系列相互关联的服务， 这些服务组成一个系统，与RSMS对 接2.支持Docker ComposeV1编排方式创 建1.丰富的服务创建配置：支持服务连接、 端口映射、环境变量、目录挂载等多 种策略等配置。启动容器服务启动容
8、器服务1.对接平安云门户，用户可以一键启用容器服务， 在私有的VPC内完成部署。2.支持多租户、多数据中心，租户可以选择指定 的数据中心启动服务3.租户亦可以使用容器平台提供公共租户，也可 以单独部署容器服务。 创建容器环境创建容器环境1.用户可以根据需求创建多套容器环境，并 将自己的计算节点添加到环境中，实现底 层资源的弹性扩容。2.环境之间资源、服务等完全隔离，仅在管 理态存在关联。服务交付过程服务交付过程平台运维平台运维监控管理监控管理容器底层的主机监控依赖既有的基于zabbix和open-falcon的监控，监控数据推送到EMP上。 容器的运行状态数据直接展现给用户，方便快速诊断，应用
9、层的监控由部署在主机上的监控agent来采集。日志管理日志管理容器的日志直接展现给用户，容器内进程的日志输出到指定目录，由主机端负责归档和处理。服务管理服务管理容器的增删改查等功能开放到门户上，由用户直接操作，同时提供了SSH可视化。 同时在主机层也提供了一键登录的功能，使用户可以从主机层面通过CLI控制服务。事件响应事件响应容器服务包含的事件分为平台层和应用层，均通过case系统进行上报处理。平台运维日志与监平台运维日志与监控控容器日志容器日志容器服务平台日志：本地+云平台ELK 日志服务容器自身运行日志：本地云磁盘+云平 台ELK日志服务容器内应用日志：业务自行规划，已 经提供目录挂载主机
10、监控主机监控容器监控容器监控主机监控可以通过统一的emp汇总报 警信息并查询监控数据IaaS层主机则可从云门户直接查看相 应的监控项容器监控：自研发脚本，提供容器本 身的性能监控 (cpu/mem/network/storage)，监控 平台定时获取，同时，能够在portal上 查看中间件监控：提供常见中间件的性能 监控(weblogic/tomcat/nginx等)，为 中间件镜像制作脚本，中间件监控程序 整合到docker镜像中，容器一启动， 就能即时上报性能数据到监控平台，无 需任何外部干预平台运维智能化尝平台运维智能化尝试试持续优化待完善持续优化待完善项项功能优化编排功能的优化，将架构
11、师输出的架构信息转换为compose文件图形化编排 应用商城计费模式的改进监控检查的准确度和自动处理机制流程优化租户自我管理功能强化与外部流程的对接，固定流程的简化容器服务应用与运容器服务应用与运维维需求分析环境部署版本发布业务场景服务编排应用版本发布开发平台应用架构服务集成配置管理镜像更新服务规划网络架构 部署方案 服务规划 编排文件运行监控健康检查 扩容缩容 架构变更 故障恢复配置管理配置管理在底层资源实现配置管理 的基础上，配置管理主要 实现用户应用信息的配置 管理01扩容缩容扩容缩容容器服务对运维最大的价 值点莫过于可以快速部署、 快速扩容，但针对于不用 的应用架构，快速扩容的 实现方
12、法不同02版本发布版本发布基于文件和基于镜像两种 部署方式，兼容用户习惯 和容器特征03容器服务应用与运容器服务应用与运维维背景网络方案容器支持的网络方案有很多种，而且在快速发展中。由于平安云已经有较好的VPC实现，且容器服务 作为计算三剑客的一员，需要适配VPC网络，因此在网络方案选择时我们选择了较为成熟和简单的做 法。对外：Container Bridge，与外界通讯采用端口映射对内：容器之间采用实现的IPsec隧道实现每一个容器均可以将其内部端口映射到主机端，容器服务平台负责管理和分配服务端口，确保容器 端口不会冲突。目前对于一个服务的多个容器实例，只能有一种端口映射方案。容器服务应用与
13、运容器服务应用与运维维应用数据：采用了Volume接口或者直接Volume映射。包含应用包目录，日志目录，应用文件目录。在生产环 境，我们将应用包目录部署在高冗余度的DNAS设备上，支持容器迁移和扩容。不需要迁移的目录在落在主机 本地磁盘上。Docker HostDocker HostDocker HostDocker HostDNAS背景存储方案镜像容器：采用分层文件系统的方式。考虑到我们需要支持的操作系统类型和文件系统的成熟度，使用 devicemapper（direct-lvm）容器服务应用与运容器服务应用与运维维SZB-公共服务区Docker distributionDocker di
14、stribution云管区RegistryV2RegistryV2SZB-租户VPCdockerdockerdockerDNASLvs+KeepalivedLvs+KeepalivedDNASDocker Server容器平台门户背景镜像库方案由于平安云容器服务是跨机房部署的，因此分为两个管理层级，在镜像库管理和镜像更新过程中，会按照区域 和镜像类型、活跃度进行提前推送以节省空间和时间，应用运维配置管应用运维配置管理理容器实例是最小的配置项在容器实例创建时统一命名且终生不变。由于容器必属于服 务，且一个服务下的容器具备相同的功能，因此服务共同的 属性记录在服务配置项中。对服务的修改不影响容器实
15、例的配置更新，容器实例仅在新 建、删除时存在变化。所有这些配置信息以容器服务平台纪录的为准，但会把与非 容器有关的部分同步到CMDB中供其他用户和平台查阅。容器实例应用子系 统服务集群租户受益人应用运维扩容缩应用运维扩容缩容容开门红四五联 动双11双12年底冲 刺春节 活动金融业务系统大多数情况下负载稳定，具备典型的双驼峰特性。但随着部分业务系统的互联网化，在每年的 若干高峰期会存在非常迫切的扩容需求。如果应用架构不做调整，扩容最直观的方式就是针对负载均衡后的集群增加实例，由容器编排平台进行新实 例创建和负载均衡配置调整。为了简化步骤，新实例外调防火墙需要提前开通或者通过NSP平台开通。简化的
16、做法还包括不实用DNS（如何DNS服务没有自动化的话），避免weblogic等中间件运行后修改配置， 启动热部署等做法。扩容的另一个关键性用途包括服务克隆功能和灰度发布、流量路由功能。应用运维版本发应用运维版本发布布应用版本发布过程基于文件容器服务允许用户向已经部署好的服务中上传应用包并远程执行命令，容器所在的主机也具备完整的目 录结构可供部署平台推送应用包，因此基于文件的版本发布流程可以和非容器流程完全相同，通过DPM 平台启动版本发布。用户也可以针对开发环境直接上传文件到主机并映射到容器内，通过此种方式，容器更像是一个普通的进程。基于镜像自动化部署流水线支持自动打包和制作镜像，通过此种方式，可以一次性部署完整的服务，版本以镜像 的形式存在。其他用户则可以在容器服务门户中选择编排，重新部署一套完整的应用。用户也可以通过上传文件完成调试后提交镜像，将改动更新到镜像库中。THANKS
