1、多云环境下的自动化运维实践GOP S 全 球 运 维 大 会 2019 深 圳 站 1目录目录多云环境下的资多云环境下的资源源管理管理1多云环境下的应多云环境下的应用用管理管理2多云环境下的混多云环境下的混沌沌工工程程探探索索3QA4GOP S 全 球 运 维 大 会 2019 深 圳 站 2如何快速评测企业自动化运维建设成熟度？如何快速评测企业自动化运维建设成熟度？GOP S 全 球 运 维 大 会 2019 深 圳 站 3问题：如果将生产中一台Web服务虚拟机直接删除掉，是否可以使用自动化手段恢复？1.是否能够自动化创建一台新的虚拟机？2.是否能够自动化配置应用运行环境？3.是否能够自动化
2、部署应用的当前版本？4.是否能够自动化添加监控？5.是否能够自动化完成日志采集？6.是否能够自动化执行冒烟测试？7.是否能够自动化添加新节点到集群中？8.以上所有步骤是否涉及到CMDB的资产添加和状态变更。基于开源的开源全链路自动化运维体基于开源的开源全链路自动化运维体系系GOP S 全 球 运 维 大 会 2019 深 圳 站 4为什么是为什么是Docker和和Kubernetes？GOP S 全 球 运 维 大 会 2019 深 圳 站 5为什么是多云？为什么是多云？GOP S 全 球 运 维 大 会 2019 深 圳 站 6运维到底有没有边界？运维到底有没有边界？“十十”字形人才字形人才
3、GOP S 全 球 运 维 大 会 2019 深 圳 站 7多云环境的运维痛多云环境的运维痛点点单一多云GOP S 全 球 运 维 大 会 2019 深 圳 站 8CMDB是一个古老的话题！是一个古老的话题！ ITIL 资产管理传统CMDB 分层设计 应用树面向 应用 持续交付 自动化服务 场景多云 混合云管理 堡垒机GOP S 全 球 运 维 大 会 2019 深 圳 站 9CMDB建设三步（建设三步（3C）工作）工作法法GOP S 全 球 运 维 大 会 2019 深 圳 站 10以以CMDB为核心为核心GOP S 全 球 运 维 大 会 2019 深 圳 站 11使用使用CMDB打通各个
4、自动化运维流打通各个自动化运维流程程主机名主机名IP地址地址系统监控模板系统监控模板应用监控应用监控模模板板状态状态node1192.168.56.11Linux ServerNginx在线node2192.168.56.12Windows ServerSQLServer下线标准化模版系统监控模板组件监控模板监控脚本CMDB1.自动化添加监控2.监控覆盖率比对GOP S 全 球 运 维 大 会 2019 深 圳 站 12CMDB建设建设GOP S 全 球 运 维 大 会 2019 深 圳 站 13CMDB功能概述功能概述GOP S 全 球 运 维 大 会 2019 深 圳 站 14目录目录多云
5、环境下的资多云环境下的资源源管理管理1多云环境下的应多云环境下的应用用管理管理2多云环境下的混多云环境下的混沌沌工工程程探探索索3QA4GOP S 全 球 运 维 大 会 2019 深 圳 站 15非容器应用环境配非容器应用环境配置置自研自研：AgentSaltStack：Agent（Master-Minion）Salt-SSHSalt-CloudAnsible：SSH腾讯蓝鲸腾讯蓝鲸：Agent、SSH、API命令通道、数据通道、文件通道GOP S 全 球 运 维 大 会 2019 深 圳 站 16应用环境配置模应用环境配置模式式声明式命令式GOP S 全 球 运 维 大 会 2019 深
6、圳 站 17状态管理状态管理管理最终状态管理最终状态作业编排作业编排单个或多个命令执行单个或多个命令执行容器应用环境配容器应用环境配置置应用运行环 境操作系统GOP S 全 球 运 维 大 会 2019 深 圳 站 18FROM ADD、RUN、CMDFROM ADD、RUN、CMDFROM centosADD、RUN、CMDB基于开源封装自动化运维平基于开源封装自动化运维平台台轻封装重易用原生API调用紧跟开源社区GOP S 全 球 运 维 大 会 2019 深 圳 站 19基于腾讯蓝鲸做运维基于腾讯蓝鲸做运维PAAS平平台台开发框架支持免运维托管API网关前端服务GOP S 全 球 运 维
7、 大 会 2019 深 圳 站 20CI/CD流水线流水线Jenkins做核心编排GOP S 全 球 运 维 大 会 2019 深 圳 站 21K8S做应用管理应用的应用的CI/CDInfra PipelineDatabase PipelineCode PipelinePipelineGOP S 全 球 运 维 大 会 2019 深 圳 站 22SQL发布发布PipelineGOP S 全 球 运 维 大 会 2019 深 圳 站 23SQL提交提交SQL工单继承版本号自动审核自动审核SQL语法审核SQL规范审核自动备份自动备份根据表大小 决定开发、测试， 不备份手动手动/自动执自动执 行行开
8、发、测试 自动执行生产部分表 自动执行结果反馈结果反馈通知数据库版本 变更数据库版本管数据库版本管理理SQLPipeline结 束更新数据 库版本数据库版 本检查Code Pipeline开 始GOP S 全 球 运 维 大 会 2019 深 圳 站 24ID版本号版本号更新应用更新应用更新日期更新日期SQL语句语句开源的数据库版本控开源的数据库版本控制制https:/flywaydb.org/http:/www.liquibase.orgSupported databases Oracle, SQL Server (including Amazon RDS and Azure SQL Dat
9、abase, DB2, MySQL (including Amazon RDS, Azure Database & Google Cloud SQL), Aurora MySQL, MariaDB, Percona XtraDB Cluster, PostgreSQL (including Amazon RDS, Azure Database, Google Cloud SQL & Heroku), Aurora PostgreSQL, Redshift, CockroachDB, SAP HANA, Sybase ASE, Informix, H2, HSQLDB, Derby and SQ
10、Lite.GOP S 全 球 运 维 大 会 2019 深 圳 站 25DevOps平台建设平台建设项目管理：Redmine代码托管：Gitlab、USVN持续交付：Jenkins、Gitlab-CI应用运维平台：腾讯蓝鲸、自研DevOps平台项目管理代码托管持续交付应用运维 平台GOP S 全 球 运 维 大 会 2019 深 圳 站 26DevOps平台建设平台建设GOP S 全 球 运 维 大 会 2019 深 圳 站 27应用运行时配应用运行时配置置一个配置文件对应多套环境多个配置文件对应多套环境: DEV SIT UAT PAT PROD配置中心统一管理DevOps中的一些原则：中的
11、一些原则：代码和配置分离制品只构建一次一个脚本部署多套环境GOP S 全 球 运 维 大 会 2019 深 圳 站 28配置中心配置中心https:/ S 全 球 运 维 大 会 2019 深 圳 站 29Kubernetes Configmap+Secret配置（Configmap）代码（Image）数据（Volume）GOP S 全 球 运 维 大 会 2019 深 圳 站 30目录目录多云环境下的资多云环境下的资源源管理管理1多云环境下的应多云环境下的应用用管理管理2多云环境下的混多云环境下的混沌沌工工程程探探索索3QA4GOP S 全 球 运 维 大 会 2019 深 圳 站 31什么
12、是混沌工程？什么是混沌工程？混沌工程是在分布式系统上进行实验的学科,在生产环境中进行由经验指导的受控实验， 目的是建立对系统抵御生产环境中失控条件的能力以及信心。http:/principlesofchaos.org/GOP S 全 球 运 维 大 会 2019 深 圳 站 32混沌工程演进时间线GOP S 全 球 运 维 大 会 2019 深 圳 站 33混沌工程和测试的区混沌工程和测试的区别别实验未知混沌工程测试已知故障GOP S 全 球 运 维 大 会 2019 深 圳 站 34测试混沌工程的高级原混沌工程的高级原则则建立一个围绕稳定状态行为的假说建立一个围绕稳定状态行为的假说多样化真实
13、世界的事件多样化真实世界的事件 在生产在生产环境中运行实验环境中运行实验 持续自动化运持续自动化运行实验行实验最小化爆炸半径最小化爆炸半径GOP S 全 球 运 维 大 会 2019 深 圳 站 35多云环境下的事多云环境下的事件件外部多中心互联中断访问激增CDN大量404MySQL主从跑满带宽应用某组件不间断超时配置文件丢失Kafka Topic丢失系统CPU利用率100%网络延迟DNS解析失败硬件服务器宕机某云服务不可用现实中已知的事件，系 统是否可以适应？GOP S 全 球 运 维 大 会 2019 深 圳 站 36混沌工程开源工混沌工程开源工具具kube-monkeyGOP S 全 球 运 维 大 会 2019 深 圳 站 37GOP S 全 球 运 维 大 会 2019 深 圳 站 38谢谢
