1、用友基于Docker构建高可用系统的实践传统企业进军互联网面临的问题与传统企业进军互联网面临的问题与挑挑战战微服务架构服务挂掉模块解耦依赖多模块多环境 复杂横向扩展调用灵活路由混乱频繁升级容错 高可用可独立部署Docker带来了什么？带来了什么？Lxc虚拟化启动速度快镜像分层CI环境构建提升性能，节约成本快速部署更快的扩容 缩容测试生产环 境一致为何基为何基于于Docker可以实现微可以实现微服服务架构务架构容 器容 器容 器容 器容 器物理机虚拟机虚拟机容器容器容 器容 器容 器容 器容 器容 器镜像是应用的唯一单元应用包本身配置环境运行环境运行依赖包操作系统发行版操作系统内核容 器容 器容
2、 器容 器容 器高可用系统需要具备哪些能力？高可用系统需要具备哪些能力？运维运维监控监控系统系统 监控监控配置管理批量命令性能性能分析分析应用拓扑大数大数据存储据存储日志收集系统日志弹性弹性伸缩伸缩镜像仓库镜像文件Docker模式海量海量索引索引主机管理集群管理异常异常 报警报警发布部署中间件安装自动自动伸缩伸缩 服服务发现务发现 负载负载均衡均衡调用链路中间件日志应用性能服务编排错误详情内存快照Native模式中间件网络管理应用构建仓库应用日志安全日志总体架构设计总体架构设计系统运维容器层IaaS ( 用友云、阿里云、华为云、企业自建云)DockerMesosElasticSearch数据层
3、HBase应用层订单服务订单服务 tomcat应用服务发现分布式协调 服务Zookeeper镜像仓库构建仓库代码仓库接入层NginxNginxNginxHAProxyHAProxyHAProxy灰度发布系 统 监 控应 用 性 能 分 析性能监控日 志 收 集HDFSMySQL自动构建Marathon一键部署配置管理批量命令余额服务余额服务 dubbo缓存缓存 redis互联网用户互联网用户互联网用户开发人员运维人员互联网用户管理人员互联网用户节点管理物理架构设计物理架构设计总体流程设计总体流程设计发布管理系统监控Ganglia应用监控代码管理Git镜像仓库构建仓库Maven任务任务调度调度集
4、集群群JenkinsMesosMasterMesosMasterMesosMasterGanglia Nagios统一收集分布式存储业务监控日志分析服务注册与 发现基于基于Docker模式的构建流程模式的构建流程rootuap-01# docker build -t yonyou/tomcat .rootuap-01# docker run -d -p 8080:8080 yonyou/tomcatrootuap-01# docker push yonyou/tomcat :1.0build & tagpushrun & pullServerServerServerServerServerSe
5、rverServerServerServerServerrootuap-01# docker run -d -p 8081:8080 yonyou/tomcatrootuap-01# docker run -d -p 8090:8080 yonyou/tomcat 由1台服务器，产生了10个新“服务器”（容器）DockerFile基于基于Docker模式的构建脚本模式的构建脚本应用向资源池发布如何做？应用向资源池发布如何做？基于基于Docker模式的服务发布模式的服务发布脚脚本本持续交付怎么做？持续交付怎么做？容器编排服务端口设 定应用版本号镜像仓库发布脚本开始发布Marathon 分发Mes
6、os MasterMesos Slave服务启动服务发现代码提交Git/SVN代码构建Maven仓库应用war包Nginx 反向代理域名接入用户可访问用户引流root01# wget app.war tomcat.tar.gz jdk.tar.gzroot01# ./bin/catalina.sh run -config ./conf/mesos.xmlroot01# tar zvxf tomcat.tar.gz jdk.tar.gzwgetunzipstartTomcatTomcatTomcatTomcatTomcatTomcatTomcatTomcatTomcatTomcat 由1台服务器
7、，产生了10个新“中间件”（原生）服务编排脚本root01# ./bin/catalina.sh run -config ./conf/mesos.xmlroot01# ./bin/catalina.sh run -config ./conf/mesos.xml基于基于Native模式应用构建模式应用构建和和发布发布流流程程无需构建直接发布Native模式应用发布的利模式应用发布的利与与弊弊简单，无需DockerFile环境冲突不用服务编排基于Framework性能优势版本管理端口管理百万并发压测百万并发压测 Docker不同模式的性能不同模式的性能对对比比测试场测试场景景：物理机+Docke
8、r结论结论：Docker bridge网络模 型，性能最差，但是相比 Docker host模型损耗不大， 1%左右。Docker host网络模型和 Native方式，性能几乎无差 异。弹性高可用的设计弹性高可用的设计ContainerApplications云计算资源池云计算资源池（Data Center and Clouds）动态弹性伸缩动态弹性伸缩（Dynamic Scaling）Mesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos SlaveMesos
9、 SlaveMesos SlaveMesos SlaveMarathonContainerContainerNativeNativeApplicationsRPC ServicesApplicationsSchedule JobsZookeeper ZooZkeoeopkere p e rMesosMaster健康状态检查保证高可用健康状态检查保证高可用应用运行的架构应用运行的架构分布式索引Mesos + Docker 虚虚拟化拟化Marathon(init.d)Mesos SDKtomcat,dubbo,redis,hadoop(容器生成的节点)原生 实例订单服务tomcat tomcat
10、tomcattomcat tomcat tomcat用户登录服务数据缓存dubbo dubbo dubboElasticSearchElasticSearch大数据处理NginxredisredisredisNginxHAProxyHAProxy镜像仓库应用仓库容器实例HadoopHBase HBase应用访问的数据流向应用访问的数据流向域名域名接入接入服务服务发现发现MarathonTomcatDockerNginx Docker数据数据存储存储Hbase ClusterNativeNginx DockerTomcatNativeZookeeperES Cluster Native80HAP
11、roxy8080Router Server80HAProxy8080Mesos 资源资源池池（混合混合架架构）构）TomcatDockerDB ServerMySQLTomcatNativeDubboNativeNginxupstream资源的合理利用保证服务的高性能资源的合理利用保证服务的高性能CPUI/O NetWork Mem业务监控和应用性能监控怎么做？业务监控和应用性能监控怎么做？Web Server #1NginxLogstash（shipper）DB Server #2MySQLLogstash（shipper）RPC Server #2DubboAPM Agent（txId）A
12、PI Server #3JavaAPM Agent（txId）日志日志收集收集与与性能性能分分析析Kibana WebRedisCollector数据数据存储存储HBaseAPM WebRedisLogstash（indexer）App Server #1TomcatAPM Agent（txId）ElasticSearch更大数据量的更大数据量的Easticsearch集群集群Web UISearch QueryCollectorIndex Query提交索引数据提交索引数据搜索请求搜索请求执行搜索执行搜索ElasticSearch Data NodeElasticSearch Query N
13、ode保存索引数据保存索引数据ElasticSearchMaster NodeMesos SDKDocker EngineDockerNative应用云化的一些规范与准则应用云化的一些规范与准则 代码与拓扑无关 应用无状态化 不要写本地磁盘 日志统一管理DockerFile +镜像化 不要依赖基础设施 使用通用的REST API 禁止手工部署应用 Port资源必须规划 禁用不稳定的源平台建设过程中用到的技术栈平台建设过程中用到的技术栈企业互联网开放平台的总体构成企业互联网开放平台的总体构成公共应用支撑公共应用支撑技术平台技术平台开发工具开发工具前端控件、框架服务端中间件、框架云运维平台云运维平台互联网连接器编码规则认证权限业务日志调度任务打印规则引擎应用支撑组件持续集成镜像仓库弹性伸缩日志管理性能分析社交网站适配电商平台适配支付平台适配IM适配短信适配消息推送适配行业化行业化/领域化应用支撑平台领域化应用支撑平台电商应用支撑平台电商应用支撑平台其 他其 他 领领域域 应 用应 用 支撑支撑根据不同用户群、不同商品，配置不同折扣的价格规则包括客户、商品、供应商、员工等包括购物车、电商类UI模板等电商主数据营销规则引擎其他支撑运维监控谢谢
