1、技术交流云计算工作简介云计算工作简介2022-7-262022-7-26吴恒吴恒软件工程技术研发中心软件工程技术研发中心中国科学院软件研究所中国科学院软件研究所北京北京实验室整体工作-个人理解面向大数据和云计算理论模型云计算支撑技术可视化开发框架大数据计算模型自动化测试/编排方法内存计算支撑技术云计算关注点-大数据运行的时效性我们对大我们对大数据的理解：数据的理解：1 1、时效性、时效性2 2、准确性、准确性1 1、大数据处理系统核心是采、大数据处理系统核心是采用并行思想用并行思想，利用资源，利用资源换时换时间间2 2、我们关注大数据处理系统、我们关注大数据处理系统在云计算上优化问题在云计算上
2、优化问题云计算中为什么需要优化-大数据处理系统特点大数据计算模型大数据计算模型云计算调度算法未考虑大云计算调度算法未考虑大数据任务数据任务关联性关联性相关研究表明，性能最多相差两倍相关研究表明，性能最多相差两倍云计算资源云计算资源调度算法虚拟机虚拟机云计算中为什么需要优化-云计算实现机制问题云计算实现虚拟机和容器两类云计算实现虚拟机和容器两类前者前者OSOS冗余，影响大数据处理系统性能，最高冗余，影响大数据处理系统性能，最高3 3倍倍后者具有配置变更，计算和存储分离特点，影响后者具有配置变更，计算和存储分离特点，影响大数据处理系统性能大数据处理系统性能宿主机宿主机OSOS虚拟机虚拟机OSOS大
3、大数据处理系统数据处理系统容器容器宿主机宿主机OS(IP3)OS(IP3)大大数据数据处理系处理系统统IP1IP1大大数据数据处理系处理系统统IP2IP2数据数据调度机制调度机制IPIP索引索引任务任务正在开展的优化工作-面向大数据运行支撑虚拟化虚拟化容器容器功能开发功能开发核心优化核心优化精简精简OSOS发现任务关联度发现任务关联度DPDKDPDK（联想研究院）（联想研究院）容器配置管理容器配置管理改造改造MesosMesos集成集成EtcdEtcd集成集成ActiveMQActiveMQ改造改造（乾云研究院）（乾云研究院）虚拟化后台虚拟化后台升级和改造升级和改造（2016.122016.1
4、2月前）月前）已有合同支撑情况1 1、虚拟化平台（、虚拟化平台（2.52.5人人/月）月）2015.12-2015.12-：安全认证（：安全认证（2222个不满足项，个不满足项，4 4个不满足项，主个不满足项，主要和硬件相关）要和硬件相关）2016.2-2016.2-：新点维护：新点维护/普天测试普天测试2 2、容器容器平台（平台（3 3人人/月月）2015.12-2015.12-：ActiveMQActiveMQ改造（改造（DemoDemo走走通，通，TopicTopic组织模型组织模型设计与交付）设计与交付）2016.3-2016.3-：MesosMesos集成集成合同候选项-软件栈Ama
5、zon/Azure/AliyunVMWare/OpenStackPhysical MachineDockerOpenvswitchDocker-RegistrySwarm with TLS(Transport Layer Security)/Kubernetes/Mesos存储服务MysqlRedisMycat（分库分表+读写分离）计算服务HadoopStormEtcd服务注册Kafka数据分发ActiveMQ消息分发Nginx+WebNginx+WebNginx+WebNginx+WebJenkins（持续集成）Ansible（自动部署）Compose（可视编排）日志收集Kibana定时调度
6、Quartz系统监控Zabbix维护规则Drools系统配置Zookeeper系统报表iReport正在开展的优化工作-面向大数据运行支撑1 1、软件栈的容器化、软件栈的容器化2 2、软件编排、软件编排3 3、分库分表、分库分表谢谢谢谢传统方式-以应用为中心，频率和耦合问题源代码开发者测试者基于文档基于文档和脚本和脚本OS运行环境应用配置OS运行环境应用配置运维者监测现在模式以资源为中心源代码开发者测试者CICI运维者监测应用配置运行环境应用配置运行环境服务编排OSOS容器容器容器容器宿主机宿主机OS(IP3)OS(IP3)HadoopHadoopSlaveSlaveIP1IP1HadoopHadoopSlaveSlaveIP2IP2数据数据HadoopHadoop Master MasterIPIP索引索引任务任务
