1、气象云工程框架及应用-气象信息化必经之路赵立成国家气象信息中心2014年11月3日汇报提纲一现状及需求二总体框架三建设内容四应用实践 通过多年发展，气象业务及政务信息化水平得到不断提高，各种业务 能力大幅提升。但问题也不少：信息化建设整体规划不力，统筹乏力，建设各自为政，重复建设多，功 能重复、数据重复、设备重复、场地重复；据不完全统计，全国信息系统及资源数量十分庞大。其中省级服务器 数量达到3993台、网站694个、业务系统1982个；国家级服务器数 量达到592台、数据库36个、网站49个、业务系统111个；无论国家级还是省级，业务流程复杂，资源应用效率不高等问题普遍 存在；繁重的系统维护
2、与技术支持任务，耗费大量人力资源 一、现状及需求1.气象信息系统现状服务器3993台、网站694个、业务系统1982个，系统重复功能多，亟待优化696966125903253872024566962856688951658182406528763377743398136省级单位业务系统数量省级单位业务系统数量北京天津河北山西内蒙古辽宁吉林黑龙江上海江苏浙江安徽福建江西山东河南湖北湖南广东广西海南重庆四川贵州云南西藏陕西甘肃青海宁夏新疆2 101816271914182426745124104042202254131273988431171 439省级单位网站的数量省级单位网站的数量北京天津河北
3、山西内蒙古辽宁吉林黑龙江上海江苏浙江安徽福建江西山东河南湖北湖南广东广西海南重庆四川贵州云南西藏陕西甘肃青海宁夏新疆1876211070111765112010920016024812716386130189609116213021518076130451368410457324省级单位服务器数量省级单位服务器数量北京天津河北山西内蒙古辽宁吉林黑龙江上海江苏浙江安徽福建江西山东河南湖北湖南广东广西海南重庆四川贵州云南西藏陕西甘肃青海宁夏新疆信息系统情况（省级）一、现状及需求服务器592台、数据库36个、网站49个、业务系统111个，系统间重复功能多、亟待优化911712013532807471
4、042113375国家级单位服务器数量分布国家级单位服务器数量分布气象中心气候中心卫星中心信息中心探测中心公共服务中心气科院干部学院资产中心机关服务中心气象报社气象出版社气象学会影视中心华云98851447143111国家级单位业务系统数量分布国家级单位业务系统数量分布气象中心气候中心卫星中心信息中心探测中心公共服务中心干部学院资产中心科普中心气象报社气象出版社52432485641212国家级单位网站数量分布国家级单位网站数量分布气象中心气候中心卫星中心信息中心探测中心公共服务中心气科院干部学院服务中心报社出版社气象学会华云影视中心71255745国家级单位数据库数量分布国家级单位数据库数量
5、分布气象中心气候中心卫星中心信息中心探测中心公共服务中心气科院影视中心信息系统情况（国家级）一、现状及需求032180016008057017021240 26 25各单位机房面积各单位机房面积55 1444531787070380114106 15各单位机房设备数量各单位机房设备数量机房重复建设，设备资源重复，需要许多配套设施如：电力、消防、维护人员27455548170100020003000400050006000机房数量机房面积设备数量22133426112各单位机房数量各单位机房数量气象中心气候中心卫星中心信息中心探测中心公共服务中心、影视中心气科院干部学院报社、科普中心出版社华云公
6、司业务功能碎片化；业务系统烟囱化；业务流程复杂化；业务系统：研发困难、部署困难、调整困难、维护困难。系统资源：获取困难、扩展困难。亟待解决！机房情况（国家级）谁都不愿见到的现实！一、现状及需求资料种类资料种类资料量资料量日增量年增量2000现在资料增幅（倍）地面观测资料地面观测资料80GB/日日30TB/年670天气雷达资料天气雷达资料460GB/日日170TB/年40气象卫星资料气象卫星资料 1,200GB/日日440TB/年40数值预报产品数值预报产品700GB/日日260TB/年20 气象数据快速增长 -观测数据、预测预报产品数据不断丰富，时空分辨率不断提高，数据容量 急速增长。-业务进
7、入大数据时代，需要及时传输、快速存储、快速分析与应用服务。数据反复搬家（移动）、存储，已成为一项十分昂贵的事情。数据反复搬家（移动）、存储，已成为一项十分昂贵的事情。2.发展需求分析一、现状及需求现有业务模式：将数据移送到应用（客户端）计算、处理、分析应用。现有模式 数据和软件分布在用户端 数据多次传输，多处存储 问题与困难 传输效率与成本 存储能力与成本 数据不一致导致业务问题在大数据背景下，实现成本呈几何倍数增加，技术遇到困难。一、现状及需求 不断发展的用户及应用新需求 -智能终端、台式机器访问相同的数据，共享成果；-便捷高效，任何地点、任何时间、任何设备（PC、Laptop、PAD、Mo
8、bile)一、现状及需求 亟待发展新业务模式 用户应用软件移至数据端 用户通过网络(LANINTERNETWireless)访问工作环境(数据、分析数据的 IT资源)信息部门需要解决的问题 资源集约管理：IT资源、数据资源。实现高效服务：数据快速处理与服务，满足业务应用时效。提供移动应用：智能终端应用技术支持，实现移动应用。一、现状及需求2.信息技术发展的新趋势、IT资源服务技术发展大趋势：集中到分散，再到集中一、现状及需求天下大事：合久必分、分久必合-1996-1996年年19961996年年 2013 2013年年20132013年年 可行性分析 新技术应用成熟度 云计算技术已经成熟：集约
9、化机房基础设施与IT资源构架 （IaaS)，提供IaaS服务；依托IaaS建立应用开发技术平台 （PaaS)，提供平台环境服务；在PaaS上运行数据分析处 理业务应用软件(SaaS)，提供SaaS服务。两大核心技术。资源虚拟化：一台机器虚拟为多台虚机，资源精细化利用。分布式架构：多台机器群集成一个系统，实现并行计算。一、现状及需求构建气象云，提高集约化水平，提高气象信息化水平。国际标准正式颁布：2014年10月15日颁布。INTERNATIONAL STANDARD ISO/IEC 17788，Information technology Cloud computing Overview an
10、d vocabularyINTERNATIONAL STANDARD ISO/IEC 17789，Information Information technology Cloud computing Reference architecture 大数据技术开始实用：海量数据分布式存储与计算；非结 构化、半结构化数据存储与处理。数据管理的能力、数据 分析的技能、利用数据的思维。移动互联技术及应用：无处不在，技术十分成熟。一、现状及需求汇报提纲一现状及需求二总体框架三建设内容四应用实践运用：大数据、云计算、移动互联等现代信息技术通过：集约整合IT资源、数据资源，再造气象业务、政务流程建设：国、省两
11、级气象云中心提供：业务应用服务、政务应用服务 数据资源服务、IT资源服务 统一运维服务、安全管理服务改变：业务条块化、功能碎片化、流程复杂化的局面实现：基础IT资源、数据资源、业务应用、政务应用的集约化 业务流程最优化 应用方式移动化 资源效益最大化二、总体框架 气象云构成：私有云(国家云、省云)+公有云公有云地市地市县县国家级云国家级备份云省级云公有云公有云省级云省级云地市地市县县地市地市县县CMANet千兆至万兆二、总体框架CMANetCMANetCMANet定位：“气象云”是气象业务与政务专业私有云，支撑气象业务、气象 政务应用及服务，向部委、行业用户、公众提供信息服务的平台。原则：私有
12、云为主体、公有云为补充。架构：国家云+省云，两级构成。技术路线：方法：流程（业务、数据）再造、补充完善、性能提升等，构建数 据获取、加工处理、分析应用为一体，技术先进、功能完善、结构 合理、集约高效的云中心。基础：IT资源（计算、存储、网络、系统软件）、数据资源、业务 应用大集中，IT资源及数据资源充分共享、复用。核心：为气象业务、政务提供应用、数据、IT资源等服务与支撑。二、总体框架CMANet辽宁云辽宁云广东云广东云四川云四川云1个国家主中心（北京）1个国家备份中心（上海）31个省中心备份国家主中心、省中心气象云总体布局两级构架：2个国家云中心（主备、双活）、31个省云中心。网状互联：云中
13、心通过CMANet实现网状互联，进行数据交换与应用支持。分层服务：国家云中心整合国家级资源，面向国家级业务和用户提供服务；省级云中心整合省内资源，面向省内业务和用户提供服务。四级应用：国、省、地市、县，四级应用全部云-端化。二、总体框架 “气象云”是一朵云，不按网络区域、专业和服务对象划分子云。气象云通过四个网络域提供服务。业 务 网：宽带网+园区网，面向气象部门业务、政务应用提供服务 互 联 网：面向行业用户、公众提供数据及信息服务 政务内网：涉密政务、决策信息服务 政务外网：部门外非密政务、业务应用与数据共享服务 注：网络只是提供服务的通道，云覆盖气象业务、政务信息化全流程四个网络域提供的
14、应用与信息服务二、总体框架国家云与省云：国家备份云作为省云应急备份 能力设计考虑同时备份N个省云二、总体框架国家级云中心省级云中心省级云中心气象云公有云公有云公众用户政务用户业务用户互联网互联网政务内、外网业务网气象信息服务 大容量数据服务（部分面向公众的非涉密数据服务）数据推送气象云与公有云二、总体框架汇报提纲一现状及需求二总体框架三建设内容四应用实践1.构建国、省两级云中心2.升级全国气象通信能力3.完善业务统一运维体系4.完善信息系统安全体系三、建设内容 应用云计算、大数据、移动互联等技术，构建国家云中心与省云中心，建立气象业务的云+端的模式。云：资源云化于国、省两级云中心，提供基础设施
15、(IaaS)、平台环境(PaaS)、应用软件(SaaS)三层服务。端：服务调用轻量化，国-省-地-县4级终端应用；公众终端应用。云中心资源建设内容应用软件层：(1)数据资源；(2)业务、政务应用（系统、软件）的云化改造 与云端部署；(3)移动互联APP服务。平台环境层：支撑气象应用软件开发和运行的中间件、运行环境等系统软件平台。基础设施层：按标准规范集约化的IT资源及机房设施，云运维及安全管理体系。三、建设内容1.构建国、省两级云中心 数据资源：整合国、省两级数据资源，按照数据特性与应用需求，分别进行结构化、非结构化、半结构化数据存储与部署；以CIMISS为基础 进行技术升级改造，发展分布式数
16、据存储检索及计算能力，提高系统响应时效，为实时业务及科研服务；以中国气象数据网作为外部用户大数据服务平台。逐步集约数据资源管理，集中提供唯一、权威、一致的数据服务。应用部署：逐一分析业务、政务应用需求，进行流程再造。部分直接部署云端运行、部分进行云端化适应性改造、部分提供APP服务。实现天气预报、气候预测、综合观测、公共气象服务、电子政务等应用云端化及协同运行。三、建设内容1.构建国、省两级云中心 基础IT资源：按照统一技术规范整合、建设集约化的信息资源平台（服务器、存储、网络、系统软件）。整合现有资源：进行系统设备整合、技术升级 适当扩充资源：补充建设硬件及系统软件 进行资源池化：按业务网、
17、政务网、互联网等应用，合理配置资源。1.构建国、省两级云中心三、建设内容 机房基础设施：按照数据中心规范，在业务大楼建设相应规模面积机房、电力、空调、消防、监控等基础设施。机房面积机柜云主机/物理机CPU核在线存储云桌面资源2000平米 2005000/50020,00020PB5000点三、建设内容1.构建国、省两级云中心云中心提供集约化IT资源、基础软件、数据、业务应用及移动应用APP服务云中心架构与提供的分类服务端移动APPSaaS服务用户只需关注难难中中易易实现实现难度难度应用软件层SaaS数据资源数据处理业务应用支撑 移动服务端平台环境层PaaS开发与运行环境数据库并行处理环境业务应
18、用数据PaaS服务用户需关注IaaS服务用户需关注业务应用数据运行环境中间件基础设施层IaaS云主机云桌面服务器云存储计算、存储资源池化网络、机房基础环境传统方式用户都需关注业务应用烟囱式建设烟囱式建设三、建设内容基础设施层IaaS平台环境层PaaS应用软件层SaaS数据资源数据处理业务应用支撑与数据协同移动服务端数据统一访问接口基础数据政务基础信息产品加工大数据处理分析可视化计算MICAPSCIPASASOM移动应用移动移动APP减灾与公共服务云桌面预报预测综合观测电子政务应用软件SaaS服务用户及业务端使用方式：通过云桌面使用云端应用及数据通过云端API使用云端处理算法及数据通过移动APP
19、使用云端应用及数据三、建设内容端平台环境层PaaS平台环境PaaS服务基础设施层IaaS应用软件层SaaS开发与运行环境FORTRAN/C/JAVA编译环境数据库并行处理环境集成开发工具云数据库中间件M/R,Spark,Dryad并行处理环境版本管理配置业务政务应用开发仿真测试培训教育用户及业务端使用方式：通过平台层服务门户使用平台环境通过平台层API使用平台环境三、建设内容基础设施IaaS服务平台环境层PaaS应用软件层SaaS人力资源信息云主机云存储云主机云桌面服务器云存储云存储计算、存储资源池化网络、机房基础环境财务管理信息站网基础信息资产管理其他业务政务应用用户使用方式：通过IAAS服
20、务平台自助式获取资源，部署应用通过IAAS服务平台在线提交资源申请，管理员分配创建资源，用户部署应用三、建设内容基础设施层IaaS三、建设内容数据服务及应用协同数据存储加工处理高端高端盘阵小型机集中式快速检索可视化计算升级CIMISS并行处理应用协同数据检索、应用协同、应用接口服务大数据并行加工处理技术数据和应用服务(SaaS)实现的技术路线分布式集中式+分布式大数据存储管理技术2.升级全国气象通信能力I.参考WIS技术路线改造与升级国内通信系统，将数据交换方式由主动推送转变为主动推送、按需调用、数据发现等方式。（CTS2.0,研发中）II.完善国家云与省云数据同步机制，及省云间数据同步机制。
21、III.按需扩充CMAnet逐级带宽及互联网带宽。IV.建设政务内网及应用系统。数据发现、访问、检索服务地市县地市县地市县CMANet千兆至万兆百兆至千兆国家云GISC省云DCPC国家备份云GISC省云DCPC省云DCPCDCPCNC华盛顿GISCNCCMACastWIS核心通信网Internet责任区通信网东京GISC百兆至千兆百兆至千兆三、建设内容34 优化气象业务和政务的信息流程，整合IT资源和人员队伍，面向业务管理、政务管理和协同工作环境，建立云平台管理运维（统一云服务门户、统一云监控系统和统一云运维体系），支持各级管理、业务、科研和运维人员按需工作和协同工作。通过统一云服务门户，实现
22、气象云资源自助申请、动态分配、实时监视、计量计费等自动高效管理。基于CIMISS综合监视系统（MCP），建立统一云监控系统，实现对 气象云及所承载的业务应用系统和政务应用系统全流程监视。通过建立国-省联动的统一云运维体系，组建专业运维团队，制定运维制度规范，采用标准的运维管理平台和资产配置库，保障气象云 稳定运行。3.完善业务统一运维体系（云平台管理运维）三、建设内容 资产配置库CMDB数据利用数据收集和维护业务建模运维管理平台资源池管理资源调度管理云管理平台操作网关审计日志资源集中操作集中监控子系统可视化展现业务影响分析监控指标库监控指标库PMDB事件平台统一性能管理汇聚展现统一云监控系统（
23、CIMISS MCP）网络及安全分监视各业务系统分监视政务系统分监视基础设施分监视气象云云资源监视管理人员业务科研人员运维人员统一云服务门户云平台管理运维三、建设内容建立统一完善的云安全体系，确保气象云高度安全。数据安全：通过分布式存储、灾备等多种技术，确保气象 数据安全。用户安全：通过技术手段和管理制度，确保用户数据、科研 成果安全。系统安全：通过网络划域，使用统一身份认证，启用访问 控制、入侵检测、安全加固、数据隔离等手段，确保气象 云的应用安全、物理安全、网络安全、主机安全达到要求。技术安全：核心设备使用国产化产品，强化安全基础。4.完善信息系统安全体系（云安全体系）三、建设内容37国家
24、云中心机房场地基础设施IaaS（IT基础资源）计算存储计算资源池（虚拟、物理）云基础资源集约化并行计算框架科研用户SaaS业务应用软件开发/测试环境预报人员开发人员公众、非基本气象服务办公 政务中间件、数据库软件存储资源池（集中、分布式）应用安全云安全体系物理安全网络安全主机安全数据安全统一云服务门户云平台管理运维统一云监视系统统一云运维体系自助申请动态分配实时监视计量计费网络IaaSIT资源PaaS平台环境气象业务应用云端支撑与协同（天气、气候、服务、观测）电子政务中间件与运行环境数据资源省云中心与国家云中心建设内容相同总体架构及功能一致按需设计规模及性能国家云中心框架端云汇报提纲一现状及需
25、求二总体框架三建设内容四应用实践 在过去二年，信息中心技术人员开展了基于云计算、大数据、移动互联等方面的技术开发及应用，取得了一定的进展，积累了一些经验。四、应用实践试点建设，单一资源池，开始为大院用户提供IT资源服务。吸引更多应用系统迁移到CMACloud。分类资源池精细化管理。基于CMACloud云架构的数据中心正在形成2012年：自筹经费建立气象私有云CMACloud并投入示范应用。2013年：扩充CMACloud能力，扩大应用与用户；启动开发云平台管理系统。2014年：完善云平台管理系统，进行资源使用、运行监控与精细化调度。1.云计算技术应用，CMACloud提供IaaS服务四、应用实
26、践业务用途84.49%科研用途7.49%办公用途8.02%已为局大院12家直属单位及电子政务提供IT资源及平台环境服务，涵盖业务、政务、科研等方面，部署了总计137个业务应用系统（238台虚拟云主机及存储资源）。四、应用实践资源使用精细化统计数据计算资源利用率提高6倍内存资源充足计算资源高效分配调度，虚拟资源分配量达到物理资源量的1.7倍数据资源未集约打通！四、应用实践中国气象报三次报道43u 基于API接口进行开发，采集云平台运行状态信息，实现关键云系统进程的实时 监控及告警，自动发现监控对象运行故障。u 除监控物理主机、云主机CPU、内存、磁盘IO等利用率外，增加监控云平台关键 运行参数：
27、vCPU、vMem就绪时间、争用率、内存交换大小、IO等待时间。全局视图告警阀值设置实时监视资源统计CMACloud云平台管理系统四、应用实践 2.CIMISS统一国省两级数据环境即将进行验收，投入业务运行。首次实现国-省两级数据的统一和规范化管理。为建设气象云奠定了弥足珍贵的数据资源基础。四、应用实践直接支撑气象数据统一访问接口、应用服务气象数据统一访问接口、应用服务 3.CIMISS统一数据访问接口与应用服务（SaaS）数据资源数据资源（异构/分布式/多源的数据库）地面地面高空高空雷达雷达卫星卫星浮标浮标船舶船舶辐射辐射农气农气统一的服务标准调用方法访问参数返回格式数据量纲强大的计算功能分
28、布式计算分布式计算历年同期实时渲染等值线追踪色斑图绘制叠加分析数据获取数据统计格式转换模式数据解析数据缓存数据存储丰富的服务手段C/S服务web service服务REST服务脚本服务GIS服务天气分析数值预报气候分析气象服务个人用户四、应用实践国家和省级部署应用情况应用单位本地应用系统接入进度安排四川省市县三级预报业务平台7-10月，直接接入CIMISS接口新一代天气雷达PUP产品共享应用系统9-10月，直接接入CIMISS接口重庆重庆气象信息共享平台7-9月，直接接入CIMISS接口；10-12月，全市推广应用CIMISS接口内蒙内蒙古旗县业务平台9-11月，直接接入CIMISS接口湖北中
29、小流域山洪地质灾害预警服务平台2013年已经直接接入CIMISS访问数据北京精细化格点预报平台11月，基于CIMISS接口完成系统建设气象中心MESIS项目组9月，接入使用CIMISS接口四、应用实践集中式：Share Disk，采用高端设备（小型机和高端存储），很难水平扩展，只能硬件纵向升级；受制于磁盘IO瓶颈，系统性能难于大幅提升。分布式：Share Nothing，融运算与存储一体，采用廉价设备堆叠出高性能、高扩展性和高可用的集群系统。集中式高端高端盘阵小型机引擎服务器引擎服务器1 1引擎服务器引擎服务器2 2负载均衡负载均衡服务器服务器应用应用应用应用数据数据库库节点节点1 1数据数据
30、库库节点节点2 2数据数据库库节点节点3 3数据数据库库节点节点4 4数据数据库库节点节点5 5数据数据库库节点节点6 6数据数据库库节点节点7 7数据数据库库节点节点8 8数据数据库库节点节点8 8分布式PC服务器可扩展可扩展4.大数据技术应用：应用分布式技术进行大数据快速存储及检索集中式数据库 VS 分布式关系型数据库四、应用实践高性能相同检索用例，检索性能提高10倍以上易扩展高性价比价格节省近90%现有业务系统分布式系统总价（￥）480万（2012采购价）50万（2013年采价）检索用例业务系统分布式系统某时次、所有站、全要素6190ms537ms扩展性强，节点数翻倍效率提升近4倍集中式
31、VSVS分布式四、应用实践5.移动互联应用-桌面云应用示范定位：面向局大院全部单位所有职工提供云桌面服务。进展：启动桌面云试点建设与使用，考核稳定性与安全性。已在信息中心内部测试、试用。能力：设计时考虑系统扩展性，上限容量按5000人设计，逐步向大院单位推广。四、应用实践 个人办公、业务计算机由云中心提供，个人不必在办公室配备电脑 支持用户随时（724）、随地以任何终端（PC笔记本Pad手机 云终端等）使用个人桌面！结束语51机房场地基础设施IaaS（IT基础资源）计算存储计算资源池（虚拟、物理）云基础资源集约化并行计算框架科研用户SaaS业务应用软件开发/测试环境预报人员开发人员公共媒体决策
32、人员办公 政务中间件、数据库软件存储资源池（集中、分布式）应用安全云安全体系物理安全网络安全主机安全数据安全统一云服务门户云平台管理运维统一云监视系统统一云运维体系自助申请动态分配实时监视计量计费网络IaaSIT资源PaaS平台环境气象业务应用云端支撑与协同（天气、气候、服务、观测）电子政务中间件与运行环境数据资源端云愿景:建立气象云、业务云端化建立气象云、业务云端化 利用云计算、大数据、移动互联等信息技术构建“气象云”，是实现气象业务集约化发展首选技术 之道。技术方面已经成熟，在国家级大院也具备 实施的基础资源条件与一定的技术储备。实现美好愿景，需要共同努力。强力统筹、大力 协作、观念更新，是绘就蓝图的保障。信息中心正在进行“气象云”工程设计，计划本 月完成征求意见稿，在充分征求意见与论证的基 础上，推动气象云建设与服务，力争通过努力，从根本上实现气象部门信息系统集约化。谢 谢！
