环保行业数据整合与应用技术培训课件.pptx

1、环保行业数据整合与应用技术培训空气质量预报数据生产流程NAQPMSCMAQCAMx源识别与跟踪过程分析敏感性分析反向模拟卫星资料模式参数优化城市冠层模拟技术复合污染化学模块误差智能识别最优插值同化集合卡尔曼滤波污染源反演集成预报产品污染源模型SMOKE气象模型WRF各种观测 气象 空气质量 航测 卫星 污染源权重平均多元回归神经网络集合滤波空气质量预报重大活动预警空气质量预测预报应用demodemo环境数据整合应用污染物排放量分布激光雷达监测卫星遥感（AOD）O3浓度垂直剖面气团轨迹分析污染来源追因 1、环境数据整合与应用技术架构 2、环境数据类型和应用场景 3、环境数据存储与管理 4、环境数

2、据整合处理方法 5、环境数据分析与应用内容概述环境数据整合与应用技术架构环境数据整合与应用技术架构DesktopWebDeviceServerOnlinePortalPortalLayersWeb MapsWebScenes环境模型环境模型输出输出集成集成各类环境数据各类环境数据传感网传感网电子数据表电子数据表影像数据影像数据数据库数据库环境模型数据环境模型数据数据分析处理数据分析处理数据存储管理数据存储管理数据服务管理数据服务管理数据业务应用数据业务应用环境信息平台环境信息平台处理集成处理集成环境数据整合处理解决方案n NetCDFNetCDFn GRIBGRIB多维数据多维数据n GRDG

3、RDn DATDATn 电子表格电子表格文本文本数据数据n 监测点数据监测点数据n 模型点数据模型点数据数据库数据库数据数据n 纠偏纠偏n 标准化标准化n 数据重构数据重构n 数据读取数据读取n 标准化标准化n 数据变换数据变换n 生成生成NCNCn 插值处理插值处理n 等值线抽取等值线抽取n 标准化标准化NCNCn 标准化标准化GRIBGRIBn 风风场数据场数据NCNCn 各种浓度数各种浓度数据（据（TIFTIF）n 等值线数据等值线数据（温、湿、气）（温、湿、气）n 轨迹数据轨迹数据n 监测点数据监测点数据n 风场影像服务风场影像服务n 浓度影像服务浓度影像服务n 温度影像服务温度影像服

4、务n 湿度影像服务湿度影像服务n 气压影像服务气压影像服务影像服务影像服务n 各种各种等值线要等值线要素素服务服务n 轨迹要素服务轨迹要素服务n 监测站点要素监测站点要素服务服务要素服务要素服务 环境数据数据转换处理数据存储管理 服务发布环境数据整合应用流程输出数据数据栅格化镶嵌数据集Image Service数据再生产深度应用时空立方体WebSceneFeather Service统计挖掘环境数据类型与应用场景环境数据类型数据库数据库传感网传感网文本文本数据数据电子数据表电子数据表矢量数据矢量数据 应用应用LayersWeb MapsWebScenes地理信息模型Geoinformation

5、 ModelWeb GIS影像数据影像数据多维数据多维数据环境多维数据应用场景p 海洋数据 海水温度，盐度，洋流海水温度，盐度，洋流p 气象环境数据温度，湿度，气压，风场，降水，浓度温度，湿度，气压，风场，降水，浓度p 土地数据土壤含水量土壤含水量,NDVI,NDVI，土地覆盖，土地覆盖风场和湿度风场和湿度风场和气压风场和气压洋流洋流扩散浓度扩散浓度环境数据整合应用场景环境数据整合需要解决哪些问题？多源异构数据的集成不同环境监测手段和设备、不同环境模型结构化、半结构化、非结构化海量数据的存储管理环境历史数据、现势数据、预测数据数据快速处理与自动化业务应用对数据处理的要求环境数据存储、管理与服务

6、发布海量影像栅格管理镶嵌数据集海量影像栅格管理镶嵌数据集快速快速动态动态大规模大规模任何格式任何格式ArcGISArcGIS影像分类影像分类实时镶嵌实时镶嵌图像融合图像融合色彩平衡色彩平衡正射校正正射校正变化分析变化分析Full Motion Video(FMV)3D3D量测量测 自动配准自动配准镶嵌数据集（Mosaic Dataset）是ArcGIS 10推出的管理栅格数据的影像新技术。提供对数据集进行索引，并且可对集合执行查询。l支持多种通用影像处理任务环境数据存储与管理污染物分布U和V向量风场|流场优势优势管理大规模影像对NetCDF、GRIB多维数据支持动态镶嵌规则与渲染规则实时栅格处

7、理函数环境数据存储结构多维的镶嵌多维的镶嵌数据数据集集支持多文件和多变量支持多文件和多变量p用用地理地理数据库属性数据库属性表表来管理多维数组，而不存储数据本身来管理多维数组，而不存储数据本身p每一行代表每一行代表2 2维的栅格数组维的栅格数组p维度和变量名称作为字段存储维度和变量名称作为字段存储不同区域的数据不同区域的数据不同时间的数据不同时间的数据不同渲染模板使用栅格函数处理模板由栅格函数或者栅格函数处理链生成的模板用于server端或桌面端调用栅格函数处理模板(*.RFT.xml)-单景影像的处理 -镶嵌数据集处理 -REST影像服务处理Image FileRaster Function

8、 ChainScreen product串联多个栅格函数形成灵活增删可生成栅格函数模板复用栅格函数实时处理无需更改原始数据或生成中间结果影像可以从一份原始数据创建多种影像产品，而无需额外的存储成本和中间结果影像操作：栅格数据入库操作：实时处理函数定制文件+索引存储 管理大规模影像栅格数据支持多维数据管理 多维环境数据入库和展示动态镶嵌与渲染 时空数据存储和展示实时处理函数 栅格处理计算更灵活镶嵌数据集解决了哪些问题？环境数据整合处理方法污染物时空立方体应用剖面分析环境数据整合处理Arcpy为用户提供了使用 Python 语言操作所有地理处理工具（包括扩展模块）的入口，并提供了多种有用的函数和类

9、，以用于处理、访问和管理分析 GIS 数据。使用 Python 和 ArcPy，可以开发出大量的用于处理地理数据的实用程序。ArcGIS服务服务共享共享地理分析地理分析可视化可视化数据管理数据管理地理地理处理处理利用ArcPy与Python方便实现GIS处理流程不需要学习庞大的AO接口l 数据管理工具（矢量、栅格）空间数据增、删、改、查 空间数据投影、转换l 数据分析工具 插值、栅格计算、数据查找、栅格变换l 自动化制图工具l 服务管理工具环境数据整合处理常见数据格式u多维数据处理NetCDF、Gribu文本数据处理Excel、Grdu数据库数据处理属性表数据处理多维数据结构特点NetCDF(

10、network Common Data Form)网络通用数据格式是一种科学数据，包含维、变量和属性三种描述类型。变量存储实际数据，是一个N维数组；维给出了变量维度信息，属性则给出了变量或数据集本身的辅助信息属性。NetCDF可以对海量网格（阵列）数据进行高效地存储、管理、获取和分发等操作。Dimensions：/定义维数Variables：/定义变量Attributes：/属性多维数据标准化处理单位变量名坐标系统时间操作：多维数据标准化处理多维多维数据预处理数据预处理入库空间化入库空间化操作：多维数据入库模板定制操作：环境数据渲染模板定制Excel数据处理1、Excel To Table2、

11、创建XY图层3、数组分组插值4、入库更新属性电子表格数据电子表格数据操作：Excel数据处理DB数据处理1、连接数据库、连接数据库2、逐条写入数据、逐条写入数据3、数据分组插值、数据分组插值4、入库更新属性、入库更新属性1、连接数据库、连接数据库2、创建、创建XY图层图层3、数据分组插值、数据分组插值4、入库更新属性、入库更新属性非空间数据库非空间数据库地理地理空间数据库空间数据库属性表数据属性表数据DB数据处理GRD数据处理u 大气扩散大气扩散u 地面温度地面温度u 温度温度u 海平面压力海平面压力u 辐射剂量辐射剂量u 降水降水Radcon模型输出数据(GRD)u 风场风场u 地面风场地面

12、风场u 扩散轨迹扩散轨迹栅格转换等值线矢量转换多维向量GRD数据处理N个不同时刻数据个不同时刻数据单个单个数据文件格式数据文件格式1、GRD文件标准化2、转换成Numpy3、转换成tif4、入库更新属性浓度浓度数据（气象、扩散）数据（气象、扩散）GRD数据处理1、GRD文件标准化2、转换成Numpy3、转换成NetCDF4、入库更新属性风场数据风场数据N个不同时刻数据个不同时刻数据单个单个数据文件格式数据文件格式不同高度不同高度GRD数据处理浓度数据GRD数据处理风场数据GRD数据处理结果气压分布降水分布扩散轨迹风场与大气扩散环境数据整合处理要点有哪些？处理数据类型 多维数据、文本数据、数据库

13、数据、激光雷达数据处理数据方法 Arcpy+Python自动流程化的正确打开方式 发布GP服务，Server提供实例管理环境数据分析与应用空气质量预报数据展示与分析应用模型数据标准化入库镶嵌数据集（浓度）镶嵌数据集（风场）ArcGIS ArcGIS ServerServerArcGIS ArcGIS ServerServerImage Image LayerLayerImageImageVectorVectorLayerLayer操作：影像服务发布空气质量预报数据展示与分析应用风场数据展示影像矢量图层ArcGISImageServiceVectorLayer空气质量预报数据展示与分析应用动态播

14、放多维数据镶嵌规则mosaicRule:mosaicMethod:esriMosaicNone,ascending:true,mosaicOperation:MT_FIRST,multidimensionalDefinition:variableName:,dimensionName:time,values:0,isSlice:true,variableName:,dimensionName:bottom_top,values:2,isSlice:true PM2影像服务rest请求 wind影像服务rest请求mosaicRule:mosaicMethod:esriMosaicNone,as

15、cending:true,mosaicOperation:MT_FIRST,multidimensionalDefinition:variableName:Vector-UV,dimensionName:bottom_top,values:2,isSlice:true,variableName:Vector-UV,dimensionName:time,values:0,isSlice:true空气质量预报数据展示与分析应用钻取分析工具空气质量预报数据展示与分析应用钻取分析工具空气质量预报数据展示与分析应用GP服务发布Python、ArcPy APIArcCatalogArcToolboxArc

16、Map(Share As Geoprocessing Service)或ArcPy发布Gp服务设计和制作脚本制作脚本工具调试运行、发布服务l GP服务发布流程操作：GP服务发布空气质量在线统计与对比分析应用demodemo环境数据在线统计与对比分析应用思路GP服务发布结果转换统计计算Python库实现统计库实现统计Arcpy实现转换实现转换供前端应用调用供前端应用调用u 利用利用PythonPython提供的众多开源程序库提供的众多开源程序库n numpyumpy、ScipyScipy、PandasPandas、netCDF4netCDF4u PythonPython工具通过工具通过ArcGI

17、SArcGIS发布成发布成GPGP服务，满足前端应用服务，满足前端应用环境数据统计分析应用利器Numpyp Python的开源科学计算包，用来存储和处理大型矩阵p 强大的N维数组对象Array（灵活索引、合并分割）p 实用的线性代数和随机数生成函数（算术运算、维度变换）p 多维数据与GIS可视化之间的桥梁（栅格转化）Arcpy中中Numpy转换：转换：NumPyArrayToRasterRasterToNumPyArrayNumPyArrayToTableTableToNumPyArrayNumPyArrayToFeatureClassFeatureClassToNumPyArray环境数据统

18、计分析应用利器Numpy多维数组构建 索引数组合并、分割维度转换（数据降维）文件文件加载加载 栅栅格转换格转换栅格矩阵栅格矩阵运算（转置、运算（转置、算术、逻辑运算算术、逻辑运算）环境数据在线统计与对比分析应用方法数据读取降维数据读取降维 单幅栅格单幅栅格 镶嵌数据集镶嵌数据集 多维数据多维数据数据转换运算数据转换运算 栅格计算器栅格计算器 numpynumpy（数组计（数组计算）算）pandaspandas（科学统（科学统计包）计包）MultidimensionMultidimension ToolsTools netCDF4netCDF4（多维（多维数据包）数据包）结果转换输出结果转换输出

19、 矢量数据矢量数据 栅格数据栅格数据数据读取数组降维统计计算输出栅格环境数据在线统计与对比分析应用在线统计提取一天提取一天24小时数据小时数据统计计算后维度变成统计计算后维度变成(1,rowsize*colsize)环境数据在线统计与对比分析应用对比分析环境数据在线统计与对比分析应用展现JS滤镜拖动展示效果滤镜拖动展示效果环境数据分析与应用怎么做？前提 数据的整合和服务发布应用开发内容 紧密结合用户业务需求应用开发方法 JS API+开源资源总站空气质量预报预警系统海域放射性后果评价大范围核物质扩散大范围核物质扩散近海岸核物质扩散近海岸核物质扩散洋流动态展示洋流动态展示该项目中整合了基于三角网

20、的海洋数据，能够无缝对接各类海洋数据模型，提供高精度的洋流数据展示和浓度扩散分析等能力。洋流数据展示洋流数据展示辐射数据三角网展示辐射数据三角网展示海域放射性后果评价沿任意曲线获取水下剖面浓度分布图沿任意曲线获取水下剖面浓度分布图浓度随水深变化折线图浓度随水深变化折线图任意一点的海流流速任意一点的海流流速后果评价分析报告后果评价分析报告以ArcGIS技术为核心，项目整合了洋流预报产品、扩散模型等核心技术，为用户提供了丰富的数据展示和基于GIS技术的进一步数据分析挖掘能力，如分析报告、海底垂直剖面分析等。为事故处理提供全方位的分析和展示能力。总结分析与应用数据存储管理数据整合集成ArcPy+Python镶嵌数据集用户需求