山洪灾地质害防治大数据平台解决方案.pptx

1、山洪灾地质害防治大数据平台解决方案目录目录一、大数据平台建设背景二、全国山洪灾害防治数据成果 三、全国山洪灾害防治硬件平台 四、平台应用五、ArcGIS具体应用实例2000年以来山洪灾害死亡人年以来山洪灾害死亡人数数及占比及占比山洪灾害防御是全国防汛工作的难点 和薄弱环节。据统计，上世纪90年代以前，全国每年山洪灾害死 亡人数约占洪涝灾害 死亡总人数的2/3，新世纪以来已上升到80%左右。开展山洪 灾害防治工作，提高 山洪灾害防御能力，是一项十分紧迫而重 要的工作任务。一、一、山洪山洪灾灾害防害防治治工作工作背背景及景及进进展展2013201620022006200920102002年年：20

2、02年8月,湖南省庞道沐副省长根据湖南省的山洪灾害及防治实践,提出“山洪灾害防治成为防汛抗灾的突出问题”，并撰文呈送温家宝总理，2002年9月温总理批示。2006年年：水利部会同多部门编制完成了全国山洪灾害防治规划，国务院批复了该规划。2009年年：水利部、财政部等于2009年在全国29个省（自治区、直辖市）的103个县开展了山 洪灾害防治非工程措施建设试点。2010-2012：2010年11月，水利部、财政部、国土资源部、中国气象局共同启动了全国山洪分散分散集中集中粗犷粗犷精细精细概念性概念性物理机理物理机理灾害防治县级非工程措施建设，建立2058个县 的山洪灾害监测预警系统和群测群防体系。

3、2013-2015：2013年5月，水利部和财政部联合印发了全国山洪灾害防治项 目实施方案（2013-2015年）。已建非工程措施体系补充完善、山洪灾害调 查评价和重点山洪沟防洪治理等内容提出了具体建设方案。二二、山山洪洪灾害防灾害防治治数据成数据成果果数据类数据类数据项数据项数据量数据量生产方式生产方式基础数据数字正射影像(DOM)16TB中央统一组织生产，逐级下发土地利用及植被覆盖53GB土壤类型及土壤质地39GB水文地质数据39GB基础地理数据(DEM/DLG)1TB小流域划分及属性100GB小流域汇流特征10GB山洪灾害调查数据60TB县级为单位，逐级向 上审核汇集山洪灾害分析评价数据

4、100GB实时数据实时水雨情数据10GB/年共享模块，直接上报 到各级防办实时预警数据10GB/年准实时数据气象接收数据100MB/天国家级平台接收遥感影像接收数据46TB/年2.1 数字数字正射影像正射影像（DOM）数据数据以资源3号卫星数 据为主，加工生产了全 国数字正射影像图，2919个县，1:5万分幅26823幅，数据量达16TB。资源资源3号号卫卫星星影像影像（分分辨辨率优率优于于2.5m2.2 土地利土地利用及植被覆用及植被覆盖盖数数据据1:25万图幅数量万图幅数量总面积（万平方千米）总面积（万平方千米）数据量（数据量（G）全国统计（去重后）76112605631个省（市）累计11

5、18185180序号序号生产流程生产流程数据类型数据类型数据数数据数 量量数据量数据量数据总数据总 量量1数据搜集原始影像优于（含）2012年TM原始影像575景93.9GB18.5TBMODIS原始影像22景43.4GB高分影像6500景13TB1：5万基础地理信息数据DOM24182幅5.32TBDEM24182幅53GBDLG24182幅17.6GB专题数据资料6类12.7GB2正射影像生产正射影像575景149GB149GB3土地利用数据生产30米分辨率2.5米分辨率小流域土地利用和植被类型信息（1:25万）761幅53GB53GB成果样例已完成31个省（区、市）和新疆兵团的土壤类型和

6、土壤质地数据生产。2.3 土壤土壤类类型型和土壤和土壤质质地数地数据据生产1:20万分幅水文地质矢量数据成果1068幅，数据量为38.8GB。2.4 水水文文地质数据地质数据全国1:5万DEM和DLG数据23463幅，1:25万DLG数据753幅。2.5 基础基础地理信息数据地理信息数据岷岷江江 1:5万万DEM1:5万万DLG国土面积（万km）小流域总面积（万km）山丘区面积（万km）平原区面积（万km）小流域个数小流域平均面积(km)960960865.47865.47674.61674.61190.86190.865314485314481616小流域小流域面面积信积信息统息统计计S 1

7、0km10km S 20km20km S 30km30km S 40km40km S 50kmS 50km个 数总 面 积（万km）占 比 例%个 数总 面 积（万km）占 比 例%个 数总 面 积（万km）占 比 例%个 数总 面 积（万km）占 比 例%个 数总 面 积（万km）占 比 例%个 数总 面 积（万km）占 比 例%121932121932 46.5646.565 5263422263422 376.05376.054444101243101243 244.63244.6328282798127981 95.3395.3311111050610506 46.5546.555 5

8、6364636456.3656.367 72.6 小小流流域划分及域划分及基基础属性提础属性提取取基于1:5万DEM、1:5万DLG、1:25万DLG、高清卫星影 像、土地利用及植被类型、土壤质地类型等数据，进行小流域划分及属性提取。小流域小流域编编码结码结构构图图在中国河流代码（SL 249-2012）的基础上进行扩 展，对提取的小流域和河段进行统一编码，建立了全国统 一编码体系和拓扑关系。保留了0.5km2以上的河网数据，可根据需要生成不同 面积的小流域，并可对现有的流域进行拆分合并。流域编码及流域编码及拓扑拓扑关关系构系构建建序号序号图层标识图层标识图层名称图层名称图层类型图层类型文件格

9、式文件格式1WATA流域面面ShapeFile文件2WATL流域界线ShapeFile文件3RIVL河段线ShapeFile文件4RVDM河段断面线ShapeFile文件5MXRV最长汇流路径线ShapeFile文件6NODE流域出口点点ShapeFile文件7WSRL逐级合并大流域河段线ShapeFile文件8WSWA逐级合并大流域流域（面）面ShapeFile文件9WSWL逐级合并大流域流域（线）线ShapeFile文件10WSML逐级合并大流域最长汇流路径线ShapeFile文件11AGNP点状居民地点ShapeFile文件12DIKL堤防线ShapeFile文件13SKUA水库面Sha

10、peFile文件14HFCP点状水系附属设施点ShapeFile文件15HFCL线状水系附属设施线ShapeFile文件16JCZD监测站点点ShapeFile文件小流域小流域提取成果矢量图提取成果矢量图层层小流域小流域划分成果样划分成果样例例采用了一种直接基于流域地形地貌及植被特征的分分布布式单式单位位线模线模型型，其理 论基础为：流域中水质点汇流时间的概率密度分布函数等价于单位线。基本步 骤为：首先计算流域各栅格内径流滞留时间，然后根据汇流路径计算每一点的 径流到达流域出口的汇流时间，最后计算汇流时间的概率密度分布及单位线。栅格流速计算：参照曼宁公式，采用考虑坡度和雨强影响的流速计算V K

11、S0.5i0.4汇流时间计算：计算出每一栅格中径流的滞留时间 L/V或 2L/Vm沿着汇流路径，计算各点到达流域出口的汇流时间 i i12.7 小小流流域域汇汇流特征数流特征数据据流速，用于反映各流域汇流特性。经具有类似土地利用及植被覆盖地区的 检验率定后，可用于暴雨洪水分析模拟。25m 单元格流路径分布式单位线单位线的计算：将汇流时间进行统计计算，得到小流域汇流时间的概率 密度分布。对汇流时间概率密度分布进行单位转换及线性水库调蓄后，得到 小流域单位线。单位线标准化：根据中国暴雨图集，查算出小流域型心处不同时段(10分 钟、30分钟、60分钟)、不同重现期（或不同等级）的降雨量，做为小流域

12、的面净雨量，计算不同量级净雨对应的单位线。对于没有实测水文资料的地区，按土地利用和植被类型数据确定网格2.7 小流小流域汇流域汇流特征特征数数据据依据标准化单位线分析方法提取的不同时段（10分钟、30分钟、60分钟）不同重现期（2年、5年、20年、50年、100年）的标准化单位线成果。10分钟单位线30分钟单位线60分钟单位线2.7 小流域小流域汇流特征数据汇流特征数据2.8 山洪灾害调查评价数据水水文文气气象象成成果果类类分分析析评评价价成果类成果类行行政政区区代代码表码表C09行政区与小流域关系表小小流流域域代代码表码表小流域基本信息表C03社会经济情况表C13历史山洪灾害现场调查记录表C

13、17需防洪治理山洪沟基本情 况成果表C18自动监测站点汇总表C19无线预警广播站汇总表C20简易雨量站汇总表C21简易水位站汇总表C22防治区水库工程汇总表C23防治区水闸工程汇总表C24防治区堤防工程汇总表C25塘（堰）坝工程调查成果汇总表C10防治区企事业单位 汇总表C07防治区基本情况调查成果汇总表C08危险区基本情况调查成果汇总表C15重要沿河村落居民户调查成果表C16重要城（集）镇居民调查成果表分析评价名录C05农村住房情况典型户样本表C04居民家庭财产分类对照表C06居民住房类型对照表预警指标水位成果表C26路涵工程调查成果汇总表C27桥梁工程调查成果汇总表断断面面测测量量成果类成

14、果类沟道纵断面成果表沟道纵断面测量点表沟道历史洪痕测量点表沟道横断面成果表沟道横断面测量点表C02行政区划总体情况表防洪现状评价成果表设计暴雨成果表小流域汇流时间设计 暴雨时程分配表控制断面设计洪水成果表控制断面水位-流量-人口关系表测站一览表降水量摘录表洪水水文要素摘录表年流量表日降水量表C12历史山洪灾害情况 汇总表日水面蒸发量表暴雨统计参数表洪峰流量统计参数表预警指标时段雨量成果表雨量预警模型分析法成果表雨量预警降雨分析法成果表雨量预警经验估计法成果表预警指标综合雨量成果表C11小流域名称和出口位置汇 总表2.8 山洪灾害调查评价数据审核汇集国家级国家级省级省级地市级地市级县级县级2.8

15、 山洪灾害调查评价数据审核汇集检查内容检查内容质量元素质量元素检查项检查项方法方法成果目录及 文件规范性检查提交成果数据是否满足目录及文件命名要求软件成果完整性成果完整性数据图层是否完整检查标绘的空间图层是否齐全软件文档资料照片是否完整检查调查成果中的文档、资料、照片是否齐全软件记录完整性检查数据表中填写的字段是否完整软件隶属关系一致性检查行政区划调查数据隶属关系是否正确软件关系一致性关系一致性图属一致性检查图形数据与属性数据的位置描述一致性软件业务关系一致性检查字段间的逻辑、运算关系是否一致软件空间拓扑关系检查图形是否相互重叠、自重叠、自相交、伪节点、悬挂 线、碎面、碎线检查软件值符合性值符

16、合性值符合性检查属性字段的值是否符合标准规定的值域范围软件/人工照片规范性检查拍摄照片是否满足像素、位置、角度及数量等要求人工数值合理性检查将数据图形化展示或通过数据关联性检查数据是否合理人工数据合理性数据合理性空间分布合理性检查空间数据分布是否合理人工接边检查检查相邻县级行政辖区边界图形要素是否存在缝隙和重叠，相邻区域要素属性是否逻辑一致人工标绘精度检查图形位置相对于数字正射影像图（DOM）同位置误差是否超限人工省级规则省级规则复核复核 采用各省的数据审核规则，对数据质量进行复核。从规范性、完整性、一致性、合理性 几个方面对数据进行复核。针对山洪灾害调查评价成果数据的构成及特点，将检查内容

17、分为总体检查、调查表检查、空间数据检查和成果间一致性检查。数量统计数量统计 对比对比 将调查的社会经济、监测站点等调查数据与国家统计年鉴和已有非工程措施项目建设进 度表数据进行对比，判断调查对象数量的合理性。统计防治区数量、分析评价对象数量，以及占行政区总数的比例，评估调查评价工作的质量与合理性。密度统计密度统计对比对比 统计计算重要沿河村落居民户调查成果表、桥梁工程调查成果汇总表、路涵工程调查成果汇总 表、塘（堰）坝工程调查成果汇总表与行政村村、防治区面积的比值，对比各省、各县之间的 比值差异，以判断调查对象密度的合理性。离群点审离群点审 核核 对于密度统计结果，以县为单元进行数据的离群分析

18、，根据分析结果对离群点数据提出质疑。离群点审核规则使用基于数据挖掘中离群点检测的一元检测方法。要求字段均为有意义可理解 的数值型字段。2.8 山洪灾害调查评价数据审核汇集县级山洪县级山洪平台平台省、市、国家省、市、国家级山洪平台级山洪平台共享模块共享模块（接收）（接收）生 成 报 文数 据 上 报入标准库标准标准数据库数据库查询报文数据库读取2.9 实实时时数据汇集数据汇集2.10 遥遥感感影影像像接收接收系系统统2015年年3月月，建立了与中国资源卫星中心1GB带带宽宽的的光纤光纤通通讯讯连连接接，具备数据推送和接收条件。推送数据：环境与灾环境与灾害监害监测预报小测预报小卫卫星星(HJ-1A

19、和HJ-1B)可见光、红外多光谱相机数 据；高光谱成高光谱成像像仪仪数据及高高分分一一号卫号卫星星（GF-1号）16m多光谱相机数据；数据量每天约130GB。推送方式：常常规模规模式式：依据水利业务监测需求，每天数据实时推送。应应急模急模式式：在发生山洪等突发应急事件时，中国资源卫星中心将按照最高优先级安排在轨运行的卫星成像并在3小时内小时内完成数据生产。中国风云中国风云卫星卫星数据广数据广播播(DVB-S)用户站 系统，可实时接收和处理数据包括：中国气象局对外广播的中中国国FY-2系系 列列（FY-2D/FY-2E）实时数据；美美国国N O A A 系系列列（NOAA16/18）和EOS/M

20、ODIS系列系列（AM1/PM1）极轨气 象卫星广播数据；自动生成1级和2级数据产品；接收地地面面、高高空等常规空等常规气象气象资资料料：包括 风速、风向、降雨量、温度、湿度等。2.11 气气象象数据数据接接收系收系统统三、全三、全国山洪灾害防治平台：硬件平台国山洪灾害防治平台：硬件平台计算机网络计算机网络全国山洪灾害防治平全国山洪灾害防治平台台硬件配硬件配置置序号项目性能1计算机网络构建了连接计算集群、数据库、虚拟池的万兆光纤局域网，建立了水利专网通道和20Mb的公网通信通道。2HPC计算集群采用Infiniband网络，连接64个刀片及并行存储设备，总共768核心，浮点运算能力为12.9万

21、亿次/秒；每个刀片配置12核CPU、64GB内存、300GB硬盘。并行存储系统采用分级索引，SSD+SAS硬盘结构，提供37.92TB的高速存储设备。3存储设备包括576TB的NAS存储、30TB的SAN磁盘阵列及净容量达到37.92TB的并行存储系统。4信息服务平台架构Oracle RAC，每个节点配置4*12核CPU、256GB内存，实现7*24高可用数据存取服务；构建8个虚拟服务器组成的虚拟池，总共包括2TB内存，384个核心，10TBSAN磁盘阵列。名名 称称技术规格技术规格并行计算并行计算集群集群(64节节点点，768核核)2*Intel Xeon E5-2620 v2六核处理器(2

22、.0GHz)；8*8GB DDR3 ECC内存；1*56Gb Infiniband接口；并行存储并行存储系统系统(分级存分级存 储储，37.92TB)高性能64位处理器，64GBCache，2个管理网络接口，1个56Gb Infiniband数据接口，内嵌高性能数据索引引擎，管 理客户端的并行访问，实现全 局统一命名空间，并支持索引 控制器以Active-Active集群方 式运行，能够满足高IOPS，提供高达37.92TB的存储容量，并行计算并行计算程序库程序库Fortran、C、Java、C+、MPI、数学库三三、全国山洪灾害防治平全国山洪灾害防治平台台：硬件平：硬件平台台HPC高性能计算

23、集群高性能计算集群全国山洪灾害防治平全国山洪灾害防治平台台 中心机房中心机房三三、全国山洪灾害防治平全国山洪灾害防治平台台：硬件平：硬件平台台四、平四、平台应台应用用1：国家山洪灾害监测预警平：国家山洪灾害监测预警平台台四四、平台应平台应用用2：山洪灾山洪灾害调查评害调查评价价数据管理数据管理及及服务系服务系统统四四、平台应平台应用用2：山洪灾山洪灾害调查评价数据管理及服务系害调查评价数据管理及服务系统统四四、平台应平台应用用2：山洪灾山洪灾害调查评价数据管理及服务系害调查评价数据管理及服务系统统四四、平台应平台应用用2：山洪灾山洪灾害调查评价数据管理及服务系害调查评价数据管理及服务系统统实时

24、接收及处理实时接收及处理水雨情 数据及气象数据；在HPC高性能计算集群 上进行全国山丘区洪水 实时连续模拟，实现山山 洪灾害预报预警及灾害洪灾害预报预警及灾害 风险评估风险评估；提供山洪灾害预警信息预警信息 社会化服社会化服务务。四、平四、平台应台应用用3：国家国家山山洪灾害模拟分析及信息发洪灾害模拟分析及信息发布布服服务务四、平四、平台应台应用用3：国家国家山山洪灾害模拟分析及信息发洪灾害模拟分析及信息发布布服服务务国国家防家防办办社社会公会公众众第三方第三方服服务务 平台平台消息推送消息推送水水利行利行业业南水北南水北调调办办水库调水库调度度预预 报报其其他行他行业业铁路系统铁路系统公路系

25、统公路系统石油管线石油管线旅游景点旅游景点实时水文实时水文数据处数据处理理并行并行计算计算模型参数模型参数并行并行率率定定实时连续实时连续模拟模拟并发并行并发并行调度调度四、平四、平台应台应用用3：国家国家山山洪灾害模拟分析及信息发洪灾害模拟分析及信息发布布服服务务四、平四、平台应台应用用3：国家国家山山洪灾害模拟分析及信息发洪灾害模拟分析及信息发布布服服务务I/O瓶颈瓶颈水水文数文数据据处处理理模模拟数拟数据据写写入入模模拟及拟及发发布布集集成成数据延时数据延时延延时识时识别别追追赶计算赶计算在小流域划分及基础属性提取过程中，涉及基础数据收集检查、坐标变换、异常修正、地理配准、暴雨图集矢量化

26、、小流域划分、基础属性提取等工作，工具选用包括ArcMap10.1和ArcHydro2.0，二次开发SDK采用ArcEngine10.1；Data Management Tools（数据管理工具）、3D Analysis Tools（3D分析工具）、Spatial Analyst（空间分析）和ArcMap的地图 视图等，用于数据处理；ArcHydro2.0用于河道烧制、筑墙处理、小流域提取等都用到该工 具，是专业的水文处理工具；ArcEngine10.1提供二次开发接口，用户开发ArcMap中操作繁琐且流程重复的一些批处理功能软件。5.1 ArcGIS在大规模小流域提取中的应用在大规模小流域提

27、取中的应用基础数基础数据收集管据收集管理理可视化图幅管理镶嵌和格式转换基础数基础数据收集整据收集整理理格式转换基础数基础数据收集整据收集整理理坐标转换基础数基础数据收集整据收集整理理地形预处理填洼处理坡度计算ArcHydro 工具提取河网工具提取河网汇流面积计算ArcHydro 工具提取河网工具提取河网河流定义ArcHydro 工具提取河网工具提取河网ArcHydro 工具提取河网工具提取河网河网生成最长汇流路径计算ArcHydro 工具提取河网工具提取河网ArcHydro 工具提取河网工具提取河网拓扑关系构建为了提高效率将海岸线及沙漠边缘线虚拟为一条主河道，所有汇入大 海或沙漠的河流以支流的

28、方式汇入海岸线或沙漠边缘线沙漠区流域沙漠区流域划分划分效果效果图图入海河流处入海河流处理效理效果果图图直接入直接入海及沙漠边缘河流处海及沙漠边缘河流处理理内陆湖内陆湖处理处理第一步先提取一条比较大的分支水系包含内陆湖，第二步提取另外部分 水系，然后再将这两个水系进行拼接处理，形成一个封闭独立的水系。复杂大复杂大型水库区处型水库区处理理由于部分大型水库（湖泊）区周围存在很多小的水库（湖泊），而且该 水库地形接近于平原的状态，同时它也是众多流域的汇集区，给小流域 提取工作带来很大难度；为了解决该问题，在处理时把该区域概化为一 个大型水库（湖泊）来处理。研发了自动拆分、自动合并软件功能，通过该功能能

29、够方便地对局 部小流域进行拆分、合并处理，并自动进行编码，自动建立空间拓 扑关系，自动重新计算小流域属性。拆合分并后自动拆自动拆分、合并处分、合并处理理处理后由于几大水系的流域面积较大，需分批次进行提取小流域，这样导致 常常出现干流与支流之间出现缝隙。为了避免该现象发生，采用了特 殊处理方法。在提取主干的时候，把汇入主干的分支预留一个流域面，再提取该分支流域，然后进行干流与支流拼接，形成一个完整的支流，通过该方法解决了缝隙问题。干流与干流与支流无缝拼接处支流无缝拼接处理理5.2 ArcGIS在审核汇集汇中应用在审核汇集汇中应用 小流域划分 底图数据分发管理 底图缓存生成 密度合理性审核 空间数

30、据管理 空间数据共享 地图制图 数学基础检查 拓扑关系审核 图属一致性审核 隶属关系审核 标绘精度审核 分布合理性审核 密度合理性审核 空间数据存储 空间数据管理拓拓扑扑关系审核关系审核基于ArcGIS Geodatabase的拓扑关系检查线重合面重合伪节点自相交面自相交分布合分布合理性与密度合理理性与密度合理性性行政区划分布防治区分布重点防治区分布非防治区分布ArcGIS分析工具，进行调查成果分布合理性与密度合理性检查5.3 数据管数据管理与共享理与共享以Geodatabase数据模 型实现全国山洪灾害调 查评价海量空间数据管 理。在ArcGIS Server上构建基础地图服务。基于ArcGIS Engine开 发数据切割等工具，实 现数据分发。通过ArcMap提供的制图功能，配置全国山洪灾害调查评价一张图。数据层：数据层：ArcGIS SDE服务层服务层：ArcGIS Server应用层应用层：ArcGIS JS API，ArcGIS Engine 数值制图数值制图：ArcGIS Desktop