1、主要内容主要内容基本概念基本概念1 1误差处理误差处理2 2精度评定方法精度评定方法3 3质量检查质量检查4 4数据质量分析与控制数据质量分析与控制 质量控制是DEM生产中最关键的环节之一,DEM精度的好坏事实上取决于DEM的质量控制好坏。 影响DEM精度的因素是多种多样的,其中DEM原始数据的质量是最主要的因素. 不管采用何种测量方法,测量数据总会包含各种各样的误差,DEM数据也不例外,这些误差从不同方面影响了DEM原始数据的质量,而DEM原始数据的质量又将严重影响最终DEM产品及其派生产品的精度或保真度,因此必须予以专门的处理。 空间数据质量及其精度分析空间数据质量及其精度分析数据质量是空
2、间数据在表达空间位置、专题特征以及时间这三个基本要素时,所能够达到的准确性、一致性、完整性,以及它们三者之间统一性的程度。 (1)误差(Error) (2)数据的准确度(Accuracy) (3)数据的精密度(Resolution) (4)不确定性(Uncertainty) 几个概念几个概念误差误差 误差反映了数据与真实值或大误差反映了数据与真实值或大 家公认的真值之间的差异。家公认的真值之间的差异。数据的准确度 结果、计算值、估计值与真实值之间的差异。不确定性关于空间过程和特征不能被准确确定的程度。数据的精密度数据表示的精密程度, 亦即数据表示的有效位数。空间数据质量评价空间数据质量评价q数
3、据情况说明q时间精度(现势性)q位置精度(几何精度)q分类精度(属性精度)q可靠性q逻辑的一致性、完整性q数据采集与编码方法数据情况说明数据情况说明 要求对地理数据的来源、数据内容及其处理要求对地理数据的来源、数据内容及其处理过程等做出准确、全面和详尽的说明。过程等做出准确、全面和详尽的说明。位置精度位置精度 指空间实体的坐标数据与实体真实位置的接指空间实体的坐标数据与实体真实位置的接近程度,通常表现为空间三维坐标数据精度。近程度,通常表现为空间三维坐标数据精度。它包括数学基础精度、平面精度、高程精度、它包括数学基础精度、平面精度、高程精度、接边精度、形状再现精度、像元定位精度。平接边精度、形
4、状再现精度、像元定位精度。平面精度又分为相对精度和绝对精度。面精度又分为相对精度和绝对精度。属性精度属性精度 指空间实体的属性与其真值相符的程度。通指空间实体的属性与其真值相符的程度。通常取决于地理数据的类型,且常常与位置精度常取决于地理数据的类型,且常常与位置精度有关,包括要素分类与标准的正确性、要素属有关,包括要素分类与标准的正确性、要素属性值的准确性、名称的正确性等。性值的准确性、名称的正确性等。时间精度时间精度 指数据的现势性。可以通过数据更新的时间指数据的现势性。可以通过数据更新的时间和频度来表现。和频度来表现。逻辑一致性逻辑一致性 指地理数据关系上的可靠性,包括数据结构指地理数据关
5、系上的可靠性,包括数据结构、数据内容,以及拓扑性质上的内在一致性。、数据内容,以及拓扑性质上的内在一致性。数据完整性数据完整性 指地理数据在范围、内容和结构等方面满足指地理数据在范围、内容和结构等方面满足所有要求的完整程度,包括数据范围、空间实所有要求的完整程度,包括数据范围、空间实体类型、空间关系分类、属性特征分类等方面体类型、空间关系分类、属性特征分类等方面的完整性。的完整性。表达形式的合理性表达形式的合理性 主要指数据抽象、数据表达与真实地理世界主要指数据抽象、数据表达与真实地理世界的吻合性,包括空间特征、专题特征、时间特的吻合性,包括空间特征、专题特征、时间特征表达的合理性。征表达的合
6、理性。误差来源误差来源原始数据的采集误差 1)、原始资料误差:航片的误差(包含航摄的各种误差的 综合)、定向点误差; 2)、采点设备误差:测图仪的误差和计算机计算有效位数;3)、人为误差:测标切地面的误差(采用数字影像相关时为 影像的相关误差);4)、坐标转换误差:相对定向和绝对定向的误差。 高程内插误差 不管采用哪种内插算法,内插点的计算高程与实际量测高程之间总存在差值。高程内插的误差一方面和选用的数学方法(内插算法)有关,另一方面和采点的方式有关。 常见的人为误差常见的人为误差漏输或错输高程注记点 矢量化过程中由于要在效果并不太好、密密麻麻的底图上寻找大量高程注记点及其高程值,很容易使矢量
7、化人员错输或者漏输山头上的高程注记点,这样造成的影响是产生许多错误地形,如平顶山。因此,在数字化过程中要特别留意对高程注记点的全面、正确赋值。常见的人为误差常见的人为误差等高线赋值误差 等高线赋值误差是一个比较常见的问题。将A、B两条等高线的值由200和250错赋值为1000和750,使得原来平缓的山坡变为有陡崖,地形非常复杂的山坡。将等高线由280错赋值为100,使得原来凸出来的台地变为凹下去的台地。这种对实际地形、地貌的错误描述严重影响DEM的精度。减少这种误差除了需要加倍仔细外,提高识图技能,掌握必要的地形、地貌知识也是很重要的。DEM构造误差构造误差对“陡崖”地貌的表示 遇到陡崖的时候
8、,地形图上一般都会有特定的符号表示。这种情况若按照地形图上等高线的画法来数字化等高线,即使将等高线正确赋值、没有遗漏,也不能够把实际地貌表现出来。必须对陡崖出现的地方进行专业化处理,把断掉的等高线按照实际走向连接起来,并且密集一些。至于陡崖符号,只是一种表示符号,不能把它当作等高线连接起来 对于一些特殊地形、地貌并没有输入错误,但是也可能出现较大误差。对于这种情况,必须实施一些专业的技术处理。DEM构造误差构造误差消除“平顶山” 地形图中有一些山头有高程注记点,但是仍然有许多小山包没有加高程注记点,遇到这种情况应该人为添加高程值不超过一个等高距的高程注记点,或者借用大比例尺地形图上的有效高程点
9、,否则插值得出的DEM会出现平顶山。误差分类(观察的角度)误差分类(观察的角度)系统误差 跟物理方面的因素有关,也即它们可能源于摄影胶片的温度变化或测量仪器本身。另外,测量仪器在使用前缺乏必要的校正,或者因为观测者自身的限制(如观测立体的敏锐度或未能进行正确的绝对定向等),也有可能产生。 系统误差一般为常数,也可以互相抵消。 偶然误差 对同一目标的量测由于观测误差的存在,其测量值会有所不同,且不表现出任何必然规律。粗差 实质是一种错误。同随机误差和系统误差相比,它们在测量中出现的可能性一般较小。 原始数据误差处理原始数据误差处理 DEM原始数据的质量可使用原始数据的三个属性(即精度、密度和分布
10、)的质量来衡量。 涉及DEM原始数据质量的重要因素是数据点自身的精度。 主要方法 1、滤波法:分离数据集合中人们感兴趣的主要信息与其余的作为随机噪声的信息。2、基于趋势面及三维可视化的粗差检测与剔除 3、基于坡度信息的格网数据粗差检测与剔除4、基于等高线拓扑关系的粗差检测与剔除基于趋势面及三维可视化基于趋势面及三维可视化 对于一个特定的研究区域,在三维透视图上可疑点是否表现为粗差非常直观,很容易据此作出正确判定。基于坡度信息的格网数据基于坡度信息的格网数据 1、坡度阀值检测:检测P点周围的(八个)坡度值,判断其是 否正常,也即坡度值是否超过某一预先设定的阀值;2、局部邻域坡度一致性检测:检查横
11、跨P点的四对坡度差值 的绝对值,以确定是否有差值超过给定的阀值; 3、远邻域坡度一致性检测:检测跨越P点周围八邻域点的每 个点的坡度差值是否超过给定的阀值。 主要步骤 对起伏不平的地区它产生了过于平坦化的不良结果,而在平坦地区它又产生了一些不自然的特征。 整体效果 所有接受或拒绝一个点的既定准则都建立在绝对的意义之上。 缺点基于等高线拓扑关系基于等高线拓扑关系1)、同一条等高线上的各个数据点高程值相等;2)、等高线为连续的曲线,一个拓扑节点最多只能连接两条高程 值相同的等高线,高程值不等的等高线不能相接,不能相交;3)、相邻等高线的变化应是渐进的,并适应实地坡形变化的规律。等高线特征1)、空间
12、位置错误 :错误的悬挂线、两条等高线相交和同一等高线 应该连接处未能相连 2)、赋值错误:首尾相连两条等高线高程值不等、相邻等高线高程 值突变。错误类型等高线错误图示等高线错误图示DEM精度的数学模型精度的数学模型精度:误差分布的密集或离散程度分布规律:P(X=xi ) = pi xi为随即采样点值 n数学期望:E(X)=xipi 随机变量所有可能取值的平 i=1 均值,表示随机变量的大小方差:D(X)=EX-E(X)2 表示随机变量的离散度标准差:x=sqrt(D(X) 方差的算术平方根,表示随 机变量离散度的特征值中误差:RMSE=sqrt(Z-z) 2 / n)Z为真值,z为观测或计算值
13、粗差:限=3 超过极限误差的误差DEM精度评定方法精度评定方法 评定方式1、平面精度和高程精度分开评定2、两种精度同时评定评定途径 1、理论分析;2、试验检测;3、理论与试验相结合共同特点:试图寻求对地表起伏复杂变化的统一量度,和各种内插数学模型的通用表达方式,使评定方法、评定所得的精度和某些带规律性的结论有比较普遍的理论意义。评定方法 1、检查点法2、剖面法3、等高线法DEM精度评定方法精度评定方法 检查点法 事先将检查点按格网或任意形式进行分布,对生成的DEM在这些点处进行检查。将这些点处的内插高程和实际高程逐一比较得到各个点的误差,然后算出中误差。 剖面法 将一定的剖面量测计算离程点和实
14、际高程点进行比较的精度计算方法。剖面可以是沿X方向、Y方向或任意方向。可以用数学方法(如传递函数法)计算任意剖面的误差,也可以用实际剖面和内插剖面相比较的方法估算高程误差。nkkkDEMZRn12)(1检查点法的国家规范检查点法的国家规范1:1万技术规定还有:高程最大误差为中误差的两倍;密林等隐蔽地区高程中误差按表1中数据的1.5倍计;DEM内插点的高程中误差按表1数据1.2倍计;一般情况按二级精度要求执行,若原始资料精度较差,可放宽到三级精度。 DEM质量检查质量检查 分类1、原始资料质量检查2、数据处理的质量检查3、最终产品的质量检查DEM质量控制是指在DEM建设和应用过程中,对可能引入误
15、差的步骤和过程规定一些指标和参数,并对检查出的误差和错误进行修正。DEM质量控制贯穿DEM建立的全过程,是DEM生产流程中的一条主线;应针对影响DEM质量的关键性问题,采取系列切实有效的方法,进行精度控制和错误改正。DEM质量检查质量检查 DEM质量检查的主要内容 1、检查DEM原始的数学基础; 2、检查DEM数据起止点坐标的正确性; 3、检查DEM原始数据的质量; 4、检查DEM的高程值有效范围区是否正确; 5、检查生成DEM的内插模型; 6、检查生成的DEM产品的质量; 7、检查DEM的元数据文件是否正确。DEM质量检查方法质量检查方法 目视检查半自动检查(交互式检查) 基于趋势面与三维可
16、视化的方法,以及基于等高线拓扑关系的方法都属于此类。在全数字摄影测量及交互式摄影测量生产DEM的方法中,使用左右正射影像零立体对DEM的检测手段也属于这类型方法。自动检查(影像分析法)多种方法综合应用 最常用的DEM通常是一组用矩阵形式表示的高程数组,实际上为栅格数据。和其他栅格数据一样,可用影像来表达和检查DEM高程误差。用影像检查DEM的手段主要有两种,即灰度和彩色影像两种方法均采用色彩对照表建立各高程值和灰度或彩色之间的对应关系,对DEM的局部进行详细检测,进而计算出局部区域DEM的误差。实际上将DEM作为影像时,许多对影像的操作都可用于对DEM的检测。DEM质量的目视检查质量的目视检查
17、基于立体影像的DEM检查法 这是一种最基本的检测方法。对DEM的局部检查最简单有效的方法是恢复立体像对,将DEM格网点显示至立体像对,通过立体观察检查格网点和立体模型的套合情况。目前,全数字摄影测量系统均提供立体目视检查DEM的功能。基本过程如下 1.依据像对的控制点确定显示范围; 2.选取落在范围内的格网点; 3.将DEM反算至立体像对并进行显示;DEM质量的目视检查质量的目视检查分层设色显示 首先求出DEM中高程的最大和最小值,然后将高程分为多个等级,按高程由低到高每组赋予由浅到深的颜色进行显示。分色显示可从整体上反映地貌的变化趋势,配合水平和垂直方向的断面图显示,对高程异常变化的地方有一
18、定检查效果。DEM质量的目视检查质量的目视检查三维方式检查 等高线可以是DEM应用的产物,利用OpenGL3维显示功能显示DEM数据,并将等高线叠加在DEM上,这样能清晰直观地看到等高线和DEM的总貌与细部,便于用户发现问题。为适应用户从不同角度动态观察3维灰度图和等高线的需要,用OpenGL函数对生成的DEM和等高线进行变换,以实现对等高线进行不同方位、不同远近、不同角度和放大缩小的显示。DEM质量检查步骤质量检查步骤1、实验数据的选择和精度要求1)实验数据。为使实验具有一定的普遍意义,在数据的选择上,注意考虑各种地形特征。测绘学通常考虑的地形特征有山地、平原和丘陵。2)精度要求。以地形图数
19、字化方法生成的数字高程模型,其格网点高程中误差应不大于相应比例尺地形图的2/等高距(GB/T17941.12000数字测绘产品质量要求第一部分:数字线划地形图、数字高程模型质量要求)。DEM质量检查步骤质量检查步骤2、检查点的选择实际上,从实验得到的DEM精度不是绝对可靠的,只能在一定的置信水平上接受这个精度。通常,以检查点作为真实地面点,利用检查点同相应模型点之间的高差H来计算DEM的精度。一般从3个方面来考察用于DEM精度估计的检查点。1)检查点数目的确定。对于DEM精度Sd估计的可靠性度量,一般是采用定量的方式,即用Sd(Sd(H)/Sd(H)的百分比作为对DEM精度估计的可靠性度量。2
20、)检查点的精度。利用原始等高线线性内插得到各检查点的高程值。通过对原始等高线图进行适当放大,用直尺确定检查点同相邻两等高线的距离比例, 以求出检查点的高程。3)检查点的分布。DEM质量检查步骤质量检查步骤3精度分析方法对于各个软件的DEM产品,主要从总体精度和相对精度两个方面评价。1)总体精度。总体精度是用标准偏差(Sd)来表示的:式中,Zdati为检查点i的高程值;Zgrdi为模型在检查点i处的高程值;Zdati-Zgrdi为残差;n为检查点的数目。如果Zdati-Zgrdi比较小,说明内插模型在统计上是精确的,而且Sd的值也比较小;否则的话,是不精确的。2)相对精度。利用残差可以提供误差在实验区域内分布的信息。在很多情况下,这个相对精度比绝对精度更有意义。这里,残差被定义为:式中abs表示取绝对值。DEM生产的作业流程生产的作业流程 DEM质量数据质量的检测和控制应贯穿数字高程模型数据生产的全过程 结合工程要求制定适合具体工程项目的DEM生产技术规定,指导生产 原始数据的精度是第一位的