1、城城市市遥遥感感信信息息智能提智能提取取主要内容主要内容一、城市遥感信息智能一、城市遥感信息智能提提取需求取需求二、城市遥感信息智能二、城市遥感信息智能提提取关取关键键技术技术难难题题 三、城市房屋信息遥感三、城市房屋信息遥感提提取取四、城市丌透水面信息四、城市丌透水面信息遥遥感提取感提取 五、城五、城市绿地信息遥感市绿地信息遥感提提取取六、城市时敏目标信息六、城市时敏目标信息遥遥感提取感提取城市遥感以城市为研究城市遥感以城市为研究对对象，象，利利用遥用遥感感手段手段对对城市城市环环境从境从格格局、局、要要素、素、功功能、能、演演变等变等方方面进面进行行全面全面描描 述和监测，为城市环境述和监
2、测，为城市环境评评价、价、觃觃划、划、模模拟、拟、预预测等测等提提供信供信息息源源和和信信息获息获取取技术技术手手段段 单时相遥感数据：城市信息提取单时相遥感数据：城市信息提取 多时相遥感数多时相遥感数据据：城市变化信息提取：城市变化信息提取 时间系列遥感数据：城市动态信息监测时间系列遥感数据：城市动态信息监测 遥感大数据：智慧城市挖掘分析遥感大数据：智慧城市挖掘分析遥感大数据作为一种信息丰富、覆盖面广、经济、便捷的空间数据载遥感大数据作为一种信息丰富、覆盖面广、经济、便捷的空间数据载体体，可利用的遥，可利用的遥感感大数据包大数据包括括多平台、多分辨率、多时多平台、多分辨率、多时相相、多种传感
3、器、多角度特性、多种传感器、多角度特性的数据的数据5全球测图全球测图 复杂场景：人工提取复杂场景：人工提取 专题要素：自动提取专题要素：自动提取主要内容主要内容一、城市遥感信息智能一、城市遥感信息智能提提取取需求需求二、城市遥感信息智能二、城市遥感信息智能提提取关取关键键技术技术难难题题 三、城市房屋信息遥感三、城市房屋信息遥感提提取取四、城市丌透水面信息四、城市丌透水面信息遥遥感提取感提取 五、城五、城市绿地信息遥感市绿地信息遥感提提取取六、城市时敏目标信息六、城市时敏目标信息遥遥感提取感提取19981998年汛期的武汉年汛期的武汉1.2 城市遥感观测对象城市遥感观测对象阴影影响阴影影响难题
4、难题1 1：如何针对城市复杂场景构建有效的时空谱遥感观测模：如何针对城市复杂场景构建有效的时空谱遥感观测模型型？（1 1）在立体空间上多角度观测不同高度的城市信息）在立体空间上多角度观测不同高度的城市信息植被遮挡植被遮挡云的影响云的影响Hui Luo,Le Wang,Zhenfeng Shao and Deren Li.Development of a multi-scale object-based shadow detection method for high spatial resolution image,Remote Sensing Letters,2015,6:1,59-68二二
5、、城市遥感信息智能城市遥感信息智能提提取关取关键键技术技术难难题题难题难题1 1：如何针对城市复杂场景构建有效的时空谱遥感观测模：如何针对城市复杂场景构建有效的时空谱遥感观测模型型？（1）阴影的影响阴影的影响Zhenfeng Shao,et.al.Cloud Detection in Remote Sensing Images Based on Multiscale Features-Convolutional Neural Network.IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING,VOL.57,NO.6,JUNE 2019,4062
6、-40769二二、城市遥感信息智能城市遥感信息智能提提取关取关键键技术技术难难题题难题难题1 1：如何针对城市复杂场景构建有效的时空谱遥感观测模：如何针对城市复杂场景构建有效的时空谱遥感观测模型型？（2 2）消除云的影响）消除云的影响二二、城市遥感信息智能城市遥感信息智能提提取关取关键键技术技术难难题题作业时将车辆开到指定区域，将无人机展开升空，采集过程中因为地面物体作业时将车辆开到指定区域，将无人机展开升空，采集过程中因为地面物体 遮挡导致车辆无法采集的地方，可用无人机从空中进行同步采集，达到面向遮挡导致车辆无法采集的地方，可用无人机从空中进行同步采集，达到面向 城市（镇）三维无缝全息时空信
7、息精准快速获取的能力城市（镇）三维无缝全息时空信息精准快速获取的能力难题难题1 1：城市复杂场景构建有效的时空谱遥感观测模：城市复杂场景构建有效的时空谱遥感观测模型型？（3 3）植被遮挡）植被遮挡无人机与移动测量车组网集群系统：无人机与移动测量车组网集群系统：无人机放在车辆后备厢中，车内配备无人机放在车辆后备厢中，车内配备了两台高性能计算机，一台用于实时监控无人机数据，另一台用于实时监了两台高性能计算机，一台用于实时监控无人机数据，另一台用于实时监 控控车载采集数据。车载采集数据。Zhenfeng Shao,Jiajun Cai,2018.Remote Sensing Image Fusion
8、 with Deep Convolutional Neural Network.IEEE JSTARS，11(5):16561669.设计了两个深度不同的支线网络，用于提取多光谱图像和全色图像特征设计了两个深度不同的支线网络，用于提取多光谱图像和全色图像特征，引入更深层的结构来提取更高层次的非线性引入更深层的结构来提取更高层次的非线性 特征特征，并通过，并通过学习低空间分辨率与高空间分辨率多光谱图像间残学习低空间分辨率与高空间分辨率多光谱图像间残差差来解决最终的融合问题来解决最终的融合问题二二、城市遥感信息智能城市遥感信息智能提提取关取关键键技术技术难难题题空谱融合模型：顾及残差学习的双支结构
9、影空谱融合模型：顾及残差学习的双支结构影像像融合深度网络模型融合深度网络模型美国发明专利美国发明专利：Method and system for reconstructing super-resolution image空间分辨率从空间分辨率从30米米到到10米米；时间分辨率：从时间分辨率：从5天天到到2天天二二、城市遥感信息智能城市遥感信息智能提提取关取关键键技术技术难难题题时空融合模型：提出了多颗卫星多个时相时空融合模型：提出了多颗卫星多个时相的的遥感影像时空融合模型遥感影像时空融合模型Zhenfeng Shao,et.al.Deep learning-based fusion of La
10、ndsat-8 and Sentinel-2 images for a harmonized surface reflectance product.Remote Sensing of Environment,2019,235,111425在融合过程中，能够学习到地表覆盖变化，在融合过程中，能够学习到地表覆盖变化，并在结果中做出准确预测并在结果中做出准确预测13汛汛19981998年年期的武汉期的武汉多传感器影像色调和尺度差异多传感器影像色调和尺度差异二二、城市遥感信息智能城市遥感信息智能提提取关取关键键技术技术难难题题（1）高分一号）高分一号2高分二号高分二号3资源一号资源一号4资源三号资源
11、三号5天绘卫星天绘卫星6航空影像航空影像难题难题2：如何提高城市信息自动：如何提高城市信息自动化化提提取取水平？水平？江西省基于多源遥感影像的不透水面提取江西省基于多源遥感影像的不透水面提取车辆检测车辆检测船只检测船只检测接力跟踪监测接力跟踪监测需要研究城市丌同场景需要研究城市丌同场景和和对象对象的的检测检测不不动态动态监监测测行人检测行人检测 难题难题3：如何提取城市的快速变化信息（包括时敏目标）如何提取城市的快速变化信息（包括时敏目标）针对针对人、车、船和抛物的检测，并提供跟踪技术解决方案人、车、船和抛物的检测，并提供跟踪技术解决方案二二、城市遥感信息智能城市遥感信息智能提提取关取关键键技
12、术技术难难题题主要内容主要内容一、城市遥感信息智能一、城市遥感信息智能提提取取需求需求二、城市遥感信息智能二、城市遥感信息智能提提取关取关键键技术技术难难题题三、城市房屋信息遥感三、城市房屋信息遥感提提取取四、城市丌透水面信息四、城市丌透水面信息遥遥感提取感提取 五、城五、城市绿地信市绿地信息遥感息遥感提提取取六、城市时敏目标信息六、城市时敏目标信息遥遥感提取感提取人工设计特征提取方法人工设计特征提取方法边缘检测建筑物提取指数提取特征+机器学习影像影像影像边缘检测计算指数提取特征形状约束阈值分割分类器结果结果结果三、房屋和道路信息遥三、房屋和道路信息遥感感提提取取高分辨率对地观测系统重大科技专
13、项高分辨率对地观测系统重大科技专项“重点目标影像分析算法研究重点目标影像分析算法研究”由于太阳光线被遮挡由于太阳光线被遮挡航航空空、遥感影像上、遥感影像上有有阴影阴影深度学习方法深度学习方法17 优点：优点：不需要人工设计特征，直接不需要人工设计特征，直接 实现端到端的建筑物提取实现端到端的建筑物提取基于深度学习的高分遥感影像房屋基于深度学习的高分遥感影像房屋提提取取三、房屋和道路信息遥三、房屋和道路信息遥感感提提取取18由于影像上同一建筑物的由于影像上同一建筑物的色调和纹理不同色调和纹理不同，导致建筑物的导致建筑物的提取结果出现部分缺失提取结果出现部分缺失对于形状较为对于形状较为复杂的建筑物
14、的边缘提取结果复杂的建筑物的边缘提取结果 还不精确还不精确原始影像真值问题结果原始影像真值问题结果产生问题的原因产生问题的原因 只通过少量的池化操作来扩只通过少量的池化操作来扩大大感受感受野野，感，感受受野并不野并不足足以包以包含含整个建整个建筑筑物与物与周周围背景围背景 只通过单一阶段的网络直接只通过单一阶段的网络直接得得到预到预测测结果结果，不能对不能对预预测结测结果果进行进进行进一一步修正步修正基于深度学习的高分遥感影像房屋、道路提取基于深度学习的高分遥感影像房屋、道路提取三、房屋和道路信息遥三、房屋和道路信息遥感感提提取取设计了基于建筑物残差修正设计了基于建筑物残差修正网网络的络的建建
15、筑物筑物提提取方法取方法 引入空洞卷积串联结构在引入空洞卷积串联结构在 不损失图像分辨率的情况不损失图像分辨率的情况 下有效增加了感受野，提下有效增加了感受野，提 取到更全局更丰富的信息取到更全局更丰富的信息 残差修正结构对预测结果残差修正结构对预测结果 进行了进一步修正，得到进行了进一步修正，得到 更加精确的结果更加精确的结果 与与U-Net相比，极大减少了相比，极大减少了 网络参数网络参数基于深度学习的高分遥基于深度学习的高分遥感感影像影像房房屋、屋、道道路提路提取取能有效地解决建筑物提取不完整以及形状复杂的建筑物边缘提取不准确的问题，并得到更高的提取精度能有效地解决建筑物提取不完整以及形
16、状复杂的建筑物边缘提取不准确的问题，并得到更高的提取精度19Shao,Z.;Tang,P.;Wang,Z.;Saleem,N.;Yam,S.;Sommai,C.BRRNet:A Fully Convolutional Neural Network forAutomatic Building Extraction From High-Resolution Remote Sensing Images.Remote Sens.2020,12,1050.20原始影像真值BRRNet的方法SegNetBayesian-RefineNetPSPNetDeepLabv3+SegNet基于深度学习的高分遥基于
17、深度学习的高分遥感感影像影像房房屋、屋、道道路提路提取取主要内容主要内容一、城市遥感信息智能一、城市遥感信息智能提提取取需求需求二、城市遥感信息智能二、城市遥感信息智能提提取关取关键键技术技术难难题题 三、城市房屋信息遥感三、城市房屋信息遥感提提取取四四、城市丌透水面信息城市丌透水面信息遥遥感提取感提取 五、城五、城市绿地信息遥感市绿地信息遥感提提取取六、城市时敏目标信息六、城市时敏目标信息遥遥感提取感提取什么是什么是城城市不透市不透水水面面？城市中自然的或者人工的阻止地表水渗透到地下的地阻止地表水渗透到地下的地 表覆盖表覆盖物物，如由水泥混凝土、玻璃、沥青、塑料、瓦 片、金属等材料建成的道路
18、、停车场、屋顶等。四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取丌透水面的变化从丌透水面的变化从 根本上改变了降水根本上改变了降水 的再分配，从而影的再分配，从而影 响城市水文环境响城市水文环境(Arnold et al.,1996)全球丌透水面空间分布影响全球丌透水面空间分布影响城城 市生态环境模型市生态环境模型新农村建设新农村建设小城镇建设小城镇建设大都市建设大都市建设四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取城市病呼唤海绵城市城市病呼唤海绵城市2015年年12月月22日，日，时隔时隔37年中国重启中央城市工作会议年中国重启中央城市工作会议 习总书记提出治理城市病习
19、总书记提出治理城市病国务院办公厅国办发（国务院办公厅国办发（201520157 75 5号号）关于推进海绵城市建设的指导意关于推进海绵城市建设的指导意见见最大限度地减少城市开最大限度地减少城市开发发建设建设对对生态生态环环境的境的影影响响，将将70%的降雨就地消纳和利用的降雨就地消纳和利用（丌透丌透水水面比面比例例需要需要下下降）降）到到2020年，城市建成区年，城市建成区20%以上以上达达到目标到目标到到2030年，城市建成区年，城市建成区80%以上以上达达到目标到目标因此，需要开展丌透水面提取和监测因此，需要开展丌透水面提取和监测四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取美国
20、现状美国现状：30米产品米产品清华大学宫鹏老师清华大学宫鹏老师：30米米、10米米产产品品空天院刘良云老师空天院刘良云老师：30米米产品产品 区域区域和全球研究很好的产品和全球研究很好的产品 美国未来美国未来：2年年2米米需要提取和监测不透水面的需要提取和监测不透水面的分分布并布并监监测起测起变变化，化，支撑城市的可持续发展支撑城市的可持续发展国内外现状国内外现状四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取基于CNN的多尺度特征提取概率图模型全局优化.卷积池化空洞卷积反池化概率图优化2、提出了基于深度学习的不透水面提取新方法、提出了基于深度学习的不透水面提取新方法难题难题2：高分影
21、像内容复杂，传统分类和提取方法是人工设计特征，：高分影像内容复杂，传统分类和提取方法是人工设计特征，策略具有局限性，自动化程度低，丌具有普适策略具有局限性，自动化程度低，丌具有普适性性挑战：如何实现自适应的特征学挑战：如何实现自适应的特征学习习，提高自动化提取精度，提高自动化提取精度四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取加载数据影像分割多尺度影像对象集大尺度影像对象集小尺度影像对象集场景类别特征选择场景类别特征描述场景分类地物类别特征描述地物分类小尺度影像对象集场景1下的地物分类地物类别特征选择地物类别特征描述地物分类小尺度影像对象集场景2下的地物分类地物类别特征选择地物类别
22、特征描述地物分类小尺度影像对象集场景n下的地物分类地物类别特征选择地物类别特征描述地物分类小尺度影像对象集 地物类别特征选择场景 分 类多尺 度分 割不 透 水 地 物 合 并不 透水 面 提 取 结 果不同场景下的地物分类271、完成了全、完成了全国国2米分辨米分辨 率不透水面遥感提取，率不透水面遥感提取，国情专题内容国情专题内容Environment of Remote Sensing2019四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取1987-2017武武汉汉市市30年不透年不透水水占比占比与与地表径地表径流流关关系系DischargeBMPsLIDPre-urbanTime
23、Post-urban对对于于22个个流流域域，每个，每个流流域的总不透域的总不透水水面面 占比占比与径流量成正比与径流量成正比Zhenfeng Shao,et.al.Remote sensing monitoring of multi-scale watersheds impermeability for urban hydrological evaluation.Remote Sensing of Environment,2019,232,111338入选入选ESI 高被引论文高被引论文28四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取29在在9:0012:00之间之间每每5min
24、建模一建模一次次。结果表结果表明明，当当不透水面占不透水面占比比达达到到20%时，流量是不透水面占时，流量是不透水面占比比4%时的两倍时的两倍 以上。这意味着在相同的排水系统以上。这意味着在相同的排水系统下下，有必要在较短的时间内排放更多的有必要在较短的时间内排放更多的水水，而且而且进进入流入流域域下游下游的的水量水量必必然会在然会在大大 小和小和持持续时续时间间上发上发生生变变化，化，且较早的且较早的 达到达到洪洪峰。峰。城城市化市化程程度越度越高高，曲线越，曲线越 陡，陡，变变化越化越大大，总，总径径流量流量越越大，出现大，出现 洪峰流量的时间越早洪峰流量的时间越早同一降雨事件下不同城市化
25、同一降雨事件下不同城市化程程度的度的连连续径续径流流过程过程四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取按按12类类 提提 取取 下下 垫垫 面面按按 3类类 提提 取取 下下 垫垫 面面武武 汉汉 市市 高高 分分 影影 像像按按 6类类 提提 取取 下下 垫垫 面面四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取年汛期的武年汛期的武19981998年汛期的武汉年汛期的武汉汉汉成果受邀请参加成果受邀请参加2020年联合国教科文组织智慧城市论坛特邀报年联合国教科文组织智慧城市论坛特邀报告告济南名泉豹突泉济南名泉豹突泉四
26、、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取重点渗漏带、直重点渗漏带、直 接补给区和间接接补给区和间接 补给区补给区正在牵头编写自然资源正在牵头编写自然资源部部行业行业标标准：准：城市丌透水面数据觃城市丌透水面数据觃范范丌透水面提取技术觃丌透水面提取技术觃程程 2019年立项，幵完成了草案年立项，幵完成了草案目前已召开目前已召开3次标准编写次标准编写会会议议 本月本月提交征求意见稿提交征求意见稿四、城市丌透水面信息四、城市丌透水面信息遥遥感提感提取取测绘遥感信息工程国家重点实 验室中科院夏军院士中科院夏军院士在在2018年海绵城市国际论坛特邀报告中评价年海绵城市国际论坛特邀报告中评价
27、:该成果是解决城市水安全预警不城市水问题监测的有效方该成果是解决城市水安全预警不城市水问题监测的有效方法法。上游城市群：高山、峡谷地带，城市上游城市群：高山、峡谷地带，城市 分散，洪水灾害地分散，洪水灾害地域域、时域差异明显、时域差异明显，山洪、滑坡泥石流频发山洪、滑坡泥石流频发中游城市群：平原河网中游城市群：平原河网区区，城市及人，城市及人 口密集；外江水位多高于城市地口密集；外江水位多高于城市地心心，排水困难；洪涝频繁、水污染严重排水困难；洪涝频繁、水污染严重下游城市群：河网稠下游城市群：河网稠密密，人口密集；，人口密集；常出现外洪常出现外洪、内涝或外洪内涝同时幵内涝或外洪内涝同时幵 发的
28、水灾；海水倒发的水灾；海水倒灌灌，水污染严重，水污染严重重大基金项目：长江中下游典型城市水问题成因不调控机理重大基金项目：长江中下游典型城市水问题成因不调控机理长江城市群水问题：长江城市群水问题：主要内容主要内容一、城市遥感信息智能一、城市遥感信息智能提提取取需求需求二、城市遥感信息智能二、城市遥感信息智能提提取关取关键键技术技术难难题题 三、城市房屋信息遥感三、城市房屋信息遥感提提取取四、城市丌透水面信息四、城市丌透水面信息遥遥感提取感提取 五、城五、城市绿地信息遥感市绿地信息遥感提提取取六、城市时敏目标信息六、城市时敏目标信息遥遥感提取感提取36（1）作为）作为“横琴新区低碳生态城市智能监
29、横琴新区低碳生态城市智能监测与管理平测与管理平台台”的重要组成部分的重要组成部分2 2基于卫星基于卫星-无人机无人机-地面多平台遥感，地面多平台遥感，通通过深度学习等技术手段，可获得横琴新过深度学习等技术手段，可获得横琴新 区区地上生物量本底数据，建立本底数据库地上生物量本底数据，建立本底数据库3 3可为开展基于遥感技术的时间序列低可为开展基于遥感技术的时间序列低碳生态城市监测和评估提供技术手段碳生态城市监测和评估提供技术手段城市绿地和生物量遥感信息提城市绿地和生物量遥感信息提取取五、城市绿地信息遥感五、城市绿地信息遥感提提取取地上生物量参数采集地上生物量参数采集遥遥 感感 估估 测测 方方
30、法法传传 统统 测测 量量 方方 法法建立样地实测数据与遥感特建立样地实测数据与遥感特征征变量变量 之间的关系模型之间的关系模型结合机载结合机载LiDAR数据与卫星遥感数数据与卫星遥感数据进行区域尺度的植被参数据进行区域尺度的植被参数估估测测五、城市绿地信五、城市绿地信息息遥感提遥感提取取38地上生物量参数采集地上生物量参数采集38（1）样区生物量地面）样区生物量地面参参数采集数采集需进行野外调查试验，采需进行野外调查试验，采集集生物生物量量真值估真值估算算所需所需的的植被结植被结构构参数参数信息信息39地上生物量参数采集地上生物量参数采集39（2）样区生物量地面）样区生物量地面参参数采集数采
31、集（植株植株树树高、胸径高、胸径1019条条记录记录）需需进行进行野野外调查试外调查试验，验，采集生物采集生物量真量真值估算所值估算所需的需的植被结构植被结构参数参数信息信息。LAI草 地 生 物 量 反 演40地上生物量参数采集地上生物量参数采集40403LiDAR点云数据无人机点云数据无人机航航飞飞及及LiDAR变量提取变量提取 主要飞行范围约主要飞行范围约20平方公里平方公里航线设计飞行区域粤港澳大湾区横琴新区粤港澳大湾区横琴新区2009年到年到2018年生态岛遥感监年生态岛遥感监测测五、城市绿地和耕地信五、城市绿地和耕地信息息遥感遥感提提取取年份年份绿地率绿地率绿地绿地面积面积（平方平
32、方公公里）里）200962.61%66.65201055.57%59.16201151.90%55.25201252.75%56.15201351.77%55.11201451.42%54.74201554.60%58.13201650.68%53.96201759.63%63.48201860.90%64.8370.00%60.00%50.00%40.00%30.00%20.00%10.00%0.00%2008201020122014201620182020横琴新横琴新区区2009-2018绿地率绿地率变变化化横琴新区横琴新区2009年到年到2018年生态岛遥感监年生态岛遥感监测测五、城市绿
33、地和耕地信五、城市绿地和耕地信息息遥感遥感提提取取年份森林碳储量（万吨）草地碳储量（万吨）横琴植被总碳储量（万吨）200918.8886.25625.144201018.4115.67124.082201118.245.97124.211201217.0634.05521.118201317.9192.97520.894201418.0131.93619.949201521.5983.71825.316201620.321.225221.5452201720.4426.19426.636201820.154.57324.723Ya Zhang,Zhenfeng Shao*.Assessing
34、of Urban Vegetation Biomass in Combination with LiDAR and High-resolution Remote Sensing Images，International Journal of Remote Sensing.2020.DOI：10.1080/01431161.2020.1820618分别采用分别采用最近邻、误差反向最近邻、误差反向传传播神播神经经网络网络（Back Propagation Neural Networks，BPNN）、支持向、支持向 量回归机、随机森林以及多量回归机、随机森林以及多元元逐逐步步线线性回性回归归模模型型
35、 方法方法，构建横琴新区植被地，构建横琴新区植被地上上生物生物量量反演反演模型模型44监控监控视频视频 实时监控视频数据 真实、高清、实时 地物内容丰富，但不带有地理坐标 现势性强，侧视成像区域区域范围范围 数字线划图 几何结构直观显示，但属性 隐藏 带有平面投影坐标，可直接 量测高分高分辨率辨率遥遥感正感正射射影像影像 正射投影 色彩纹理信息丰富、可定位、可量测 现势性相对弱 带有空间坐标五五、城市绿地信息遥感城市绿地信息遥感提提取取信息领域是在视频里面做标信息领域是在视频里面做标 记，没有坐标记，没有坐标的的概念，每个概念，每个 摄像头都需要大量的标记摄像头都需要大量的标记联合联合GIS数
36、据与实时监控视频的绿地动态监管数据与实时监控视频的绿地动态监管45（1）视频图像映射到卫星影像视频图像映射到卫星影像优点：监控视频图像含有优点：监控视频图像含有2D坐标坐标信信息息缺点：视频监控图像几何形态缺点：视频监控图像几何形态发发生变生变 化，与人类视觉直观感受有差异化，与人类视觉直观感受有差异五、城市绿地信息遥感五、城市绿地信息遥感提提取取46（2）数据映射到监控规）数据映射到监控规频频优点：嵌入监控视频图像，符 合人眼直观感受缺点：没有充分利用2D地理坐 标五、城市绿地信息遥感五、城市绿地信息遥感提提取取需求：把真实坐标嵌入到视频里47不同视角的视频图像视频图像间匹配结果不同视角图像
37、上的监控区域基于自动匹配算法的规频监控区域动态跟基于自动匹配算法的规频监控区域动态跟随随五、城市绿地信息遥感五、城市绿地信息遥感提提取取48五、城市绿地信息遥感五、城市绿地信息遥感提提取取五、城市绿地信息遥感五、城市绿地信息遥感提提取取Zhenfeng Shao,Congmin Li,Deren Li,Orhan Altan,Lei Zhang and Lin Ding.An Accurate Matching Method for Projecting Vector Data into Surveillance Video to Monitor and Protect Cultivated
38、Land.ISPRS Int.J.Geo-Inf.2020,9,448.doi:10.3390/ijgi9070448主要内容主要内容一、城市遥感信息智能一、城市遥感信息智能提提取取需求需求二、城市遥感信息智能二、城市遥感信息智能提提取关取关键键技术技术难难题题 三、城市房屋信息遥感三、城市房屋信息遥感提提取取四、城市丌透水面信息四、城市丌透水面信息遥遥感提取感提取 五、城五、城市绿地信市绿地信息遥感息遥感提提取取六、城市时敏目标信息六、城市时敏目标信息遥遥感提取感提取天空地一体化天空地一体化 城市视频大数据城市视频大数据 监控技术体系监控技术体系城市固定视频城市固定视频 数据采集系统数据采集
39、系统基于天基视频卫基于天基视频卫 星数据（吉林一星数据（吉林一 号、珠海一号）号、珠海一号）移动执法车视频移动执法车视频 数据采集系统数据采集系统基于无人机的航空基于无人机的航空 视频数据采集系统视频数据采集系统技术上实现了天空地多平台规频的城市时敏目标检测和跟踪技术上实现了天空地多平台规频的城市时敏目标检测和跟踪六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取52环岛电子围网船只大数据样本库构环岛电子围网船只大数据样本库构建建(借鉴人脸、车数据库借鉴人脸、车数据库）由于海面海洋环境复杂多变，为了保证数据集的丰富性，需要考虑的因素包括：由于海面海洋环境复杂多变，为了保证数据集的丰富性，
40、需要考虑的因素包括：1）涵盖尽可能多的）涵盖尽可能多的船只类型船只类型（intra-class variation）2）对船只的）对船只的丌同船体部位丌同船体部位进行标记（进行标记（hull-part variation）3）同一船只）同一船只丌丌同大小同大小/尺度尺度的数据的数据（scale variation）4同一区域同一区域丌同方向丌同方向/规角规角下的数据下的数据（viewpoint variation）5丌同光照丌同光照下的数据（下的数据（illumination variation）6丌同背景丌同背景下的数据下的数据（background clutter）7阴雨雾等阴雨雾等丌同环
41、境丌同环境下的数据下的数据（weather variation）：）：阴、雨、雾、霾天气阴、雨、雾、霾天气 8）水尺、房屋等其他物体的水尺、房屋等其他物体的遮挡遮挡（occlusion）六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取53丌同船体部位丌同船体部位环岛电子围网船只大数据样本库构环岛电子围网船只大数据样本库构建建大数据挖掘样本库构大数据挖掘样本库构建建54丌同尺度丌同尺度环岛电子围网船只大数据样本库构环岛电子围网船只大数据样本库构建建大数据挖掘样本库构大数据挖掘样本库构建建55丌同规角丌同规角环岛电子围网船只大数据样本库构建环岛电子围网船只大数据样本库构建大数据挖掘样本库构
42、大数据挖掘样本库构建建56丌同光照丌同光照环岛电子围网船只大数据样本库构环岛电子围网船只大数据样本库构建建大数据挖掘样本库构大数据挖掘样本库构建建57丌同背景丌同背景环岛电子围网船只大数据样本库构建环岛电子围网船只大数据样本库构建大数据挖掘样本库构大数据挖掘样本库构建建58丌同遮挡程度丌同遮挡程度环岛电子围网船只大数据样本库构环岛电子围网船只大数据样本库构建建大数据挖掘样本库构大数据挖掘样本库构建建构建了开源的目标标注样本库，幵实现了船只目标检测构建了开源的目标标注样本库，幵实现了船只目标检测Zhenfeng Shao,Wenjing Wu,Zhongyuan Wang,Wan Du,and
43、Chengyuan Li.SeaShips:A Large-Scale Precisely Annotated Dataset for Ship Detection.IEEE Transactions on Multimedia,2018六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取基于环岛规频大数据的船只检测算法优基于环岛规频大数据的船只检测算法优化化六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取（基于目标检测不跟踪领域最近进展文章：（基于目标检测不跟踪领域最近进展文章：You Only Look Once:Unified,Real-Time Object Detecti
44、on）华盛顿大学、华盛顿大学、Allen人工智能实验室和人工智能实验室和Facebook人工智能研究院合著文章：人工智能研究院合著文章：You Only Look Once:Unified,Real-Time Object Detection（2016IEEE Conference on Computer Vision and Pattern Recognition）该方法采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测不跟踪。同时，该方法检测速非常快，该方法采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测不跟踪。同时，该方法检测速非常快，基础版可以达到基础版可
45、以达到45帧帧/s的实时检测的实时检测；FastYOLO可以达到可以达到155帧帧/s6061YOLO速度很快，符合视频跟踪要求，准确率较高六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取存在问题：YOLO下的跟踪主要目的是检测，对跟踪的多目标不能区分目标，更类似快速检测过程如右图，针对每一帧，如右图，针对每一帧，传传回数回数据据为目为目标标类别类别和和对应对应的的scores，丌具丌具有有帧不帧不帧帧之间之间的的连连续续 性，丌能做多目标跟踪性，丌能做多目标跟踪问问题题62六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取针对城市不同的监测场景和对象，分别设计并实现了针针对城市
46、不同的监测场景和对象，分别设计并实现了针对对人、车、船和抛物的检测，人、车、船和抛物的检测，并提供跟踪技术解决方案并提供跟踪技术解决方案车辆检测车辆检测船只检测船只检测接力跟踪监测接力跟踪监测实现了城市丌同场景和实现了城市丌同场景和对对象的象的检检测不测不动动态监测态监测行人检测行人检测六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取Zhenfeng Shao,Jiajun Cai,and Zhongyuan Wang.Smart Monitoring Cameras Driven Intelligent Processing to Big Surveillance Video Dat
47、a.IEEE Transaction on Big Data.2018六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取65六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取基于全球航线，目前已标注样本图像基于全球航线，目前已标注样本图像100729个。（排除重复样本近个。（排除重复样本近5万个）万个）遍历了全球遍历了全球219个国家个国家/地区（全球共地区（全球共233个国家个国家/地区）的地区）的3421个港口和流域数个港口和流域数据据数据集从数据集从6类扩充到类扩充到13类类 船只：船只：矿砂船、散装货船、矿砂船、散装货船、集装箱船、普通货船、渔集装箱船、普通货船、渔 船、客
48、船、帄船、驳船、船、客船、帄船、驳船、战舰、油船、拖船、独木战舰、油船、拖船、独木 舟和快艇舟和快艇提出基于深度学习和规觉注意机制的动态多目标检测模型提出基于深度学习和规觉注意机制的动态多目标检测模型Zhenfeng Shao,Linggang Wang,Zhongyuan Wang*,Wan Du,and Wenjing Wu.Saliency-Aware Convolution Neural Networkfor Ship Detection in Surveillance Video.IEEE Transactions on Circuits and Systems for Video
49、Technology,2019.六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取提出基于卷积神经元网络的场景融合模型，增强小目标检测提出基于卷积神经元网络的场景融合模型，增强小目标检测Zhenfeng Shao and Jiajun Cai.Remote Sensing Image Fusion With Deep Convolutional Neural Network.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2018六、城市时敏目标信息遥感提六、城市时敏目标信息
50、遥感提取取2017年年12月月19日日，学生获第一届人工智能和大数据国学生获第一届人工智能和大数据国际研讨会并获得最佳论文奖，（际研讨会并获得最佳论文奖，（John Trinder教授颁奖）教授颁奖）成果成果2017年获得国际学术会议最佳论文奖年获得国际学术会议最佳论文奖六、城市时敏目标信息遥感提六、城市时敏目标信息遥感提取取2019年中国地理信息科技 进步一等奖2019年广东省科技进步一等奖采用公开数据集采用公开数据集VisDrone1和和UAVDT2，数数据集据集中中影像影像来来自多自多角角度、度、多多高度高度，大量大量无无人机人机影影像背像背景景复杂复杂，常用常用目目标检标检测测 方法难
