1、智能视频监控技术与应用 报告人：报告人：郑世宝郑世宝 教授教授 上海交通大学上海交通大学 图像通信与信息处理研究所图像通信与信息处理研究所 报告内容传统频监控系统及其存在的问题传统频监控系统及其存在的问题1智能视频监控系统及其优势智能视频监控系统及其优势2智能视频监控系统的潜在应用智能视频监控系统的潜在应用3典型的智能视频监控系统典型的智能视频监控系统42023-5-16 上海交通大学上海交通大学 图像通信研究所图像通信研究所视频监控系统的发展2023-5-16 上海交通大学上海交通大学 图像通信研究所图像通信研究所视频监控市场构成的发展2023-5-16 上海交通大学上海交通大学 图像通信研
2、究所图像通信研究所实时监控视频流：实时监控视频流：为重大事件为重大事件现场提供远程实时监视和控制现场提供远程实时监视和控制历史视频查看：历史视频查看：为事后取证提为事后取证提供重要的录像资料依据供重要的录像资料依据视频监控系统功能的发展2023-5-16 上海交通大学上海交通大学 图像通信研究所图像通信研究所 传统视频监控当代视频监控实时监控视频流实时监控视频流：为重大事件为重大事件现场提供远程实时监视和控制现场提供远程实时监视和控制历史视频回放流历史视频回放流：为事后取证为事后取证提供重要的录像资料依据提供重要的录像资料依据控制流控制流：前端摄像头控制，冲前端摄像头控制，冲突判定机制突判定机
3、制管理、维护流管理、维护流：统一管理，版统一管理，版本和配置自动下发，批量配置本和配置自动下发，批量配置GISGIS应用数据流，图像分析，移应用数据流，图像分析，移动侦测，联动控制动侦测，联动控制：系统融合系统融合，智能融合，智能融合资源浪费资源浪费：海量无用视频数据的传输和存储，海量无用视频数据的传输和存储，造成带宽及存储资源的严重浪费造成带宽及存储资源的严重浪费传统的视频监控存在的问题效率低下效率低下：“以人为主以人为主”的目释监控系统无法的目释监控系统无法满足监控探头和满足监控探头和DVRDVR录像数据增长的需求录像数据增长的需求信息污染信息污染:大量的无用视频信息，淹没了少量的大量的无
4、用视频信息，淹没了少量的有用信息，使得有用信息的获取变得困难有用信息，使得有用信息的获取变得困难环境适应性差环境适应性差:图像质量容易受到光照变化、图像质量容易受到光照变化、云雾天气等环境影响，影响目标信息的辨别。云雾天气等环境影响，影响目标信息的辨别。2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所这么多摄像头，哪有这这么多摄像头，哪有这 么多监视器给你放？先么多监视器给你放？先存存 着吧，出问题查录着吧，出问题查录像就行！像就行！这么海量的硬盘录像这么海量的硬盘录像，哪有这么多人替，哪有这么多人
5、替我盯着查找？何时才我盯着查找？何时才能找到啊？能找到啊？大规模城市监控的问题2023-5-16安防行业在视频领域缺乏统一标准安防行业在视频领域缺乏统一标准行业标准的制定跟不上技术的发展行业标准的制定跟不上技术的发展监控系统的建设没有统一的规范监控系统的建设没有统一的规范已建系统的技术实现方式多种多样已建系统的技术实现方式多种多样系统的管理者分布在各行各业系统的管理者分布在各行各业城市监控的区域范围太广城市监控的区域范围太广监控的科学布点与布局的规划监控的科学布点与布局的规划系统与管理的角度 大规模城市监控的问题2023-5-16人为的观看屏幕上的图像捕捉异常人为的观看屏幕上的图像捕捉异常人为
6、到事件现场从人为到事件现场从DVR中回放取证中回放取证监控点的工程安装和布点不合理监控点的工程安装和布点不合理回放的图像质量不高（尤其夜晚或回放的图像质量不高（尤其夜晚或恶劣天气）恶劣天气）无条件存储及缺乏基于内容的检索无条件存储及缺乏基于内容的检索缺乏对事件的关联检测及跟踪处理缺乏对事件的关联检测及跟踪处理技术与应用的角度视频监控市场的发展2023-5-16 上海交通大学上海交通大学 图像通信研究所图像通信研究所01000200030004000500060007000800090002005 2006 2007 2008 2009 2010 2011单单位位（百百万万美美元元）2005-2
7、011年全球视频监控设备销售收入发展预年全球视频监控设备销售收入发展预测分析测分析CCTV CamerasIP Cammeras01020304050607080901002006200720082009201020112006-2011年我国网络视频监控业务市场规模发展与预测年我国网络视频监控业务市场规模发展与预测单位（亿元）报告内容传统视频监控系统及其存在的问题传统视频监控系统及其存在的问题1智能视频监控系统及其优势智能视频监控系统及其优势2智能视频监控系统的潜在应用智能视频监控系统的潜在应用3典型的智能视频监控系统典型的智能视频监控系统42023-5-16上海交通大学上海交通大学 图像通
8、信研究所图像通信研究所智能视频监控的主要技术2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所计算机视觉技术是计算机视觉技术是人工智能研究的分支之一，它能研究的分支之一，它能够在图像及图像描述之间够在图像及图像描述之间建立映射关系，从而使计建立映射关系，从而使计算能够通过数字图像处理算能够通过数字图像处理和分析来和分析来理解视频画面中的内容。智能视频分析主要主要指计算机：指计算机：“自动的分析和抽取视频源中的关键信息”。如果把摄。如果把摄像机看作人的眼睛，像机看作人的眼睛，而智能视频系统或而智能视频系统或设备则可以看作人设备则可以看作人的大脑的大脑IPIP网络视频技术网络
9、视频技术智能视频监控的概念2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所智能视频分析计算机视觉网络视频技术智能视频监控智能视频监控：借助计算机对视：借助计算机对视频画面中的海量数据进行高速分频画面中的海量数据进行高速分析析，过滤掉用户不关心的信息，仅仅为监控者提供有用的仅仅为监控者提供有用的关键信息。为什么监控系统需要智能技术？2023-5-16 智能监控技术的发展智能技术低级智能-看清楚图像区域分割与拼接目标分类及跟踪非法入侵、滞留和遗失检测人脸、车牌的自动纪录、比对、识别人群、车辆等计数及流量控制目前图像监控的应用-看得到中级智能-看明白高级智能-自动化图像去噪、
10、去雾、防抖等预处理图像增强还原高清晰度图像处理及显示行为的判断和识别自动生命周期衰竭规律的视频存储和检索 结合实战处置和预案调用多信息融合智能视频监控的优势对所监控的画面进行不间断分析，实现对异常对所监控的画面进行不间断分析，实现对异常事件和疑似威胁的主动式编码、报警和保存事件和疑似威胁的主动式编码、报警和保存 提示值班人员关注相关监控画面提前做好准备，提示值班人员关注相关监控画面提前做好准备，防止在混乱中由于人为因素而造成的延误防止在混乱中由于人为因素而造成的延误 有效捕捉异常报警事件或及时发现威胁，降低有效捕捉异常报警事件或及时发现威胁，降低误报和漏报现象误报和漏报现象 将视频资源应用到非
11、安全领域，提高服务水平将视频资源应用到非安全领域，提高服务水平和营业额和营业额 报告内容传统视频监控系统及其存在的问题传统视频监控系统及其存在的问题1智能视频监控系统及其优势智能视频监控系统及其优势2智能视频监控系统的潜在应用智能视频监控系统的潜在应用3典型的智能视频监控系统典型的智能视频监控系统42023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所智能监控系统的潜在应用基于内容的图基于内容的图 像检索系统像检索系统智能视频前端系统智能视频前端系统三维全景多三维全景多视监控系统视监控系统其它其它行为识别智行为识别智能监控系统能监控系统多传感器融合多传感器融合智能监控系统智能
12、监控系统智能监控2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所安全类相关视频检测突然入侵检测：可以感知设定区域内突然出现和入侵的物体并及时报警。比如在戒备森严的军事重地或银行博物馆等重要场所出现可疑人物等。适用地区：军事重地，军械库，监狱银行，库房重地，博物馆，珠宝店等国家领导人，重要人物住所涉抢防爆和剧毒化学等 重点单位水、电、气、核电站，油田 等重点部位；2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所安全类相关视频检测物品遗失检测：当设定的监控区域内目标物被移走，替代或恶意遮挡时发出报警。用来保护财产安全。适用地区：银行，博物馆，珠宝店等
13、 放置贵重物品的场所财务室，展览馆停车场商场，小区等2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所安全类相关视频检测遗留物体检测：车辆或其他目标物停靠或滞留超过一定的时间，对被蓄意放在设定区域的物品进行探测并报警。比如有人遗留包裹或爆炸物等。适用地区：机场，地铁等交通要塞 的反恐行为侦测 银行，博物馆，珠宝店等复杂环境的公共场合隧道，高速公路违章停车 的检测学校，幼儿园等2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所安全类相关视频检测群体性异常事件检测：对区域内的人员异常聚集,打架等行为进行判别,并给出及时的报警 适用地区：广场,体育馆,商店
14、等公共场所机场，高速路，火车站，港口，海关,地铁站居民小区,学校2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所非安全相关类监控人数统计系统：人数统计系统是一种先进的监控人群流动的智能安防系统，能够提供准确的人群流动量、人群流动方向的统计及分析数据。用户可指定监测一个或多个出入口，也可以指定统计单一方向或双向的人群流动。适用地区：超市、连锁店、百货大楼、大型 商店酒店、餐馆、娱乐场所学校、图书馆、运动场旅游景点、城市广场、公园公交和客运站、火车站及机场2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所非安全相关类监控交通流量统计控制系统：基于车辆检
15、测技术和视频车辆跟踪技术，对交通状况进行估计和控制。应用范围：比对交通路段的车流量和道路 占用率和车辆的平均速率对交通路段的拥堵情况作出预 测，有效缓解交通堵塞实时监控路段车辆状况，对于 车辆逆行违章停车等给出警报 信息 非安全相关类监控智能电子警察系统：利用车辆拍照识别技术和车辆跟踪技术，全方位监测激动车辆的系统。应用范围：主要用于超速抓拍，黑 名单稽查，机动车违章，车辆肇事以及机动车被 盗等事件的侦测和报警2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所报告内容2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所传统视频监控系统及其存在的问题传统
16、视频监控系统及其存在的问题1智能视频监控系统及其优势智能视频监控系统及其优势2智能视频监控系统的潜在应用智能视频监控系统的潜在应用3典型的智能视频监控系统典型的智能视频监控系统4 智能视频前端系统_主动视觉系统 u主动感知摄像系统主动感知摄像系统 主动甄别主动甄别摄像机视图中的对象。在诸如有人闯入、摄像机视图中的对象。在诸如有人闯入、盗盗窃、提包遗失或者未经许可在限制区域闲逛等窃、提包遗失或者未经许可在限制区域闲逛等违反自定义违反自定义规则规则的情况发生时，发出的情况发生时，发出告警信息告警信息。能依据报警信号能依据报警信号自动控制编码器自动控制编码器发送高分辨率视频，而发送高分辨率视频，而在
17、正常状态下发出在正常状态下发出“无关紧要无关紧要”的视频流。的视频流。可以节省可以节省9090 的系统带宽、的系统带宽、3030的存储容量的存储容量，并保持，并保持覆盖范围内的高监控质量。覆盖范围内的高监控质量。智能视频前端系统_主动视觉系统 u双目变色龙主动摄像系统双目变色龙主动摄像系统 以以双摄影机双摄影机设计，配合全自动设计，配合全自动高速追踪移动物体高速追踪移动物体的功能，的功能，不但能取得广角画面的影像，而且能有效针对路上所有移不但能取得广角画面的影像，而且能有效针对路上所有移动物体，包括车辆、摩托车、自行车、行人动物体，包括车辆、摩托车、自行车、行人等，取得等，取得清清晰晰且能且能
18、有效识别有效识别的画面。的画面。变色龙摄像机的有效变色龙摄像机的有效监控识别范围监控识别范围为一般传统摄像机的为一般传统摄像机的2020倍倍，以更经济的方式监控广角区域的同时获得最佳的影，以更经济的方式监控广角区域的同时获得最佳的影像品质。像品质。施工、保养、维护简单方便，耐用性极佳。施工、保养、维护简单方便，耐用性极佳。三维全景多视监控系统 u将将多个摄像头多个摄像头所摄取的监控图像嵌入三维模型，对于监控所摄取的监控图像嵌入三维模型，对于监控区内的重点目标进行区内的重点目标进行立体监控、报警和跟踪立体监控、报警和跟踪。u通过提高画面的覆盖率、识别盲点让用户能够观看任意地通过提高画面的覆盖率、
19、识别盲点让用户能够观看任意地点的完整的、连贯的图像，而且可以及时地无缝隙地移动点的完整的、连贯的图像，而且可以及时地无缝隙地移动视野在监控区域内进行视野在监控区域内进行“环绕巡航监视环绕巡航监视”。视频警戒系统 通过移动目标监测、周界/区域阻截和嫌疑目标监测，及时发现跨越跨越用户预设的、无形警戒边界警戒边界的目标，完成对可疑目标的智能报警和自动记录。高清晰度高空瞭望系统 基于视频监控、GIS和视频智能检测技术采用一体化超远望低照度高清晰度可编程高速云台摄像机在制高点设立监测嘹望点实现大范围的图像精确监控大范围的图像精确监控，既兼顾大场面又实现具体目标特写拍摄的视频监控功能。视频图像甄别处理系统
20、 u利用视频图像甄别处理技术将利用视频图像甄别处理技术将摇曳不清的摇曳不清的、低低质量质量的原始视频信号转换成的原始视频信号转换成稳定清晰稳定清晰及更加及更加完完整整的图像信息，以适应对侦察目标的确认及可的图像信息，以适应对侦察目标的确认及可疑点的证据提取。疑点的证据提取。u系统的主要功能包括：系统的主要功能包括：图像稳定图像稳定：将晃动、摇曳不定的视频图像实：将晃动、摇曳不定的视频图像实时转换成稳定的图像时转换成稳定的图像 实时全景图像拼接、超分辨率合成实时全景图像拼接、超分辨率合成：将视频：将视频图像帧序列逐个拼接形成画面展开的全景图图像帧序列逐个拼接形成画面展开的全景图 视频融合视频融合
21、：红外图像与可见光图像从不同的：红外图像与可见光图像从不同的角度表现物体互为补充角度表现物体互为补充 视频跟踪视频跟踪：使用运动分析和跟踪技术对场景：使用运动分析和跟踪技术对场景中的真实运动和人为运动进行模拟和恢复中的真实运动和人为运动进行模拟和恢复内容总结u智能视频监控是智能视频监控是数字化数字化、网络化网络化和和智能化智能化监控的监控的高级阶段，并逐渐成为监控行业发展的目标。高级阶段，并逐渐成为监控行业发展的目标。u智能监控技术还需要成熟，应予以智能监控技术还需要成熟，应予以大力的支持大力的支持。u智能监控技术和产品的开发和应用，需要智能监控技术和产品的开发和应用，需要密切联密切联系实际系实际，根据具体应用业务要求的设计，是可行，根据具体应用业务要求的设计，是可行的。的。u国内与国外尚存较大国内与国外尚存较大差距差距，需要，需要加速提高加速提高。2023-5-16上海交通大学上海交通大学 图像通信研究所图像通信研究所
