1、global solutionsinnovationcollaboration实践报告实践报告人体识别人体识别智能智能监控监控系统系统人体识别智能监控系统 提纲提纲项目简介项目简介发展前景发展前景心得体会心得体会困难和挑战困难和挑战完成情况及成果完成情况及成果系统模块分解系统模块分解人体识别智能监控系统 项项 目目 简简 介介 智能视频监控是在当今计算机视觉领域中较为热门的智能视频监控是在当今计算机视觉领域中较为热门的一个主题一个主题.它可广泛应用于安全敏感的单位，如机场、博它可广泛应用于安全敏感的单位，如机场、博物馆和各种军政单位。物馆和各种军政单位。该项目实现了一套具有人体识别功能的智能监
2、控系统，该项目实现了一套具有人体识别功能的智能监控系统，它应该具有以下主要功能：它应该具有以下主要功能：基本的视频设置、监控功能基本的视频设置、监控功能 目标自动跟踪和识别功能目标自动跟踪和识别功能 自定义报警阈值和条件自定义报警阈值和条件 智能存储智能存储人体识别智能监控系统 系统实现的主要功能系统实现的主要功能 在软件提供的用户界面里，能够实时解码在软件提供的用户界面里，能够实时解码12路路MPEG-1图像并显示，能够调节图像亮度、对比度和图像并显示，能够调节图像亮度、对比度和色度。能够进行实时视频压缩存储，能够进行音频状色度。能够进行实时视频压缩存储，能够进行音频状态设置。态设置。能够进
3、行运动检测并报警，并可以设定运动报警的能够进行运动检测并报警，并可以设定运动报警的阈值阈值 能够在静止背景或者光照度稳定、充足的条件下进能够在静止背景或者光照度稳定、充足的条件下进行运动物体的坐标跟踪和人体识别，即可以区分人体行运动物体的坐标跟踪和人体识别，即可以区分人体和其他运动物体。和其他运动物体。实现了智能视频摘要存储。实现了智能视频摘要存储。人体识别智能监控系统 提纲提纲项目简介项目简介发展前景发展前景心得体会心得体会困难和挑战困难和挑战完成情况及成果完成情况及成果系统模块分解系统模块分解人体识别智能监控系统 项目成果项目成果 可执行程序可执行程序HRMS.exeHRMS.exe 开发
4、了两个版本，开发了两个版本，HRMS V1.0HRMS V1.0和和HRMS V1.01.HRMS V1.01.其中其中HRMS HRMS V1.01V1.01增加了语音报警和日志功能增加了语音报警和日志功能 发表论文两篇发表论文两篇一种基于扫描线的边缘特征检测算法一种基于扫描线的边缘特征检测算法 一种基于一种基于HISHIS模型的彩色图像背景减除快速算法模型的彩色图像背景减除快速算法 为为国腾通信国腾通信(集团集团)有限公司有限公司设计了设计了远程视频智能监远程视频智能监控系统设计方案书控系统设计方案书 和和 远程视频监控系统可行性报告远程视频监控系统可行性报告 为为863863软件专家小组
5、做了项目专题报告，也作为本次创软件专家小组做了项目专题报告，也作为本次创新工程优秀项目之一参与了企业评选、合作活动新工程优秀项目之一参与了企业评选、合作活动人体识别智能监控系统 提纲提纲项目简介项目简介 发展前景发展前景心得体会心得体会困难和挑战困难和挑战完成情况及成果完成情况及成果系统模块分解系统模块分解人体识别智能监控系统 系统主要分为四个功能模块系统主要分为四个功能模块:基本视频监视模基本视频监视模块、图象处理模块、运动检测识别模块、存储回块、图象处理模块、运动检测识别模块、存储回放模块。系统总体框图如下所示：放模块。系统总体框图如下所示：控制器控制器视频信号视频信号处理处理显示器显示器
6、运动检测识别运动检测识别阈值设定阈值设定智能存储智能存储存储控制存储控制报警指示报警指示跟踪转台跟踪转台摄像头摄像头环形缓冲区环形缓冲区人体识别智能监控系统 基本视频监视模块基本视频监视模块 该模块实现基本的视频监控功能，即产生智该模块实现基本的视频监控功能，即产生智能识别所需要的视频流。它包含以下几个部分：能识别所需要的视频流。它包含以下几个部分：视频属性设置视频属性设置 监控区域设定监控区域设定 视频显示选择视频显示选择 音频状态设置音频状态设置人体识别智能监控系统 运动检测识别模块运动检测识别模块 运动检测识别模块包含三个渐进的过程运动检测识别模块包含三个渐进的过程：运：运动检测、运动物
7、体跟踪、运动物体识别动检测、运动物体跟踪、运动物体识别（还有活（还有活动行为描述动行为描述,但是本项目尚未涉及）但是本项目尚未涉及）。运动检测运动检测 它负责检测是否有运动发生。这里的运动指它负责检测是否有运动发生。这里的运动指目标出现或移动。可有两种实现方法。目标出现或移动。可有两种实现方法。q基于视频帧图象的变化分析基于视频帧图象的变化分析q 基于压缩码流的分析基于压缩码流的分析人体识别智能监控系统 运动物体跟踪运动物体跟踪 在判断了物体运动方向后在判断了物体运动方向后,它发信号给云台控它发信号给云台控制器，自动调整摄像头制器，自动调整摄像头,跟踪运动目标跟踪运动目标.目前，我目前，我们考
8、虑的主要实现方法有两种：们考虑的主要实现方法有两种：q 对比度跟踪对比度跟踪q 图象相关跟踪即图象匹配图象相关跟踪即图象匹配人体识别智能监控系统 运动物体识别运动物体识别 综合以上信息，系统将能识别出人和其他物综合以上信息，系统将能识别出人和其他物体，并根据跟踪判断的结果，触发报警装置。同体，并根据跟踪判断的结果，触发报警装置。同时，控制存储模块进行摘要存储和写入日志。人时，控制存储模块进行摘要存储和写入日志。人体识别的常用方法有：体识别的常用方法有：q 影子模式的投影直方图技术影子模式的投影直方图技术q 基于时空信息的累加和技术基于时空信息的累加和技术q 基于边缘检测的几何模型技术基于边缘检
9、测的几何模型技术 人体识别智能监控系统 存储回放模块存储回放模块 存储回放模块利用了视频摘要存储的技术存储回放模块利用了视频摘要存储的技术.其基本其基本思想是通过运动检测来控制视频数据的存储。运动思想是通过运动检测来控制视频数据的存储。运动检测识别算法可以控制存储动作，从而大大提供了检测识别算法可以控制存储动作，从而大大提供了存盘效率，有效地节省了存储空间存盘效率，有效地节省了存储空间,也使得监控员在也使得监控员在审核和浏览以往的录像资料时更加方便、快捷。模审核和浏览以往的录像资料时更加方便、快捷。模块流程图如下：块流程图如下：人体识别智能监控系统 是是设置检测区域设置检测区域获取压缩视频流获
10、取压缩视频流存入缓冲区存入缓冲区运动条件满足运动条件满足存盘存盘 运动结束运动结束检测控制信号检测控制信号否否否否是是人体识别智能监控系统 图象处理模块图象处理模块 这是一个独立的模块。它完成图象处理的各种算法，这是一个独立的模块。它完成图象处理的各种算法，当然可以根据系统实际需求进行增减。并在此基础上，当然可以根据系统实际需求进行增减。并在此基础上，应用到本系统中来，对从视频流中捕获的位图进行处理。应用到本系统中来，对从视频流中捕获的位图进行处理。具体地，我们的系统中完成了以下图象处理算法：具体地，我们的系统中完成了以下图象处理算法：高斯滤波去噪高斯滤波去噪 拉普拉斯算子的图象增强拉普拉斯算
11、子的图象增强 图象分割和边缘轮廓线提取图象分割和边缘轮廓线提取 灰度化和灰度化和32位色转位色转256位色位色 平均时间图象背景减除算法平均时间图象背景减除算法 肤色模型建模和检测算法肤色模型建模和检测算法 基于基于7*7窗口的全局搜索图象匹配算法窗口的全局搜索图象匹配算法系统初始化，各参数调节捕获稳定后的背景位图并存储判断监控区域是否有运动启动智能跟踪识别线程启动视频压缩存储捕获运动位图放入共享环形缓冲区判断运动是否消除或恢复静止背景取得运动坐标进行物体跟踪通知子线程终止检测写系统日志，恢复系统状态否是缓冲区指针P加1等 待 缓冲 区 有效取回缓冲区中的位图，并使P1加一计算周长2/面积能否
12、成功进行边界跟踪发出人体入侵预警是否属于正常人体范围发出人体入侵报警并将人体脸部信息写入日志能否检测到人体脸部及肤色特征发出异常报警初始化子线程共享缓冲区指针P1P1P？否否否是是是否是系统总体处理流程系统总体处理流程人体识别智能监控系统 提纲提纲项目简介项目简介发展前景发展前景心得体会心得体会困难和挑战困难和挑战完成情况及成果完成情况及成果系统模块分解系统模块分解人体识别智能监控系统 解决的关键技术问题解决的关键技术问题背景减除背景减除(运动目标提取运动目标提取)难点：难点：动态场景的变化复杂，光照变化、背景混乱运动动态场景的变化复杂，光照变化、背景混乱运动的干扰对算法影响极大的干扰对算法影
13、响极大解决：时间图像统计建模和边缘检测相结合的算法。解决：时间图像统计建模和边缘检测相结合的算法。时间图像统计建模算法时间图像统计建模算法 利用最小、最大强度值和最利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且大时间差分值为场景中每个像素进行统计建模，并且进行周期性地背景更新；用该模型可以区分出背景点进行周期性地背景更新；用该模型可以区分出背景点 边缘检测算法用于定位运动目标。边缘检测算法用于定位运动目标。彩色图像的边缘检测算法！参见论文彩色图像的边缘检测算法！参见论文一种基于一种基于HISHIS模型的彩色图像背景减除快速算法模型的彩色图像背景减除快速算法人体识别智能监
14、控系统 解决的关键技术问题解决的关键技术问题(续续)采用二次曲线特征算法解决了物体边缘特征识别问题采用二次曲线特征算法解决了物体边缘特征识别问题参见论文参见论文一种基于扫描线的边缘特征检测算法一种基于扫描线的边缘特征检测算法 在对特定人种进行肤色建摸的基础上，解决了人体脸在对特定人种进行肤色建摸的基础上，解决了人体脸部特征判定和提取问题，为以后的面部识别打下了基础部特征判定和提取问题，为以后的面部识别打下了基础原理：采用原理：采用YUVYUV空间的相位角空间的相位角 和和YIQYIQ空间的空间的I I分量作分量作为特征，能够联合确定人脸肤色的色度信息分布范围，为特征，能够联合确定人脸肤色的色度
15、信息分布范围，由此建立人脸肤色模型。经过多次实践证明，如果由此建立人脸肤色模型。经过多次实践证明，如果p p点点同时满足条件：同时满足条件：1051050 0=150=1500 0和和30=I=10030=I=100，则则p p是肤色点是肤色点人体识别智能监控系统 解决的关键技术问题解决的关键技术问题(续续)解决了多线程协同工作和实时处理的问题解决了多线程协同工作和实时处理的问题 解决了位图字节流和解决了位图字节流和MFC中的位图类中的位图类(CDib)的的相互转换问题相互转换问题人体识别智能监控系统 问题及原因问题及原因 运动物体跟踪只能在摄像头所拍摄的区域内进行，运动物体跟踪只能在摄像头所
16、拍摄的区域内进行，而不能按照预先设定的那样进行摄像头实时转动跟踪。而不能按照预先设定的那样进行摄像头实时转动跟踪。原因：原因：由于项目资金的短缺，使得我们不可能购买由于项目资金的短缺，使得我们不可能购买一整套完整的监控设备。项目开发所需的监控设备是一整套完整的监控设备。项目开发所需的监控设备是从电子科技大学英特尔互联网交换架构实验室借得，从电子科技大学英特尔互联网交换架构实验室借得，缺乏必要的硬件说明书和开发指南，这造成了我们开缺乏必要的硬件说明书和开发指南，这造成了我们开发小组不能控制云台的转动，从而不能对运动物体进发小组不能控制云台的转动，从而不能对运动物体进行摄像头跟踪。行摄像头跟踪。人
17、体识别智能监控系统 问题及原因（续）问题及原因（续）在人体识别上，由于时间和开发经费的限制，使得我在人体识别上，由于时间和开发经费的限制，使得我们没能很好地解决在各种姿态下的人体识别问题。只能们没能很好地解决在各种姿态下的人体识别问题。只能识别正常步态和行为的运动人体。事实上，国内外的同识别正常步态和行为的运动人体。事实上，国内外的同行都没能很完美地解决这一问题，对人体识别的研究仍行都没能很完美地解决这一问题，对人体识别的研究仍处于不断发展和进步中。所以，我们项目组也愿意和希处于不断发展和进步中。所以，我们项目组也愿意和希望以后能继续有机会从事这一领域的深入研究。望以后能继续有机会从事这一领域
18、的深入研究。人体识别智能监控系统 问题及原因（续）问题及原因（续）子线程如何判断中止条件？来自主线程的信号？或子线程如何判断中止条件？来自主线程的信号？或者本线程中的识别结果？者本线程中的识别结果？速度和性能上的考虑速度和性能上的考虑 在实践中，我们发现由子线程捕获位图的方法不能满在实践中，我们发现由子线程捕获位图的方法不能满足实时的要求，故改为由主线程实时捕获位图，存入缓足实时的要求，故改为由主线程实时捕获位图，存入缓冲区。主线程和子线程构成一个消费者和生产者问题。冲区。主线程和子线程构成一个消费者和生产者问题。经历了一次人体入侵报警后，如果环境状态因此发生经历了一次人体入侵报警后，如果环境
19、状态因此发生了改变，如何让系统回归初始状态？了改变，如何让系统回归初始状态？人体识别智能监控系统 提纲提纲项目简介项目简介发展前景发展前景心得体会心得体会困难和挑战困难和挑战完成情况及成果完成情况及成果系统模块分解系统模块分解人体识别智能监控系统 科研价值科研价值 人运动的视觉分析是近年来计算机视觉领域备受人运动的视觉分析是近年来计算机视觉领域备受关注的前沿方向，属于图像分析和理解的范畴。从技关注的前沿方向，属于图像分析和理解的范畴。从技术角度而言，人的运动分析的研究内容相当丰富，主术角度而言，人的运动分析的研究内容相当丰富，主要涉及模式识别、图像处理、计算机视觉、人工智能要涉及模式识别、图像
20、处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动的快速分割、人等学科知识；同时，动态场景中运动的快速分割、人体的非刚性运动、人体自遮挡和目标之间互遮挡的处体的非刚性运动、人体自遮挡和目标之间互遮挡的处理也为人的运动分析研究带来了一定的挑战理也为人的运动分析研究带来了一定的挑战。人体识别智能监控系统 智能监控（智能监控（Smart Surveillance）智能监控系统的需求主要来自对安全要去敏感的场智能监控系统的需求主要来自对安全要去敏感的场合，如银行、商店、停车场等。也可用在访问控制场合，如银行、商店、停车场等。也可用在访问控制场合。在自动售货机、合。在自动售货机、ATM机、交通管
21、理、公共场所行机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计等方面也人的拥挤状态分析及商店中消费者流量统计等方面也有着广泛应用有着广泛应用 感知接口（感知接口（Perceptual Interface）在高级用户接口应用领域中，我们希望未来的机器在高级用户接口应用领域中，我们希望未来的机器象人一样与我们更容易和便捷地交流。并可结合人的象人一样与我们更容易和便捷地交流。并可结合人的面部表情、身体姿态和手势等与人进行相应地交流面部表情、身体姿态和手势等与人进行相应地交流广泛的应用广泛的应用人体识别智能监控系统 广泛的应用（续）广泛的应用（续）运动分析（运动分析（Motion Ana
22、lysis）分割图象中地人体部分并在图像序列中跟踪分析感分割图象中地人体部分并在图像序列中跟踪分析感兴趣地关节运动，可以应用在体育运动、舞蹈训练中。兴趣地关节运动，可以应用在体育运动、舞蹈训练中。还可用在医学步态分析中还可用在医学步态分析中 虚拟现实（虚拟现实（Virtual Reality）目前许多电脑游戏中人的形体、运动和行为交互的目前许多电脑游戏中人的形体、运动和行为交互的设计逼真性实际得益于物理空间中人的运动分析，包设计逼真性实际得益于物理空间中人的运动分析，包括人体模型和关节运动机制的获取及姿势的恢复等括人体模型和关节运动机制的获取及姿势的恢复等人体识别智能监控系统 学术价值学术价值
23、 1997年美国国防高级研究项目署设立以年美国国防高级研究项目署设立以卡内基梅隆大卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景进行监控的主要研究用于战场及普通民用场景进行监控的自动视频理解技术自动视频理解技术 英国的雷丁大学已开展了对车辆和行人的跟踪及其交英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的相关研究互作用识别的相关研究 国际一些权威期刊如国际一些权威期刊如IJCVIJCV、CVIUCVIU、PAMIPAMI、IVCIVC等将人的等将人的运动分析研究作为主题内容之一运动分
24、析研究作为主题内容之一人体识别智能监控系统 我们的目标和方向我们的目标和方向q适应各种恶劣的环境。目前系统只支持室内背景和适应各种恶劣的环境。目前系统只支持室内背景和稳定的室外背景。下一步的目标可以让系统在各种稳定的室外背景。下一步的目标可以让系统在各种环境，特别是大面积的噪声污染下也可以正常使用环境，特别是大面积的噪声污染下也可以正常使用q实现多人的跟踪，实现多人的跟踪，使其能够识别各种姿势下的人体，使其能够识别各种姿势下的人体，包括多个重叠和交叉人体包括多个重叠和交叉人体q在人体识别的基础上，探讨基于摄像机的面相辨别在人体识别的基础上，探讨基于摄像机的面相辨别及手势或步态等生物特征识别技术
25、及手势或步态等生物特征识别技术q研究三维跟踪和识别。对物体进行研究三维跟踪和识别。对物体进行3D重建，使其能重建，使其能够精确测量运动物体的位置和大小够精确测量运动物体的位置和大小人体识别智能监控系统 提纲提纲项目简介项目简介发展前景发展前景心得体会心得体会困难和挑战困难和挑战完成情况及成果完成情况及成果系统模块分解系统模块分解人体识别智能监控系统 心得体会心得体会 工程和研究的区别。项目开发人员的完美主义工程和研究的区别。项目开发人员的完美主义情结情结 一个设计良好的程序系统架构对软件系统影响一个设计良好的程序系统架构对软件系统影响巨大巨大 做研究不要一味迷信大师，要有自己的思想，做研究不要一味迷信大师，要有自己的思想，相信实践是检验真理的唯一标准相信实践是检验真理的唯一标准 组建和管理一个团队的经验组建和管理一个团队的经验人体识别智能监控系统 谢谢 谢！谢！吴吴 瑜瑜 Email: 刘乃琦刘乃琦 Email: 郭建东郭建东 Email: 电子科技大学计算机学院电子科技大学计算机学院Intel-UESTC IXA 实验室实验室
