1、 优质教学课件 主讲：*智能网联汽车环境感知技术智能网联汽车环境感知技术智能汽车环境感知技术的认识01环境感知传感器技术技能提升02智能网联汽车环境感知技术应用03智能网联汽车环境感知技术技能进阶04智能网联汽车技术相关考级链接05智能汽车环境感智能汽车环境感知技术的认识知技术的认识学习点一智能汽车环境感知概述学习点二环境感知系统组成学习点一智能汽车环境感知概述学习点一智能汽车环境感知概述环境感知作为实现自动驾驶的第一环节，处于智能驾驶车辆与外界环境信息交互的关键位置，其关键在于使智能驾驶车辆更好地模拟人类驾驶员的感知能力，从而理解自身和周边的驾驶态势，由此诞生了多种环境感知技术，而核心就是毫
2、米波雷达、激光雷达、摄像头等环境感知传感器。学习导入Learning Objectives学习目标知识目标能力目标情感目标了解环境感知的目的、对象与方法。了解环境感知的目的、对象与方法。培养可发展性的思维。1环 境 感 知 技 术环 境 感 知 技 术Part One自动驾驶四大大核心技术，分别是环境感知、精确定位、路径规划、线控执行。环境感知主要包括路面、静态物体和动态物体三个方面，涉及道路边界检测、车辆检测、行人检测等技术。环境感知所用到的传感器一般包括摄像头、激光雷达、毫米波雷达、超声波雷达等等。2环 境 感 知 的 目 的环 境 感 知 的 目 的Part Two环境感知是为了保证自动
3、驾驶过程中良好的通过性、安全性、经济性和平顺性。3环 境 感 知 对 象环 境 感 知 对 象Part Three环境感知对象主要包括行驶路径、周边物体、驾驶状态和驾驶环境等。1、行驶路径：对于结构化道路而言，则包括行车线、道路边缘、道路隔离物、恶劣路况的识别；对于非结构化道路而言，则包括车辆欲行驶前方路面环境状况的识别和可行驶路径的确认；行车线道路边缘道路隔离物恶劣路况前方路面环境状况可行驶路径2、周边物体：包括车辆、行人、地面上可能影响车辆通过性、安全性的其它各种移动或静止物体的识别以及各种交通标志的识别；3、驾驶状态：包括驾驶员驾驶精神状态、车辆自身行驶状态的识别；4、驾驶环境：包括路面
4、状况、道路交通拥堵情况、天气状况的识别。4环 境 感 知 方 法环 境 感 知 方 法Part Four1、视觉传感：基于机器视觉获取车辆周边环境两维或三维图像信息，通过图像分析识别技术对行驶环境进行感知。2、激光传感：基于激光雷达获取车辆周边环境两维或三维距离信息，通过距离分析识别技术对行驶环境进行感知。3、微波传感：基于微波雷达获取车辆周边环境两维或三维距离信息（如图1-9所示），通过距离分析识别技术对行驶环境进行感知。4、通讯传感：基于无线、网络等近、远程通讯技术获取车辆行驶周边环境信息。5、融合传感：多传感器融合就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外
5、界环境，从而提高系统决策的正确性。多传感器融合，需要对每个传感器采集的信息进行快速处理，从而让高速行驶的汽车及时进行反馈动作，以应对突发的交通情况。由此可见，多传感器融合并不仅仅是硬件方面的协同配合，还包括决策层的算法和算力支持。6、环境感知方式的优缺点：传感方式传感方式优点优点缺点缺点视觉传感信息量丰富、实时性好、体积小、能耗低易受光照环境影响、三维信息测量精度较低激光传感能够直接获取物体三维距离信息、测量精度高、对光照环境变化不敏感无法感知无距离差异的平面内目标信息、体积较大、价格昂贵、不便于车载集成微波传感能够以较高精度直接获取物体三维距离信息、受光照环境变化影响小、实时性好、体积较小无
6、法感知无距离差异的平面内目标信息、国外成熟产品对我国禁运而难以获得通讯传感能够获取其他传感手段难以实现的宏观行驶环境信息、可实现车辆间信息共享、对环境干扰不敏感可用于车辆自主导航控制的信息不够直接、实时性不高、无法感知周边车辆外其他物体信息融合传感能够获取丰富的周边环境信息、具有优良的环境适应能力、为安全快速自主导航提供可靠保障感知系统过于复杂、难以集成、造价昂贵、实用性差。S u m m a r y小结环境感知技术01环境感知的目的02环境感知方法04环境感知对象031、自动驾驶为什么需要环境感知技术？2、环境感知的对象包括？3、常用的环境感知方法包括？作业学习点二环境感知系统组成学习点二环
7、境感知系统组成环境感知技术是智能网联汽车关键技术之一，它是通过安装在智能网联汽车上的传感器或自组织网络，对道路、车辆、行人、交通标志、交通信号灯等进行检测和识别的技术，主要应用于先进驾驶辅助系统，如自适应巡航控制系统、车道偏离报警系统、道路保持辅助系统、汽车并线辅助系统、自动刹车辅助系统等，保障智能网联汽车安全、准确到达目的地。但是环境感知系统又是由哪些部件组成的呢？学习导入Learning Objectives学习目标知识目标能力目标情感目标了解车载传感器的组成。能正确认识各车载传感器。培养可发展性的思维。1车 载 感 知 系 统车 载 感 知 系 统Part One智能驾驶汽车获取和处理环
8、境信息主要用于状态感知和V2X网联通信。状态感知主要通过车载传感器对周边及本车环境状态信息进行采集和处理，主要包括交通状态感知和车身状态感知。V2X网联通信是结合现代通信与网络技术，实现智能驾驶车辆与外界设施以及车辆之间的互联互通、信息共享和协同控制。状态感知交通状态感知车身状态感知V2X网联通信互联互通信息共享协同控制环境感知是硬件设备（即感知设备）和软件算法（即感知技术）的统一体。其中，硬件设备是感知的物理基础，主要指各种车载传感器，包括摄像头、激光雷达、毫米波雷达、超声波雷达、惯性系统、多传感器融合系统、多元信息交互系统等等多传感器融合系统硬件设备多元信息交互系统摄像头激光雷达毫米波雷达
9、超声波雷达惯性系统一般而言，原始数据的质量越高，后续数据处理与分析模块的难度就越低，而获取高质量的数据离不开性能优异的车载传感器。由于各传感器的材料属性不同，原理功能不同，他们能够在不同的使用场景里发挥各自的优势。各个传感器能够分别获取不同局部信息，这些信息之间能够互相补充。多传感器融合取长补短，能够显著提供系统的冗余度和容错性，从而保证决策的快速性和正确性。多传感器融合是当前自动驾驶汽车采用的主流环境感知方案。2视觉传感器（摄像头）视觉传感器（摄像头）Part Two人们通过感官从自然界获取各种信息，其中以人的视觉获取的信息量最多，约占信息总量的80%。随着信息技术的发展，为计算机、机器人、
10、智能汽车或其他智能机器赋予人类视觉功能，成为科学家们的奋斗目标。通过视觉传感器图像捕捉图像，然后将图像传送至处理单元，通过数字化处理，根据像素分布和亮度、颜色等信息，来进行尺寸、形状和颜色的判别，并根据判别结果进而控制生产设备的工作。视觉传感器的工作过程可以分为四个步骤：图像的检测、图像的分析、图像的绘制和图像识别。视觉传感器具有从一幅图像中捕获数以千计像素的能力。视觉信息一般通过光电检测转换为电信号，通过图像信息的变化可以对物体的形状位置等特征信息进行判定。图像检测图像分析图像绘制图像识别要实现汽车根据视觉信息完成相应动作，就必须完成图像坐标系、工作平面坐标系、汽车坐标系三者之间的转换，将图
11、像坐标系中的某点与工作平面坐标系中的相应点对应起来，并且最终都表示在汽车坐标系中。所以就需要进行摄像机的标定和坐标的提取，将图像坐标系和工作平面坐标系统一在汽车坐标系下。目前，车载摄像头能够识别行人、自行车、机动车、道路轨迹线、路牌、信号灯等环境信息，进而支撑实现车道保持、车道偏离预警、前向碰撞预警、行人碰撞预警、全景泊车、驾驶员疲劳预警等功能。相机图像识别系统变得非常便宜，小巧且高分辨率。它们的对颜色，对比度和光学字符的识别功能为其提供了一个全新的应用领域。在光线良好的情况下，它们具有最佳的传感器范围，但它们的范围和性能会随着光线水平变暗而降低，因此非常依赖于汽车前灯的光线。3超 声 波 传
12、 感 器超 声 波 传 感 器Part Three超声波传感器是利用超声波的特性，将超声波信号转换成其它能量信号的传感器，具有频率高、波长短、绕射现象小等特点，对液体、固体的穿透性较强，用于自动驾驶汽车可帮助车辆探测外部环境并指导车辆对此做出适当的反应。超声波传感器初期主要用于车辆制动辅助系统和倒车雷达，用来检测障碍物避免碰撞和擦蹭，目前已被研究应用在自动泊车和自动刹车系统。u超声波的能量消耗较缓慢，在介质中传播的距离比较远，穿透性强，测距的方法简单，成本低。u超声波的传输速度容易受天气情况的影响。u当汽车高速行驶时，使用超声波测距无法跟上汽车的车距实时变化，误差较大。u超声波散射角大，方向性
13、较差，在测量较远距离的目标时，其回波信号会比较的弱，影响测量精度。超声波传感器的种类可分为较传统的等方性传感器以及工艺水平更高的异方性传感器。所谓的等方性传感器为水平角度与垂直角度相同，异方性传感器为水平角度与垂直角度不同。方性传感器水平角度与垂直角度相同，例：120：120；异方性传感器水平角度与垂直角度不同，例：120：60或120：454毫米波雷达毫米波雷达Part Four毫米波雷达，就是指工作频段在毫米波频段的雷达，测距原理跟一般雷达一样，也就是把无线电波（雷达波）发出去，然后接收回波，根据收发之间的时间差测得目标的位置数据。毫米波雷达就是这个无线电波的频率是毫米波频段。毫米波的频段
14、比较特殊，其频率高于无线电，低于可见光和红外线，频率大致范围是10GHz-200GHz。目前，比较常见的车载领域的毫米波雷达频段有三类：24-24.25GHz、77GHz、79GHz-81GHz。其中 77 GHz 的优势主要在于距离和速度测定的准确性，此外其角分辨率也更加精准。毫米波雷达可有效提取景深及速度信息，识别障碍物，有一定的穿透雾、烟和灰尘的能力，但在环境障碍物复杂的情况下，由于毫米波依靠声波定位，声波出现漫反射，导致漏检率和误差率比较高。雷达无法进行颜色、对比度或光学字符识别，但是在确定当前实施中的交通相对速度方面非常有效，常用于自动驾驶ADAS系统中，如前方车辆和行人的检测与识别
15、、主动防碰撞、自动巡航等功能。5激光雷达激光雷达Part Five激光雷达（LiDAR）是以激光器为辐射源的雷达，它是在微波雷达技术的基础上发展起来的。相比传统雷达的工作频段，光频段的波长较短，因而可以极大提高雷达的距离分辨力、角分辨力、速度分辨力，并且得益于激光的高方向性和高相干性，可以实现远距离抗干扰探测与测距。激光雷达在所有光线条件下都能很好地工作，但由于使用了光谱波长，它们会因为空气中的雪、雾、雨和尘埃颗粒的增加而失效。激光雷达无法检测颜色或对比度，也无法提供光学字符识别功能。6惯性系统惯性系统Part Six惯性系统（惯性导航系统）不依赖外部信息，而是以陀螺仪和加速度计为敏感器件进行
16、导航参数解算的系统，该系统根据陀螺仪的输出建立导航系统，根据加速度计的输出解算出运载体在导航坐标系中的速度和位置。惯性导航系统以牛顿力学定律为基础，是一种推导式的导航方式：根据已知点的位置和速度，推算当前的加速度、速度和位置。惯性导航在室内、隧道内等GPS信号较弱的场景有着广泛的应用。由于不需要接收外界的信号，惯性导航的隐蔽性较好，基本不受天气条件的限制。但同样的，惯性导航系统的缺点也很明显，由于定位信息是通过对时间的积分获得的，因此误差会随着时间的积累而增加，因此需要利用外部信息辅助校正。7多 传 感 器 融 合多 传 感 器 融 合Part Seven在实际行驶场景中，仅仅依赖一种类型的传
17、感器获得的数据往往是不可靠的，且探测范围有限，不可避免地存在时空盲区。为保证环境感知系统实时获得可靠的数据，自动驾驶汽车一般采用多种传感器同时采集数据的方式。然而多种传感器获得的信息具有互补性，同时也会存在矛盾。对于互补的信息，利用多元信息融合技术对原始数据进行分析、加权和综合，实现各个传感器优势互补，增大容错率，减小视野盲区。对于矛盾的信息，由于处理器在同一个时间点对于某个动作只能给出一个决策，因此必须对原始数据进行筛选和删减。传感器融合的目的在于获得不同传感器的输入内容，并且使用组合在一起的信息来更加准确地感知周围环境。目前传感器融合主要采用数据级、特征级和决策级三级融合方式。传感器融合数
18、据级又称像素融合，主要通过整合像素级别的图像，增加边缘、纹理等细节特征。特征级对原始数据提取的特征向量进行融合，对于特征的融合效果一般优于对原始数据的融合。决策级指根据多个传感器对同一目标的观察数据进行特征提取和逻辑运算，根据需求进行高级决策。前提：标定S u m m a r y小结车载感知系统01视觉传感器（摄像头）02毫米波雷达04超声波传感器03激光雷达05惯性系统06多传感器融合071、环境感知是 和 的统一体。其中，是感知的物理基础，主要指各种 。2、环境感知系统中的传感器包括？作业环境感知传感器环境感知传感器技术技能提升技术技能提升学习点一视觉传感器专项技能学习点二超声波雷达专项技
19、能学习点三毫米波雷达专项技能学习点四激光雷达专项技能学习点五GPS 定位系统专项技能学习点六惯性导航系统专项技能学习点七高精地图专项技能学习点八多传感器融合技术专项技能学习点一学习点一 视觉传感器专项技能视觉传感器专项技能摄像头在生活中随处可见，它应用到汽车上的时间也并不短，但随着自动驾驶汽车的提出，因为摄像头其独有的作用，可以实现众多预警、识别类ADAS功能，被我们称之为“智能驾驶汽车之眼”。学习导入Learning Objectives学习目标知识目标能力目标情感目标了解摄像头的分类、特点与应用。了解摄像头的结构与工作原理。了解360影像监视系统的分类、组成与原理。能正确进行摄像头的标定、
20、图像的处理与边缘检测。能正确进行360影像监视系统的安装与调试。能进行360影像监视系统的故障分析与处理。培养可发展性的思维。1视觉传感器基础知识储备视觉传感器基础知识储备Part One1、车载摄像头分类（1）按安装位置分按安装位置不同，车载摄像头可分为主要包括内视摄像头、后视摄像头、前置摄像头、侧视摄像头、环视摄像头等。（2）按摄像头数目分按摄像头的数目可分为单目摄像头、双目摄像头、三目摄像头及环视摄像头。类型优势劣势单目摄像头现有很多图像算法都是基于单目摄像头开发，相比于其他类型摄像头，算法成熟度高。视野完全取决于镜头；测距精度较低。双目摄像头测距精度提高。视野完全依赖于镜头；对两个镜头
21、的安装位置和距离要求较多，对标定要求高三目摄像头使用三个不同焦距的单目摄像头组合而成，每个摄像头有不同感知范围：前视窄视摄像头（250m）、前视主视摄像头（150m）及前视宽视摄像头（60m）。需要同时标定三个摄像头，工作量大；软件部分需关联三个摄像头数据，对算法要求高。环视摄像头为鱼眼镜头，一般采用四个镜头安装于车辆的前后左右，图像采集后，经过图像拼接，可实现从车顶往下看的效果。感知范围不大，主要用于车身周围（510）m内的障碍物检测、自主泊车时的车位线识别等。2、车载摄像头特点优点：能分别像素级别的颜色；成本低，信息量丰富、特征识别好。缺点：获取准确三维信息难度大；受环境光限制比较大，速度
22、、距离分辨率差。3、车载摄像头应用车载摄像头是ADAS系统的主要视觉传感器，借由镜头采集图像后，有摄像头内的感光组件电路及控制组件对图像进行处理并转化为电脑能处理的数字信号，从而实现感知车辆周边的路况情况，实现前向碰撞预警，车道偏移报警和行人检测等ADAS功能。ADAS功能使用摄像头具体功能介绍车道偏离预警LDW前视当前视摄像头检测到车辆即将偏离车道线发出警报盲点监测BSD侧视利用侧视摄像头将后视镜盲区的影像显示在驾驶舱内全景泊车SVP前视、侧视、后视利用图像拼接技术将摄像头采集的影像组合成周边全景图驾驶员检测系统DM内置利用内置摄像头检测驾驶员是否疲劳、闭眼等行人碰撞预警PCW前视当前视摄像
23、头检测到标记的前方行人可能发生碰撞时发出警报车道保持辅助LKA前视当前视摄像头检测到车辆即将偏离车道线时通知控制中心发出指示，纠正行驶方向交通标志识别TSR前视、侧视利用前视、侧视摄像头识别前方和两侧的交通标志前向碰撞预警FCW前视当前视摄像头检测到与前车距离过近时发出警报（1）车道偏离预警（LDW）车道偏离预警系统（Lane Detecting Waring）主要由HUD抬头显示器、摄像头、控制器以及传感器组成，当车道偏离系统开启时，摄像头（一般安置在车身侧面或后视镜位置）会时刻采集行驶车道的标识线，通过图像处理获得汽车在当前车道中的位置参数，当检测到汽车偏离车道时，传感器会及时收集车辆数据
24、和驾驶员的操作状态，之后由控制器发出警报信号，整个过程大约在0.5秒完成，为驾驶者提供更多的反应时间。而如果驾驶者打开转向灯，正常进行变线行驶，那么车道偏离预警系统不会做出任何提示。（2）盲点监测（BSD）盲点检测系统（Blind Spot Monitoring System）通过侧方摄像头或雷达将车左右后视镜盲区内的影像显示在车内。（3）全景泊车（SVP）全景泊车停车辅助系统由安装在车身前后左右的四个超广角鱼眼摄像头，同时采集车辆四周的影像，经过图像处理单元畸变还原视角转化图像拼接图像增强，最终形成一幅车辆四周无缝隙的360度全景俯视图。在显示全景图的同时，也可以显示任何一方的单视图，并配合
25、标尺线准确地定位障碍物的位置和距离。（4）驾驶员注意力监测（DM）驾驶员注意力监测系统通过监视驾驶员面对面部表情的方式来完成，也可以通过监视某些驾驶风格（例如：转向）来检测可能的睡意。（5）行人碰撞预警（PCW）行人碰撞预警（Pedestrian Collision Warning）是当车辆检测到与行人距离过近即将碰撞时，发出警报，提示车辆驾驶员及时调整车辆运行状态。（6）车道保持辅助（LKA）可以理解为LDW的加强版，当检测到车辆即将偏离车道线时，向转向电机发出指令，纠正车辆的行驶方向。（7）交通标志识别（TSR）通过特征识别算法对途径道路中的交通标志进行识别，提示预警或自动调整车辆运行状态
26、，以此提高车辆行驶的安全性及合规性。（8）前向碰撞预警（FCW）汽车防撞预警系统（Forward Collision Warning）主要用于协助驾驶员避免高速、低速追尾，高速中无意识偏离车道，与行人碰撞等重大交通事故。像第三只眼一样帮助驾驶员，持续不断的检测车辆前方道路状况，系统可以识别判断各种潜在的危险情况，并通过不同的声音和视觉提醒，以帮助驾驶员避免或减缓碰撞事故。前向碰撞预警系统常和自动紧急制动系统配合使用。（9）泊车辅助（PA）泊车辅助是汽车泊车或者倒车时的安全辅助装置，目前主流的是倒车摄像头和车载显示器组成的泊车辅助系统，倒车时在车前显示器可以显示车后倒车摄像头的实时视频，从而起到
27、倒车更安全，次要的就是由超声波传感器（俗称探头）、控制器和显示器（或蜂鸣器）等部分组成。4、车载摄像头结构摄像头主要由镜头、镜头座、影像传感器（主要是CCD/CMOS器件）、DSP等组成。（1）镜头镜头的组成是透镜结构，由几片透镜组成，一般有塑胶透镜或玻璃透镜。通常摄像头用的镜头构造有：1P、2P、1G1P、1G2P、2G2P、4G等。透镜越多，成本越高。按照颜色分：可分为彩色镜头、黑白镜头按功能分：可分为固定镜头、变焦镜头按红外分：可分为850nm镜头、940nm镜头、650nm镜头按焦距分：可分为4mm、6mm、8mm、12mm、16mm、25mm（2）镜头座镜头座是用来固定镜头的，镜头是
28、螺旋在镜头座里面的，按照材质分类，镜头座常分为2类：塑胶镜头座：成本低，使用普遍。金属镜头座：成本高，散热性好（3）影像传感器（主要是CCD/CMOS器件）影像传感器中的成像芯片（CCD/CMOS器件），是摄像头的心脏，他们将光信号转变为电信号进行信息的传递。（4）DSPDSP（Digital Signal Processing，数字信号处理），DSP芯片（如图2-20所示）作用等同于个人计算机里的CPU（中央处理器），它的功能主要是通过一系列复杂的数学算法运算，对由CMOS传感器传来的数字图像信号进行优化处理，并把处理后的信号通过USB接口传到PC等设备上，是摄像头的核心设备。5、摄像头的重
29、要参数分辨率清晰度信噪比白平衡背光补偿6、车载摄像头工作原理图像采集图像预处理图像特征提取图像模式识别结果传输6、车载摄像头工作原理被摄物体经过镜头聚焦至CCD（Charge Coupled Device，电荷耦合器件），CCD由多个X-Y纵横排列的像素点组成，每个像素都由一个光电二极管及相关电路组成，光电二极管将光线转变成电荷，收集到的电荷总量与光线强度成比例，所积累的电荷在相关电路的控制下，逐点移出，经滤波、放大，再经过DSP处理后形成视频信号输出，再通过I/O接口传输到电脑中进行处理后，再通过显示屏（DISPLAY）就可以看到图像了。6、车载摄像头工作原理摄像头按一定的分辨率，以隔行扫描
30、的方式采集图像上的点，当扫描到某点时，就通过图像传感芯片将该点处图像的灰度转换成与灰度一一对应的电压值，然后将此电压值通过视频信号端输出。摄像头连续地扫描图像上的一行，则输出就是一段连续的电压信号，电压信号的高低起伏反映了该行图像的灰度变化。当扫描完一行，视频信号端就输出一个低于最低视频信号电压的电平（如0.3V），并保持一段时间。这相当于，紧接着每行图像信号之后会有一个电压“凹槽”，此“凹槽”叫做行同步脉冲，它是扫描换行的标志。然后，跳过一行后（因为摄像头是隔行扫描的），开始扫描新的一行，如此下去，直到扫描完该场的视频信号，接着会出现一段场消隐区。该区中有若干个复合消隐脉冲，其中有个远宽于（
31、即持续时间远长于）其它的消隐脉冲，称为场同步脉冲，它是扫描换场的标志。场同步脉冲标志着新的一场的到来，不过，场消隐区恰好跨在上一场的结尾和下一场的开始部分，得等场消隐区过去，下一场的视频信号才真正到来。摄像头每秒扫描25幅图像，每幅又分奇、偶两场，先奇场后偶场，故每秒扫描50场图像。奇场时只扫描图像中的奇数行，偶场时则只扫描偶数行。摄像头有两个重要的指标：分辨率和有效像素。分辨率实际上就是每场行同步脉冲数，这是因为行同步脉冲数越多，则对每场图像扫描的行数也越多。事实上，分辨率反映的是摄像头的纵向分辨能力。有效像素常写成两数相乘的形式，如“320 x240”，其中：前一个数值表示单行视频信号的精
32、细程度，即行分辨能力；后一个数值为分辨率，因而有效像素=行分辨能力分辨率。2视觉传感器应用必备技能视觉传感器应用必备技能Part Two1、标定在图像测量过程和机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。相机的成像原理如图所示。Oc-XcYcZc：相机坐标系，光心为原点，单位m；o-xy：图像坐标系，原点为成像平面中点，单位mm；P：世界坐标系（描述相机位置）中的一点，即为生活中真实的一点，单位m；p：是点P在图像中的成像点，在图像坐标系中的坐标为（x，y），在像素坐标系中的坐标为（u，v）；u
33、v：像素坐标系，原点图像左上角，单位pixel，每一像素的坐标（u，v）分别是该像素在数组中的列数和行数；f：相机焦距，等于o与Oc的距离，f=|o-Oc|。相机标定的目的：还原摄像头成像的物体在真实世界的位置，需要知道世界中的物体到计算机图像平面是如何变换的，相机标定的目的之一就是为了搞清楚这种变换关系，求解内外参数矩阵。摄像机的透视投影有个很大的问题畸变，摄像头标定的另一个目的就是求解畸变系数，然后用于图像矫正。摄像机标定过程，可以简单描述为，通过标定板，可以得到n个对应的世界坐标三维点Xi和对应的图像坐标二位点xi，这些三维点的转换都可以通过上面提到的相机内参K，相机外参R和t，以及畸变
34、参数D，经过一系列的矩阵变换得到。可通过软件得到结果，如Matlab、OpenCV等。2、图像处理“像素”的英文为“pixel”，它是“picture”和“element”的合成词，表示图像元素的意思。我们可以对“像素”进行如下理解：像素是一个面积概念，是构成数字图像的最小单位。像素的大小会决定图片的清晰度。“灰度”可以认为是图像色彩亮度的深浅。图像所能够展现的灰度级越多，也就意味着图像可以表现更强的色彩层次。如果把黑灰白连续变化的灰度值量化为256个灰度级，灰度值的范围为0255，表示亮度从深到浅，对应图像中的颜色为从黑到白。图像处理的主线为：图像变换特征提取图像分析3、图像边缘检测图像的边
35、缘是指其周围像素灰度急剧变化的那些像素的集合，它是图像最基本的特征。边缘存在于目标、背景和区域之间，所以，它是图像分割所依赖的最重要的依据。由于边缘是位置的标志，对灰度的变化不敏感，因此，边缘也是图像匹配的重要的特征。边缘检测基本思想是先检测图像中的边缘点，再按照某种策略将边缘点连接成轮廓，从而构成分割区域。由于边缘是所要提取目标和背景的分界线，提取出边缘才能将目标和背景区分开，因此边缘检测对于数字图像处理十分重要。边缘阶跃状边缘屋顶状边缘边缘两边像素的灰度值明显不同边缘处于灰度值由小到大再到小变化的转折点处实现图像的边缘检测，就是要用离散化梯度逼近函数根据二维灰度矩阵梯度向量来寻找图像灰度矩
36、阵的灰度跃变位置，然后在图像中将这些位置的点连起来就构成了所谓的图像边缘（图像边缘在这里是一个统称，包括了二维图像上的边缘、角点、纹理等基元图）。4、Canny边缘检测（1）对原始图像进行灰度化：Canny算法通常处理的图像为灰度图，因此如果摄像机获取的是彩色图像，那首先就得进行灰度化。对一幅彩色图进行灰度化，就是根据图像各个通道的采样值进行加权平均。以RGB格式的彩图为例，通常灰度化采用的方法主要有：方法1：Gray=（R+G+B）/3；方法2：Gray=0.299R+0.587G+0.114B；（2）对图像进行高斯滤波：根据待滤波的像素点及其邻域点的灰度值按照一定的参数规则进行加权平均（一
37、般采用正态分布权重）。这样可以有效滤去理想图像中叠加的高频噪声。2是中间点，周边点都是1。“中间点”取“周围点”的平均值，就会变成1。在数值上，这是一种“平滑化”。在图形上，就相当于产生“模糊”效果，“中间点”失去细节。（3）用一阶偏导的有限差分来计算梯度的幅值和方向：关于图像灰度值得梯度可使用一阶有限差分来进行近似，这样就可以得图像在x和y方向上偏导数的两个矩阵。常用的梯度算子有如下几种：1）Roberts算子；2）Prewitt算子；3）Canny算法；4）Sobel算子，公式如下：（4）对梯度幅值进行非极大值抑制：图像梯度幅值矩阵中的元素值越大，说明图像中该点的梯度值越大，但这不能说明该
38、点就是边缘（这仅仅是属于图像增强的过程）。在Canny算法中，非极大值抑制是进行边缘检测的重要步骤，通俗意义上是指寻找像素点局部最大值，将非极大值点所对应的灰度值置为0。要进行非极大值抑制，就首先要确定像素点C的灰度值在其8值邻域内是否为最大。蓝色的线条方向为C点的梯度方向，这样就可以确定其局部的最大值肯定分布在这条线上，也即出了C点外，梯度方向的交点dTmp1和dTmp2这两个点的值也可能会是局部最大值。因此，判断C点灰度与这两个点灰度大小即可判断C点是否为其邻域内的局部最大灰度点。如果经过判断，C点灰度值小于这两个点中的任一个，那就说明C点不是局部极大值，那么则可以排除C点为边缘。这就是非
39、极大值抑制的工作原理。完成非极大值抑制后，会得到一个二值图像，非边缘的点灰度值均为0（黑），可能为边缘的局部灰度极大值点可设置其灰度为128。但这样一个检测结果还是包含了很多由噪声及其他原因造成的假边缘。因此还需要进一步的处理。（5）用双阈值算法检测和连接边缘：Canny算法中减少假边缘数量的方法是采用双阈值法。选择两个阈值（高阈值选取全局灰度值分布的70%，低阈值选取高阈值的一半），根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于阈值较高，产生的图像边缘可能不闭合，未解决这样一个问题采用了另外一个低阈值。在高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，该算法会在断点的8
40、邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合。3360影 像 监 视 系 统影 像 监 视 系 统Part Three360影像监视系统，又叫360全景环视行车安全系统、360全景影像、全景辅助泊车系统、全景式监控影像系统等，系统同时采集车辆四周的影像，经过图像处理单元一系列的智能算法处理，最终形成一幅车辆四周的全景俯视图显示在屏幕上，直观地呈现出车辆所处的位置和周边情况。系统大大地拓展了驾驶员对周围和环境的感知能力，使驾驶员在处理车辆起步、行车转弯、泊车入位、窄道会车、规避障碍等情况时从容不迫、轻松自如，可以有效减少刮蹭、甚至碰撞碾压等事故的发生。（1）分屏显示3
41、60环视系统分屏显示360环视系统在车的前后左右安装4个或者6个视角90度的摄像头，不对图像进行复杂的技术处理，只是简单的分割和拼接，用2个或者是4个图像显示，显示的时候，不能实时全景显示，给人的感觉是不直观。这类产品，由于摄像头用的是普通后视摄像头、主板用的是民用级安防技术，性能指针离真正的车规级要求差很远，所以成本也很低。（3）无缝拼接360环视系统基于有缝拼接360环视系统，在其基础上进行优化，利用的也是四个广角摄像头，广角视角在170度到180度之间，对采集的图像进行畸变还原和完美无缝拼接，就像卫星的航拍图一样，高空俯视下来，车的周围真正没有盲区，连同车一起展示一个完美的整体景象。2、
42、360影像监视系统的组成360影像监视系统主要由四个广角鱼眼镜头、影像处理主机、数据及电源传输线等部件组成。3、标定目的及含义（1）摄像机标定的目的摄像机标定的基本目的就是建立相机成像几何模型并矫正透镜畸变。矫正透镜畸变：我们最开始接触到的成像方面的知识是有关小孔成像的，但是由于这种成像方式只有小孔部分能透过光线就会导致物体的成像亮度很低，于是使用到了透镜。虽然亮度问题解决了，但是出现了新的问题：由于透镜的性质以及制造工艺等原因，会使成像产生多种形式的畸变，于是为了去除畸变（使成像后的图像与真实世界的景象保持一致），人们计算并利用畸变系数来矫正这种像差。建立摄像机成像几何模型：360影像监视系
43、统的首要任务就是要通过拍摄到的图像信息获取到物体在真实三维世界里相对应的信息，于是，建立物体从三维世界映射到相机成像平面这一过程中的几何模型就显得尤为重要，而这一过程最关键的部分就是要得到相机的内参和外参。0102内参外参与摄像头自身特性相关的参数，比如摄像头的焦距、像素大小等在世界坐标系中的参数，比如摄像头的位置、角度等摄像头的标定是世界坐标到像素坐标的映射，世界坐标是我们人为去定义的，标定就是已知标定控制点的世界坐标和像素坐标解算它们的映射关系，一旦这个关系解算出来了我们就可以由点的像素坐标去反推它的世界坐标，当然有了这个世界坐标，我们就可以进行测量等其他后续操作。在图像测量过程中，为确定
44、空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像头成像的几何模型，这些几何模型参数就是摄像头参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数过程就是摄像头标定。摄像头外参数：体现现实世界点（世界坐标）是怎样经过旋转和平移，然后落到另一个现实世界点（摄像机坐标）上。摄像头内参数：体现上述的点是如何继续经过摄像机的镜头、并通过透镜成像和电子转化而成为像素点的。摄像头畸变参数：体现像素点并没有落在理论计算该落在的位置上，像素点偏移和变形的量。360影像监视系统工作过程：12345图像获取摄像头标定图像变换图像无缝拼接融合图像美化6图像显示（1）摄像头（
45、摄像机）图像获取、标定原理：小孔成像。f为焦距，z为物距。摄像机成像模型分为线性和非线性模型两种，线性成像模型为摄像机的理想模型，一般的摄像机也存在一定的畸变，对于鱼眼摄像机，由于畸变较大，一般用非线性模型来描述。鱼眼镜头的成像原理与普通的镜头一致，只是鱼眼镜头的焦距相对于普通摄像头的焦距小很多，镜头的成像角度会随着焦距的减小而增大，所以鱼眼镜头的成像角度比普通的镜头要大。以摄像机的光心平面建立的坐标系相机坐标系用户定义的三维世界的坐标系世界坐标系像素坐标系与图像坐标系主要是原点不一样。像素坐标系机坐标系中的点经过投影后的二维图像平面图像坐标系世界坐标系：Xw、Yw、Zw。相机坐标系：Xc、Y
46、c、Zc。图像坐标系：x、y。像素坐标系：u、v。相机坐标系的轴与光轴重合，且垂直于图像坐标系平面并通过图像坐标系的原点，相机坐标系与图像坐标系之间的距离为焦距f（也即图像坐标系原点与焦点重合）。像素坐标系平面u-v和图像坐标系平面x-y重合。世界坐标系与相机坐标系关系：以世界坐标系分别绕坐标轴X，Y，Z旋转，再对原点进行平移即可把世界坐标系转为相机坐标系。相机坐标系与图像坐标系关系：由相机坐标系到图像坐标系的转换过程，属于透视投影变换，即把三维空间物体投影为二维图像平面。图像坐标系与像素坐标系关系：由于相机坐标系到图像坐标系转换后的单位并不是图像像素单位，需要进一步转换到像素坐标系。（2）鱼
47、眼畸变校正现实应用中一般只考虑两种透镜畸变，分别是切向畸变和径向畸变。切向畸变产生的原因主要是摄像头生产安装过程中在工艺上的缺陷。径向畸变来自于透镜的形状。鱼眼摄像机径向畸变模型如图所示，存在着中间大两边小的特点，径向畸变就是沿着透镜半径方向分布的畸变，径向畸变主要包括桶形畸变和枕形畸变两种。成像仪光轴中心的畸变为0，沿着镜头半径方向边缘移动，畸变越来越严重。切向畸变是由于透镜本身与相机传感器平面（成像平面）或图像平面在制作上放置不平行所产生的，这种不平行的情况多半是透镜被粘贴到镜头模组上安装时产生的偏差导致。实际中广泛应用的畸变校正方法是基于标定的校正方法，这类方法通过标定获取摄像机的内参数
48、，再通过摄像机成像过程坐标映射关系建立畸变模型。（3）透视变换360影像监视系统的摄像头光轴与地面往往并不是呈垂直关系，而是有一定的倾斜角度，因此想要获取俯视图即正投影的效果，就需要对图像进行透视变换。通过一系列计算将鱼眼矫正图变换成俯视图，将四张图存放到总俯视图对应的四个方向上。（4）图像拼接图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。图像拼接的方法很多，不同的算法步骤会有一定差异，但大致的过程是相同的。图像预处理建立变换模型统一坐标变换融合重构图像配准根据不同配准原理，主
49、要可以分为三种配准方法：321基于特征的图像配准方法基于变换域的图像配准方法基于图像亮度信息的配准方法在全景俯视图中，相邻两方向俯视图之间存在一定的重合区域，另外由于进行透视变换计算时也需要对四个区域方向选取参考点，因此可以在选取参考点时可选取相邻两幅畸变校正图的两个重合点作为透视变换计算的参考点，即相邻图像选取共同参考点，并且在全景俯视图下建立统一的坐标系。这样当四路视频图像经透视变换后映射到各自相应俯视图区域即完成图像配准，就可以把四个方向图像在侧视图变成俯视图时拼接起来。四路视频图像经过全景视图映射和图像配准后，就可以得到全景视频图像，但得到的全景视频图像还存在以下的问题：相邻两视频区域
50、拼接处有明显的拼接缝。四路视频在亮度上有较大的差异，存在亮暗不均一的情况。从某一视频区域过渡到其相邻视频区域拼接处有折断现象。（5）图像拼接缝融合消除拼接缝的方法有多种，主要有中值滤波法消除拼接缝和利用加权平均融合消除拼接缝两种。对于拼接缝的消除有两点要求：一是拼接区域过渡平滑，二是拼接区域亮度跳跃变化不大。（6）光照均一化处理每个摄像头装置在车身的前后左右四个方向，对于汽车来说每个方向的场景光照亮度都存在不同。光照不均匀的补偿方法有多种，如图像直方图均衡化处理、伽马校正等。对于由不同摄像头拍摄图像拼接起来的图像可以采用基于RGB三通道系数校正的方法，该算法原理是通过以四个方向的重叠区域的颜色
