1、 智能网联汽车技术基础 项目二 智能网联汽车环境感知技术 毫米波雷达原理及应用认知任务一任务一任务二任务二任务三任务三任务四任务四任务五任务五任务六任务六环境感知系统整体认知环境感知系统整体认知激光雷达原理及应用认知激光雷达原理及应用认知超声波雷达原理及应用认知超声波雷达原理及应用认知多传感器融合技术认知多传感器融合技术认知视觉传感器原理及应用认知视觉传感器原理及应用认知 环境感知系统整体认知1 学习目标 1.掌握智能网联汽车环境感知的定义和组成 2.熟悉环境感知的对象和方法 3.了解常见环境感知传感器的类型、特点及在智能网联汽车上的应用智能网联汽车环境感知技术 理论知识一、环境感知系统的定义
2、二、环境感知系统的组成三、环境感知传感器的类型智能网联汽车环境感知技术 1、环境感知系统整体认知智能网联汽车环境感知技术一、环境感知系统的定义智能网联汽车环境感知系统相当于人的感官神经，利用车载视觉传感器、激光雷达、毫米波雷达、超声波雷达以及V2X通信技术等获取智能网联汽车周围环境信息，包括车辆、行人、道路、环境等，以上信息经过车载ECU处理后传输给车载控制单元，为智能网联汽车的安全行驶提供及时、准确和可靠的决策依据。1、环境感知系统整体认知智能网联汽车环境感知技术智能网联汽车环境感知对象主要包括以下几个方面：环境感知对象（1）行车路径（2）周边物体（3）驾驶状态（4）驾驶环境 1、环境感知系
3、统整体认知智能网联汽车环境感知技术结构化道路一般是指高速公路、城市干道等结构化较好的公路，这类道路具有清晰的道路标志线，道路的背景环境比较单一，道路的几何特征也比较明显，针对它的路径识别主要包括：行车线、行车路边缘、道路隔离物。（1）行车路径：是指车辆可行驶的道路区域，可分为结构化路径和非结构化路径。a.结构化道路 1、环境感知系统整体认知智能网联汽车环境感知技术非结构化道路一般是指城市非主干道、乡村街道等结构化程度较低的道路，这类道路没有车道线和清晰的道路边界，再加上受阴影和水迹等的影响，道路区域和非道路区域难以区分，针对它的路径识别主要包括：路面环境状况的识别和可行使路径的确认。b.非结构
4、化道路 1、环境感知系统整体认知智能网联汽车环境感知技术周边物体主要包括车辆、行人、地面上可能影响车辆通过性、安全性的其他各种移动或静止物体、各种交通标志、交通信号灯等。如图2-1-2所示，Tesla Model S 行车时，通过中间摄像头的感知，实现了对前方环境中的车辆、交通标识、车辆、行人及行车路径的识别。图2-1-2 Tesla Model S 行车时的环境感知（2）周边物体：1、环境感知系统整体认知智能网联汽车环境感知技术（3）驾驶状态：包括驾驶人自身状态、车辆自身行驶状态的识别。（4）驾驶环境：驾驶环境检测主要包括路面状况、道路交通拥堵情况、天气状况的识别。1、环境感知系统整体认知智
5、能网联汽车环境感知技术二、环境感知系统的组成环境感知系统包括信息采集单元、信息处理单元及信息传输单元三大模块，具体组成见图2-1-3。其中，信息采集单元包括：视觉传感器、激光雷达、毫米波雷达、超声波雷达、车载自组网络、导航定位装置等；信息处理单元包括：道路识别、车辆识别、行人识别、交通标志识别、交通信号灯识别；信息传输单元包括：显示系统、报警系统、传感器网络、车载自组网络等。1、环境感知系统整体认知智能网联汽车环境感知技术图2-1-3 环境感知系统组成道路识别车辆识别行人识别交通信号灯识别交通标志识别显示系统报警系统车载自主网络传感器网络导航定位装置车载自主网络超声波雷达毫米波雷达激光雷达视觉
6、传感器信息处理单元信息传输单元信息采集单元 1、环境感知系统整体认知智能网联汽车环境感知技术三、环境感知传感器的类型智能网联汽车环境感知传感器主要包括：视觉传感器、激光雷达、毫米波雷达、超声波雷达和红外传感器。GPS、惯性元件具有环境感知功能，但是主要用于智能网联汽车的定位与导航系统，本章不做介绍。环境感知各传感器的性能特点见表2-1-1。智能网联汽车环境感知技术视觉传感器视觉传感器超声波雷达超声波雷达红外线传感器红外线传感器激光雷达激光雷达毫米波雷达毫米波雷达优势成本适中。可以分辨出障碍物的距离和大小，并区分障碍物类型。结构简单、价格便宜、体积小巧。低成本。夜间不受影响。测距精度高、方向性强
7、、响应时间快、不受地面杂波干扰。不受天气情况和夜间的影响。可以探测到远距离（100米以上）的物体。劣势与人眼一样，会受到视野范围的影响。会受到天气和温度变化的影响。最大测量距离一般只有几米。会受天气条件限制。只能探测到近距离的物体。难以识别出行人。成本很高。不能全天候工作，遇浓雾、雨、雪等极端天气无法工作。成本较高。行人的反射波较弱，难以探测，需与视觉传感器互补使用。远距离探测能力强弱一般强强夜间工作能力弱强强强强全天候工作能力弱弱弱弱强受气候影响大小大大小1、环境感知系统整体认知表2-1-1 环境感知各传感器性能对比表智能网联汽车环境感知技术烟雾环境工作能力弱一般弱弱强雨雪环境工作能力一般强
8、弱一般强温度稳定性强弱一般强强车速测量能力弱一般弱弱强1、环境感知系统整体认知表2-1-1 环境感知各传感器性能对比表（续表）1、环境感知系统整体认知智能网联汽车环境感知技术从表中可以看出，单一传感器都有其局限性，通过单一传感器的感知难以提供智能网联汽车行驶环境的全面描述。为了克服单一传感器的数据可靠性低、有效探测范围小等局限性，保证在任何时刻都能为车辆运行提供完全可靠的环境信息，在智能网联汽车中使用传感器融合技术进行环境感知。利用多传感器信息融合技术对检测到的数据进行分析、综合、平衡，根据各个传感器信息在时间或空间的冗余或互补特性进行容错处理，扩大系统的时频覆盖范围，增加信息维数，避免单个传
9、感器的工作盲区，从而得到所需要的环境信息。学习小结1.智能网联汽车环境感知系统利用车载视觉传感器、雷达以及V2X通信技术等获取智能网联汽车周围环境信息，并将这些信息传输给车载控制单元，为智能网联汽车的安全行驶提供及时、准确、可靠的决策依据。2.环境感知系统包括信息采集单元、信息处理单元及信息传输单元三大模块。3.智能网联汽车环境感知对象主要包括：行车路径、周边物体、驾驶状态、驾驶环境。4.环境感知系统常用的传感器包括：视觉传感器、激光雷达、毫米波雷达、超声波雷达和红外线传感器。智能网联汽车环境感知技术 激光雷达原理及应用认知2 学习目标 1.掌握激光雷达的概念和分类 2.熟悉激光雷达的基本组成
10、和工作原理 3.了解激光雷达的应用场景智能网联汽车环境感知技术 理论知识一、激光雷达的概念二、车载激光雷达的类型三、车载激光雷达的基本组成四、车载激光雷达的工作原理五、车载激光雷达的应用场景智能网联汽车环境感知技术 2、激光雷达原理及应用认知智能网联汽车环境感知技术一、激光雷达的概念激光雷达（Light Detection and Ranging，LiDAR），是一种光学遥感传感器，它通过向目标物体发射激光，然后根据接收-反射的时间间隔确定目标物体的实际距离，根据距离及激光发射的角度，通过几何变化推导出物体的位置信息。激光雷达能够确定物体的位置、大小、外部形貌甚至材质。2、激光雷达原理及应用认
11、知智能网联汽车环境感知技术激光雷达采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点，被称为点云。如图2-2-1所示，为激光雷达工作过程中的点云图。图2-2-1 Velodyne 激光雷达点云图 2、激光雷达原理及应用认知智能网联汽车环境感知技术与传统雷达使用无线电波相比，LiDAR使用激光射线，其射线波长一般在6001000nm，远远低于传统雷达所使用的波长。因此，LiDAR在测量物体距离和表面形状可达到更高的精准度，一般精准度可以达到厘米级。由于激光的传播受外界环境影响较小，LiDAR能够检测的距离一般可达100m以上。2、激光雷达原理及应用认知智能网联汽车环境感知技术二、车载
12、激光雷达的类型车载激光雷达的类型机械激光雷达固态激光雷达多线激光雷达单线激光雷达激光测距雷达、激光测速雷达、激光成像雷达、大气探测雷达、跟踪雷达等（3）其他分类方式（2）按雷达线数分类（1）按扫描方式分类按照功能用途分类按激光发射波形分类按载荷平台分类按探测方式分类连续型激光雷达和脉冲型激光雷达机载激光雷达和车载激光雷达直接探测激光雷达和相干探测激光雷达 2、激光雷达原理及应用认知智能网联汽车环境感知技术（1）按扫描方式分类车载激光雷达根据其扫描方式的不同，可分为机械激光雷达和固态激光雷达。机械激光雷达外表上最大的特点就是有机械旋转机构，如图2-2-2所示。我们看到的智能网联测试车车顶上较复杂
13、的圆柱形装置，即为机械式激光雷达。2、激光雷达原理及应用认知智能网联汽车环境感知技术图2-2-2 机械激光雷达 2、激光雷达原理及应用认知智能网联汽车环境感知技术但这种雷达调试、装配工艺复杂，生产周期长，成本居高不下，并且机械部件寿命不长（约1000-3000小时），难以满足苛刻的车规级要求（至少1万小时以上）。另外，机械式激光雷达由于光学结构固定，适配不同车辆往往需要精密调节其位置和角度。因此，激光雷达量产商都在着手开发性能更好、体积更小、集成化程度更高，并且成本更低的激光雷达。2、激光雷达原理及应用认知智能网联汽车环境感知技术固态激光雷达由于不存在旋转的机械结构，其结构简单、尺寸小，如图2
14、-2-3所示，所有的激光探测水平和垂直视角都是通过电子方式实现的，并且装配调试可以实现自动化，能够量产，成本大幅降低，设备的耐用性也有效地提高了，固态激光雷达是必然的技术发展路线。图2-2-3 固态激光雷达 2、激光雷达原理及应用认知智能网联汽车环境感知技术但是，固态激光雷达在不良天气条件下检测性能较差，不能实现全天候工作。且机械激光雷达能进行360范围的扫描，固态式激光雷达一般为120范围的向前扫描。根据技术路线不同，固态激光雷达又分为光学相控阵OPA（Optical Phased Array）激光雷达、微机电系统MEMS（Micro-Electro Mechanical Systems）激
15、光雷达和3D Flash激光雷达。2、激光雷达原理及应用认知智能网联汽车环境感知技术（2）按雷达线数分类根据线数的多少，激光雷达分为单线激光雷达与多线激光雷达。单线激光雷达扫描一次只产生一条扫描线，其所获得的数据为2D数据，因此无法区别有关目标物体的3D信息，如图2-2-4所示。由于单线激光雷达比多线激光雷达在角频率和灵敏度更快，所以，在测试周围障碍物的距离和精度上都更加精确。2、激光雷达原理及应用认知智能网联汽车环境感知技术但是，单线雷达只能平面式扫描，不能测量物体高度，有一定局限性。目前，主要应用于服务机器人身上，如扫地机器人。在智能车上，单线激光雷达主要用于规避障碍物、地形测绘等领域。图
16、2-2-4单线激光雷达 2、激光雷达原理及应用认知智能网联汽车环境感知技术多线激光雷达扫描一次可产生多条扫描线，主要应用于障碍物的雷达成像，相比单线激光雷达在维度提升和场景还原上有了质的改变，可以识别物体的高度信息，目前市场上多线产品包括4线、8线、16线、32线、64线等。如图2-2-5所示，为多线激光雷达扫描的不同类型障碍物的点云图，包括汽车、人、墙、树木、公交车和小货车等。图2-2-5多线激光雷达 2、激光雷达原理及应用认知智能网联汽车环境感知技术（3）其他分类方式此外，激光雷达按照功能用途，可以分为激光测距雷达、激光测速雷达、激光成像雷达、大气探测雷达和跟踪雷达等；按照按激光发射波形分
17、类可分为连续型激光雷达和脉冲型激光雷达；按载荷平台分类可分为机载激光雷达，车载激光雷达等；按探测方式分类可分为直接探测激光雷达和相干探测激光雷达。2、激光雷达原理及应用认知智能网联汽车环境感知技术三、车载激光雷达的基本组成激光雷达由发射光学系统、接收光学系统、主控及处理电路板、探测器接收电路模块、激光器及驱动模块组成。图2-2-6、图2-2-7为不同类型的激光雷达内部结构图。2、激光雷达原理及应用认知智能网联汽车环境感知技术图2-2-6 单线激光雷达零件分解图 2、激光雷达原理及应用认知智能网联汽车环境感知技术图2-2-7 32线激光雷达内部结构图 2、激光雷达原理及应用认知智能网联汽车环境感
18、知技术四、车载激光雷达的工作原理现今市场上主流的车载激光雷达主要是基于三种原理测距，三角测距法、飞行时间（Time of flight，TOF）法和调幅连续波（Amplitude Modulated Continuous Wave，AMCW）测距法。接下来，以飞行时间（TOF）法为例介绍激光雷达的测距原理。2、激光雷达原理及应用认知智能网联汽车环境感知技术如图2-2-8所示，TOF法就是根据激光遇到障碍物后的折返时间，通过光速计算目标与雷达的相对距离。激光光束可以准确测量视场中物体轮廓边沿与设备间的相对距离，这些轮廓信息组成点云图并绘制出3D环境地图。图2-2-8 飞行时间法测距 2、激光雷达
19、原理及应用认知智能网联汽车环境感知技术从原理上来说，TOF 雷达可以测量的距离更远。实际上，在一些要求测量距离较远的场合，比如智能网联汽车应用，几乎都是TOF 雷达。TOF 激光雷达采用脉冲激光采样，并且还能严格控制视场以减少环境光的影响，这些都是长距离测量的前提条件。另外，在转速一定的情况下，采样率（每秒能够完成的点云测量次数）决定了每一帧图像的点云数目以及点云的角分辨率。角分辨率越高，点云数量越多，则图像对周围环境的描绘就越细致。2、激光雷达原理及应用认知智能网联汽车环境感知技术三种测距方案各具优缺点，将车载激光雷达需具备的5个核心能力作为选型的维度对上述三种测距方法进行了总结对比，见表2
20、-2-1。测距方案探测距离探测精度抗强光能力光功率成本三角法最近近距离精度高远距离精度低不具备低低TOF最远高强适中适中AMCW适中适中适中高适中表2-2-1 激光雷达三种测距方案对比 2、激光雷达原理及应用认知智能网联汽车环境感知技术五、车载激光雷达的应用场景智能网联汽车通过激光雷达对周边环境进行扫描识别，从而引导车辆行进。激光雷达在智能网联汽车中起着类似于“眼睛”的功能，能够根据扫描到的点云数据快速绘制3D全景地图。主要应用场景有：障碍物分类、障碍物跟踪、路沿可行驶区域检测、车道标志线检测和高精度定位等。接下来介绍典型应用案例。2、激光雷达原理及应用认知智能网联汽车环境感知技术（1）障碍物
21、分类：激光雷达对周围障碍物进行扫描，对障碍物的形状特征进行提取，对比数据库原有特征数据，进行障碍物分类，如图2-2-9所示。激光雷达将小轿车、大货车和自行车等进行了分类。图2-2-9 障碍物分类 2、激光雷达原理及应用认知智能网联汽车环境感知技术（2）障碍物跟踪：激光雷达采用相关算法对比前后帧变化障碍物，利用同一障碍物的坐标变化，实现对障碍物的速度和航向的检测跟踪，为后续避障提供可靠的数据信息，如图2-2-10所示。图2-2-10 障碍物跟踪 2、激光雷达原理及应用认知智能网联汽车环境感知技术（3）高精度定位：首先GPS给定初始位置，通过IMU（惯性测量元件）和车辆的Encoder（编码器）可
22、以得到车辆的初始位置，然后对激光雷达的局部点云信息，包括点线面的几何信息和语义信息进行特征提取，并结合车辆初始位置进行空间变换，获取基于全局坐标系下的矢量特征，接着将这些特征与高精度地图的特征信息进行匹配，获取一个准确的定位，如图2-2-11所示。图2-2-11 高精度定位 学习小结1.激光雷达是光学遥感技术的一种，它通过向目标物体发射激光射线，然后根据接受-反射的时间间隔确定目标物体的实际距离，根据距离及激光发射的角度，通过几何变化推导出物体的位置信息。2.车载激光雷达根据其扫描方式的不同，可分为机械激光雷达和固态激光雷达。根据线数的多少，激光雷达分为单线激光雷达与多线激光雷达。按照功能用途
23、，可以分为激光测距雷达、激光测速雷达、激光成像雷达、大气探测雷达、跟踪雷达等；按照按激光发射波形分类可分为连续型激光雷达和脉冲型激光雷达；按载荷平台分类可分为机载激光雷达，车载激光雷达等；按探测方式分类可分为直接探测激光雷达和相干探测激光雷达。3.激光雷达由发射光学系统、接收光学系统、主控及处理电路板、探测器接收电路模块、激光器及驱动模块组成。4.车载激光雷达主要是基于三种原理测距，三角测距法、飞行时间法和调幅连续波测距法。5.车载激光雷达的主要应用场景有：障碍物分类、障碍物跟踪、路沿可行驶区域检测、车道标志线检测和高精度定位。智能网联汽车环境感知技术 毫米波雷达原理及应用认知3 学习目标 1
24、.掌握毫米波雷达的特点和分类 2.熟悉毫米波雷达的基本组成和工作原理 3.了解毫米波雷达的应用场景智能网联汽车环境感知技术 理论知识一、毫米波雷达的概念二、毫米波雷达的类型三、毫米波雷达的基本组成 四、毫米波雷达的工作原理五、毫米波雷达的应用场景智能网联汽车环境感知技术 3、毫米波雷达原理及应用认知智能网联汽车环境感知技术一、毫米波雷达的概念毫米波雷达是工作在毫米波波段的探测雷达。通常毫米波是指频率在30300GHz(波长为110mm)的电磁波。毫米波雷达向周围发射电磁波，通过测定和分析反射波以计算障碍物的距离、方向和大小。毫米波雷达外观图如图2-3-1所示。3、毫米波雷达原理及应用认知智能网
25、联汽车环境感知技术图2-3-1 车载毫米波雷达外观图 3、毫米波雷达原理及应用认知智能网联汽车环境感知技术二、毫米波雷达的类型应用在智能网联汽车领域的毫米波雷达主要有3个频段，分别是24GHz，77GHz和79GHz。不同频段的毫米波雷达有着不同的性能。3、毫米波雷达原理及应用认知智能网联汽车环境感知技术（1）24GHz频段处在该频段上的雷达的检测距离有限，因此常用于检测近处的障碍物（车辆）。在自动驾驶系统中常用于感知车辆近处的障碍物，为换道决策提供感知信息，在ADAS中可用于盲点检测、变道辅助等。3、毫米波雷达原理及应用认知智能网联汽车环境感知技术（2）77GHz频段性能良好的77GHz雷达
26、的最大检测距离可以达到160米以上，因此常被安装在前保险杠上，正对汽车的行驶方向。长距离雷达能够用于实现紧急制动、自适应巡航等ADAS功能，同时也能满足自动驾驶领域对障碍物距离、速度和角度的测量需求。3、毫米波雷达原理及应用认知智能网联汽车环境感知技术图2-3-2为Audi A8的传感器布局，其中，被标注了橙色框的角雷达（Corner radar)和后向雷达（Rear radar）就是频段在24GHz左右的短距离毫米波雷达。被标注为绿色框的(长距离雷达)Long-range radar为频段在77GHz左右的长距离毫米波雷达。图2-3-2 Audi A8的传感器布局 3、毫米波雷达原理及应用认
27、知智能网联汽车环境感知技术（3）79GHz频段该频段的传感器能够实现的功能和77GHz一样，也是用于长距离的测量。根据公式：光速=波长频率（v=f，f=1/T），频率更高的毫米波雷达，其波长越短。波长越短，意味着分辨率越高；而分辨率越高，意味着在距离、速度、角度上的测量精度更高。因此79GHz的毫米波雷达必然是未来的发展趋势。3、毫米波雷达原理及应用认知智能网联汽车环境感知技术三、毫米波雷达的基本组成毫米波雷达系统主要包括：单片微波集成电路（MMIC）芯片、天线印制电路板、收发模块、信号处理模块等，如图2-3-3所示。3、毫米波雷达原理及应用认知智能网联汽车环境感知技术其中，天线板上从上至下分
28、别是10根发射天线TX1，然后是2根发射天线TX2，最后是4根接收天线RX1至RX4。因为近处的视角（FOV）比较大，大概有90度，所以需要更多天线，而远处的视角小，大概只有20度，所以两根天线就够了。图2-3-3 车载毫米波雷达的内部构造图 3、毫米波雷达原理及应用认知智能网联汽车环境感知技术四、毫米波雷达的工作原理调频式连续毫米波雷达（Frequency Modulated Continuous Wave，FMCW）是利用多普勒效应进行障碍物的探测，它通过发射源（天线）向目标发射毫米波信号，并分析发射信号频率和反射信号频率之间的差值，精确测量出目标相对于雷达的距离、运动速度和方位角等信息。
29、3、毫米波雷达原理及应用认知智能网联汽车环境感知技术雷达调频器通过天线发射毫米波信号，发射信号遇到目标后，经目标的反射会产生回波信号，发射信号与回波信号相比形状相同，时间上存在差值。以雷达发射三角波信号为例，发射信号与返回的回波信号对比如图2-3-4所示。图2-3-4 发射信号与发射信号对比图（1）测距原理 3、毫米波雷达原理及应用认知智能网联汽车环境感知技术发射信号与反射信号间的频率差值直接取决于和目标之间的距离。距离越大，则发射信号接收的往返时间越长，并且发射频率与接收频率间的差值越大，如图2-3-5所示。图2-3-5 应用FMCW调制的毫米波雷达测距示意图 3、毫米波雷达原理及应用认知智
30、能网联汽车环境感知技术当目标与雷达信号发射源之间存在相对运动时，发射信号与回波信号之间除存在时间差外，频率上还会产生多普勒位移。例如，当前方车辆快速行驶时，车距加大，由于多普勒效应，反射信号（fD）的频率将变小。这将导致上坡(f1)和下坡(f2)时的频率产生差值。如图2-3-6所示。图2-3-6应用FMCW调制的毫米波雷达测速原理（2）测速原理 3、毫米波雷达原理及应用认知智能网联汽车环境感知技术关于被监测目标的方位角测量问题，毫米雷达的探测原理如图2-3-7所示，通过毫米波雷达的发射天线TX发射出毫米波后，遇到被监测物体反射回来，通过毫米波雷达并列的接收天线RX1、RX2，通过收到同一监测目
31、标反射回来的毫米波的相位差，就可以计算出被监测目标的方位角。图2-3-7 毫米波雷达测量方位角的原理（3）测量方位角原理 3、毫米波雷达原理及应用认知智能网联汽车环境感知技术五、毫米波雷达的应用场景毫米波雷达具有探测性能稳定、作用距离较长、识别精度高、环境适用性好等特点。但毫米波雷达分辨力不高，对行人探测反射波较弱，无法精确识别行人、交通标示符号和信号灯，需与视觉传感器互补使用。为了满足不同探测距离的需要，车内安装了大量的短程、中程和远程毫米波雷达。不同的毫米波雷达在车辆的前部、车身侧面和后部起着不同的作用。3、毫米波雷达原理及应用认知智能网联汽车环境感知技术在2-3-8示意图中，两个后向雷达
32、分别安装在车辆的左侧和右侧尾部，绿色区域为后向雷达探测范围（0.1m-80m）；一个前向雷达安装在前保险杠中间位置，橙色为前向雷达探测范围（1-200m）。图2-3-8 车载毫米波雷达的探测范围图 3、毫米波雷达原理及应用认知智能网联汽车环境感知技术前向雷达和后向雷达广泛应用于智能网联汽车的各类先进辅助驾驶系统（ADAS）上，具体应用见表2-3-1。雷达类型应用前向雷达自适应巡航控制（ACC）、自动紧急制动（AEB）、前向防撞预警（FCW）后向雷达盲点检测（BSD）、变道辅助（LCA）、后方碰撞预警（RPC）、倒车碰撞预警（RCW）、后方十字交通报警（RCTA）、开门报警（DOW）表2-3-1
33、 车载毫米波雷达在智能网联汽车上的应用 3、毫米波雷达原理及应用认知智能网联汽车环境感知技术三种测距方案各具优缺点，将车载激光雷达需具备的5个核心能力作为选型的维度对上述三种测距方法进行了总结对比，见表2-2-1。测距方案探测距离探测精度抗强光能力光功率成本三角法最近近距离精度高远距离精度低不具备低低TOF最远高强适中适中AMCW适中适中适中高适中表2-2-1 激光雷达三种测距方案对比 学习小结1.毫米波雷达是工作在毫米波波段探测的雷达。毫米波波长为110mm，频率为30G-300GHz。毫米波雷达具有探测性能稳定、作用距离较长、识别精度高、环境适用性好等特点。但毫米波雷达分辨力不高，对行人探
34、测反射波较弱，无法精确识别行人、交通标示符号和信号灯，需与视觉传感器互补使用。2.应用在智能网联汽车领域的毫米波雷达主要有3个频段，分别是24GHz，77GHz和79GHz。不同频段的毫米波雷达有着不同的性能和成本。3.毫米波雷达主要由MMIC芯片和天线印制电路板、收发模块和信号处理模块等组成。4.是利用多普勒效应测量得出不同距离目标的速度，它通过发射源向目标发射毫米波信号，并分析发射信号频率和反射信号频率之间的差值，精确测量出目标相对于雷达的距离、运动速度和方位角等信息。5.毫米波雷达广泛应用于自适应巡航控制、前向防撞预警、盲点检测、辅助停车、辅助变道 等先进驾驶辅助系统中。智能网联汽车环境
35、感知技术 超声波雷达原理及应用认知4 学习目标 1.掌握超声波雷达的功用 2.了解超声波雷达的内部结构和工作原理 3.了解超声波雷达传感器的类型 4.了解超声波雷达传感器的特性智能网联汽车环境感知技术 理论知识一、超声波雷达的概念二、超声波雷达的类型三、超声波雷达的基本组成 四、超声波雷达的工作原理五、超声波雷达的应用场景智能网联汽车环境感知技术 4、超声波雷达原理及应用认知智能网联汽车环境感知技术一、毫米波雷达的概念超声波是一种频率高于20kHz的声波（机械波)，它的方向性好，反射能力强，易于获得较集中的声能。超声波雷达是利用超声波的特性研制而成的传感器，可以通过接收到反射后的超声波探知周围
36、的障碍物情况，它可以消除驾驶员停车泊车、倒车和起动车辆时前、后、左、右探视带来的麻烦，帮助驾驶员消除盲点和视线模糊缺陷，提高行车安全性。4、超声波雷达原理及应用认知智能网联汽车环境感知技术如图2-4-1所示，图中用蓝色圆圈画出的区域中即为四个后向超声波雷达。图2-4-1 超声波雷达示意图 4、超声波雷达原理及应用认知智能网联汽车环境感知技术二、超声波雷达的类型车载超声波雷达主要分为UPA和APA两大类。UPA是一种短程超声波，主要安装在车身的前部与后部，检测范围为25cm2.5m，由于检测距离小，多普勒效应和温度干扰小，检测更准确。APA是一种远程超声波传感器，主要用于车身侧面，检测范围为35
37、cm5m，可覆盖一个停车位，方向性强，探头的波传播性能优于UPA，相比于UPA成本更高，功率也更大。4、超声波雷达原理及应用认知智能网联汽车环境感知技术UPA和APA的探测范围和探测区域如图2-4-2所示，图中的汽车配备了前后方向各4个UPA，左右两侧各2个APA。APA的探测距离优势让它不仅能够检测左右侧的障碍物，而且还能根据超声波雷达返回的数据判断停车位是否存在。因此，可用于自动泊车时的泊车库位检测。图2-4-2 UPA和APA探测范围区域示意图 4、超声波雷达原理及应用认知智能网联汽车环境感知技术三、超声波雷达的基本组成超声波雷达主要由发射传感器、接收传感器、控制部分与电源等组成。发射传
38、感器由波发送器与陶瓷振子换能器组成，换能器的作用是将陶瓷振子的电振动能量转换成超能量并向空中辐射；而接收传感器由陶瓷振子换能器与放大电路组成，换能器接收波产生机械振动，将其转化为电能量，作为传感器接收器的输出，从而对发送的超声波进行检测。控制部分主要对发送器发送的脉冲链频率、占空比及稀疏调制和计数及探测距离等进行控制，图2-5-2为超声波雷达内部结构图。4、超声波雷达原理及应用认知智能网联汽车环境感知技术图2-4-3 超声波雷达内部结构图 4、超声波雷达原理及应用认知智能网联汽车环境感知技术四、超声波雷达的工作原理如图2-4-4所示，超声波雷达的工作原理是通过超声波发射装置向外发出超声波，到通
39、过接收器接收到发送过来超声波时的时间差来测算距离。超声波在空气中的传播速度为340m/s，发射点与障碍物表面之间的距离s可以根据计时器记录的时间t进行计算。计算公式如下：s=(t340)/2 4、超声波雷达原理及应用认知智能网联汽车环境感知技术图2-4-4 超声波雷达的工作原理图 4、超声波雷达原理及应用认知智能网联汽车环境感知技术五、超声波雷达的应用场景超声波的能量消耗较缓慢，在介质中传播的距离比较远，穿透性强，测距的方法简单，成本低，但是它在速度很高情况下测量距离有一定的局限性，主要体现在如下几个方面：（1）高速及远距离测量时误差较大（2）温度敏感（3）无法精确描述障碍物位置 4、超声波雷
40、达原理及应用认知智能网联汽车环境感知技术（1）高速及远距离测量时误差较大当汽车高速行驶时，使用超声波测距无法跟上汽车的车距实时变化，误差较大。另外，超声波散射角大，在测量较远距离的目标时，其回波信号会比较弱，影响测量精度。4、超声波雷达原理及应用认知智能网联汽车环境感知技术（2）温度敏感超声波雷达的波速跟温度有关。近似关系如下：C=C0+0.607 TC0为0时的声波速度，T为温度(单位：)。例如，温度在0时，超声波的传播速度为332m/s；温度在30时，超声波的传播速度为350m/s。相同相对位置的障碍物，在不同温度的情况下，测量的距离不同。因此，对传感器精度要求极高的智能网联汽车来说，要么
41、选择将超声波雷达的测距进行保守计算；或者将温度信息引入智能网联汽车系统中，提升测量精度。4、超声波雷达原理及应用认知智能网联汽车环境感知技术（3）无法精确描述障碍物位置超声波雷达在工作时会返回一个探测距离的值，如图2-4-5所示。处于A处和处于B处的障碍物都会返回相同的探测距离d。所以在仅知道探测距离d的情况下，通过单个雷达的信息是无法确定障碍物是在A处还是在B处的。综上分析，超声波雷达在智能网联汽车上主要用于低速、短程的距离测量，比如停车泊车、倒车和起动车辆时。图2-4-5 障碍物位置图 学习小结1.车载超声波雷达是利用传感器内的超声波发生器，产生频率20kHz以上机械波，再由接收探头接收经
42、障碍物反射回来的超声波，根据超声波反射接收的时间差计算与障碍物之间的距离。2.超声波雷达主要由发射传感器、接收传感器、控制部分与电源等组成。3.常见的超声波雷达有两种。一种是安装在汽车前后保险杠上的，也就是用于测量汽车前后障碍物的倒车雷达，业内称为UPA；一种是安装在汽车侧面的，用于测量侧方障碍物距离的超声波雷达，业内称为APA。4.在短距离测量中，超声波测距传感器具有非常大的优势。但超声波雷达有两个特性：一是温度敏感，二是无法精确描述障碍物位置。因此，将超声波雷达引入到智能网联汽车中时，要注意这两个特性，做温度补偿或保守计算。智能网联汽车环境感知技术 视觉传感器原理及应用认知5 学习目标 1
43、.掌握视觉传感器的概念 2.熟悉视觉传感器的主要类型及基本组成 3.了解视觉传感器的主要工作流程 4.了解视觉传感器的应用场景智能网联汽车环境感知技术 理论知识一、视觉传感器的概念二、视觉传感器的类型三、视觉传感器的基本组成四、视觉传感器的工作原理五、视觉传感器的应用场景智能网联汽车环境感知技术 5、视觉传感器原理及应用认知智能网联汽车环境感知技术一、视觉传感器的概念视觉传感器是人工智能的一个分支，起源于20世纪80年代的神经网络技术，通过使用光学系统和图像处理工具等来模拟人的视觉能力捕捉和处理场景的三维信息，理解并通过指挥特定的装置执行决策。视觉传感器是涉及多种技术，包括图像处理、机械工程技
44、术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术等。5、视觉传感器原理及应用认知智能网联汽车环境感知技术二、视觉传感器的类型根据镜头和布置方式的不同，视觉传感器主要包括：单目视觉传感器、双目视觉传感器、三目视觉传感器和环视视觉传感器。此外，红外夜视系统也属于视觉传感器一个独特的分支，图像处理算法在处理远红外夜视图像时中依然能够发挥作用。接下来将分别介绍这五类视觉传感器。5、视觉传感器原理及应用认知智能网联汽车环境感知技术（1）单目视觉传感器如图2-5-1所示，单目视觉传感器模块只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目视觉传感器开发的，因此相对于
45、其他类别的车载视觉传感器，单目车载视觉传感器的算法成熟度更高。图2-5-1 单目车载视觉传感器 5、视觉传感器原理及应用认知智能网联汽车环境感知技术单目视觉有两个先天的缺陷：一是它的视野完全取决于镜头。焦距短的镜头，视野广，但缺失远处的信息。反之亦然。二是单目测距的精度较低。摄像机的成像图是透视图，即越远的物体成像越小。近处的物体，需要用几百甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来。这种特性会导致越远的地方，一个像素点代表的距离越大。因此，对于单目视觉来说，物体越远，测距的精度越低。5、视觉传感器原理及应用认知智能网联汽车环境感知技术（2）双目视觉传感器由于
46、单目测距存在缺陷，双目视觉应运而生，如图2-5-2所示，双目视觉传感器模块包含两个摄像机和两个镜头。相近的两个摄像机拍摄物体时，会得到同一物体在相机成像平面的像素偏移量。有了像素偏移量、相机焦距和两个车载视觉传感器的实际距离这些信息，根据数学换算即可得到物体的距离。5、视觉传感器原理及应用认知智能网联汽车环境感知技术将双目测距原理应用在图像上每一个像素点时，即可得到图像的深度信息，深度信息的加入，不仅能便于障碍物的分类，更能提高高精度地图定位匹配的精度。图2-5-2 双目视觉传感器 5、视觉传感器原理及应用认知智能网联汽车环境感知技术与单目系统相比，双目系统的特点如下：一是成本比单目系统要高，
47、但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；二是没有识别率的限制，因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；三是精度比单目高，直接利用视差计算距离。双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高。5、视觉传感器原理及应用认知智能网联汽车环境感知技术（3）三目视觉传感器由于单目和双目都存在某些缺陷，因此，很多智能网联汽车采用了三目视觉传感器方案。三目视觉传感器是三个不同焦距单目车载视觉传感器的组合。5、视觉传感器原理及应用认知智能网联汽车环境感知技术图2-5-3为特斯拉 AutoPilot 2.0安装在风窗玻璃下方的三目视觉传感器，分别为25
48、视场、50视场、150视场。其中，25视场用于检测前车道线、交通灯，50视场负责一般的道路状况监测，150视场用于检测平行车道道路状况以及行人和非机动车行驶的状况。图2-5-3 特斯拉 AutoPilot 2.0三目视觉传感器 5、视觉传感器原理及应用认知智能网联汽车环境感知技术对车载视觉传感器来说，感知的范围要么损失视野，要么损失距离。三目车载视觉传感器能较好地弥补感知范围的问题。三目摄像头的缺点是需要同时标定三个车载视觉传感器，因而工作量更大一些。其次，软件部分需要关联三个车载视觉传感器的数据，对算法要求也很高。5、视觉传感器原理及应用认知智能网联汽车环境感知技术（4）环视视觉传感器之前提
49、到的三款视觉传感器所用的镜头都是非鱼眼的，环视视觉传感器的镜头是鱼眼镜头，而且安装位置是朝向地面的。某些高配车型上会有“360全景显示”功能，所用到的就是环视摄像机。5、视觉传感器原理及应用认知智能网联汽车环境感知技术如图2-5-4所示，安装于车辆前方、车辆左右后视镜下和车辆后方的四个鱼眼镜头采集图像，采集到的图像与下图类似。鱼眼摄像机为了获取足够大的视野，代价是图像的畸变严重。图2-5-4 鱼眼镜头采集图像 5、视觉传感器原理及应用认知智能网联汽车环境感知技术通过标定值，进行图像的投影变换，可将图像还原成俯视图的样子。然后对四个方向的图像进行拼接，再在四幅图像的中间放上一张车的俯视图，即可实
50、现从车顶往下看的效果，如图2-5-5所示。环视视觉传感器的感知范围并不大，主要用于车身5-10米内的障碍物检测、自主泊车时的库位线识别等。图2-5-5 车载视觉传感器环视效果图 5、视觉传感器原理及应用认知智能网联汽车环境感知技术（5）红外夜视视觉传感器夜间可见光成像的信噪比较低，从而导致视觉传感器夜间成像效果不佳，而红外夜视系统可以弥补光照不足条件下的视觉传感器的缺点。红外夜视系统可分为主动夜视和被动夜视两种类型。5、视觉传感器原理及应用认知智能网联汽车环境感知技术主动夜视系统被动夜视系统是利用近红外光作光源照明目标，如红外LED、红外灯和近红外激光器等，用低照度摄像机或微光摄像机接收目标反
