1、基于自动驾驶仿真及实时交通流仿真的 技术及应用详解 基于自动驾驶仿真及实时交通流仿真的 技术及应用详解 51VR智能驾驶与交通事业部（IVT）介绍 公司智能驾驶与交通事业部近计算机图形学，深度学习，信息工程，车辆工程，交通工程，100人，人才多元：软件工程，电子工程，测试技术，建筑工程，艺术与商务等 中国原创中国原创 工业软件工业软件 通过可视化，仿真与预测技术，实现更安全，更高效，更美好的出行。造更智慧的车建更智慧的路，?1 5 1 V R 智能驾驶与交通事业部（I V T ）介绍 公司智能驾驶 自动驾驶仿真市场及前景分析 自动驾驶仿真市场及前景分析自动驾驶仿真技术近期处于技术的空白需求期
2、主机厂采用的短期过渡方法：?当前过渡，主机厂是沿着ADAS的仿真线路发展的，因此采用传统ADAS软件的组合做为过渡保证现有产品正常开发。例如采用 Pre-Sacn+CarSim+MATLAB/Simulink 或者采用CarMaker+Oktal SCANeR+MATLAB/Simulink联合仿真的 方案。?短期投资，主机厂已经发现过渡方案存在的诸多问题（问题可参见：创新技术发展的必然需求），因此采取投资初创 公司或者联合开发的策略，辅助公司快速的解决算法软件研发的测试环境问题。例如，丰田汽车投资CARLA与 ParallelDomain，大众奥迪汽车与Cognata联合开发，雷诺汽车与仿真
3、企业Oktal联合建立合资公司AVS。?中长期看，必将采用成熟的商业化仿真平台（原因请参见：自动驾驶仿真技术发展周期的判断）。初创公司采用的方法：?基本上初创公司提供的是技术验证样机，核心关注算法软件，因此采用自研方式开发仿真平台。但不管是仿真的系统 全面性，还是仿真开发人员的规模，都只能适配其自身规模需求。仿真软件公司的应对策略：?当前仿真软件没有能够满足软件迭代测试、高级传感器机理模型仿真和离散交通行为模型的系统仿真需求。因此采用 收购小型初创公司的策略来快速建立新能力。例如ANSYS收购OPTIS,西门子收购TASS-PreScan,海克斯康收购MSC收 购VTD。3 自动驾驶仿真技术近
4、期处于技术的空白需求期 主机厂采用的短期过仿真测试必要性 仿真测试的多维性仿真测试的多维性 学习适应性学习适应性*复现应对能力*泛化迁移能力 交通交通协调性交通协调性*内部舒适性 驾驶自治性驾驶自治性 部测 试研*外部协调性*基础性能*全局效率*行驶质量 究所 *单车安全?测试需要考虑多维性：自治能力、学习能力、协调能力 同济 大学 仿真工具链起点 仿真工具 链终点?同济大学熊教授提出测试验证形成虚实结合工具链。V字型模型，以虚拟测试为出发点，?兰德公司研究表明：要证明无人驾驶比普通驾驶更安全，需要在各种交通环境下：100试225辆车，年！24 小时全天，连续测 100台车 24全天小时 耗时
5、 225年 仿真测试必要性 仿真测试的多维性 学习适应性*复现应对能力市场的特征，结构与趋势 市场是什么样的？市场是什么样的？?近年国内外车企等在自动驾驶汽车领域中维持高投入研发。而开发价值链中最重要的两个部分为软件开发和整车集成与测试部分，这两部分都依托于仿真环境计算平台。具备软件在环或模型在环能力的仿真平台可以在虚拟环境下对车辆算法 等已熟 进行大量的虚拟里程测试，确保车辆应对各种场景下的行为都保持在安全的高置信空间内，从而大大减少汽车行业也这个 市场集中面对的是商业用户。悉且必须完成的实际测试里程。仿真环境中所创建的动态场景数据对系统的测试与有效性验证具有核心价值。而当前 潜在目标客户是
6、谁？潜在目标客户是谁？?传统车企（国内OEM，外资），造车新势力（蔚来，拜腾等），电动车企业（Tesla etc.),?出行服务商（滴滴，UBER etc.),?IT company(Google Alphabet Alibaba Baidu etc.)，?供应商（Mobieye，Bosch,Nvidia etc.)?国家检测机构，道路示范区与大学研究机构等（CATARC，SMVIC，CAERI etc.）当前市场的结构如何？当前市场的结构如何？?因为传统的仿真软件不能很好的支持自动驾驶感知决策的开发，故在国际市场近12年出现了多种仿真软件，而其中很多 起源于国外领先企业的内部定制化需求。因为
7、目前国内企业对自动驾驶研发起步晚于国际，所以还没有中国企业开发出有经验的类似仿真软件。国内其需求也较国际市场投资额上较少，时间上也有滞后的效应。由于仿真软件既有构架的通用性，也有参数地域独特性，所以仿真软件的用户是国际用户，也可以扩展至国际市场。2 5 市场的特征，结构与趋势 市场是什么样的？?近年国内外车企等如何针对创新技术新需求做到技术的实现 创新技术发展的必然需求：（新需求）未来是软件算法定义车辆，数据驱动交通与出行。需要处理海量的测试数据与进行软件算法迭代优化的能力。相比于传统的对力学机械电子的机理模型非实时仿真，智能汽车迫切需要对感知真实环境与交通互动行为的系统仿真。智能汽车的仿真是
8、多学科知识交叉应用的领域，机械电子，算法软件，大数据，通讯，汽车与交通，需要融合为一体。实现的可行性：采用分布式的硬件集群架构实现算法软件的大规模并行加速测试。采用自动工具链处理海量案例实现虚拟测试。集中持续投入研发在高精度地图与场景数字化还原、多传感器机理仿真、基于统计模型的交通智能体与动态交通的仿真。解决机器认知真实世界连续与离散的混合特性，并将其在虚拟世界仿真现实系统的完整相关有序与动态。*IVT事业部人才团队具备复合型与交叉型的专业知识结构特征，包含软件工程学科，计算机图形学科，数学与应用数据，人工智能与信息处理，车辆工程学科，交通管理学科，电子科学与技术等。*更多软件信息参见：自动驾
9、驶仿真的挑战与解决方案 51Sim-One自动驾驶仿真测试平台介绍 6?如何针对创新技术新需求做到技术的实现 创新技术发展的必然需求中国社会发展的需求与产品服务能力高度的契合 中国社会发展的必然需求：?随着我国在人工智能技术，物联网与大数据应用的发展与融合，汽车由“功能性”进化到“智能性”。未来智慧交通与出行必然依赖于本地化的海量数据服务。?中国政府实施制造强国战略，支持产业的共性技术研发，必然要掌握核心技术。?国家对智能汽车作为产品安全属性的质量监管，依赖于自主可控而准确的检测手段。产品服务的契合点：?实时仿真平台承载智能汽车产品与出行服务的全生命周期数据，根据大数据可以对社会整体的交通进行
10、预测与安排。?仿真测试能力是我国自动驾驶车辆测试和试验的基础关键技术，是未来定义车辆开发与行业准入技术标准的基础工具。?仿真测试将成为汽车质量认证与产品质量召回的一种强制性检验工具。7 中国社会发展的需求与产品服务能力高度的契合 中国社会发展的必51Sim-One产品与客户需求匹配 自动驾驶系架功能定义测试与验证 XiL 自动驾驶算法开发 感知与车辆配置选型 产品系列Sim-One 典型用途 设计与测试传感器 自动驾驶系统评价 机器学习训练数据生成 交通仿真出行与 8 5 1 S i m-O n e 产品与客户需求匹配 自动驾驶系架功能定义测自动驾驶仿真研究方面引起德国政府机构关注 多次接受德
11、国经济能源部、德国交通和数字基础设施部、德国大使馆参赞的访问交流；同时也多次对德国客户进行商务访问。自动驾驶仿真研究方面引起德国政府机构关注 多次接受德国经济能产品与解决方案/典型客户与伙伴 客户市场：主机厂，检测机构与示范区，智慧交通与城市规划 仿真平台软件 自动驾驶仿真平台 Sim-One 地图编辑器 仿真数据集 仿真场景库 Sim-One Data Plus 图像算法训练与测试数据集 点云算法训练与测试数据集 交互驾驶展示系统 自动驾驶多车协同测试系统 系统解决方案 DMS设备测试系统 Sim-One Solution Kits 自动驾驶汽车安全员驾驶训练平台 行人在环测试系统 摄像头在
12、环测试系统 驾驶模拟器 智慧交通管理系统 Sim-One ITS ManagementSystem 智慧交通检测分析管理系统 10 产品与解决方案/典型客户与伙伴 客户市场：主机厂，检测机 自动驾驶仿真技术及应用 自动驾驶仿真技术及应用自动驾驶仿真测试技术及应用 仿真测试 自动驾驶仿真测试环境搭 自动驾驶仿真 软件现状 建技术方案 测试应用 部件，仿真测 实现自 自动驾 试方法 典型仿 仿真系 系统与 驶仿真 51Sim-总体介 真软件 场景库 统总体 虚拟环 传感器 车辆动 场景库 数据来源与处 计算构 整车硬 动驾驶 测试的 One仿 真软件 绍 介绍 境构建 仿真 力学仿 真 构建 理
13、架 件在环 算法的 测试方 仿真测 验证与 法 试方法 精度问 操作演 题 示 12 自动驾驶仿真测试技术及应用 仿真测试 自动驾驶仿真测试环境搭仿真的定义与工程应用 使用计算机来计算物理现象的结果，以替代物理实验。1.2.构建一个包含物理模型参数的数学模型（建模）3.使用计算机以虚拟形式表示物理模型（编程）4.设定想要在物理模型上进行实验的条件（设想）计算这些条件在数学模型上的结果（运算）1960年代我国研制氢弹的J-501电子管自算计 图片来自于网络 冲击动力学仿真的行业典型应用 图片来自于网络 13 仿真的定义与工程应用 使用计算机来计算物理现象的结果，以替代自动驾驶汽车如何评价 自动驾
14、驶汽车如何评价 人-车-路的测试评价体系 测试评价体系 交通运行效率 车辆运行功能 车内外人机交互 交 通 交 通 总 体 通 流与交 车联 符合效 率 能 耗 的 融 安 全 网 V2X 道路 驾驶环境感驾驶交通洽度 辅助安全 任务 识 决知 策行 执 为 行 运 别 动 与 员满 参与 能力 法规 达成 意度 者满 意度 15 人-车-路的测试评价体系 测试评价体系 交通运行效率 车辆运基于交通事故案例的自动驾驶安全测试 功能介绍：?在虚拟环境中，基于真实情况重现事 故案例，接入自动 驾驶系统模型，对 L3/L4系统配置进行有效级安全功能与性测试与验证。特点：?支持GIDAS format
15、?支持高精度地图?支持天气改变?支持场景参数泛化?支持案例连续测试 16 基于交通事故案例的自动驾驶安全测试 功能介绍：?在虚拟环境行人行为预测与风险评估研究 功能介绍：?为研究行人在事故中的真实行为，建立行人通过路口的 虚拟场景。被测人员通过头显与音效设备获得沉浸式VR 的环境感知。通过动作捕捉设备与其他肌电信号采集器，研究人员记录并分析行人在危险情况下的应激行为特征，进行行人行为的预测与风险评估。特点：?1：1虚拟空间与沉浸式体验?集成运动生理信息采集设备?案例参数的自动半自动触发 17 行人行为预测与风险评估研究 功能介绍：?为研究行人在事故中智慧交通与网联技术下的实时数据驱动环境 功能
16、介绍：?通过对交通摄像头信号数据结构化提取，实时 生成目标物，通过虚拟 仿真实现交通流的可视 化呈现；对交通微观行 为数据进行分析、追踪 及归档。特点：?支持场景自动还原?危险案例自动提取?超视距时空交通管理 18 智慧交通与网联技术下的实时数据驱动环境 功能介绍：?通过对基于驾驶员行为的自动驾驶安全测试 功能介绍：?同时接入多个自动驾驶算法驱动车辆和驾驶员 手动驾驶车辆进入同一 虚拟环境，由驾驶员手 动驾驶干预主车，生成 指定与随机的危险案例。对自动驾驶系统模型进行测试与验证，对驾驶 行为与案例进行记录与 分析。特点：?接入多驾驶设备?案例创建与行为记录?支持自动驾驶体验 19 基于驾驶员行
17、为的自动驾驶安全测试 功能介绍：?同时接入多个0 自动驾驶仿真测试软件现状 仿真测试 软件现状 自动驾驶仿真测试环境搭 建技术方案 自动驾驶仿真 测试应用 部件，系统 与整 车硬 件在 环测 试方 法 实现 自动 驾驶 算法 的仿 真测 试方 法 自动 驾驶 仿真 测试 的验 证与 精度 问题 仿真 测试 典型 场景 方法 仿真 库 总体 软件 介绍 仿真 系统 总体 介绍 虚拟 环境 构建 传感 器仿 真 车辆 动力 学仿 真 场景 库构 建 数据 来源 与处 理 计算 构架 51Si m-One 仿真 软件 操作 演示 0 自动驾驶仿真测试软件现状 仿真测试 软件现状 自动驾驶仿自动驾驶仿
18、真的根源 变化之一：测试评价内容变化变化之一：测试评价内容变化 主要评价机器的执行能力主要评价机器的执行能力 变化之二：测试评价工况变化变化之二：测试评价工况变化 明确的测试工况明确的测试工况 变化之三：测试评价工具链变化变化之三：测试评价工具链变化 传统测试软件与测试装备传统测试软件与测试装备 脚踏板脚踏板 方向盘方向盘 换挡器换挡器 主要评价机器的感知与决策能力主要评价机器的感知与决策能力 多样化交通场景测试多样化交通场景测试 全新的测试工具链全新的测试工具链 体现出了测试评价内容变化、测试评价工况变化、测试评价工具链变化三大不同体现出了测试评价内容变化、测试评价工况变化、测试评价工具链变
19、化三大不同 多样化的交通场景将成为自动驾驶测试中的核心要素多样化的交通场景将成为自动驾驶测试中的核心要素 21 自动驾驶仿真的根源 变化之一：测试评价内容变化 主要评价机器自动驾驶仿真的紧迫性 目前针对研发的技术准备前置性特点，当前正是开发与测试能力的关键构建期。迫切需要建立仿真能HWC，TJC，A VP等自动驾驶功能，各车厂规划2020-2025间落地。由于汽车产品 力减少未来新技术应用对产品安全带来的风险挑战。模型成熟度 认证与使用 零部件与系统集成的安整车工程验证 全 上 架构设计与路 功能指标 汽车产品生命周期 仿真使用强度 22 自动驾驶仿真的紧迫性 目前针对研发的技术准备前置性特点
20、，当前自动驾驶仿真的紧迫性 自动驾驶仿真的紧迫性 自动驾驶仿真的必要性 道路车辆功能安全安全驾驶功能提出了更高的安全要求，仿真 ISO 26262/等规范均对预期功能 ISO/PAS 21448L1-L4 是支撑车辆安全落地必不可少的研发工 具。24 自动驾驶仿真的必要性 道路车辆功能安全安全驾驶功能提出了更高仿真平台，场景库与开发流程 真实场景 数据 仿真场景 数据 需求与功能 定义 系统构架与 算法开发等 仿真平台 实车封闭 工况测试 仿真需求定义 实车 道路测试 25 仿真平台，场景库与开发流程 真实场景 数据 仿真场景 数据 仿真平台，场景库与开发流程 根据设计运行仿真计算与仿真测试
21、范围设定场景 与参数空间 矩阵式场景 结果输出 评价准则 综合评价 仿真验证 测试场景库 实车封闭测试 测试场景选择 实车测试与结果输出 实车道路测试 道路测试结果输出 危险场景 26 仿真平台，场景库与开发流程 根据设计运行仿真计算与仿真测试 系统实验与验证下的仿真工具 虚拟仿真测试（可！SiL/HiL/ViL）与实车验证互为补充，缺一不 测试对象与 功能需求 实验设计 模型简化 误差分析 总体评价 观测数据 实验测试 解决方案 仿真测试 仿真数据 实车测试工况 仿真覆盖工况 ODD测试原理示意图 27 运行范围系统实验与验证下的仿真工具 虚拟仿真测试（可！S i L/H i L自动驾驶仿真
22、的挑战与解决方案 挑战：系统构成复杂，工作环境复杂，迭代周期缩短 L5 环境场景仿真交通流仿真 仿真对象仿真对象 传感器仿真 L2 电器仿真 动力学仿真机械仿真 热力学仿真 L0 时间时间 1970 1990 2010 2020 理想的自动驾驶仿真特性理想的自动驾驶仿真特性 信息模型 满足系统特征 整体性混合模型 相关性 有序性 动态性 机理模型 28 自动驾驶仿真的挑战与解决方案 挑战：系统构成复杂，工作环境复Waymo Carcraft?代表了世界领先水平的Waymo无人车，一个核心的秘密就是它的Carcraft仿真器，它是 Waymo的无人车每年能够行驶几十亿英里的关键。?Carcraf
23、t算法的改进，发现新的问题，还可以构建全新的虚拟场景进行测试。可以为每个新软件版本使用在真实世界里驾驶的回放数据进行测试，用来验证?每天有试最大的优势是可以快速重复测试一些现实中不常发生但却很重要的场景，和构建大25000辆虚拟Waymo无人车在模拟器中行驶八百万英里以上的里程。模拟仿真测 量的衍生场景，从而对无人驾驶算法进行更充分的测试。Carcraft的案例衍生机制 29 Wa y m o C a r c r a f t?代表了世界领先水平的Wa y m百度百度Apollo?百度Apollo服务。系统的开发和迭代，一方面为仿真平台作为百度Apollo平台的一个重要组成部分，一方面用来支撑内
24、部 Apollo Apollo生态的开发者提供基于云端的决策系统仿真?Apollo本在云端进行仿真测试。仿真平台是一个搭建在百度云和路和障碍物构成的场景，可以作为单元测试简单高效的测试自动驾驶车辆，Apollo仿真场景可分为Azure的云服务，可以使用用户指定的sim和Logsim。sim是由人为 预设的道Apollo版 是由路测数据提取的场景，真实反映了实际交通环境中复杂多变的障碍物和 而Logsim。交通状况?Apollo为和舒适度等方面对自动驾驶算法做出评价。仿真平台也提供了较为完善的场景通过判别系统，可以从交通规则，动力学行 Apollo仿真平台的回放案例 30 百度A p o l l
25、 o?百度A p o l l o 服务。系统的开发和迭代，CARLA?CARLA系统的开发、训练和验证。是由西班牙巴塞罗那自治大学计算机视觉中心指导开发的开源模拟器，用于自动驾驶Carla依托虚幻引擎进行开发，使用服务器和多客户端的架构。?在场景方面辆）以及几个由这些资源搭建的供自动驾驶测试训练的场景。同时，,CARLA提供了为自动驾驶创建场景的开源数字资源（包括城市布局、建筑以及车CARLA也可以使用 VectorZero器。的道路搭建软件RoadRunner制作场景和配套的高精地图，并提供了简单的地图编辑?CARLA可以调节环境的光照和天气。可以支持传感器和环境的灵活配置，它支持多摄像头，
26、激光雷达，了一整套的CARLA提供了简单的车辆和行人的自动行为模拟，也同时提供GPS等传感器，也 统进行联合仿真，完成决策系统和端到端的强化学习训练。Python接口，可以对场景中的车辆，信号灯等进行控制，用来方便的和自动驾驶系 通过Python接口对CARLA中的车辆进行控制 31 C A R L A?C A R L A 系统的开发、训练和验证。是由西班牙巴AirSim?AirSim 动驾驶模拟研究项目。最新的是微软研究院开源的一个建立在虚幻引擎（Unreal Engine）上的无人机以及自 持。AirSim也提供了Unity引擎的版本，添加了激光雷达的支?AirSim环境的能力，可以模拟阴
27、影、反射等现实世界中的环境，以及虚拟环境可以方便产生实现为一个虚幻引擎的插件，它充分利用了虚幻引擎在打造高还原的逼真虚拟 大量标注数据的能力，同时提供了简单方便的接口，可以让无人机和自动驾驶的算法 接入进行大量的训练。算机视觉和自主车辆的端到端的强化学习算法。AirSim的主要目标是作为AI 研究的平台，以测试深度学习、计 AirSim提供了深度图，RGB图和场景分割真值 32 A i r S i m?A i r S i m 动驾驶模拟研究项目。最新的是微VIRES VTD?VTD驾驶的完整模块化仿真工具链。（Virtual Test Drive）是德国运行于VIRESVIRES 已经于公司开
28、发的一套用于2017年被MSC软件集团收购。ADAS，主动安全和自动VTD目前 简单和物理真实的传感器仿真、场景仿真管理以及高精度的实时画面渲染等。可以支Linux平台，它的功能覆盖了道路环境建模、交通场景建模、天气和环境模拟、持从 工具和插件联合仿真。SIL到HIL和VIL的全周期开发流程，开放式的模块式框架可以方便的与第三方的?VIRES要贡献者，也是广泛应用的自动驾驶仿真开放格式OpenDrive,OpenCRG和OpenScenario建，动态场景配置，仿真运行三个步骤组成。VTD的功能和存储也依托于这些开放格式。VTD的仿真流程主要由路网搭的主 VTD的场景编辑器 33 V I R
29、E S V T D?V T D 驾驶的完整模块化仿真工具链。（VPreScan?PreScan是由Tass International研发的一款ADAS测试仿真软件，2017年8月被西门子收购。PreScan 是一个模拟平台，由基于 GUI 的、用于定义场景的预处理器和用于执行场景的运行环境构成。工 程师用于创建和测试算法的主要界面包括 MA TLAB 和 Simulink。?PreScan 可用于从基于模型的控制器设计 (MIL)到利用软件在环(SIL)和硬件在环(HIL)系统进行的实时测试等应用。PreScan 可在 开环、闭环以及离线和在线模式下运行。它是一种开放型软件平台，其灵活的界面
30、可连接至第三方的汽车动力学模型（例如：CarSIM 和 dSPACE ASM）和第三方的 HIL 模拟器/硬件（例如：ETAS、dSPACE 和 Vector）。PreScan的仿真流程?Prescan由多个模块组成，使用起来主要分为四个步骤:搭建场景、添加传感器、添加控制系统、运行仿真。34 P r e S c a n?P r e S c a n 是由T a s s I n t e r n aCarSim?CarSim,还有相关的TruckSim和BikeSim是Mechanical Simulation 公司 开发的强大的动力学仿真软件，被世界各国的主机厂和供应商所广 泛使用。?CarSi
31、m 自带标准的Matlab/Simulink接口，可以方便的与 Matlab/Simulink进行联合仿真，用于控制算法的开发，同时在仿真时 可以产生大量数据结果用于后续使用Matlab或者Excel进行分析或可 视化。CarSim同时提供了RT版本，可以支持主流的HIL测试系统，如dSpace和NI的系统，方便的联合进行HIL仿真。?CarSim也有ADAS相关功能的支持，可以构建参数化的道路模型，200个以上的运动的交通物体，使用脚本或者通过Simulink外部控制 它们的运动，同时添加最多99个传感器，对运动和静止的物体进行 检测。最近的CarSim版本在ADAS和自动驾驶开发方面进行了
32、加强，添加了更多的3D资源，如交通标识牌，行人等，以及高精地图的导 入流程。CarSim的运行界面 35 C a r S i m?C a r S i m,还有相关的T r u c k S i m 和IPG-CarMaker?Carmaker，还有相关的TruckMaker和MotorcycleMaker是德国IPG公司推出的动力学，ADAS准的车辆本体模型（发动机、底盘、悬架、传动、转向等），除此之外，和自动驾驶仿真软件。Carmaker首先是一个优秀的动力学仿真软件，提供了精打造了包括车辆，驾驶员，道路，交通环境的闭环仿真系统。Carmaker还?CarMaker作为平台软件，可以与很多第三
33、方软件进行集成，如ADAMS、A VL Cruise、rFpro的板卡接口，可以方便的与等，可利用各软件的优势进行联合仿真。同时ECU或者传感器进行HILCarMaker测试。配套的硬件，提供了大量 CarMaker正在运行仿真测试 36 I P G-C a r Ma k e r?C a r m a k e r，还有相关的T r江苏智能网联汽车创新中心场景库 37 江苏智能网联汽车创新中心场景库 3 7 江苏智能网联汽车创新中心场景库 场景数据服务场景数据服务?路侧真实场景库路侧真实场景库?潜在危险场景库潜在危险场景库?违章场景库违章场景库 定制化场景库服务定制化场景库服务?分级的场景库分级的
34、场景库 加速测试服务加速测试服务?按需定制场景库按需定制场景库 场景挖掘服务场景挖掘服务?加速测试工具加速测试工具?车端场景挖掘工具车端场景挖掘工具?路侧场景挖掘工具路侧场景挖掘工具?多种加速模型多种加速模型 测试工具链服务测试工具链服务?多种传感器信息挖掘多种传感器信息挖掘?仿真测试系统仿真测试系统?传感器测试装备传感器测试装备?场景在环测试装备场景在环测试装备 38 江苏智能网联汽车创新中心场景库 场景数据服务?百度百度Apollo场景库场景库?百度Apollo仿真场景分为sim和Logsim。sim是由人为预设的障碍物行为和交 通灯状态构成的场景，可以简单高效的测试自动驾驶车辆，但缺乏真
35、实交通环境中复 杂的情况；Logsim是由路测数据提取的场景，提供复杂多变的障碍物行为和交通状况，使场景充满不确定性。?目前提供约200个场景，包括：道。?基于不同的路型，包括十字路口、调头、直行、三叉路口、弯?基于不同的障碍物类型，包括行人、机动车、非机动车及其他。并道?基于不同的道路规划，包括直行、调头、变道、左转、右转、。?基于不同的红绿灯信号，包括红灯、黄灯、绿灯。39 百度A p o l l o 场景库?百度A p o l l o 仿真场景分为s i m自动驾驶仿真测试环境搭建技术方案 仿真测试 自动驾驶仿真测试环境搭 自动驾驶仿真 软件现状 建技术方案 测试应用 部件，实现 自动
36、仿真 仿真 车辆 系统 自动 驾驶 51Si 测试 典型 数据与整 驾驶 仿真 m-One 方法 仿真 场景 系统 虚拟 传感 场景 车硬 算法 测试 总体 软件 库 总体 环境 器仿 动力 库构 来源 计算 件在 的仿仿真 的验 介绍 构建 真 学仿 建 与处 构架 环测 真测软件 介绍 真 理 证与 操作 试方 试方 精度 演示 法 法 问题 40 自动驾驶仿真测试环境搭建技术方案 仿真测试 自动驾驶仿真测试仿真系统总体介绍 41 仿真系统总体介绍 4 1 仿真系统总体介绍 42 仿真系统总体介绍 4 2 仿真系统搭建方案 高清地图+拟真环境 连续交通流 智能体对手车模型 道路环境自动生成
37、与编辑道路环境自动生成与编辑 动态场景转换与交通模型动态场景转换与交通模型 测试场景 参数驱动的衍生案例集 场景库与训练集场景库与训练集 传感器与车辆仿真传感器与车辆仿真 数据分析与计算数据分析与计算 传感器 车辆动力学 算法接入 分布并行计算 结果回放与报告生成 443 53 43 仿真系统搭建方案 高清地图+拟真环境 连续交通流 智能体对手仿真产品具备的特性 MATRIX Massive 大规模大规模 可承载单一数十平方公里的 城市级场景，并支持数千辆 交通背景车的随机行驶。可 以并行处理大量的车侧和路 侧数据。Rapid 加速并行加速并行 采用分布式的硬件集群架构，GPU/CPU 算力优
38、化，实现无 人驾驶算法的大规模并行加 速测试。Accuracy 高精度高精度 解决机器认知真实世界的物理与运 动特性的问题。实验采集场景，物 理特性，行为数据，建立高精度仿 真场景，传感器模型与智能体模型。Integrated 集成集成 集成业界优秀的车辆动力学仿真，自动驾驶和车辆开发测试的软硬件 工具链。Truth 真实真实 贴近于真实世界的场景效果，天气 现象，采用动态交通与事故案例自 动处理工具链，实现相似极端案例 的自动化生成。X 广泛兼容性广泛兼容性 OpenDrive 格式静态高精度地图，未来的OpenScenario 格式动态场景 案例库数据进行转换的能力，以及 其他兼容和扩展能
39、力。44 仿真产品具备的特性 MA T R I X Ma s s i v e 大规模 可虚拟环境构建?通过配备据采集车，获得道路的地理坐标位置，环境GPS，激光雷达和全景摄像机的数 点云数据与街景建筑的全景拼接照片。?使用地图编辑工具，建立道路的精地图，并能够反映真实道路高程变化，用OpenDrive高 于车道级别的定位参考。道路实现厘米级的 还原，包含路面，道路标线，交通标牌，信 号灯等信息。?使用三维建模软件，建立基础设施与周边环境的可视化数字模型，组成示范区整体的三 维可视化场景。?基于表现不同天气，包含晴天，多云，阴雨，雾UE4的图形渲染引擎，可视化场景可以 天，不同时间的光影变化，如
40、早晨，正午，傍晚，夜晚。实现光影，反光，积水，夜间 照明等细节效果。45 虚拟环境构建?通过配备据采集车，获得道路的地理坐标位置，环高精地图精度分析?内业数据处理过程 内业数据处理是对外业获取数据进行处理，该过程主要包括：激光数 据预处理、影像数据纠正、组合导航数据解算、点云数据融合、彩色点云 生成、矢量编辑等。点云数据 编辑矢量 46 高精地图精度分析?内业数据处理过程 内业数据处理是对外业获高精地图精度分析?精度保证 1.组合导航数据精度保证 使用专业组合导航软件来处理导航数据，软件具有GPS差分解算、POS松组合解算、POS进组合 解算、数据融合、数据平滑等功能。数据解算轨迹 导航数据精
41、度评估 47 高精地图精度分析?精度保证 1.组合导航数据精度保证 使用高精地图精度分析?精度保证 2.点云数据生成精度保证 点云数据生成前，硬件设备均经过精确标定，为后期高精度激光点云的生成提供保证。在GPS信号良好 的情况下，数据可以达到平面2cm，高程5cm的绝对精度。多趟点云数据匹配 48 高精地图精度分析?精度保证 2.点云数据生成精度保证 点云高精地图精度分析?精度保证 3.矢量提取精度保证 矢量自动提取包括两个过程：一级模型提取和二级模型提取，一级模型是在对点云进行构件提取、自动探面、探线、提取特征线并矢量化；二级模型是在一级模型的基础上得到具有现实意义的实体。在自动提取矢量要素
42、基础上，Editor提供了多样高效的矢量编辑命令，方便用户进行编辑检查 操作，最终生成高精地图。经统计，数据绝对精度在20厘米内，相对精度在10厘米内。自动提取矢量结果 编辑矢量结果 全局高精地图俯视成果 49 高精地图精度分析?精度保证 3.矢量提取精度保证 矢量自传感器仿真 传感器仿真的模型和参数来源于真实传感器，仿真结果使用真实传感器数据作对比验证，使用深度学习训练和测试作 SIL评价，使用真实传感器在环作HIL评价。真实传感器 模型和参数 传感器仿真 验证和评价 摄像头 参数标定传感器 激光雷达 数据对比验证真实传感器 毫米波雷达 深度学习评价仿真数据集 传感器数据分析和数学建模 超声
43、波雷达 GPS、IMU 硬件在环评价传感器 V2X 50 传感器仿真 传感器仿真的模型和参数来源于真实传感器，仿真结果摄像头仿真?摄像头仿真的思路为，基于环境物体的几何空间信息构建对象的三维模型，并根据物体的真实材质与纹理，通过计算机图形学对三维模型添加颜色与光学属性等。一般会使用引擎来实现。摄像头仿真则通过坐标系转换的方法，将三维空间中的点通过透视关系变换为图像上的点。之Unreal Engine或者Unity等基于物理的渲染 后，还需要对相机镜头的结构与光学特性，内部数据采集过程进行仿真，例如焦距，畸变，亮度调节，色调的调整等。Gamma调节，白平衡调节，色彩空间，景深，高动态范围(HDR
44、)?摄像头仿真每一帧的原始数据一般可以使用系统，一般可使用H264压缩成视频流，减少传输带宽。RGB或YUV来表示。如需把仿真结果通过网络实时传给自动驾驶?摄像头仿真需要障碍物的真值信息，包括位置、朝向、包围盒、速度和类型等。除了对象检测，摄像头的仿真结果也会被用来训练其他计算机视觉算法，包括目标跟踪和语义分隔等。摄像头仿真的真值图、深度图、语义分隔图、实例分隔图 51 摄像头仿真?摄像头仿真的思路为，基于环境物体的几何空间信息激光雷达仿真?激光雷达仿真的思路是参照真实激光雷达的扫描方式，模拟每一条真实雷达射线的发射，与场景中所有物体求交。激光雷达的仿真结果，包括带反射强度的点云和障碍物真 值
45、信息 会通过局域网传输给自动驾驶系统。(位置、朝向、包围盒大小、速度和类型等等),一般?激光雷达反射强度跟不同物理材质对激光雷达所使用的近红外光线反射率有关。反射强度受到障碍物距离、激光反 射角度以及障碍物本身的物理材质影响。仿真时需要给场 景资源设置合适的物理材质，包括各种道路，人行道，车 道线，交通牌，交通灯，汽车，行人等。每一种物理材质 的激光反射率都不相同。可以使用仪器提前测得每一种物 理材质的激光反射率，并记录下来。可以参照某些真实激 光雷达的做法，将最终反射强度归一化到0255。仿真软件中的激光雷达仿真结果示例 52 激光雷达仿真?激光雷达仿真的思路是参照真实激光雷达的扫描方毫米波
46、雷达仿真?毫米波雷达仿真一般会根据配置的视场角和分辨率信息，向不同方向发射一系列虚拟连续调频毫米波，并接收目标的反射信号。不同车辆的雷达回波强度 可使用微表面模型能量辐射计算方式，由车辆模型 以及车辆朝向、材质等计算。?同一个障碍物会被多个调频连续波探测到。对于毫米波雷达目标级仿真，则可以根据障碍物的径向距 离、距离分辨率和角度分辨率等信息对同一个障碍 物的点进行聚类并返回最终仿真结果。?毫米波雷达仿真一般需要支持更改毫米波雷达安装位置，角度，探测距离，探测角度，角度和距离分 辨率、噪声参数等。对于某些兼有长距和中距探测 功能的毫米波雷达，仿真时则需要同时支持两者的 参数设置。53 毫米波雷达
47、的水平探测范围示例，以及目标级聚类结果毫米波雷达仿真?毫米波雷达仿真一般会根据配置的视场角和分辨其他传感器仿真?GPS等。仿真：需要支持更改 GPS位置以及GPS噪声模型参数。可以返回主车的经纬度，速度，航向?IMU主车的位置，速度和航向的累积误差。这对于一些隧道场景的仿真尤为重要。仿真：需要支持对主车的加速度和角速度进行仿真。IMU仿真同时需要模拟 GPS信号丢失时?超声波雷达仿真：需要支持更改超声波雷达安装位置、角度，并且实时返回障碍物的距离。?V2X际主车每一帧都会实时获取到当前感兴趣的V2X传感器仿真：拥有上帝视角的仿真场景天然适合设备部署信息建立一个虚拟的传感器网，动态交通流的车载V
48、2X的目标级仿真。仿真环境一般会按照实 仿真一般通过实时系统来实现。V2X设备数据。针对LTE-V/DSRCOBU信息也会在这个网络中。通信延时或丢包的 54 其他传感器仿真?G P S 等。仿真：需要支持更改 G P S 位置以车辆动力学仿真?车辆动力学是指车辆方面的动力学，它是基于经典力学的一种工程应用。根据驾驶输入辆在道路上的反应。,它研究车?在自动驾驶仿真系统中，车辆动力学仿真是实现系统闭环不可或缺的部分。仿真端接收自动驾驶系统控制模块给出的控制信号，主要包括油门、刹车、方向盘、档位等，产生更新后的车辆位姿 状态和底盘总线参数，输出给自动驾驶的各个模块。除了模拟车辆整体的行为，在测试助
49、自动驾驶时，也可以接入车辆的各个模块，例如转向、动力传动、制动等进行直接的控制。L2、L3 辅 55 车辆动力学仿真?车辆动力学是指车辆方面的动力学，它是基于经车辆动力学仿真?真实模拟车辆运行时姿态和运动参数?输入：车辆控制参数（油门/刹车/转向）?输出：车辆速度/加速度/转角/角速度/角加速度/轮速/悬架姿态等?完整的车辆组件模型?十自由度车辆模型?发动机动力模型?离合器/液力变矩器/自动变速箱?悬挂模型?轮胎模型 56 车辆动力学仿真?真实模拟车辆运行时姿态和运动参数?输入：场景6层模型 57 场景6 层模型 5 7 数据来源与处理 环境感知环境感知 环境感知环境感知 驾驶行为导入驾驶行为
50、导入 道路传感器道路传感器 车载传感器车载传感器 驾驶模拟器驾驶模拟器 AI智能体智能体/交通仿真交通仿真 参数泛化参数泛化 104-7 个个数字化案例数字化案例 109 案例数量案例数量 58 10案例数量案例数量数据来源与处理 环境感知 环境感知 驾驶行为导入 道路传感器视觉分析技术在场景挖掘中的应用 59 视觉分析技术在场景挖掘中的应用 5 9 动态场景构建方法 一、基于真实交通案例数据构建?通过各类传感器采集动态交通信息，经处理后置入仿真场景中。?构建或选择符合场景静态环境的地图及道路。然后将原始轨迹数据预处理成仿真平台坐标系下的标准原始数据，然后用自动化工具转成平台标准案例格式数据，
