融合实景点云与虚拟仿真的路侧感知设备优化布设方法

技术领域

本发明涉及感知型传感器优化布设技术领域，具体是融合实景点云与虚拟仿真的路侧感知设备优化布设方法。

背景技术

路侧协同感知设备是未来智能交通系统的重要组成。一方面，路侧感知系统可以通过多传感器的协同工作对道路交通场景流进行感知，获取高精度的交通运行信息，为实时交通风险预判与管控提供基础数据。另一方面，在车路协同系统中路侧感知系统可有效补充车辆感知盲区，为智能汽车的决策提供更完整的场景信息。

与传统的视频监控设备不同，路侧协同感知设备可以通过无线通讯技术，如基于5G蜂窝网络的C-V2X、专用短程通讯DSRC等实现数据的互通，并且传感器获取的数据可以统一到同一个坐标空间，实现对交通场景的全息感知。目前路侧协同感知设备主要为雷视融合一体机或者激光雷达。虽然路侧协同感知设备可通过多视角数据的融合提升交通感知的精度，但是路侧感知设备成本较高，并且随着感知设备数量的增加，数据吞吐量则会随着提升，对算力资源的要求也更高，在此背景下路侧协同感知设备的优化布设已成为当前智能交通领域研究的新兴技术问题之一。

现有交通领域内感知型传感器的优化布设技术主要聚焦在宏观的路网尺度，传感器布设位置的精度在100米～1000米数量级，主要的目的是期望在宏观尺度上优化传感器的位置部署以实现对宏观路网交通信息的观测与推断。与之不同，路侧协同感知主要面向比较重要的道路交叉口或者路段，因此路侧协同感知设备的优化布设需要解决的是局部空间尺度下感知设备的布设的位置、传感器的姿态角度问题，布设位置精度在1厘米～1米的数量级，姿态角设置精度在1度～5度数量级。主要的目标是通过在局部空间范围内优化感知设备的位置与角度等参数，实现对关键区域内的微观交通信息的全面与准确获取，本发明所的针对的是面向微观交通监测的感知型传感器优化布设。

在微观空间尺度下影响路侧感知设备工作效果的主要是障碍物的遮挡。具体而言，路侧的静态障碍物(如建筑立面)与动态的障碍物(公交车体)都会对路侧感知系统造成感知盲区，进而影响路侧感知设备对动态交通场景的监测。

现有技术方案可以分为两类：基于虚拟仿真与基于实景数据驱动。

虚拟仿真平台中可以配置交通参数来模拟不同的交通流运行场景，并且通过仿真平台的联合(如Carla[1]与Sumo[2]的联合)，可以模拟路侧感知设备对交通流的感知。目前基于虚拟仿真的技术方案可进一步分为两类：直接方法与间接方法。直接方法即以路侧感知设备的布设参数为决策变量，通过调用仿真平台中传感器模型直接得到在特定参数下的感知效果指标，并以提升感知指标为目标函数，推进对路侧感知设备的优化布设[3]。间接的方法则是通过大量的仿真，建立在不同交通运行场景条件下路侧感知设备布设参数与评价感知效能指标之间的关系模型[4]。以关系模型为基础，以提升感知效能为目标推进路侧感知设备的优化配置。

基于仿真的技术方案的主要缺点是仿真场景与现实场景的差异性，导致路侧感知设备的优化布设结果不能良好地响应实际的需求。而要在虚拟仿真平台上复刻现实道路交通环境需要耗费大量的人力与时间，成本较高。

因此，基于实景数据驱动的技术方案则提出以三维实景数据作为道路环境的数字化表征，在此基础上开展路侧感知设备的优化布设。Ma et al.以真实道路的三维点云数据作为背景，将路面区域作为目标监测区域，构建了基于Unet神经网络的的传感器模型，并以多个路侧感知设备协同感知条件下100％覆盖目标监测区域为约束、以最小化传感器数量为目标，实现对路侧感知设备的优化布设。但是在他们的技术方案中并没有考虑交通个体，也未考虑移动车体对路侧感知的遮挡效应[5]，布设的结果过于理想。Ma et al.将真实道路三维点云数据与实测轨迹相结合，实现了对动态交通三维场景的重构，并同时考虑道路环境中静态障碍物与动态障碍物的不利影响，以平均召回率为感知效能的评价指标，实现了对交叉口位置路侧感知设备的优化布设[6]。但是他们的技术方案中交通场景的构建强依赖于实际轨迹数据采集，无法根据需求调控交通场景，导致了技术方案无法灵活应对其他交通场景下的路侧感知设备的布设。

综上所述，现有技术方案无法在准确映射真实道路三维环境的基础上灵活应对不同交通流运行特性下的路侧感知设备的优化布设。

发明内容

为了弥补现有技术问题的不足，本发明的目的在于提供一种融合实景点云与虚拟仿真的路侧感知设备优化布设方法，通过融合三维实景点云数据与交通虚拟仿真技术，在实景点云数据精确重构现役道路环境的基础上，通过交通仿真软件控制交通运行参数，并建立三维交通个体模型库创建虚实融合交通场景。立足虚实融合场景建立路侧感知的传感器仿真模型，并计算交通个体模型的原始包络框与路侧感知条件下的包络框的多时间步平均交并比为感知效能指标。以路侧感知设备的布设参数作为决策变量，以提升感知效能指标作为目标函数，构建了本发明的技术方案。相比于现有技术方案，本发明在映射真实道路空间的基础上，保留了交通虚拟仿真定制化调整交通参数的优势，更适用于路侧协同感知设备在道路智能化改造中的应用。

为实现上述目的，本发明提供如下技术方案：

融合实景点云与虚拟仿真的路侧感知设备优化布设方法，包括以下步骤：

(1)根据三维实景点云数据中的基本道路几何信息创建符合交通仿真软件需求的文件；建立交通个体模型数据库，根据交通个体模型数据库中各交通个体三角网络模型的尺寸获取其原始包络框；

(2)创建虚实融合交通场景

将基本道路几何信息文件导入交通仿真软件中，建立与实景点云数据坐标空间一致的路网模型，以交通个体运动轨迹为基础链接交通个体模型数据库，并以三维实景作为静态道路环境，创建虚实融合交通场景；

(3)建立基于球面坐标投影的路侧感知设备传感模型

以单个路侧感知传感器的中心作为原点，建立传感器局部坐标系，通过坐标转换将全局坐标系中虚实融合场景中的静态道路环境以及交通个体三角网络模型皆映射到传感器局部坐标系中；利用传感器分别对静态道路环境、交通个体传感器局部坐标系进行三维感知，分别获得静态道路环境、交通个体三角网格模型的深度感知图，并对两种深度感知图进行融合；

(4)协同感知效能评价

将融合之后深度感知图重新投影回全局坐标系中，得到路侧传感器对交通个体三角网格模型的感知数据采集结果；对于多个路侧感知传感器协同感知过程的建模，分别对各个路侧感知传感器应用路侧感知设备传感器模型，并在全局坐标空间中对交通个体数据点进行组合，得到协同感知条件下的数据采集结果；

根据感知数据采集结果获得路侧感知条件下的包络框，并将其与原始的包络框对比计算交并比参数；以所有交通个体的平均交并比参数作为路侧协同感知效能的评价指标；

(5)协同感知设备优化布设

将多个路侧感知设备的配置参数集作为决策变量，通过连续虚实融合仿真并应用传感器仿真模型获得感知效能指标；以提升感知效能为优化目标，通过贝叶斯优化器不断迭代路侧感知设备的布设参数。

所述基本道路几何信息包括车道中心线、道路边界线、车道宽度。

建立交通个体模型数据库具体如下：

通过开源的网络数据库获取不同交通个体的三角网格模型，并记录每一个模型的几何尺寸信息，与原始网格模型一起形成交通个体模型数据库；三角网格模型由顶点坐标与构成三角形的顶点索引矩阵定义。

将虚实融合场景中的静态道路环境以及交通个体模型皆映射到球面坐标空间具体如下：

令C

通过坐标转换将虚实融合场景中的静态道路环境与交通个体模型皆映射到球面坐标空间，公式见式(1)到式(3)：

其中：M

C2S(.)是将笛卡尔坐标转换为球面坐标的函数；

是转换之后静态道路三维环境的球面坐标；

是转换之后交通个体模型的球面坐标；

分别是球面坐标中水平角、俯仰角与距离的坐标分量。

利用传感器分别对静态道路环境、交通个体进行三维感知，具体如下：

(5.1)设定

(5.2)在

(5.3)在

利用ray-triangle交点求解方法对交通个体的三维感知过程如下：

(6.1)在

(6.2)对交通个体栅格化之后的三角形顶点建立三角形k的包络框，对包络框中的任一像素或者网格点进行编码处理并进行串联，同时为了保留三角形的索引k的信息，建立与串联后的编码长度一致的一维数组，将二维的包络框内的网格点转化为1×m

令(m,n)为包络框内某一个像素的矩阵位置，采用式(4)对其进行线性编码；

其中：

其中：mod(.)与rem(.)分别式取模与取余数计算函数；M是栅格化后矩阵的行数；

(6.3)在GPU上预建立一个n

(6.4)对线性编码进行重新排序组织，通过排序操作获取对应同一个线性编码值的多个三角形索引；通过解码计算，将

(6.5)采用空间几何解析方法求解成对的虚拟光线与三角单元的交点，对于同一条光线对应多个三角形的情况，根据感知原则只保留最近的数据点；得到交通个体三角网格模型的深度感知图I

在对两种深度感知图进行融合过程中，需考虑传感器感知的遮挡效应，即路侧感知设备无法获取被遮挡区域的数据：

设定Ω

其中：I

I'

与现有技术相比，本发明的有益效果是：

1、本发明通过三维实景点云数据来复刻现役道路基础设施三维空间，并以交通个体模型为链接，通过交通仿真技术控制交通流参数，实现虚实融合交通场景的创建，能够同时兼顾静态道路环境的精确表征以及虚拟仿真对交通流的灵活控制的优势，为路侧协同感知设备的优化布设提供更贴近真实情况的多样化交通场景。且将实景点云数据与交通仿真融合的技术思路是首次被引入到路侧协同感知设备的优化布设领域，具有良好的商用价值。

2、本发明针对实景点云与三角网格模型融合的交通场景中提出了基于球面坐标投影的传感器建模方法，尤其是面向交通个体三角网格模型的感知过程模拟，提出了“编码—重组织—解码”的技术过程来实现对可能存在相交点的“虚拟光线-三角形单元”组合的搜索，进而减少虚拟光线计算次数，提升运行效率。

附图说明

图1为本发明的方法流程图。

图2为本发明中三角网格模型数据格式示意图。

图3为本发明中虚实融合交通场景创建过程示意图。

图4为本发明中坐标转换示意图。

图5为本发明中交通个体网格模型投影示意图。

图6为本发明中在不同坐标系统中的虚拟光线示意图。

图7为本发明中编码—重组织—解码中编码的示意图。

图8为本发明中编码—重组织—解码中重组织的示意图。

图9为本发明中编码—重组织—解码中解码的示意图。

图10为本发明中与传统GPU计算方法运行时间对比图表。

图11为本发明中感知数据融合示意图。

图12为本发明中路侧感知设备优化布设过程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1-12所示，本发明公开的融合实景点云与虚拟仿真的路侧感知设备优化布设方法具体如下：

1、技术概览

本发明提出一种融合实景点云与虚拟方针的路侧感知设优化布设的技术框架，如图1所示。基于三维实景点云数据，首先在仿真平台中配置路网模型，保证仿真坐标系统与实景点云数据一致。然后建立交通个体三维网格模型库，并将其与交通仿真场景链接，融合实景点云与交通仿真创建三维交通场景。建立一种基于球面坐标投影的路侧感知设备传感器仿真模型，并通过虚实融合仿真，对比交通个体原始包络框与路侧联合感知条件下的包络框，获取感知效能评价指标。最后以感知设备的布设参数作为决策变量，以感知效能作为目标函数，应用贝叶斯优化算法完成路侧感知设备的优化布设。下文将详述本发明技术方案中的各个步骤。

2、虚实融合交通场景创建

本发明中虚实融合交通场景的创建分为以下三个基本步骤：

步骤1：基于三维实景点云数据提取车道中心线、道路边界线、车道宽度等基本道路几何信息，并根据交通仿真软件Simulation of Urban Mobility(SUMO)的格式需求建立xml(extensible makeup language)文件。

步骤2：通过开源的网络数据库获取不同交通个体的三角网格模型，并记录每一个模型的几何尺寸信息，与原始网格模型一起形成交通个体模型数据库。三角网格模型一般由顶点坐标与构成三角形的顶点索引矩阵定义，如图2所示，三角网模型其他的信息如材质、颜色等一般会与索引一同储存。

步骤3：将xml文件导入交通微观仿真软件，建立与实景点云数据坐标空间一致的路网模型，通过配置交通参数模拟不同交通场景，以交通个体运动轨迹为基础链接交通个体三维模型库，并以三维实景作为静态道路环境，创建虚实融合交通场景。虚实融合的交通场景生成过程见图3。

3、路侧感知设备传感器模型

由于本发明中的交通场景是在融合三维实景点云数据与交通仿真基础上创建的，因此无法调用现有交通仿真软件中的传感器模型。因此，本发明提出了一种面向虚实融合交通场景下的传感器仿真模型。

静态的道路三维环境由实景点云数据表征，交通个体由三角网格模型表征，考虑到数据的异构性，本发明分别针对静态道路环境与动态交通个体构建了传感器模型。令C

本发明提出一种基于球面坐标投影的传感器数据采集模型，具体步骤如下：

步骤1：坐标空间转换。通过坐标转换将虚实融合场景中的静态道路环境与交通个体模型皆映射到球面坐标空间，公式见式(1)到式(3)。在进行交通个体模型的坐标转换时，不改变网格模型的结构关系。

其中：

M

C2S(.)是将笛卡尔坐标转换为球面坐标的函数

是转换之后静态道路三维环境的球面坐标

是转换之后交通个体模型的球面坐标

分别是球面坐标中水平角、俯仰角与距离的坐标分量。

步骤2：初步数据滤波。设定

步骤3：感知过程建模。在

在

针对传感器对交通个体的三维感知过程的模拟，目前业内主要采用光线追踪(ray-tracing)技术。以传感器中心C

通过本发明中坐标转换方法，在

以交通个体网格模型中的三角形单元k为例，基于栅格化之后的三角形顶点建立三角形k的包络框。如图7所示，对包络框中的任一像素或者网格点进行编码处理并进行串联，同时为了保留三角形的索引k的信息，建立与串联后的编码长度一致的一维数组。令(m,n)为包络框内某一个像素的矩阵位置，采用式(4)对其进行线性编码。该编码方式的优势在于

其中：

其中：

mod(.)与rem(.)分别式取模与取余数计算函数

M是栅格化后矩阵的行数

是线性编码值

通过上述过程将二维的包络框内的网格点转化为1×m

对线性编码进行重新排序组织，三角形索引矩阵也随着线性编码矩阵的重新组织而调整对应的元素位置。同一个像素点可能会对应多条虚拟光线，通过排序操作可以获取对应同一个线性编码值的多个三角形索引。通过解码计算，将

最后采用空间几何解析方法求解成对的虚拟光线与三角单元的交点，对于同一条光线对应多个三角形的情况，根据感知原则只保留最近的数据点。在同样的计算设备上(内存16GB，CPU

通过上述计算过程得到交通个体三角网格模型的深度感知图I

步骤4：感知数据融合。设定Ω

其中：

I

I'

4、协同感知效能评价

采用式(1)的逆计算过程将融合之后的交通个体深度感知图I'

本发明采用交并比参数量化评价感知的效能。利用交通仿真软件调整交通流参数与仿真时长。在任一仿真时间步，执行路侧协同感知过程，得到协同感知下数据采集结果。基于协同感知获取的交通个体数据，拟合长方体包络框，并将其与原始的包络框(通过交通个体三维网格模型的尺寸获得)对比计算交并比参数。以多个仿真步条件下所有交通个体的平均交并比参数作为路侧协同感知效能的评价指标。

5、协同感知设备优化布设

本发明中路侧协同感知设备优化布设的流程如图12所示。通过虚实融合仿真方法创建交通场景，将多个路侧感知设备的配置参数集Ω

参考文献

[1]Dosovitskiy A,Ros G,CodevillaF,et al.CARLA:An openurban drivingsimulator[C]//Conference on robot learning.PMLR,2017:1-16.

[2]LopezPA,Behrisch M,Bieker-Walz L,et al.Microscopic trafficsimulation using sumo[C]//201821st international conference on intelligenttransportation systems(ITSC).IEEE,2018:2575-2582.

[3]Vijay R,Cherian J,Riah R,et al.Optimal placement ofroadsideinfrastructure sensors towards safer autonomous vehicledeployments[C]//2021IEEE International Intelligent Transportation Systems Conference(ITSC).IEEE,2021:2589-2595.

[4]Du Y,Wang F,Zhao C,et al.Quantifying the performance andoptimizing the placement ofroadside sensors for cooperative vehicle-infrastructure systems[J].IET Intelligent Transport Systems,2022,16(7):

908-925.https://ietresearch.onlinelibrary.wiley.com/doi/10.1049/itr2.12185

[5]Ma Y,Zheng Y,Wang S,et al.Point cloud-based optimizationofroadside LiDAR placement at constructed highways[J].Automation inConstruction,2022,144:104629.

[6]Ma Y,Zheng Y,Wang S,et al.A Virtual Method for OptimizingDeployment of Roadside Monitoring Lidars at As-Built Intersections[J].IEEETransactions on Intelligent Transportation Systems,2023.

以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。