一种面向出行地图危险预警的路侧目标检测方法及装置

技术领域

本申请涉及智慧交通技术领域，尤其是涉及一种面向出行地图危险预警的路侧目标检测方法及装置。

背景技术

目前，城市交通路口、主要道路以及公共区域等地普遍配置监控摄像系统，以实现监测与管理的功能。这一措施显著地促进了从路侧设备获取图像信息的便捷性，有效地降低了系统的部署成本。路侧视觉3D目标检测方法在出行地图平台中发挥着关键的作用，充当着实时获取路侧信息的重要角色。具体而言，它以城市交通路口、主要道路和公共区域等地的监控摄像系统所捕捉到的图像作为输出，经处理后输出场景中交通参与者的3D空间信息(包括位置、大小、朝向)，这些信息上传至出行地图云平台(例如百度地图、高德地图等)，有助于出行地图平台构建一个有效的针对用户导航的危险预警系统。

在出行地图平台中，通过目标检测方法获得的物体位置数据可以被进一步处理和分析，以识别出潜在的危险情况，例如路口遮挡、无保护左转、行人鬼探头等。这些信息可以用于实时预测可能的安全风险，为用户提供关键的安全提示和建议。相较于传统的出行地图软件仅提供基本导航指引，安全预警系统则能更加精确地提醒用户以避免可能的危险事故。

总之，路侧视觉目标检测方法在出行地图平台中充当着信息获取和处理的角色，为构建强大的安全预警系统提供了关键的数据基础，提升了用户在动态交通环境中的出行安全性和便利性，同时也促进了城市交通管理的创新与改进，推动城市向智慧交通方向发展。但是，目前缺乏一种高精度的路侧视觉目标检测方法。

发明内容

有鉴于此，本申请提供了一种面向出行地图危险预警的路侧目标检测方法，以解决上述技术问题。

第一方面，本申请实施例提供了一种面向出行地图危险预警的路侧目标方法，包括：

获取待检测的路侧图像；

利用预先训练完成的特征提取模型对路侧图像进行处理，得到视觉特征和地平面特征；

利用预先训练完成的视觉编码器对视觉特征进行处理，得到视觉嵌入特征；利用预先训练完成的地平面编码器对地平面特征进行处理，得到地平面嵌入特征；

利用预先训练完成的地平面引导解码器对视觉嵌入特征和地平面嵌入特征进行处理，得到地平面感知对象查询，利用检测头对地平面感知对象查询进行处理，得到目标检测结果，所述目标检测结果包括：目标类别、二维包围框、三维检测框的尺寸和目标底面中心的二维像素坐标；

利用预先训练完成的地平面预测器对地平面特征进行处理，得到地平面方程图，利用目标底面中心的二维像素坐标、地平面方程图和相机参数计算目标深度值。

进一步地，所述特征提取模型采用基于ResNet-50的主干网络、融合单元和两个3×3卷积核的卷积层；

利用预先训练完成的特征提取模型对路侧图像进行处理，得到视觉特征和地平面特征；包括：

利用主干网络对路侧图像I进行处理，得到下采样比率为

利用融合单元通过最近邻采样将下采样特征图

利用两个3×3卷积核的卷积层对特征图f′进行处理，得到地平面特征图f

进一步地，所述视觉编码器包括三个依次连接的编码块，所述地平面编码器包括一个编码块；所述编码块包括连接的自注意力层和前馈神经网络。

进一步地，所述地平面引导解码器包括三个依次连接的解码块，所述解码块包括依次连接的地平面交叉关注层、查询间自我关注层、视觉交叉关注层和前馈神经网络。

进一步地，所述地平面预测器采用卷积层；

利用地平面预测器对地平面特征进行处理，得到地平面方程图，利用目标底面中心的二维像素坐标、地平面方程图和相机参数计算目标深度值；包括：

利用预先训练完成的地平面预测器对地平面特征图f

利用目标底面中心的二维像素坐标(x，y)、地平面方程图和相机参数计算目标深度值：

其中，G为地平面方程：G＝(α，β，γ，d)，K为3×3的相机内参矩阵，(X，Y，Z)为目标底面中心的三维坐标，Z为最终目标深度值。

进一步地，所述方法还包括：对特征提取模型、视觉编码器、地平面编码器、地平面引导解码器和地平面预测器进行联合训练的步骤；具体包括：

建立训练数据集，包括多个标注的路侧图像样本；

利用特征提取模型对路侧图像样本进行处理，得到路侧图像样本的视觉特征和地平面特征；

利用视觉编码器对路侧图像样本的视觉特征进行处理，得到路侧图像样本的视觉嵌入特征；利用地平面编码器对路侧图像样本的地平面特征进行处理，得到路侧图像样本的地平面嵌入特征；

利用地平面引导解码器对路侧图像样本的视觉嵌入特征和地平面嵌入特征进行处理，得到路侧图像样本的地平面感知对象查询，利用检测头对路侧图像样本的地平面感知对象查询进行处理，得到目标预测结果，所述目标预测结果包括：目标类别、二维预测框、三维预测框的尺寸和目标底面中心的二维像素预测坐标；

基于目标预测结果和目标真实框，计算第一损失函数；

利用地平面预测器对路侧图像样本的地平面特征进行处理，得到预测的地平面方程图；

基于预测的地平面方程图和修正的地平面方程图，计算第二损失函数；

基于第一损失函数和第二损失函数的和，更新特征提取模型、视觉编码器、地平面编码器、地平面引导解码器和地平面预测器的参数。

进一步地，所述修正的地平面方程图的计算步骤包括：

步骤S1：将路侧图像样本中目标与地面接触中心点的三维空间坐标投影到图像坐标获得二维像素坐标(x，y)，将(x，y)与下采样率相乘后取整得到坐标(x′，y′)，其下采样率与地平面特征相同；

步骤S2：按照x′的大小对(x′，y′)进行升序排列并去除重合的点，最终得到一个点集合S；

步骤S3：对于点集合S中任意一个点P

则(α，β，γ，d)为点P

将点P

第二方面，本申请实施例提供一种面向出行地图危险预警的路侧目标检测装置，包括：

获取单元，用于获取待检测的路侧图像；

特征提取单元，用于利用预先训练完成的特征提取模型对路侧图像进行处理，得到视觉特征和地平面特征；

编码单元，用于利用预先训练完成的视觉编码器对视觉特征进行处理，得到视觉嵌入特征；利用预先训练完成的地平面编码器对地平面特征进行处理，得到地平面嵌入特征；

解码单元，用于利用预先训练完成的地平面引导解码器对视觉嵌入特征和地平面嵌入特征进行处理，得到地平面感知对象查询；

目标检测单元，用于利用检测头对地平面感知对象查询进行处理，得到目标检测结果，所述目标检测结果包括：目标类别、二维包围框、三维检测框的尺寸和目标底面中心的二维像素坐标；

深度计算单元，用于利用预先训练完成的地平面预测器对地平面特征进行处理，得到地平面方程图，利用目标底面中心的二维像素坐标、地平面方程图和相机参数计算目标深度值。

第三方面，本申请实施例提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本申请实施例的方法。

本申请有效提高了路侧单目图像的目标检测精度。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的整体模型的框架图；

图2为本申请实施例提供的面向出行地图危险预警的路侧目标检测方法的流程图；

图3为本申请实施例提供的路侧图像的地平面的示意图；

图4(a)为本申请实施例提供的从左至右依次计算点与目标点之间的距离，并对其按照距离从小到大排序，储存到临时栈的示意图；

图4(b)为本申请实施例提供的当出现更小的距离时，临时栈移除栈中最大距离，添加新的距离的示意图；

图4(c)为本申请实施例提供的遍历完所有点后，临时栈储存着S中距离目标点最近的两个点的示意图；

图5为本申请实施例提供的面向出行地图危险预警的路侧目标检测装置的功能结构图；

图6为本申请实施例提供的电子设备的功能结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请实施例的设计思想进行简单介绍。

目前，通过路侧目标检测方法获得的物体位置数据可以被进一步处理和分析，以识别出潜在的危险情况，例如道路上距离较近的其他车辆或被遮挡的行人。这些信息可以用于实时预测可能的安全风险，为用户提供关键的安全提示和建议，更好地协助出行地图平台构建一个危险预警系统。

路侧数据具有以下特点：(1)路侧相机安装在杆子上，而不在车顶的正上方，因此相机光轴与地面平行的假设不再成立。(2)路侧视角下的感知范围更大，能观察到更多的物体，增加了感知系统的密度和难度。(3)每个路侧相机具有不同的配置，例如相机内参数、俯仰角，存在歧义性。结合上述三点原因，路侧数据无法直接使用车端的单目目标检测方法进行处理。

在图像特征提取方面，大多数研究均使用卷积神经网络进行图像特征提取，然而其感受野相当受限，Transformers是一个完全基于自我注意机制的模型，扫描序列的每个元素，并通过聚集整个序列的信息来更新它，具有全局计算能力和完美的记忆。此外，基于Transformers的学习框架可以实现端到端的训练，删除多个手工设计的组件(如NMS)来简化检测管道。Transformers被应用到计算机视觉中的许多任务中，例如分类、2D目标检测和车端单目3D目标检测，目前还未有专门针对路侧单目3D目标检测任务设计的Transformers学习框架。

对于路侧数据来说，由于其具有从高往下俯瞰这一特点，路侧摄像头采集的车辆图像具有十分大的差异性，当车辆距离摄像头较近时，仅观察到车辆的顶部。当车辆距离摄像头较远时，虽然可以观察到车身，但车辆图像往往比较小。本申请引入Transformers框架，其具有全局计算能力和完美的记忆，将感受野扩大到全局，有助于对路侧数据中差异明显的物体进行3D目标检测。

为此，本申请提供一种面向出行地图危险预警的路侧目标检测方法，整体框架是构建地平面感知的Transformers，它由视觉编码器、地平面编码器和地平面引导解码器组成，如图1所示，能够通过注意机制更好地捕获场景级的地平面线索。具体地说，对于输入图像，首先利用特征编码器来编码其视觉和地平面特征。为了将有效的地平面信息赋予地平面特征，在框架前端根据地平面特征生成地平面方程图denorms

本申请的方法基于全局背景自适应地估计每个对象的3D属性，利用路侧数据额外的数据，有效提升路端单目3D目标检测精度。该方法通过对原始地平面进行修正，获取精度更高的地平面方程，在模型的训练阶段引入修正地平面进行地平面引导，并在后处理阶段引入修正地平面进行推理。

在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。

如图2所示，本申请实施例提供一种面向出行地图危险预警的路侧目标检测方法，包括：

步骤101：获取待检测的路侧图像；

路侧图像I的原始大小为1080×1920×3，其中，1080为长，1920为宽，3为通道数；

步骤102：利用预先训练完成的特征提取模型对路侧图像进行处理，得到视觉特征和地平面特征；

本实施例中，所述特征提取模型采用基于ResNet-50的主干网络、融合单元和两个3×3卷积核的卷积层；该步骤包括：

利用主干网络对路侧图像I∈R

利用融合单元通过最近邻采样将下采样特征图

利用两个3×3卷积核的卷积层对特征图f′进行处理，得到地平面特征f

步骤103：利用预先训练完成的视觉编码器对视觉特征进行处理，得到视觉嵌入特征；利用预先训练完成的地平面编码器对地平面特征进行处理，得到地平面嵌入特征；

其中，所述视觉编码器包括三个依次连接的编码块，所述地平面编码器包括一个编码块；所述编码块包括连接的自注意力层和前馈神经网络。

步骤104：利用预先训练完成的地平面引导解码器对视觉嵌入特征和地平面嵌入特征进行处理，得到地平面感知对象查询；

地平面引导解码器由三个解码块构成，每个解码块依次由地平面交叉关注层、查询间自我关注层、视觉交叉关注层和前馈神经网络FFN组成。具体地说，首先通过地平面交叉关注层从

步骤105：利用检测头对地平面感知对象查询进行处理，得到目标检测结果，所述目标检测结果包括：目标类别、二维包围框、三维检测框的尺寸和目标底面中心的二维像素坐标；

经过地平面引导变换后，地平面感知对象查询被送入包括多个多层感知机MLP组成的检测头进行目标的多个属性估计。

步骤106：利用预先训练完成的地平面预测器对地平面特征进行处理，得到地平面方程图，利用目标底面中心的二维像素坐标、地平面方程图和相机参数计算目标深度值。

由于物体的深度与预测头预测的深度无关，在推理阶段网络会根据测试图片输出一系列预测值，其中包括物体底面中心的二维像素坐标；利用目标底面中心的二维像素坐标(x，y)、地平面方程图和相机参数计算目标深度值：

其中，G为地平面方程：G＝(α，β，γ，d)，K为3×3的相机内参矩阵，为已知值，(X，Y，Z)为目标底面中心的三维坐标，Z为最终目标深度值。大部分路侧图像的预测目标都位于地平面上，车辆、行人、自行车等始终与路面接触，得到物体底面中心的三维坐标(X，Y，Z)，将Z此作为最终模型输出的物体深度值。

此外，所述方法还包括：对特征提取模型、视觉编码器、地平面编码器、地平面引导解码器和地平面预测器进行联合训练的步骤；具体包括：

建立训练数据集，包括多个标注的路侧图像样本；

利用特征提取模型对路侧图像样本进行处理，得到路侧图像样本的视觉特征和地平面特征；

利用视觉编码器对路侧图像样本的视觉特征进行处理，得到路侧图像样本的视觉嵌入特征；利用地平面编码器对路侧图像样本的地平面特征进行处理，得到路侧图像样本的地平面嵌入特征；

利用地平面引导解码器对路侧图像样本的视觉嵌入特征和地平面嵌入特征进行处理，得到路侧图像样本的地平面感知对象查询，利用检测头对路侧图像样本的地平面感知对象查询进行处理，得到目标预测结果，所述目标预测结果包括：目标类别、二维预测框、三维预测框的尺寸和目标底面中心的二维像素预测坐标；

基于目标预测结果和目标真实框，计算第一损失函数；其中，分别计算每个查询的损失，并利用匈牙利算法将无序查询与地面真实对象标签进行匹配，而不需要任何基于规则的标签分配；

利用地平面预测器对路侧图像样本的地平面特征进行处理，得到预测的地平面方程图；

基于预测的地平面方程图和修正的地平面方程图，计算第二损失函数；

其中，采集路侧图像的摄像头一直固定于路侧的杆子上，以一个特定的角度从上往下获取图像信息，具体见图3。在以摄像头为原点的三维相机坐标系中，地平面方程为：αx+βy+γz+d＝0，用G(α，β，γ，d)∈R

本实施例提出采用一个地平面方程图denorms∈R

由于地平面方程与物体深度联系紧密，同时为了节省算力资源以及考虑到整体框架的合理性，将地平面方程矩阵的h、w与地平面编码器的输入特征的高和宽一致。

修正的地平面方程图的计算步骤如下：

(1)构建路侧图像样本的初始地平面方程图denorms

(2)将图片中物体与地面接触中心点的三维空间坐标投影到图像坐标获得二维像素坐标(x，y)，将(x，y)与下采样率相乘后取整得到坐标(x′，y′)，其下采样率与地平面特征相同；按照x′的大小对(x′，y′)进行升序排列并去除重合的点，最终得到一个点集合S。

(3)对于S中任意一个点，查找与其距离最近的两个点。建立一个空的临时栈，最大容量为2，图4(a)表示从左至右依次计算点与目标点之间的距离，并对其按照距离从小到大排序，储存到临时栈中。图4(b)表示当出现更小的距离时，临时栈移除栈中最大距离，添加新的距离。图4(c)表示遍历完所有点后，临时栈储存着S中距离目标点最近的两个点。接着根据“不在一条直线的三个点可以确定一个平面”定理，将这三点对应的空间坐标P

由此得到该点的修正的地平面方程图G′(α，β，γ，d)；

在denorms

基于上述实施例，本申请实施例提供了一种面向出行地图危险预警的路侧目标检测装置，参阅图5所示，本申请实施例提供的一种面向出行地图危险预警的路侧目标检测装置200至少包括：

获取单元201，用于获取待检测的路侧图像；

特征提取单元202，用于利用预先训练完成的特征提取模型对路侧图像进行处理，得到视觉特征和地平面特征；

编码单元203，用于利用预先训练完成的视觉编码器对视觉特征进行处理，得到视觉嵌入特征；利用预先训练完成的地平面编码器对地平面特征图进行处理，得到地平面嵌入特征；

解码单元204，用于利用预先训练完成的地平面引导解码器对视觉嵌入特征和地平面嵌入特征进行处理，得到地平面感知对象查询；

目标检测单元205，用于利用检测头对地平面感知对象查询进行处理，得到目标检测结果，所述目标检测结果包括：目标类别、二维包围框、三维检测框的尺寸和目标底面中心的二维像素坐标；

深度计算单元206，用于利用预先训练完成的地平面预测器对地平面特征进行处理，得到地平面方程图，利用目标底面中心的二维像素坐标、地平面方程图和相机参数计算目标深度值。

需要说明的是，本申请实施例提供的面向出行地图危险预警的路侧目标检测装置200解决技术问题的原理与本申请实施例提供方法相似，因此，本申请实施例提供的面向出行地图危险预警的路侧目标检测装置200的实施可以参见本申请实施例提供方法的实施，重复之处不再赘述。

基于上述实施例，本申请实施例还提供了一种电子设备，参阅图6所示，本申请实施例提供的电子设备300至少包括：处理器301、存储器302和存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现本申请实施例提供的面向出行地图危险预警的路侧目标检测方法。

本申请实施例提供的电子设备300还可以包括连接不同组件(包括处理器301和存储器302)的总线303。其中，总线303表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。

存储器302可以包括易失性存储器形式的可读介质，例如随机存储器(RandomAccess Memory，RAM)3021和/或高速缓存存储器3022，还可以进一步包括只读存储器(ReadOnly Memory，ROM)3023。

存储器302还可以包括具有一组(至少一个)程序模块3024的程序工具3025，程序模块3024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

电子设备300也可以与一个或多个外部设备304(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与电子设备300交互的设备通信(例如手机、电脑等)，和/或，与使得电子设备300与一个或多个其它电子设备300进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口305进行。并且，电子设备300还可以通过网络适配器306与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器306通过总线303与电子设备300的其它模块通信。应当理解，尽管图6中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)子系统、磁带驱动器以及数据备份存储子系统等。

需要说明的是，图6所示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的面向出行地图危险预警的路侧目标检测方法。具体地，该可执行程序可以内置或者安装在电子设备300中，这样，电子设备300就可以通过执行内置或者安装的可执行程序实现本申请实施例提供的面向出行地图危险预警的路侧目标检测方法。

本申请实施例提供的面向出行地图危险预警的路侧目标检测方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在电子设备300上运行时，该程序代码用于使电子设备300执行本申请实施例提供的面向出行地图危险预警的路侧目标检测方法。

本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在计算设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制。尽管参照实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，对本申请的技术方案进行修改或者等同替换，都不脱离本申请技术方案的精神和范围，其均应涵盖在本申请的权利要求范围当中。