一种多光谱相机与雷达特征级数据融合方法及系统

技术领域

本发明涉及智能交通管理领域，特别涉及一种多光谱相机与雷达特征级数据融合方法及系统。

背景技术

全息路口是基于传感器和数据融合技术实现的现代交通路口管理系统，其能够实时感知交通流量、车辆行为和行人动态，通过智能信号控制和优化算法，实现路权按需调度和智能管理，提高路口的通行效率。在全息路口系统的各个模块中，感知是重要且关键的一步。传感器的配置方案直接影响到后续的数据处理与算法流程。单一传感器难以满足对复杂场景的准确感知需求，往往需要多传感器进行感知与融合，提高全息路口系统感知能力。相较于传统的单目彩色相机，多光谱相机的能够引入了丰富的光谱信息，通过捕捉多个波段的光谱数据，能够提供更全面的视觉特征和场景理解。多光谱相机通常在可见光谱范围以及一些选择性的红外和近红外波段进行图像采集，具有较高的分辨率和灵敏度。其可以捕捉目标的细节和纹理信息，并通过光谱信息区分不同的目标类别。这使得多光谱相机在目标检测、识别和分类方面具有优势。雷达传感器可以通过发射和接收电磁波来感知周围环境中的物体，通过测量目标与车辆之间的距离、速度和方向等信息，提供精确的位置和运动信息。相较于光学传感器，雷达在恶劣天气条件下，如雨雪、雾霾具有更好的鲁棒性和可靠性，且可以实现长距离探测。

然而受限于硬件成本和数据融合算法适用性、复杂度等因素，目前全息路口传感器融合方案主要为可见光相机与毫米波雷达融合的一体机方案，可见光相机与毫米波融合是一种将可见光相机采集的图像和毫米波雷达数据结合起来进行目标检测和跟踪的技术，然而，基于可见光相机与毫米波的融合仍然存在如下问题与难点：1)由于可见光相机和毫米波雷达的测量原理和数据特点不同，导致雷达的标定和配准较困难，需要进行精确的标定才能将两种数据进行时空对齐，2)雷达和视频数据形式的不同也导致无法在特征维度较好的进行信息融合。因此，当前较多的雷达视频融合算法都是目标级后融合算法，即将可见光相机和雷达的检测结果，基于速度位置等信息以及一些逻辑运算进行关联，导致目标的融合效果较差；3) 雷达和视频融合过程中，相机对深度的估计准确度较差，并没有较好的利用雷达的优势进行辅助。此外，由于传统相机受光照的影响较大，在夜间雨雪雾等可视条件差的场景下容易失灵，导致仅有雷达的检测数据，并没有进行数据融合，造成目标某些维度的信息丢失。

发明内容

为解决上述技术问题，本发明提供一种多光谱相机与雷达特征级数据融合方法及系统，可以解决现有全息路口传感器数据融合方法的融合效果差、实现难度高、基于现有全息路口传感器数据融合方法下的全息路口管理的准确率和效率较低的问题。

为实现上述目的，一方面，本发明提供一种多光谱相机与雷达特征级数据融合方法，所述方法包括：

的匹配指数将排队静止目标的轨迹信息和启动的运动目标进行轨迹关联。通过联合标定对多光谱相机采集的图像和雷达传感器采集的雷达点云数据进行数据对准；

对所述联合标定后的图像和雷达点云数据进行特征提取，获取图像对应的图像特征编码和深度估计值、雷达点云数据在观测空间的分布数据；

通过预置雷达辅助相机视角变换算法对所述图像特征编码、深度估计值、雷达点云数据在观测空间的分布数据进行鸟瞰图视角转换，得到鸟瞰图特征数据；

通过预置多模态特征聚合算法对所述鸟瞰图特征数据进行多模态特征聚合；

对所述多模态特征聚合数据进行滤波并输出滤波后的数据。

进一步地，所述对所述联合标定后的图像和雷达点云数据进行特征提取，获取图像对应的图像特征编码和深度估计值、雷达点云数据在观测空间的分布数据的步骤包括：

通过具有特征金字塔的残差网络在不同预置尺度下提取多光谱相机采集的不同波段特征图像；

通过预置LSS算法和附加的卷积层，从所述不同波段特征图像中提取图像上下文特征编码和深度估计值：

将雷达点云数据转换为量化数据指标；

根据雷达点云数据对应的量化数据指标，获取雷达点云数据在观测空间对应的统计特征并通过局部几何特征获取雷达点云中每个点与其邻域点之间的关系。

进一步地，所述通过预置雷达辅助相机视角变换算法对所述图像特征编码、深度估计值、雷达点云数据在观测空间的分布数据进行鸟瞰图视角转换，得到鸟瞰图特征数据的步骤包括：

将所述雷达点云数据中各个目标点投影到多光谱相机图片中；

将所述各个目标点在多光谱相机图片中的投影点体素化为图像视锥体素，并在视锥体视图中提取雷达上下文特征图和雷达占用图：

根据所述图像上下文特征编码、深度估计值、所述雷达占用图，将图像上下文特征图转换为视锥体视图；

将所述多光谱相机和雷达在视锥视图内的上下文特征图转换到鸟瞰图空间。

进一步地，所述通过预置多模态特征聚合算法对所述鸟瞰图特征数据进行多模态特征聚合的步骤包括：

根据多光谱相机采集的不同波段的图像上下文特征编码序列和雷达点云特征序列获取多光谱相机与雷达传感器之间的交叉注意力权重矩阵和值序列；

根据交叉注意力权重矩阵和值序列对所述多光谱相机和雷达在视锥视图内的上下文特征图转换到鸟瞰图的特征数据进行多模态特征聚合。

进一步地，所述对所述多模态特征聚合数据进行滤波并输出滤波后的数据的步骤包括：

通过预置卡尔曼滤波算法对所述多模态特征聚合数据进行滤波；

输出滤波后的多模态特征聚合数据并根据所述滤波后的多模态特征聚合数据进行航迹管理。

另一方面，本发明提供一种多光谱相机与雷达特征级数据融合系统，所述系统包括：标定单元，用于通过联合标定对多光谱相机采集的图像和雷达传感器采集的雷达点云数据进行数据对准；

获取单元，用于对所述联合标定后的图像和雷达点云数据进行特征提取，获取图像对应的图像特征编码和深度估计值、雷达点云数据在观测空间的分布数据；

转换单元，用于通过预置雷达辅助相机视角变换算法对所述图像特征编码、深度估计值、雷达点云数据在观测空间的分布数据进行鸟瞰图视角转换，得到鸟瞰图特征数据；

聚合单元，用于通过预置多模态特征聚合算法对所述鸟瞰图特征数据进行多模态特征聚合；

滤波单元，用于对所述多模态特征聚合数据进行滤波并输出滤波后的数据。

进一步地，所述获取单元，具体用于通过具有特征金字塔的残差网络在不同预置尺度下提取多光谱相机采集的不同波段特征图像；通过预置LSS算法和附加的卷积层，从所述不同波段特征图像中提取图像上下文特征编码和深度估计值：将雷达点云数据转换为量化数据指标；根据雷达点云数据对应的量化数据指标，获取雷达点云数据在观测空间对应的统计特征并通过局部几何特征获取雷达点云中每个点与其邻域点之间的关系。

进一步地，所述转换单元，具体用于将所述雷达点云数据中各个目标点投影到多光谱相机图片中；将所述各个目标点在多光谱相机图片中的投影点体素化为图像视锥体素，并在视锥体视图中提取雷达上下文特征图和雷达占用图：根据所述图像上下文特征编码、深度估计值、所述雷达占用图，将图像上下文特征图转换为视锥体视图；将所述多光谱相机和雷达在视锥视图内的上下文特征图转换到鸟瞰图空间。

进一步地，所述聚合单元，具体用于根据多光谱相机采集的不同波段的图像上下文特征编码序列和雷达点云特征序列获取多光谱相机与雷达传感器之间的交叉注意力权重矩阵和值序列；根据交叉注意力权重矩阵和值序列对所述多光谱相机和雷达在视锥视图内的上下文特征图转换到鸟瞰图的特征数据进行多模态特征聚合。

进一步地，所述滤波单元，具体用于通过预置卡尔曼滤波算法对所述多模态特征聚合数据进行滤波；输出滤波后的多模态特征聚合数据并根据所述滤波后的多模态特征聚合数据进行航迹管理。

本发明提供的一种多光谱相机与雷达特征级数据融合方法及系统，对多光谱相机采集的图像和雷达点云数据进行特征提取，采用雷达和相机特征级融合网络和多模态特征聚合将多光谱相机数据和雷达点云数据进行特征级别融合，相较于现有的目标后融合方式有更好的可靠性，并且采用基于改进的交叉注意力机制进行相机信息和雷达多模态特征信息的融合，而不是简单的特征多通道串联求和，进一步提升数据融合准确度；与此同时，由于本发明实现了多光谱相机与雷达特征级数据的融合，因此可以采用多光谱相机代替传统单目彩色相机，可以在夜间、雨雪雾等可视条件差的场景下给予雷达更好的辅助效果，避免传统相机在可视条件较差时的一些检测失灵现象，从而提升了全息路口的管理效率和准确度。

附图说明

图1是本发明提供的一种多光谱相机与雷达特征级数据融合方法的流程图；

图2是本发明提供的一种多光谱相机与雷达特征级数据融合系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，本发明实施例提供的一种多光谱相机与雷达特征级数据融合方法，包括如下步骤：

101、通过联合标定对多光谱相机采集的图像和雷达传感器采集的雷达点云数据进行数据对准。

具体地，多光谱相机和雷达一体机通常安装在路口两侧高度约5-7米的灯杆处。101.1、时间标定：对两传感器的NTP时间戳进行对齐。通常情况下，雷达传感器和相机传感器数据采集帧率是不同的，为了减小匹配误差，可以对较高帧率的传感器数据进行降采样处理或者对较低帧率的传感器数据进行插值处理。 101.2、空间标定与配准：雷达探测的点云数据一般在极坐标格下，而相机数据常用的坐标系为像素坐标系和世界坐标系。因此，需要确定雷达和相机各自的坐标系以及它们之间的相对位置和姿态关系，得到它们之间的坐标变换矩阵。其次，进行点云与图像的空间配准，包括将雷达点云投影到相机图像平面上，并利用特征匹配算法或优化方法来获取点云与图像之间的对应关系。可以使用点云和图像的特征点、边缘、颜色等信息进行匹配，以实现准确的配准。

102、对所述联合标定后的图像和雷达点云数据进行特征提取，获取图像对应的图像特征编码和深度估计值、雷达点云数据在观测空间的分布数据。

对于本发明实施例，步骤102具体可以包括：通过具有特征金字塔的残差网络在不同预置尺度下提取多光谱相机采集的不同波段特征图像；通过预置LSS算法和附加的卷积层，从所述不同波段特征图像中提取图像上下文特征编码和深度估计值：将雷达点云数据转换为量化数据指标；根据雷达点云数据对应的量化数据指标，获取雷达点云数据在观测空间对应的统计特征并通过局部几何特征获取雷达点云中每个点与其邻域点之间的关系。

具体地，例如，102.1、获取多光谱相机采集的不同波段图像，采用具有特征金字塔（Feature Pyramid，FP）的残差网络ResNet ，在不同尺度下提取图像特征。在特征金字塔中，底层包含提取的高分辨率但语义信息较少的特征图，而顶层包含低分辨率但语义信息较多的特征图，通过对特征图采样操作，可以在不同尺度上更好对的路口目标进行检测和分割。然后采用LSS算法并使用附加的卷积层，提取多光谱相机透视图中像素的图像上下文特征和深度分布，如下公式所示：

103、通过预置雷达辅助相机视角变换算法对所述图像特征编码、深度估计值、雷达点云数据在观测空间的分布数据进行鸟瞰图视角转换，得到鸟瞰图特征数据。

对于本发明实施例，步骤103具体可以包括：将所述雷达点云数据中各个目标点投影到多光谱相机图片中；将所述各个目标点在多光谱相机图片中的投影点体素化为图像视锥体素，并在视锥体视图中提取雷达上下文特征图和雷达占用图：根据所述图像上下文特征编码、深度估计值、所述雷达占用图，将图像上下文特征图转换为视锥体视图；将所述多光谱相机和雷达在视锥视图内的上下文特征图转换到鸟瞰图空间。

具体地，例如，103.1、对于本发明实施例，与LSS算法估计深度分布时将图像特征直接转换到鸟瞰图(Bird Eye View, BEV)空间不同，本发明实施例采用雷达辅助的相机视角变换(Radar-Assisted View Transformation, RVT)进行视图转换：首先将雷达点投影到多光谱相机视图片上，以在保持其深度的同时找到相应的图像像素，然后将其体素化为图像视锥体素

104、通过预置多模态特征聚合算法对所述鸟瞰图特征数据进行多模态特征聚合。

对于本发明实施例，步骤104具体可以包括：根据多光谱相机采集的不同波段的图像上下文特征编码序列和雷达点云特征序列获取多光谱相机与雷达传感器之间的交叉注意力权重矩阵和值序列；根据交叉注意力权重矩阵和值序列对所述多光谱相机和雷达在视锥视图内的上下文特征图转换到鸟瞰图的特征数据进行多模态特征聚合。

具体地，例如，首先需要说明的是，直接将两传感器的特征数据进行通道串联或叠加，难以处理两传感器的空间错位和模态模糊。交叉注意力机制可以帮助模型更好地理解不同特征序列之间的关系和语义信息，将不同序列之间的元素进行交互。在交叉注意力机制中，每个多光谱相机序列都与雷达序列进行交互，并通过计算注意力权重来确定不同序列之间的重要性和关联程度。

设多光谱相机的波段

需要说明的是，由于交叉注意力的计算复杂度与序列长度成二次关系，当序列长度较长时和算法复杂度高，因此将该交叉注意力机制进行变形，使其计算复杂度和序列长度成线性关系，并通过进一步减小输入查询数的方法减弱距离对算法复杂度的影响。给定查询z

其中，

105、对所述多模态特征聚合数据进行滤波并输出滤波后的数据。

对于本发明实施例，步骤105具体可以包括：通过预置卡尔曼滤波算法对所述多模态特征聚合数据进行滤波；输出滤波后的多模态特征聚合数据并根据所述滤波后的多模态特征聚合数据进行航迹管理。

具体地，例如，当完成目标融合后，匹配的结果还不足以验证目标的运动状态，需进一步的确定目标运动状态的连续性，本文选用扩展卡尔曼滤波算法跟踪目标。首先在测量更新阶段有，

本发明实施例提供的一种多光谱相机与雷达特征级数据融合方法，对多光谱相机采集的图像和雷达点云数据进行特征提取，采用雷达和相机特征级融合网络和多模态特征聚合将多光谱相机数据和雷达点云数据进行特征级别融合，相较于现有的目标后融合方式有更好的可靠性，并且采用基于改进的交叉注意力机制进行相机信息和雷达多模态特征信息的融合，而不是简单的特征多通道串联求和，进一步提升数据融合准确度；与此同时，由于本发明实现了多光谱相机与雷达特征级数据的融合，因此可以采用多光谱相机代替传统单目彩色相机，可以在夜间、雨雪雾等可视条件差的场景下给予雷达更好的辅助效果，避免传统相机在可视条件较差时的一些检测失灵现象，从而提升了全息路口的管理效率和准确度。

为实现本发明实施例提供的方法，本发明实施例提供一种多光谱相机与雷达特征级数据融合系统，如图2所示，该系统包括：标定单元21、获取单元22、转换单元23、聚合单元24、滤波单元25。

标定单元21，用于通过联合标定对多光谱相机采集的图像和雷达传感器采集的雷达点云数据进行数据对准；

获取单元22，用于对所述联合标定后的图像和雷达点云数据进行特征提取，获取图像对应的图像特征编码和深度估计值、雷达点云数据在观测空间的分布数据；

转换单元23，用于通过预置雷达辅助相机视角变换算法对所述图像特征编码、深度估计值、雷达点云数据在观测空间的分布数据进行鸟瞰图视角转换，得到鸟瞰图特征数据；

聚合单元24，用于通过预置多模态特征聚合算法对所述鸟瞰图特征数据进行多模态特征聚合；

滤波单元25，用于对所述多模态特征聚合数据进行滤波并输出滤波后的数据。

进一步地，所述获取单元22，具体用于通过具有特征金字塔的残差网络在不同预置尺度下提取多光谱相机采集的不同波段特征图像；通过预置LSS算法和附加的卷积层，从所述不同波段特征图像中提取图像上下文特征编码和深度估计值：将雷达点云数据转换为量化数据指标；根据雷达点云数据对应的量化数据指标，获取雷达点云数据在观测空间对应的统计特征并通过局部几何特征获取雷达点云中每个点与其邻域点之间的关系。

进一步地，所述转换单元23，具体用于将所述雷达点云数据中各个目标点投影到多光谱相机图片中；将所述各个目标点在多光谱相机图片中的投影点体素化为图像视锥体素，并在视锥体视图中提取雷达上下文特征图和雷达占用图：根据所述图像上下文特征编码、深度估计值、所述雷达占用图，将图像上下文特征图转换为视锥体视图；将所述多光谱相机和雷达在视锥视图内的上下文特征图转换到鸟瞰图空间。

进一步地，所述聚合单元24，具体用于根据多光谱相机采集的不同波段的图像上下文特征编码序列和雷达点云特征序列获取多光谱相机与雷达传感器之间的交叉注意力权重矩阵和值序列；根据交叉注意力权重矩阵和值序列对所述多光谱相机和雷达在视锥视图内的上下文特征图转换到鸟瞰图的特征数据进行多模态特征聚合。

进一步地，所述滤波单元25，具体用于通过预置卡尔曼滤波算法对所述多模态特征聚合数据进行滤波；输出滤波后的多模态特征聚合数据并根据所述滤波后的多模态特征聚合数据进行航迹管理。

本发明实施例提供的一种多光谱相机与雷达特征级数据融合系统，对多光谱相机采集的图像和雷达点云数据进行特征提取，采用雷达和相机特征级融合网络和多模态特征聚合将多光谱相机数据和雷达点云数据进行特征级别融合，相较于现有的目标后融合方式有更好的可靠性，并且采用基于改进的交叉注意力机制进行相机信息和雷达多模态特征信息的融合，而不是简单的特征多通道串联求和，进一步提升数据融合准确度；与此同时，由于本发明实现了多光谱相机与雷达特征级数据的融合，因此可以采用多光谱相机代替传统单目彩色相机，可以在夜间、雨雪雾等可视条件差的场景下给予雷达更好的辅助效果，避免传统相机在可视条件较差时的一些检测失灵现象，从而提升了全息路口的管理效率和准确度。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块（illustrative logical block），单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性（interchangeability），上述的各种说明性部件（illustrative components），单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路（ASIC），现场可编程门阵列或其它可编程逻辑系统，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储系统，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线（DSL）或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片（disk）和磁盘（disc）包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。