多传感器融合方法、装置、设备及存储介质

技术领域

本发明涉及多传感器融合技术领域，尤其涉及一种多传感器融合方法、装置、设备及存储介质。

背景技术

随着城市安防与智能、工业智能、电力物联网等行业的发展，自主性边缘设备、行业自主性机器人智能化应用越来越多，要求感知系统能够全面地检测、识别与跟踪目标物体。当前，在无人驾驶、机器人等领域，大多数传感器融合方法集中在利用激光雷达和摄像机进行三维物体检测。激光雷达是通过激光脉冲的飞行时间来计算与周围物体的距离。激光雷达提供了精确的近距离的深度信息，此类信息往往以点云数据的形式表现，但随着距离的增加，其点云数据也变得稀疏，导致感知远距离物体的能力下降。而摄像机提供了丰富的色彩与纹理等二维信息，但无法感知物体图像的深度。这些互补的特征使得激光雷达与摄像机传感器融合成为近年来人们关注的话题。此种组合已被成功证明在许多应用中实现了高精度的三维目标检测，但也有其局限性，由于摄像机与激光雷达都对恶劣的天气条件很敏感(例如雪、雾、雨等天气)，且不能在不使用时间信息的情况下检测物体的速度。但在许多情况下，估计物体的速度是避免碰撞的关键要求，特别在自动驾驶等场景中，因此在时间信息十分关键的情况下依赖时间信息来确定物体的速度以避免碰撞可能不是可行的解决方案，进而导致在三维目标检测任务中基于激光雷达与摄像头方案无法精确、稳定地感知物体的高度和宽度、类别、姿态等属性信息。

发明内容

本发明的主要目的在于提供一种多传感器融合方法、装置、设备及存储介质，旨在解决当前在三维目标检测任务中基于激光雷达与摄像头方案无法精确、稳定地感知物体的属性信息的技术问题。

为实现上述目的，本发明实施例提供一种多传感器融合方法，所述多传感器融合方法包括：

基于摄像机获取图像数据，对所述图像数据进行初次回归处理，得到物体的初次回归属性；

基于毫米波雷达获取初始点云数据，将所述初始点云数据与所述图像数据进行对齐处理，得到对齐点云数据；

基于所述对齐点云数据与所述初次回归属性生成融合特征图；

对所述融合特征图进行二次回归处理，得到目标属性信息；

基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型，以根据所述目标推理模型对目标物体进行属性信息检测。

优选地，所述基于所述对齐点云数据与所述初次回归属性生成融合特征图的步骤包括：

根据所述对齐点云数据与所述初次回归属性生成中间特征图；

将所述中间特征图与所述初次回归属性的特征图通道进行连接操作，形成融合特征图。

优选地，所述根据所述对齐点云数据与所述初次回归属性生成中间特征图的步骤包括：

根据所述初次回归属性对所述对齐点云数据进行过滤处理，得到目标点云数据；

对所述目标点云数据扩展支柱，形成支柱特征信息；

将所述支柱特征信息与所述初次回归属性进行关联，得到目标支柱特征；

根据所述目标支柱特征创建深度和速度互补的特征图通道，并得到中间特征图。

优选地，所述根据所述初次回归属性对所述对齐点云数据进行过滤处理，得到目标点云数据的步骤包括：

根据所述初次回归属性创建3D感兴趣区域截锥体与3D包围盒感兴趣区域；

根据所述3D感兴趣区域截锥体与所述3D包围盒感兴趣区域对所述对齐点云数据进行过滤处理，得到目标点云数据。

优选地，所述对所述融合特征图进行二次回归处理，得到目标属性信息的步骤包括：

从所述融合特征图中提取目标特征；

对所述目标特征进行回归运算，得到目标属性信息。

优选地，所述对所述图像数据进行初次回归处理，得到物体的初次回归属性的步骤包括：

调用所述初始卷积神经网络，通过所述初始卷积神经网络对所述图像数据中的物体进行目标检测，并对所述物体生成初始特征图；

对所述初始特征图进行初次回归处理，得到所述物体的初次回归属性。

优选地，所述基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型的步骤之前，还包括：

获取预设卷积神经网络与训练数据，根据所述训练数据对所述预设卷积神经网络进行训练，得到初始卷积神经网络。

为实现上述目的，本发明还提供一种多传感器融合装置，所述多传感器融合装置包括：

初次回归处理模块，用于基于摄像机获取图像数据，对所述图像数据进行初次回归处理，得到物体的初次回归属性；

对齐处理模块，用于基于毫米波雷达获取初始点云数据，将所述初始点云数据与所述图像数据进行对齐处理，得到对齐点云数据；

数据融合模块，用于基于所述对齐点云数据与所述初次回归属性生成融合特征图；

二次回归处理模块，用于对所述融合特征图进行二次回归处理，得到目标属性信息；

模型推理模块，用于基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型，以根据所述目标推理模型对目标物体进行属性信息检测。

进一步地，为实现上述目的，本发明还提供一种多传感器融合设备，所述多传感器融合设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的多传感器融合程序，所述多传感器融合程序被所述处理器执行时实现上述的多传感器融合方法的步骤。

进一步地，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有多传感器融合程序，所述多传感器融合程序被处理器执行时实现上述的多传感器融合方法的步骤。

本发明实施例提供一种多传感器融合方法、装置、设备及存储介质，基于摄像机获取图像数据，对所述图像数据进行初次回归处理，得到物体的初次回归属性；基于毫米波雷达获取初始点云数据，将所述初始点云数据与所述图像数据进行对齐处理，得到对齐点云数据；基于所述对齐点云数据与所述初次回归属性生成融合特征图；对所述融合特征图进行二次回归处理，得到目标属性信息；基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型，以根据所述目标推理模型对目标物体进行属性信息检测。本发明由于毫米波雷达对恶劣天气不敏感，可以稳定获取并提供初始点云数据，并且目标推理模型由融合特征图进行二次回归处理后对初始卷积神经网络进行推理得到，使得在三维目标检测任务中可以基于毫米波雷达与摄像头精确、稳定地感知物体的属性信息。

附图说明

图1为本发明多传感器融合方法实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明多传感器融合方法第一实施例的流程示意图；

图3为本发明将初始点云数据与图像数据进行对齐处理的第一示意图；

图4为本发明将初始点云数据与图像数据进行对齐处理的第二示意图；

图5为本发明将初始点云数据与图像数据进行对齐处理的第三示意图；

图6为本发明多传感器融合方法第二实施例的流程示意图；

图7为本发明多传感器融合方法进行截锥体关联的示意图；

图8为本发明多传感器融合方法的整体流程示意图；

图9为本发明多传感器融合装置较佳实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种多传感器融合方法、装置、设备及存储介质，基于摄像机获取图像数据，对所述图像数据进行初次回归处理，得到物体的初次回归属性；基于毫米波雷达获取初始点云数据，将所述初始点云数据与所述图像数据进行对齐处理，得到对齐点云数据；基于所述对齐点云数据与所述初次回归属性生成融合特征图；对所述融合特征图进行二次回归处理，得到目标属性信息；基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型，以根据所述目标推理模型对目标物体进行属性信息检测。本发明由于毫米波雷达对恶劣天气不敏感，可以稳定获取并提供初始点云数据，并且目标推理模型由融合特征图进行二次回归处理后对初始卷积神经网络进行推理得到，使得在三维目标检测任务中可以基于毫米波雷达与摄像头精确、稳定地感知物体的属性信息。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的多传感器融合设备结构示意图。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明实施例多传感器融合设备可以是PC，也可以是平板电脑、便携计算机等可移动式终端设备。

如图1所示，该多传感器融合设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的多传感器融合设备结构并不构成对多传感器融合设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多传感器融合程序。

在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的多传感器融合程序，并执行以下操作：

基于摄像机获取图像数据，对所述图像数据进行初次回归处理，得到物体的初次回归属性；

基于毫米波雷达获取初始点云数据，将所述初始点云数据与所述图像数据进行对齐处理，得到对齐点云数据；

基于所述对齐点云数据与所述初次回归属性生成融合特征图；

对所述融合特征图进行二次回归处理，得到目标属性信息；

基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型，以根据所述目标推理模型对目标物体进行属性信息检测。

进一步地，所述基于所述对齐点云数据与所述初次回归属性生成融合特征图的步骤包括：

根据所述对齐点云数据与所述初次回归属性生成中间特征图；

将所述中间特征图与所述初次回归属性的特征图通道进行连接操作，形成融合特征图。

进一步地，所述根据所述对齐点云数据与所述初次回归属性生成中间特征图的步骤包括：

根据所述初次回归属性对所述对齐点云数据进行过滤处理，得到目标点云数据；

对所述目标点云数据扩展支柱，形成支柱特征信息；

将所述支柱特征信息与所述初次回归属性进行关联，得到目标支柱特征；

根据所述目标支柱特征创建深度和速度互补的特征图通道，并得到中间特征图。

进一步地，所述根据所述初次回归属性对所述对齐点云数据进行过滤处理，得到目标点云数据的步骤包括：

根据所述初次回归属性创建3D感兴趣区域截锥体与3D包围盒感兴趣区域；

根据所述3D感兴趣区域截锥体与所述3D包围盒感兴趣区域对所述对齐点云数据进行过滤处理，得到目标点云数据。

进一步地，所述对所述融合特征图进行二次回归处理，得到目标属性信息的步骤包括：

从所述融合特征图中提取目标特征；

对所述目标特征进行回归运算，得到目标属性信息。

进一步地，所述对所述图像数据进行初次回归处理，得到物体的初次回归属性的步骤包括：

调用所述初始卷积神经网络，通过所述初始卷积神经网络对所述图像数据中的物体进行目标检测，并对所述物体生成初始特征图；

对所述初始特征图进行初次回归处理，得到所述物体的初次回归属性。

进一步地，所述基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型的步骤之前，处理器1001可以用于调用存储器1005中存储的多传感器融合程序，并执行以下操作：

获取预设卷积神经网络与训练数据，根据所述训练数据对所述预设卷积神经网络进行训练，得到初始卷积神经网络。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参照图2，本发明第一实施例提供一种多传感器融合方法的流程示意图。该实施例中，所述多传感器融合方法包括以下步骤：

步骤S10，基于摄像机获取图像数据，对所述图像数据进行初次回归处理，得到物体的初次回归属性；

本实施例中多传感器融合方法应用于多传感器融合系统，本实施例多传感器融合系统中至少包含有毫米波雷达与摄像头，其中毫米波雷达是工作在毫米波波段探测的雷达，而通常毫米波是指30～300GHz(吉咖赫兹)频域(波长为1～10mm)的波；摄像头是一种视频输入设备，被广泛的运用于视频会议，远程医疗及实时监控等方面，也可以通过摄像头在网络进行有影像、有声音的交谈和沟通，另外，还可以用于当前各种流行的数码影像、影音处理等。

可以理解地，自动化行业机器人通常配备不同类型的传感器，利用它们对行业场景的感知特性互补，通过多传感器融合的方法增强其对目标检测、语义分割等任务的准确性与鲁棒性。而当前传感器融合方法利用激光雷达和摄像机进行三维物体检测。激光雷达是通过激光脉冲的飞行时间来计算与周围物体的距离。激光雷达提供了精确的近距离的深度信息，此类信息往往以点云数据的形式表现，但随着距离的增加，其点云数据也变得稀疏，导致感知远距离物体的能力下降。而摄像机提供了丰富的色彩与纹理等二维信息，但无法感知物体图像的深度。若通过将激光雷达与摄像机的融合来进行三维物体检测，由于摄像机与激光雷达都对恶劣的天气条件很敏感(例如雪、雾、雨等天气)，也不能在不使用时间信息的情况下检测物体的速度。但在许多情况下，估计物体的速度是避免碰撞的关键要求，特别在自动驾驶等场景中，在时间信息作为关键信息的情况下，依赖时间信息进行三维物体检测不是可行的方案。因此，本申请提出一种多传感器融合方法，通过将毫米波雷达与摄像机进行多传感器融合来进行三维物体检测与空间3D(3-dimension，三维)属性感知等任务，并且毫米波雷达与激光雷达和摄像机相比，对恶劣的天气条件则非常健壮，能够在很长的范围内探测物体(可达200米)，毫米波雷达使用多普勒效应来准确估计所有被检测物体的速度，而不需要任何时间信息。此外，与激光雷达相比，毫米波雷达所采集的点云数据在用作目标检测结果之前仅仅需要较少的处理，以及毫米波雷达相比于激光雷达价格较低。并且，本发明通过将毫米波雷达与摄像机进行多传感器融合，可以解决通过聚合多个毫米波雷达扫描增加点云数据的密度，但数据延迟引入到系统中，以及，虽然毫米波雷达点云通常表示为三维坐标系中的点，但因为大多数毫米波雷达只报告与物体的距离和方位角，导致点云的垂直测量通常也不是很准确，甚至不存在的问题。

进一步地，系统调用摄像机，通过控制摄像机调整拍摄角度，在调整拍摄角度后向镜头前方拍摄一张图像，并从摄像机的存储器中读取拍摄的图像数据。进一步地，系统通过由预设卷积神经网络训练得到的初始卷积神经网络来对读取的图像数据进行初次回归处理，具体地，将读取的图像数据输入至初始卷积神经网络中，通过初始卷积神经网络对图像数据进行物体检测并对检测的物体产生特征图，再根据特征图对物体的3D属性进行初次回归处理，得到物体的初次回归属性，以便于后续根据初始点云数据与图像数据进行对齐处理，得到对齐点云数据，其中初次回归处理包括HM(Heat map)、Off(Offset)、WH(Width，Height)、Dim(Dimension)、Dep(Depth)、Rot(Rotation)等属性进行回归运算。

进一步地，所述对所述图像数据进行初次回归处理，得到物体的初次回归属性的步骤包括：

步骤S11，调用所述初始卷积神经网络，通过所述初始卷积神经网络对所述图像数据中的物体进行目标检测，并对所述物体生成初始特征图；

步骤S12，对所述初始特征图进行初次回归处理，得到所述物体的初次回归属性。

进一步地，系统调用初始卷积神经网络，将图像数据输入至初始卷积神经网络，通过训练后的初始卷积神经网络中的Centernet来对图像数据进行物体检测并对检测到的物体产生特征图，Centernet用于通过将一个图像数据中的对象建模为一个点，作为目标的包围盒的中心点，使用关键点估计来找到中心点，并回归到所有其他对象属性，如大小、3D属性、方向、类别甚至姿态等，再根据预设卷积神经网络中的骨干网络将输入图像输入到生成热力图的全卷积网络中，热力图中的局部峰值对应为对象的中心，用峰值的图像特征预测物体包围盒的高度和宽度、类别、姿态等属性，并生成物体对象的特征图，其中骨干网络为全卷积网络，一般为(DLA(Deep Layer Aggregation，深层聚集)43、resnet18、HourglassNet)网络结构，resnet18为带有权重的18层网络结构，HourglassNet是一种沙漏网络，用于人体关键点检测；再根据特征图对物体的深度、3D包围盒、速度等属性进行初次回归处理，得到物体的初次回归属性，以便于后续根据初始点云数据与图像数据进行对齐处理，得到对齐点云数据，在一定程度上提高处理得到的数据的精确度。

步骤S20，基于毫米波雷达获取初始点云数据，将所述初始点云数据与所述图像数据进行对齐处理，得到对齐点云数据；

进一步地，系统对毫米波雷达进行调用，控制毫米波雷达在其可进行检测的范围内进行物体检测，根据检测的物体信息形成点云数据，并从毫米波雷达的存储器中读取出点云数据作为初始点云数据。进一步地，系统对从毫米波雷达中获取的初始点云数据与从摄像机中读取的图像数据进行时间对齐，将初始点云数据所在的坐标系，转换到图像数据所在的坐标系，并对毫米波雷达采集的初始点云数据的径向速度进行变换，使得初始点云数据的径向速度与初次回归处理后的初次回归属性中的速度一致，得到对齐点云数据，以基于所述对齐点云数据与所述初次回归属性生成融合特征图，具体转换参见图3、图4、图5，图3、图4、图5分别为本发明将初始点云数据与图像数据进行对齐处理的第一示意图、第二示意图、第三示意图，图3中包含向前运动的小车，小车前存在与小车在同一方向以vA的速度移动的物体A，在小车右前方存在以实际运动速度vB移动的物体B，X、Y、Z分别为横坐标，纵坐标、垂直坐标，由于物体B的径向移动速度Vr与物体B的实际移动速度vB不同，因此需要对物体B的实际移动速度vB进行速度变换，将vB分解为与小车移动方向平行的速度，以及与小车移动方向垂直的速度，并将与小车移动方向平行的速度作为新的径向速度，可以理解地，需要将实际速度与径向速度的单位也进行统一转换，而物体A的实际移动速度与径向速度相同，则不需要进行变换；图4中将摄像机的照相中心在由X、Y、Z三个坐标轴形成的三维坐标系中的点C作为原点，并且图像平面也存在由X、Y、Z三个坐标轴形成的三维坐标系，以及物体的坐标原点P，因此需要分别将两个坐标系中的X、Y、Y坐标轴进行对齐，以使提取出两坐标系中数据的中间特征；图5中包含摄像机拍摄的图像数据以及毫米波雷达检测的点云数据，而点云数据较为稀疏。

步骤S30，基于所述对齐点云数据与所述初次回归属性生成融合特征图；

进一步地，系统先根据对齐点云数据与初次回归属性按照对图像数据进行初次回归处理时产生的特征图规格进行毫米波雷达数据的中间特征图制作；并在完成中间特征图的制作后，将中间特征图通过初次回归属性的特征图通道与图像数据的初次回归属性进行连接操作，形成融合特征图，以对融合特征图进行二次回归处理，得到目标属性信息。

步骤S40，对所述融合特征图进行二次回归处理，得到目标属性信息；

进一步地，系统对生成的融合特征图进行二次回归处理，以对检测物体的3D属性进行重新估计，得到目标属性信息；具体地，系统可以采用卷积操作对融合特征图进行特征提取后，再对提取的特征进行回归运算，得到目标属性信息。

进一步地，所述对所述融合特征图进行二次回归处理，得到目标属性信息的步骤包括：

步骤S41，从所述融合特征图中提取目标特征；

步骤S42，对所述目标特征进行回归运算，得到目标属性信息。

进一步地，系统可以通过卷积操作从融合特征图中提取出3D属性如深度、速度等目标特征，并在目标特征提取完毕后对目标特征进行回归运算，通过包含三个卷积层的二次回归头对目标特征进行回归运算，增加了3×3卷积层与1×1个卷积层，以产生所需的输出，得到目标属性信息；与初次回归处理的回归头相比，二次回归的回归头中额外的卷积层，有助于从毫米波雷达的特征映射中学习更高层次的特征，并在最后将二次回归头运算的结果解码为3D边界框，3D边界框解码器使用来自二次回归头的估计深度、速度、旋转和属性，并从初级回归属性中获取其他物体对象的属性信息。

步骤S50，基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型，以根据所述目标推理模型对目标物体进行属性信息检测。

进一步地，在通过训练数据对预设卷积神经网络进行训练并得到初始卷积神经网络后，为了在应用训练后的初始卷积神经网络进行三维目标检测时检测的属性信息更加精确，还需要通过二次回归处理得到的目标属性信息对初始卷积神经网络进行推理，具体地，将二次回归处理得到的目标属性信息输入至初始卷积神经网络中，并通过初始卷积神经网络对目标属性信息进行数据推理，在完成数据推理后生成用于多模态融合深度卷积神经网络3D目标检测与识别的目标推理模型，使得可以根据所述目标推理模型对目标物体进行属性信息检测，实现在三维目标检测任务中基于毫米波雷达与摄像头快速、精确、稳定地感知物体的属性信息。

进一步地，所述基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型的步骤之前，还包括：

步骤A，获取预设卷积神经网络与训练数据，根据所述训练数据对所述预设卷积神经网络进行训练，得到初始卷积神经网络。

进一步地，系统首先获取预设卷积神经网络，本实施例中预设卷积神经网络可以为FCN(Full Connected Network，全卷积网络)，全卷积网络是在全连接网络的基础上，通过用卷积网络替换全连接网络得到的一种卷积神经网络；然后，为了使得预设卷积神经网络在进行三维目标检测时可以提供精确的属性信息，系统可以通过摄像机获取图像，以及通过毫米波雷达获取点云数据，并分别对图像与点云数据进行人工标注，以对图像与点云数据中的物体进行识别与区分，进一步将人工标注的图像与点云数据作为训练数据，并将训练数据输入至预设卷积神经网络中进行训练，对预设卷积神经网络中的参数进行调整，得到初始卷积神经网络；系统也可以通过无线通信方式从外界获取已经完成标注的图像与点云数据作为训练数据，并将训练数据输入至预设卷积神经网络中进行训练，对预设卷积神经网络中的参数进行调整，得到初始卷积神经网络，以使通过初始卷积神经网络进行初次回归处理得到的初次回归属性较为准确。

本实施例提供一种多传感器融合方法、装置、设备及存储介质，基于摄像机获取图像数据，对所述图像数据进行初次回归处理，得到物体的初次回归属性；基于毫米波雷达获取初始点云数据，将所述初始点云数据与所述图像数据进行对齐处理，得到对齐点云数据；基于所述对齐点云数据与所述初次回归属性生成融合特征图；对所述融合特征图进行二次回归处理，得到目标属性信息；基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型，以根据所述目标推理模型对目标物体进行属性信息检测。本发明通过将初始点云数据与图像数据进行关联，并根据关联的初始点云数据与图像数据生成融合特征图，并由对融合特征图进行二次回归处理后的目标属性信息对初始神经网络进行推理，得到用于对目标物体进行属性信息检测的目标推理模型，实现在三维目标检测任务中基于毫米波雷达与摄像头快速、精确、稳定地感知物体的属性信息。

进一步地，参照图6，基于本发明多传感器融合方法的第一实施例，提出本发明多传感器融合方法的第二实施例，在第二实施例中，所述基于所述对齐点云数据与所述初次回归属性生成融合特征图的步骤包括：

步骤S31，根据所述对齐点云数据与所述初次回归属性生成中间特征图；

步骤S32，将所述中间特征图与所述初次回归属性的特征图通道进行连接操作，形成融合特征图。

进一步地，系统先获取对图像数据进行初次回归处理时产生的特征图规格，再将对齐点云数据与初次回归属性按照获取的特征图规格制作对齐点云数据的中间特征图；进一步地，在完成中间特征图的制作后，系统将中间特征图通过初次回归属性的特征图通道与初次回归属性的特征图进行连接操作，在完成连接操作后形成融合特征图，以对融合特征图进行二次回归处理，得到目标属性信息。

进一步地，所述根据所述对齐点云数据与所述初次回归属性生成中间特征图的步骤包括：

步骤S311，根据所述初次回归属性对所述对齐点云数据进行过滤处理，得到目标点云数据；

步骤S312，对所述目标点云数据扩展支柱，形成支柱特征信息；

步骤S313，将所述支柱特征信息与所述初次回归属性进行关联，得到目标支柱特征；

步骤S314，根据所述目标支柱特征创建深度和速度互补的特征图通道，并得到中间特征图。

进一步地，系统首先通过初次回归处理得到的初次回归属性创建3D感兴趣区域截锥体与3D包围盒感兴趣区域，通过3D感兴趣区域截锥体对初始点云数据3D感兴趣区域截锥体外的初始点云数据滤除后，再通过3D包围盒感兴趣区域进行再次过滤，得到目标点云数据。进一步地，毫米波雷达探测由于其高度信息不准确，可能在其相应物体对象的ROI截锥体之外，而为了解决高度信息不准确的问题，引入毫米波雷达的目标点云数据的支柱特征，将每个毫米波雷达的点云扩展到一个固定大小的支柱，形成支柱特征信息。进一步地，系统再将对初始点云数据进行滤除处理得到的目标点云信息进行支柱扩展制造的支柱特征信息，与由Centernet对摄像机采集的图像数据进行初次回归处理得到的初次回归属性进行关联，对3D感兴趣区域外的柱状特征进行滤除，在滤除完成后得到目标支柱特征。进一步地，系统通过滤除得到的目标支柱特征创建深度和速度互补的特征图通道，生成以物体的2D包围盒为中心的内部热力图特征图通道，并由内部热力图特征图通道与其形成的特征图形成点云数据与图像数据之间的中间特征图。其生成方法如下：

其中，热力图的宽度和高度与物体的二维包围盒成正比，并由参数a控制。热力图值是归一化的物体深度d与毫米波雷达径向的速度在图像x和y上的分量v

进一步地，所述根据所述初次回归属性对所述对齐点云数据进行过滤处理，得到目标点云数据的步骤包括：

步骤S3111，根据所述初次回归属性创建3D感兴趣区域截锥体与3D包围盒感兴趣区域；

步骤S2112，根据所述3D感兴趣区域截锥体与所述3D包围盒感兴趣区域对所述对齐点云数据进行过滤处理，得到目标点云数据。

进一步地，系统通过初次回归处理得到的包含2D包围框与深度信息的初次回归属性，创建一个3DRoI(region of interest，感兴趣区域)截锥体。通过3D感兴趣区域截锥体缩小了关联的毫米波雷达的初始点云数据，滤除感兴趣区域外的初始点云数据。然后，使用初次回归运算的初次回归属性中估计的物体深度、旋转角度来创建一个的3D包围盒感兴趣区域，进一步过滤掉与该物体无关的初始点云数据，最终得到对初始点云数据进行过滤处理后的目标点云数据。可以理解地，如果这个RoI内部有多个毫米波雷达探测以最近的点作为对应于目标的毫米波雷达探测点，由于图像数据估计深度的精度问题，可通过调节初次回归估计的深度的大小，加大或减少3D感兴趣区域，如图7所示，图7为本发明多传感器融合方法进行截锥体关联的示意图，图7中包含有摄像机拍摄的图像数据，进行截锥体关联的平面示意图以及关联后的点云数据示意图。

本实施例基于所述对齐点云数据与所述初次回归属性生成融合特征图，融合了毫米波雷达深度探测速度、深度数据的准确性，以及摄像头采集图像数据的纹理和语义的丰富性，克服了毫米波雷达采集数据的稀疏性无语义信息与摄像头采集的图像数据估计3D属性的精度问题，有利于在三维目标检测任务中基于毫米波雷达与摄像头快速、精确、稳定地感知物体的属性信息。

可以理解地，参见图8，图8为本发明多传感器融合方法的整体流程示意图，在本发明多传感器融合方法的整体流程中包含从摄像机读取的图像与从毫米波雷达中读取的雷达点云，通过全卷积骨干网络对图像进行初次回归处理，得到初次回归属性以及图像中物体的3D包围盒，通过对雷达点云进行对齐后的点云数据扩展支柱，并将扩展支柱后的支柱特征信息与初次回归属性进行截锥体关联，再将关联得到的中间特征图与初次回归属性的特征图通道进行连接操作，并对连接操作得到的融合特征图进行二次回归操作，得到二次回归属性，通过将二次回归属性对原始的3D包围盒进行调整，得到精确度更高的目标回归属性，使得通过目标回归属性对初始卷积神经网络进行推理后，可以通过推理得到的目标推理模型对目标物体快速、精确且稳定地进行属性信息检测，其中初次回归处理包括缩略语HM(Heat map)、Off(Offset)、WH(Width，Height)、Dim(Dimension)、Dep(Depth)、Rot(Rotation)等属性进行回归运算，二次回归处理包括对Dep(Depth)、Vel(Velocity)、Rot(Rotation)、Att(Attributes)等属性进行回归运算，初次属性包含对图像数据通过一个卷积的初次回归头进行以3x3conv(卷积)以及1x1conv处理，二次属性包含对数据通过三个卷积的二次回归头进行以3x3conv(卷积)以及1x1conv处理。

进一步地，本发明还提供一种多传感器融合装置。

参照图9，图9为本发明多传感器融合装置第一实施例的功能模块示意图。

所述多传感器融合装置包括：

初次回归处理模块10，用于基于摄像机获取图像数据，对所述图像数据进行初次回归处理，得到物体的初次回归属性；

对齐处理模块20，用于基于毫米波雷达获取初始点云数据，将所述初始点云数据与所述图像数据进行对齐处理，得到对齐点云数据；

数据融合模块30，用于基于所述对齐点云数据与所述初次回归属性生成融合特征图；

二次回归处理模块40，用于对所述融合特征图进行二次回归处理，得到目标属性信息；

模型推理模块50，用于基于所述目标属性信息对初始卷积神经网络推理得到目标推理模型，以根据所述目标推理模型对目标物体进行属性信息检测。

进一步地，所述初次回归处理模块10包括：

检测单元，用于调用所述初始卷积神经网络，通过所述初始卷积神经网络对所述图像数据中的物体进行目标检测，并对所述物体生成初始特征图；

初次回归处理单元，用于对所述初始特征图进行初次回归处理，得到所述物体的初次回归属性。

进一步地，所述对齐处理模块20包括：

提取单元，用于从所述融合特征图中提取目标特征；

回归运算单元，用于对所述目标特征进行回归运算，得到目标属性信息。

进一步地，所述数据融合模块30包括：

生成单元，用于根据所述对齐点云数据与所述初次回归属性生成中间特征图；

连接单元，用于将所述中间特征图与所述初次回归属性的特征图通道进行连接操作，形成融合特征图。

进一步地，所述数据融合模块30还包括：

第一过滤单元，用于根据所述初次回归属性对所述对齐点云数据进行过滤处理，得到目标点云数据；

扩展单元，用于对所述目标点云数据扩展支柱，形成支柱特征信息；

关联单元，用于将所述支柱特征信息与所述初次回归属性进行关联，得到目标支柱特征；

通道创建单元，用于根据所述目标支柱特征创建深度和速度互补的特征图通道，并得到中间特征图。

进一步地，所述数据融合模块30还包括：

区域创建单元，用于根据所述初次回归属性创建3D感兴趣区域截锥体与3D包围盒感兴趣区域；

第二过滤单元，用于根据所述3D感兴趣区域截锥体与所述3D包围盒感兴趣区域对所述对齐点云数据进行过滤处理，得到目标点云数据。

进一步地，所述数据融合模块30还包括：

训练单元，用于获取预设卷积神经网络与训练数据，根据所述训练数据对所述预设卷积神经网络进行训练，得到初始卷积神经网络。

此外，本发明还提供一种存储介质，所述存储介质优选为计算机可读存储介质，其上存储有多传感器融合程序，所述多传感器融合程序被处理器执行时实现上述多传感器融合方法各实施例的步骤。

在本发明多传感器融合装置和计算机可读介质的实施例中，包含了上述多传感器融合方法各实施例的全部技术特征，说明和解释内容与上述多传感器融合方法各实施例基本相同，在此不做赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是固定终端，如物联网智能设备，包括智能空调、智能电灯、智能电源、智能路由器等智能家居；也可以是移动终端，包括智能手机、可穿戴的联网AR/VR装置、智能音箱、自动驾驶汽车等诸多联网设备)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。