目标检测方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机技术领域，具体涉及一种目标检测方法、装置、电子设备及存储介质。

背景技术

随着人工智能和传感器技术的发展，智慧交通系统体现出巨大的优越性。智慧交通系统中，最重要的技术是目标检测技术。交通场景中的目标检测在于用一种快速、高效的方法，实时检测道路上的特定目标，获取目标的位置、类型等信息。实际交通场景中的目标检测多处于复杂背景环境中，因此，该项技术的实现对感知设备性能提出了较高的要求。

目前应用于路侧目标检测的感知设备主要包括图像传感器、毫米波雷达、激光雷达等。图像传感器具有分辨率高、速度快、传递信息丰富、成本低等优势，依赖深度学习对复杂数据的强大处理能力，可以极大提高环境感知分类能力；毫米波雷达具有反应速度快、操作简单、无视遮挡等优势，并且能在多种环境条件下提供目标的有效位置和速度；激光雷达具备精确3D感知能力、对光线变化不敏感、信息丰富等优势。

在进行目标识别和轨迹跟踪任务时，使用单传感器检测存在以下不足之处：

(1)激光雷达价格昂贵，在实际制造中会大大增加感知设备的制造成本；

(2)图像传感器获取的图像数据只包含二维信息，无法提供准确的三维空间信息，在实际中难以对检测目标进行距离估计；

(3)毫米波雷达检测的分辨率和精度较低，无法准确识别目标类型。

为了降低制造成本，并克服单一传感器存在的上述各种问题，毫米波雷达与视觉融合感知技术得到了广泛的研究和应用。在众多融合感知技术中，决策融合是一种实现简单、计算复杂度低的融合技术，实际中采用决策融合的方式可以极大降低计算开销和对设备处理性能的要求。

发明内容

本公开实施例提供一种目标检测方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种目标检测方法，其中，包括：

分别获取毫米波雷达采集到的第一目标数据以及图像传感器采集到的第二目标数据；

将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐；

针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配；

根据目标匹配结果确定融合后的目标检测结果。

进一步地，所述方法还包括：

利用所述毫米波雷达采集目标空间区域中的雷达数据以及利用图像传感器采集所述目标空间区域中的视觉数据；

对所述雷达数据进行处理获得所述第一目标数据，以及利用预先训练的神经网络模型对所述视觉数据进行处理获得所述第二目标数据。

进一步地，将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐，包括：

利用预先标定的所述图像传感器的内参、所述图像传感器与所述毫米波雷达的外参将所述第一目标数据中的目标空间位置投影到所述第二目标数据中的目标空间位置所在的图像平面；和/或，

以所述第二目标数据对应的图像采集帧率为标准，对所述第一目标数据进行外推，获得与所述第二目标数据时间对齐的时间对齐目标数据。

进一步地，以所述第二目标数据对应的图像采集帧率为标准，对所述第一目标数据进行外推，获得与所述第二目标数据时间对齐的时间对齐目标数据，包括：

确定所述第二目标数据对应的采集时间；

获取所述采集时间前后所采集到的两帧雷达图像对应的两组所述第一目标数据；

利用两组所述第一目标数据进行线性插值得到所述采集时间处对应的所述时间对齐目标数据。

进一步地，针对时间和空间上均对齐的第一帧和的第二帧进行目标匹配，包括：

计算时间和空间对齐的所述第一目标数据和第二目标数据中两两目标之间的最小交点值；所述最小交点值为两目标相交面积与所述两目标中的较小面积之比；

将所述最小交点值大于预设阈值的两目标确定为相匹配的目标。

进一步地，根据目标匹配结果确定融合后的目标检测结果，包括：

将相匹配的目标对应的所述第一目标数据和所述第二目标数据加入融合之后的所述目标检测结果中；

对于第一目标数据中存在而第二目标数据中不存在的待恢复目标，进行毫米波漏检恢复，并将所述待恢复目标对应的第一目标数据以及恢复得到的第二目标数据加入融合之后的所述目标检测结果中。

进一步地，对于第一目标数据中存在而第二目标数据中不存在的待恢复目标，进行毫米波漏检恢复，包括：

从所述目标检测结果中选定其中一个目标作为参考目标，根据所述参考目标的底边的图像像素坐标推算出所述参考目标的底边的空间位置坐标；

假设所述待恢复目标与所述参考目标位于同一地平面的情况下，基于所述参考目标的底边的空间位置坐标以及所述待恢复目标的图像像素坐标推算出所述待恢复目标的空间位置坐标。

第二方面，本公开实施例中提供了一种目标检测装置，其中，包括：

获取模块，被配置为分别获取毫米波雷达采集到的第一目标数据以及图像传感器采集到的第二目标数据；

对齐模块，被配置为将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐；

匹配模块，被配置为针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配；

确定模块，被配置为根据目标匹配结果确定融合后的目标检测结果。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述任一方面中的所述方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述装置还可以包括通信接口，用于与其他设备或通信网络通信。

第三方面，本公开实施例提供了一种目标检测系统，其中，包括：毫米波雷达、图像传感器以及处理设备；其中，

所述毫米波雷达用于采集目标空间区域中的雷达数据，并将所述雷达数据传送至所述处理设备；

所述图像传感器用于采集目标空间区域中的视觉数据，并将所述视觉数据传送至所述处理设备；

所述处理设备对所述雷达数据进行处理获得第一目标数据，并对所述视觉数据进行处理获得第二目标数据；

所述处理设备还将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐，并针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配，以及根据目标匹配结果确定融合后的目标检测结果。

第四方面，本公开实施例提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现上述任一方面所述的方法。

第五方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，其包含用于执行上述任一方面所述方法所涉及的计算机指令。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例提出的目标检测方法，通过将毫米波雷达检测到的第一目标数据和图像传感器检测到的第二目标数据进行时间和空间上对齐，进而针对时间和空间对齐的第一目标数据和第二目标数据中检测到的多个目标进行两两匹配，并根据匹配结果获得融合之后的目标检测结果。本公开实施例这种方式，通过融合毫米波雷达的雷达图像和图像传感器的视觉图像，降低了毫米波雷达的漏检率和虚警率，并获得了目标的位置信息以及目标类型等，提高了目标检测准确率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的目标检测方法的流程图；

图2示出根据本公开一实施方式建立的毫米波雷达和图像传感器之间的空间位置坐标关系；

图3示出根据本公开一实施方式对第一目标数据进行外推得到时间对齐的第一目标数据的方法；

图4示出根据本公开一实施方式在车联网系统中的应用架构示意图；

图5示出应用于图4中示出的边缘计算单元的目标检测方法的流程实现示意图；

图6示出根据本公开一实施方式的目标检测装置的结构框图；

图7示出根据本公开一实施方式的目标检测系统的结构框图；

图8是适于用来实现根据本公开一实施方式的目标检测方法的电子设备的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

本公开实施例提出一种基于神经网络和毫米波漏检恢复的毫米波雷达与视觉决策融合道路目标检测方法。该目标检测方法中，利用预先训练的深度神经网络对图像传感器采集的图像数据进行处理获得目标列表；之后还将毫米波雷达数据和视觉数据进行时间和空间对齐，并对毫米波雷达和图像传感器检测到的目标数据进行目标匹配和位置推算，得到融合之后的目标集合。

下面通过具体实施例详细介绍本公开实施例的细节。

图1示出根据本公开一实施方式的目标检测方法的流程图。如图1所示，所述目标检测方法包括以下步骤：

在步骤S101中，分别获取毫米波雷达采集到的第一目标数据以及图像传感器采集到的第二目标数据；

在步骤S102中，将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐；

在步骤S103中，针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配；

在步骤S104中，根据目标匹配结果确定融合后的目标检测结果。

本实施例中，毫米波雷达和图像传感器可以设置在待检测的目标空间区域的周边，例如应用在道路目标检测场景时，可以将毫米雷达和图像传感器设置在路侧。毫米雷达和图像传感器可以设置在同一位置，也可以设置在不同位置。

在将毫米波雷达和图像传感器安装在目标空间区域之后，还可以对毫米波雷达和图像传感器之间的外参进行标定，还可以对图像传感器进行内参标定。其中，图像传感器的内参包括图像传感器的焦距f、感光芯片上对应一个像素的实际感光点的物理尺寸dx、dy；图像传感器和毫米波雷达之间的外参包括表示毫米波雷达与图像传感器之间的旋转关系的旋转矩阵R、表示毫米波雷达与图像传感器之间的平移关系的平移矩阵T。

毫米波雷达和图像传感器在安装完成之后，可以持续不断的采集目标空间区域的雷达图像以及视觉图像。雷达图像经过处理之后可以获得目标空间区域中检测到的第一目标数据，第一目标数据可以包括但不限于所检测到的目标的边界框的长宽高、空间位置坐标以及目标速度等信息。视觉图像可以输入至预先训练得到的神经网络模型进行目标检测，并输出第二目标数据，第二目标数据可以包括但不限于所检测到的目标的像素坐标以及物体类型等。

第一目标数据和第二目标数据可以存储至数据缓存器中。

在数据缓存器中的第一目标数据和第二目标数据均为非空时，分别对缓存器中的第一目标数据和第二目标数据进行时间对齐和空间对齐。

根据毫米波雷达输出的雷达数据得到的第一目标数据中包括所检测到的目标的空间位置坐标，而根据图像传感器输出的视觉图像得到的第二目标数据中所检测到的目标的像素位置、目标类型等视觉数据。因此可以通过构建毫米波雷达和图像传感器之间的空间位置坐标关系，并基于预先标定的图像传感器的内参以及毫米波雷达与图像传感器之间的外参得到图像传感器坐标系下的空间位置坐标与图像像素坐标之间的变换关系。

根据该变换关系可以将毫米波雷达检测得到的第一目标数据投影到平面图像坐标系下，得到空间对齐的第一目标数据和第二目标数据。

由于图像传感器采集视觉图像的帧率是固定的，所以每帧图像对应的采集时间已知，因此从每帧图像检测到的第二目标数据对应的时间也确定。而毫米波雷达输出雷达图像的频率不固定，因此可以将基于毫米波雷达输出的雷达图像得到的第一目标数据外推的方式，获得与基于图像传感器采集到的的视觉图像得到的第二目标数据在时间上对齐的第一目标数据。

在将第一目标数据和第二目标数据进行时间对齐和空间对齐之后，针对每一对时间和空间对齐的图像帧(包括雷达图像帧和视觉图像帧)，将雷达图像帧中检测得到的一个或多个目标与视觉图像帧中检测得到的一个或多个目标进行目标匹配。例如，可以将位置和大小相匹配的两目标确定为同一目标，进而可以得到该目标的空间位置坐标、像素坐标以及速度等信息。

本公开实施例提出的目标检测方法，通过将毫米波雷达检测到的第一目标数据和图像传感器检测到的第二目标数据进行时间和空间上对齐，进而针对时间和空间对齐的第一目标数据和第二目标数据中检测到的多个目标进行两两匹配，并根据匹配结果获得融合之后的目标检测结果。本公开实施例这种方式，通过融合毫米波雷达的雷达图像和图像传感器的视觉图像，降低了毫米波雷达的漏检率和虚警率，并获得了目标的位置信息以及目标类型等，提高了目标检测准确率。

在本实施例的一个可选实现方式中，所述方法还包括：

利用所述毫米波雷达采集目标空间区域中的雷达数据以及利用图像传感器采集所述目标空间区域中的视觉数据；

对所述雷达数据进行处理获得所述第一目标数据，以及利用预先训练的神经网络模型对所述视觉数据进行处理获得所述第二目标数据。

该可选的实现方式中，毫米波雷达和图像传感器可以用于采集同一目标空间中的数据，毫米波雷达采集到的雷达数据包括目标空间区域中目标的点云数据，通过对点云数据处理可以获得第一目标数据。图像传感器采集得到目标空间区域中的一系列视觉图像，该一系列视觉图像输入至预先训练的深度神经网络模型即可得到第二目标数据。深度神经网络模型的训练过程中，可以收集图像传感器采集到的图像集，并由人工对图像集中的图像进行标记，例如标记图像中目标的边界框以及目标类型等。利用标记的图像集对深度神经网络进行训练，最终得到目标检测效果最好的作为最终的网络模型。

在本实施例的一个可选实现方式中，所述步骤S102，即将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐的步骤，进一步包括以下步骤：

利用预先标定的所述图像传感器的内参、所述图像传感器与所述毫米波雷达的外参将所述第一目标数据中的目标空间位置投影到所述第二目标数据中的目标空间位置所在的图像平面；和/或，

以所述第二目标数据对应的图像采集帧率为标准，对所述第一目标数据进行外推，获得与所述第二目标数据时间对齐的时间对齐目标数据。

该可选的实现方式中，图像传感器的内参包括图像传感器的焦距f、感光芯片上对应一个像素的实际感光点的物理尺寸dx、dy；图像传感器和毫米波雷达之间的外参包括表示毫米波雷达与图像传感器之间的旋转关系的旋转矩阵R、表示毫米波雷达与图像传感器之间的平移关系的平移矩阵T。

空间对齐的目的是将毫米波雷达和图像传感器检测到的目标投影到相同坐标系下，便于对目标进行融合。

图2示出根据本公开一实施方式建立的毫米波雷达和图像传感器之间的空间位置坐标关系。如图2所示，(u,v)为图像坐标系，(x,y)为像平面坐标系，O

图像传感器的数据帧频率固定，雷达图像帧的输出频率不固定，以图像传感器的数据帧时间为标准，对雷达输出的图像帧中的目标进行外推，可以达到时间对齐的目的。

在本实施例的一个可选实现方式中，以所述第二目标数据对应的图像采集帧率为标准，对所述第一目标数据进行外推，获得与所述第二目标数据时间对齐的时间对齐目标数据的步骤，进一步包括以下步骤：

确定所述第二目标数据对应的采集时间；

获取所述采集时间前后所采集到的两帧雷达图像对应的两组所述第一目标数据；

利用两组所述第一目标数据进行线性插值得到所述采集时间处对应的所述时间对齐目标数据。

该可选的实现方式中，针对图像传感器采集到的每一帧图像，可以确定其采集时间，进而可以确定根据该图像获得的第二目标数据的采集时间。也即第二目标数据的采集时间即为对应的图像的采集时间。

毫米波雷达输出的雷达图像由于频率不固定，因此可以针对每一图像传感器采集到的视觉图像，可以获取与该视觉图像邻近的前后两帧雷达图像，也即其中一帧雷达图像在视觉图像之前采集，而另一帧雷达图像在视觉图像之后采集，并且该前后两帧雷达图像为毫米波雷达连续输出的两帧雷达图像。针对该两帧雷达图像得到的第二目标数据中，可以通过线性插值的方式得到在视觉图像的采集时间处的第二目标数据。

图3示出根据本公开一实施方式对第一目标数据进行外推得到时间对齐的第一目标数据的方法。如图3所示，T

在本实施例的一个可选实现方式中，步骤S103，即针对时间和空间上均对齐的第一帧和的第二帧进行目标匹配的步骤，进一步包括以下步骤：

计算时间和空间对齐的所述第一目标数据和第二目标数据中两两目标之间的最小交点值；所述最小交点值为两目标相交面积与所述两目标中的较小面积之比；

将所述最小交点值大于预设阈值的两目标确定为相匹配的目标。

该可选的实现方式中，由于毫米波雷达所检测到的目标的边界不一定为该目标的实际边界，因此可以采用一种估计毫米波雷达输出的雷达图像和图像传感器采集到的视觉图像中所检测到的目标的重合度，来确定两目标是否向匹配。

在一些实施例中，进行目标匹配的过程中，针对时间和空间均对齐的第一目标数据和第二目标数据，将一帧视觉图像中识别出的一个或多个目标以及与该视觉图像对应的雷达图像中识别出的一个或多个目标两两组合形成多对目标。针对每一对目标，可以通过计算两者之间的最小交点值，并根据最小交点值的大小来确定该对目标是否为同一目标对象。

假设毫米波雷达输出的雷达图像中检测到的目标边界框(BBox)投影到图像平面为矩形G，需要说明的是，此处的矩形G为经过时间和空间对齐后的数据；与该雷达图像对应的图像传感器采集到的视觉图像中检测到的目标边界框为矩形T，则可以计算其IOM(Intersection over minimum，最小交点值)参数。

式中，ROI

在本实施例的一个可选实现方式中，步骤S104，即根据目标匹配结果确定融合后的目标检测结果的步骤，进一步包括以下步骤：

将相匹配的目标对应的所述第一目标数据和所述第二目标数据加入融合之后的所述目标检测结果中；

对于第一目标数据中存在而第二目标数据中不存在的待恢复目标，进行毫米波漏检恢复，并将所述待恢复目标对应的第一目标数据以及恢复得到的第二目标数据加入融合之后的所述目标检测结果中。

该可选的实现方式中，可以通过对目标匹配结果进行分类处理获得最终的目标检测结果。

在一些实施例中，从毫米波雷达输出的雷达图像和图像传感器采集的视觉图像中均检测到的目标也即第一目标数据和第二目标数据中均存在且相匹配的目标具备完善的位置、速度、类型信息，该目标的上述信息可以加入到融合后的目标检测结果中。并且已加入到目标检测结果中的目标之一可以被选取作为参考目标，用于毫米波漏检恢复。毫米波雷达输出的雷达图像中检测到但图像传感器采集的视觉图像中未检测到的目标，也即第一目标数据中存在而第二目标数据中不存在的目标可以视为毫米波雷达的虚警，不将其加入融合后的目标检测结果中。而图像传感器采集的视觉图像中检测到但毫米波雷达输出的雷达图像中未检测到的目标，也第一目标数据中不存在而第二目标数据中存在的目标，可以通过参考目标对其进行毫米波漏检恢复。需要说明的是，本实施例中提到的第一目标数据的目标和第二目标数据中的目标指的是时间对齐的一帧雷达图像和一帧视觉图像中检测到的目标。

在本实施例的一个可选实现方式中，对于第一目标数据中存在而第二目标数据中不存在的待恢复目标，进行毫米波漏检恢复的步骤，进一步包括以下步骤：

从所述目标检测结果中选定其中一个目标作为参考目标，根据所述参考目标的底边的图像像素坐标推算出所述参考目标的底边的空间位置坐标；

假设所述待恢复目标与所述参考目标位于同一地平面的情况下，基于所述参考目标的底边的空间位置坐标以及所述待恢复目标的图像像素坐标推算出所述待恢复目标的空间位置坐标。

该可选的实现方式中，针对第一目标数据中存在而第二目标数据中不存在的待恢复目标，可以从目标检测结果中选取其中一个目标作为参考目标。需要说明的是，参考目标与待恢复目标为时间对齐的雷达图像和视觉图像中检测到的目标。通常情况下，无论是参考目标还是待恢复目标在视觉图像中的底边为地平面(由于运动物体基本上都是在地平面上运动)，因此可以根据参考目标的底边的空间位置坐标、图像像素坐标以及待恢复目标的图像像素坐标推算出待恢复目标的底边的空间位置坐标，也即可以恢复出了待恢复目标对应的第二目标数据。

参考目标由于是雷达图像和视觉图像中均检测到的目标，因此其空间位置坐标(基于雷达图像确定)以及图像像素坐标(基于视觉图像确定)已知，而参考目标的底边的图像像素坐标也已知，且参考目标以及底边位于同一目标，因此其深度信息一样，因此参考目标的底边的空间位置坐标中的深度坐标已知(也即等于参考目标的深度坐标)，因此根据参考目标的图像像素坐标、底边的图像像素坐标以及空间位置坐标中的深度坐标即可推算得到参考目标的底边的空间位置坐标。

假设待恢复目标与参考目标位于同一地平面的前提下，可以确定待恢复目标的空间位置坐标中的纵坐标与参考目标的纵坐标相同，而待恢复目标的图像像素坐标已知，因此根据待恢复目标和参考目标的图像像素坐标之间的关系即可确定待恢复目标在空间位置坐标中的深度坐标以及横坐标。

下面举例说明。

找到一个雷达图像和视觉图像均检测到的参考目标p，假设其在图像传感器坐标系下的空间位置坐标为(x

假设存在待恢复目标q，其底边的图像像素坐标为(u

图4示出根据本公开一实施方式在车联网系统中的应用架构示意图。如图4所示，设置在路侧的路侧传感器可以是摄像头或毫米波雷达，实时采集道路中的图像信息。路侧传感器可以将采集到的图像数据传送至路侧单元RSU，RSU与边缘计算单元进行网络通信。道路上的网联车辆中也可以设置摄像头和毫米波雷达，用于实时采集车辆前方区域的图像数据，所采集的图像数据也可以传送至路侧单元。路侧单元可以将从路侧传感器以及车辆接收到的路侧及车辆感知数据(包括采集到的图像数据)上传至边缘计算单元。边缘计算单元可以根据本公开实施例提出的目标检测方法计算得到融合感知数据，该融合感知数据包括融合后的目标检测结果。该融合感知数据被边缘计算单元发送至云端，用于动态更新地图以及生成安全预警信息。云端还将更新后的区域地图信息发送至边缘计算单元，由边缘计算单元根据区域地图信息以及融合感知结果等判断本区域内的预警信息，预警信息返回给路侧单元，路侧单元可以将预警信息发送给相应的车辆。

图5示出应用于图4中示出的边缘计算单元的目标检测方法的流程实现示意图。如图5所示，该目标检测方法包括以下步骤：

步骤1、利用收集到的图像集训练深度神经网络模型，以便由该深度神经网络模型识别道路图像中的车辆、障碍物等目标。

步骤2、对摄像头进行内参标定，以及对毫米波雷达和摄像头进行外参标定。

步骤3、毫米波雷达和摄像头分别开始连续获取道路中的目标空间位置数据和视觉数据。

步骤4、毫米波检测到的目标空间位置数据和视觉检测到的目标图像数据分别存放到数据缓存器中。

步骤5、判断两个数据缓存器是否均非空，如果均非空，则转到步骤6；否则，仍执行步骤5。

步骤6、使用空间对齐算法和时间对齐算法，将所有毫米波检测得到的目标空间位置数据投影到图像平面并外推所有毫米波检测到的目标。

步骤7、对每一对毫米波检测到的目标和视觉检测到的目标使用目标匹配算法，计算其IOM，如果IOM＞0.5，则认为毫米波检测到的目标和视觉检测到的目标为同一目标，并对该检测结果进行标记。

步骤8、将目标匹配的结果分类处理：毫米波和视觉均检测到的目标具备完善的位置、速度、类型信息，选取其中一个作为参考目标；毫米波检测到但视觉未检测到，视为毫米波雷达的虚警；视觉检测到但毫米波未检测到，结合参考目标，对其进行毫米波漏检恢复；毫米波和视觉均为检测到，不进行处理。

步骤9、完成一帧数据的处理，返回步骤5。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图6示出根据本公开一实施方式的目标检测装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，所述目标检测装置包括：

获取模块601，被配置为分别获取毫米波雷达采集到的第一目标数据以及图像传感器采集到的第二目标数据；

对齐模块602，被配置为将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐；

匹配模块603，被配置为针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配；

确定模块604，被配置为根据目标匹配结果确定融合后的目标检测结果。

本实施例中，毫米波雷达和图像传感器可以设置在待检测的目标空间区域的周边，例如应用在道路目标检测场景时，可以将毫米雷达和图像传感器设置在路侧。毫米雷达和图像传感器可以设置在同一位置，也可以设置在不同位置。

在将毫米波雷达和图像传感器安装在目标空间区域之后，还可以对毫米波雷达和图像传感器之间的外参进行标定，还可以对图像传感器进行内参标定。其中，图像传感器的内参包括图像传感器的焦距f、感光芯片上对应一个像素的实际感光点的物理尺寸dx、dy；图像传感器和毫米波雷达之间的外参包括表示毫米波雷达与图像传感器之间的旋转关系的旋转矩阵R、表示毫米波雷达与图像传感器之间的平移关系的平移矩阵T。

毫米波雷达和图像传感器在安装完成之后，可以持续不断的采集目标空间区域的雷达图像以及视觉图像。雷达图像经过处理之后可以获得目标空间区域中检测到的第一目标数据，第一目标数据可以包括但不限于所检测到的目标的边界框的长宽高、空间位置坐标以及目标速度等信息。视觉图像可以输入至预先训练得到的神经网络模型进行目标检测，并输出第二目标数据，第二目标数据可以包括但不限于所检测到的目标的像素坐标以及物体类型等。

第一目标数据和第二目标数据可以存储至数据缓存器中。

在数据缓存器中的第一目标数据和第二目标数据均为非空时，分别对缓存器中的第一目标数据和第二目标数据进行时间对齐和空间对齐。

根据毫米波雷达输出的雷达数据得到的第一目标数据中包括所检测到的目标的空间位置坐标，而根据图像传感器输出的视觉图像得到的第二目标数据中所检测到的目标的像素位置。因此可以通过构建毫米波雷达和图像传感器之间的空间位置坐标关系，并基于预先标定的图像传感器的内参以及毫米波雷达与图像传感器之间的外参得到图像传感器坐标系下的空间位置坐标与图像像素坐标之间的变换关系。

根据该变换关系可以将毫米波雷达检测得到的第一目标数据投影到平面图像坐标系下，得到空间对齐的第一目标数据和第二目标数据。

由于图像传感器采集视觉图像的帧率是固定的，所以每帧图像对应的采集时间已知，因此从每帧图像检测到的第二目标数据对应的时间也确定。而毫米波雷达输出雷达图像的频率不固定，因此可以将基于毫米波雷达输出的雷达图像得到的第一目标数据外推的方式，获得与基于图像传感器采集到的的视觉图像得到的第二目标数据在时间上对齐的第一目标数据。

在将第一目标数据和第二目标数据进行时间对齐和空间对齐之后，针对每一对时间和空间对齐的图像帧(包括雷达图像帧和视觉图像帧)，将雷达图像帧中检测得到的一个或多个目标与视觉图像帧中检测得到的一个或多个目标进行目标匹配。例如，可以将位置和大小相匹配的两目标确定为同一目标，进而可以得到该目标的空间位置坐标、像素坐标以及速度等信息。

本公开实施例提出的目标检测装置，通过将毫米波雷达检测到的第一目标数据和图像传感器检测到的第二目标数据进行时间和空间上对齐，进而针对时间和空间对齐的第一目标数据和第二目标数据中检测到的多个目标进行两两匹配，并根据匹配结果获得融合之后的目标检测结果。本公开实施例这种方式，通过融合毫米波雷达的雷达图像和图像传感器的视觉图像，降低了毫米波雷达的漏检率和虚警率，并获得了目标的位置信息以及目标类型等，提高了目标检测准确率。

上述实施例中的目标检测装置与上文中的目标检测方法对应一致，具体细节可以参见上述对目标检测方法的描述，在此不再赘述。

图7示出根据本公开一实施方式的目标检测系统的结构框图。如图7所示，所述目标检测系统包括：毫米波雷达701、图像传感器702以及处理设备703；其中，

所述毫米波雷达701用于采集目标空间区域中的雷达数据，并将所述雷达数据传送至所述处理设备703；

所述图像传感器702用于采集目标空间区域中的视觉数据，并将所述视觉数据传送至所述处理设备703；

所述处理设备703对所述雷达数据进行处理获得第一目标数据，并对所述视觉数据进行处理获得第二目标数据；

所述处理设备703还将所述第一目标数据和所述第二目标数据进行时间对齐和空间对齐，并针对时间和空间上均对齐的所述第一目标数据和的所述第二目标数据进行目标匹配，以及根据目标匹配结果确定融合后的目标检测结果。

本实施例中，毫米波雷达701和图像传感器702可以设置在待检测的目标空间区域的周边，例如应用在道路目标检测场景时，可以将毫米雷达和图像传感器702设置在路侧。毫米雷达和图像传感器702可以设置在同一位置，也可以设置在不同位置。

在将毫米波雷达701和图像传感器702安装在目标空间区域之后，还可以对毫米波雷达701和图像传感器702之间的外参进行标定，还可以对图像传感器702进行内参标定。其中，图像传感器702的内参包括图像传感器702的焦距f、感光芯片上对应一个像素的实际感光点的物理尺寸dx、dy；图像传感器702和毫米波雷达701之间的外参包括表示毫米波雷达701与图像传感器702之间的旋转关系的旋转矩阵R、表示毫米波雷达701与图像传感器702之间的平移关系的平移矩阵T。

毫米波雷达701和图像传感器702在安装完成之后，可以持续不断的采集目标空间区域的雷达图像以及视觉图像。雷达图像经过处理设备703的处理之后可以获得目标空间区域中检测到的第一目标数据，第一目标数据可以包括但不限于所检测到的目标的边界框的长宽高、空间位置坐标以及目标速度等信息。处理设备703还可以将视觉图像输入至预先训练得到的神经网络模型中进行目标检测，并输出第二目标数据，第二目标数据可以包括但不限于所检测到的目标的像素坐标以及物体类型等。

处理设备703还可以将第一目标数据和第二目标数据可存储至数据缓存器中。

在数据缓存器中的第一目标数据和第二目标数据均为非空时，处理设备703分别对缓存器中的第一目标数据和第二目标数据进行时间对齐和空间对齐。

根据毫米波雷达701输出的雷达数据得到的第一目标数据中包括所检测到的目标的空间位置坐标，而根据图像传感器702输出的视觉图像得到的第二目标数据中所检测到的目标的像素位置、目标类型等视觉数据。因此可以通过构建毫米波雷达701和图像传感器702之间的空间位置坐标关系，并基于预先标定的图像传感器702的内参以及毫米波雷达701与图像传感器702之间的外参得到图像传感器702坐标系下的空间位置坐标与图像像素坐标之间的变换关系。

根据该变换关系可以将毫米波雷达701检测得到的第一目标数据投影到平面图像坐标系下，得到空间对齐的第一目标数据和第二目标数据。

由于图像传感器702采集视觉图像的帧率是固定的，所以每帧图像对应的采集时间已知，因此从每帧图像检测到的第二目标数据对应的时间也确定。而毫米波雷达701输出雷达图像的频率不固定，因此可以将基于毫米波雷达701输出的雷达图像得到的第一目标数据外推的方式，获得与基于图像传感器702采集到的的视觉图像得到的第二目标数据在时间上对齐的第一目标数据。

在将第一目标数据和第二目标数据进行时间对齐和空间对齐之后，处理设备703针对每一对时间和空间对齐的图像帧(包括雷达图像帧和视觉图像帧)，将雷达图像帧中检测得到的一个或多个目标与视觉图像帧中检测得到的一个或多个目标进行目标匹配。例如，可以将位置和大小相匹配的两目标确定为同一目标，进而可以得到该目标的空间位置坐标、像素坐标以及速度等信息。

本公开实施例提出的目标检测系统，通过将毫米波雷达检测到的第一目标数据和图像传感器检测到的第二目标数据进行时间和空间上对齐，进而针对时间和空间对齐的第一目标数据和第二目标数据中检测到的多个目标进行两两匹配，并根据匹配结果获得融合之后的目标检测结果。本公开实施例这种方式，通过融合毫米波雷达的雷达图像和图像传感器的视觉图像，降低了毫米波雷达的漏检率和虚警率，并获得了目标的位置信息以及目标类型等，提高了目标检测准确率。

图8是适于用来实现根据本公开实施方式的目标检测方法的电子设备的结构示意图。

如图8所示，电子设备800包括处理单元801，其可实现为CPU、GPU、FPAG、NPU等处理单元。处理单元801可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行本公开上述任一方法的实施方式中的各种处理。在RAM803中，还存储有电子设备800操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施方式，上文参考本公开实施方式中的任一方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中任一方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。