一种图像标定方法、装置、存储介质及电子装置

技术领域

本发明实施例涉及通信领域，具体而言，涉及一种图像标定方法、装置、存储介质及电子装置。

背景技术

现代社会,安防越来越受到公众的重视，安防产品也层出不穷，安防应用领域也不断扩展，安防技术也迅速发展，但是受限于特殊的使用场景，目前安防终端仍存在识别效率低、识别精度差的问题。

例如，传统的安防终端器材主要是可见光摄像机，可见光摄像机优势是获得目标的类别信息，但不易获得目标的运行信息。例如很容易识别目标类型(人非机)，但却不易估计目标的速度和空间位置。在较远距离、夜晚、雨雾天对目标的识别准确率相对于近距离目标准确率较低，即目标在监控区域内时间空间准确度不一致(甚至存在显著差别)。

毫米波雷达主动发射电磁波并接受同频率信号，对移动物体或RCS(雷达反射面积)较大的物体，有非常高的检测概率，但是对于静止物体有较低的检测概率(检测概率不为零)。

针对相关技术中识别精度差、识别效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像标定方法、装置、存储介质及电子装置，以至少解决相关技术中识别精度差、识别效率低的问题。

根据本发明的一个实施例，提供了一种图像标定方法，包括：

获取目标场景的初始像素图像和初始雷达图像，其中，所述初始像素图像包括所述目标场景中包含的目标对象的像素信息，所述初始雷达图像包括所述目标对象的雷达信息，且所述初始像素图像与所述初始雷达图像是对所述目标场景进行同步拍摄后所得到的；

对所述初始像素图像进行第一标定处理，以得到目标像素图像，其中，所述目标像素图像为所述初始像素图像的标定图像，所述目标像素图像包括所述初始像素图像和所述目标对象的雷达信息；

对所述初始雷达图像进行第二标定处理，以得到目标雷达图像，其中，所述目标雷达图像为所述初始雷达图像的标定图像，所述目标雷达图像包括所述初始雷达图像和所述目标对象的像素信息；

对所述目标雷达图像和所述目标像素图像进行融合操作，以得到目标数据图像，其中，所述目标数据图像包括所述目标雷达图像和所述目标像素图像。

在一个示例性实施例中，在所述获取目标场景的初始像素图像和初始雷达图像之前，所述方法包括：对所述目标场景进行场景识别，以确定所述目标场景是否满足第一条件；

所述获取目标场景的初始像素图像和初始雷达图像，包括：在所述目标场景满足所述第一条件的情况下，获取所述目标场景的初始像素图像和初始雷达图像。

在一个示例性实施例中，对所述初始像素图像进行第一标定处理，以得到目标像素图像包括：

利用第一模型对所述初始像素图像进行第一标定处理，以得到目标像素图像，其中，所述第一模型为使用第一数据集通过机器学习训练出的，所述第一数据集包括多组第一数据，每组所述第一数据均包括：像素图像以及所述像素图像的标定图像。

在一个示例性实施例中，在所述对所述初始像素图像进行第一标定处理之前，所述方法还包括：

获取第一初始数据集，其中，所述第一初始数据集中包括多组第一数据，每组第一数据包括所述像素图像和所述像素图像的标定图像；

判断所述第一初始数据集是否满足第二条件；

在所述第一初始数据集满足第二条件的情况下，将所述第一初始数据集确定为所述第一数据集。

在一个示例性实施例中，判断所述第一初始数据集是否满足第二条件包括：

对所述第一初始数据集中包括的每一组数据均执行以下操作，以确定所述第一初始数据集中包括的质量满足预定质量阈值的数据组：

提取所述像素图像包含的第一目标区域图像；

对所述第一目标区域图像进行下采样处理，以得到第一区域图像；

对所述第一区域图像进行二值化处理，以得到第二区域图像；

对所述第二区域图像进行二值化结果检测，以得到二值化检测结果；

基于所述二值化检测结果判断所述像素图像是否满足所述质量阈值，其中，在所述二值化结果为第一结果的情况下，确定所述像素图像满足所述质量阈值，在所述二值化结果为第二结果的情况下，确定所述像素图像不满足所述质量阈值；

确定所述第一初始数据集中包括的质量满足上述预定质量阈值的数据组的第一数量；

基于所述第一数量判断所述第一初始数据集是否满足所述第二条件，其中，在所述第一数量大于等于数量阈值的情况下，确定所述第一初始数据集满足所述第二条件，在所述第一数量小于数量阈值的情况下，确定所述第一初始数据集不满足所述第二条件。

在一个示例性实施例中，判断所述第一初始数据集是否满足第二条件包括：

获取所述第一初始数据集中包括的数据组的数量，以及获取第一初始数据集中包括的每个数据组的质量；

基于所述数量和所述质量判断所述第一初始数据集是否满足所述第二条件，其中，在确定所述数量满足数量条件，以及所述质量满足所述质量条件的情况下，确定所述第一初始数据集是否满足所述第二条件，在确定所述数量不满足所述数量条件和/或所述质量不满足所述质量条件的情况下，确定所述第一初始数据集不满足所述第二条件。

在一个示例性实施例中，在基于所述数量和所述质量判断所述第一初始数据集是否满足所述第二条件之后，所述方法还包括：

在确定所述数量不满足所述数量条件的情况下，增加所述第一初始数据集中包括的数据组；

在确定所述质量不满足所述质量条件的情况下，删除所述第一数据集中包括的全部数据组，并重新确定所述第一数据集中包括的数据组。

在一个示例性实施例中，对所述初始雷达图像进行第二标定处理，以得到目标雷达图像包括：

利用第二模型对所述初始雷达图像进行第二标定处理，以得到目标雷达图像，其中，所述第二模型为使用第二数据集通过机器学习训练出的，所述第二数据集包括多组第二数据，每组所述第二数据均包括：雷达图像以及所述雷达图像的标定图像。

在一个示例性实施例中，在所述对所述初始雷达图像进行第二标定处理之前，所述方法还包括：

获取第二初始数据集，其中，所述第二初始数据集中包括多组第二数据，每组第二数据包括所述雷达图像和所述雷达图像的标定图像；

判断所述第二初始数据集是否满足第二条件；

在所述第二初始数据集满足第二条件的情况下，将所述第二初始数据集确定为所述第二数据集。

在一个示例性实施例中，判断所述第二初始数据集是否满足第二条件包括：

对所述第二初始数据集中包括的每一组数据均执行以下操作，以确定所述第二初始数据集中包括的质量满足预定质量阈值的数据组：

提取所述雷达图像包含的第二目标区域图像；

对所述第二目标区域图像进行下采样处理，以得到第三区域图像；

对所述第三区域图像进行二值化处理，以得到第四区域图像；

对所述第四区域图像进行二值化结果检测，以得到二值化检测结果；

基于所述二值化检测结果判断所述雷达图像是否满足所述质量阈值，其中，在所述二值化结果为第一结果的情况下，确定所述雷达图像满足所述质量阈值，在所述二值化结果为第二结果的情况下，确定所述雷达图像不满足所述质量阈值；

确定所述第二初始数据集中包括的质量满足上述预定质量阈值的数据组的第二数量；

基于所述第二数量判断所述第二初始数据集是否满足所述第二条件，其中，在所述第二数量大于等于数量阈值的情况下，确定所述第二初始数据集满足所述第二条件，在所述第二数量小于数量阈值的情况下，确定所述第二初始数据集不满足所述第二条件。

在一个示例性实施例中，判断所述第二初始数据集是否满足第二条件包括：

获取所述第二初始数据集中包括的数据组的数量，以及获取所述第二初始数据集中包括的每个数据组的质量；

基于所述数量和所述质量判断所述第二初始数据集是否满足所述第二条件，其中，在确定所述数量满足数量条件，以及所述质量满足所述质量条件的情况下，确定所述第二初始数据集是否满足所述第二条件，在确定所述数量不满足所述数量条件和/或所述质量不满足所述质量条件的情况下，确定所述第一初始数据集不满足所述第二条件。

在一个示例性实施例中，在基于所述数量和所述质量判断所述第二初始数据集是否满足所述第二条件之后，所述方法还包括：

在确定所述数量不满足所述数量条件的情况下，增加所述第二初始数据集中包括的数据组；

在确定所述质量不满足所述质量条件的情况下，删除所述第二数据集中包括的全部数据组，并重新确定所述第二数据集中包括的数据组。

根据本发明的另一个实施例，提供了一种图像标定装置，包括：

图像采集模块，用于获取目标场景的初始像素图像和初始雷达图像，其中，所述初始像素图像包括所述目标场景中包含的目标对象的像素信息，所述初始雷达图像包括所述目标对象的雷达信息，且所述初始像素图像与所述初始雷达图像是对所述目标场景进行同步拍摄后所得到的；

第一标定模块，用于对所述初始像素图像进行第一标定处理，以得到目标像素图像，其中，所述目标像素图像为所述初始像素图像的标定图像，所述目标像素图像包括所述初始像素图像和所述目标对象的雷达信息；

第二标定模块，用于对所述初始雷达图像进行第二标定处理，以得到目标雷达图像，其中，所述目标雷达图像为所述初始雷达图像的标定图像，所述目标雷达图像包括所述初始雷达图像和所述目标对象的像素信息；

融合模块，用于对所述目标雷达图像和所述目标像素图像进行融合操作，以得到目标数据图像，其中，所述目标数据图像包括所述目标雷达图像和所述目标像素图像。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于将标定有雷达信息的像素图像与标定有像素信息的雷达图像进行融合，因而能够直观的了解到目标场景中目标对象的坐标信息等，从而能够判断目标场景中目标对象的运动趋势等，因此，可以解决相关技术中识别精度差，识别效率低的问题，达到提高识别精度和效率的效果。

附图说明

图1是本发明实施例的一种图像标定方法的移动终端的硬件结构框图；

图2是根据本发明实施例的一种图像标定方法的流程图；

图3是根据本发明实施例的一种图像标定方法中理想场景的示意图；

图4是根据本发明实施例的一种图像标定方法中非理想场景的示意图；

图5是根据本发明实施例的一种图像标定装置的结构框图；

图6是根据本发明的具体实施例的待进行数量和质量评估的数据的示意图；

图7是根据本发明的具体实施例的执行目标区域提取的数据的示意图；

图8是根据本发明的具体实施例的执行下采样的数据的示意图；

图9是根据本发明的具体实施例的执行图像质量检测的数据的示意图一；

图10是根据本发明的具体实施例的执行图像质量检测的数据的示意图二；

图11是根据本发明的具体实施例的完整流程图；

图12是根据本发明的具体实施例的执行标定操作的像素图；

图13是根据本发明的具体实施例的执行标定操作的雷达图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像标定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种图像标定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种图像标定方法，图2是根据本发明实施例的一种图像标定方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取目标场景的初始像素图像和初始雷达图像，其中，初始像素图像包括目标场景中包含的目标对象的像素信息，初始雷达图像包括目标对象的雷达信息，且初始像素图像与初始雷达图像是对目标场景进行同步拍摄后所得到的；

在本实施例中，获取初始像素图像是为了能够确定目标场景中的目标对象的类型等信息，获取初始雷达图像是为了能够确定目标场景中的目标对象的位置、运动方向等信息；而同步拍摄是为了减少标定过程中的误差，从而提高标定精度。

其中，初始像素图像可以(但不限于)是图片，也可以是视频，图片的数量可以是一帧，从而减少计算量，也可以是多帧，从而提高图像标定精度；初始像素图像可以(但不限于)是红外图像，也可以是可见光图像，还可以是二者的融合；初始像素图像的获取可以(但不限于)是通过可见光摄像机或可见光传感器对目标区域进行采集得到的，也可以是通过红外光摄像机或红外传感器对目标区域进行采集得到的；初始雷达图像可以(但不限于)是通过雷达传感器对目标场景进行采集的到的；目标对象可以(但不限于)是目标场景中的行人、建筑(如水池、栏杆、道路)、车辆、动物、植物等事物，目标对象的像素信息可以(但不限于)是目标对象的像素数量、类型、位置、以及目标对象的类型、颜色、大小等信息；雷达信息包括目标对象的空间位置、运动速度等信息；同步拍摄可以(但不限于)是通过对图像采集设备进行同步处理来实现，也可以是通过根据时间戳对获取的初始像素图像和初始雷达图像进行同步化处理来实现的，还可以是通过其它方式进行处理来实现的；目标场景可以是符合预设条件的理想场景，其中，理想环境是指环境中，存在非常稀疏的目标对象，且目标对象的量测质量好、雷达视频目标匹配无歧义的情况，例如，满足以下条件的目标场景：

a)视频目标和雷达目标十分稀疏，确保无歧义；

b)视频目标和雷达目标个数相同；

c)视频目标不存在被遮挡部分；

d)雷达目标速度不存在突变；

e)行人目标；

f)视频目标不存在腾空情形；

g)图像光照良好(非晚上)。

需要说明的是，条件a的目的是确保视频目标和雷达目标的关联无歧义，当视频目标或雷达目标比较多时，存在多种可能的关联情形。条件b的目的也是保障无歧义的一种手段，其中，雷达目标个数和视频目标个数必须相同；条件c是为了确保图像数据质量。如图3及图4所示，图3是一个人的全身框，而图4由于遮挡是半身框。此时提取框的某一点，例如下边缘中心点时，会造成视频目标点序列在遮挡处发生较大剧变，即引入不可控的且是没有任何数学模型的误差，此时可将该测量视为不正确的目标量测，而该类量测若导入到网络中训练，会造成网络不收敛或不稳定。

条件d是为了确保雷达数据质量。由于雷达对运动的目标特别灵敏，因此可依据目标速度判断目标是否是正常目标/异常目标。一般的，一个行人在常态情况下，其速度不会发生突变；如果速度发生突变，则在雷达上现实的目标可能不是行人，而是其它事物，如猫、狗等。

条件e是为了过滤无效目标，视频智能算法可识别一些指定的目标类型，如行人、非机动车、机动车、猫、狗等，如果环境中存在非机动车或机动车、猫、狗，则需过滤。本实施例中以行人作为训练和测试数据源。

条件f是为了确保数据质量。由于视频图像采集设备无法获得目标对象的空间深度信息，因此如果目标对象腾空，则会破坏雷达和图像之间的一一映射关系，而这种情况将会直接导致检测的失败。因此，需通过条件f确定目标对象不存在腾空现象。

条件g是为了确保像素图像中用于标识目标对象的采集框的稳定性。当目标场景是处于晚上等光线条件较差的环境中时，由于光线昏暗等原因，会导致目标对象的边缘模糊，此时采集框波动情况较大，易导致视频采集不稳定。因此，需要通过条件g确保像素图像中的光线条件。

步骤S204，对初始像素图像进行第一标定处理，以得到目标像素图像，其中，目标像素图像为初始像素图像的标定图像，目标像素图像包括初始像素图像和目标对象的雷达信息；

在本实施例中，对初始像素图像进行标定，从而得到初始像素图像中的目标对象的雷达信息，从而能够确定目标对象的运动速度等信息。

其中，对初始像素图像进行标定可以(但不限于)是通过神经网络来实现，也可以是通过预设算法来实现，还可以是通过预设算法以及神经网络的结合来实现；第一标定处理可以是在初始像素图像中通过标识框将目标对象的位置以及雷达信息进行标识显示，也可以是用预设的颜色对目标对象的进行重新着色，再在目标对象的区域标识对应的雷达信息，以实现对目标对象的标定。

例如，将初始像素图像输入至通过训练好的像素映射模型中，随后像素映射模型将初始像素图像中包含的目标对象映射至初始雷达图像中，并根据初始像素图像与初始雷达图像之间的映射关系，匹配初始雷达图像中的目标对象的雷达信息，以实现在初始像素图像中将雷达信息标定在目标对象所在区域，再将标定有雷达信息的初始像素图像作为目标像素图像。

需要说明的是，在对初始像素图像进行标定时，通过在目标框中选取合适的一点，可建立时间序列：

t

t

t

…

其中t

步骤S206，对初始雷达图像进行第二标定处理，以得到目标雷达图像，其中，目标雷达图像为初始雷达图像的标定图像，目标雷达图像包括初始雷达图像和目标对象的像素信息；

在本实施例中，对初始雷达图像进行标定，从而得到初始雷达图像中的目标对象的像素信息，从而能够确定目标对象的种类、空间大小等信息。

其中，对初始雷达图像进行标定可以(但不限于)是通过神经网络来实现，也可以是通过预设算法来实现，还可以是通过预设算法以及神经网络的结合来实现；第二标定处理可以是在初始雷达图像中通过标识框将目标对象的位置以及像素信息进行标识显示，也可以是用预设的颜色对目标对象所代表的表示点的进行重新着色，再在目标对象的区域标识对应的像素信息，以实现对目标对象的标定。

例如，将初始雷达图像输入至通过训练好的雷达映射模型中，随后雷达映射模型将初始雷达图像中包含的目标对象映射至初始像素图像中，并根据初始像素图像与初始雷达图像之间的映射关系，匹配初始像素图像中的目标对象的像素信息，以实现在初始雷达图像中将像素信息标定在目标对象所在区域，再将标定有像素信息的初始雷达图像作为目标雷达图像。

需要说明的是，在对初始雷达图像进行标定时，可建立如下时间序列：

检测和跟踪行人的个数和位置，并建立如下时间序列：

t

t

t

…

其中，CartPt

随后根据前述初始像素图像的时间序列和初始雷达图像的时间序列，可得到经过匹配算法处理的视频雷达量测数据组，即：

t

t

t

基于上述数据组，可得到如下映射关系：

U＝F(X) (1)

X＝G(U) (2)

F＝G

G＝F

其中，F(*)表示将雷达坐标一一映射为像素信息，G(*)表示将像素图像中的像素信息一一映射为雷达坐标。

步骤S208，对目标雷达图像和目标像素图像进行融合操作，以得到目标数据图像，其中，目标数据图像包括目标雷达图像和目标像素图像。

在本实施例中，对目标雷达图像和目标像素图像进行融合是为了能够在同一个可视化界面中同时观察雷达图像和像素图像，从而能够对目标场景中的目标对象的状态有更加精确的识别和判断。

其中，融合操作可以(但不限于)是将目标雷达图像和目标像素图像在同一个可视化界面按照相同大小的方式进行并排显示，也可以是在同一个可视化界面按照一大一小的方式进行并排显示，还可以是按照一大一小的方式将较大的图像在可视化界面的中心处进行显示，并将较小的图像在可视化界面的边缘处(例如，右下角)进行显示；融合操作还可以是将其中一个图像中的目标对象截取并粘贴至另一个图像中的对应位置，或者是其它融合方式。

通过上述步骤，由于将标定有雷达信息的像素图像与标定有像素信息的雷达图像进行融合，因而能够直观的了解到目标场景中目标对象的坐标信息等，从而能够判断目标场景中目标对象的运动趋势等，因此，可以解决相关技术中识别精度差，识别效率低的问题，提高了图像是被精度和效率。

其中，上述步骤的执行主体可以为基站、终端等，但不限于此。

上述步骤S204与步骤S206的顺序可进行调换，即可先执行步骤S206，再执行步骤S204。

在一个可选的实施例中，在获取目标场景的初始像素图像和初始雷达图像之前，该方法包括：

步骤S2002，对目标场景进行场景识别，以确定目标场景是否满足第一条件；

获取目标场景的初始像素图像和初始雷达图像，包括：

步骤S2022，在目标场景满足第一条件的情况下，获取目标场景的初始像素图像和初始雷达图像。

在本实施例中，对目标场景进行场景识别，是为了确定目标场景为理想场景，从而使得采集到的初始雷达图像和初始像素图像的质量满足要求，减少图像标定过程中的干扰，进而提高标定效率和标定精确度。

其中，场景识别的执行可以是通过内设的CPU、FPGA等逻辑运算模块来实现，也可以通过外设的计算机、云处理端来实现，在通过外设的设备实现场景设备的情况下，其数据的传输可以是通过以太网来实现，也可以是通过3G/4G/5G等无线传输网络来实现，还可以是通过其它方式来实现；第一条件可以是前述条件a-g中的任意一个，也可以是任意多个的组合，还可以是除了前述条件a-g以外的条件。

在一个可选的实施例中，对初始像素图像进行第一标定处理，以得到目标像素图像包括：

步骤S2042，利用第一模型对初始像素图像进行第一标定处理，以得到目标像素图像，其中，第一模型为使用第一数据集通过机器学习训练出的，第一数据集包括多组第一数据，每组第一数据均包括：像素图像以及像素图像的标定图像。

在本实施例中，利用第一模型对初始像素图像进行标定能够减少人工处理量，从而减少失误，同时也减少标定工作的工作量，进而提高图像识别精度和效率。

其中，第一模型可以(但不限于)是一个使用第一数据集通过机器学习训练出的神经网络模型，也可以是多个用第一数据集通过机器学习训练出的神经网络模型的模型组合；第一数据集除了包含第一数据之外，还可以(但不限于)包含其它信息，如第一数据的标识、存储路径等信息；第一数据除了包括像素图像以及像素图像的标定图像以外，还可以(但不限于)包括像素图像的标识信息、图像大小等信息；每组第一数据中的像素图像以及像素图像的标定图像可以是只有一对，也可以是有多对。像素图像的标定图像可以是已经标定了目标对象的雷达信息的像素图像，也可以是标定了雷达信息以及其它信息的像素图像；机器学习训练可以是神经网络学习训练，也可以是人工对模型的修订的过程。

在一个可选的实施例中，在对初始像素图像进行第一标定处理之前，该方法还包括：

步骤S20402，获取第一初始数据集，其中，第一初始数据集中包括多组第一数据，每组第一数据包括像素图像和像素图像的标定图像；

步骤S20404，判断第一初始数据集是否满足第二条件；

步骤S20406，在第一初始数据集满足第二条件的情况下，将第一初始数据集确定为第一数据集。

在本实施例中，判断第一初始数据集是否满足第二条件是为了确定用来训练第一模型的数据是否符合要求，从而保证训练得到的第一模型能够准确的对初始像素图像进行标定，减少标定错误，进而提高图像识别效率和识别精确度。

其中，获取第一初始数据集可以(但不限于)是通过图像采集设备采集的目标场景的图像数据，也可以是预设的图像数据，还可以是通过图像采集设备采集的其它场景的图像数据，或通过预设算法自动生成来实现；第二条件可以(但不限于)是图像数据的数量是否达到阈值，且图像数据的质量是否达到阈值，还可以是其它内容；第二条件的满足与否的判断可以是通过对第一初始数据集中的图像数据质量(例如像素的分布情况)进行判断，也可以是对第一初始数据集中的图像数据数量进行判断，还可以是对第一初始数据集中的图像数据质量以及数量的综合结果进行判断，还可以是其它形式的判断；第二条件的满足与否的判断的实现可以是通过CPU、FPGA等内设的设备或模块来实现的，也可以是通过连接的外部计算机或云计算服务器来实现的，其中，数据传输的方式可以是通过以太网实现，也可以是通过与外部网络进行连接的无线通信网络来实现的；第一初始数据集可以(但不限于)是只有一个，也可以是有多个。

在一个可选的实施例中，判断第一初始数据集是否满足第二条件包括：

步骤S204042，对第一初始数据集中包括的每一组数据均执行以下操作，以确定第一初始数据集中包括的质量满足预定质量阈值的数据组：

步骤S2040422，提取像素图像包含的第一目标区域图像；

步骤S2040424，对第一目标区域图像进行下采样处理，以得到第一区域图像；

步骤S2040426，对第一区域图像进行二值化处理，以得到第二区域图像；

步骤S2040428，对第二区域图像进行二值化结果检测，以得到二值化检测结果；

步骤S20404210，基于二值化检测结果判断像素图像是否满足质量阈值，其中，在二值化结果为第一结果的情况下，确定像素图像满足质量阈值，在二值化结果为第二结果的情况下，确定像素图像不满足质量阈值；

步骤S204044，确定第一初始数据集中包括的质量满足上述预定质量阈值的数据组的第一数量；

步骤S204046，基于第一数量判断第一初始数据集是否满足第二条件，其中，在第一数量大于等于数量阈值的情况下，确定第一初始数据集满足第二条件，在第一数量小于数量阈值的情况下，确定第一初始数据集不满足第二条件。

在本实施例中，先对像素图像进行质量判断，再对满足质量要求的像素图像进行数量判断能够减少判断过程的计算量，同时节约判断过程所要消耗的时间。

其中，提取第一目标区域图像可以(但不限于)是按预定形状沿形状边缘将目标区域进行截取来实现，也可以是按预定形状对目标区域的不同位置进行截取再进行拼接来实现，还可以是通过其它方式进行提取；第一目标区域图像可以是一张，可以是多张；下采样处理是将第一目标区域图像的像素降低，以方便进行二值化处理，其中，在进行二值化处理之前，还可以对像素降低后的第一区域图像进行栅格处理，即在第一区域图像上添加栅格，以将第一区域图像进行分割，从而方便进行二值化处理；二值化处理可以(但不限于)是将满足像素要求的区域标识为1或0，或者满足像素要求的区域标识用两种不同的颜色进行标识，例如白色和黑色，或白色和绿色等；二值化结果检测可以(但不限于)是对二值分布的均匀度及二值化后的某个值的占比进行检测。

例如，当行人通过二值图中某一区域时，则将该区域的对应值设置为1，随后检测值为1的区域以及1的占比；当检测到值为1的区域的分布较为均匀且1的占比大于等于40％时，则判断该图像的质量满足阈值要求。

在一个可选的实施例中，判断第一初始数据集是否满足第二条件包括：

步骤S204048，获取第一初始数据集中包括的数据组的数量，以及获取第一初始数据集中包括的每个数据组的质量；

步骤S2040410，基于数量和质量判断第一初始数据集是否满足第二条件，其中，在确定数量满足数量条件，以及质量满足质量条件的情况下，确定第一初始数据集是否满足第二条件，在确定数量不满足数量条件和/或质量不满足质量条件的情况下，确定第一初始数据集不满足第二条件。

在本实施例中，在获取第一初始数据集中包括的数据组的数量，以及获取第一初始数据集中包括的每个数据组的质量后直接对其数量和质量进行判断，减少了判断过程的计算量，从而提高了图像识别效率。

其中，第一初始数据集中包括的数据组的数量，以及获取第一初始数据集中包括的每个数据组的质量可以是通过内设的数量统计模块以及质量检测模块来实现，也可以是通过外设的计算服务器来实现；获取方式可以是通过以太网进行数据传输得到的，也可以是通过无线网络等方式进行数据传输得到的；获取第一初始数据集中包括的数据组的数量，以及获取第一初始数据集中包括的每个数据组的质量可以是依次获取的，也可以是同时获取的。

在一个可选的实施例中，在基于数量和质量判断第一初始数据集是否满足第二条件之后，该方法还包括：

步骤S20408，在确定数量不满足数量条件的情况下，增加第一初始数据集中包括的数据组；

步骤S204010，在确定质量不满足质量条件的情况下，删除第一数据集中包括的全部数据组，并重新确定第一数据集中包括的数据组。

在本实施例中，在数量满足要求的情况下持续对第一初始数据集中包括的数据组进行采集补充，从而避免因数量不足导致的模型训练失败；在质量不满足要求的情况下将所有的数据组进行删除并重新对数据组进行采集和填充，是为了避免质量不满足要求的图像对模型训练造成影响。

其中，增加第一初始数据集中包括的数据组可以是持续对目标场景进行数据采集来实现，也可以是通过继续输入数据来实现，还可以是按照预设算法自动生成来实现。

在一个可选的实施例中，对初始雷达图像进行第二标定处理，以得到目标雷达图像包括：

步骤S2062，利用第二模型对初始雷达图像进行第二标定处理，以得到目标雷达图像，其中，第二模型为使用第二数据集通过机器学习训练出的，第二数据集包括多组第二数据，每组第二数据均包括：雷达图像以及所述雷达图像的标定图像。

在本实施例中，利用第二模型对初始雷达图像进行标定能够减少人工处理量，从而减少失误，同时也减少标定工作的工作量，进而提高图像识别精度和效率。

其中，第二模型可以(但不限于)是一个使用第二数据集通过机器学习训练出的神经网络模型，也可以是多个用第二数据集通过机器学习训练出的神经网络模型的模型组合；第二数据集除了包含第二数据之外，还可以(但不限于)包含其它信息，如第二数据的标识、存储路径等信息；第二数据除了包括雷达图像以及雷达图像的标定图像以外，还可以(但不限于)包括雷达图像的标识信息、雷达点大小等信息；每组第二数据中的雷达图像以及像素图像的标定图像可以是只有一对，也可以是有多对。雷达图像的标定图像可以是已经标定了目标对象的像素信息的雷达图像，也可以是标定了像素信息以及其它信息的雷达图像；机器学习训练可以是神经网络学习训练，也可以是人工对模型的修订的过程。

在一个可选的实施例中，在对初始雷达图像进行第二标定处理之前，该方法还包括：

步骤S20602，获取第二初始数据集，其中，第二初始数据集中包括多组第二数据，每组第二数据包括雷达图像和雷达图像的标定图像；

步骤S20604，判断第二初始数据集是否满足第二条件；

步骤S20606，在第二初始数据集满足第二条件的情况下，将第二初始数据集确定为第二数据集。

在本实施例中，判断第二初始数据集是否满足第二条件是为了确定用来训练第二模型的数据是否符合要求，从而保证训练得到的第二模型能够准确的对初始雷达图像进行标定，减少标定错误，进而提高图像识别效率和识别精确度。

其中，获取第二初始数据集可以(但不限于)是通过图像采集设备采集的目标场景的图像数据，也可以是预设的图像数据，还可以是通过图像采集设备采集的其它场景的图像数据，或通过预设算法自动生成来实现；第二条件可以(但不限于)是图像数据的数量是否达到阈值，且图像数据的质量是否达到阈值，还可以是其它内容；第二条件的满足与否的判断可以是通过对第二初始数据集中的图像数据质量(例如雷达点的分布情况)进行判断，也可以是对第二初始数据集中的图像数据数量进行判断，还可以是对第二初始数据集中的图像数据质量以及数量的综合结果进行判断，还可以是其它形式的判断；第二条件的满足与否的判断的实现可以是通过CPU、FPGA等内设的设备或模块来实现的，也可以是通过连接的外部计算机或云计算服务器来实现的，其中，数据传输的方式可以是通过以太网实现，也可以是通过与外部网络进行连接的无线通信网络来实现的；第一初始数据集可以(但不限于)是只有一个，也可以是有多个。

在一个可选的实施例中，判断第二初始数据集是否满足第二条件包括：

步骤S206042，对第二初始数据集中包括的每一组数据均执行以下操作，以确定第二初始数据集中包括的质量满足预定质量阈值的数据组：

步骤S2060422，提取雷达图像包含的第二目标区域图像；

步骤S2060424，对第二目标区域图像进行下采样处理，以得到第三区域图像；

步骤S2060426，对第三区域图像进行二值化处理，以得到第四区域图像；

步骤S2060428，对第四区域图像进行二值化结果检测，以得到二值化检测结果；

步骤S20604210，基于二值化检测结果判断雷达图像是否满足质量阈值，其中，在二值化结果为第一结果的情况下，确定雷达图像满足质量阈值，在二值化结果为第二结果的情况下，确定雷达图像不满足质量阈值；

步骤S206044，确定第二初始数据集中包括的质量满足上述预定质量阈值的数据组的第二数量；

步骤S206046，基于第二数量判断所述第二初始数据集是否满足第二条件，其中，在第二数量大于等于数量阈值的情况下，确定第二初始数据集满足第二条件，在第二数量小于数量阈值的情况下，确定第二初始数据集不满足第二条件。

在本实施例中，先对雷达图像进行质量判断，再对满足质量要求的像素图像进行数量判断能够减少判断过程的计算量，同时节约判断过程所要消耗的时间。

其中，提取第二目标区域图像可以(但不限于)是按预定形状沿形状边缘将目标区域进行截取来实现，也可以是按预定形状对目标区域的不同位置进行截取再进行拼接来实现，还可以是通过其它方式进行提取；第二目标区域图像可以是一张，可以是多张；下采样处理是将第二目标区域图像的像素降低，以方便进行二值化处理，其中，在进行二值化处理之前，还可以对像素降低后的第三区域图像进行栅格处理，即在第三区域图像上添加栅格，以将第三区域图像进行分割，从而方便进行二值化处理；二值化处理可以(但不限于)是将满足雷达要求的区域标识为1或0，或者满足雷达要求的区域标识用两种不同的颜色进行标识，例如白色和黑色，或白色和绿色等；二值化结果检测可以(但不限于)是对二值分布的均匀度及二值化后的某个值的占比进行检测。

例如，当行人通过二值图中某一区域时，则将该区域的对应值设置为1，随后检测值为1的区域以及1的占比；当检测到值为1的区域的分布较为均匀且1的占比大于等于40％时，则判断该图像的质量满足阈值要求。

在一个可选的实施例中，判断第二初始数据集是否满足第二条件包括：

步骤S206048，获取第二初始数据集中包括的数据组的数量，以及获取第一初始数据集中包括的每个数据组的质量；

步骤S2060410，基于数量和所述质量判断第二初始数据集是否满足第二条件，其中，在确定数量满足数量条件，以及质量满足质量条件的情况下，确定第二初始数据集是否满足第二条件，在确定数量不满足数量条件和/或质量不满足质量条件的情况下，确定第二初始数据集不满足第二条件。

在本实施例中，在获取第二初始数据集中包括的数据组的数量，以及获取第二初始数据集中包括的每个数据组的质量后直接对其数量和质量进行判断，减少了判断过程的计算量，从而提高了图像识别效率。

其中，第二初始数据集中包括的数据组的数量，以及获取第二初始数据集中包括的每个数据组的质量可以是通过内设的数量统计模块以及质量检测模块来实现，也可以是通过外设的计算服务器来实现；获取方式可以是通过以太网进行数据传输得到的，也可以是通过无线网络等方式进行数据传输得到的；获取第二初始数据集中包括的数据组的数量，以及获取第二初始数据集中包括的每个数据组的质量可以是依次获取的，也可以是同时获取的。

在一个可选的实施例中，在基于数量和质量判断第二初始数据集是否满足第二条件之后，该方法还包括：

步骤S2064，在确定数量不满足数量条件的情况下，增加第二初始数据集中包括的数据组；

步骤S2068，在确定质量不满足质量条件的情况下，删除第二数据集中包括的全部数据组，并重新确定第二数据集中包括的数据组。

在本实施例中，在数量满足要求的情况下持续对第二初始数据集中包括的数据组进行采集补充，从而避免因数量不足导致的模型训练失败；在质量不满足要求的情况下将所有的数据组进行删除并重新对数据组进行采集和填充，是为了避免质量不满足要求的图像对模型训练造成影响。

其中，增加第二初始数据集中包括的数据组可以是持续对目标场景进行数据采集来实现，也可以是通过继续输入数据来实现，还可以是按照预设算法自动生成来实现。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种图像标定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的一种空间标定装置的结构框图，如图5所示，该装置包括：

图像采集模块32，用于获取目标场景的初始像素图像和初始雷达图像，其中，初始像素图像包括目标场景中包含的目标对象的像素信息，初始雷达图像包括目标对象的雷达信息，且初始像素图像与初始雷达图像是对目标场景进行同步拍摄后所得到的；

第一标定模块34，用于对初始像素图像进行第一标定处理，以得到目标像素图像，其中，目标像素图像为初始像素图像的标定图像，目标像素图像包括初始像素图像和目标对象的雷达信息；

第二标定模块36，用于对初始雷达图像进行第二标定处理，以得到目标雷达图像，其中，目标雷达图像为初始雷达图像的标定图像，目标雷达图像包括初始雷达图像和目标对象的像素信息；

融合模块38，用于对目标雷达图像和目标像素图像进行融合操作，以得到目标数据图像，其中，目标数据图像包括目标雷达图像和目标像素图像。

在一个可选的实施例中，该装置还包括：

场景识别模块30，用于在获取目标场景的初始像素图像和初始雷达图像之前，对目标场景进行场景识别，以确定目标场景是否满足第一条件；

图像采集模块32包括：

图像采集单元322，用于在目标场景满足第一条件的情况下，获取目标场景的初始像素图像和初始雷达图像。

在一个可选的实施例中，第一标定模块34包括：

第一标定单元342，用于利用第一模型对初始像素图像进行第一标定处理，以得到目标像素图像，其中，第一模型为使用第一数据集通过机器学习训练出的，第一数据集包括多组第一数据，每组第一数据均包括：像素图像以及像素图像的标定图像。

在一个可选的实施例中，第一标定模块34还包括：

第一初始数据采集单元344，用于在对初始像素图像进行第一标定处理之前，获取第一初始数据集，其中，第一初始数据集中包括多组第一数据，每组第一数据包括像素图像和像素图像的标定图像；

第一初始判断单元346，用于判断第一初始数据集是否满足第二条件；

第一数据集确定单元348，用于在第一初始数据集满足第二条件的情况下，将第一初始数据集确定为第一数据集。

在一个可选的实施例中，第一初始判断单元346包括：

第一质量判断子单元3462，用于对第一初始数据集中包括的每一组数据均执行以下操作，以确定第一初始数据集中包括的质量满足预定质量阈值的数据组：

提取像素图像包含的第一目标区域图像；

对第一目标区域图像进行下采样处理，以得到第一区域图像；

对第一区域图像进行二值化处理，以得到第二区域图像；

对第二区域图像进行二值化结果检测，以得到二值化检测结果；

基于二值化检测结果判断像素图像是否满足质量阈值，其中，在二值化结果为第一结果的情况下，确定像素图像满足质量阈值，在二值化结果为第二结果的情况下，确定像素图像不满足质量阈值；

第一数量判断子单元3464，用于确定第一初始数据集中包括的质量满足上述预定质量阈值的数据组的第一数量；

第一条件判断子单元3466，用于基于第一数量判断第一初始数据集是否满足第二条件，其中，在第一数量大于等于数量阈值的情况下，确定第一初始数据集满足所述第二条件，在第一数量小于数量阈值的情况下，确定第一初始数据集不满足第二条件。

在一个可选的实施例中，第一初始判断单元346还包括：

第一数质提取子单元3468，用于获取第一初始数据集中包括的数据组的数量，以及获取第一初始数据集中包括的每个数据组的质量；

第二条件判断子单元34610，用于基于数量和质量判断第一初始数据集是否满足第二条件，其中，在确定数量满足数量条件，以及质量满足质量条件的情况下，确定第一初始数据集是否满足第二条件，在确定数量不满足数量条件和/或质量不满足质量条件的情况下，确定第一初始数据集不满足第二条件。

在一个可选的实施例中，第一标定模块34还包括：

第一数据扩充单元3410，用于在基于数量和质量判断第一初始数据集是否满足第二条件之后，且在确定数量不满足所述数量条件的情况下，增加第一初始数据集中包括的数据组；

第一数据重采单元3412，用于在确定质量不满足质量条件的情况下，删除第一数据集中包括的全部数据组，并重新确定第一数据集中包括的数据组。

在一个可选的实施例中，第二标定模块36包括：

第二标定单元362，用于利用第二模型对初始雷达图像进行第二标定处理，以得到目标雷达图像，其中，第二模型为使用第二数据集通过机器学习训练出的，第二数据集包括多组第二数据，每组第二数据均包括：雷达图像以及雷达图像的标定图像。

在一个可选的实施例中，第二标定模块36还包括：

第二初始数据采集单元364，用于在对初始雷达图像进行第二标定处理之前，获取第二初始数据集，其中，第二初始数据集中包括多组第二数据，每组第二数据包括雷达图像和雷达图像的标定图像；

第二初始判断单元366，用于判断第二初始数据集是否满足第二条件；

第二数据集确定单元368，用于在第二初始数据集满足第二条件的情况下，将第二初始数据集确定为第二数据集。

在一个可选的实施例中，第二初始判断单元366包括：

第二质量判断子单元3662，用于对第二初始数据集中包括的每一组数据均执行以下操作，以确定第二初始数据集中包括的质量满足预定质量阈值的数据组：

提取雷达图像包含的第二目标区域图像；

对第二目标区域图像进行下采样处理，以得到第三区域图像；

对第三区域图像进行二值化处理，以得到第四区域图像；

对第四区域图像进行二值化结果检测，以得到二值化检测结果；

基于二值化检测结果判断雷达图像是否满足质量阈值，其中，在二值化结果为第一结果的情况下，确定雷达图像满足所述质量阈值，在二值化结果为第二结果的情况下，确定雷达图像不满足质量阈值；

第二数量判断子单元3664，用于确定第二初始数据集中包括的质量满足上述预定质量阈值的数据组的第二数量；

第三条件判断子单元3666，基于第二数量判断第二初始数据集是否满足第二条件，其中，在第二数量大于等于数量阈值的情况下，确定第二初始数据集满足第二条件，在第二数量小于数量阈值的情况下，确定第二初始数据集不满足第二条件。

在一个可选的实施例中，第二初始判断单元366还包括：

第二数质提取子单元3668，用于获取第二初始数据集中包括的数据组的数量，以及获取第一初始数据集中包括的每个数据组的质量；

第四条件判断子单元36610，基于数量和质量判断所述第二初始数据集是否满足所述第二条件，其中，在确定数量满足数量条件，以及质量满足质量条件的情况下，确定第二初始数据集是否满足第二条件，在确定数量不满足所述数量条件和/或质量不满足所述质量条件的情况下，确定第一初始数据集不满足第二条件。

在一个可选的实施例中，第二标定模块36还包括：

第二数据扩充单元3610，用于在基于数量和质量判断第二初始数据集是否满足第二条件之后，且在确定数量不满足数量条件的情况下，增加第二初始数据集中包括的数据组；

第二数据重采单元3612，用于在确定质量不满足质量条件的情况下，删除第一数据集中包括的全部数据组，并重新确定第一数据集中包括的数据组。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

下面结合具体实施例对本发明进行说明。

在进行标定之前，先要对场景进行识别，以判断目标场景是否为理想环境，其中，理想环境是选择训练数据和测试数据的前提条件。在本实施例中，理想环境是指环境存在非常稀疏的目标且目标量测质量好、雷达视频目标匹配无歧义的情况，且理想环境需要满足如下条件：

a)视频目标和雷达目标十分稀疏，确保无歧义；

b)视频目标和雷达目标个数相同；

c)视频目标不存在被遮挡部分；

d)雷达目标速度不存在突变；

e)行人目标；

f)视频目标不存在腾空情形；

g)图像光照良好(非晚上)。

需要说明的是，条件a的目的是确保视频目标和雷达目标的关联无歧义，当视频目标或雷达目标比较多时，存在多种可能的关联情形。条件b的目的也是保障无歧义的一种手段，其中，雷达目标个数和视频目标个数必须相同；条件c是为了确保图像数据质量。如前述图3及图4所示，图3是一个人的全身框，而图4是被遮挡的半身框。此时提取框的某一点，例如下边缘中心点时，会造成视频目标点序列在遮挡处发生较大剧变，即引入不可控的且是没有任何数学模型的误差，此时可将该测量视为不正确的目标量测，而该类量测若导入到网络中训练，会造成网络不收敛或不稳定。

条件d是为了确保雷达数据质量。由于雷达对运动的目标特别灵敏，因此可依据目标速度判断目标是否是正常目标/异常目标。一般的，一个行人在常态情况下，其速度不会发生突变；如果速度发生突变，则在雷达上现实的目标可能不是行人，而是其它事物，如猫、狗等。

条件e是为了过滤无效目标，视频智能算法可识别一些指定的目标类型，如行人、非机动车、机动车、猫、狗等，如果环境中存在非机动车或机动车、猫、狗，则需过滤。本实施例中以行人作为训练和测试数据源。

条件f是为了确保数据质量。由于视频图像采集设备无法获得目标对象的空间深度信息，因此如果目标对象腾空，则会破坏雷达和图像之间的一一映射关系，而这种情况将会直接导致检测的失败。因此，需通过条件f确定目标对象不存在腾空现象。

条件g是为了确保像素图像中用于标识目标对象的采集框的稳定性。当目标场景是处于晚上等光线条件较差的环境中时，由于光线昏暗等原因，会导致目标对象的边缘模糊，此时采集框波动情况较大，易导致视频采集不稳定。因此，需要通过条件g确保像素图像中的光线条件。

由于视频目标框是一矩形区域，雷达目标是一个点。因而为构建视频目标点与雷达目标点之间的映射，需从视频目标矩形框内选择合适的点；在本实施例中，选择目标框下边缘中心点，因为无论是与矩阵中心点还是行人头部点相比，目标框下边缘中心点所构建的映射精度均相对较高。

进一步的，如图6至图10所示，为保证用于模型训练的数据的准确性，需要对采集的数据进行检测。如图6所示，标识区域内是行人出现的地方。如果标识区域内仅有几条轨迹，则该数据量不足以支撑训练复杂的神经网络。因此需确保红色区域内的轨迹数量能够满足训练要求。

其具体检测方式为：

1)提取标识区域，如图7所示；

2)执行下采样，即降低图像分辨率，如图8所示；

3)创建二值图，其初始值为零；

4)如图9所示，当行人通过二值图中某一区域时，将对应值设置为1，此时值为1的元素分布不均匀，因此该图像不满足质量要求；

5)如图10所示，当值为1的元素比例超过40％，且值为1的元素布均匀可认为数据满足数量及质量要求。

随后再根据前述的数据进行神经网络训练，其中，输入神经网络的是2个节点，中间均是全连接层，结构是2*10*20*20*10*2，神经网络输出的也是2个节点。

需要训练的神经网络有两个，其中一个神经网络用于输入图像坐标，输出雷达坐标；另一个神经网络输入用于雷达坐标，输出像素坐标；其训练集数据量中，测试集数据量为4:1，且总的数据量是2000000，大约需32M存储空间。

随后再对输出的数据进行修正，其中，数据修正包括删除冗余数据和修正数据；在本实施例中，删除冗余数据过程是将局部高密度的数据，随机删除部分数据，将局部密度将至平均密度。

修正数据过程分为两个子过程：1)倘若局部误差较大，则增加更多的局部数据；2)若全局误差较大，则在全局范围内随机删除部分数据，新增全局数据，即整体更新全局数据。

上述过程的完整过程如图11所示，即，主要包括如下步骤：

Step 1:初始化。对网络的超参数进行初始化，超参数包括：批处理大小、学习率、矩值、训练次数、训练集数据大小、测试集数据大小(对应图11中的步骤1)。

Step 2：场景识别。该步的目的是判断何时采集数据。场景识别输出：是否是理想场景。理想场景可确保所采集的数据无歧义。场景识别过程贯穿整个算法，在场景识别过程中，雷达传感器输出目标个数和对应的轨迹信息。视频输出目标的个数和目标框位置(对应图11中的步骤2)。

Step 3：理想场景判断(对应图11中的步骤3)。如果是理想场景，则跳转Step4。否则跳转Step2，等待下一帧数据，重新进行场景识别。其中，基于实践和业务需求，大多数的环境并非理想场景，但应用场合允许算法进行较长时间的场景识别，即该方法有足够的时间去采集数据。

Step 4：采集数据。尽管是理想的场景，对于采集数据业务而言，依旧有大量工作需进一步处理：给雷达和视频数据附加时间戳，在视频目标框中选择一个像素点(对应图11中的步骤4)。

Step 5：时间同步。基于时间戳，可获得成对的雷达和视频数据(对应图11中的步骤5)。

Step 6：保存数据。将成对的雷达和视频数据，保存到可重复读写的存储设备中。需注意的是，该外部设备的存储空间需有一定的冗余(对应图11中的步骤6)。

Step 7：质量数量判断。为了获得更好的训练结果，需判断数据集的质量和数量，其中，数量用于确保采集足够量的数据，质量用于确保数据在融合区域分布均匀(对应图11中的步骤7)。

Step 8：质量数量判断(对应图11中的步骤8)。如果满足，则跳转Step9步；否则跳转Step12。

Step 9：在线训练。首先将采集的数据划分为训练数据集和测试数据集，然后，将训练数据导入至神经网络，并训练网络(对应图11中的步骤9)。

Step 10：在线测试。训练网络结束之后，采用测试集数据，对所获得网络模型进行测试(对应图11中的步骤10)。

Step 11：通过判断(对应图11中的步骤11)。若精度满足测试要求，则表示获得有效的可服务于雷达视频传感器融合的网络，跳转Step14；否则跳转Step13。

Step 12：删除冗余数据。出现此种情形，通常是由于数据不均匀导致的，则从数据集中删除冗余数据即可(对应图11中的步骤12)。

Step 13：修正数据(对应图11中的步骤13)。出现此种情形，通常是由于数据量不够或错误匹配导致的，此时可以添加更多的数据或修正数据，并通过跳转至Step2来实现数据的添加和修正。

Step 14：保存网络。已获得有效的神经网络，该神经网络将用于雷达视频数据融合(对应图11中的步骤14)。

Step 15：结束。

其中，标定后的像素图像如图12所示，标定后的雷达如图13所示。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。