目标检测方法、装置、电子设备及存储介质

技术领域

本申请涉及智能无人系统技术领域，特别涉及一种目标检测方法、装置、电子设备及存储介质。

背景技术

智能无人系统拥有灵活的激动和立体全方位的感知，可以在复杂困难条件下代替人工从事搜索、救援或监视等工作，这要求智能无人系统拥有在光照恶劣条件下的稳定感知能力。在光照恶劣时，可见光图像无法满足夜间、雾天等特殊情况，而红外线图像具有目标突出，背景简单的优点，仍能检测出所需目标。

然而，尽管红外模态具有以上优点，但由于目前的目标检测研究主要集中在可见光模态，无人机平台下的红外模态数据相对于数量庞大的可见光数据较为稀少，而最先进的基于深度学习的目标检测方法大多严重依赖于大量标注训练样本，导致智能无人系统在恶劣光照下的检测性能较差。

发明内容

本申请提供一种目标检测方法、装置、电子设备及存储介质，以解决相关技术中目标检测性能中红外域样本缺乏，导致智能无人系统用在恶劣光照下的检测性能较差等问题。

本申请第一方面实施例提供一种目标检测方法，包括以下步骤：获取无人系统采集的可见光域图像和红外域图像；根据所述可见光域图像和红外域图像生成可见光与红外光图像对；将所述可见光与红外光图像对输入预先训练得到的目标检测模型，得到所述可见光与红外光图像对的一个或多个检测目标，实现可见光域和/或红外域中图像的目标检测。

根据上述技术手段，本申请实施例可以通过利用可见光域数据训练红外域上的模型，实现可见光域和红外域中图像的目标检测，可以充分利用可见光数据协助红外域中图像的检测，进而提升智能无人系统在恶劣光照下的检测性能。

进一步地，所述目标检测模型包括检测器、第一自适应器和第二自适应器，所述将所述可见光与红外光图像对输入预先训练得到的目标检测模型，得到所述可见光与红外光图像对的一个或多个检测目标，包括：将所述可见光与红外光图像对输入所述检测器，得到所述图像对的第一候选区域和第二候选区域；将所述第一候选区域输入所述第一自适应器，得到所述第一候选区域的类别标签，并将所述第二候选区域输入所述第二自适应器，得到所述第二候选区域的检测框标签；将所述类别标签和所述检测框标签输入所述检测器的目标区域提取头，以提取所述图像对中的一个或多个检测目标。

根据上述技术手段，本申请实施例可以通过将可见光与红外光图像对输入预先训练得到的目标检测模型，得到所需的检测目标。

进一步地，所述目标检测模型基于携带有可见光与红外光图像对的训练数据集训练得到，包括：获取携带有可见光与红外光图像对的训练数据集，其中，所述训练数据集包括多个训练图像对；将所述训练图像对输入训练得到的检测器中，输出第一候选区域和第二候选区域，其中，所述检测器基于目标检测损失函数在可见光域上训练得到，且每个候选区域包括可见光域图像和红外域图像；利用真实类别标签标注所述第一候选区域中可见光域图像，基于标注的可见光域图像训练第一自适应器，并利用所述第一自适应器预测红外光图像的类别伪标签；利用真实检测框标注所述第二候选区域中可见光域图像，基于标注的可见光域图像训练第二自适应器，并利用所述第二自适应器预测红外光图像的检测框伪标签；利用所述类别伪标签和所述检测框伪标签训练所述检测器的目标区域提取头，直到所述检测器在红外光域上的检测性能满足预设训练条件时，停止训练，并得到所述目标检测模型。

根据上述技术手段，本申请实施例通过训练可见光与红外光图像对的训练数据集获得目标检测模型，以方便实现可见光域和/或红外域中图像的目标检测。

进一步地，在获取携带有可见光与红外光图像对的训练数据集之前，包括：获取包括可见光域图像与红外域图像的数据集；计算所述数据集中每张图像的平均灰度值，筛选所述平均灰度值大于预设灰度值的图像，生成可见光与红外光图像对，并对所述数据集进行标注转换和白边去除处理，得到所述训练数据集。

根据上述技术手段，本申请实施例通过光照筛选、标注转换和白边去除，获得了适用于无监督域自适应目标检测任务的光照良好的训练数据集，能够使其适用于域自适应任务。

进一步地，在检测器基于目标检测损失函数在可见光域上训练之后，还包括：获取检测框的短边长边之比和目标类别的相关关系，基于所述相关关系匹配基于数据集先验的损失函数；利用所述基于数据集先验的损失函数优化所述检测器的分类性能。

根据上述技术手段，本申请实施例通过假设短长比可以帮助检测器回归特定类别的检测框，促进模型收敛，优化检测器的分类性能。

进一步地，在利用所述第一自适应器预测红外光图像的类别伪标签之前，还包括：利用预设伪标签选择策略训练类别自适应器的伪标签预测性能，直到所述类别自适应器预测的伪标签的噪声小于预设值时，停止训练。

根据上述技术手段，本申请实施例通过为伪标签选择策略来减少训练中存在的噪声，提高训练类别自适应器的伪标签质量。

进一步地，所述检测器包括类别损失加权网络、回归损失函数网络和特征图金字塔网络。

根据上述技术手段，本申请实施例通过不同的方法来优化检测器，提高了检测器的性能。

本申请第二方面实施例提供一种目标检测装置，包括：获取模块，用于获取无人系统采集的可见光域图像和红外域图像；生成模块，用于根据所述可见光域图像和红外域图像生成可见光与红外光图像对；检测模块，用于将所述可见光与红外光图像对输入预先训练得到的目标检测模型，得到所述可见光与红外光图像对的一个或多个检测目标，实现可见光域和/或红外域中图像的目标检测。

本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的目标检测方法。

本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的目标检测方法。

由此，本申请至少具有如下有益效果：

(1)本申请实施例可以通过利用可见光域数据训练红外域上的模型，实现可见光域和红外域中图像的目标检测，可以充分利用可见光数据协助红外域中图像的检测，进而提升智能无人系统在恶劣光照下的检测性能。

(2)本申请实施例可以通过将可见光与红外光图像对输入预先训练得到的目标检测模型，得到所需的检测目标。

(3)本申请实施例通过训练可见光与红外光图像对的训练数据集获得目标检测模型，以方便实现可见光域和/或红外域中图像的目标检测。

(4)本申请实施例通过光照筛选、标注转换和白边去除，获得了适用于无监督域自适应目标检测任务的光照良好的训练数据集，能够使其适用于域自适应任务。

(5)本申请实施例通过假设短长比可以帮助检测器回归特定类别的检测框，促进模型收敛，优化检测器的分类性能。

(6)本申请实施例通过为伪标签选择策略来减少训练中存在的噪声，提高训练类别自适应器的伪标签质量。

(7)本申请实施例通过不同的方法来优化检测器，提高了检测器的性能。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本申请实施例提供的一种目标检测方法的流程图；

图2为根据本申请实施例提供的基于解耦域自适应目标检测结构图；

图3为根据本申请实施例提供的DroneVehicle-Day数据集示例图；

图4为根据本申请实施例提供的汽车类和公交车类的短长边比频率直方图；

图5为根据本申请实施例提供的DroneVehicle-Day标注框边长长度频率直方图；

图6为根据本申请实施例提供的整体算法流程示意图；

图7为根据本申请实施例提供的自上到下为可见光、红外光、伪可见光预测结果图；

图8为根据本申请实施例提供目标检测装置的方框示意图；

图9为根据本申请实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

相关技术1中其将普通视角下的可见光语义分割性能迁移到红外光下，不足之处在于并非目标检测模型也无法适用于智能无人系统中；相关技术2中在无人机视角下的可见光内部进行域自适应，不足之处在于无法利用红外数据解决复杂光照条件下的目标检测任务，不能为智能无人系统提供复杂环境下的可靠性。

虽然以上方法取得了不错的性能，但仍存在一些问题：一是无人机视角下的数据具有密集小目标的特点，而传统域自适应目标检测的评测数据集都具有大且稀疏的目标特点；二是基于上一点，对无人机视角下与普通视角的差异未曾着眼与利用；三是基于双光内部的域自适应目标检测研究较为稀少，经过实验发现目前主流的基于重建的方法无法适用于智能无人系统的要求；四是域自适应目标检测的伪标签选择方法十分简单，导致伪标签内存在大量噪声。

下面参考附图描述本申请实施例的目标检测方法、装置、电子设备及存储介质。针对上述背景技术中提到的在智能无人系统中，红外图像可以在光照恶劣时检测出所需目标，但是标注样本缺乏的问题，本申请提供了一种目标检测方法，在该方法中，通过域自适应学习方法利用源域数据训练目标域上的模型，使用充分的可见光护具协助训练数据不足的基于红外的目标检测模型，将目标检测性能从样本丰富的可见光域迁移到样本缺乏的红外域。由此，解决了相关技术中无人机平台上红外数据不足，智能无人系统在恶劣光照下检测性能较低等问题。

具体而言，图1为本申请实施例所提供的一种目标检测方法的流程示意图。

如图1所示，该目标检测方法包括以下步骤：

在步骤S101中，获取无人系统采集的可见光域图像和红外域图像。

其中，可见光域包含白天、雾天、夜晚、黑夜等不同光照条件，红外域包含白天黑夜。无人系统可以包括无人机系统等。

在步骤S102中，根据可见光域图像和红外域图像生成可见光与红外光图像对。

其中，由于可见光域包含白天、雾天、夜晚、黑夜等不同光照条件，红外域在白天黑夜也有不同的分布，两个域域内差异较大，不适合直接应用域自适应任务，可见光与红外光图像对是计算每张图片平均灰度值的方法筛选光照良好的，具体方法将在下述实施例中进行阐述，此处不再赘述。

在步骤S103中，将可见光与红外光图像对输入预先训练得到的目标检测模型，得到可见光与红外光图像对的一个或多个检测目标，实现可见光域和/或红外域中图像的目标检测。

在本申请实施例中，目标检测模型包括检测器、第一自适应器和第二自适应器，将可见光与红外光图像对输入预先训练得到的目标检测模型，得到可见光与红外光图像对的一个或多个检测目标，包括：将可见光与红外光图像对输入检测器，得到图像对的第一候选区域和第二候选区域；将第一候选区域输入第一自适应器，得到第一候选区域的类别标签，并将第二候选区域输入第二自适应器，得到第二候选区域的检测框标签；将类别标签和检测框标签输入检测器的目标区域提取头，以提取图像对中的一个或多个检测目标。

其中，检测器包括类别损失加权网络、回归损失函数网络和特征图金字塔网络；第一候选区域指可见光域候选区域，即源域候选区域；第二候选区域指红外光域候选区域，即目标域候选区域。

需要说明的是，每个候选区域由一张图像x、其对应的检测框b

可以理解的是，本申请实施例将在第一、第二候选区域内分别获得的类别标签和检测框标签输入检测器的目标区域提取头，提取图像对中的检测目标，如图2所示。

在本申请实施例中，目标检测模型基于携带有可见光与红外光图像对的训练数据集训练得到，包括：获取携带有可见光与红外光图像对的训练数据集，其中，训练数据集包括多个训练图像对；将训练图像对输入训练得到的检测器中，输出第一候选区域和第二候选区域，其中，检测器基于目标检测损失函数在可见光域上训练得到，且每个候选区域包括可见光域图像和红外域图像；利用真实类别标签标注第一候选区域中可见光域图像，基于标注的可见光域图像训练第一自适应器，并利用第一自适应器预测红外光图像的类别伪标签；利用真实检测框标注第二候选区域中可见光域图像，基于标注的可见光域图像训练第二自适应器，并利用第二自适应器预测红外光图像的检测框标签；利用类别伪标签和检测框伪标签训练检测器的目标区域提取头，直到检测器在红外光域上的检测性能满足预设训练条件时，停止训练，并得到目标检测模型。

可以理解的是，目标检测模型是可以通过对可见光与红外光图像对的训练训练数据集得到，首先将训练图像对输入检测器中得到第一候选区域和第二候选区域；其次分别利用真实类别标签和真实检测框对应标注第一和第二候选区域的可见光域图像，对其标注的可见光域图像分别训练第一自适应器和第二自适应器；然后利用第一自适应器预测红外光图像的类别伪标签，利用第二自适应器预测红外光图像的检测框伪标签；最后利用类别伪标签和检测框伪标签训练目标提取头，满足条件后得到目标检测模型。

其中，检测器是基于目标检测损失函数在可见光域上训练得到；第一自适应器即为类别自适应器；第二自适应器即为检测框自适应器。

举例而言，假设已经获得了一个检测器和两个自适应器，自适应器分别为类别自适应器和检测框自适应器，训练步骤如下：首先用目标检测损失函数

在本申请实施例中，在获取携带有可见光与红外光图像对的训练数据集之前，包括：获取包括可见光域图像与红外域图像的数据集；计算数据集中每张图像的平均灰度值，筛选平均灰度值大于预设灰度值的图像，生成可见光与红外光图像对，并对数据集进行标注转换和白边去除处理，得到训练数据集。

其中，由于数据集可见光域包含白天、雾天、夜晚、黑夜等不同光照条件，红外域在白天黑夜也有不同的分布，两个域域内差异较大，不适合直接应用域自适应任务。故采用计算每张图片平均灰度值的方法筛选光照良好的可见光-红外光图像对。该数据集恰巧有一半白天一半黑夜的数据，故筛选阈值取中位数即可。

需要说明的是，数据集通常使用旋转标注框代替水平标注框，由于本申请实施例未涉及到无人机平台目标检测，数据集从旋转标注框转换成水平标注框。除此之外，数据集为了标注仅在视野里漏出部分的车浪，需要在拍摄图像的上下左右增加100像素点宽的白边，从640×512的尺寸变为840×712，本申请实施例为了是图像输入模型时受到更轻程度的压缩，使小目标信息更好保留，将白边去除，漏出部分的车辆标注如果尺寸过小则删除。

可以理解的是，本申请实施例经过光照筛选、标注转换和白边去除，获得了适用于无监督自适应目标检测任务的光照良好的训练数据集DroneVehicle-Day，如图3所示。

在本申请实施例中，在检测器基于目标检测损失函数在可见光域上训练之后，还包括：获取检测框的短边长边之比和目标类别的相关关系，基于相关关系匹配基于数据集先验的损失函数；利用基于数据集先验的损失函数优化检测器的分类性能。

需要说明的是，通过观察DroneVehicle-Day数据集，发现在无人机视角下，不同类别的车辆长宽比显著不同。虽然数据集使用水平框标注，无法获得车辆真实长宽比，但通过图4可知，检测框的短边和长边之比(短长比)可以较为模糊地反映车辆的长宽比，如汽车类别的短长比集中在0.5，公交车的短长比集中在0.3，且汽车只有极少量的样本短长比在0.3左右。因此，本申请实施例假设短长比可以帮助检测器回归特定于类别的检测框，设计基于短边长边比先验知识的RateLoss优化检测器的分类性能。

举例来说，设任意一个最终预测的检测框的短长比为r∈[0,1]，将其映射到平分0到1的20个区间i∈[1,20]。根据数据集鲜艳，每个类别c在每个区间的频数即为

对源域(可见光域)上的每个最终预测出的检测框计算

在本申请实施例中，在利用第一自适应器预测红外光图像的类别伪标签之前，还包括：利用预设伪标签选择策略训练类别自适应器的伪标签预测性能，直到类别自适应器预测的伪标签的噪声小于预设值时，停止训练。

需要说明的是，伪标签是训练半监督模型的一种方法，与其它的半监督方法相比，它的性能相对较差，UPS利用不确定感知来选择噪声较小的伪标签集合，目标是减少训练中存在的噪声，来提高模型整体性能。

其中，伪标签选择策略如下所示：

其中u(p)是预测p的不确定度，κ

可以理解的是，本申请实施例将UPS伪标签策略应用在D-adapt的类别自适应器的训练上，智能地选择源域(可见光域)上噪声较少的伪标签，用来提高训练类别自适应器的伪标签质量。

其中，计算不确定度的方式采用蒙特卡罗Dropout(MC Dropout)方式。由于D-adapt框架的特殊性，仅使用UPS的正例选择部分。由于DroneVehicle-Day数据集的类别分布不均衡，获得的检测器对于小类别的置信度较低、不确定性较高，大部分小类别由于不符合标准而被去除。因此本发明将原本UPS较强的选择约束弱化，用加权的方式减少训练中的可能错误的伪标签的噪声。即将不确定性低于阈值的样本认为更可靠，在优化过程中的权重更高，对模型的影响更大，从而促使模型偏向于学习更可信的样本。

其中，上述实施例中所述的检测器包括类别损失加权网络、回归损失函数网络和特征图金字塔网络。

需要说明的是，由于无人机双光数据集DroneVehicle-Day具有类别不均衡的分布特点，具有目标小、密度大的样本特点，故采用类别损失加权网络、回归损失函数网络DIoULoss和特征图金字塔网络FPN来优化D-adapt中的检测器。

一、类别加权损失

由表1可知，数据集各类别样本量差距大，如汽车样本数量是面包车的66倍。因此弱势类别的学习不够充分，导致检测器总体性能不佳。本发明中使用类别加权损失来减少属于多数类的样本对模型学习的影响，同时扩大少数类样本的影响，此方法在后续实施例中称作Weight Loss。其中，表1为DroneVehicle-Day数据类别标注数量表。

表1

二、回归损失函数(DIoU Loss)

由图3和图5可知，图5为DroneVehicle-Day标注框边长长度频率直方图，数据集检测目标普遍尺寸较小且一张图片中有较多需检测目标，所以如何更好地生成小候选区域是解决问题的关键。传统检测器使用IoU作为量化预测框和真实框之间重合程度的指标，使用IoU Loss表示预测框和真实框之间的回归距离，进而引导模型的优化。IoU和IoU Loss的计算方式如下，其中A和B代表检测框形成的矩形。

IoU Loss＝1-IoU

但IoU具有以下缺点：一是在A和B无重合时值为0，不能反映两者的距离，导致在这种情况下IoU Loss没有优化方向；二是IoU有时不能正确地反应重合度大小。当IoU值相同时，视觉上的回归效果可能是差距较大的。因此本申请实施例使用DIoU量化预测框和真实框之间重合程度，其定义如下：

其中ρ

三、特征图金字塔网络(FPN)

随着图像经过层层卷积，特征的尺寸越来越小，特征上的每个点所映射的原图像的区域越来越大。最后一层的特征可能每个点代表的区域内有一个或多个小物体，导致特征无法正确表示每个小物体，从而大幅降低小目标检测性能。传统检测器的特征提取器只使用卷积最后一层的特征，而FPN通过改变网络连接方式，由深到浅地融合这些不同层的特征并分别在不同尺度的特征上进行预测。不仅解决了小目标特征的混淆问题，还使模型可以同时利用浅层纹理特征和深层语义特征。因此使用FPN可以提升检测器在无人机视角下数据的性能。

具体而言，如图6所示，实现目标检测主要流程包括：首先，将域自适应目标检测框架D-adapt应用于无人机平台上的双光目标检测，并针对无人机平台数据特点，进行检测模型的适配工作；其次，根据无人机视角下的车辆目标检测框的短边长边之比和目标类别的相关关系，设计了基于数据集先验的损失函数Rate Loss，促进模型收敛；最后，将无监督领域的域自适应目标检测框的基于阈值的伪标签选择方法与半监督领域的伪标签选择方法UPS结合，减少伪标签中存在的噪声，在一定程度上提高了域自适应性能。

下面将通过一个具体实施例来阐述目标检测方法，步骤如下：

一、评价标准

本申请实施例使用宏平均F1目标检测任务中一般使用mAP(mean AveragePrecision)作为评价指标，mAP由各类别的AP值平均得到。某类别的AP值由目标检测的精度(Precision)和召回率(Recall)间接得来。

其中TP(True Positive)在目标检测中代表与真实框IoU大于等于阈值的检测框个数，FP(False Positive)代表IoU小于阈值的检测框或者匹配到同一真实框多余的个数，FN(False Negative)代表真实框没有被检测到的个数。通过在多个实例中预测，可以根据实际得到精度和召回率组成的点画出PR曲线。AP值即为PR曲线与坐标轴围成的区域面积近似值。AP值越大，模型的性能越好。AP50指IoU阈值取0.5时AP的值，一般来说，IoU阈值越大，检测标准越严格，AP值越小。

二、实验设置

检测器预训练使用ResNet50作为骨干网络，优化器使用SGD，学习率0.005。模型共迭代9万次，在6万和8万次时学习率衰减。由图4得知真实框边长大多集中在100像素点以下，故将RPN生成的Anchor设置为[16,32,64,128]。每1万次迭代保存一次检查点并在训练集和测试集上验证性能，最终模型参数取性能综合最优的检查点。

D-adapt先训练类别自适应器和检测框自适应器。两者都使用ResNet50作为骨干网络，优化器使用SGD，初始学习率为0.01，动量为0.9。两者都训练10个回合，每个回合内有2千次迭代。类别自适应器的鉴别器D是的三层全连接网络构成，损失函数中λ取1。检测框自适应器的两个回归头都是由两层卷积网络构成，损失函数中η取0.1。D-adapt由上述过程中的伪标签微调检测器，共迭代7千次，学习率从2.5×10

三、数据准备

实施例1适配实验结果与分析

对于无人机视角下的目标检测任务，本申请实施例使用类别加权损失、DIoU和FPN进行适配。其中，表2为检测器适配器实验在可见光测试集的结果。

表2

其中Base表示仅使用基于Faster R-CNN的预训练检测器。Weight Loss表示使用类别加权损失后的模型，DIoU表示使用DIoU Loss代替IoU Loss的模型，FPN是指使用多尺度特征的模型。

由实验结果可知，Weight Loss在较低IoU阈值的情况下获得更好结果，且少数类卡车、公交车、货车和面包车相比较基础模型都有所提升，其中卡车、公交车、货车三类获得了最好结果；DIoU在较低IoU阈值的情况下获得更好结果，但在较高阈值时结果较差。DIoU在IoU低时收敛快，在IoU高时收敛慢，最终导致大多数检测框和真实框的IoU处于一个较低水平。FPN与基础模型相比，mAP有全面的提升，尤其是高阈值的mAP。通过以上结果分析，Weight Loss通过平衡多数类和少数类的学习权重，初步缓解了类别不均衡问题，加强了模型的性能。DIoU更合理的IoU计算方式在本发明密集小目标检测中无法发挥影响，不能加强模型性能。FPN通过利用多尺度特征，缓解了目标过小特征混淆的问题，大幅加强了模型整体性能。

实施例2Rate Loss实验结果与分析

对于无人机视角下的目标检测任务，本申请实施例提出了Rate Loss使模型学习数据集短长比先验知识来帮助模型对不同类别检测框的回归。其中，表3为Rate Loss在可见光测试集的结果

表3

由表3可知，Rate Loss通过学习类别先验知识，促进不同类别的检测框的短长比符合先验分布，与基础模型相比有了整体提升，在货车和面包车类别上提升明显。

实施例3基于重建的域自适应方法的结果与分析

表4为各方法在红外光测试集的结果。

表4

其中CycleGAN表示使用CycleGAN模型将红外图像生成对应的伪可见光图像后利用Base模型进行预测的结果，该方法属于基于重建的域自适应目标检测方法。由表4所示，解耦域自适应目标检测方法在所有类别上都有显著提高，而CycleGAN方法比基本模型的表现还要差。

在本申请实施例中，图7自上而下为可见光、红外光、伪可见光预测结果图片，观察图片可以看出，当使用可见光在白天预测时，模型拥有丰富的纹理信息，可以观察出右图中的保安厅不属于车辆目标。当使用可见光模型在红外图像上预测时，由于缺少纹理信息，左图树林中的金属设施和右图中的保安厅都被识别为车辆目标。当使用伪可见光进行预测时，由于CycleGAN不仅将车辆上色，还将房屋及其他物体错误上色。使得模型认为左图房屋结构、房顶的排风扇属于车辆目标，右图图像的伪影属于车辆目标。

综上，可以得出：基于重建的域自适应目标检测方法不适用于无人机视角下的密集小目标数据，此方法会将大量噪声引入图片，使得检测更加棘手。解耦域自适应目标检测更适合处理无人机视角下的数据。

实施例4伪标签选择策略实验结果与分析

使用UPS改进D-adapt的类别自适应器的类别标签选择策略，进行一次训练的结果如表5所示。其中Base表示检测器不经过域自适应直接使用在红外光测试集的结果。BaseD-adapt表示使用检测器进行解耦域自适应后的结果。Droupout表示模型使用不确定度方法必需增加的Droupout层的结果。UPS D-adapt表示使用不确定性加权伪标签选择的结果。两个Up表示与自身的基础模型相比，使用D-adapt方法提升了多少性能。其中，表5为D-adapt使用UPS在红外光测试集的结果。

表5

Base D-adapt比Base相比有大幅提升，体现了D-adapt框架的域自适应能力。UPSD-adapt在Droupout基础上的提升与Base D-adapt在Base上相比仅在汽车类别上有更好的性能。猜测根本原因可能是由于数据集类别分布不均衡导致检测器对汽车类的不确定度更低，容易满足不确定度阈值。最终导致多数类汽车拥有更多的学习样本且权重更高，致使D-adapt阶段学习不均衡。模型整体性能提升不高、甚至有衰减，UPS策略使得汽车类能选择更好的伪标签，在原本Droupout模型对汽车类预测不佳的情况下反超Base D-adapt性能。这说明了UPS策略具有一定提升性能的作用。

根据本申请实施例提出的目标检测方法，可以通过利用可见光域数据训练红外域上的模型，实现可见光域和红外域中图像的目标检测，可以充分利用可见光数据协助红外域中图像的检测，进而提升智能无人系统在恶劣光照下的检测性能；可以通过将可见光与红外光图像对输入预先训练得到的目标检测模型，得到所需的检测目标；通过训练可见光与红外光图像对的训练数据集获得目标检测模型，以方便实现可见光域和/或红外域中图像的目标检测；通过光照筛选、标注转换和白边去除，获得了适用于无监督域自适应目标检测任务的光照良好的训练数据集，能够使其适用于域自适应任务；通过假设短长比可以帮助检测器回归特定类别的检测框，促进模型收敛，优化检测器的分类性能；通过为伪标签选择策略来减少训练中存在的噪声，提高训练类别自适应器的伪标签质量；通过不同的方法来优化检测器，提高了检测器的性能。

其次参照附图描述根据本申请实施例提出的目标检测装置。

图8是本申请实施例的目标检测装置的方框示意图。

如图8所示，该目标检测装置10包括：获取模块100、生成模块200和检测模块300。

其中，获取模块100用于获取无人系统采集的可见光域图像和红外域图像；生成模块200用于根据可见光域图像和红外域图像生成可见光与红外光图像对；检测模块300用于将可见光与红外光图像对输入预先训练得到的目标检测模型，得到可见光与红外光图像对的一个或多个检测目标，实现可见光域和/或红外域中图像的目标检测。

需要说明的是，前述对目标检测方法实施例的解释说明也适用于该实施例的目标检测装置，此处不再赘述。

根据本申请实施例提出的目标检测装置，可以通过利用可见光域数据训练红外域上的模型，实现可见光域和红外域中图像的目标检测，可以充分利用可见光数据协助红外域中图像的检测，进而提升智能无人系统在恶劣光照下的检测性能；可以通过将可见光与红外光图像对输入预先训练得到的目标检测模型，得到所需的检测目标；通过训练可见光与红外光图像对的训练数据集获得目标检测模型，以方便实现可见光域和/或红外域中图像的目标检测；通过光照筛选、标注转换和白边去除，获得了适用于无监督域自适应目标检测任务的光照良好的训练数据集，能够使其适用于域自适应任务；通过假设短长比可以帮助检测器回归特定类别的检测框，促进模型收敛，优化检测器的分类性能；通过为伪标签选择策略来减少训练中存在的噪声，提高训练类别自适应器的伪标签质量；通过不同的方法来优化检测器，提高了检测器的性能。

图9为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：

存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序。

处理器902执行程序时实现上述实施例中提供的电子设备方法。

进一步地，电子设备还包括：

通信接口903，用于存储器901和处理器902之间的通信。

存储器901，用于存放可在处理器902上运行的计算机程序。

存储器901可能包含高速RAM(Random Access Memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。

如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral Component，外部设备互连)总线或EISA(Extended Industry Standard Architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。

处理器902可能是一个CPU(Central Processing Unit，中央处理器)，或者是ASIC(Application Specific Integrated Circuit，特定集成电路)，或者是被配置成实施本申请实施例的一个或多个集成电路。

本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的目标检测方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。