泥头车检测方法和计算机可读存储介质

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种泥头车检测方法，一种计算机可读存储介质。

背景技术

在迁移学习中，当源域和目标域的数据分布不同，但两个任务相同时，这种特殊的迁移学习叫做域适应(Domain Adaptation)。源域由充足的带标签数据组成，目标域由不充足的带标签数据组成。域适应的目标是从源域学习一个函数f用来适应目标域中的新数据。

目标检测是一项重要的计算机视觉任务，它旨在对图像中的目标进行定位和分类。最新的神经网络方法已大大提高了目标检测的性能。但是，这样的深度神经网络模型通常需要大规模的带标注的数据集以进行监督学习，并且当训练集和测试集不同时，不能很好地泛化。例如，两个域可能在场景，天气，光照条件和相机设置方面有所不同。此类域差异或域转移(domain-shift)会引起模型泛化问题。尽管增加同属于一个目标域的其他训练数据可以提高性能，但是收集不同天、光照条件及相机设定条件下的泥头车图片是比较困难的，且对收集的图片进行标注是耗时耗力的。

发明内容

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个方面在于提出了一种泥头车检测方法。

本发明的另一个方面在于提出了一种计算机可读存储介质。

有鉴于此，根据本发明的一个方面，提出了一种泥头车检测方法，包括：采集源域下的泥头车图像以及目标域下的泥头车图像；将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；根据正样本和负样本对预设源域模型进行域适应，得到目标检测模型。

本发明提供的泥头车检测方法，首先采集源域下第一数量的泥头车图像，采集目标域下第二数量的泥头车图像，第一数量大于第二数量，具体地，第一数量如2万张，第二数量如100张，并进行标注。然后利用配对机制对标注好的泥头车图像进行样本划分，扩充训练样本。具体地，将源域下的两个不同的泥头车图像成对组成正样本，将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本。根据正样本和负样本对预设源域模型进行域适应，从而训练出一个新的函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。本发明提供的泥头车检测方法，针对目标域样本不足导致训练的模型效果差的情形，提出成对训练的思想，扩充训练样本；通过使现有标签去适应目标测试数据，通过跨域检测，将在源域学习到的知识用于目标域，在目标检测任务上，建立源域到目标域的映射，大大降低了数据采集成本，显著减少人工标注的时间。

其中，预设源域模型的网络结构为Faster-RCNN-FPN网络结构，其中，FPN(FeaturePyramid Network)就是所谓的金字塔结构的检测器，把FPN融合到Faster-RCNN中，即得到Faster-RCNN-FPN。源域和目标域下的泥头车图像可能在场景，天气，光照条件和相机设置方面有所不同，但不限于此。

根据本发明的上述泥头车检测方法，还可以具有以下技术特征：

在上述技术方案中，根据正样本和负样本对预设源域模型进行域适应的步骤，具体包括：基于分割池采样的方式对正样本和负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；将两个不同的图像级别的源域特征块成对组成第一正样本，将一个图像级别的源域特征块和另一个图像级别的目标域特征块成对组成第一负样本；根据第一正样本和第一负样本对预设源域模型进行图像级别的域适应。

在该技术方案中，对根据正样本和负样本对预设源域模型进行域适应的方法进行了限定。具体地，在VGG-16网络relu5_3特征层上设置三种尺寸(256×256，160×160，96×96)和三种比率的(1:2，1:1，2:1)的栅格窗口，利用分割池(split pooling)提取局部特征，源域的特征图(图像级)切分成若干小块(patch)，同样目标域的特征图(图像级)切分成若干小块(patch)，即得到若干图像级别的源域特征块和目标域特征块。采用成对采样机制，按照两种方式组对，两个不同的源域特征块组成第一正样本，源域特征块和目标域特征块组成第一负样本。根据第一正样本和第一负样本在图像级别上对预设源域模型进行域适应。通过本发明的技术方案，采用基于分割池采样的特征配对机制，在图像级别上对成对的特征进行域适配，实现全局级别的域适应。

其中，VGG-16网络是一种深度卷积神经网络，这个数字16，就是指在这个网络中包含16个卷积层和全连接层。

在上述任一技术方案中，根据正样本和负样本对预设源域模型进行域适应的步骤，具体还包括：对所有正样本和所有负样本中的预设感兴趣区域ROI进行特征提取，得到源域特征集和目标域特征集；将源域特征集中两个不同的源域特征成对组成第二正样本，将源域特征集中一个源域特征和目标域特征集中另一个目标域特征成对组成第二负样本；根据第二正样本和第二负样本对预设源域模型进行实例级别的域适应。

在该技术方案中，为了缓解目标实例的域偏移，实现在图像级别上成对的域适应之后，采用基于实例的感兴趣区域ROI(Region of Interest)采样的特征配对机制，在目标实例级别上对成对的特征进行域适应。具体地，利用Faster R-CNN网络对所有的正样本和所有的负样本进行预设感兴趣区域ROI的获取，这里预设感兴趣区域ROI代表一个物体，即泥头车。获得ROI特征之后，根据ROI的label类别进行分组，得到源域特征集O

需要说明的是，跟Faster R-CNN中不同的是：foreground(前景)ROI设置更高的交并比IOU(Intersection over Union)阈值为0.7，Faster R-CNN IOU阈值是0.5。

Faster R-CNN(其中R对应“Region(区域)”)是基于深度学习R-CNN的目标检测算法。

在上述任一技术方案中，根据第一正样本和第一负样本对预设源域模型进行图像级别的域适应的步骤，具体包括：根据第一正样本和第一负样本，采用生成式对抗网络GAN对预设源域模型进行训练。

在该技术方案中，使用GAN(Generative Adversarial Networks)的网络结构对预设源域模型进行优化，达到判别器(Discriminator)和生成器(Generator)的动态平衡，判别器尽可能去分辨正负样本的不同，也就是分辨出源域和目标域的样本，生成器则尝试去迷惑判别器。

在上述任一技术方案中，根据第二正样本和第二负样本对预设源域模型进行图像级别的域适应的步骤，具体包括：根据第二正样本和第二负样本，采用生成式对抗网络GAN对预设源域模型进行训练。

在该技术方案中，采用GAN的网络结构进行优化训练，达到判别器和生成器的动态平衡。判别器尽可能去分辨正负样本的不同，也就是分辨出源域和目标域的样本，生成器则尝试去迷惑判别器，可实现在语义上对齐目标外观，同时避免了类之间的混淆。从而训练出一个新的目标检测函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。

在上述任一技术方案中，泥头车检测方法还包括：对预设源域模型的特征进行正则化。

在该技术方案中，为解决训练不稳定的问题，为使目标检测模型避免过度拟合，并从少量的目标数据样本中获益。对预设源域模型进行特征正则化，目的使得源域样本经过域适应之后的特征提取器f

因为我们的任务是目标检测，更关注的是图像的前景目标本身，所以要求源域样本x

在上述任一技术方案中，还包括：根据源域下的泥头车图像对待训练模型进行训练，得到预设源域模型。

在该技术方案中，源域包括大量带标签的数据，通过源域样本对待训练模型进行训练得到预设源域模型，然后利用源域图像下的数据和少量的目标域数据，对预设源域模型进行域适应，从而从源域学习一个新的函数，即目标检测模型，这个模型能够很好的检测目标域下的泥头车。

在上述任一技术方案中，源域下的泥头车图像为正常天气下的泥头车图像；目标域下的泥头车图像为恶劣天气下的泥头车图像。

在该技术方案中，采集大量正常天气下的泥头车图像，如2万张，作为源域样本，采集少量恶劣天气下的泥头车图像，如100张，作为目标域样本。

在上述任一技术方案中，泥头车检测方法还包括：将目标检测模型部署成服务以供工程调用。

在该技术方案中，将采用域适应训练好的目标检测模型部署成服务供工程调用，约定好服务接口，传入图像url(uniform resource locator)地址，即网络地址，返回检测结果。

根据本发明的另一个方面，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一技术方案的泥头车检测方法。

本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现如上述任一技术方案的泥头车检测方法的步骤，因此该计算机可读存储介质包括上述任一技术方案的泥头车检测方法的全部有益效果。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本发明的一个实施例的泥头车检测方法的流程示意图；

图2示出了本发明的另一个实施例的泥头车检测方法的流程示意图；

图3示出了本发明的再一个实施例的泥头车检测方法的流程示意图；

图4示出了本发明的又一个实施例的泥头车检测方法的流程示意图；

图5示出了本发明的又一个实施例的泥头车检测方法的流程示意图；

图6示出了本发明的一个实施例的泥头车检测方法的逻辑示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。

根据本发明的一个方面的实施例，提出了一种泥头车检测方法。

图1示出了本发明的一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：

步骤102，采集源域下的泥头车图像以及目标域下的泥头车图像；

步骤104，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；

步骤106，根据正样本和负样本对预设源域模型进行域适应，得到目标检测模型；

步骤108，采用目标检测模型对泥头车进行检测。

本发明实施例提供的泥头车检测方法，首先采集源域下第一数量的泥头车图像，采集目标域下第二数量的泥头车图像，第一数量大于第二数量，具体地，第一数量如2万张，第二数量如100张，并进行标注。然后利用配对机制对标注好的泥头车图像进行样本划分，扩充训练样本。具体地，将源域下的两个不同的泥头车图像成对组成正样本，将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本。根据正样本和负样本对预设源域模型进行域适应，从而训练出一个新的函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。本发明提供的泥头车检测方法，针对目标域样本不足导致训练的模型效果差的情形，提出成对训练的思想，扩充训练样本；通过跨域检测，将在源域学习到的知识用于目标域，在目标检测任务上，建立源域到目标域的映射，大大降低了数据采集成本，显著减少人工标注的时间。

其中，预设源域模型的网络结构为Faster-RCNN-FPN网络结构。源域和目标域下的泥头车图像可能在场景，天气，光照条件和相机设置方面有所不同，但不限于此。

图2示出了本发明的另一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：

步骤202，采集源域下的泥头车图像以及目标域下的泥头车图像；

步骤204，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；

步骤206，基于分割池采样的方式对正样本和负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；

步骤208，将两个不同的图像级别的源域特征块成对组成第一正样本，将一个图像级别的源域特征块和另一个图像级别的目标域特征块成对组成第一负样本；

步骤210，根据第一正样本和第一负样本对预设源域模型进行图像级别的域适应。

在该实施例中，对根据正样本和负样本对预设源域模型进行域适应的方法进行了限定。具体地，在VGG-16网络relu5_3特征层上设置三种尺寸(256×256，160×160，96×96)和三种比率的(1:2，1:1，2:1)的栅格窗口，利用分割池(split pooling)提取局部特征，源域的特征图(图像级)切分成若干小块(patch)，同样目标域的特征图(图像级)切分成若干小块(patch)，即得到若干图像级别的源域特征块和目标域特征块。采用成对采样机制，按照两种方式组对，两个不同的源域特征块组成第一正样本，源域特征块和目标域特征块组成第一负样本。根据第一正样本和第一负样本在图像级别上对预设源域模型进行域适应。通过本发明的实施例，采用基于分割池采样的特征配对机制，在图像级别上对成对的特征进行域适配，实现全局级别的域适应。

其中，VGG-16网络是一种深度卷积神经网络，这个数字16，就是指在这个网络中包含16个卷积层和全连接层。

图3示出了本发明的再一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：

步骤302，采集源域下的泥头车图像以及目标域下的泥头车图像；

步骤304，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；

步骤306，基于分割池采样的方式对正样本和负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；

步骤308，将两个不同的图像级别的源域特征块成对组成第一正样本，将一个图像级别的源域特征块和另一个图像级别的目标域特征块成对组成第一负样本；

步骤310，根据第一正样本和第一负样本对预设源域模型进行图像级别的域适应；

步骤312，对所有正样本和所有负样本中的预设感兴趣区域ROI进行特征提取，得到源域特征集和目标域特征集；

步骤314，将源域特征集中两个不同的源域特征成对组成第二正样本，将源域特征集中一个源域特征和目标域特征集中另一个目标域特征成对组成第二负样本；

步骤316，根据第二正样本和第二负样本对预设源域模型进行实例级别的域适应。

在该实施例中，为了缓解目标实例的域偏移，实现在图像级别上成对的域适应之后，采用基于实例的感兴趣区域ROI采样的特征配对机制，在目标实例级别上对成对的特征进行域适应。具体地，利用Faster R-CNN网络对所有的正样本和所有的负样本进行预设感兴趣区域ROI的获取，这里预设感兴趣区域ROI代表一个物体，即泥头车。获得ROI特征之后，根据ROI的label类别进行分组，得到源域特征集O

需要说明的是，跟Faster R-CNN中不同的是：foreground(前景)ROI设置更高的交并比IOU(Intersection over Union)阈值为0.7，Faster R-CNN IOU阈值是0.5。

Faster R-CNN(其中R对应“Region(区域)”)是基于深度学习R-CNN的目标检测算法。

图4示出了本发明的又一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：

步骤402，采集源域下的泥头车图像以及目标域下的泥头车图像；

步骤404，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；

步骤406，基于分割池采样的方式对正样本和负样本进行特征提取，得到若干图像级别的源域特征块和目标域特征块；

步骤408，将两个不同的图像级别的源域特征块成对组成第一正样本，将一个图像级别的源域特征块和另一个图像级别的目标域特征块成对组成第一负样本；

步骤410，根据第一正样本和第一负样本，采用生成式对抗网络GAN对预设源域模型进行训练；

步骤412，对所有正样本和所有负样本中的预设感兴趣区域ROI进行特征提取，得到源域特征集和目标域特征集；

步骤414，将源域特征集中两个不同的源域特征成对组成第二正样本，将源域特征集中一个源域特征和目标域特征集中另一个目标域特征成对组成第二负样本；

步骤416，根据第二正样本和第二负样本，采用生成式对抗网络GAN对预设源域模型进行训练。

在该实施例中，对采集到的泥头车图像采用成对训练的方式利用GAN结构分别进行图像级别和实例级别域适应。达到判别器和生成器的动态平衡，判别器尽可能去分辨正负样本的不同，也就是分辨出源域和目标域的样本，生成器则尝试去迷惑判别器，可实现在语义上对齐目标外观，同时避免了类之间的混淆。从而训练出一个新的目标检测函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。

在上述任一实施例中，泥头车检测方法还包括：对预设源域模型的特征进行正则化。

在该实施例中，为解决训练不稳定的问题，为使目标检测模型避免过度拟合，并从少量的目标数据样本中获益。对预设源域模型进行特征正则化，目的使得源域样本经过域适应之后的特征提取器(记做f

因为我们的任务是目标检测，更关注的是图像的前景目标本身，所以要求源域样本x

在上述任一实施例中，还包括：根据源域下的泥头车图像对待训练模型进行训练，得到预设源域模型。

在该实施例中，源域包括大量带标签的数据，通过源域样本对待训练模型进行训练得到预设源域模型，利用源域图像下的数据和少量的目标域数据，对预设源域模型进行域适应，从而从源域学习一个新的函数，即目标检测模型，这个模型能够很好的检测目标域下的泥头车。

在上述任一实施例中，源域下的泥头车图像为正常天气下的泥头车图像；目标域下的泥头车图像为恶劣天气下的泥头车图像。

在该实施例中，采集大量正常天气下的泥头车图像，如2万张，作为源域样本，采集少量恶劣天气下的泥头车图像，如100张，作为目标域样本。

图5示出了本发明的又一个实施例的泥头车检测方法的流程示意图。其中，该泥头车检测方法包括：

步骤502，采集源域下的泥头车图像以及目标域下的泥头车图像；

步骤504，将源域下两个不同的泥头车图像成对组成正样本，以及将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本；

步骤506，根据正样本和负样本对预设源域模型进行域适应，并且在域适应过程中对预设源域模型的特征进行正则化，得到目标检测模型；

步骤508，将目标检测模型部署成服务以供工程调用，以对泥头车检测。

在该实施例中，首先采集源域下第一数量的泥头车图像，采集目标域下第二数量的泥头车图像，第一数量大于第二数量，具体地，第一数量如2万张，第二数量如100张，并进行标注。然后利用配对机制对标注好的泥头车图像进行样本划分，扩充训练样本。具体地，将源域下的两个不同的泥头车图像成对组成正样本，将源域下的一个泥头车图像与目标域下的另一个泥头车图像成对组成负样本。根据正样本和负样本对预设源域模型进行域适应，并在域适应过程中，对预设源域模型的特征进行正则化，从而训练出一个新的函数，即目标检测模型，这个目标检测模型能很好的检测出目标域下的泥头车。将目标检测模型部署成服务供工程调用，约定好服务接口，传入图像地址，如url地址，返回检测结果。通过本实施例提供的泥头车检测方法，针对目标域样本不足导致训练的模型效果差的情形，提出成对训练的思想，扩充训练样本；通过跨域检测，将在源域学习到的知识用于目标域，在目标检测任务上，建立源域到目标域的映射，大大降低了数据采集成本，显著减少人工标注的时间。

图6示出了本发明的一个实施例的泥头车检测方法的逻辑示意图。其中，该泥头车检测方法主要分为以下几步骤：

1、数据收集：收集正常环境和恶劣天气下的泥头车图片；

2、图像级别域适应：实现在图像级别上成对的特征域适应；

3、实例级别域适应：实现在实例级别上成对的特征域适应；

4、源域模型特征正则化：针对图片的前景目标进行正则化；

5、工程应用：将域适应训练好的模型部署成服务供工程调用。

其中，模型即目标检测模型。

本发明各实施例提供的泥头车检测方法，对采集到的泥头车图像采用成对训练的方式，利用GAN结构分别进行图像级别和实例级别域适应，且在训练过程中运用源域模型特征正则化策略来获得小样本域适应下的目标检测模型。成对训练方法如下：将采集到的正常环境(具体为正常天气)和恶劣环境(具体为恶劣天气)下的泥头车图像进行配对：源域对G

其中，源域模型为通过源域下的泥头车样本训练得到，源域下的泥头车样本具体为正常天气下的泥头车图片。

根据本发明的另一个方面的实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的泥头车检测方法。

本发明实施例提供的计算机可读存储介质，计算机程序被处理器执行时实现如上述任一实施例的泥头车检测方法的步骤，因此该计算机可读存储介质包括上述任一实施例的泥头车检测方法的全部有益效果。

在本说明书的描述中，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性，除非另有明确的规定和限定；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。