掌桥专利:专业的专利平台
掌桥专利
首页

一种目标检测方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 13:46:35


一种目标检测方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域,具体涉及一种目标检测方法、装置、计算机设备和存储介质。

背景技术

随着计算机成本和计算能力的逐步提升以及半导体技术的发展,人工智能技术也得到了高速的发展。而随着人工智能技术的高速发展,使得目标检测算法也得到了快速的发展。

目标检测算法是一种基于目标几何和统计特征的图像分割技术,其目的是检测出图像中存在的物体对象以及该物体对象在图像中的位置。而基于人工智能技术的目标检测算法可以通过人工智能模型实现对图像的分割,并根据分割结果识别出图像中存在的物体对象以及该物体对象在图像中的位置。但是,在现有技术中,基于人工智能模型的目标检测算法往往缺乏可解释性,这会降低对图像进行目标检测的准确性和可靠性。

发明内容

本申请实施例提出了一种目标检测方法、装置、计算机设备和存储介质,提高了对图像进行目标检测的准确性和可靠性。

本申请实施例提供了一种目标检测方法,包括:

获取目标检测模型的训练样本图像和所述训练样本图像中样本目标区域的属性;

对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

根据所述可解释性指标为所述样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;

基于所述具有可解释性标签的训练样本图像对所述目标检测模型进行训练,得到训练后目标检测模型,其中,所述训练后目标检测模型用于对待检测图像进行目标检测,得到所述待检测图像的目标区域以及所述目标区域的可解释性指标。

相应的,本申请实施例还提供了一种目标检测装置,包括:

获取单元,用于获取目标检测模型的训练样本图像和所述训练样本图像中样本目标区域的属性;

指标生成单元,用于对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

添加单元,用于根据所述可解释性指标为所述样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;

训练单元,用于基于所述具有可解释性标签的训练样本图像对所述目标检测模型进行训练,得到训练后目标检测模型,其中,所述训练后目标检测模型用于对待检测图像进行目标检测,得到所述待检测图像的目标区域以及所述目标区域的可解释性指标。

在一实施例中,所述指标生成单元,包括:

识别子单元,用于对所述属性进行识别,得到所述属性的类型;

确定子单元,用于根据所述属性的类型,确定所述属性对应的指标生成方式;

指标生成子单元,用于根据所述指标生成方式对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标。

在一实施例中,所述指标生成子单元,包括:

获取模块,用于获取所述训练样本图像的尺寸属性;

比较模块,用于将所述样本目标区域的尺寸属性和所述训练样本图像的尺寸属性进行比较处理,得到所述样本目标区域和所述训练样本图像之间的图像尺寸比较信息;

归一化处理模块,用于对所述图像尺寸比较信息进行归一化处理,得到所述尺寸可解释性指标。

在一实施例中,所述指标生成子单元,包括:

评估模块,用于对所述样本目标区域的清晰度属性进行评估处理,得到所述样本目标区域的清晰度评估信息;

对比模块,用于将所述清晰度评估信息和预设清晰度评判阈值进行对比,并根据对比结果生成对比信息;

线性运算模块,用于对所述对比信息进行线性运算处理,得到所述清晰度可解释性指标。

在一实施例中,所述添加单元,包括:

调整子单元,用于对所述可解释性指标进行调整,得到调整后可解释性指标;

标签映射子单元,用于对所述调整后可解释性指标进行标签映射处理,得到所述可解释性标签;

关联子单元,用于将所述可解释性标签和所述样本目标区域进行关联,得到所述具有可解释性标签的训练样本图像。

在一实施例中,所述训练单元,包括:

目标检测子单元,用于利用所述目标检测模型对所述具有可解释性标签的训练样本图像进行目标检测,得到所述训练样本图像的初始检测区域;

获取子单元,用于获取所述初始检测区域的检测概率;

计算子单元,用于计算所述检测概率和所述可解释性标签之间的损失信息;

调整子单元,用于利用所述损失信息对所述目标检测模型进行调整,得到所述训练后目标检测模型。

在一实施例中,所述计算子单元,包括:

比较模块,用于将所述解释性标签和预设阈值进行比较,得到比较结果;

确定模块,用于根据所述比较结果确定所述可解释性标签对应的损失信息计算方式;

计算模块,用于根据所述损失信息计算方式计算所述检测概率和所述可解释性标签之间的损失信息。

在一实施例中,所述目标检测子单元,包括:

卷积模块,用于对所述训练样本图像进行卷积处理,得到所述训练样本图像的卷积信息;

特征提取模块,用于对所述卷积信息进行特征提取,得到所述训练样本图像的特征信息;

分类预测模块,用于基于所述训练样本图像的特征信息,对所述训练样本图像进行分类预测,得到所述初始检测区域。

本申请实施例还提供了一种样本生成方法,包括:

获取训练样本图像和所述训练样本图像中样本目标区域的属性;

对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

根据所述可解释性指标为所述样本目标区域添加可解释性标签,输出具有可解释性标签的训练样本图像。

本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述一方面的各种可选方式中提供的方法。

相应的,本申请实施例还提供一种存储介质,所述存储介质存储有指令,所述指令被处理器执行时实现本申请实施例任一提供的目标检测方法。

本申请实施例可以获取目标检测模型的训练样本图像和所述训练样本图像中样本目标区域的属性;对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标;根据可解释性指标为样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;基于具有可解释性标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型,其中,训练后目标检测模型用于对待检测图像进行目标检测,得到待检测图像的目标区域以及目标区域的可解释性指标,从而提高对图像进行目标检测的准确性和可靠性。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的目标检测方法的场景示意图;

图2是本申请实施例提供的目标检测方法的流程示意图;

图3是本申请实施例提供的一阶段密集检测算法的结构示意图;

图4是本申请实施例提供的一阶段密集检测算法的又一结构示意图;

图5是本申请实施例提供的置信度的场景示意图;

图6是本申请实施例提供的置信度的又一场景示意图;

图7是本申请实施例提供的样本目标区域的场景示意图;

图8是本申请实施例提供的置信度的又一场景示意图;

图9是本申请实施例提供的置信度的又一场景示意图;

图10是本申请实施例提供的目标检测方法的又一流程示意图;

图11是本申请实施例提供的目标检测方法的又一流程示意图;

图12是本申请实施例提供的置信度的又一流程示意图;

图13是本申请实施例提供的置信度的又一流程示意图;

图14是本申请实施例提供的样本生成方法的流程示意图;

图15是本申请实施例提供的目标检测装置的结构示意图;

图16是本申请实施例提供的样本生成装置的结构示意图;

图17是本申请实施例提供的终端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,然而,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例提出了一种目标检测方法,该目标检测方法可以由目标检测装置执行,该目标检测装置可以集成在计算机设备中。其中,该计算机设备可以包括终端以及服务器等中的至少一个。即,本申请实施例提出的目标检测方法即可以由终端执行,还可以由服务器执行,还可以由能够进行互相通信的终端和服务器共同执行。

其中,终端可以为智能手机、平板电脑、笔记本电脑、个人电脑(PersonalComputer,PC)、智能家居、可穿戴电子设备、VR/AR设备、车载计算机等等。服务器可以为多个异构系统之间的互通服务器或者后台服务器,还可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、区块链网络以及大数据和人工智能平台等基础云计算服务的云服务器等等。

在一实施例中,如图1所述,目标检测装置可以集成在终端或服务器等计算机设备上,以实施本申请实施例提出的目标检测方法。具体地,计算机设备可以获取目标检测模型的训练样本图像和训练样本图像中样本目标区域的属性;对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标;根据可解释性指标为样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;基于具有可解释性标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型,其中,训练后目标检测模型用于对待检测图像进行目标检测,得到所述待检测图像的目标区域以及所述目标区域的可解释性指标。

以下分别进行详细说明,需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例将从目标检测装置的角度进行描述,该目标检测装置可以集成在计算机设备中,该计算机设备可以是服务器,也可以是终端等设备。

如图2所述,提供了一种目标检测方法,具体流程包括:

101、获取目标检测模型的训练样本图像和训练样本图像中样本目标区域的属性。

其中,目标检测模型包括可以实现对图像进行目标检测的模型,但其目标检测的性能还未达到要求,因此进行训练的模型。其中,目标检测可以指识别出图像中有哪些物体以及物体位置的技术。例如,通过目标检测可以检测图像中是否有人脸,当存在人脸时,人脸的位置在图像中的哪个位置。又例如,通过目标检测可以检测图像中是否有动物,当存在动物时,动物在图像中的哪个位置。

在一实施例中,该目标检测模型可以是机器学习模型。其中,机器学习(MachineLearning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

例如,该目标检测模型可以是基于区域的卷积网络(Region-basedConvolutional Networks,RCNN)、基于区域的快速卷积网络(Faster Region-basedConvolutional Networks,Faster RCNN)、单帧多锚检测器(Single Shot MutiBoxDetectior,SSD)、一阶段密集检测算法(Fully Convolutional One-Stage ObjectDetection,FCOS)等中的其中一种。

在一实施例中,FCOS是一种基于全卷积网络的逐像素目标检测算法,该算法实现了无锚点(anchor free)、无提议(proposal free)的解决方案,并且提出了中心度(Centerness)的思想,同时在召回率等方面表现接近甚至超过目前很多先进主流的基于锚框目标检测算法。因此,当利用FCOS对图像进行目标检测时,可以在提高检测效率的同时,保证了目标检测的准确度。

在一实施例中,FCOS的模型结构图可以如图3所示,包括骨干层(Backbone)、特征金字塔(Feature Pyramind)和预测层(Head)。其中,Head可以包括分类分支(Classificaton)、中心度(Centerness)和回归分支(Regression)。

其中,Backbone可以是一个卷积神经网络(Convolutional Neural Networks,CNN),用于对图像进行卷积处理。其中,如图4所示,Backbone可以是一个三层的卷积神经网络,其中,这三层分别对应图4中的C3、C4和C5。通过C3、C4和C5,可以得到图像在不同维度上的卷积信息。

其中,Feature Pyramind用于构建图像在不同尺度上的特征信息,其可以对图像在不同维度上的卷积信息进行特征提取,从而得到图像在不同尺度上的特征图。其中,该特征图中包括了图像的特征信息。例如,如图4所示,Feature Pyramind可以分别对C3、C4和C5进行特征提取,得到P3、P4和P5。然后,Feature Pyramind可以对P5进行特征提取,得到P6,以及对P6进行特征提取,得到P7。其中,P3、P4、P5、P6和P7都是图像在不同尺度上的特征图。

接下来,Head便可以根据图像在不同尺度上的特征信息对图像进行预测,从而检测出图像中存在哪些物体,以及这些物体在图像中的位置。具体的,Head可以预测图像中每个像素点所述的物体类别,并生成该物体类别的检测区域,从而得到该物体类别在图像中的位置。其中,Head中的Classificaton可以将特征图上每个像素点的位置换算成图像中的位置,从而建立了特征图上像素点的位置和输入图像上点的位置之间的关系。然后,Centerness可以计算特征图中每个像素点和目标像素点的距离,从而划分出需要进行预测的像素点和不需要预测的像素点。例如,当像素点和目标像素点的距离较远时,便可以将该点划分为不需要预测的像素点,而当像素点和目标像素点的距离较近时,便可以将该点划分为需要预测的像素点。接下来,Regression便可以对需要预测的像素点进行预测,从而检测出图像中存在哪些物体,以及这些物体在图像中的位置。

在一实施例中,对模型进行训练可以包括使得模型可以从海量的数据中进行学习,从而使得模型可以从海量的数据中总结出规律,并可以依据该规律对任意输入模型中的数据进行处理的过程。

其中,训练样本图像包括对目标检测模型进行训练时所用到的训练数据。

在一实施例中,可以根据目标检测模型的任务获取训练样本图像。例如,当目标检测模型的任务是检测出图像中的人脸时,可以获取具有人脸内容的图像作为训练样本图像。又例如,当目标检测模型的任务是检测出图像中的动物时,可以获取具有动物内容的图像作为训练样本图像,等等。

在一实施例中,为了保证对目标检测模型进行训练的质量,往往会获取多个训练样本图像,并将该多个训练样本图像构成训练集,利用该训练集对目标检测模型进行训练。

在一实施例中,可以将对模型进行训练的方式划分为基于监督学习的训练方式和基于无监督学习的训练方式。

其中,监督学习可以包括利用一组已知类别的样本调整模型中的参数,从而使得模型达到所要求性能的过程。监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中,每个实例都是由一个输入对象(通常为矢量)和一个期望的输出值(也称为监督信号)组成。监督学习算法是分析该训练数据,并产生一个推断的功能,其可以用于映射出新的实例。

在一实施例中,可以采用监督学习的训练方式对目标检测模型进行训练。因此,可以对训练样本图像添加标签,从而使得在对目标检测模型训练的过程中,目标检测模型可以根据标签调整自己的性能,以使得目标检测模型可以准确地识别出图像的目标区域。

一般的,现有技术在对目标检测模型进行训练时,往往只会为训练样本图像添加分类标签。其中,分类标签包括可以说明训练样本图像中物体是什么的标签。例如,当目标检测模型的任务是检测出图像中的猫和狗时,训练样本图像可以是包括猫和狗的图像。然后,开发人员可以为这些训练样本图像添加上说明哪些物体是猫的分类标签以及说明哪些是狗的分类标签。然后利用这些具有分类标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型。

但是,训练后目标检测模型由于在训练的过程中只有分类标签作为性能调整的依据,这会容易得到训练后目标检测模型进行目标检测的置信度不高。

其中,置信度也称为可靠度,或置信水平、置信系数,即在抽样对总体参数作出估计时,由于样本的随机性,其结论总是不确定的。因此,采用一种概率的陈述方法,也就是数理统计中的区间估计法,即估计值与总体参数在一定允许的误差范围以内,其相应的概率有多大,这个相应的概率称作置信度。

例如,当目标检测模型的任务是检测出图像中的猫和狗时,在目标检测模型的检测过程中,是基于概率论和统计学的知识判断出每个像素点可能是什么物体的概率。例如,当目标检测模型检测出图像中某个区域的物体是狗的概率为90%,而是猫的概率为20%,此时目标检测模型便会将该区域中的物体判别为是狗。

在一实施例中,对现有的目标检测模型进行模型推理时,输出的检测结果的置信度的可解释性(Interpretability)一般都比较低。

例如,利用现有的目标检测模型对图像进行目标检测时,往往容易在尺寸小的物体上输出高的置信度,而在尺寸大的物体上输出低的置信度。譬如,如图5所示,目标检测模型的任务是检测出图像中的长颈鹿。而在图5中,尺寸最大的长颈鹿的置信度只有0.59,而尺寸最大的长颈鹿的置信度反而有0.7。

又例如,利用现有的目标检测模型对图像进行目标检测时,往往容易在清晰度较低的物体上输出高的置信度,而在清晰度较高的物体上输出低的置信度。例如,如图6所示,目标检测模型的任务是检测出图像中的人类和足球。而在图中,清晰度较低的人类的置信度有0.75,而清晰度较高的人类的置信度反而有0.8。

其中,可解释性可以包括对模型的行为的解释。例如,置信度的可解释性可以包括针对模型对检测结果输出的置信度的解释。

在一实施例中,输出的检测结果的置信度的可解释性较低会影响目标检测模型的性能,从而降低目标检测模型的准确性和可靠性。因此,在本申请实施例中,不仅给给训练样本图像添加分类标签,还给训练样本图像添加可解释性标签,从而使得训练样本图像可以根据分类标签和可解释性标签对模型的性能进行调整,从而提高了训练后目标检测模型的准确性和可靠性。

在一实施例中,可以获取训练样本图像中样本目标区域的属性,对样本目标区域的属性进行评价处理,得到样本目标区域的可解释性指标。然后,根据可解释性指标为样本目标区域添加解释性标签,得到具有解释性标签的训练样本图像。

其中,样本目标区域包括目标检测的检测物体在样本训练图像中形成的位置区域。

在一实施例中,该样本目标区域可以有多种表现形式。例如,该样本目标区域可以是任意多边形。譬如,该样本目标区域可以是矩形、三角形或者五边形,等等。

在一实施例中,由于目标检测模型的检测任务往往不止一个,因此训练样本图像中的样本目标区域可能也不止一个。例如,当目标检测任务的任务是检测出图像中的猫和狗时,样本目标区域可以如图7所示,其中,一个样本目标区域可以表示选中的区域为猫,而另一个样本目标区域可以包括选中的区域为狗。

其中,属性可以包括图像在像素、清晰度、大小和颜色等方面的性质。例如,属性可以包括图像的像素、大小、尺寸、颜色、位深、色调、饱和度、亮度和颜色通道,等等。

其中,图像的像素可以包括图像的宽度和长度方向上含有的像素数目。

其中,图像的清晰度可以指图像的分辨率。其中,分辨率可以指单位打印长度上的图像像素的数目,表示图像数字信息的数量或密度,它决定了图像的清晰程度。在同样大小的面积上,图像的分辨率越高,则组成图像的像素点越多,像素点越多,图像的清晰度越高。

其中,图像的尺寸可以包括图像的长度和宽度。

其中,图像的位深也称为图像的位深,是指描述图像中每个像素的数据所站的位数。图像的每一个像素对应的数据通常是1位(bit)或多位字节,用于存放该像素的颜色、亮度等信息,数据位数越多,对应的图像颜色种类越多。

其中,图像的饱和度可以包括图像颜色的深度,它表明了色彩的纯度,决定于物体反射或投射的特性。

其中,图像的亮度可以指图像色彩的明暗程度,是人眼对物体明暗强度的感觉。

其中,图像的颜色通道可以是存储着图像的颜色成分的存储空间。例如,红色(Red,R)颜色通道可以是存储着红色颜色信息的通道;绿色(Green,G)颜色通道可以是存储着绿色颜色通道值的通道;蓝色(Blue,B)颜色通道可以是存储着蓝色颜色通道值的通道。其中,每种类型的颜色通道可以是8比特(bit)位的存储空间,每bit都存储着相应的颜色通道值。

在一实施例中,由于属性包括图像在像素、清晰度、尺寸和颜色等方面的性质,所以可以将图像在每一方面的性质都划分属性的一种类型。

例如,图像的像素可以作为属性的一种类型,并将其称为像素属性;图像的清晰度也可以作为属性的一种类型,并将其称为清晰度属性;图像的尺寸也可以作为属性的一种类型,并将其称为尺寸属性;图像的颜色也可以作为属性的一种类型,并将其称为颜色属性,等等。

在一实施例中,本申请实施例提出的目标检测方法可以适用于各种需要目标检测技术的场景。例如,人脸识别、行人检测和大规模场景识别,等等。根据应用场景的不同,可以将本申请实施例提出的目标检测装置集成到各种不同的计算机设备中使用。例如,当本申请实施例提出的目标检测方法应用于人脸识别的应用场景时,可以将将本申请实施例提出的目标检测装置继承于各种人脸识别终端中。

102、对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标。

在一实施例中,图像的可解释性往往可以通过其属性进行体现。例如,关于图像清晰度的可解释性,清晰度越高的图像其像素点一般会越多,而清晰度越低的图像其像素点一般会越少。因此,在为样本目标区域添加可解释性标签时,可以对样本目标区域的图像进行指标生成处理,得到样本目标区域的可解释性指标,然后根据该可解释性指标为该样本目标区域添加可解释性标签。

其中,可解释性指标包括对样本目标区域中属性的衡量参数。在一实施例中,可解释性指标可以相当于根据样本目标区域的属性,赋予给样本目标区域中的属性的一个“分数”。例如,当可解释性指标是针对样本目标区域的清晰度,则通过可解释性指标可以知道样本目标区域中清晰度的高低。又例如,当可解释性指标是针对样本目标区域的尺寸,则通过可解释性指标可以知道样本目标区域中尺寸的大小。又例如,当可解释性指标是针对样本目标区域的亮度,则通过可解释性指标可以知道样本目标区域中尺寸的明暗。

在一实施例中,由于属性具有多种类型,因此不同类型的属性可以对应一个可解释性指标。例如,尺寸属性可以对应尺寸可解释性指标。又例如,清晰度属性可以对应清晰度可解释性指标。又例如,像素属性可以对应像素可解释性指标,等等。

在一实施例中,由于属性具有多种类型,且不同类型的属性可能具有不同的评价处理方式。因此在对样本目标区域的属性进行评价处理时,可以对属性进行识别,得到属性的类型,从而可以根据属性的类型对属性进行评价处理。具体的,步骤“对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标”,可以包括:

对属性进行识别,得到属性的类型;

根据属性的类型,确定属性对应的指标生成方式;

根据指标生成方式对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标。

在一实施例中,由于属性具有多种类型,因此不同类型的属性对应的指标生成方式可能不同。

在一实施例中,当属性的类型是尺寸属性时,其对应的可解释性指标可以是尺寸可解释性指标。此时,步骤“根据指标生成方式对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标”,可以包括:

获取训练样本图像的尺寸属性;

将样本目标区域的尺寸属性和训练样本图像的尺寸属性进行比较处理,得到样本目标区域和训练样本图像之间的图像尺寸比较信息;

对图像尺寸比较信息进行归一化处理,得到尺寸可解释性指标。

在一实施例中,比较处理可以包括将样本目标区域的尺寸属性和训练样本图像的尺寸属性进行对比的处理。例如,可以将目标区域的尺寸属性和训练样本图像的尺寸属性进行求余,从而得到图像尺寸比较信息。又例如,可以将目标区域的尺寸属性和训练样本图像的尺寸属性进行求差,从而得到图像尺寸比较信息。又例如,可以将目标区域的尺寸属性和训练样本图像的尺寸属性求差后进行求余,从而得到图像尺寸比较信息。

譬如,图像的尺寸属性可以包括图像的长度和宽度。因此,在一实施例中,可以将训练样本图像的尺寸属性表示为H

在一实施例中,当比较处理指将目标区域的尺寸属性和训练样本图像的尺寸属性进行求余时,图像尺寸比较信息可以如以下公式所示:

其中,符号A可以表示图像尺寸信息。

在一实施例中,当比较处理指将目标区域的尺寸属性和训练样本图像的尺寸属性进行求差时,图像尺寸比较信息可以如以下公式所示:

A=(H

在一实施例中,归一化处理可以包括将图像尺寸比较信息映射到0至1之间,从而使得尺寸解释性指标在0和1的范围内。例如,归一化处理可以包括开方运算或除法运算,等等。

例如,当图像尺寸比较信息为处理指将目标区域的尺寸属性和训练样本图像的尺寸属性进行求余时,可以对图像尺寸比较信息进行开方运算,从而得到尺寸解释性指标。具体的,可以如下公式所示:

其中,符号Size

又例如,当图像尺寸比较信息为目标区域的尺寸属性和训练样本图像的尺寸属性进行求差时,可以对图像尺寸比较信息进行出发运算,从而得到尺寸解释性指标。具体的,可以如下公式所示:

在一实施例中,可解释性指标可以包括清晰度解释性指标,属性的类型可以包括清晰度属性,则步骤“根据指标生成方式对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标”,可以包括:

对样本目标区域的清晰度属性进行评估处理,得到样本目标区域的清晰度评估信息;

将清晰度评估信息和预设清晰度评判阈值进行对比,并根据对比结果生成对比信息;

对对比信息进行线性运算处理,得到清晰度可解释性指标。

其中,评估处理可以包括根据样本目标区域当前的清晰度属性,给该清晰度属性赋予一个相应的分数值的过程。例如,当样本目标区域的清晰度较高时,可以给样本目标区域赋予一个较高的分数值。又例如,当样本目标区域的清晰度较低时,可以给样本目标区域赋予一个较低的分数值。其中,该分数值可以是清晰度评估信息。

在一实施例中,通过清晰度评估信息,便可以知道样本目标区域的清晰度的优良情况。

在一实施例中,可以利用多种方式对样本目标区域的清晰度属性进行评估处理。例如,可以识别样本目标区域中像素的数量,通过该像素的数量生成清晰度评估信息。又例如,可以利用开源计算机视觉库(Open Source Computer Vision Library,openCV)中的cv2.Laplacian()函数对样本区域的清晰度属性进行评估处理,从而得到清晰度评估信息。

其中,cv2.Laplacian()可以衡量图像梯度的方差,方差越高说明图像的清晰度越高,而方差越低说明图像的清晰度越低。

其中,openCV是一个跨平台计算机视觉和机器学习软件库,可以运行在多个操作系统上,同时提供了多种编程语言的接口,实现了图像处理和计算机视觉方向的很多通用算法。

在一实施例中,在得到清晰度评估信息之后,可以将清晰度评估信息和预设清晰度评估阈值进行对比,并根据对比结果生成对比信息。

例如,可以比较清晰度评估信息和预设清晰度评估阈值之间的大小,然后选取较小者作为对比信息。例如,当清晰度评估信息小于或等于预设清晰度评估阈值时,可以将清晰度评估信息作为对比信息。又例如,当清晰度评估信息大于预设清晰度评估阈值时,可以将预设清晰度评估阈值作为对比信息。

在一实施例中,当利用cv2.Laplacian()函数对样本区域的清晰度属性进行评估处理,得到清晰度评估信息,并比较清晰度评估信息和预设清晰度评估阈值之间的大小时,可以如下公式所示:

D=min(cv2.Laplacian(box)+k,z)

其中,符号box可以表示清晰度属性,符号D可以表示对比信息,符号z可以表示预设清晰度评估阈值,符号k可以表示一个偏置项。

在一实施例中,k的取值可以为1,z的取值可以为3

在一实施例中,在得到对比信息后,可以对对比信息进行线性运算处理,得到清晰度可解释性指标。

其中,线性运算可以包括乘法运算、加法运算、对数运算和除法运算,等等。

例如,对对比信息进行线性运算处理,从而得到清晰度可解释性指标可以如下公式所示:

Blur

其中,符号Blur

103、根据可解释性指标为样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像。

在一实施例中,在得到样本目标区域的可解释性指标之后,可以根据可解释性指标为样本目标区域添加可解释性标签,从而得到具有可解释性标签的训练样本图像。

其中,可解释性标签包括根据可解释性指标生成的标签,该标签具有依据和可解释性。

在一实施例中,该可解释性标签可以是软标签。

在一实施例中,在得到可解释性指标后,为了提高可解释性指标的可靠性,可以对可解释性指标进行调整,得到调整后可解释性指标。然后,基于可解释性指标为样本目标区域添加解释性标签。具体的,步骤“根据可解释性指标为样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像”,可以包括:

对可解释性指标进行调整,得到调整后可解释性指标;

对调整后可解释性指标进行标签映射处理,得到可解释性标签;

将可解释性标签和样本目标区域进行关联,得到具有可解释性标签的训练样本图像。

其中,对可解释性指标进行调整可以包括为可解释性标签添加偏置项或者对可解释性指标进行位数填充,等等,从而得到调整后可解释性指标。

例如,可以将可解释性指标表示为Score,则当通过为可解释性指标添加偏置项从而实现对可解释性指标进行调整时,可以如下所示:

T=Score+e

其中,符号T可以表示调整后可解释性指标,符号e可以表示偏置项。

其中,偏置项包括可以调整可解释性指标可靠性的数值。在一实施例中,该偏置项的取值一般为小数,通过小数实现对可解释性指标的微调,从而提高了可解释性指标的可靠性。

在一实施例中,在得到调整后可解释性指标之后,可以对调整后可解释性指标进行标签映射处理,从而得到可解释性标签。例如,可以将调整后可解释性指标和预设标签映射阈值进行匹配,从而得到可解释性标签。又例如,可以将调整后可解释性指标和预设标签映射阈值进行对比,根据对比结果生成可解释性标签。譬如,当将调整后可解释性指标和预设标签映射阈值进行对比,根据对比结果生成可解释性标签时,可以如下公式所示:

label

其中,符号label

又譬如,还可以根据下式生成可解释性标签:

label

在一实施例中,在得到可解释性标签之后,可以将可解释性标签和样本目标区域进行关联,从而得到具有可解释性标签的训练样本图像。

例如,可以为可解释性标签和样本目标区域都添加相同的标识信息,从而将可解释性标签和样本目标区域进行关联。通过将可解释性标签和样本目标区域进行关联,可以使得可以利用具有可解释性标签的训练样本图像对目标检测模型进行训练,从而提高目标检测模型的检测结果具有可解释性,从而提高目标检测模型的可靠性。

104、基于具有可解释性标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型。

在一实施例中,在得到具有可解释性标签的训练样本图像之后,可以利用具有可解释性标签的训练样本图像对目标检测模型进行训练,以得到训练后目标检测模型。具体的,步骤“基于具有可解释性标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型”,包括:

利用目标检测模型对具有可解释性标签的训练样本图像进行目标检测,得到训练样本图像的初始检测区域;

获取初始检测区域的检测概率;

计算检测概率和可解释性标签之间的损失信息;

利用损失信息对目标检测模型进行调整,得到训练后目标检测模型。

其中,初始检测区域可以目标检测的检测物体在样本训练图像中形成的位置区域。和样本目标区域的区域在于,样本目标区域是人为设置的,而初始检测区域是目标检测模型生成的。

其中,检测概率可以指目标检测模型检测出初始检测区域的概率。在一实施例中,该检测概率可以是初始检测概率的置信度。

其中,损失信息包括衡量检测概率和可解释性标签之间的相差程度的信息。

其中,训练后目标检测模型可以包括训练好的且对图像进行目标检测的性能达到预设条件的模型。

在一实施例中,利用目标检测模型对具有可解释性标签的训练样本图像进行目标检测的过程可以是将具有可解释性标签的训练样本图像输入目标检测模型,并利用目标检测模型的网络结构输出初始检测区域的过程。

例如,当目标检测模型是FCOS时,可以将训练样本图像输入FCOS中。然后,FCOS中的Backbone首先会对训练样本图像进行卷积处理,从而得到训练样本图像在不同维度上的卷积信息。然后,Feature Pyramind可以对训练样本图像在不同维度上的卷积信息进行特征提取,从而得到训练样本图像在不同尺度上的特征图。接下来,Head便可以根据训练样本图像在不同尺度上的特征信息以及可解释性标签对训练样本图像进行预测,从而得到训练样本图像的初始检测区域。

在一实施例中,当目标检测模型是FCOS时,步骤“利用目标检测模型对具有可解释性标签的训练样本图像进行目标检测,得到训练样本图像的初始检测区域”,可以包括:

对训练样本图像进行卷积处理,得到训练样本图像的卷积信息;

对卷积信息进行特征提取,得到训练样本图像的特征信息;

基于训练样本图像的特征信息,对训练样本图像进行分类预测,得到初始检测区域。

例如,可以利用FCOS中的Backbone对训练样本图像进行卷积处理,得到训练样本图像的卷积信息。然后,可以利用FCOS中的Feature Pyramind对卷积信息进行特征提取,从而得到训练样本图像的特征信息。最后,可以利用FCOS中的Head对训练样本图像进行分类预测,从而得到初始检测区域。在一实施例中,由于目标检测模型的检测过程中,是基于概率论和统计学的知识判断出每个像素点可能是什么物体的概率。因此,在得到训练样本图像的初始检测区域之后,还可以获取目标检测模型输出的检测概率。接下来,可以计算检测概率和可解释性标签之间的损失信息,并利用损失信息对目标检测模型进行调整,从而得到训练后目标检测模型。

在一实施例中,由于不同的训练样本图像生成的可解释性标签可能不同,因此,在本申请实施例中,根据可解释性标签设置了不同的损失信息计算方式。具体的,步骤“计算检测概率和可解释性标签之间的损失信息”,可以包括:

将可解释性标签和预设阈值进行比较,得到比较结果;

根据比较结果确定可解释性标签对应的损失信息计算方式;

根据损失信息计算方式计算检测概率和可解释性标签之间的损失信息。

在一实施例中,该损失信息计算方式可以包括第一损失信息计算方式和第二损失信息计算方式。因此,将可解释性标签和预设阈值进行比较时,可以是当可解释性标签符合预设阈值时,根据第一损失信息计算方式计算检测概率和可解释性标签之间的损失信息。而当可解释性标签不符合预设阈值时,可以根据第二损失信息计算方式计算检测概率和可解释性标签之间的损失信息。具体的,步骤“根据损失信息计算方式计算检测概率和可解释性标签之间的损失信息”,可以包括:

根据第一损失信息计算方式计算检测概率和可解释性标签之间的损失信息,或根据第二损失信息计算方式计算检测概率和可解释性标签之间的损失信息。

在一实施例中,发明人在实践的过程中发现本申请实施例在为样本目标区域添加可解释性标签的过程中,可能会对一些样本目标区域添加上数值较低的可解释性标签,这会导致正负样本不平衡的问题。因此,在本申请实施例中,为了使得目标检测模型更加关注正样本的损失,本申请实施例通过在计算损失信息的过程中添加样本调制参数,以解决正负样本不平衡的问题。

其中,正样本可以包括目标检测模型的任务对应的样本目标区域。而负样本可以包括不是目标检测模型的任务对应的样本目标区域。例如,目标检测模型的任务是识别出训练样本图像中的猫和狗。因此,正样本可以指能够精确地选中训练样本图像中的猫和狗的样本目标区域,而负样本可以指训练样本图像中除了猫和狗的其它区域。

在一实施例中,当根据第一损失信息计算方式计算检测概率和可解释性标签之间的损失信息时,可以获取第一样本调制参数和缩放参数,并将第一样本调制参数、缩放参数、检测概率和可解释性标签进行逻辑运算处理,得到所述损失信息。具体的,步骤“根据第一损失信息计算方式计算检测概率和可解释性标签之间的损失信息”,可以包括:

获取第一样本调制参数和缩放参数;

将第一样本调制参数、缩放参数、检测概率和可解释性标签进行逻辑运算处理,得到所述损失信息。

其中,第一样本调制参数包括可以对正负样本进行调制的参数。缩放参数包括可以对数值进行缩放的参数。

在一实施例中,将第一样本调制参数、缩放参数、检测概率和可解释性标签进行逻辑运算处理,得到所述损失信息,可以如下公式所示:

BQFL(p)=-α|y-p|

其中,符号BQFL(p)可以表示损失信息,符号y可以表示可解释性标签,符号p可以表示检测概率,符号α可以表示第一样本调制参数,符号β可以表示缩放参数。

在一实施例中,当根据第二损失信息计算方式计算检测概率和可解释性标签之间的损失信息时,可以获取第二样本调制参数和缩放参数,并将第二样本调制参数、缩放参数、检测概率和可解释性标签进行逻辑运算处理,得到所述损失信息。具体的,步骤“根据第二损失信息计算方式计算检测概率和可解释性标签之间的损失信息”,可以包括:

获取第二样本调制参数和缩放参数;

将第二样本调制参数、缩放参数、检测概率和可解释性标签进行逻辑运算处理,得到所述损失信息。

在一实施例中,将第二样本调制参数、缩放参数、检测概率和可解释性标签进行逻辑运算处理,得到所述损失信息,可以如下公式所示:

BQFL(p)=-λ|p|

其中,符号λ可以表示第二样本调制参数。

在一实施例中,可以将预设阈值设置为i跟j,当可解释性标签属于(i,j]这个范围时,可以利用第一损失计算方式计算检测概率和可解释性标签之间的损失信息。而当可解释性标签等于i时,可以利用第二损失计算方式计算检测概率和可解释性标签之间的损失信息。具体的,可以如下公式所示:

在一实施例中,可以将i取值为0,将j取值为1。其中,为了简便地表示本申请实施例提出的损失信息计算方式,可以将上述公式称为平衡质量焦点损失函数(BalancedQuality Focal Loss,BQFL)。

在一实施例中,在得到检测概率和可解释性标签之间的损失信息之后,可以利用损失信息对目标检测模型进行调整,从而得到训练后目标检测模型。其中,利用损失信息对目标检测模型进行调整的过程可以是利用损失信息对目标检测模型中的模型参数进行调整,从而得到训练后目标检测模型。其中,该训练后目标检测模型用于对待检测图像进行目标检测,得到待检测图像的目标区域以及目标区域的可解释性指标。

例如,当该目标检测模型为FCOS时,可以对Backbone中的参数进行调整,也可以对Feature Pyramind中的参数,或者对Head中的参数进行调整。例如,Head的作用是对图像的特征信息进行预测,预测的时候会生成一个预测框,该预测框的长跟宽可以表示为x和y。则在对目标检测模型进行参数调整时,可以调整该x和y,从而使得训练后目标检测模型可以精确地检测出待检测图像中的目标区域以及目标区域的可解释性指标。

本申请实施例提出了一种目标检测方法,该目标检测方法可以获取目标检测模型的训练样本图像和训练样本图像中样本目标区域的属性;对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标;根据可解释性指标为样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;基于具有可解释性标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型,其中,训练后目标检测模型用于对待检测图像进行目标检测,得到待检测图像的目标区域以及所述目标区域的可解释性指标。通过为样本目标区域添加可解释性标签,从而使得在对目标检测模型进行训练时,目标检测模型可以依据可解释性标签进行调整,从而提高了目标区域置信度的可解释性,从而提高了目标检测模型的准确性和可靠性。

例如,如图8所示,训练后目标检测模型的检测结果中,尺寸最大的长颈鹿的置信度有0.75,尺寸最小的长颈鹿的置信度为0.50。和图5中未经过可解释性标签训练的目标检测模型的检测结果相比,训练后目标检测模型的检测结果是更加符合规律的。又例如,如图9所示,训练后目标检测模型的检测结果中,清晰度较高的人类的置信度有0.54,清晰度较低的人类的置信度为0.52,而这也是更加符合规律的。

此外,本申请实施例中为了克服正负样本不均衡的问题,根据可解释性标签提出了不同的损失信息计算方式。通过在计算检测概率和可解释性标签之间的损失信息中添加样本调整参数,从而使得可以对正负样本不均衡的问题进行调制,从而解决正负样本不均衡的问题,提高了目标检测模型的准确性和可靠性。

根据上面实施例所描述的方法,以下将举例作进一步详细说明。

本申请实施例将以目标检测方法集成在计算机设备上为例来介绍本申请实施例方法。

在一实施例中,如图10所示,一种目标检测方法,具体流程如下:

201、服务器获取目标检测模型的训练样本图像和训练样本图像中样本目标区域的属性。

其中,训练样本图像中可以包括至少一个样本目标区域。例如,如图11所示,训练样本图像中可以包括样本目标区域1、样本目标区域2和样本目标区域3。

其中,目标检测模型可以是FCOS。例如,如图11所示,图11中的目标检测模型可以是FCOS。其中,图中的分类分支可以包括Classificaton,图中的定位分支可以包括Centerness。

其中,样本目标区域的属性可以包括样本目标区域的尺寸和清晰度。

其中,样本目标区域的尺寸可以包括样本目标区域的长度和宽度。

在一实施例中,可以采用Common Objects in Context(COCO)数据集中的数据作为训练样本图像。其中,COCO数据集是一个可以用来进行图像识别的数据集。

202、服务器对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标。

在一实施例中,如图11所示,本申请实施例可以在FCOS的基础上添加可解释性评价分支,该可解释性评价分支可以对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标。

在一实施例中,服务器可以基于尺寸属性和清晰度属性这两个属性对样本目标区域进行可解释性评价,从而得到样本目标区域的尺寸可解释性指标和清晰度可解释性指标。

在一实施例中,服务器可以基于下列公式对样本目标区域的尺寸属性进行指标生成处理,从而得到样本目标区域的尺寸可解释性指标:

在一实施例中,服务器可以基于下列公式对样本目标区域的清晰度属性进行指标生成处理,从而得到样本目标区域的清晰度可解释性指标:

Blur

203、服务器根据可解释性指标为样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像。

在一实施例中,在得到可解释性指标之后,服务器可以根据可解释性指标为样本目标区域添加可解释性标签,从而得到具有可解释性标签的训练样本图像。

在一实施例中,针对尺寸可解释性指标,可以根据下列方式生成尺寸对应的可解释性标签:

label

在一实施例中,针对清晰度可解释性指标,可以根据下列方式生成清晰度对应的可解释性标签:

label

其中,服务器得到可解性标签之后,可以将可解释性标签和样本目标区域进行关联,从而得到具有可解释性标签的训练样本图像。例如,服务器分别得到样本目标区域1、样本目标区域2和样本目标区域3的可解释性标签后,服务器可以为样本目标区域和其对应的可解释性标签添加上相同的标识信息,从而使得可解释性标签和样本目标区域进行关联。

在一实施例中,如图11所示,服务器还可以将可解释性指标和类别标注进行结合,从而得到可解释性软指标。其中,类别标注可以是说明样本目标区域中的物体类别的标注。

204、服务器基于具有可解释性标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型。

在一实施例中,服务器在得到可解释性标签之后,可以具有可解释性标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型。

在一实施例中,可以在mmdetection代码框架下对目标检测模型进行训练和测试。其中,在训练的过程中,可以采用2x(训练24个epoch)的学习策略。

在一实施例中,在训练的过程中可以分别将Backbone设置为ResNet50网络和ResNet101网络进行训练。

在一实施例中,可以将添加了可解释性评价分支的目标模型称为QSFCOS。此外,还可以将BQFL用到分类分支的训练中,并将该基于FCOS的目标检测模型命名为QSFCOS+BQFL。然后,可以将QSFCOS+BQFL、QSFCOS和FCOS在COCO验证集下的测试结果以及性能进行对比,对比结果可以如下表所示:

表1:性能对比

其中,表格中的mAP、AP_50、AP_75、AP_M和AP_L可以是COCO数据集中的性能评价标准。

从表1可以看到,QSFCOS模型在整体检测性能上和FCOS模型相当,并且对中等大小物体和大物体的检测有显著的提升(AP_M平均提升1.2%,AP_L平均提升1.25%)。而QSFCOS+BQFL模型在提升整体检测性能的情况下,进一步提升了中等物体和大物体的检测性能(AP_M平均提升1.6%,AP_L平均提升2%)。

同时,在本申请实施例中,对FCOS模型和QSFCOS模型在COCO验证集进行可视化,可视化检测结果中样本目标区域的置信度与其尺寸属性的可解释指标之间的关系可以如图12和图13所示。其中,在图12和13中,横坐标为样本目标区域的尺寸属性的可解释性指标,纵坐标为目标检测模型为样本目标检测的置信度。

在图12中,用区域002框住的样本目标区域属于“尺寸小但置信度高”的区域,用区域001框住的样本目标区域属于“尺寸大且置信度高”的区域。在图13中,用区域004框住的样本目标区域属于“尺寸小但置信度高”的区域,用区域003框住的样本目标区域属于“尺寸大且置信度高”的区域。从图12和图13的对比可以看出,添加了基于尺寸属性的可解释指标以后,模型在推理的时候,对小尺寸物体的置信度降低,同时增加了置信度高的大物体检测实例。结合检测的性能对比,我们可以看出,加入了基于尺寸属性的可解释指标以后,QSFCOS模型相比于FCOS模型,不仅在推理时更具有可解释性,并且大幅提升了中等大小物体和大物体的检测性能。

本申请实施例中,服务器获取目标检测模型的训练样本图像和训练样本图像中样本目标区域的属性;服务器对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标;服务器根据可解释性指标为样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;服务器基于具有可解释性标签的训练样本图像对目标检测模型进行训练,得到训练后目标检测模型,其中,训练后目标检测模型用于对待检测图像进行目标检测,得到待检测图像的目标区域以及所述目标区域的可解释性指标。通过为样本目标区域添加可解释性标签,从而使得在对目标检测模型进行训练时,目标检测模型可以依据可解释性标签进行调整,从而提高了目标区域置信度的可解释性,从而提高了目标检测模型的准确性和可靠性。

本申请实施例还提出了一种样本生成方法,该样本生成方法可以由样本生成装置执行,该样本生成装置可以集成在计算机设备中。其中,该计算机设备可以包括终端以及服务器等中的至少一个。

在一实施例中,样本生成装置可以集成在终端或服务器等计算机设备上,以实施本申请实施例提出的样本生成方法,具体地,计算机设备可以获取目标检测模型的训练样本图像和训练样本图像中样本目标区域的属性;对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标;根据可解释性指标为样本目标区域添加可解释性标签,输出具有可解释性标签的训练样本图像。

以下分别进行详细说明,需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。

本申请实施例将从样本生成装置的角度进行描述,该样本生成装置可以集成在计算机设备中,该计算机设备可以是服务器,也可以是终端等设备。

如图14所示,提供了一种样本生成方法,具体流程包括:

301、获取训练样本图像和训练样本图像中样本目标区域的属性。

其中,训练样本图像包括对目标检测模型进行训练时所用到的训练数据。

在一实施例中,可以根据目标检测模型的任务获取训练样本图像。例如,当目标检测模型的任务是检测出图像中的人脸时,可以获取具有人脸内容的图像作为训练样本图像。又例如,当目标检测模型的任务是检测出图像中的动物时,可以获取具有动物内容的图像作为训练样本图像,等等。

其中,样本目标区域包括目标检测的检测物体在样本训练图像中形成的位置区域。

其中,属性可以包括图像在像素、清晰度、大小和颜色等方面的性质。

302、对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标。

其中,可解释性指标包括对样本目标区域中属性的衡量参数。在一实施例中,可解释性指标可以相当于根据样本目标区域的属性,赋予给样本目标区域中的属性的一个“分数”。例如,当可解释性指标是针对样本目标区域的清晰度,则通过可解释性指标可以知道样本目标区域中清晰度的高低。又例如,当可解释性指标是针对样本目标区域的尺寸,则通过可解释性指标可以知道样本目标区域中尺寸的大小。又例如,当可解释性指标是针对样本目标区域的亮度,则通过可解释性指标可以知道样本目标区域中尺寸的明暗。

在一实施例中,对样本目标区域的属性进行指标生成处理可以参考步骤102,此处不再重复阐述。

303、根据可解释性指标为样本目标区域添加可解释性标签,输出具有可解释性标签的训练样本图像。

其中,可解释性标签包括根据可解释性指标生成的标签,该标签具有依据和可解释性。

在一实施例中,根据可解释行指标为样本目标区域添加可解释性标签可以参考步骤103,此处不再重复阐述。

在一实施例中,在为样本目标区域添加了可解释性标签之后,可以输出具有可解释性标签的训练样本图像,从而使得该具有可解释性标签的训练样本图像可以应用于各种模型训练的场景,从而提高模型执行任务的准确性和可靠性。

本申请实施例提出了一种样本生成方法,该样本生成方法可以获取训练样本图像和训练样本图像中样本目标区域的属性;对样本目标区域的属性进行指标生成处理,得到样本目标区域的可解释性指标;根据可解释性指标为样本目标区域添加可解释性标签,输出具有可解释性标签的训练样本图像,以使得具有可解释性标签的训练样本图像可以应用于各种模型训练的场景,从而提高模型执行任务的准确性和可靠性。

此外,为了更好地实施本申请实施例提供的目标检测方法,在一实施例中还提供了一种目标检测装置,该目标检测装置可以集成于计算机设备中。其中名词的含义与上述目标检测方法中相同,具体实现细节可以参考方法实施例中的说明。

在一实施例中,提供了一种目标检测装置,该目标检测装置具体可以集成在计算机设备中,如图15所示,该目标检测装置包括:获取单元401、指标生成单元402、添加单元403和训练单元404,具体如下:

获取单元401,用于获取目标检测模型的训练样本图像和所述训练样本图像中样本目标区域的属性;

指标生成单元402,用于对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

添加单元403,用于根据所述可解释性指标为所述样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;

训练单元404,用于基于所述具有可解释性标签的训练样本图像对所述目标检测模型进行训练,得到训练后目标检测模型,其中,所述训练后目标检测模型用于对待检测图像进行目标检测,得到所述待检测图像的目标区域以及所述目标区域的可解释性指标。

在一实施例中,所述指标生成单元,包括:

识别子单元,用于对所述属性进行识别,得到所述属性的类型;

确定子单元,用于根据所述属性的类型,确定所述属性对应的指标生成方式;

指标生成子单元,用于根据所述指标生成方式对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标。

在一实施例中,所述指标生成子单元,包括:

获取模块,用于获取所述训练样本图像的尺寸属性;

比较模块,用于将所述样本目标区域的尺寸属性和所述训练样本图像的尺寸属性进行比较处理,得到所述样本目标区域和所述训练样本图像之间的图像尺寸比较信息;

归一化处理模块,用于对所述图像尺寸比较信息进行归一化处理,得到所述尺寸可解释性指标。

在一实施例中,所述指标生成子单元,包括:

评估模块,用于对所述样本目标区域的清晰度属性进行评估处理,得到所述样本目标区域的清晰度评估信息;

对比模块,用于将所述清晰度评估信息和预设清晰度评判阈值进行对比,并根据对比结果生成对比信息;

线性运算模块,用于对所述对比信息进行线性运算处理,得到所述清晰度可解释性指标。

在一实施例中,所述添加单元,包括:

调整子单元,用于对所述可解释性指标进行调整,得到调整后可解释性指标;

标签映射子单元,用于对所述调整后可解释性指标进行标签映射处理,得到所述可解释性标签;

关联子单元,用于将所述可解释性标签和所述样本目标区域进行关联,得到所述具有可解释性标签的训练样本图像。

在一实施例中,所述训练单元,包括:

目标检测子单元,用于利用所述目标检测模型对所述具有可解释性标签的训练样本图像进行目标检测,得到所述训练样本图像的初始检测区域;

获取子单元,用于获取所述初始检测区域的检测概率;

计算子单元,用于计算所述检测概率和所述可解释性标签之间的损失信息;

调整子单元,用于利用所述损失信息对所述目标检测模型进行调整,得到所述训练后目标检测模型。

在一实施例中,所述计算子单元,包括:

比较模块,用于将所述解释性标签和预设阈值进行比较,得到比较结果;

确定模块,用于根据所述比较结果确定所述可解释性标签对应的损失信息计算方式;

计算模块,用于根据所述损失信息计算方式计算所述检测概率和所述可解释性标签之间的损失信息。

具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。

通过上述的目标检测装置可以提高对图像进行目标检测的准确性和可靠性。

在一实施例中,还提供了一种样本生成装置,该样本生成装置可以集成在计算机设备中,如图16所示,该样本生成装置包括:属性获取单元501、可解释性指标生成单元502和标签添加单元503,具体如下:

属性获取单元501,用于获取训练样本图像和所述训练样本图像中样本目标区域的属性;

可解释性指标生成单元502,用于对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

标签添加单元503,用于根据所述可解释性指标为所述样本目标区域添加可解释性标签,输出具有可解释性标签的训练样本图像。具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。

通过上述的样本生成装置可以输出具有可解释性标签的训练样本图像。

本申请实施例还提供一种计算机设备,该计算机设备可以包括终端或服务器,比如,计算机设备可以作为目标检测终端,该终端可以为手机、平板电脑等等;又比如计算机设备可以为服务器,如目标检测服务器等。如图17所示,其示出了本申请实施例所涉及的终端的结构示意图,具体来讲:

该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解,图17中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器601是该计算机设备的控制中心,利用各种接口和线路连接整个计算机设备的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行计算机设备的各种功能和处理数据,从而对计算机设备进行整体监控。可选的,处理器601可包括一个或多个处理核心;优选的,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户页面和应用程序等,调制解调处理器主要处理无线通讯。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。

存储器602可用于存储软件程序以及模块,处理器601通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。

计算机设备还包括给各个部件供电的电源603,优选的,电源603可以通过电源管理系统与处理器601逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元604,该输入单元604可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,计算机设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,计算机设备中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:

获取目标检测模型的训练样本图像和所述训练样本图像中样本目标区域的属性;

对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

根据所述可解释性指标为所述样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;

基于所述具有可解释性标签的训练样本图像对所述目标检测模型进行训练,得到训练后目标检测模型,其中,所述训练后目标检测模型用于对待检测图像进行目标检测,得到所述待检测图像的目标区域以及所述目标区域的可解释性指标。

或实现如下功能:

获取训练样本图像和所述训练样本图像中样本目标区域的属性;

对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

根据所述可解释性指标为所述样本目标区域添加可解释性标签,输出具有可解释性标签的训练样本图像。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成,或通过计算机程序控制相关的硬件来完成,该计算机程序可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本申请实施例还提供一种存储介质,其中存储有计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种目标检测方法中的步骤。例如,该计算机程序可以执行如下步骤:

获取目标检测模型的训练样本图像和所述训练样本图像中样本目标区域的属性;

对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

根据所述可解释性指标为所述样本目标区域添加可解释性标签,得到具有可解释性标签的训练样本图像;

基于所述具有可解释性标签的训练样本图像对所述目标检测模型进行训练,得到训练后目标检测模型,其中,所述训练后目标检测模型用于对待检测图像进行目标检测,得到所述待检测图像的目标区域以及所述目标区域的可解释性指标。

或执行如下步骤:

获取训练样本图像和所述训练样本图像中样本目标区域的属性;

对所述样本目标区域的属性进行指标生成处理,得到所述样本目标区域的可解释性指标;

根据所述可解释性指标为所述样本目标区域添加可解释性标签,输出具有可解释性标签的训练样本图像。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

由于该存储介质中所存储的计算机程序,可以执行本申请实施例所提供的任一种目标检测方法中的步骤,因此,可以实现本申请实施例所提供的任一种目标检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上对本申请实施例所提供的一种目标检测方法、装置、计算机设备和存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

技术分类

06120113807295