掌桥专利:专业的专利平台
掌桥专利
首页

半监督目标检测模型训练方法、装置、设备及介质

文献发布时间:2023-06-19 19:28:50


半监督目标检测模型训练方法、装置、设备及介质

技术领域

本发明涉及半监督目标检测技术领域,特别是涉及一种半监督目标检测模型训练方法、装置、设备及介质。

背景技术

随着计算机技术的发展和计算机视觉原理的应用,目标检测具有广泛的应用场景,例如自动驾驶、工业生产、视频监控、医学影像处理以及卫星影像处理等。目标检测大多基于深度学习算法,目标检测的结果取决于模型训练中的有标签数据,如物体的位置与类别等标签信息,由于深度神经网络的训练需要大量数据,对训练图像完成标注需要耗费大量时间和人力,因此,出现了利用半监督进行目标检测的方式。其中,半监督通过同时利用有标签和无标签数据,即从有标签数据中获得强监督学习信号,从无标签的训练数据中获取到有用的学习信息,能够进一步提升目标检测模型的性能。

半监督目标检测技术可分为基于一致性学习和伪标签学习算法。其中,基于一致性学习的半监督目标检测方法通过识别同一张无标签图像在扰动情况下的一致性特征,从而利用无标签图像的数据信息进行目标检测;基于伪标签学习的半监督目标检测算法,通过对有标签数据进行学习,得到预训练模型,即教师网络,然后对无标签数据进行预测获得伪标签数据,最后利用伪标签数据和有标签数据重新共同训练模型,即通过获得的学生网络实现目标检测。但在现有技术中,基于伪标签学习的半监督目标检测没有对目标检测任务拆分为目标定位与目标分类,并且教师模型和学生模型都只使用了目标检测网络,使得半监督目标检测模型对无标签数据做分类的能力较低,从而导致目标检测的结果准确性低的问题。

发明内容

鉴于以上所述现有技术的缺点,本发明提供了一种半监督目标检测模型训练方法、装置、设备及介质,用于解决半监督目标检测模型的目标检测结果准确性低的技术问题。

针对于上述问题,本发明提供了一种半监督目标检测模型训练方法,所述方法包括:

获取标注数据集与无标注数据集,所述标注数据集内的图像样本携带目标对象的目标坐标和目标类别;

构建包含相同目标检测网络和图像分类网络的权重系数随机化的教师模型与权重系数随机化的学生模型,利用所述标注数据集对所述权重系数随机化的教师模型进行训练,获得权重系数更新的教师模型;

使用所述权重系数更新的教师模型对所述无标注数据集中目标对象进行预测,获得伪目标坐标和伪目标类别;

根据所述目标坐标、所述目标类别、所述伪目标坐标以及所述伪目标类别联合训练所述权重系数随机化的学生模型,获得权重系数更新的学生模型;

基于所述权重系数更新的学生模型的权重系数,更新所述权重系数更新的教师模型的权重系数,直至两者间的权重系数符合预设条件,将当前所述权重系数更新的学生模型作为半监督目标检测模型。

于本发明一实施例中,利用所述标注数据集对所述权重系数随机化的教师模型进行训练,获得权重系数更新的教师模型,包括:

通过所述目标坐标和所述目标类别对所述权重系数随机化的教师模型中的目标检测网络进行训练;以及,

对所述目标坐标对应的区域进行裁剪,获得目标区域;

将所述目标类别作为所述目标区域的标签,对所述权重系数随机化的教师模型中的图像分类网络进行训练,获得所述权重系数更新的教师模型。

于本发明一实施例中,获得所述权重系数更新的教师模型之后,所述方法还包括:

基于目标检测网络第一损失函数计算所述权重系数更新的教师模型中目标检测网络的训练损失值;

基于图像分类网络损失函数计算所述权重系数更新的教师模型中图像分类网络的训练损失值。

于本发明一实施例中,所述目标检测网络第一损失函数的计算公式为:

其中,Loss

所述图像分类网络损失函数的计算公式为:

其中,Loss

于本发明一实施例中,使用所述权重系数更新的教师模型对所述无标注数据集中目标对象进行预测,获得伪目标坐标和伪目标类别,包括:

使用所述权重系数更新的教师模型中的目标检测网络对所述无标注数据集中目标对象进行预测,获得所述伪目标坐标;

对所述伪目标坐标对应的区域进行裁剪,获得伪目标区域;

通过所述权重系数更新的教师模型中的图像分类网络对所述伪目标区域进行预测,获得所述伪目标类别。

于本发明一实施例中,在获得权重系数更新的学生模型之后,所述方法还包括:

基于目标检测网络第二损失函数计算所述权重系数更新的学生模型中目标检测网络的训练损失值,所述权重系数更新的学生模型中目标检测网络的训练损失值包括检测损失值;

基于所述图像分类网络损失函数计算所述权重系数更新的学生模型中图像分类网络的训练损失值。

于本发明一实施例中,基于所述权重系数更新的学生模型的权重系数,更新所述权重系数更新的教师模型的权重系数,直至两者间的权重系数符合预设条件,将当前所述权重系数更新的学生模型作为半监督目标检测模型,包括:

当所述权重系数更新的学生模型中图像分类网络的训练损失值小于第一预设阈值时,基于所述目标检测网络的第一损失函数计算所述权重系数更新的学生模型中目标检测网络的训练损失值,以使所述权重系数更新的学生模型中目标检测网络的训练损失值包括检测损失值和类别损失值;

基于修改了目标检测网络损失函数后的权重系数更新的学生模型的权重系数,更新所述权重系数更新的教师模型的权重系数;

当所述权重系数更新的学生模型的权重系数与所述权重系数更新的教师模型权重系数的差值小于第二预设阈值时,将当前所述权重系数更新的学生模型作为半监督目标检测模型。

于本发明一实施例中,修改之前的权重系数更新的学生模型中目标检测网络损失函数为目标检测网络第二损失函数,计算公式为:

其中,Loss

修改之后的权重系数更新的学生模型中目标检测网络损失函数为目标检测网络第一损失函数,计算公式为:

其中,Loss

于本发明一实施例中,将当前所述权重系数更新的学生模型作为半监督目标检测模型之后,所述方法还包括:

将待测图像输入所述半监督目标检测模型,得到所述待测图像的检测结果。

本发明还提供了一种半监督目标检测模型训练装置,其特征在于,所述装置包括:

数据集获取模块,用于获取标注数据集与无标注数据集,所述标注数据集内的图像样本携带目标对象的目标坐标和目标类别;

教师模型训练模块,用于构建包含相同目标检测网络和图像分类网络的权重系数随机化的教师模型与权重系数随机化的学生模型,利用所述标注数据集对所述权重系数随机化的教师模型进行训练,获得权重系数更新的教师模型;

预测模块,用于使用所述权重系数更新的教师模型对所述无标注数据集中目标对象进行预测,获得伪目标坐标和伪目标类别;

学生模型训练模块,用于根据所述目标坐标、所述目标类别、所述伪目标坐标以及所述伪目标类别联合训练所述权重系数随机化的学生模型,获得权重系数更新的学生模型;

权重系数更新模块,用于基于所述权重系数更新的学生模型的权重系数,更新所述权重系数更新的教师模型的权重系数,直至两者间的权重系数符合预设条件,将当前所述权重系数更新的学生模型作为半监督目标检测模型。

本发明还提供了一种电子设备,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述电子设备执行上述的方法。

本发明还提供了一种计算机可读存储介质,其上存储有计算机程序:所述计算机程序被处理器执行时实现上述的方法。

如上所述,本发明实施例提供的一种半监督目标检测模型训练方法、装置、设备及介质,具有以下有益效果:

首先通过获取标注数据集与无标注数据集,其中,标注数据集内的图像样本携带目标对象的目标坐标和目标类别,然后利用标注数据集对权重系数随机化的教师模型进行训练,获得权重系数更新的教师模型,进一步地,使用权重系数更新的教师模型对无标注数据集中目标对象进行预测,获得伪目标坐标和伪目标类别,再根据目标坐标、目标类别、伪目标坐标以及伪目标类别联合训练权重系数随机化的学生模型,获得权重系数更新的学生模型,最后基于权重系数更新的学生模型的权重系数更新权重系数更新的教师模型的权重系数,直至两者间的权重系数符合预设条件,将当前权重系数更新的学生模型作为半监督目标检测模型。通过将检测任务拆分为定位和分类两个子任务对模型进行训练,能够获得准确且泛化能力强的半监督目标检测模型。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:

图1是本申请的一示例性实施例示出的半监督目标检测模型训练装置的实施环境示意图;

图2是本申请的一示例性实施例示出的半监督目标检测模型训练方法的流程图;

图3是本申请的一示例性实施例示出的一种具体的半监督目标检测模型训练方法的流程图;

图4是本申请的一示例性实施例示出的半监督目标检测模型训练装置的框图;

图5是本申请的一实施例提供的电子设备的一种结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的子样本可以相互组合。

需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。

在下文描述中,探讨了大量细节,以提供对本发明实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本发明的实施例难以理解。

本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开实施例的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。

除非另有说明,术语“多个”表示两个或两个以上。

本公开实施例中,字符“/”表示前后对象是一种“或”的关系。例如,A/B表示:A或B。

术语“和/或”是一种描述对象的关联关系,表示可以存在三种关系。例如,A和/或B,表示:A或B,或,A和B这三种关系。

目标检测具有广泛的应用场景,例如自动驾驶、工业生产、视频监控、医学影像处理以及卫星影像处理等。目标检测大多通过半监督目标检测模型对待测对象进行预测,获得预测结果,在通过伪标签学习的半监督目标检测模型对待测对象进行预测时,直接通过目标检测网络同时对待测对象的坐标和类别进行预测,导致半监督目标检测模型对无标签数据做分类的能力较低,影响了目标检测结果的准确性。

为解决上述问题,请参见图1,图1是本申请的一示例性实施例示出的半监督目标检测模型训练装置的实施环境示意图。通常,在自动驾驶领域,目标检测作为自动驾驶感知系统的核心基础,是路径规划、运动预测、碰撞避免等功能的前提,为了保证车辆自动驾驶的可靠性、安全性等,则需要一个准确性高、泛化能力强的半监督目标检测模型,对车辆在自动驾驶过程中实时获取的无标签数据图像进行目标预测。如图1所示,该实时环境示意图包括云端101和车端102,用于对半监督目标检测模型进行训练。其中,车端102将所采集的图像上传到云端101,通过云端101处理获得图像数据集,云端101主要负责根据标注数据的图像集和无标注数据的图像集进行模型训练,获得半监督目标检测模型,实现对车端101在自动驾驶中所采集的待测图像中的待测对象的精准预测。

请参见图2,图2是本申请的一示例性实施例示出的半监督目标检测模型训练方法的流程图。该方法可以应用于图1所示的实施环境,并由该实施环境中的客户端和/服务器具体执行。应理解的是,该方法也可以适用于其它的示例性实施环境,并由其它实施环境中的设备具体执行,本实施例不对该方法所适用的实施环境进行限制。为解决这些问题,本申请的实施例分别提出一种半监督目标检测模型训练方法、一种半监督目标检测模型训练装置、一种设备、一种计算机可读存储介质,以下将对这些实施例进行详细描述。

如图2所示,在一示例性的实施例中,半监督目标检测模型训练方法至少包括步骤S201至步骤S205,详细介绍如下:

步骤S201,获取标注数据集与无标注数据集,标注数据集内的图像样本携带目标对象的目标坐标和目标类别。

标注数据能够对一个给定的无标注数据图像做出判断,无标注数据对于无标注数据图像没有进行定义,只是包含数据。例如,标注数据的标签是照片包含马,而无标注数据的标签是照片是否包含马。对于标注数据集和无标注数据集,可以作为基础数据对半监督目标检测模型进行训练,然后将新的无标注数据呈现给模型,预测该无标注数据的标签。应当理解的是,标注数据集内的图像样本携带有目标对象的目标坐标和目标类别,在使用标注数据集对半监督目标检测模型进行训练时,能够预测无标注数据集内的图像样本中目标对象的坐标和类别。

步骤S202,构建包含相同目标检测网络和图像分类网络的权重系数随机化的教师模型与权重系数随机化的学生模型,利用标注数据集对权重系数随机化的教师模型进行训练,获得权重系数更新的教师模型。

考虑到通过目标检测网络同时对目标对象的目标坐标和目标类别进行检测,使得检测结果准确性低的问题,构建了包含相同目标检测网络和图像分类网络的权重系数随机化的教师模型与权重系数随机化的学生模型,然后利用标注数据集中的目标对象的目标坐标和目标类别对权重系数随机化的教师模型中的目标检测网络和图像分类网络进行训练,获得权重系数更新的教师模型,以使所获得的权重系数更新的教师模型中的目标检测网络能更准确地预测无标注数据图像中目标对象的坐标,及图像分类网络能更准确地预测无标注数据图像中目标对象的类别。

应当理解的是,目标检测网络可以单独实现对待测对象的坐标和类别的预测,即目标检测网络是同时具备检测和分类功能的,但由于在对待测对象的坐标和类别同时进行预测时,会影响类别预测的准确性,因此对于权重系数随机化的教师模型和权重系数随机化的学生模型都构建了图像分类网络,单独进行待测对象类别的预测,用图像分类网络去替代目标检测模型中的分类功能,提高模型对待测对象类别预测的准确性。并且,在训练早期对无标注数据预测效果不好的时候,可以降低权重系数随机化的学生模型的学习难度。

在一实施例中,利用标注数据集对权重系数随机化的教师模型进行训练,获得权重系数更新的教师模型,包括:

通过目标坐标和目标类别对权重系数随机化的教师模型中的目标检测网络进行训练;以及,

对目标坐标对应的区域进行裁剪,获得目标区域;

将目标类别作为目标区域的标签,对权重系数随机化的教师模型中的图像分类网络进行训练,获得权重系数更新的教师模型。

利用标注数据集对权重系数随机化的教师模型进行训练的过程中,首先通过标注数据集中目标对象的目标坐标和目标类别对权重系数随机化的教师模型中的目标检测网络进行训练,然后,对目标坐标对应的区域进行裁剪,获得目标区域,再将目标类别作为目标区域的标签,对权重系数随机化的教师模型中的图像分类网络进行训练,获得权重系数更新的教师模型,在获得的权重系数更新的教师模型中,目标检测网络能更准确地预测无标注数据图像中目标对象的坐标,图像分类网络能更准确地预测无标注数据图像中目标对象的类别。

在一实施例中,获得权重系数更新的教师模型之后,方法还包括:

基于目标检测网络第一损失函数计算权重系数更新的教师模型中目标检测网络的训练损失值;

基于图像分类网络损失函数计算权重系数更新的教师模型中图像分类网络的训练损失值。

应当理解的是,对权重系数随机化的教师模型中的目标检测网络进行训练获得权重系数更新的教师模型后,权重系数更新的教师模型中目标检测网络对数据的预测和数据的真实标签之间存在偏差,表示对单个样本而言模型预测的准确程度,如果权重系数更新的教师模型中目标检测网络对数据的预测和数据的真实标签之间的偏差大,则损失值也大,如果偏差很小或几乎相同,损失值就会偏小。同理,对权重系数随机化的教师模型中的图像分类网络进行训练获得权重系数更新的教师模型后,权重系数更新的教师模型中图像分类网络对数据的预测和数据的真实标签之间也存在偏差。因此需要计算出权重系数更新的教师模型中目标检测网络的训练损失值,以及权重系数更新的教师模型中图像分类网络的训练损失值,然后根据训练损失值确定权重系数更新的教师模型每次迭代的前向计算结果与真实值的差距,从而优化训练方向,使训练损失值减小。

在一实施例中,目标检测网络第一损失函数的计算公式为:

其中,Loss

图像分类网络损失函数的计算公式为:

其中,Loss

需要注意的是,因为目标检测网络是同时具备检测和分类功能的,所以对于权重系数更新的教师模型,目标检测网络的训练损失值包括检测损失值和类别损失值两部分。

步骤S203,使用权重系数更新的教师模型对无标注数据集中目标对象进行预测,获得伪目标坐标和伪目标类别。

权重系数更新的教师模型是通过利用有标注数据集中目标对象的目标坐标和目标类别对权重系数随机化的教师模型进行训练后获得的,可以认为权重系数更新的教师模型具备预测无标签数据集的能力,并且能够比较准确地预测出无标签数据集中目标对象的伪目标坐标和伪目标类别。故利用权重系数更新的教师模型中的目标检测网络和图像分类网络对无标注数据集进行预测,获得无标签数据集中目标对象的伪目标坐标和伪目标类别。应当理解的是,上述的伪目标坐标和伪目标类别是一种伪标签,伪标签是利用通过标注数据集所训练的模型,对无标注数据集进行预测的结果。

在一实施例中,使用权重系数更新的教师模型对无标注数据集中目标对象进行预测,获得伪目标坐标和伪目标类别,包括:

使用权重系数更新的教师模型中的目标检测网络对无标注数据集中目标对象进行预测,获得伪目标坐标;

对伪目标坐标对应的区域进行裁剪,获得伪目标区域;

通过权重系数更新的教师模型中的图像分类网络对伪目标区域进行预测,获得伪目标类别。

对无标注数据集中目标对象进行预测,能够获得无标注数据集中目标对象的伪目标坐标和伪目标类别,首先通过权重系数更新的教师模型中的目标检测网络对无标注数据集中目标对象进行预测,获得目标对象的伪目标坐标,然后对伪目标坐标对应的区域进行裁剪,从而获得伪目标区域,在获得伪目标区域后,通过权重系数更新的教师模型中的图像分类网络对伪目标区域进行预测,从而获得伪目标类别。

步骤S204,根据目标坐标、目标类别、伪目标坐标以及伪目标类别联合训练所述权重系数随机化的学生模型,获得权重系数更新的学生模型。

通过有标注数据集中目标对象的目标坐标和目标类别,以及无标注数据集中目标对象的伪目标坐标和伪目标类别对权重系数随机化的学生模型中的目标检测网络和图像分类网络进行训练,以获得权重系数更新的学生模型,使该权重系数更新的学生模型中的目标检测网络和图像分类网络具有精准预测待测对象的坐标和类别的能力。

在一实施例中,在获得权重系数更新的学生模型之后,方法还包括:

基于目标检测网络第二损失函数计算权重系数更新的学生模型中目标检测网络的训练损失值,权重系数更新的学生模型中目标检测网络的训练损失值包括检测损失值;

基于图像分类网络损失函数计算权重系数更新的学生模型中图像分类网络的训练损失值。

应当理解的是,对权重系数随机化的学生模型中的目标检测网络进行训练获得权重系数更新的学生模型后,权重系数更新的学生模型中目标检测网络对数据的预测和数据的真实标签之间存在偏差;对权重系数随机化的学生模型中的图像分类网络进行训练获得权重系数更新的学生模型后,权重系数更新的学生模型中图像分类网络对数据的预测值和数据的真实标签之间也存在偏差。因此需要计算出权重系数更新的学生模型中目标检测网络的训练损失值,以及权重系数更新的学生模型中图像分类网络的训练损失值,然后根据训练损失值修改权重系数更新的学生模型的权重系数,进行权重系数更新的学生模型的优化,在训练权重系数更新的学生模型的过程中,能够逐渐减小目标检测网络的训练损失值以及图像分类网络的训练损失值。

步骤S205,基于权重系数更新的学生模型的权重系数,更新权重系数更新的教师模型的权重系数,直至两者间的权重系数符合预设条件,将当前权重系数更新的学生模型作为半监督目标检测模型。

基于权重系数更新的学生模型的目标检测网络的训练损失值和图像分类网络的训练损失值调整了权重系数更新的学生模型的权重系数后,利用权重系数更新的学生模型的权重系数对权重系数更新的教师模型的权重系数进行更新,对权重系数更新的教师模型和权重系数更新的学生模型进行迭代训练。当权重系数更新的学生模型的权重系数与权重系数更新的教师模型的权重系数符合预设条件时,可以认为权重系数更新的学生模型无论是对于新的有标注数据集中目标对象还是无标注数据集中目标对象都能够进行较准确地预测,则把当前的权重系数更新的学生模型作为半监督目标检测模型,用以进行目标检测。

其中,基于权重系数更新的学生模型的权重系数更新权重系数更新的教师模型的权重系数的计算公式为:

θ

式中,θ

在一实施例中,基于权重系数更新的学生模型的权重系数,更新权重系数更新的教师模型的权重系数,直至两者间的权重系数符合预设条件,将当前权重系数更新的学生模型作为半监督目标检测模型,包括:

当权重系数更新的学生模型中图像分类网络的训练损失值小于第一预设阈值时,基于目标检测网络的第一损失函数计算权重系数更新的学生模型中目标检测网络的训练损失值,以使权重系数更新的学生模型中目标检测网络的训练损失值包括检测损失值和类别损失值;

基于修改了目标检测网络损失函数后的权重系数更新的学生模型的权重系数,更新权重系数更新的教师模型的权重系数;

当权重系数更新的学生模型的权重系数与权重系数更新的教师模型权重系数的差值小于第二预设阈值时,将当前权重系数更新的学生模型作为半监督目标检测模型。

使用目标坐标、目标类别、伪目标坐标以及伪目标类别对权重系数更新的教师模型进行训练时,由于初期获得的伪目标类别的准确率较低,因此对于权重系数更新的学生模型中目标检测网络的训练损失值只包括了检测损失值部分,而不包括类别损失值部分。但在权重系数更新的教师模型与权重系数更新的学生模型进行迭代训练的过程中,对于类别的预测准确率有所提高,当权重系数更新的学生模型中图像分类网络的训练损失值小于第一预设阈值时,则基于目标检测网络的第一损失函数计算权重系数更新的学生模型中目标检测网络的训练损失值,即权重系数更新的学生模型中目标检测网络的训练损失值包括检测损失值和类别损失值两部分,然后再基于修改了目标检测网络损失函数后的权重系数更新的学生模型的权重系数更新权重系数更新的教师模型的权重系数,直至权重系数更新的学生模型的权重系数与权重系数更新的教师模型权重系数的差值小于第二预设阈值时,即θ

在一实施例中,修改之前的权重系数更新的学生模型中目标检测网络损失函数为目标检测网络第二损失函数,计算公式为:

其中,Loss

修改之后的权重系数更新的学生模型中目标检测网络损失函数为目标检测网络第一损失函数,计算公式为:

其中,Loss

在一实施例中,将当前权重系数更新的学生模型作为半监督目标检测模型之后,方法还包括:

将待测图像输入半监督目标检测模型,得到待测图像的检测结果。

获得训练好的半监督检测模型之后,可以基于该半监督目标检测模型对新的待测图像中目标对象进行预测,即直接将待测图像输入半监督目标检测模型,通过半监督目标检测模型输出检测结果。

请参见图3,图3是本申请的一示例性实施例示出的一种具体的半监督目标检测模型训练方法的流程图。如图3所示,

首先利用含有目标对象的目标坐标和目标类别的标注数据集对权重系数随机化的教师模型的目标检测网络进行训练,以及将目标坐标对应的区域进行裁剪获得目标区域,并将目标类别作为目标区域的标签,训练权重系数随机化的教师模型的图像分类网络。

然后使用训练后获得的权重系数更新的教师模型,对无标注数据集进行预测,即利用训练后的权重系数更新的教师模型中的目标检测网络对无标注数据集中目标对象的坐标,获得伪目标坐标,并将伪目标坐标对应的区域进行裁剪,获得伪目标区域,再利用训练后的权重系数更新的教师模型中的图像分类网络对伪目标区域进行预测,获得伪目标类别。

紧接着,通过标注数据集中目标对象的目标坐标和无标注数据中目标对象的伪目标坐标对权重系数随机化的学生模型中的目标检测网络进行训练,标注数据集中目标对象的目标类别和无标注数据中目标对象的伪目标类别对权重系数随机化的学生模型中的图像分类网络进行训练,获得训练后的权重系数更新的学生模型。

进一步地,利用训练后的权重系数更新的学生模型的权重系数,更新训练后的权重系数更新的教师模型的权重系数,当权重系数更新的学生模型中图像分类网络的训练损失值小于第一预设阈值时,修改权重系数更新的学生模型中计算目标检测网络的训练损失值的损失函数,继续进行权重系数更新的教师模型与权重系数更新的学生模型的迭代训练。

最后,判断权重系数更新的教师模型的权重系数与权重系数更新的学生模型的权重系数的差值是否小于第二预设阈值T。当权重系数更新的教师模型的权重系数与权重系数更新的学生模型的权重系数的差值不小于第二预设阈值T时,继续进行权重系数更新的教师模型与权重系数更新的学生模型的迭代训练,即继续通过权重系数更新的学生模型的权重系数,更新权重系数更新的教师模型的权重系数;当权重系数更新的教师模型的权重系数与权重系数更新的学生模型的权重系数的差值小于第二预设阈值T时,则结束训练,将当前权重系数更新的学生模型作为半监督目标检测模型。

请参见图4,图4是本申请的一示例性实施例示出的半监督目标检测模型训练方装置的框图。如图4所示,本实施例提供了一种半监督目标检测模型训练装置400,该装置包括:

数据集获取模块401,用于获取标注数据集与无标注数据集,标注数据集内的图像样本携带目标对象的目标坐标和目标类别;

教师模型训练模块402,用于构建包含相同目标检测网络和图像分类网络的权重系数随机化的教师模型与权重系数随机化的学生模型,利用标注数据集对权重系数随机化的教师模型进行训练,获得权重系数更新的教师模型;

预测模块403,用于使用权重系数更新的教师模型对无标注数据集中目标对象进行预测,获得伪目标坐标和伪目标类别;

学生模型训练模块404,用于根据目标坐标、目标类别、伪目标坐标以及伪目标类别联合训练权重系数随机化的学生模型,获得权重系数更新的学生模型;

权重系数更新模块405,用于基于权重系数更新的学生模型的权重系数,更新权重系数更新的教师模型的权重系数,直至两者间的权重系数符合预设条件,将当前权重系数更新的学生模型作为半监督目标检测模型。

请参见图5,图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是,图5示出的电子设备的计算机系统500仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。

如图5所示,计算机系统500包括中央处理单元(Central Processing Unit,CPU)501,其可以根据存储在只读存储器(Read-Only Memory,ROM)502中的程序或者从储存部分508加载到随机访问存储器(Random Access Memory,RAM)503中的程序而执行各种适当的动作和处理,例如执行上述实施例中的方法。在RAM503中,还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output,I/O)接口505也连接至总线504。

以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分507;包括硬盘等的储存部分508;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入储存部分508。

特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的各种功能。

需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。

本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本实施例中的任一项方法。

本公开实施例中的计算机可读存储介质,本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例公开的电子设备,包括处理器、存储器、收发器和通信接口,存储器和通信接口与处理器和收发器连接并完成相互间的通信,存储器用于存储计算机程序,通信接口用于进行通信,处理器和收发器用于运行计算机程序,使电子设备执行如上方法的各个步骤。

在本实施例中,存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。

上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、图形处理器(Graphics Processing Unit,简称GPU),网络处理器(NetworkProcessor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

以上描述和附图充分地示出了本公开的实施例,以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求,否则单独的部件和功能是可选地,并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且,本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的,除非上下文清楚地表明,否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地,如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外,当用于本申请中时,术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素,和/或组件的存在,但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中,每个实施例重点说明的可以是与其他实施例的不同之处,各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言,如果其与实施例公开的方法部分相对应,那么相关之处可以参见方法部分的描述。

本领域技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

本文所披露的实施例中,所揭露的方法、产品(包括但不限于装置、设备等),可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,可以仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些子样本可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外,在本公开实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中,不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生,有时不同的操作或步骤之间不存在特定的顺序。例如,两个连续的操作或步骤实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

技术分类

06120115921329