掌桥专利:专业的专利平台
掌桥专利
首页

深度学习模型训练方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 09:30:39


深度学习模型训练方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域,具体而言,涉及一种深度学习模型训练方法、装置、电子设备及存储介质。

背景技术

随着深度学习的兴起,监督学习的性能变得越来越强大,但是其强大的性能需要依赖于海量的人工标注的训练数据,而对海量的图像数据进行标注是一件需要耗费大量的人力物力及时间的任务;另一方面,无监督学习虽然不需要数据标注,但是因为没有真实的标签进行训练,只能依赖于一些先验知识去设计算法或人为的给定一些监督信息很弱的标签,其性能和监督学习存在着明显的差距。

半监督学习同时利用带标注的图像数据和不带标注的图像数据训练模型,能够有效的减少模型对带标签图像数据的需求量;其中,不带标注的图像数据虽然没法提供真实的标签来进行监督学习,但是他们却可以反映出真实图像的数据分布,以及帮助网络学习到一个很好的图像数据的表征。通过挖掘潜藏在数据分布信息中的图像数据的特征或更好的表征图像数据,可以帮助模型更好的学习图像识别任务。

然而,目前对于深度学习模型的半监督学习方案,例如基于生成对抗网络(Generative Adversarial Networks,GAN)的半监督学习方案,模型训练方案的针对性较强,难以适用于其他模型的训练。

发明内容

本申请的目的在于提供一种深度学习模型训练方法、装置、电子设备及存储介质,提升了模型训练的泛化性。

为了实现上述目的,本申请实施例采用的技术方案如下:

第一方面,本申请实施例提供一种深度学习模型训练方法,所述方法包括:

获得第一训练图像集和第二训练图像集,其中,所述第一训练图像集包含多个无标签图像,所述第二训练图像集包含多个有标签图像;

分别以所述第一训练图像集和所述第二训练图像集作为所述深度学习模型的输入,得到第一损失函数及第二损失函数,其中,所述第一损失函数为所述第一训练图像集作为输入训练所述深度学习模型时的损失函数,所述第二损失函数为所述第二训练图像集作为输入训练所述深度学习模型时的损失函数;

根据所述第一损失函数及所述第二损失函数,更新所述深度学习模型的模型参数。

第二方面,本申请实施例提供一种深度学习模型训练装置,所述装置包括:

处理模块,用于获得第一训练图像集和第二训练图像集,其中,所述第一训练图像集包含多个无标签图像,所述第二训练图像集包含多个有标签图像;

所述处理模块还用于,分别以所述第一训练图像集和所述第二训练图像集作为所述深度学习模型的输入,得到第一损失函数及第二损失函数,其中,所述第一损失函数为所述第一训练图像集作为输入训练所述深度学习模型时的损失函数,所述第二损失函数为所述第二训练图像集作为输入训练所述深度学习模型时的损失函数;

更新模块,用于根据所述第一损失函数及所述第二损失函数,更新所述深度学习模型的模型参数。

第三方面,本申请实施例提供一种电子设备,所述电子设备包括存储器,用于存储一个或多个程序;处理器。当所述一个或多个程序被所述处理器执行时,实现上述的深度学习模型训练方法。

第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的深度学习模型训练方法。

本申请实施例提供的一种深度学习模型训练方法、装置、电子设备及存储介质,采用包含多个无标签图像的第一训练图像集,以及包含多个有标签图像的第二训练图像集,作为深度学习模型的输入,并利用第一训练图像集和第二训练图像集对应得到的第一损失函数和第二损失函数,更新深度学习模型的模型参数,相比于现有技术,使深度学习模型在被训练时,无需考虑模型结构特性,而是结合无监督学习和监督学习一起更新模型参数,使模型的训练方法不再被限制于特定的模型结构,提升了模型训练的泛化性。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。

图1为基于生成对抗网络的半监督学习方法的一种示意性框架图;

图2为本申请实施例提供的电子设备的一种示意性结构框图;

图3为本申请实施例提供的深度学习模型训练方法的一种示意性流程图;

图4为本申请实施例提供的深度学习模型的一种示意性训练场景图;

图5为图3中S203的子步骤的一种示意性流程图;

图6为图3中S203的子步骤的另一种示意性流程图;

图7为图3中S205的子步骤的一种示意性流程图;

图8为本申请实施例提供的深度学习模型训练装置的一种示意性结构图;

图中:100-电子设备;101-存储器;102-处理器;103-通信接口;300-深度学习模型训练装置;301-处理模块;302-更新模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在例如上述的基于生成对抗网络的半监督学习方案,该学习方案的主要思想在于利用生成对抗网络学习到真实的输入图像数据的分布(例如包含有标签图像和无标签图像),然后由生成对抗网络将图像数据的分布信息更新在鉴别器的权重参数中,鉴别器通过将权重参数共享给分类器,进而将图像数据的分布信息传递给分类器,从而使分类器更好的预测图像的类别。

示例性地,请参阅图1,图1为基于生成对抗网络的半监督学习方法的一种示意性框架图,基于生成对抗网络的半监督学习框架主要包含生成器、鉴别器及分类器。

其中,生成器由多层反卷积模型组成,能够利用N维的从高斯分布中采样的随机噪声生成假图像;鉴别器包含多层卷积模型,它被训练为从真实的图像和生成器生成的假图像中识别出假图像;分类器和鉴别器共享权重参数及网络结构,分类器接受真实图像数据(包括有标签图像数据和无标签图像数据)输出真实图像的类别(假设真实图像中存在K个类别)。

通过生成器和鉴别器的对抗训练,生成器生成的假图像会与真实图像越来越多接近,而鉴别器为了更加准确的区分真实图像与生成器生成的假图像,也会更加准确的获悉真实图像数据的分布,并把该分布信息更新在其权重参数中,进而使分类器能够通过与鉴别器共用权重参数,对图像的真假以及类别做出更准确的预测。

但对于上述训练过程,例如对基于生成对抗网络的半监督学习方案,由于生成对抗网络本来的结构特性,限制了分类网络的结构设计的自由空间,导致该模型训练方案的针对性较强,若模型的结构甚至类型发生了变化,则该模型训练方案难以适用于其他模型的训练过程。

基于上述缺陷,本申请实施例提供的一种可能的实现方式为;采用包含多个无标签图像的第一训练图像集,以及包含多个有标签图像的第二训练图像集,作为深度学习模型的输入,并利用第一训练图像集和第二训练图像集对应得到的第一损失函数和第二损失函数,更新深度学习模型的模型参数。

下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。

请参阅图2,图2为本申请实施例提供的电子设备100的一种示意性结构框图。该电子设备100可作为训练深度学习模型、以实现本申请实施例提供的深度学习模型训练方法的设备,比如但手机、个人电脑(personal computer,PC)、平板电脑、膝上型便携计算机等等。

其中,电子设备100包括存储器101、处理器102和通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

存储器101可用于存储软件程序及模块,如本申请实施例提供的深度学习模型训练装置300对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

其中,存储器101可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。

处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解,图2所示的结构仅为示意,电子设备100还可以包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。

下面以图2中提供的电子设备100作为示意性执行主体为例,对本申请实施例提供的深度学习模型训练方法进行进一步说明。

请参阅图3,图3为本申请实施例提供的深度学习模型训练方法的一种示意性流程图,包括以下步骤:

S201,获得第一训练图像集和第二训练图像集。

其中,第一训练图像集包含多个无标签图像,第一训练图像集包含的多个无标签图像用于深度学习模型进行无监督学习;第二训练图像集包含多个有标签图像,第二训练图像集包含的多个有标签图像用于深度学习模型进行监督学习。

S203,分别以第一训练图像集和第二训练图像集作为深度学习模型的输入,得到第一损失函数及第二损失函数。

其中,第一损失函数为第一训练图像集作为输入训练深度学习模型时的损失函数,第二损失函数为第二训练图像集作为输入训练深度学习模型时的损失函数。

S205,根据第一损失函数及第二损失函数,更新深度学习模型的模型参数。

在本申请实施例中,采用第一训练图像集和第二训练图像集两个训练图像集对深度学习模型进行训练。

在对深度学习模型进行训练时,分别将获得的第一训练图像集和第二训练图像集作为该深度学习模型的输入,得到第一损失函数和第二损失函数。

比如,示例性地,请参阅图4,图4为本申请实施例提供的深度学习模型的一种示意性训练场景图,该深度学习模型可以由多层卷积模型所组成,能够同时接受第一训练图像集和第二训练图像集两种类型的训练图片的输入;其中,由于第一训练图像集为多个无标签图像的集合,因此,当第一训练图像集作为该深度学习模型的输入时,则深度学习模型进行的是无监督学习,相应地,第一损失函数则为深度学习模型在无监督学习下的损失函数;另一方面,由于第二训练图像集为多个有标签图像的集合,因此,当第二训练图像集作为该深度学习模型的输入时,则深度学习模型进行的是监督学习,相应地,第二损失函数则为深度学习模型在监督学习下的损失函数。

值得说明的是,在本申请实施例一些可能的应用场景中,第一训练图像集和第二训练图像集可以同时作为深度学习模型的输入,进而分别计算损失后,得到第一损失函数和第二损失函数;另外,在本申请实施例其他一些可能的应用场景中,还可以是先将第一训练图像集作为深度学习模型的输入,进而计算损失后,得到第一损失函数,然后再将第二训练图像集作为深度学习模型的输入,进而在计算损失后,得到第二损失函数;本申请实施例对此并不做限定,第一训练图像集与第二训练图像集的输入顺序以及第一损失函数与第二损失函数的计算顺序视具体的应用场景而定,只要第一训练图像集和第二训练图像集分别作为深度学习模型的输入,并分别计算损失后,能够得到第一损失函数和第二损失函数即可。

由此,根据第一训练图像集和第二训练图像集分别训练深度学习模型得到的第一损失函数和第二损失函数,更新深度学习模型的模型参数,使深度学习模型在被训练时,结合无监督学习和监督学习一起更新模型参数,直至训练的深度学习模型收敛。

基于上述设计,本申请实施例提供的深度学习模型训练方法,采用包含多个无标签图像的第一训练图像集,以及包含多个有标签图像的第二训练图像集,作为深度学习模型的输入,并利用第一训练图像集和第二训练图像集对应得到的第一损失函数和第二损失函数,更新深度学习模型的模型参数,相比于现有技术,使深度学习模型在被训练时,无需考虑模型结构特性,而是结合无监督学习和监督学习一起更新模型参数,使模型的训练方法不再被限制于特定的模型结构,提升了模型训练的泛化性。

值得说明的是,一般来说,有标签图像数据依赖人工对海量的无标签图像进行标注,需要耗费大量的人力物力以及时间。

因此,可选地,作为一种可能的实现方式,第一训练图像集中包含的无标签图像的数量,大于第二训练图形集包含的有标签图像的数量。即:在本申请实施例中,采用海量的无标签图片的无监督训练,使深度学习模型能够对图片数据进行特征提起,以便利深度学习模型学习图像识别任务,而减少有标签图片数据的使用量,从而减少需要训练深度学习模型的人力和物理,使深度学习模型在利用半监督学习方案时更容易被训练。

另外,为实现S203中得到第一损失函数的目的,可选地,请参阅图5,图5为图3中S203的子步骤的一种示意性流程图,作为一种可能的实现方式,S203包括以下子步骤:

S203-1,将第一训练图像集中的每一图片均缺失图像块,得到第三训练图像集。

S203-2,将第三训练图像集作为深度学习模型的输入,得到还原训练图像集。

其中,还原训练图像集中的每一图片均由深度学习模型根据对应缺失图像块的图片还原得到。

S203-3,根据还原训练图像集和第一训练图像集计算损失,得到第一损失函数。

在利用第一训练图像集对深度学习模型进行无监督学习时,对于第一训练图像集中的每一图片,均采用缺失图像块的方式,进而由缺失图像块后的所有图片,集合得到第三训练图像集。

其中,值得说明的是,一般情况下,第一训练图像集与第三训练图像集具有相同数量的图片,且第一训练图像集与第三训练图像集的图片之间,能够相互一一对应,区别仅在于,第三训练图像集中包含的图片与第一训练图像集中对应的图片相比,缺失图像块。

由此,将第三训练图像集作为深度学习模型的输入,进而由深度学习模型对第三训练图像集中的每一图片进行还原,进而将还原得到的所有图片,集合得到还原训练图像集。

其中,值得说明的是,一般情况下,还原训练图像集与第一训练图像集具有相同数量的图片,且还原训练图像集与第一训练图像集的图片之间,能够相互一一对应,区别仅在于,第一训练图像集中包含的图片为原图,而还原训练图像集中对应的图片为经由对应的缺失图像块后的图片还原得到。

显然,可以理解的是,由于还原训练图像集中对应的图片,为经由对应的缺失图像块后的图片还原得到,则还原训练图像集中包含的图片,与第一训练图像集中对应的原图,可能会存在差异,通过还原得到的图片与原图之间存在的差异,可使深度学习模型学习到提取图片的特征。

因此,根据得到的还原训练图像集和第一训练图像集计算损失,进而得到深度学习模型在无监督学习下的第一损失函数。

基于上述设计,本申请实施例提供的深度学习模型训练方法,通过将训练图像集中的图片缺失图像块后,由深度学习模型将缺失图像块后的图片进行还原,进而再由还原图片与缺失图像块之前的原图计算损失函数,使深度学习模型进行自监督学习时,通过还原得到的图片与缺失图像块之前的原图两者间的差异,提取图片的特征进行学习,而无需学习训练图像集中图像的分布信息,避免因图像数据不准确导致模型性能变差。

可选地,作为一种可能的实现方式,在实现S203-1时,得到第三训练图像集的方式可以为:

通过随机缺失第一训练图像集中的每一图片设定尺寸大小的图像块,将所有缺失图像块后的图片集合得到第三训练图像集。

可以理解的是,上述实现S203-1的方式仅为一种可能的实现方式,采用按照设定尺寸大小,随机缺失图像块;在本申请实施例其他一些可能的应用场景中,还可以通过其他的方式缺失图像集,以获得第三训练图像集,比如通过设定的坐标点,缺失固定的图像块的方式,获得第三训练图像集,本申请不对缺失图像块的方式进行限制,这取决于具体的应用场景而定。

另一方面,为实现S203中得到第二损失函数的目的,可选地,请参阅图6,图6为图3中S203的子步骤的另一种示意性流程图,作为另一种可能的实现方式,S203包括以下子步骤:

S203-6,将第二训练图像集作为深度学习模型的输入,得到第二训练图像集中每一图片各自对应的训练标签。

S203-7,根据第二训练图像集中每一图片各自对应的训练标签及实际标签计算损失,得到第二损失函数。

在利用第二训练图像集对深度学习模型进行监督学习时,将第二训练图像集作为深度学习模型的输入,由深度学习模型对第二训练图像集中的每一图片的标签进行预测,进而得到第二训练图像集中每一图片各自对应的训练标签。

在本申请实施例中,深度学习模型对每一图片预测的训练标签可能与每一图片各自对应的实际标签有所差异,因此,在本申请实施例中,根据深度学习模型对第二训练图像集中每一图片各自对应预测的训练标签,以及每一图片各自对应的实际标签计算损失,进而得到深度学习模型在监督学习下的第二损失函数。

为实现上述S205,可选地,请参阅图7,图7为图3中S205的子步骤的一种示意性流程图,作为一种可能的实现方式,S205包括以下子步骤:

S205-1,分别以对应的缩放比例对第一损失函数及第二损失函数进行加权求和,得到训练损失总和。

S205-2,根据训练损失总和对深度学习模型的模型参数求得的梯度,更新深度学习模型的模型参数。

在利用第一损失函数和第二损失函数对深度学习模型的模型参数进行更新时,分别以对应的缩放比例对第一损失函数及第二损失函数进行加权求和,得到训练损失总和。

由此,根据加权求和得到的训练损失总和,对深度学习模型的模型参数求取梯度,进而根据求取的梯度,更新深度学习模型的模型参数。

其中,由于训练损失总和中即包含有第一损失函数的部分,也包含有第二损失函数的部分,即该训练损失总和不仅包含了深度学习模型在无监督学习下的学习信息,同样还包含了深度学习模型在监督学习下的学习信息,使得深度学习模型的模型参数在更新迭代时,无监督学习与监督学习同时对深度学习模型进行优化,两种学习方式相互促进,深度学习模型通过无标签图片的第一训练图像集学习到提取图片的特征,从而帮助模型对图片数据进行识别,提高模型的泛化性。

可选地,作为一种可能的实现方式,第一损失函数及第二损失函数各自对应的缩放比例均为1。

值得说明的是,在本申请实施例其他一些可能的实现方式中,还可以采用值作为第一损失函数和第二损失函数各自对应的缩放比例,比如第一损失函数对应的缩放比例为0.5,第二损失函数对应的缩放比例为0.8,这取决于具体的应用场景而定,比如,在本申请实施例其他一些可能的应用场景中,还可以将第一损失函数对应的缩放比例设置为0.6,第二损失函数对应的缩放比例设置为0.9。

另外,在本申请实施例一些可能的实现方式中,第一损失函数和第二损失函数各自对应的缩放比例,可以是深度学习模型在训练前,预存于训练的设备中,在本申请实施例其他一些可能的实现方式中,还可以是深度学习模型在训练时,接收用户的输入而获得。

基于与本申请上述实施例提供的深度学习模型训练方法相同的发明构思,请参阅图8,图8为本申请实施例提供的深度学习模型训练装置300的一种示意性结构图,该深度学习模型训练装置300包括处理模型301及更新模块302。

处理模块301用于获得第一训练图像集和第二训练图像集,其中,第一训练图像集包含多个无标签图像,第二训练图像集包含多个有标签图像;

处理模块301还用于,分别以第一训练图像集和第二训练图像集作为深度学习模型的输入,得到第一损失函数及第二损失函数,其中,第一损失函数为第一训练图像集作为输入训练深度学习模型时的损失函数,第二损失函数为第二训练图像集作为输入训练深度学习模型时的损失函数;

更新模块302用于根据第一损失函数及第二损失函数,更新深度学习模型的模型参数。

可选地,作为一种可能的实现方式,处理模块301以第一训练图像集作为深度学习模型的输入,得到第一损失函数时,具体用于:

将第一训练图像集中的每一图片均缺失图像块,得到第三训练图像集;

将第三训练图像集作为深度学习模型的输入,得到还原训练图像集,其中,还原训练图像集中的每一图片均由深度学习模型根据对应缺失图像块的图片还原得到;

根据还原训练图像集和第一训练图像集计算损失,得到第一损失函数。

可选地,作为一种可能的实现方式,处理模块301将第一训练图像集中的每一图片均缺失图像块,得到第三训练图像集时,具体用于:

随机缺失第一训练图像集中的每一图片设定尺寸大小的图像块,将所有缺失图像块后的图片集合得到第三训练图像集。

可选地,作为一种可能的实现方式,第一训练图像集中包含的无标签图像的数量,大于第二训练图形集包含的有标签图像的数量。

可选地,作为一种可能的实现方式,处理模块301以第二训练图像集作为深度学习模型的输入,得到第二损失函数时,具体用于:

将第二训练图像集作为深度学习模型的输入,得到第二训练图像集中每一图片各自对应的训练标签;

根据第二训练图像集中每一图片各自对应的训练标签及实际标签计算损失,得到第二损失函数。

可选地,作为一种可能的实现方式,更新模块301在根据第一损失函数及第二损失函数,更新深度学习模型的模型参数时,具体用于:

分别以对应的缩放比例对第一损失函数及第二损失函数进行加权求和,得到训练损失总和;

根据训练损失总和对深度学习模型的模型参数求得的梯度,更新深度学习模型的模型参数。

可选地,作为一种可能的实现方式,第一损失函数及第二损失函数各自对应的缩放比例均为1。

在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。

也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

另外,在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述,本申请实施例提供的一种深度学习模型训练方法、装置、电子设备及存储介质,采用包含多个无标签图像的第一训练图像集,以及包含多个有标签图像的第二训练图像集,作为深度学习模型的输入,并利用第一训练图像集和第二训练图像集对应得到的第一损失函数和第二损失函数,更新深度学习模型的模型参数,相比于现有技术,使深度学习模型在被训练时,无需考虑模型结构特性,而是结合无监督学习和监督学习一起更新模型参数,使模型的训练方法不再被限制于特定的模型结构,提升了模型训练的泛化性。

并且,还通过将训练图像集中的图片缺失图像块后,由深度学习模型将缺失图像块后的图片进行还原,进而再由还原图片与缺失图像块之前的原图计算损失函数,使深度学习模型进行自监督学习时,通过还原得到的图片与缺失图像块之前的原图两者间的差异,提取图片的特征进行学习,而无需学习训练图像集中图像的分布信息,避免因图像数据不准确导致模型性能变差。

以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

相关技术
  • 深度学习模型训练方法及其装置、电子设备及存储介质
  • 深度学习模型训练方法、装置、电子设备及存储介质
技术分类

06120112197700