目标分割模型的训练方法、目标分割方法及设备

技术领域

本公开总体说来涉及人工智能领域，更具体地讲，涉及一种目标分割模型的训练方法及设备、目标分割方法及设备。

背景技术

图像目标分割是一项非常重要的计算机视觉任务，它在图像检索、视觉跟踪、图片编辑及影视制作等中有多种应用。

在相关技术中，通过使用合适的方法来提升图像目标分割的效果，例如，将深度神经网络应用于图像目标分割中，从深度网络提取的高层语义特征能够从复杂场景中更准确地辨别目标物体和背景，从而极大地提升了目标分割的效果。此外，还可通过利用精细细节、全局语义、卷积神经网络注意力机制以及边缘信息等来提升用于图像目标分割的算法模型的性能。

发明内容

本公开的示例性实施例在于提供一种目标分割模型的训练方法、目标分割方法及设备，其能够从训练数据集的标注精准度的角度来提升目标分割模型的性能、图像目标分割的效果。

根据本公开实施例的第一方面，提供一种目标分割模型的训练方法，包括：获取多个训练样本，其中，每个训练样本包括带有目标分割真实值的标注的图像；将所述多个训练样本中的每个训练样本输入所述目标分割模型，获得目标分割预测值；基于每个训练样本的目标分割预测值、目标分割真实值、目标分割真实值的标注精准度，计算用于所述目标分割模型的损失函数；基于计算的用于所述目标分割模型的损失函数，对所述目标分割模型进行训练；其中，训练样本的目标分割真实值的标注精准度指示训练样本中实际目标分割区域被标注的准确度和精细度。

可选地，所述基于每个训练样本的目标分割预测值、目标分割真实值、目标分割真实值的标注精准度，计算用于所述目标分割模型的损失函数的步骤包括：基于每个训练样本的目标分割预测值和目标分割真实值计算每个训练样本的损失函数；基于每个训练样本的损失函数及其对用于所述目标分割模型的损失函数的贡献程度，计算用于所述目标分割模型的损失函数；其中，训练样本的目标分割真实值的标注精准度越高，该训练样本的损失函数对所述目标分割模型的损失函数的贡献程度越大。

可选地，每个训练样本的损失函数按照该训练样本的目标分割真实值的标注精准度被设置相应的权重值，其中，所述贡献程度通过所述权重值来表征，训练样本的目标分割真实值的标注精准度越高，该训练样本的损失函数的权重值越高；其中，所述基于每个训练样本的损失函数及其对用于所述目标分割模型的损失函数的贡献程度，计算用于所述目标分割模型的损失函数的步骤包括：基于每个训练样本的损失函数及其权重值，计算用于所述目标分割模型的损失函数。

可选地，按照标注精准度所述多个训练样本被划分为N个等级，同一等级中的训练样本的损失函数的权重值相同，其中，N为大于0的整数。

可选地，所述多个训练样本满足下述条件：标注精准度等级越高，其中的训练样本的数量越多。

可选地，所述多个训练样本包括：使用机器学习模型完成标注的训练样本。

可选地，用于所述目标分割模型的损失函数L如下式：

其中，T

根据本公开实施例的第二方面，提供一种目标分割方法，包括：获取待预测样本；将所述待预测样本输入到，通过执行如权利要求1至7之中任一权利要求所述的方法而训练完成的目标分割模型，获得预测的目标分割结果。

根据本公开实施例的第三方面，提供一种目标分割模型的训练设备，包括：训练样本获取单元，被配置为获取多个训练样本，其中，每个训练样本包括带有目标分割真实值的标注的图像；预测值获取单元，被配置为将所述多个训练样本中的每个训练样本输入所述目标分割模型，获得目标分割预测值；损失函数计算单元，被配置为基于每个训练样本的目标分割预测值、目标分割真实值、目标分割真实值的标注精准度，计算用于所述目标分割模型的损失函数；训练单元，被配置为基于计算的用于所述目标分割模型的损失函数，对所述目标分割模型进行训练；其中，训练样本的目标分割真实值的标注精准度指示训练样本中实际目标分割区域被标注的准确度和精细度。

可选地，损失函数计算单元被配置为基于每个训练样本的目标分割预测值和目标分割真实值计算每个训练样本的损失函数；并基于每个训练样本的损失函数及其对用于所述目标分割模型的损失函数的贡献程度，计算用于所述目标分割模型的损失函数；其中，训练样本的目标分割真实值的标注精准度越高，该训练样本的损失函数对所述目标分割模型的损失函数的贡献程度越大。

可选地，每个训练样本的损失函数按照该训练样本的目标分割真实值的标注精准度被设置相应的权重值，其中，所述贡献程度通过所述权重值来表征，训练样本的目标分割真实值的标注精准度越高，该训练样本的损失函数的权重值越高；其中，损失函数计算单元被配置为基于每个训练样本的损失函数及其权重值，计算用于所述目标分割模型的损失函数。

可选地，按照标注精准度所述多个训练样本被划分为N个等级，同一等级中的训练样本的损失函数的权重值相同，其中，N为大于0的整数。

可选地，所述多个训练样本满足下述条件：标注精准度等级越高，其中的训练样本的数量越多。

可选地，所述多个训练样本包括：使用机器学习模型完成标注的训练样本。

可选地，用于所述目标分割模型的损失函数L如下式：

其中，T

根据本公开实施例的第四方面，提供一种目标分割设备，包括：待预测样本获取单元，被配置为获取待预测样本；预测结果获取单元，被配置为将所述待预测样本输入到，通过如上所述的目标分割模型的训练设备而训练完成的目标分割模型，获得预测的目标分割结果。

根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的目标分割模型的训练方法和/或如上所述的目标分割方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，当述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的目标分割模型的训练方法和/或如上所述的目标分割方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现如上所述的目标分割模型的训练方法和/或如上所述的目标分割方法。

本公开的实施例提供的技术方案至少带来以下有益效果：在模型训练过程中计算目标分割模型的损失函数时考虑训练样本的目标分割真实值的标注精准度，解决了在训练数据集标注精准度参差不齐的情况下，使用标注精准度较低的训练样本训练模型，使得模型的性能较差的问题。并且，通过限制不同标注精准度等级的训练样本的损失函数对目标分割模型的损失函数的贡献，即加大标注精准度较高的训练样本集对模型训练的贡献，减小标注精准度较低的训练样本集对模型训练的贡献，可以更有效地提取不同标注精准度等级的训练样本中的有效信息，充分发挥各种不同标注精准度等级的训练样本的作用，最大化模型算法性能，从而提升目标分割模型的性能(例如，预测效果、稳定性等)、提升图像目标分割的效果。

此外，由于在计算目标分割模型的损失函数时充分考虑了训练样本的目标分割真实值的标注精准度，而无需完全剔除标注精准度较低的训练样本，还可以使用通过机器学习模型自动标注完成的训练样本来训练目标分割模型而不会影响模型的训练效果，从而能够解决训练数据集数量欠缺的问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1示出根据本公开示例性实施例的目标分割模型的训练方法的流程图；

图2示出根据本公开示例性实施例的目标分割方法的流程图；

图3示出根据本公开示例性实施例的目标分割模型的训练设备的结构框图；

图4示出根据本公开示例性实施例的目标分割设备的结构框图；

图5示出根据本公开示例性实施例的电子设备的结构框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括A和B之中的至少一个”即包括如下三种并列的情况：(1)包括A；(2)包括B；(3)包括A和B。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。

图1示出根据本公开示例性实施例的目标分割模型的训练方法的流程图。所述目标分割模型为用于图像目标分割的机器学习模型。

参照图1，在步骤S101，获取多个训练样本，其中，每个训练样本包括带有目标分割真实值的标注的图像。

作为示例，带有目标分割真实值的标注的图像可以是：其中的一些像素被标注为属于目标分割区域的图像。

在步骤S102，将所述多个训练样本中的每个训练样本输入所述目标分割模型，获得目标分割预测值。

在步骤S103，基于每个训练样本的目标分割预测值、目标分割真实值、目标分割真实值的标注精准度(下面，也称为训练样本的标注精准度)，计算用于所述目标分割模型的损失函数。

训练样本的目标分割真实值的标注精准度指示训练样本中实际目标分割区域被标注的准确度和精细度。

应该理解，被标注(例如，人工手动标注或模型自动标注)的目标分割真实值相对于实际的目标分割区域可能会存在误标、漏标的情况，在本公开中，可使用训练样本中实际目标分割区域被标注的准确度来评价训练样本中实际目标分割区域被标注的准确程度或被标注的目标分割真实值的准确程度，例如，可从误标和漏标两方面来进行评价；此外，相同大小的图像，像素越高，精细程度越高，相应地，在标注目标分割真实值时对目标分割区域边缘的标注越精细，在本公开中，可使用训练样本中实际目标分割区域被标注的精细度来评价训练样本中实际目标分割区域被标注的精细程度，例如，可从图像的像素方面来进行评价。

作为示例，可基于每个训练样本的目标分割预测值和目标分割真实值计算每个训练样本的损失函数；并基于每个训练样本的损失函数及其对用于所述目标分割模型的损失函数的贡献程度，计算用于所述目标分割模型的损失函数，其中，训练样本的标注精准度越高，该训练样本的损失函数对所述目标分割模型的损失函数的贡献程度越大。

作为示例，每个训练样本的损失函数可按照该训练样本的标注精准度被设置相应的权重值，其中，所述贡献程度通过所述权重值来表征，训练样本的标注精准度越高，该训练样本的损失函数的权重值越高；相应地，所述基于每个训练样本的损失函数及其对用于所述目标分割模型的损失函数的贡献程度，计算用于所述目标分割模型的损失函数的步骤可包括：基于每个训练样本的损失函数及其权重值，计算用于所述目标分割模型的损失函数。

作为示例，按照标注精准度所述多个训练样本可被划分为N个等级，同一等级中的训练样本的损失函数的权重值相同，其中，N为大于0的整数。换言之，针对同一等级中的训练样本的损失函数可统一赋予同一权重值，且该权重值的赋予与该等级的标注精准度有关，且标注精准度越高，所赋予的权重值越高。

作为示例，所述N个等级可为：l

作为示例，可预先设置每个等级对应的标注精准度的范围，从而，可将标注精准度属于该范围的训练样本，划分到该等级下。作为另一示例，可根据所述多个训练样本的标注精准度从高到低进行排序并按照排序来划分等级。

此外，作为示例，所述多个训练样本可满足下述条件：标注精准度等级越高，其中的训练样本的数量越多，即，满足n

作为示例，可基于训练样本的标注精准度，从众多训练样本中筛选出所述多个训练样本，用于对所述目标分割模型进行训练。例如，可按照标注精准度将众多训练样本划分为N个等级，然后，基于各个等级的标注精准度，删除部分训练样本以调整各个等级中训练样本的数量，使得标注精准度等级越高，其中的训练样本的数量越多，剩余的训练样本即所述多个训练样本。

作为示例，所述多个训练样本可包括：使用机器学习模型完成标注的训练样本。例如，所述机器学习模型可以是专门用于对样本进行标注的机器学习模型。根据本公开的示例性实施例，通过使用机器学习模型自动标注完成的训练样本来训练目标分割模型，并基于训练样本的标注精准度来决定训练样本对模型训练的贡献，从而在解决训练数据集的训练样本数量不足的问题的同时，也保证了所训练的模型的性能。

作为示例，用于所述目标分割模型的损失函数L可如式(1)所示：

其中，T

作为示例，损失函数f()可以是各种类型的适于目标分割任务的损失函数。例如，可以是二分类交叉熵损失函数。

应该理解，所述目标分割模型为采用适合的机器学习算法的机器学习模型。例如，可使用深度神经网络作为所述目标分割模型的机器学习算法。作为示例，所述目标分割模型可以是用于图像显著性目标分割的机器学习模型，应该理解，也可以是其他类型的目标分割模型。

在步骤S104，基于计算的用于所述目标分割模型的损失函数，对所述目标分割模型进行训练。

图2示出根据本公开示例性实施例的目标分割方法的流程图。

参照图2，在步骤S201，获取待预测样本。

在步骤S202，将所述待预测样本输入到，通过执行如上述示例性实施例所述的训练方法而训练完成的目标分割模型，获得预测的目标分割结果。

图3示出根据本公开示例性实施例的目标分割模型的训练设备的结构框图。

如图3所示，根据本公开示例性实施例的目标分割模型的训练设备10包括：训练样本获取单元101、预测值获取单元102、损失函数计算单元103、以及训练单元104。

具体说来，训练样本获取单元101被配置为获取多个训练样本，其中，每个训练样本包括带有目标分割真实值的标注的图像。

预测值获取单元102被配置为将所述多个训练样本中的每个训练样本输入所述目标分割模型，获得目标分割预测值。

损失函数计算单元103被配置为基于每个训练样本的目标分割预测值、目标分割真实值、目标分割真实值的标注精准度，计算用于所述目标分割模型的损失函数。

训练单元104被配置为基于计算的用于所述目标分割模型的损失函数，对所述目标分割模型进行训练；其中，训练样本的目标分割真实值的标注精准度指示训练样本中实际目标分割区域被标注的准确度和精细度。

作为示例，损失函数计算单元103可被配置为基于每个训练样本的目标分割预测值和目标分割真实值计算每个训练样本的损失函数；并基于每个训练样本的损失函数及其对用于所述目标分割模型的损失函数的贡献程度，计算用于所述目标分割模型的损失函数；其中，训练样本的目标分割真实值的标注精准度越高，该训练样本的损失函数对所述目标分割模型的损失函数的贡献程度越大。

可选地，每个训练样本的损失函数按照该训练样本的目标分割真实值的标注精准度可被设置相应的权重值，其中，所述贡献程度通过所述权重值来表征，训练样本的目标分割真实值的标注精准度越高，该训练样本的损失函数的权重值越高；其中，损失函数计算单元103可被配置为基于每个训练样本的损失函数及其权重值，计算用于所述目标分割模型的损失函数。

可选地，按照标注精准度所述多个训练样本可被划分为N个等级，同一等级中的训练样本的损失函数的权重值相同，其中，N为大于0的整数。

可选地，所述多个训练样本可满足下述条件：标注精准度等级越高，其中的训练样本的数量越多。

可选地，所述多个训练样本可包括：使用机器学习模型完成标注的训练样本。

可选地，用于所述目标分割模型的损失函数L可如式(1)所示。

图4示出根据本公开示例性实施例的目标分割设备的结构框图。

如图4所示，根据本公开示例性实施例的目标分割设备20包括：待预测样本获取单元201和预测结果获取单元202。

具体说来，待预测样本获取单元201被配置为获取待预测样本。

预测结果获取单元202被配置为将所述待预测样本输入到，通过如上述示例性实施例所述的目标分割模型的训练设备10而训练完成的目标分割模型，获得预测的目标分割结果。

关于上述实施例中的设备，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

此外，应该理解，根据本公开示例性实施例的目标分割模型的训练设备10和目标分割设备20中的各个单元可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个单元所执行的处理，可以例如使用现场可编程门阵列(FPGA)或专用集成电路(ASIC)来实现各个单元。

图5示出根据本公开示例性实施例的电子设备的结构框图。参照图5，该电子设备30包括：至少一个存储器301和至少一个处理器302，所述至少一个存储器301中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器302执行时，执行如上述示例性实施例所述的目标分割模型的训练方法和/或如上述示例性实施例所述的目标分割方法。

作为示例，电子设备30可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备30并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备30还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。

在电子设备30中，处理器302可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器302还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理器302可运行存储在存储器301中的指令或代码，其中，存储器301还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。

存储器301可与处理器302集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器301可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器301和处理器302可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器302能够读取存储在存储器中的文件。

此外，电子设备30还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备30的所有组件可经由总线和/或网络而彼此连接。

根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行如上述示例性实施例所述的目标分割模型的训练方法和/或如上述示例性实施例所述的目标分割方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由至少一个处理器执行以完成如上述示例性实施例所述的目标分割模型的训练方法和/或如上述示例性实施例所述的目标分割方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。