模型训练方法、装置、计算机设备及计算机存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种模型训练方法、一种模型训练装置、一种计算机设备及一种计算机存储介质。

背景技术

对象识别通常指利用机器对某一类对象进行识别、分析的技术，对象识别一般包括分类和检测两项任务，示例性地，分类可用于判断一幅图像是否包含某类对象，而检测则可用于标出这些对象的位置和大小。目前，通常是采用对象识别模型对图像实现对象识别的。由于对象识别结果的准确性和对象识别模型的性能息息相关，而对象识别模型的性能好坏与模型训练的方法紧密相关。因此，如何对该对象识别模型进行模型训练，以提升对象识别模型的性能成为了研究热点。

发明内容

本申请提供了一种模型训练方法、装置、计算机设备及计算机存储介质，可提升对象识别模型的性能。

一方面，本申请提供了一种模型训练方法，包括：

获取对象识别模型的样本集，所述样本集中包括多个标注图像，及各个标注图像的标注信息；任一标注图像的标注信息用于指示：所述任一标注图像中的一个或多个标注对象，以及每个标注对象所属的类别；

若根据所述各个标注图像的标注信息检测到所述样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例，N为大于1的正整数；

从所述样本集中确定所述每个类别的关联标注图像，并基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像；任一类别的关联标注图像是指：具有所述任一类别下的标注对象的标注图像；

将所述多个扩充图像和所述样本集中的各个标注图像，均作为所述对象识别模型的训练样本，并采用所述训练样本对所述对象识别模型进行模型训练。

一方面，本申请提供了一种模型训练装置，包括：

获取单元，用于获取对象识别模型的样本集，所述样本集中包括多个标注图像，及各个标注图像的标注信息；任一标注图像的标注信息用于指示：所述任一标注图像中的一个或多个标注对象，以及每个标注对象所属的类别；

所述获取单元，还用于若根据所述各个标注图像的标注信息检测到所述样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例，N为大于1的正整数；

处理单元，用于从所述样本集中确定所述每个类别的关联标注图像，并基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像；任一类别的关联标注图像是指：具有所述任一类别下的标注对象的标注图像；

训练单元，用于将所述多个扩充图像和所述样本集中的各个标注图像，均作为所述对象识别模型的训练样本，并采用所述训练样本对所述对象识别模型进行模型训练。

一方面，本申请提供了一种计算机设备，包括：

处理器，适于实现一条或多条计算机程序；

计算机存储介质，所述计算机存储介质存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行：

获取对象识别模型的样本集，所述样本集中包括多个标注图像，及各个标注图像的标注信息；任一标注图像的标注信息用于指示：所述任一标注图像中的一个或多个标注对象，以及每个标注对象所属的类别；若根据所述各个标注图像的标注信息检测到所述样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例，N为大于1的正整数；从所述样本集中确定所述每个类别的关联标注图像，并基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像；任一类别的关联标注图像是指：具有所述任一类别下的标注对象的标注图像；将所述多个扩充图像和所述样本集中的各个标注图像，均作为所述对象识别模型的训练样本，并采用所述训练样本对所述对象识别模型进行模型训练。

一方面，本申请提供了一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条多条指令，所述一条或多条指令适于由所述处理器加载并执行：

获取对象识别模型的样本集，所述样本集中包括多个标注图像，及各个标注图像的标注信息；任一标注图像的标注信息用于指示：所述任一标注图像中的一个或多个标注对象，以及每个标注对象所属的类别；若根据所述各个标注图像的标注信息检测到所述样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例，N为大于1的正整数；从所述样本集中确定所述每个类别的关联标注图像，并基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像；任一类别的关联标注图像是指：具有所述任一类别下的标注对象的标注图像；将所述多个扩充图像和所述样本集中的各个标注图像，均作为所述对象识别模型的训练样本，并采用所述训练样本对所述对象识别模型进行模型训练。

一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得计算机设备执行：

获取对象识别模型的样本集，所述样本集中包括多个标注图像，及各个标注图像的标注信息；任一标注图像的标注信息用于指示：所述任一标注图像中的一个或多个标注对象，以及每个标注对象所属的类别；若根据所述各个标注图像的标注信息检测到所述样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例，N为大于1的正整数；从所述样本集中确定所述每个类别的关联标注图像，并基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像；任一类别的关联标注图像是指：具有所述任一类别下的标注对象的标注图像；将所述多个扩充图像和所述样本集中的各个标注图像，均作为所述对象识别模型的训练样本，并采用所述训练样本对所述对象识别模型进行模型训练。

本申请通过在样本集中包括的各类标注对象的对象比例不均衡时，基于各类标注对象的对象扩充比例对各类标注对象的关联标注图像进行扩充，进而达到扩充各类标注对象的目的，可以有效地平衡样本集中各类标注对象的对象比例不均衡的问题，进一步地，采用扩充后的样本集对对象识别模型进行训练，可以有效地提高对象识别模型的性能。

附图说明

为了更清楚地说明本申请技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本申请提供的一种标注图像的示意图；

图1b是本申请提供的一种模型训练方法的流程示意图；

图2是本申请提供的一种模型训练方法的示意图；

图3a是本申请提供的一种标注图像的示意图；

图3b是本申请提供的一种扩充图像的示意图；

图3c是本申请提供的又一种扩充图像的示意图；

图4是本申请提供的一种模型训练方法的示意图；

图5a是本申请提供的一种样本扩充的示意流程图；

图5b是本申请提供的一种样本扩充流程的示意图；

图5c是本申请提供的一种确定目标区域的流程示意图；

图5d是本申请提供的一种样本扩充流程的示意图；

图5e是本申请提供的一种部分区域错位类型的样本扩充示意图；

图6是本申请提供的一种模型训练装置的结构示意图；

图7是本申请提供的一种计算机设备的架构示意图。

具体实施方式

随着计算机技术的蓬勃发展，人工智能(Artificial Intelligence，AI)技术也取得了较大进步。所谓的人工智能技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术；其主要通过了解智能的实质，生产出一种新的能以人类智能相似的方式做出反应的智能机器，使得智能机器具有感知、推理与决策等多种功能。相应的，AI技术是一门综合学科，其主要包括计算机视觉技术(Computer Vision，CV)、语音处理技术、自然语言处理技术以及机器学习(MachineLearning，ML)/深度学习等几大方向。

其中，机器学习/深度学习中机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是AI的核心，是使计算机设备具有智能的根本途径；而深度学习则是一种利用深层神经网络系统，进行机器学习的技术；机器学习/深度学习通常可包括人工神经网络、强化学习(Reinforcement Learning，RL)、有监督学习、无监督学习等多种技术。

基于AI技术中的机器学习/深度学习技术，本申请提供了一种模型训练方案，可用于对对象识别模型进行训练，以提高该对象识别模型的性能，如：以提高对象识别模型进行目标识别的准确度。所谓的目标识别是指：采用深度神经网络算法识别出图像中的一个或多个对象，此处所提及的图像可以是游戏图像、人物拍摄图像、商品图像等；针对游戏图像而言，目标识别是指识别出游戏图像中的虚拟角色对象、道具对象、血条对象，等等；针对人物拍摄图像而言，目标识别可以指识别出人物拍摄图像中的饰品对象、五官对象(如：眼、鼻、眉毛等)等。在具体实现中，该模型训练方法可以由一个计算机设备执行，该计算机设备可以是终端或者服务器。其中，终端可包括但不限于：智能手机、平板电脑、笔记本电脑、台式计算机、智能电视等；终端内可运行各式各样的客户端(application，APP)，如多媒体播放客户端、社交客户端、浏览器客户端、信息流客户端、教育客户端，等等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。

具体实现中，该模型训练方案的大致原理如下：首先，计算机设备可以获取用于对对象识别模型进行模型训练的多个标注图像，该多个标注图像可以为人工收集的具有标注信息的多张图片，每一个标注图像即为一个样本(即：用于对模型训练的图片数据)，每一个标注图像中包括一个或多个标注对象，具体可参见图1a所示，其中，如图1a中11所示，标注图像可以包括一个标注对象111；还可如图1a中12所示，标注图像可以包括类别相同的多个标注对象(如：类别为“塔”的两个标注对象)；还可如图1a中13所示，或者图1a中14所示，标注图像可以包括不同类别下的多个标注对象，如：类别为“塔”的两个标注对象131以及类别为“人物”的一个标注对象132，或者如：类别为“塔”的多个标注对象141以及类别为“人物”的多个标注对象142。

由于标注图像的收集方式不同，收集到的各个标注图像包括的各类标注对象的数量可能不同，举例来说，若标注图像是从射击类游戏画面中提取的，那么，“人物”类的标注对象的数量可能远远大于“房屋”类的标注对象的数量；若标注图像是从建造类游戏画面中提取的，那么，“房屋”类的标注对象的数量则可能远远大于“人物”类标注对象的数量。当各类标注对象的数量不相同时，可能导致各类标注对象的比例不均衡；在此情况下，计算机设备可以先确定出该多个标注图像包括的各类标注对象中，每一类标注对象需要扩充的比例，进而使得计算机设备可以确定出每一个标注图像需要扩充的次数(假设为目标数量次)，然后计算机设备再基于该标注图像进行目标数量次样本扩充，以达到平衡各类标注对象的在该多个标注图像中所占比例的目的，示例性地，该模型训练方案的大致原理可参见图1b所示。可以理解，本申请提供的模型训练方案无需在标注图像的收集阶段过多的关注图片内容，节省了人力资源，同时计算机设备基于每一类标注对象的对象扩充比例进行样本扩充，得到训练样本，解决了该多个标注图像中各类标注对象的对象比例不均衡的问题，进而使得采用该训练样本训练得到的对象识别模型的泛化性得到增强。

基于上述模型训练方案的原理阐述，本申请提供了一种模型训练方法，该模型训练方法可以由上述所提及的计算机设备执行；请参见图2所示，该模型训练方法包括以下步骤S201-S204：

S201，获取对象识别模型的样本集。

其中，样本集中包括多个标注图像，及各个标注图像的标注信息；任一标注图像的标注信息用于指示：该任一标注图像中的一个或多个标注对象，以及每个标注对象所属的类别。

S202，若根据各个标注图像的标注信息检测到样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例。

其中，N为大于1的正整数，即：样本集中包括多个类别的标注对象，此处所提及的“多个”的含义是：至少两个。

在一个实施例中，计算机设备可以根据各个标注图像的标注信息，得到每个类别下的标注对象的数量，然后基于每个类别下的标注对象的数量，判断各类别之间是否达到对象比例均衡。具体实施方式中，对象比例均衡可以指：各类别的标注对象的数量均达到了期望值，举例来说，假设样本集中包括3类标注对象，分别为“人”、“树”、“火焰”，且“人”、“树”、“火焰”的数量的预设值均为5000；那么，若“人”的数量为5000，“树”的数量为5056，“火焰”的数量为5600，则认为该样本集中的各类标注对象达到了对象比例均衡。

可选地，对象比例均衡还可以指：各个类别的标注对象的数量之间的差值在某一阈值范围内，如：各个类别的标注对象的数量相差不超过100，则认为各个类别的标注对象达到了对象比例均衡。在此情况下，举例来说，假设样本集中包括3类标注对象，分别为“人”、“树”、“火焰”，若“人”的数量为5000，“树”的数量为4000，“火焰”的数量为5600，则认为该样本集中的各类标注对象未达到对象比例均衡，进而需要计算机设备获取每个类别的对象扩充比例；若“人”的数量为5000，“树”的数量为5056，“火焰”的数量为5060，则认为该样本集中的各类标注对象达到了对象比例均衡，无需计算机设备再获取每个类别的对象扩充比例。

在另一个实施例中，计算机设备还可以根据各个标注图像的标注信息，得到每个类别的关联标注图像的数量，然后基于每个类别的关联标注图像的数量，判断各类别之间是否达到对象比例均衡。其中，每个类别的关联标注图像是指：具有该类别下的标注对象的标注图像。如图3a所示，图3a中301可以理解为“塔”类标注对象的关联标注图像，图3a中302可以理解为“塔”类标注对象的关联标注图像，还可以理解为“人物”类标注对象的关联标注图像。因此，每个类别的关联标注图像的数量可以理解为：具有该类别的标注对象的标注图像的数量，举例来说，假设标注图像1中包括1个A类标注对象a和2个B类标注对象b，标注图像2中包括1个A类标注对象a和5个C类标注对象c，那么A类标注对象对应的标注图像为“标注图像1”和“标注图像2”，因此，“A类”的关联标注图像的数量为2；同理可得，“B类”的关联标注图像的数量为1，“C类”的关联标注图像的数量为1。进一步地，对象比例均衡可以指：各个类别的关联标注图像的数量之间的差值在某一阈值范围内；可选地，对象比例均衡还可以指：各类别的关联标注图像的数量均达到了期望值。

S203，从样本集中确定每个类别的关联标注图像，并基于每个类别的对象扩充比例以及每个类别的关联标注图像进行样本扩充，得到多个扩充图像。

在具体实施例中，一个类别可以对应一个或多个关联标注图像，那么，N个类别可对应至少N个关联标注图像，N为大于1的整数；此外，计算机设备可以基于一个关联标注图像进行样本扩充，得到一个或多个扩充图像，可以理解，计算机设备基于每个类别的标注对象进行样本扩充的方式可以为：计算机设备基于每个类别对应的关联标注图像进行样本扩充，进一步可以理解，计算机设备可以基于样本集中的每个类别进行样本扩充，进而可得到多个扩充图像，此处的“多个”表示：至少N个。示例性地，假设关联标注图像1和关联标注图像2都是具有A类标注对象的标注图像，那么，计算机设备可以根据关联标注图像1进行样本扩充，得到一个或多个扩充图像a，计算机设备还可以根据关联标注图像2进行样本扩充，得到一个或多个扩充图像b，那么，多个扩充图像可以理解为包括：该一个或多个扩充图像a和该一个或多个扩充图像b。

在一个实施例中，计算机设备基于关联标注图像进行样本扩充的方式包括但不限于：复制关联标注图像，以及对关联标注图像进行白屏扩充、黑屏扩充、花屏扩充、镜像、旋转、尺度变量、色彩抖动等。其中，假设图3b中31所示的图像为正常的标注图像a，那么，所谓的白屏扩充可以理解为：计算机设备基于该标注图像a生成具有白屏区域的扩充图像(如图3b中32所示，321和322均为白屏区域)；所谓的黑屏扩充可以理解为：计算机设备基于该标注图像a生成具有黑屏区域的扩充图像(如图3b中33所示，331和332均为黑屏区域)；所谓的花屏扩充可以理解为：计算机设备基于该标注图像a生成具有花屏图像的扩充图像(如图3c所示)，其中，花屏图像可以包括错位类型的花屏图像(如图3c中34所示，341和342为发生错位的区域)、色彩抖动类型的花屏图像(如图3c中35和36所示，351、352以及361为发生色彩抖动的区域)，或其他类型的花屏图像。

S204，将多个扩充图像和样本集中的各个标注图像，均作为对象识别模型的训练样本，并采用训练样本对对象识别模型进行模型训练。

可以理解，对象识别模型的训练样本中，各个类别的标注对象的数量比样本集中包括的该各个类别的标注对象的数量更多，这样可以使得计算机设备在采用训练样本对对象识别模型进行训练时，达到更好的训练效果。

本申请提供的模型训练方法，通过获取样本集中各个标注对象的标注信息，进而判断出该样本集中各个类别的标注对象的对象比例是否均衡，并在各类标注对象未达到对象比例均衡时，可基于每个类别的对象扩充比例以及每个类别的关联标注图像进行样本扩充，以均衡各类标注对象的比例；进而可使得计算机设备在采用多个扩充图像和样本集中的各个标注图像对对象识别模型进行模型训练的过程中，该对象识别模型可在一定程度上均衡学习到各类标注对象的特征，有利于提升对象识别模型的学习训练效果，进而提升对象识别模型的泛化性和鲁棒性等模型性能。

请参见图4所示，图4是本申请提供的一种模型训练方法，该方法可包括如下步骤S401-S406：

S401，获取对象识别模型的样本集。

在一个实施例中，步骤S401中的具体实施方式可参见步骤S201的相关描述，本申请在此不再赘述。

S402，若根据各个标注图像的标注信息检测到样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例。

在一个实施例中，计算机设备获取每个类别的对象扩充比例时，可以先获取样本集中的标注图像的图像总数量，以及样本集的图像期望数量，其中，图像期望数量是指期望样本集包括的标注图像的数量。示例性地，图像期望数量可以例如是模型训练时所需的最少样本数量(如：标注图像的数量的最小值)。

在一种可选地实施方式中，若图像期望数量大于图像总数量，计算机设备则获取每个类别的第一基准扩充比例，并根据每个类别的第一基准扩充比例分别计算每个类别的对象扩充比例。举例来说，假设计算机设备获取到的样本集中包括10个标注图像，且这10个标注图像中包括3个类别(类别A，类别B和类别C)的标注对象。若图像期望数量为20，那么，计算机设备将分别获取A类别的第一基准扩充比例、B类别的第一基准扩充比例、C类别的第一基准扩充比例，然后基于A类别的第一基准扩充比例计算得到A类别的对象扩充比例，基于B类别的第一基准扩充比例计算得到B类别的对象扩充比例，基于C类别的第一基准扩充比例计算得到C类别的对象扩充比例。具体地，计算机设备在图像期望数量大于图像总数量时，可以先计算每个类别对应的比例放大系数，然后分别采用每个类别的比例放大系数，对该每个类别的第一基准扩充比例进行放大处理，得到该每个类别的对象扩充比例。示例性地，计算机设备对第i类标注对象的第一基准扩充比例进行放大处理的方式，可参见式1所示。

其中，ratio

对应地，若图像期望数量小于或等于图像总数量，计算机设备则获取每个类别的标注对象对应的第二基准扩充比例，并将该第二基准扩充比例作为该类别下标注对象的对象扩充比例，示例性的，可参见式2所示。

minRatio

其中，ratio′

其中，ratio

在另一种可选地实施方式中，若图像期望数量大于图像总数量，计算机设备则获取每个类别的第一基准扩充比例，并将每个类别的第一基准扩充比例作为该类别的对象扩充比例；若图像期望数量小于或等于图像总数量，计算机设备则获取每个类别的第二基准扩充比例，并将该第二基准扩充比例作为该类别的对象扩充比例。基于此，计算机设备确定每个类别的对象扩充比例的方式，可参见式4所示。

其中，ratio

在一个实施例中，每个类别的第一基准扩充比例和第二基准扩充比例可以是根据经验值设置的，例如，第一基准扩充比例和第二基准扩充比例可以根据对象识别模型的应用场景进行设置。举例来说，当对象识别模型用于对游戏画面中的对象进行识别时，第一基准扩充比例和第二基准扩充比例可以根据游戏画面中各类对象的出现频率进行设置，如：将出现频率较高的对象的第一基准扩充比例和第二基准扩充比例设置为0.2，将出现频率较低的对象的第一基准扩充比例和第二基准扩充比例设置为0.1。

可选地，同一类别的标注对象对应的第一基准比例和第二基准比例可以相同。举例来说，假设游戏A中的游戏画面主要包括“塔”、“英雄”、“野怪”、“道路”等，且“塔”和“英雄”的出现频率最高，“野怪”的出现频率较低，因此当对象识别模型用于对游戏A中的游戏画面包括的对象进行识别时，“塔”和“英雄”的第一基准扩充比例和第二基准扩充比例可以设置为0.2，“野怪”和“道路”的第一基准扩充比例和第二基准扩充比例可以设置为0.1。

可选地，同一类别的标注对象对应的第一基准比例和第二基准比例可以不相同。具体来说，由前述可知，在标注图像的图像总数量小于标注图像的图像期望数量时，计算机设备将基于每个类别的第一基准扩充比例进行样本扩充，目的是：扩充得到较多的训练样本，从而保证模型训练的效果。因此可以理解，当标注图像的数量较少时，计算机设备需要基于第一基准扩充比例，扩容得到较多的训练样本，当标注图像的数量较多时，计算机设备只需要按照基础比例(或称：第二基准扩充比例)扩充即可。因此，同一类别的第一基准比例和第二基准比例也可以不相同，具体地，第n类标注对象对应的第一基准扩充比例可以大于第n类标注对象对应的第二基准扩充比例。举例来说，商品图像中主要包括“衣服”、“日用品”、“宠物”、“花卉”等，且商品图像中各类对象的出现频率的排序如下：衣服>日用品>花卉>宠物，因此，当对象识别模型用于对网购平台中的商品图像包括的对象进行识别时，“衣服”的第一基准扩充比例可以设置为0.5，“衣服”的第二基准扩充比例可以设置为0.3，“宠物”的第一基准扩充比例可以设置为0.2，“宠物”的第二基准扩充比例可以设置为0.1。

S403，从样本集中确定每个类别的关联标注图像，并根据第n个类别的对象扩充比例，计算第n个类别中每个关联标注图像的目标扩充次数。

其中，n∈[1，N]，计算机设备可以根据样本集的每个标注图像的标注信息，统计样本集中包括的标注对象的对象总数量(即：N个类别的标注对象的数量之和)；然后，计算机设备基于统计到的对象总数量和第n个类别的对象扩充比例，计算第n个类别的对象扩充数量，所谓的对象扩充数量可以理解为：需要计算机设备基于具有该类别标注对象的标注图像进行样本扩充的总次数。具体地，计算方式可以如式5所示：

extendSampleTimes

可选的，当计算机设备根据各个标注图像的标注信息，得到每个类别下的标注对象的数量，并基于每个类别下的标注对象的数量，判断各类别之间是否达到对象比例均衡时，计算机设备计算第n个类别中每个关联标注图像的目标扩充次数的具体实施方式，可以参见如下示例：假设有3个包括第i类标注对象的标注图像，分别为关联标注图像A1(包括2个第i类标注对象)，关联标注图像A2(包括1个第i类标注对象)和关联标注图像A3(包括3个第i类标注对象)，那么，如果该第i类标注对象的对象扩充数量为3，每个关联标注图像的目标扩充次数可以为：关联标注图像A1的目标扩充次数为1次、关联标注图像A2的目标扩充次数为1次、关联标注图像A3的目标扩充次数为0次；或，关联标注图像A1的目标扩充次数为3次、关联标注图像A2的目标扩充次数为0次、关联标注图像A3的目标扩充次数为0次；或，关联标注图像A1的目标扩充次数为0次、关联标注图像A2的目标扩充次数为0次、关联标注图像A3的目标扩充次数为1次。需要说明的是，本申请对每个关联标注图像的目标扩充次数的分配不做具体限制，只要保证计算机设备可根据第i类标注对象的关联标注图像扩充得到3(对象扩充数量)个新增的第i类标注对象的关联标注图像即可。

对应地，若计算机设备采用根据各个标注图像的标注信息，得到每个类别的关联标注图像的数量，然后基于每个类别的关联标注图像的数量，判断各类别之间是否达到对象比例均衡的方式，则计算机设备计算第n个类别中每个关联标注图像的目标扩充次数的具体实施方式，可以参见如下示例：假设有3个包括第i类标注对象的标注图像，分别为关联标注图像A1(包括2个第i类标注对象)，关联标注图像A2(包括1个第i类标注对象)和关联标注图像A3(包括3个第i类标注对象)，那么，如果该第i类标注对象的对象扩充数量为3，每个关联标注图像的目标扩充次数可以为：关联标注图像A1的目标扩充次数为1次、关联标注图像A2的目标扩充次数为1次、关联标注图像A3的目标扩充次数为1次；或者，关联标注图像A1的目标扩充次数为2次、关联标注图像A2的目标扩充次数为1次、关联标注图像A3的目标扩充次数为0次；或者，关联标注图像A1的目标扩充次数为0次、关联标注图像A2的目标扩充次数为3次、关联标注图像A3的目标扩充次数为0次，等等，本申请对每个关联标注图像的目标扩充次数不做具体限制，只要保证计算机设备可根据第i类标注对象的关联标注图像扩充得到3(对象扩充数量)个新增的第i类标注对象即可。

S404，遍历第n个类别中每个关联标注图像，并将当前遍历的关联标注图像作为目标图像。

所谓遍历第n个类别中每个关联标注图像，是指：计算机设备依次对第n类标注对象对应的一个或多个关联标注图像中的每个关联标注图像均做一次访问，所谓的访问具体可以是获取该关联标注图像的标注信息，那么，当前遍历的关联标注图像(或称：目标图像)可以理解为：正在获取标注信息的标注图像。

S405，基于目标图像的目标扩充次数对目标图像进行样本扩充，得到目标图像所对应的一个或多个扩充图像。

在一个实施例中，计算机设备对目标图像进行一次样本扩充，可以具体通过对目标图像进行图像复制处理，得到复制图像；然后，在复制图像中确定目标区域，并将目标区域中的各个像素点的颜色调整至目标颜色，并将调整后的复制图像作为目标图像对应的扩充图像。

在一种可选地实施方式中，计算机设备可以在复制图像中随机确定目标区域的大小和位置，基于此，计算机设备将目标区域中的各个像素点的颜色调整至黑色或白色时，该次样本扩充操作的具体流程可以参见图5a所示。如图5a所示，计算机设备可以重复执行“生成一个目标区域，并将该目标区域填充为黑色或者白色”的步骤，直至计算机设备在该复制图像中生成并填充了M个目标区域，M为整数，其中，计算机设备生成目标区域的(即图5a中所述“矩形框”)的位置可以有重叠。示例性地，可参见图5b所示，第一次执行上述“生成一个目标区域，并将该目标区域填充为黑色或者白色”的步骤可以参见图5b中51所示，第二次执行上述“生成一个目标区域，并将该目标区域填充为黑色或者白色”的步骤可以参见图5b中52所示。具体应用中，计算机设备生成黑屏或白屏的数量，可以是通过随机生成数量的方式实现的，为了保证扩充图像的有效性，计算机设备将不会生成太多目标区域，且目标区域(如黑屏区域和白屏区域)在复制图像中的占比不能太大。示例性地，计算机设备可将黑屏区域和白屏区域所占面积限定在整个复制图像总面积的1/3之内，1≤M≤5，且M为整数。

在另一种可选地实施方式中，若复制图像包括第n个类别下的标注对象，及其他类别下的其他标注对象；计算机设备在复制图像中确定目标区域，可以具体包括：计算机设备在复制图像中确定其他标注对象的显示区域，并将其他标注对象的显示区域作为目标区域。示例性的，可参见图5c所示，假设复制图像如图5c中53所示，且第n个类别为“树”，那么计算机设备可以在复制图像中将“人”所在的区域确定为目标区域。

在又一个实施例中，计算机设备可以对目标图像进行图像复制处理，得到复制图像；然后根据花屏类型以及花屏颜色，生成关于该复制图像的花屏图像块，并在该复制图像中确定该花屏图像块的显示位置；然后，计算机设备在显示位置处添加花屏图像块，以覆盖该显示位置处的区域图像，得到目标图像对应的扩充图像，示例性地，可参见图5d所示。其中，花屏类型可以包括：区域雪花、横向线条、纵向线条、文字错乱、部分区域错位等，每个花屏类型可对应一个或多个花屏图像块，且每个花屏图像块可对应一个或多个花屏颜色。例如：“区域雪花”类型可以对应圆形雪花区域，还可以对应六角雪花区域。进一步地，计算机设备可以根据花屏类型生成对应的花屏图像块，并使用对应的花屏颜色对该花屏图像块进行填充，可得到最终的扩充图像。示例性地，可参见图5e所示，当花屏类型为部分区域错位时，花屏图像块即为错位区域的形状及大小(如图5e中54所示)，花屏颜色即为错误区域包括的图像内容(如图5e中55所示)。

S406，将多个扩充图像和样本集中的各个标注图像，均作为对象识别模型的训练样本，并采用训练样本对对象识别模型进行模型训练。

在一个实施例中，步骤S406中的具体实施方式可参见步骤S204中的相关描述，本申请在此不再赘述。

本申请提供的模型训练方法可以在样本集中的标注图像的数量较少时，基于对象扩充比例对标注图像进行扩充，可以使得标注图像的数量增加，扩大样本集，进而使得基于该样本集训练得到的对象识别模型具有更强的鲁棒性；同时，计算机设备可以根据样本集中每个样本的标注信息，判断该样本集中的各类标注对象是否达到对象比例均衡，当该样本集中的各类标注对象未达到对象比例均衡时，计算机设备可以获取每个类别的对象扩充比例，然后基于对象扩充比例进行样本扩充，可以达到平衡样本集中各类标注对象的比例的目的，可以使得基于平衡后的样本集进行模型训练后得到的对象识别模型，具备更强的泛化性，此外，计算机设备在基于每个类别的对象扩充比例对该类别进行样本扩充的方式较多，也能有效地增加训练样本的多样性，进而有效的在数据源头上保证了模型训练的效果。

基于上述模型训练方法实施例的描述，本发明实施例还公开了一种模型训练装置，该模型训练装置可以是运行于上述所提及的计算机设备中的一个计算机程序(包括程序代码)。该模型训练装置可以执行图2或图4所示的方法。请参见图6，所述模型训练装置至少可以包括：获取单元601、处理单元602和训练单元603。

获取单元601，用于获取对象识别模型的样本集，所述样本集中包括多个标注图像，及各个标注图像的标注信息；任一标注图像的标注信息用于指示：所述任一标注图像中的一个或多个标注对象，以及每个标注对象所属的类别；

所述获取单元601，还用于若根据所述各个标注图像的标注信息检测到所述样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例，N为大于1的正整数；

处理单元602，用于从所述样本集中确定所述每个类别的关联标注图像，并基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像；任一类别的关联标注图像是指：具有所述任一类别下的标注对象的标注图像；

训练单元603，用于将所述多个扩充图像和所述样本集中的各个标注图像，均作为所述对象识别模型的训练样本，并采用所述训练样本对所述对象识别模型进行模型训练。

在一种实施方式中，获取单元601在执行获取每个类别的对象扩充比例时，具体用于执行：

获取所述样本集中的标注图像的图像总数量，以及所述样本集的图像期望数量，所述图像期望数量是指期望所述样本集包括的标注图像的数量；

若所述图像期望数量大于所述图像总数量，则获取每个类别的第一基准扩充比例，并根据所述每个类别的第一基准扩充比例分别计算所述每个类别的对象扩充比例；

若所述图像期望数量小于或等于所述图像总数量，则获取所述每个类别的第二基准扩充比例，作为所述每个类别的对象扩充比例。

在又一种实施方式中，所述获取单元601执行根据所述每个类别的第一基准扩充比例分别计算所述每个类别的对象扩充比例时，具体用于执行：

根据所述图像总数量和所述图像期望数量，计算所述每个类别对应的比例放大系数；

分别采用所述每个类别的比例放大系数，对所述每个类别的第一基准扩充比例进行放大处理，得到所述每个类别的对象扩充比例。

在又一种实施方式中，所述处理单元602执行基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像时，具体用于执行：

根据所述第n个类别的对象扩充比例，计算所述第n个类别中每个关联标注图像的目标扩充次数；其中，n∈[1，N]；

遍历所述第n个类别中每个关联标注图像，并将当前遍历的关联标注图像作为目标图像；

基于所述目标图像的目标扩充次数对所述目标图像进行样本扩充，得到所述目标图像所对应的一个或多个扩充图像。

在又一种实施方式中，所述处理单元602在执行根据所述第n个类别的对象扩充比例，计算所述第n个类别中每个关联标注图像的目标扩充次数时，具体执行：

根据所述样本集的每个标注图像的标注信息，统计所述样本集中包括的标注对象的对象总数量；

基于统计到的对象总数量和所述第n个类别的对象扩充比例，计算所述第n个类别的对象扩充数量；

根据所述第n个类别的对象扩充数量，和所述第n个类别中每个关联标注图像的标注信息，计算所述第n个类别中每个关联标注图像的目标扩充次数。

在又一种实施方式中，所述处理单元602对所述目标图像进行一次样本扩充，具体执行：

对所述目标图像进行图像复制处理，得到复制图像；

在所述复制图像中确定目标区域，并将所述目标区域中的各个像素点的颜色调整至目标颜色；

将调整后的复制图像作为所述目标图像对应的扩充图像。

在又一种实施方式中，若所述复制图像包括所述第n个类别下的标注对象，以及其他类别下的其他标注对象；所述处理单元602在所述复制图像中确定目标区域时，具体执行：

若所述复制图像包括所述第n个类别下的标注对象，以及其他类别下的其他标注对象；所述在所述复制图像中确定目标区域。

在又一种实施方式中，所述处理单元602对所述目标图像进行一次样本扩充，具体执行：

对所述目标图像进行图像复制处理，得到复制图像；

根据花屏类型以及花屏颜色，生成关于所述复制图像的花屏图像块；并在所述复制图像中确定所述花屏图像块的显示位置；

在所述显示位置处添加所述花屏图像块，以覆盖所述显示位置处的区域图像，得到所述目标图像对应的扩充图像。

根据本申请的一个实施例，图2和图4所示的方法所涉及各个步骤可以是由图6所示的模型训练装置中的各个单元来执行的。例如，图2所示的步骤S201和步骤S202均可由图6所示的模型训练装置中的获取单元601来执行；步骤S203可由图6所示的模型训练装置中的处理单元602来执行；步骤S204可由图6所示的模型训练装置中的训练单元603来执行。再如，图4所示的步骤S401至步骤S402均可由图6所示的模型训练装置中的获取单元601来执行；步骤S403至步骤S405均可由图6所示的模型训练装置中的处理单元602来执行；步骤S406可由图6所示的模型训练装置中的训练单元603来执行。

根据本申请的另一个实施例，图6所示的模型训练装置中的各个单元是基于逻辑功能划分的，上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。在本申请的其它实施例中，上述模型训练装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4所示的方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的模型训练装置，以及来实现本申请实施例的模型训练方法。所述计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述计算设备中，并在其中运行。

本申请提供的模型训练装置，通过获取单元获取样本集中各个标注对象的标注信息，进而判断出该样本集中各个类别的标注对象的对象比例是否均衡，并在各类标注对象未达到对象比例均衡时，调用处理单元基于每个类别的对象扩充比例以及每个类别的关联标注图像进行样本扩充，以均衡各类标注对象的比例；进而可使得计算机设备在调用训练单元，采用多个扩充图像和样本集中的各个标注图像对对象识别模型进行模型训练的过程中，该对象识别模型可在一定程度上均衡学习到各类标注对象的特征，有利于提升对象识别模型的学习训练效果，进而提升对象识别模型的泛化性和鲁棒性等模型性能。

基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种计算机设备。请参见图7，该计算机设备至少包括处理器701、输入接口702、以及计算机存储介质703，且计算机设备内的处理器701、输入接口702以及计算机存储介质703可通过总线或其他方式连接。

所述计算机存储介质703是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质703既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质703提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。所述处理器701(或称CPU(Central Processing Unit，中央处理器))是计算机设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

在一个实施例中，可由处理器701加载并执行计算机存储介质703中存放的一条或多条指令，以实现上述有关图2和图4所示的方法实施例中的相应方法步骤；具体实现中，计算机存储介质703中的一条或多条指令由处理器701加载并执行如下步骤：

获取对象识别模型的样本集，所述样本集中包括多个标注图像，及各个标注图像的标注信息；任一标注图像的标注信息用于指示：所述任一标注图像中的一个或多个标注对象，以及每个标注对象所属的类别；若根据所述各个标注图像的标注信息检测到所述样本集包括N个类别的标注对象，且各类别之间未达到对象比例均衡，则获取每个类别的对象扩充比例，N为大于1的正整数；从所述样本集中确定所述每个类别的关联标注图像，并基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像；任一类别的关联标注图像是指：具有所述任一类别下的标注对象的标注图像；将所述多个扩充图像和所述样本集中的各个标注图像，均作为所述对象识别模型的训练样本，并采用所述训练样本对所述对象识别模型进行模型训练。

在一种实施方式中，所述获取每个类别的对象扩充比例，具体由处理器701加载并执行：

获取所述样本集中的标注图像的图像总数量，以及所述样本集的图像期望数量，所述图像期望数量是指期望所述样本集包括的标注图像的数量；

若所述图像期望数量大于所述图像总数量，则获取每个类别的第一基准扩充比例，并根据所述每个类别的第一基准扩充比例分别计算所述每个类别的对象扩充比例；

若所述图像期望数量小于或等于所述图像总数量，则获取所述每个类别的第二基准扩充比例，作为所述每个类别的对象扩充比例。

在又一种实施方式中，所述根据所述每个类别的第一基准扩充比例分别计算所述每个类别的对象扩充比例，具体由处理器701加载并执行：

根据所述图像总数量和所述图像期望数量，计算所述每个类别对应的比例放大系数；

分别采用所述每个类别的比例放大系数，对所述每个类别的第一基准扩充比例进行放大处理，得到所述每个类别的对象扩充比例。

在又一种实施方式中，所述基于所述每个类别的对象扩充比例以及所述每个类别的关联标注图像进行样本扩充，得到多个扩充图像，具体由处理器701加载并执行：

根据所述第n个类别的对象扩充比例，计算所述第n个类别中每个关联标注图像的目标扩充次数；其中，n∈[1，N]；

遍历所述第n个类别中每个关联标注图像，并将当前遍历的关联标注图像作为目标图像；

基于所述目标图像的目标扩充次数对所述目标图像进行样本扩充，得到所述目标图像所对应的一个或多个扩充图像。

在又一种实施方式中，所述根据所述第n个类别的对象扩充比例，计算所述第n个类别中每个关联标注图像的目标扩充次数，具体由处理器701加载并执行：

根据所述样本集的每个标注图像的标注信息，统计所述样本集中包括的标注对象的对象总数量；

基于统计到的对象总数量和所述第n个类别的对象扩充比例，计算所述第n个类别的对象扩充数量；

根据所述第n个类别的对象扩充数量，和所述第n个类别中每个关联标注图像的标注信息，计算所述第n个类别中每个关联标注图像的目标扩充次数。

在又一种实施方式中，对所述目标图像进行一次样本扩充，具体由处理器701加载并执行：

对所述目标图像进行图像复制处理，得到复制图像；

在所述复制图像中确定目标区域，并将所述目标区域中的各个像素点的颜色调整至目标颜色；

将调整后的复制图像作为所述目标图像对应的扩充图像。

在又一种实施方式中，若所述复制图像包括所述第n个类别下的标注对象，以及其他类别下的其他标注对象；所述在所述复制图像中确定目标区域，具体由处理器701加载并执行：

若所述复制图像包括所述第n个类别下的标注对象，以及其他类别下的其他标注对象；所述在所述复制图像中确定目标区域。

在又一种实施方式中，对所述目标图像进行一次样本扩充，具体由处理器701加载并执行：

对所述目标图像进行图像复制处理，得到复制图像；

根据花屏类型以及花屏颜色，生成关于所述复制图像的花屏图像块；并在所述复制图像中确定所述花屏图像块的显示位置；

在所述显示位置处添加所述花屏图像块，以覆盖所述显示位置处的区域图像，得到所述目标图像对应的扩充图像。

本申请提供的计算机设备，通过获取样本集中各个标注对象的标注信息，进而判断出该样本集中各个类别的标注对象的对象比例是否均衡，并在各类标注对象未达到对象比例均衡时，可基于每个类别的对象扩充比例以及每个类别的关联标注图像进行样本扩充，以均衡各类标注对象的比例；进而可使得计算机设备在采用多个扩充图像和样本集中的各个标注图像对对象识别模型进行模型训练的过程中，该对象识别模型可在一定程度上均衡学习到各类标注对象的特征，有利于提升对象识别模型的学习训练效果，进而提升对象识别模型的泛化性和鲁棒性等模型性能。

本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储了上述模型训练方法的计算机程序，该计算机程序包括程序指令，当一个或多个处理器加载并执行该程序指令，可以实现实施例中对模型训练方法的描述，在此不再赘述。对采用相同方法的有益效果的描述，在此不再赘述。可以理解的是，程序指令可以被部署在一个或多个能够相互通信的设备上执行。

需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备中的处理器从计算机可读存储介质读取该计算机指令，然后执行该计算机指令，进而使得该计算机设备能够执行上述图2和图4所示的模型训练方法实施例方面的各种可选方式中提供的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述模型训练方法的实施例的流程。其中，所述的计算机可读取存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所揭露的仅为本申请的局部实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。