图像识别方法、图像分类模型的训练方法及装置

技术领域

本申请公开了一种图像识别方法、图像分类模型的训练方法、装置、设备及存储介质，尤其涉及自然语言处理技术领域，具体涉及图像识别和深度学习。

背景技术

目前城管案件处理的流程是由巡检员在城市各地巡逻，发现案件后采集案件图片，上传城管系统，通过人工审核识别案件类型，入库。一段时间后，由巡检员再次到案件地址采集图片，上传城管系统，通过人工审核判定当前案件是否被处理，若消失，则做销案处理，关闭此案件，否则更新案件，以便后续再次巡检。整个流程中最核心的案件识别任务和销案判定任务完全依赖于人工，对于每年百万级别的案件数量，人工审核成本大，周期长，且不同审核人员标准和理解不统一。

发明内容

本申请提供了一种图像识别方法、图像分类模型的训练方法、装置、设备、存储介质及计算机程序产品。

本申请的第一方面实施例，提供了一种图像识别方法，包括：

获取经过训练的图像分类模型，以及获取采集到的输入图像；

采用所述图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各所述异常标签关联的背景标签中，确定所述输入图像的标签；

根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景。

作为本申请实施例的一种可能的实现方式，所述根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景，包括：

在所述输入图像的标签为所述异常标签的情况下，确定所述输入图像展示有所述异常标签指示的异常行为；

在所述输入图像的标签为所述背景标签的情况下，确定所述输入图像中展示有所述背景标签指示的背景，且未具有所述背景标签所关联的异常标签所指示的异常行为。

作为本申请实施例的另一种可能的实现方式，所述方法还包括：

查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为；

在所述历史异常行为所属的异常标签，与所述输入图像的标签不匹配的情况下，采用属性识别模型对所述输入图像进行属性识别，以得到至少一个属性的属性值，其中，所述属性用于指示异常行为，所述属性值用于指示存在异常行为的概率；

从所述至少一个属性的属性值中，确定指示所述历史异常行为的目标属性的属性值；

在所述目标属性的属性值小于或等于概率阈值的情况下，执行所述历史异常行为的核销流程。

作为本申请实施例的另一种可能的实现方式，所述查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为之后，还包括：

在所述历史异常行为所属的异常标签，与所述输入图像的标签匹配的情况下，发出继续采集图像的指示信息。

作为本申请实施例的另一种可能的实现方式，所述查询所述输入图像之前所拍摄的历史图像中展示的历史异常行为之后，还包括：

在所述目标属性的属性值大于概率阈值的情况下，发出继续采集图像的指示信息。

本申请第二方面实施例提出了一种图像分类模型的训练方法，图像分类模型用于执行第一方面实施例中所述的图像识别方法，所述训练方法包括：

获取本轮训练采用的第一样本集合和第二样本集合；

采用所述第一样本集合中的训练样本，对图像分类模型进行训练；

采用所述第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到所述第二样本集合中各训练样本的预测标签和对应的置信度；

将所述第二样本集合中的目标样本移动至所述第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合；其中，所述目标样本，包括所述预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本。

作为本申请实施例的一种可能的实现方式，所述本轮训练采用的阈值置信度大于下一轮训练采用的阈值置信度。

作为本申请实施例的另一种可能的实现方式，所述采用所述第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到所述第二样本集合中各训练样本的预测标签和置信度之后，还包括：

发送提示信息，其中，所述提示信息，用于对所述第二样本集合中，所述预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本提示进行人工复核；

响应于用户复核操作，将经过复核的训练样本作为所述目标样本移动至所述第一样本集合中。

作为本申请实施例的另一种可能的实现方式，所述方法还包括：

将多个候选样本输入所述图像分类模型，以得到各所述候选样本的预测标签；

根据多个所述候选样本的预测标签和标注标签，生成目标矩阵；其中，所述目标矩阵中的元素表征符合行对应的标注标签，且符合列对应的预测标签的候选样本；

从所述目标矩阵中，获取目标元素，其中，所述目标元素为行对应的标注标签与列对应的预测标签不匹配的元素；

根据所述目标元素表征的候选样本，生成首轮训练采用的所述第二样本集合。

本申请第三方面实施例提出了一种图像识别装置，包括：

获取模块，用于获取经过训练的图像分类模型，以及获取采集到的输入图像；

输入模块，用于采用所述图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各所述异常标签关联的背景标签中，确定所述输入图像的标签；确定模块，用于根据所述输入图像的标签，确定所述输入图像存在所述异常标签指示的异常行为，或者确定所述输入图像存在所述背景标签指示的背景。

本申请第四方面实施例提出了一种图像分类模型的训练装置，所述图像分类模型用于执行第一方面实施例所述的图像识别方法，所述训练装置包括：

获取模块，用于获取本轮训练采用的第一样本集合和第二样本集合；

训练模块，用于采用所述第一样本集合中的训练样本，对图像分类模型进行训练；

测试模块，用于采用所述第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到所述第二样本集合中各训练样本的预测标签和对应的置信度；

第一移动模块，用于将所述第二样本集合中的目标样本移动至所述第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合；其中，所述目标样本，包括所述预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本。

本申请第五方面实施例提出了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所述的图像识别方法，或者，执行第二方面实施例所述的模型的训练方法。

本申请第六方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面实施例所述的图像识别方法，或者，执行第二方面实施例所述的模型的训练方法。

本申请第七方面实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例所述的图像识别方法，或者，执行第二方面实施例所述的模型的训练方法。

应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1为本申请实施例提供的一种图像识别方法的流程示意图；

图2为本申请实施例提供的另一种图像识别方法的流程示意图；

图3为本申请实施例提供的另一种图像识别方法的流程示意图；

图4为本申请实施例提供的一种图像识别的示例图；

图5为本申请实施例提供的一种图像分类模型的训练方法的流程示意图；

图6为本申请实施例提供的另一种图像分类模型的训练方法的流程示意图；

图7为本申请实施例提供的又一种图像分类模型的训练方法的流程示意图；

图8为本申请实施例提供的一种图像分类模型的训练示例图；

图9为本申请实施例提供的一种图像识别装置的结构示意图；

图10为本申请实施例提供的一种图像分类模型的训练装置的结构示意图；

图11是用来实现本申请实施例的电子设备的示意性框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

相关技术中，完全依赖于人工审核并手动录入案件信息，但是，每年一个地区的案件上传数量达到百万规模，其中，每个案件又涉及到多张图片、多次审核，从而给人工审核带来了巨大的挑战。此外，不同审核人员的判断标准不统一，又会影响案件识别的质量，造成入库案件发生歧义。

为此，本申请提出了一种图像识别方法，通过获取经过训练的图像分类模型，以及获取采集到的输入图像；采用图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各异常标签关联的背景标签中，确定输入图像的标签；根据输入图像的标签，确定输入图像存在异常标签指示的异常行为，或者确定输入图像存在背景标签指示的背景。

下面参考附图描述本申请实施例的图像识别方法、图像分类模型的训练方法、装置、设备及存储介质。

图1为本申请实施例提供的一种图像识别方法的流程示意图。

本申请实施例以该图像识别方法被配置于图像识别装置中来举例说明，该图像识别装置可以应用于任一电子设备中，以使该电子设备可以执行图像识别功能。

其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统的硬件设备。

如图1所示，该图像识别方法，可以包括以下步骤：

步骤101，获取经过训练的图像分类模型，以及获取采集到的输入图像。

其中，图像分类模型是经过训练样本进行训练得到的，能够对输入图像进行分类处理，以确定输入图像的标签。

本申请实施例中，输入图像，可以是执法人员采用成像设备采集得到的图像，也可以是通过设置的街道的摄像头采集得到的图像，等等，在此不做限定。

可以理解的是，在城市管理过程中，存在商铺占道经营、垃圾乱放等违法案件，执法人员发现违法案件后，可以采集得到案件现场的图像，即采集得到输入图像。

步骤102，采用图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各异常标签关联的背景标签中，确定输入图像的标签。

其中，异常标签，用于指示输入图像存在的异常行为，例如，占道经营、跨店经营，等等。

异常标签关联的背景标签，用于是指输入图像中违章类型的背景信息，例如，异常标签为“垃圾暴露”，与该异常标签关联的背景标签可以为“垃圾桶”；异常标签为“跨店经营”，与该异常标签关联的背景标签可以为“商店铺面”，等等。

本申请实施例中，获取到经过训练的图像分类模型和输入图像后，可以将输入图像输入至图像分类模型，以采用图像分类模型对输入图像进行分类处理，以确定输入图像的标签。也就是说，采用图像分类模型确定输入图像的标签为异常标签或者为背景标签。

步骤103，根据输入图像的标签，确定输入图像存在异常标签指示的异常行为，或者确定输入图像存在背景标签指示的背景。

在一种可能的情况下，图像分类模型确定输入图像的标签为异常标签，则确定输入图像中展示有异常标签指示的异常行为。由此，可以确定输入图像中的案件存在，并未进行销案处理。

另一种可能的情况下，采用图像分类模型对输入图像进行分类处理，确定输入图像的标签为背景标签。进一步地，对输入图像进行识别，以确定输入图像中存在有背景标签指示的背景。

本申请实施例的图像识别方法，采用经过训练的图像分类模型对采集到的输入图像进行分类处理，以从至少一个异常标签和各异常标签关联的背景标签中，确定输入图像的标签；根据输入图像的标签，确定输入图像存在异常标签指示的异常行为，或者确定输入图像存在背景标签指示的背景。由此，通过图像分类模型确定输入图像的标签后，根据输入图像的标签，确定输入图像中是否存在异常行为，有效地解决了相关技术中城管违章案件处理过程中需要人工审核，存在审核成本大、周期长等技术问题，极大的减少了案件审核人员的工作量，显著优化了处理效率。

在上述实施例的基础上，本申请提出了另一种图像识别方法。

图2为本申请实施例提供的另一种图像识别方法的流程示意图。

如图2所示，该图像识别方法，可以包括以下步骤：

步骤201，获取经过训练的图像分类模型，以及获取采集到的输入图像。

步骤202，采用图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各异常标签关联的背景标签中，确定输入图像的标签。

本申请实施例中，步骤201至步骤202的实现过程，可以参见上述实施例中，步骤101至步骤102的实现过程，在此不再赘述。

步骤203，在输入图像的标签为异常标签的情况下，确定输入图像展示有异常标签指示的异常行为。

在一种可能的情况下，采用图像分类模型对输入图像进行分类处理，确定输入图像的标签为异常标签，进一步地，对输入图像进行识别，以确定输入图像展示有异常标签指示的异常行为。由此，可以确定输入图像中的案件存在，并未进行销案处理。

作为一种示例，假设图像分类模型对输入图像进行分类处理，确定输入图像的标签为“垃圾暴露”的情况下，确定输入图像展示有垃圾暴露的行为。由此，可以确定输入图像中的案件存在，该案件并未被处理，可以继续采集该处的图像，采用图像分类模型继续对图像进行分类处理。

步骤204，在输入图像的标签为背景标签的情况下，确定输入图像中展示有背景标签指示的背景，且未具有背景标签所关联的异常标签所指示的异常行为。

在另一种可能的情况下，采用图像分类模型对输入图像进行分类处理，确定输入图像的标签为背景标签。进一步地，对输入图像进行识别，以确定输入图像中展示有背景标签指示的背景，且未具有背景标签所关联的异常标签所指示的异常行为。

作为一种示例，假设图像分类模型对输入图像进行分类处理，确定输入图像的背景标签为“垃圾桶”。进一步地，确定输入图像中展示有垃圾桶，但是并未具有“垃圾暴露”的异常行为。由此，可以确定该输入图像中的违法案件消失，执法人员可以对该案件进行销案处理。

需要说明的是，上述步骤203和步骤204并非顺序执行过程，而是根据步骤202中图像分类模型确定的输入图像的标签，确实执行步骤203，或者，执行步骤204。

本申请实施例的图像识别方法，采用经过训练的图像分类模型对采集到的输入图像进行分类处理，以从至少一个异常标签和各异常标签关联的背景标签中，确定输入图像的标签；在输入图像的标签为异常标签的情况下，确定输入图像展示有异常标签指示的异常行为；在输入图像的标签为背景标签的情况下，确定输入图像中展示有背景标签指示的背景，且未具有背景标签所关联的异常标签所指示的异常行为。由此，通过图像分类模型确定输入图像的标签后，根据输入图像中展示的内容，确定输入图像中是否存在异常行为，有效地解决了相关技术中城管违章案件处理过程中需要人工审核，存在审核成本大、周期长等技术问题，极大的减少了案件审核人员的工作量，显著优化了处理效率。

在实际的场景中，图像分类模型对输入图像进行分类处理，确定输入图像的标签可能存在与之前所拍摄的历史图像中的异常行为所属的异常标签不匹配的情况。本申请中可以采用属性识别模型对输入图像进行属性识别，以根据属性识别模型输出的属性值，确定是否对历史异常行为执行核销流程。下面结合图3进行详细介绍，图3为本申请实施例提供的另一种图像识别方法的流程示意图。

如图3所示，该图像识别方法，还可以包括以下步骤：

步骤301，查询输入图像之前所拍摄的历史图像中展示的历史异常行为。

其中，历史图像与输入图像的拍摄地点和拍摄目标相同。

可以理解的是，采用图像分类模型对输入图像进行分类处理时，也可以查询输入图像之前所拍摄的历史图像中展示的历史异常行为。

进一步地，可以根据历史图像中展示的历史异常行为确定历史异常行为所属的异常标签。

作为一种示例，假设历史图像中的历史异常行为为占用道路经营，则可以确定历史异常行为所属的异常标签为“占道经营”。

步骤302，在历史异常行为所属的异常标签，与输入图像的标签不匹配的情况下，采用属性识别模型对输入图像进行属性识别，以得到至少一个属性的属性值。

其中，属性用于指示异常行为，属性值用于指示存在异常行为的概率。

本申请实施例中，将每一种异常行为作为图像的一个属性，根据属性识别模式输出的属性值确定输入图像是否存在异常行为。

其中，属性识别模型为采用大量的样本图像进行训练得到的，能够准确识别出图像中是否存在异常行为。

本申请实施例中，确定输入图像之前所拍摄的历史图像中展示的历史异常行为所属的异常标签，与输入图像的标签不匹配时，可以采用属性识别模型对输入图像进行属性识别，以得到输入图像中存在的各种异常行为的概率。

在一种可能的情况下，输入图像中可能存在多种异常行为，将输入图像输入属性识别模型，属性识别模型可以输出输入图像中存在每一种异常行为的概率。

作为一种示例，假设输入图像中存在三种异常行为，采用属性识别模型对输入图像进行属性识别，可以得到三个属性值，分别用于指示存在的三种异常行为的概率。

本申请实施例中，确定输入图像之前所拍摄的历史图像中展示的历史异常行为所属的异常标签，与输入图像的标签匹配时，可以发出继续采集图像的指示信息。

可以理解为，输入图像中的异常行为与历史图像中的异常行为相同，可以发出继续采集图像的指示信息，以使得执法人员继续采集输入图像所处位置的图像，以根据再次采集的图像判断图像中是否仍然存在异常行为。

步骤303，从至少一个属性的属性值中，确定指示历史异常行为的目标属性的属性值。

其中，目标属性用于指示历史图像中展示的历史异常行为。

本申请实施例中，属性识别模型对输入图像进行属性识别，得到至少一个属性的属性值后，可以从至少一个属性的属性值中，确定与历史图像中展示的历史异常行为相同的异常行为的概率。

作为一种示例，假设历史图像中展示的历史异常行为为异常行为A，属性识别模型对输入图像进行属性识别，得到三种异常行为的属性值后，可以在三种异常行为的属性值中确定异常行为A对应的属性值。

步骤304，在目标属性的属性值小于或等于概率阈值的情况下，执行历史异常行为的核销流程。

其中，核销流程，是指将异常行为从案件管理平台中删除的过程。

其中，概率阈值为预先设定的概率值。

本申请实施例中，确定属性识别模型输出的指示历史异常行为的目标属性的属性值后，比较以确定目标属性的属性值与概率阈值的大小关系。

在一种可能的情况下，确定目标属性的属性值小于或等于概率阈值，这种情况下，输入图像中存在目标属性指示的异常行为的概率较低，可以执行历史异常行为的核销流程。

在另一种可能的情况下，确定目标属性的属性值大于概率阈值，这种情况下，可以发出继续采集图像的指示信息，以使得执法人员继续采集输入图像所处位置的图像，以根据再次采集的图像判断图像中是否仍然存在异常行为。

本申请实施例中，通过查询输入图像之前所拍摄的历史图像中展示的历史异常行为，在历史异常行为所属的异常标签，与输入图像的标签不匹配的情况下，采用属性识别模型对输入图像进行属性识别，以得到至少一个属性的属性值，从至少一个属性的属性值中，确定指示历史异常行为的目标属性的属性值小于或等于概率阈值的情况下，执行历史异常行为的核销流程。由此，通过属性识别模型对输入图像进行属性识别，以确定输入图像中存在的异常行为，避免了输入图像中存在多种异常行为，导致异常行为核销失败的情况。

作为一种示例，如图4所示，图4为本申请实施例提供的一种图像识别方法的示例图。

如图4所示，获取到采集的输入图像后，可以将输入图像输入至图像分类模型，以确定输入图像的异常行为。查询输入图像之前所拍摄的历史图像中展示的历史异常行为，在历史异常行为所属的异常标签，与输入图像的标签不匹配的情况下，采用属性识别模型对输入图像进行属性识别，以得到至少一个属性的属性值。

在一种可能的情况下，确定指示历史异常行为的目标属性的属性值小于或等于概率阈值，则执行历史异常行为的核销流程。

在另一种可能的情况下，根据属性识别模型输出的至少一个属性的属性值，确定指示历史异常行为的目标属性的属性值大于概率阈值，发出继续采集图像的指示信息。

图像分类模型对输入图像进行分类处理，确定输入图像的标签为异常标签的情况下，确定输入图像中展示有异常标签指示的异常行为，该异常行为未被核销。

图像分类模型对输入图像进行分类处理，确定输入图像的标签为背景标签的情况下，确定输入图像中展示有背景标签指示的背景，且未具有所述背景标签所关联的异常标签所指示的异常行为，则确定该输入图像中的异常行为已结案。

在上述实施例中介绍了采用图像分类模型对输入图像进行分类处理，为了训练图像分类模型，需要采集大量的图像作为训练样本。但是，采集的图像中包括了很多无法区分图像所属的异常标签，采用人工标注的方式对训练样本进行标注标签，需要消耗大量的人力成本。下面结合图5介绍如何对图像分类模型进行训练，图5为本申请实施例提供的一种图像分类模型的训练方法的流程示意图。

如图5所示，该图像分类模型的训练方法可以包括以下步骤：

步骤501，获取本轮训练采用的第一样本集合和第二样本集合。

其中，第一样本集合和第二样本集合中的训练样本，分别用于对图像分类模型进行训练和测试。用于测试的第二样本集合中的各训练样本均为标注后的图像。

本申请实施例中，第一样本集合和第二样本集合中的训练样本，可以是执法人员采用成像设备采集得到的图像，也可以是通过设置的街道的摄像头采集得到的图像，也可以是从服务器获取到的图像，等等，在此不做限定。

在获取到用于训练的图像后，可以采用随机分组的方式将训练样本划分为第一样本集合和第二样本集合。

例如，获取到训练样本后，可以将20％的训练样本划分至第一样本集合中，将80％的训练样本划分至第二样本集合中。

在一种可能的情况下，本轮训练采用的第一样本集合和第二样本集合中的训练样本，可以为上一轮训练过程结束后得到的样本集合。

步骤502，采用第一样本集合中的训练样本，对图像分类模型进行训练。

步骤503，采用第二样本集合中的训练样本，对经过训练的图像分类模型进行测试，得到第二样本集合中各训练样本的预测标签和对应的置信度。

本申请实施例中，获取到本轮训练采用的第一样本集合和第二样本集合后，可以采用第一样本集合中的训练样本，对图像分类模型进行训练，通过调整图像分类模型的模型参数，以使得训练后的图像分类模型能够识别出图像的标签。

本申请中，采用第一样本集合中的训练样本对图像分类模型训练结束后，可以采用第二样本集合中的训练样本对经过训练的图像分类模型进行测试，以得到图像分类模型输出的第二样本集合中各训练样本的预测标签和对应的置信度。其中，置信度，用于指示第二样本集合中各训练样本的预测标签和各训练样本的标注标签的匹配程度。

可以理解的是，图像分类模型输出的第二样本集合中各训练样本的置信度越高，对应的训练样本为正确样本，置信度越低，对应的训练样本为错误样本。

步骤504，将第二样本集合中的目标样本移动至第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合。

其中，目标样本，包括预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本。阈值置信度，为预先设定的置信度值。

本申请实施例中，采用第二样本集合中的训练样本，对经过训练的所述图像分类模型进行测试，得到第二样本集合中各训练样本的预测标签和对应的置信度后，可以将预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本作为目标样本。

需要说明的是，本轮训练过程中采用的阈值置信度大于下一轮训练采用的阈值置信度，阈值置信度随着模型训练的迭代次数逐渐减小，直至阈值置信度减小至预先设定的某一阈值置信度，将第二样本集合中的训练样本全部移动至第一样本集合中，以采用第一样本集合中的训练样本对图像分类模型进行训练。

本申请实施例中，从第二样本集合中确定目标样本后，可以将目标样本移动至第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合。

本申请实施例的图像分类模型的训练方法，通过获取本轮训练采用的第一样本集合和第二样本集合，采用第一样本集合中的训练样本，对图像分类模型进行训练，采用第二样本集合中的训练样本，对经过训练的图像分类模型进行测试，得到第二样本集合中各训练样本的预测标签和对应的置信度，将预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本作为目标样本，将目标样本移动至第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合。由此，实现了自动迭代以清理无用的训练样本，以采用置信度高的训练样本对图像分类模型进行训练，有利于提高图像分类模型的精确度。

在一种可能的情况下，在上述步骤503中，采用第二样本集合中的训练样本，对经过训练的图像分类模型进行测试时，可能存在预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本，为了避免将高置信度的正确样本未移动至第一样本集合，可以对预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本进行人工复核。下面结合图6进行详细介绍，图6为本申请实施例提供的另一种图像分类模型的训练方法的流程示意图。

如图6所示，该图像分类模型的训练方法，还可以包括以下步骤：

步骤601，发送提示信息。

其中，提示信息，用于对第二样本集合中，预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本提示进行人工复核。人工复核，是指用户人工对训练样本的预测标签与标注标签进行复核，以确定预测标签与标注标签是否匹配。

本申请实施例中，采用第二样本集合中的训练样本，对经过训练的图像分类模型进行测试后，确定存在预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本，可以发送提示信息，以提示对预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本进行人工复核。

步骤602，响应于用户复核操作，将经过复核的训练样本作为目标样本移动至第一样本集合中。

在一种可能的情况下，用户对预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本进行复核后，确定训练样本的预测标签与标注标签不匹配，可以该训练样本未通过人工复核。

在另一种可能的情况下，用户对预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本进行复核后，确定训练样本的预测标签与标注标签匹配，可以将经过复核的训练样本作为目标样本移动至第一样本集合中。

由此，通过对第二样本集合中，预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本进行人工复核，将经过复核的训练样本作为目标样本移动至第一样本集合中，以避免筛选掉第二样本集合中高置信度的正确样本。

本申请实施例中，可以将预先整理得到的训练样本输入图像分类模型，以得到各训练样本的预测标签，以根据预测标签和标注标签，生成目标矩阵，选择预测标签与标注标签不匹配的训练样本作为用于对图像分类模型进行预测的样本，以对各训练样本进行筛选。下面结合图7进行详细介绍，图7为本申请实施例提供的又一种图像分类模型的训练方法的流程示意图。

如图7所示，该图像分类模型的训练方法，可以包括以下步骤：

步骤701，将多个候选样本输入图像分类模型，以得到各候选样本的预测标签。

其中，候选样本，可以为执法人员采用成像设备采集得到的图像，也可以是通过设置的街道的摄像头采集得到的图像，也可以是从服务器获取到的图像，等等，在此不做限定。并且，各候选样本中已经标注了异常标签。

本申请实施例中，获取到多个候选样本后，可以将多个候选样本输入图像分类模型，以根据图像分类模型的输出确定各候选样本的预测标签。

步骤702，根据多个候选样本的预测标签和标注标签，生成目标矩阵。

其中，目标矩阵中的元素表征符合行对应的标注标签，且符合列对应的预测标签的候选样本。

可以理解为，采用图像分类模型对多个候选样本进行分类处理，确定各候选样本的预测标签后，可以根据各个候选样本的预测标签和标注标签，生成目标矩阵。

作为一种示例，目标矩阵的行对应标注标签，列对应预测标签，假设目标矩阵中第一行第一列对应的候选样本的标注标签与预测标签不匹配，则目标矩阵的第一行第一列的元素为0。目标矩阵中第二行第一列对应的候选样本的标注标签与预测标签相同，则目标矩阵的第二行第一列的元素为1。

步骤703，从目标矩阵中，获取目标元素。

其中，目标元素为行对应的标注标签与列对应的预测标签不匹配的元素。

本申请实施例中，根据多个候选样本的预测标签和标注标签，生成目标矩阵后，可以从目标矩阵中获取行对应的标注标签与列对应的预测标签不匹配的元素，以作为目标元素。

可以理解为，目标矩阵中行对应的标注类别与列对应的预测类别不匹配的元素表征的候选样本，可能为置信度较低的训练样本。

步骤704，根据目标元素表征的候选样本，生成首轮训练采用的第二样本集合。

本申请实施例中，从目标矩阵中，获取行对应的标注标签与列对应的预测标签不匹配的目标元素后，可以根据目标元素表征的候选样本，生成首轮训练采用的第二样本集合，以用于对经过训练的图像分类模型进行测试。

本申请实施例的图像分类模型的训练方法，将多个候选样本输入图像分类模型，以得到各候选样本的预测标签，根据多个候选样本的预测标签和标注标签，生成目标矩阵，从目标矩阵中，获取目标元素，以根据目标元素表征的候选样本，生成首轮训练采用的第二样本集合。由此，通过将预测标签和标注标签不匹配的候选样本作为当前需要筛选掉的训练样本，以减少人工复核的工作量。

作为一种示例，如图8所示，假设样本集合A和样本集合B为初始样本，可以将样本集合A和样本集合B输入图像分类模型，以得到各训练样本的预测标签，根据各训练样本的预测标签和标注标签生成目标矩阵，从目标矩阵中，获取行对应的标注标签与列对应的预测标签不匹配目标元素，生成首轮训练图像分类模型采用的第二样本集合。

采用第一样本集合对图像分类模型进行训练，采用第二样本集合中的训练样本，对经过训练的图像分类模型进行测试，得到第二样本集合中各训练样本的预测标签和对应的置信度，将预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本移动至第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合。

本申请实施例中，对图像分类模型训练结束后，可以对模型进行评估，评估结果稳定，可以采用经过训练的图像分类模型对图像进行识别。

为了实现上述实施例，本申请提出了一种图像识别装置。

图9为本申请实施例提供的一种图像识别装置的结构示意图。

如图9所示，该图像识别装置900，可以包括：获取模块910、输入模块920、第一确定模块930以及第二确定模块940。

其中，获取模块910，用于获取经过训练的图像分类模型，以及获取采集到的输入图像。

输入模块920，用于采用图像分类模型对输入图像进行分类处理，以从至少一个异常标签和各异常标签关联的背景标签中，确定输入图像的标签。

第一确定模块930，用于在输入图像的标签为异常标签的情况下，确定输入图像展示有异常标签指示的异常行为。

第二确定模块940，用于在输入图像的标签为背景标签的情况下，确定输入图像中展示有背景标签指示的背景，且未具有背景标签所关联的异常标签所指示的异常行为。

作为一种可能的情况，该图像识别装置900，还可以包括：

查询模块，用于查询输入图像之前所拍摄的历史图像中展示的历史异常行为；

识别模块，用于在历史异常行为所属的异常标签，与输入图像的标签不匹配的情况下，采用属性识别模型对输入图像进行属性识别，以得到至少一个属性的属性值，其中，属性用于指示异常行为，属性值用于指示存在异常行为的概率；

第三确定模块，用于从至少一个属性的属性值中，确定指示历史异常行为的目标属性的属性值；

处理模块，用于在目标属性的属性值小于或等于概率阈值的情况下，执行历史异常行为的核销流程。

作为另一种可能的情况，该图像识别装置900，还可以包括：

第一发出模块，用于在历史异常行为所属的异常标签，与输入图像的标签匹配的情况下，发出继续采集图像的指示信息。

作为另一种可能的情况，该图像识别装置900，还可以包括：

第二发出模块，用于在目标属性的属性值大于概率阈值的情况下，发出继续采集图像的指示信息。

需要说明的是，前述对图像识别方法实施例的解释说明也适用于该图像识别装置，此处不再赘述。

本申请实施例的图像识别装置，采用经过训练的图像分类模型对采集到的输入图像进行分类处理，以从至少一个异常标签和各异常标签关联的背景标签中，确定输入图像的标签；在输入图像的标签为异常标签的情况下，确定输入图像展示有异常标签指示的异常行为；在输入图像的标签为背景标签的情况下，确定输入图像中展示有背景标签指示的背景，且未具有背景标签所关联的异常标签所指示的异常行为。由此，通过图像分类模型确定输入图像的标签后，根据输入图像中展示的内容，确定输入图像中是否存在异常行为，有效地解决了相关技术中城管违章案件处理过程中需要人工审核，存在审核成本大、周期长等技术问题，极大的减少了案件审核人员的工作量，显著优化了处理效率。

为了实现上述实施例，本申请提出了一种图像分类模型的训练装置。

图10为本申请实施例提供的一种图像分类模型的训练装置的结构示意图。

其中，图像分类模型用于执行上述实施例中所述的图像识别方法。

如图10所示，该图像分类模型的训练装置1000，可以包括：获取模块1010、训练模块1020、测试模块1030以及第一移动模块1040。

其中，获取模块1010，用于获取本轮训练采用的第一样本集合和第二样本集合。

训练模块1020，用于采用第一样本集合中的训练样本，对图像分类模型进行训练。

测试模块1030，用于采用第二样本集合中的训练样本，对经过训练的图像分类模型进行测试，得到第二样本集合中各训练样本的预测标签和对应的置信度。

第一移动模块1040，用于将第二样本集合中的目标样本移动至第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合；其中，目标样本，包括预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本。

作为一种可能的情况，本轮训练采用的阈值置信度大于下一轮训练采用的阈值置信度。

作为另一种可能的情况，该图像分类模型的训练装置1000，还可以包括：

发送模块，用于发送提示信息，其中，所述提示信息，用于对所述第二样本集合中，所述预测标签与标注标签不匹配，且置信度大于阈值置信度的训练样本提示进行人工复核；

第二移动模块，用于响应于用户复核操作，将经过复核的训练样本作为所述目标样本移动至所述第一样本集合中。

作为另一种可能的情况，该图像分类模型的训练装置1000，还可以包括：

输入模块，用于将多个候选样本输入所述图像分类模型，以得到各所述候选样本的预测标签；

第一生成模块，用于根据多个所述候选样本的预测标签和标注标签，生成目标矩阵；其中，所述目标矩阵中的元素表征符合行对应的标注标签，且符合列对应的预测标签的候选样本；

获取模块，用于从所述目标矩阵中，获取目标元素，其中，所述目标元素为行对应的标注标签与列对应的预测标签不匹配的元素；

第二生成模块，用于根据所述目标元素表征的候选样本，生成首轮训练采用的所述第二样本集合。

需要说明的是，前述对图像分类模型的训练方法实施例的解释说明也适用于该图像分类模型的训练装置，此处不再赘述。

本申请实施例的图像分类模型的训练装置，通过获取本轮训练采用的第一样本集合和第二样本集合，采用第一样本集合中的训练样本，对图像分类模型进行训练，采用第二样本集合中的训练样本，对经过训练的图像分类模型进行测试，得到第二样本集合中各训练样本的预测标签和对应的置信度，将预测标签与标注标签匹配，且置信度大于阈值置信度的训练样本作为目标样本，将目标样本移动至第一样本集合中，以得到下一轮训练所采用的第一样本集合和第二样本集合。由此，实现了自动迭代以清理无用的训练样本，以采用置信度高的训练样本对图像分类模型进行训练，有利于提高图像分类模型的精确度。

为了实现上述实施例，本申请提出了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中所述的图像识别方法，或者，执行上述实施例中所述的模型的训练方法。

为了实现上述实施例，本申请提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述实施例中所述的图像识别方法，或者，执行上述实施例中所述的模型的训练方法。

为了实现上述实施例，本申请提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例中所述的图像识别方法，或者，执行上述实施例中所述的模型的训练方法。

根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本申请的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)1102中的计算机程序或者从存储单元1108加载到RAM(Random AccessMemory，随机访问/存取存储器)1103中的计算机程序，来执行各种适当的动作和处理。在RAM1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM1102以及RAM1103通过总线1104彼此相连。I/O(Input/Output，输入/输出)接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如图像识别方法，或者模型的训练方法。例如，在一些实施例中，图像识别方法，或者模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM1103并由计算单元1101执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像识别方法，或者图像分类模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。