一种图像分类方法及相关设备

【技术领域】

本发明涉及信息处理领域，尤其涉及一种图像分类方法及相关设备。

【背景技术】

移动终端是指可以在移动中使用的计算机设备，例如手机、笔记本、平板电脑等。为了给用户提供更好的使用体验，厂家往往在硬件方面和软件方面进行研发，从而提高移动终端的性能以增加用户的使用体验。但由于当前移动终端的硬件发展逐渐到达瓶颈，因此厂家往往在软件方面进行研发，以通过开发新的功能或对原有功能进行优化的方式来提高使用体验。现有技术中，移动终端往往具有图片识别功能，可以对本地图库中的图片的所属类别进行识别，例如人脸、风景、汽车等类别。但在图片识别过程中，由于识别引擎的识别精度较低或待识别图像的图像特征较弱等原因，可能会造成识别结果出现错误的情况。

【发明内容】

为了解决上述问题，本发明实施例提供了一种图像分类方法及相关设备，可以根据图像特征对新增图像进行分类，当分类结果存在错误时，可以根据校准操作对新增图像的分类结果进行校准。

第一方面，本发明实施例提供一种图像分类方法，所述方法应用于终端设备，包括：

检测到图库新增图像时，识别所述新增图像的图像特征；

将所述新增图像的图像特征分别与多个已有图像类的图像特征进行比对；

根据所述比对的结果，确定所述新增图像的初分类结果，所述初分类结果包含至少一个所述已有图像类；

响应于对所述分类结果的校准指令，显示校准界面，所述校准界面包含所述新增图像的初分类结果；

获取对所述初分类结果的校准操作；

根据所述校准操作，确定所述新增图像的目标分类结果。

本发明实施例中，通过识别新增图像的图像特征来确定新增图像的初分类结果，从而对新增图像进行分类，之后可以根据对初分类结果的校准操作来对分类结果进行校准。避免了现有技术中图像分类结果不准确的问题。

在一种可能的实现方式中，根据所述比对的结果，确定所述新增图像的初分类结果，所述初分类结果包含至少一个所述已有图像类，包括：

将所述新增图像输入图像特征分类模型，所述图像特征分类模型用于识别所述新增图像的图像特征，并根据所述多个已有图像类的图像特征，确定所述新增图像属于所述各个已有图像类的概率值；

根据所述概率值，确定所述新增图像的初分类结果。

在一种可能的实现方式中，根据所述校准操作，确定所述新增图像的目标分类结果之后，所述方法还包括：

将标注有所述目标分类结果的所述新增图像输入所述图像特征分类模型进行迭代训练；

当所述图像特征分类模型输出的对所述新增图像的分类结果的正确率大于第一阈值时确定迭代结束。

在一种可能的实现方式中，对所述初分类结果的校准操作包括以下操作中的一项或多项组合：

对所述初分类结果包含的任一个已有图像类的修改、删除或者在所述初分类结果中增加图像类。

在一种可能的实现方式中，如果所述校准操作包含在所述初分类结果增加图像类，则根据所述校准操作，确定所述新增图像的目标分类结果，包括：

检测到增加所述初分类结果包含的图像类的操作时，显示增加图像类界面，所述增加图像类界面包含分类列表，所述分类列表包含所有未包含在初分类结果的已有图像类信息；

响应于对所述增加图像类界面中任一个已有图像类信息的选定操作，将选定的已有图像类增加到所述初分类结果；

将增加了所述已有图像类的初分类结果，确定为所述新增图像的目标分类结果。

在一种可能的实现方式中，所述增加图像类界面还包含新建图像类选项，所述方法还包括：

检测到对所述新建图像类选项的选定操作时，显示新建图像类输入界面；

响应于用户在所述新建图像类输入界面输入的图像类信息，建立新增图像类；

将所述新增图像类添加到所述分类列表。

第二方面，本发明实施例提供一种终端设备，包括：

识别模块，用于检测到图库新增图像时，识别所述新增图像的图像特征；

比对模块，用于将所述新增图像的图像特征分别与多个已有图像类的图像特征进行比对；

处理模块，用于根据所述比对的结果，确定所述新增图像的初分类结果，所述初分类结果包含至少一个所述已有图像类；

校准模块，用于响应于对所述分类结果的校准指令，显示校准界面，所述校准界面包含所述新增图像的初分类结果；

所述处理模块，还用于获取对所述初分类结果的校准操作；

所述处理模块，还用于根据所述校准操作，确定所述新增图像的目标分类结果。

在一种可能的实现方式中，所述处理模块，具体用于：

将所述新增图像输入图像特征分类模型，所述图像特征分类模型用于识别所述新增图像的图像特征，并根据所述多个已有图像类的图像特征，确定所述新增图像属于所述各个已有图像类的概率值；

根据所述概率值，确定所述新增图像的初分类结果。

第三方面，本发明实施例提供一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面所述的方法。

应当理解的是，本发明实施例的第二～四方面与本发明实施例的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种图像分类方法的流程图；

图2为本发明实施例提供的一种图库界面的示意图；

图3为本发明实施例提供一种初分类结果的示意图；

图4为本发明实施例提供一种校准界面的示意图；

图5为本发明实施例提供另一种图像分类方法的流程图；

图6为本发明实施例提供一种终端设备的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

【具体实施方式】

为了更好的理解本说明书的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

本发明实施例中，当对新增图像的初分类结果有误时，通过获取对初分类结果的校准操作来对初分类结果进行校准，并确定新增图像的目标分类结果。

图1为本发明实施例提供的一种图像分类方法的流程图，所述方法应用于终端设备。如图1所示，该方法处理步骤包括：

步骤101，检测到图库新增图像时，识别新增图像的图像特征。其中，图像特征可以为图像的颜色特征、纹理特征、形状特征和空间关系特征中的一种或多种。可选的，终端设备可以根据设定的时间阈值，来周期性的扫描图库中的所有图像，并将扫描结果与上次扫描结果相比对，从而确定新增图像。在一些实施例中，还可以在检测到用户打开图库的操作时，再对图库中的图像进行检测，从而确定新增图像。图2为本发明实施例提供的一种图库界面的示意图，如图2所示，当检测到用户打开图库的操作时，触发新增图像的检测操作。

步骤102，将新增图像的图像特征分别与多个已有图像类的图像特征进行比对。其中，已有图像类是指终端设备中存储的多个可识别图像类别，例如汽车、建筑物、风景、人像等图像类别，每一个已有图像类均对应一个识别库，识别库用于存储该图像类对应的图像特征。

步骤103，根据比对的结果，确定新增图像的初分类结果，初分类结果包含至少一个已有图像类。其中，可以设置一个预设阈值，当新增图像的图像特征与某个已有图像类的图像特征之间的相似度大于预设阈值时，可以确定新增图像的初分类结果为该已有图像类。例如，共有四个已有图像类，分别为：动物、汽车、食物和人像。新增图像的图像特征与各个已有图像类的图像特征的相似度分别为：12％、23％、87％和43％。预设阈值为70％。则可以将食物确定为新增图像的初分类结果。如果用户确定初分类结果有误，则可以对初分类结果进行校正。在一些实施例中，可能存在新增图像的图像特征与各个已有图像类的图像特征的相似度均低于预设阈值，此时可以显示无匹配类型的提示信息。

在一些实施例中，在确定新增图像的初分类结果后，可以对初分类结果进行显示，图3为本发明实施例提供的一种初分类结果示意图。如图3所示，新增图片的初分类结果为：xx和yy。当用户确定初分类结果无误时，可以点击图3中示出的“忽略”按键，从而将初分类结果确定为新增图像的目标分类结果从而完成对新增图像的分类。如果用户确定初分类结果存在问题时，可以点击图3中示出的“校准”按键。

步骤104，响应于对分类结果的校准指令，显示校准界面，校准界面包含新增图像的初分类结果。当用户点击图3中示出的“校准”按键后，显示校准界面。图4为本发明实施例提供的一种校准界面的示意图。如图4所示，校准界面显示有新增图像的初分类结果：xx和yy。

步骤105，获取对初分类结果的校准操作。其中，校准操作可以具体为：对初分类结果包含的任一个已有图像类的修改、删除或者在初分类结果中增加图像类。用户可以点击图4中示出的位于初分类结果的中的已有图像类后方的减号按键来将对应的已有图像类从初分类结果中删除。用户还可以通过长按初分类结果中的已有图像类来对初分类结果进行更改。用户还可以点击图4中示出的“添加类别”按键来增加初分类结果中包含的已有图像类。

步骤106，根据校准操作，确定新增图像的目标分类结果。当校准操作中包含在初分类结果中增加图像类操作时，确定新增图像的目标分类结果的步骤如图5所示：

步骤S1061，检测到增加初分类结果包含的图像类的操作时，显示增加图像类界面，增加图像类界面包含分类列表，分类列表包含所有未包含在初分类结果的已有图像类信息。其中，增加初分类结果包含的图像类的操作可以为用户点击图4中示出的“添加类别”按键的操作。

步骤S1062，响应于对增加图像类界面中任一个已有图像类信息的选定操作，将选定的已有图像类增加到初分类结果。

步骤S1063，将增加了已有图像类的初分类结果，确定为新增图像的目标分类结果。例如，新增图像的初分类结果为xx，用户在校准操作中，在初分类结果中增加了已有图像类yy，则新增图像的目标分类结果为xx和yy。

在一些实施例中，增加图像类界面还包含新建图像类选项，用户可以通过选中该选项来增加分类列表中的图像类。具体的，当检测到用户对新建图像类选项的选定操作时，显示新建图像类输入界面。响应于用户在新建图像类输入界面输入的图像类信息，建立新增图像类。将新增图像类添加到所述分类列表。用户可以在新建图像类输入界面为正在新建的图像类进行命名，并点击确认按键后，完成新增图像类的建立。

在一些实施例中，可以采用训练好的深度模型来识别图像的图像特征以及分类的相关步骤。具体的，在检测到图库新增图像后，将新增图像输入图像特征分类模型，图像特征分类模型用于识别新增图像的图像特征，并根据多个已有图像类的图像特征，确定新增图像属于各个已有图像类的概率值。之后根据概率值，确定新增图像的初分类结果。

在一些实施例中，还可以根据用户对新增图像初分类结果的校准结果作为训练数据来对上述图像特征分类模型进行进一步训练。具体的，可以将标注有目标分类结果的新增图像输入图像特征分类模型进行迭代训练。当图像特征分类模型输出的对新增图像的分类结果的正确率大于第一阈值时确定迭代结束。由此可见，每当用户对初分类结果进行校准操作，都可以使图像特征分类模型进行一次训练，以提高图像特征分类模型的准确率。

在一些实施例中，对于用户新建的新增图像类，当该新增图像类对应的图像数量大于设定的阈值时，可以先识别该新增图像类对应的多张图像的图像特征，之后确定出多张图像的图像特征中的共有特征。最后将确定的共有特征确定为该新增图像类的图像特征。之后，当检测到图库新增图像时，图像特征分类模型可以根据新增图像的图像特征确定新增图像是否为上述新增图像类。通过上述步骤，使图像特征分类模型不仅可以识别已有图像类，还可以对用户新建的新增图像类进行识别，提高了图像特征分类模型的拓展性。

对应上述图像分类方法，本发明实施例提供了一种终端设备的结构示意图。如图6所示，终端设备包括识别模块601、比对模块602、处理模块603和校准模块604。

识别模块601，用于检测到图库新增图像时，识别新增图像的图像特征。

比对模块602，用于将新增图像的图像特征分别与多个已有图像类的图像特征进行比对。

处理模块603，用于根据比对的结果，确定新增图像的初分类结果，初分类结果包含至少一个已有图像类。

校准模块604，用于响应于对分类结果的校准指令，显示校准界面，校准界面包含新增图像的初分类结果。

处理模块603，还用于获取对初分类结果的校准操作。

处理模块603，还用于根据校准操作，确定新增图像的目标分类结果。

在一些实施例中，处理模块603具体用于：

将新增图像输入图像特征分类模型，图像特征分类模型用于识别新增图像的图像特征，并根据多个已有图像类的图像特征，确定新增图像属于各个已有图像类的概率值。

根据概率值，确定新增图像的初分类结果。

图6所示实施例提供的平台服务器可用于执行本说明书图1～图5所示方法实施例的技术方案，其实现原理和技术效果可以进一步参考方法实施例中的相关描述。

图7为本发明实施例提供的一种电子设备的结构示意图，如图7所示，上述电子设备可以包括至少一个处理器，以及与上述处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，上述处理器调用上述程序指令能够执行本说明书图1～图5所示实施例提供的图像分类方法。

如图7所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器710、通信接口720和存储器730，连接不同系统组件(包括存储器730、通信接口720和处理单元710)的通信总线740。

通信总线740表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器730可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。存储器730可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本说明书各实施例的功能。

具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器730中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本说明书所描述的实施例中的功能和/或方法。

处理器710通过运行存储在存储器730中的程序，从而执行各种功能应用以及数据处理，例如实现本说明书图1～图5所示实施例提供的图像分类方法方法。

本说明书实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行本说明书图1～图5所示实施例提供的图像分类方法方法。

上述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory；以下简称：ROM)、可擦式可编程只读存储器(Erasable Programmable ReadOnly Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本说明书的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本说明书的实施例所属技术领域的技术人员所理解。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

需要说明的是，本说明书实施例中所涉及的设备可以包括但不限于个人计算机(Personal Computer；以下简称：PC)、个人数字助理(Personal Digital Assistant；以下简称：PDA)、无线手持设备、平板电脑(Tablet Computer)、手机、MP3显示器、MP4显示器等。

在本说明书所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本说明书各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，连接器，或者网络装置等)或处理器(Processor)执行本说明书各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory；以下简称：ROM)、随机存取存储器(Random Access Memory；以下简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。