一种图像分类方法、装置、电子设备及存储介质

技术领域

本申请涉及技术领域，具体涉及一种图像分类方法、装置、电子设备及存储介质。

背景技术

图像分类，是根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。

因此，现有的图像分类方法，是以图片内容为分辨依据，从而对图像进行分类。当一张待分类图像中既有真实场景图像，又有卡通图像时，则会将该待分类图像根据卡通图像分类成卡通类图片。

因此，现有的图像分类方法，对于具有卡通图像的待分类图像分类，误判率较高。

发明内容

基于此，为了解决或改善现有技术的问题，本申请提供一种图像分类方法、装置、电子设备及存储介质，可以降低对于具有卡通图像的待分类图像分类的误判率。

第一方面，提供一种图像分类方法，其特征在于，包括：获取待分类图像；对所述待分类图像进行卡通化处理，得到卡通图像；对比所述卡通图像与所述待分类图像各部位的差异值是否大于预设阈值若大于或等于，则将待分类图像的对应部位标注为真实图像标签；若小于，则将待分类图像的对应部位标注为卡通图像标签；将标注了真实图像标签，和/或，卡通图像标签的待分类图像输入图像分类模型，结合标注的标签得到待分类图像的分类结果。

其中，所述对所述待分类图像进行卡通化处理，得到卡通图像，包括：将所述待分类图像进行双边滤波处理，得到卡通图像。

其中，在对所述待分类图像进行卡通化处理，得到卡通图像前，所述图像分类方法还包括：对所述待分类图像进行高斯去噪处理。

其中，所述对比所述卡通图像与所述待分类图像各部位的差异值是否大于预设阈值，包括：获取所述卡通图像每个像素点的颜色值，以及待分类图像每个像素点的颜色值；将卡通图像内，大于或等于预设颜色值的像素点设定为非零像素，将小于所述预设颜色值的卡通像素值点设定为零像素，制作第一图像掩模，并在待分类图像内，将大于或等于预设颜色值的像素点设定非零像素，将小于所述预设颜色值的像素点作为非零像素，制作第二图像掩模；计算所述卡通图像的，所述非零像素的面积占所述第一图像掩模总面积的第一比例值，以及计算所述待分类图像的，所述非零像素的面积占所述第二图像掩模总面积的第二比例值；计算所述第一比例值及所述第二比例值的差异值，并对比所述差异值是否大于或等于所述预设阈值。

其中，所述对比所述卡通图像与所述待分类图像各部位的差异值是否大于预设阈值，包括：获取所述卡通图像、所述待分类图像的色调；计算所述卡通图像及所述待分类图像每个部位的色调差异值的平均值是否大于预设值；或者，在所述对比所述卡通图像与所述待分类图像各部位的差异值是否大于预设阈值前，所述图像分类方法包括：将所述待分类图像转化为HSV色域内的图像；在所述HSV色域内，对所述待分类图像进行卡通化处理，得到卡通化图像。

其中，在所述对比所述卡通图像与所述待分类图像各部位的差异值是否大于预设阈值前，所述图像分类方法还包括：将所述待分类图像输入所述图像分类模型进行初步分类，得到待分类图像各部位的初步分类标签；对具有不同初步分类标签的图像部位设置不同的预设阈值。

其中，所述分类结果包括图像各部位的类别分类结果及真实图像分类结果，或/和，卡通图像分类结果；所述结合标注的标签得到待分类图像的分类结果，包括：判断所述分类结果中的卡通图像分类结果与真实图像分类结果与所述各部位的真实图像标签及卡通图像标签是否相同；若相同，则输出对应的所述分类结果；若不相同，则使用所述各部位的真实图像标签及卡通图像标签替换所述真实图像分类结果及卡通图像分类结果，并输出经过替换后的对应的分类结果。

本申请第二方面提供一种图像分类装置，包括：图像获取模块，用于获取待分类图像；卡通处理模块，用于对所述待分类图像进行卡通化处理，得到卡通图像；对比模块，用于对比所述卡通图像与所述待分类图像各部位的差异值是否大于预设阈值；标注模块，用于若所述差异值大于或等于所述预设阈值，则将待分类图像的对应部位标注为真实图像标签；若所述差异值小于所述预设阈值，则将待分类图像的对应部位标注为卡通图像标签；分类模块，用于将标注了真实图像标签，和/或，卡通图像标签的待分类图像输入图像分类模型，结合标注的标签得到待分类图像的分类结果。

本申请第三方面提供一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述中任一项所述的图像分类方法的步骤。

本申请第四方面提供一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行上述中任一项所述的图像分类方法的步骤。

上述图像分类方法、装置、电子设备及存储介质，在对待分类图像进行分类前，对待分类图像标注真实图像标签或卡通图像标签，在对待分类图像进行分类时，结合事先标注的标签对标注有真实图像标签或卡通图像标签的待分类图像进行分类，因此降低了具有卡通图像的但分类图像的分类误判率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。应当理解的是，下面描述中的附图仅仅用以解释本发明，并不用于限定本发明。

图1为本申请一实施例图像分类方法的流程示意图；

图2为本申请一实施例图像分类方法在步骤S102前还具有的流程示意图；

图3为本申请一实施例图像分类方法的步骤S105的具体实现流程示意图；

图4为本申请一实施例图像分类装置的结构框图。

具体实施方式

下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如背景技术所述，发明人研究发现，现有的图像分类方法，是以图片内容为分辨依据，从而对图像进行分类。当一张待分类图像中既有真实场景图像，又有卡通图像时，则会将该待分类图像根据卡通图像分类成卡通类图片。

本申请实施例提出一种图像分类方法、装置、电子设备及存储介质，可以降低对于具有卡通图像的待分类图像分类的误判率。

图1是本申请一实施例的图像分类方法的流程示意图，请参阅图1，图像分类方法包括：

S101、获取待分类图像；

S102、对待分类图像进行卡通化处理，得到卡通图像；

S103、对比卡通图像与待分类图像各部位的差异值是否大于预设阈值；

S104、若大于或等于，则将待分类图像的对应部位标注为真实图像标签；若小于，则将待分类图像的对应部位标注为卡通图像标签；

S105、将标注了真实图像标签，和/或，卡通图像标签的待分类图像输入图像分类模型，结合标注的标签得到待分类图像的分类结果。

本实施例的图像分类方法，在对待分类图像进行分类前，能够对待分类图像标注真实图像标签或卡通图像标签，从而在对待分类图像进行分类时，直接对标注有真实图像标签或卡通图像标签的待分类图像进行分类，因此降低了具有卡通图像的但分类图像的分类误判率。

在步骤S101中，待分类图像可以是卡通图像，或者，真实图像，或者卡通与真实结合的图像。

在步骤S102中，卡通化处理的方式可以是双边滤波处理，在其他实施例中，也可以是素描滤波等卡通化处理的方案。在本步骤中，无论待检测图像是否是真实图像，均进行卡通化处理，原因如下：

卡通图像具有如下特点：1.边缘变化明显，即边缘部分颜色数值突变较大，这种突变即使在灰度上看，也是明显的；2.色彩丰富度不高，即表现整幅图像所用到的颜色值种类不多，转到HSV色彩空间时，卡通图像的色调分布通常没有真实照片广；3.非边缘区域的颜色变化很小，这个特点与特点2相对应，卡通图像上有较大面积的颜色单一的区域。

而真实图像，相当于是相机对真实世界的光影采样，丰富的光影采样就对应了丰富的色彩，表现为颜色数值上的丰富。同时在边缘上，光的各种反射衍射存在，使图像在边缘上或多或少会有颜色交融的现象，边缘处的颜色突变小。并且真实图像颜色严格单一的区域通常不大，即使拍摄一个颜色单一的场景，比如天空、纸面，也很难使得拍摄的这些场景区域的颜色数值上是较严格的单一性。

因此，在将待分类图像进行卡通化处理后，若待分类图像是真实图像，则卡通化处理前后，会具有明显的变化，例如卡通化处理后，色彩丰富度下降，低频区域即色彩相近区域变得更平坦，边缘出现锋利。这些变化表现在色彩数值上，就是和原图做差分后，差异值平均较高，图片高频信息含量越高、色彩分布越广的，卡通化后和原图差别越大。

而若待分类图像是卡通图像，则卡通化处理前后，不会具有明显的变化，表现在色彩数值上，就是卡通化后和原图的色彩数值的差异值较小。因此可根据差异值的变化大小来对待分类图像进行标注卡通图像或者真实图像的标签。

在步骤S103中，差异值及预设阈值可以是色域空间中的色彩度量值，例如RGB色域空间中的R值、G值及B值，也可以是HSV色域空间中的H值、S值及V值。

在步骤S103中，若差异值大于或等于预设阈值，则表示卡通化前后的待分类图像，差异较大，因此可以根据步骤S104，将待分类图像的对应部位标注为真实图像标签。

相应的，在步骤S103中，若差异值小于预设阈值，则表示卡通化前后的待分类图像，差异较小，因此可以根据步骤S104，将待分类图像的对应部位标注为卡通图像标签。

因此，在步骤S105中，则能够在具有了真实图像标签，和/或，卡通图像标签的基础上，对待分类图像进行分类，得到待分类图像的分类结果。

在一个实施例中，在步骤S102、对待分类图像进行卡通化处理，得到卡通图像前，图像分类方法还包括：对待分类图像进行高斯去噪处理。

通过进行高斯去噪处理，能够在一定程度上消除待分类图像中的噪声，因此能够更加准确地对待分类图像进行卡通化处理。

在一个实施例中，对比卡通图像与待分类图像各部位的差异值是否大于预设阈值，包括：获取卡通图像每个像素点的颜色值，以及待分类图像每个像素点的颜色值；将卡通图像内，大于或等于预设颜色值的像素点设定为非零像素，将小于预设颜色值的卡通像素值点设定为零像素，制作第一图像掩模，并在待分类图像内，将大于或等于预设颜色值的像素点设定非零像素，将小于预设颜色值的像素点作为零像素，制作第二图像掩模；计算卡通图像的，非零像素的面积占第一图像掩模总面积的第一比例值，以及计算待分类图像的，非零像素的面积占第二图像掩模总面积的第二比例值；计算第一比例值及第二比例值的差异值，并对比差异值是否大于或等于预设阈值。

在本实施例中，颜色值及预设颜色值均为RGB空间中RGB值，预设颜色值的设置方法包括：在获取卡通图像每个像素点的颜色值，以及待分类图像每个像素点的颜色值后，将卡通图像及待分类图像每个像素点的颜色值进行颜色分类，将每个分类后的像素点的颜色值与对应的颜色范围比较，若颜色值在预设颜色范围内，则像素点的颜色值小于预设颜色值，若颜色值在颜色范围内，则像素点的颜色值大于预设颜色值。

例如，卡通图像的一个像素点的RGB颜色值为209,52,56，则将该像素点进行颜色分类，分类的结果是红色，则将该颜色值与对应的红色颜色范围比较，红色范围的RGB值可以是200-255，0-60,0-60，此时该像素点的RGB颜色值在红色颜色值范围内，则像素点的颜色值小于预设颜色值。

非零像素则表示该像素是感兴趣的，或者有用的像素，因此可以通过非零像素值占据图像掩模总面积的比例值，来提取图像的感兴趣的区域占比。

而对比第一比例值及第二比例值，则能够看出，在卡通化前后，感兴趣区域的变化多少，变化多，则表示在卡通化前后，差异值平均较高，卡通化后和原图差别大，待分类图像是真实图像。相反地，感兴趣区域的变化少，则表示在卡通化前后，差异值平均较低，卡通化后和原图差别小，待分类图像是真实图像。

在本实施例中，预设阈值可以为0.1。在其他实施例中，预设阈值还可以是0.2等。

在一个实施例中，对比卡通图像与待分类图像各部位的差异值是否大于预设阈值，包括：获取卡通图像、待分类图像的色调；计算卡通图像及待分类图像每个部位的色调差异值的平均值是否大于预设值。

图像的每个部位都有色调值，色调值的差异同样能够反应出卡通化图像及待分类图像卡通化前后的差异，以在大于或等于预设值的时候，将待分类图像标注真实图像标签，或在小于预设值的时候，将待分类图像标注卡通图像标签。在本实施例中，预设阈值可以为0.1。在其他实施例中，预设阈值还可以是0.2等。

在一个实施例中，在对比卡通图像与待分类图像各部位的差异值是否大于预设阈值前，图像分类方法包括：将待分类图像转化为HSV色域内的图像；在HSV色域内，对待分类图像进行卡通化处理，得到卡通化图像。

HSV色域是一个均匀感受的色域空间，能够在一定程度上减少因边缘数量不同而对卡通化处理产生的影响，因此能够提升卡通化处理的准确性。

在一个实施例中，在步骤S103，对比卡通图像与待分类图像各部位的差异值是否大于预设阈值前，请参阅图2，图像分类方法还包括：

1021、将待分类图像输入图像分类模型进行初步分类，得到待分类图像各部位的初步分类标签；

1022、对具有不同初步分类标签的图像部位设置不同的预设阈值。

通过设置不同的预设阈值，能够使得图像各部位的对比更加准确，例如，进行初步分类后，将待分类图像的一个部位初步标注为树木，另一个部位标注为天空，由于天空在照片上的边缘较为单一，因此在卡通化处理前后，差异性较小，因此可以将天空的预设阈值设置为0.05，而树木在卡通化处理后，受到其他遮挡物等的影响，边缘较为多样化，因此在卡通化处理前后，差异性较大，因此可以将树木的预设阈值设置为0.15。

在一个实施例中，分类结果包括图像各部位的类别分类结果及真实图像分类结果，或/和，卡通图像分类结果，而在步骤S105中，请参阅图3，结合标注的标签得到待分类图像的分类结果，包括：

S1051、判断分类结果中的卡通图像分类结果与真实图像分类结果与各部位的真实图像标签及卡通图像标签是否相同；

S1052、若相同，则输出对应的分类结果；

S1053、若不相同，则使用各部位的真实图像标签及卡通图像标签替换真实图像分类结果及卡通图像分类结果，并输出经过替换后的对应的分类结果。

在本实施例中，在进行分类前，已经对待分类图像进行了卡通图像标签，或/和，真实图像标签的标注。在进行分类时，又一次对待分类图像的卡通图像标签，或/和，真实图像标签进行标注，两次标注对比，若相同，则输出卡通图像标签，或/和，真实图像标签，若不相同，则表示图像分类模型的分类不准确，将分类前的卡通图像标签，或/和，真实图像标签输出。

其中，结合标注的标签得到待分类图像的分类结果，还包括：在若不相同，则使用所述各部位的真实图像标签及卡通图像标签替换所述真实图像分类结果及卡通图像分类结果，并输出经过替换后的对应的分类结果后，利用待分类图像各部位的真实图像标签或卡通图像标签及待分类图像对图像分类模型进行训练，以提升图像分类模型的准确度。

图4为一个实施例的图像分类装置的结构框图。请参阅图4，图像分类装置包括：图像获取模块1、卡通处理模块2、对比模块3、标注模块4及分类模块5；图像获取模块1用于获取待分类图像；卡通处理模块2用于对待分类图像进行卡通化处理，得到卡通图像；对比模块3用于对比卡通图像与待分类图像各部位的差异值是否大于预设阈值；标注模块4用于若差异值大于或等于预设阈值，则将待分类图像的对应部位标注为真实图像标签；若差异值小于预设阈值，则将待分类图像的对应部位标注为卡通图像标签；分类模块5用于将标注了真实图像标签，和/或，卡通图像标签的待分类图像输入图像分类模型，结合标注的标签得到待分类图像的分类结果。

本申请实施例提供的图像分类装置，在对待分类图像进行分类前，能够对待分类图像标注真实图像标签或卡通图像标签，从而在对待分类图像进行分类时，直接对标注有真实图像标签或卡通图像标签的待分类图像进行分类，因此降低了具有卡通图像的但分类图像的分类误判率。

上述图像分类装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像分类装置按照需要划分为不同的模块，以完成上述图像分类装置的全部或部分功能。

关于图像分类装置的具体限定可以参见上文中对于图像分类方法的限定，在此不再赘述。上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本申请实施例中提供的图像分类装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请还提出了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意实施例中所述的图像分类方法的步骤。

电子设备可以以各种形式来实施。例如，本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像分类方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像分类方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。