一种图片内容审核方法、装置、设备和介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图片内容审核方法、装置、设备和介质。

背景技术

图片内容审核即审核图片中是否含有违法违规的信息，例如涉黄、涉爆涉恐、涉政、涉赌以及用户隐私等信息。在内容审核中，往往有多种违规审核类别，如涉政审核，涉黄审核，个人隐私信息识别等等，而每一种违规识别在通用场景中都难以满足商业要求。如涉政识别由于人脸模糊，侧脸，漫画脸等原因往往会导致涉政图片漏验；涉黄审核中，对于涉黄与性感往往难以区别，导致机器漏审或者误判；对于个人隐私信息识别，真实场景中往往存在手写用户隐私信息，而现有的技术难以识别这些手写内容而导致个人隐私信息泄露。

因此，如何保证机器审核的误报率以及漏验率满足商业要求是目前亟待解决的问题。

发明内容

本申请提供了一种图片内容审核方法、装置、设备和介质，用于解决现有技术存在审核结果误报率以及漏验率较高的技术问题。

有鉴于此，本申请第一方面提供了一种图片内容审核方法，包括：

响应于图片审核请求，获取待审核图片；

调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别；

根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果。

可选的，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，之前还包括：

获取各负向类型图片，得到各负向类型数据集，其中，各所述负向类型数据集用于训练对应的所述负向模型；

通过所述场景识别模型对各所述负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；

通过列表存储各所述负向类型数据集对应的所述负向模型和场景类别的对应关系，得到各所述负向模型的场景列表；

相应的，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，包括：

根据所述待审核图片的场景类别，通过所述场景列表调用该场景类别对应的所述负向模型进行内容审核，得到所述待审核图片的审核结果。

可选的，所述调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别，之前还包括：

获取所述待审核图片的MD5值；

将所述待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将所述待审核图片的MD5值匹配到的所述预置图片MD5库中的MD5值对应的审核结果作为所述待审核图片的审核结果，当匹配失败时，执行后续步骤。

可选的，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，之后还包括：

将所述待审核图片的MD5值和所述待审核图片的审核结果存入到所述预置图片MD5库中，以更新所述预置图片MD5库。

可选的，所述根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果，之后还包括：

当所述待审核图片的审核结果为疑似时，对所述待审核图片进行人工审核。

本申请第二方面提供了一种图片内容审核装置，包括：

第一获取单元，用于响应于图片审核请求，获取待审核图片；

第一识别单元，用于调用场景识别模型对所述待审核图片进行场景识别，得到所述待审核图片的场景类别；

审核单元，用于根据所述待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到所述待审核图片的审核结果。

可选的，还包括：

第二获取单元，用于获取各负向类型图片，得到各负向类型数据集，其中，各所述负向类型数据集用于训练对应的所述负向模型；

第二识别单元，用于通过所述场景识别模型对各所述负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；

存储单元，用于通过列表存储各所述负向类型数据集对应的所述负向模型和场景类别的对应关系，得到各所述负向模型的场景列表；

相应的，所述审核单元具体用于：

根据所述待审核图片的场景类别，通过所述场景列表调用该场景类别对应的所述负向模型进行内容审核，得到所述待审核图片的审核结果。

可选的，还包括：

第三获取单元，用于获取所述待审核图片的MD5值；

匹配单元，用于将所述待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将所述待审核图片的MD5值匹配到的所述预置图片MD5库中的MD5值对应的审核结果作为所述待审核图片的审核结果，当匹配失败时，触发所述第一识别单元。

本申请第三方面提供了一种图片内容审核设备，所述设备包括处理器以及存储器；

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的图片内容审核方法。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面任一种所述的图片内容审核方法。

从以上技术方案可以看出，本申请具有以下优点：

本申请提供了一种图片内容审核方法，包括：响应于图片审核请求，获取待审核图片；调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别；根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。

本申请中，在获取到待审核图后，通过调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别，进而根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果，即可以根据场景类别调用不同的负向模型进行不同的违规类别审核，可以解决负向模型无法解决的问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，降低了审核结果的误报率和漏验率，解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种图片内容审核方法的一个流程示意图；

图2为本申请实施例提供的一种图片内容审核方法的另一个流程示意图；

图3为本申请实施例提供的一种图片内容审核装置的一个结构示意图。

具体实施方式

本申请提供了一种图片内容审核方法、装置、设备和介质，用于解决现有技术存在审核结果误报率以及漏验率较高的技术问题。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

术语解释：

误报：将正常的图片识别为违规；

误报率：误报图片量/总的图片量×100％；

漏检：将违规的图片识别为正常；

漏检率：漏验图片量/总的图片量×100％；

疑似：机器无法判断图片是正常还是违规；

Top1准确率：预测概率最高的类别与标签类别一致的图片数量/总的图片量×100％；

Top5准确率：预测概率前5高的类别与标签类别一致的图片数量/总的图片量×100％，往往用于多类别分类中。

为了便于理解，请参阅图1，本申请提供的一种图片内容审核方法的一个实施例，包括：

步骤101、响应于图片审核请求，获取待审核图片。

待审核图片可以为用户直接上传的图片，也可以是由有图片审核需求的第三方提供的。在接收到图片审核请求后，获取对应的待审核图片。

步骤102、调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别。

可以采用现有的场景识别模型对待审核图片进行场景识别，也可以通过采集各场景类别的数据集训练神经网络得到场景识别模型。

步骤103、根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。

在本申请实施例中，负向模型包括涉政模型、涉黄模型、涉爆涉恐模型、涉赌模型和/或隐私模型等，通过不同的负向模型可以识别不同违规类型的待审核图片，具体可以选择图像分类模型、目标检测模型、人脸识别模型和/或文字识别模型作为负向模型进行各种违规类别的审核。

图像分类的主要任务是识别给定图片的类别。传统的图片分类是使用手工设计图片的特征并使用分类器来进行分类。近年来，深度学习在图像处理中的应用越来越广泛，目前图像分类采用卷积网络对图片进行特征自动提取，并实现了端到端的特征提取与分类。在ImageNet大型数据集上，目前最佳的分类模型top1准确率达到了88.61％，top5准确率达到了98.7％。对于图片内容审核而言，通过图像分类模型可以直接将图片划分到不同的类别，如涉黄，涉爆涉恐，涉赌等。

目标检测与图像分类不同，目标检测的主要任务是，对于一张给定的图片，检测该图片是否含有特定的目标，若含有，则识别该目标在这张图的位置，以及该目标具体属于哪一类。对于图片内容审核而言，目标检测模型可以同时识别待审核图片中含有的多个违规目标，有利于减少违规图片的漏验情况。此外，识别图像中特定位置图像的类别，也有利于降低噪声影响，提高类别识别准确率。

人脸识别是目标检测的一个特殊分支。与目标检测不同的是，人脸识别的研究对象是人脸。对于一张给定的图片，人脸识别模型首先会对图片进行人脸检测，获取到人脸的位置，并对人脸进行预处理，如人脸矫正等。此后，会对人脸进行特征提取并进行人脸比对，以此判断图片中是否含有特定的人物；在图片内容审核中，人脸识别模型看用于识别特定的涉政人物，暴恐分子等。

文字识别也是目标检测的一个特殊分支。由于文字的特殊性，如成行出现，不具有封闭的界限(人等目标是有明确界限的)等，对文字的识别与一般的目标检测也有所不同。文字识别大致有两个过程，分别是文本检测以及文字识别。文本检测用以检测图片中的文本块，文字识别用以识别文本块中含有哪些文字。在内容审核中，文字识别模型可以用于识别待审核图片中的文字，并进一步判断这些文字是否含有相关违规信息，例如用户隐私信息等。

在本申请实施例中，不同场景类别的待审核图片采用不同的负向模型进行不同违规类别的审核，通过结合场景模型和负向模型，可以解决负向模型无法解决的审核问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，结合场景类别进行不同违规类型的审核，可以提高审核结果的准确性。

本申请实施例中，在获取到待审核图后，通过调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别，进而根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果，即可以根据场景类别调用不同的负向模型进行不同的违规类别审核，可以解决负向模型无法解决的问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，降低了审核结果的误报率和漏验率，解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。

以上为本申请提供的一种图片内容审核方法的一个实施例，以下为本申请提供的一种图片内容审核方法的另一个实施例。

请参考图2，本申请实施例提供的一种图片内容审核方法，包括：

步骤201、响应于图片审核请求，获取待审核图片。

步骤201的具体内容与步骤101的具体内容一致，在此不再进行赘述。

步骤202、获取待审核图片的MD5值。

可以通过MD5算法获取待审核图片的MD5值，通过MD5算法可以为待审核图片产生一个独一无二的“数字指纹”，即MD5值。通过MD5算法获取待审核图片的MD5值属于现有技术，在此不再进行赘述。

步骤203、将待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将待审核图片的MD5值匹配到的预置图片MD5库中的MD5值对应的审核结果作为待审核图片的审核结果，当匹配失败时，执行步骤204。

预置图片MD5库通过已经审核过的图片构建得到，即对已经审核过的图片，已知其审核结果，通过MD5算法获取其MD5值，然后存储该MD5值与其对应的审核结果，得到预置图片MD5库。在获取到待审核图片的MD5值后，将待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将待审核图片的MD5值匹配到的预置图片MD5库中的MD5值对应的审核结果作为待审核图片的审核结果，当匹配失败时，执行步骤204，通过负向模型进行审核。

在本申请实施例中，通过MD5算法对待审核图片进行过滤，对于已经审核过的类似的图片可有效、快速的过滤掉，对于全新的待审核图片则通过负向模型进行审核，有助于提高审核速度。

步骤204、调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别。

步骤204的具体内容与步骤102的具体内容一致，在此不再进行赘述。

步骤205、根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。

进一步，在根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果之前还包括：获取各负向类型图片，得到各负向类型数据集，其中，各负向类型数据集用于训练对应的负向模型；通过场景识别模型对各负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；通过列表存储各负向类型数据集对应的负向模型和场景类别的对应关系，得到各负向模型的场景列表。

在本申请实施例中获取各负向类型图片，包括涉黄图片、涉政图片、涉爆涉恐图片、涉赌图片和/或隐私图片，每个负向类型图片的数量尽可能多，然后按照具体的业务进行划分，得到涉黄数据集、涉政数据集、涉爆涉恐数据集、涉赌数据集和/或隐私数据集等各负向类型数据集。各负向类型数据集可以用于训练对应的负向模型。

通过调用场景识别模型对各负向类型数据集进行场景识别，得到各负向类型数据集的场景类别，然后通过列表存储各负向类型数据集对应的负向模型和场景类别的对应关系，得到各负向模型的场景列表。具体的，调用场景模型对涉黄数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到涉黄模型对应的涉黄场景列表pornList；调用场景模型对涉政数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到涉政模型对应的涉政场景列表politicsList；调用场景模型对涉爆涉恐数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到涉爆涉恐模型对应的涉爆涉恐场景列表terrorList；调用场景模型对涉赌数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到涉赌模型对应的涉赌场景列表gambleList；调用场景模型对隐私数据集进行场景识别，并记录每一次场景识别模型所识别出的场景类别，并存入到隐私模型对应的隐私场景列表privateList。

通过场景识别模型获取到待审核图片的场景类别后，结合场景列表(pornList、politicsList、terrorList、gambleList、privateList)调用该场景类别对应的负向模型进行审核，例如，某一待审核图片的场景类别为卧室场景，而pornList和privateList中均记录有该卧室场景类别，则调用涉黄模型和隐私模型对该待审核图片进行内容审核，若该卧室场景中存在相应的违规类别，则得到的该待审核图片的审核结果为违规，若涉黄模型和隐私模型都识别为正常，则该待审核图片的审核结果为正常，审核结果还包括疑似，即负向模型无法判断待审核图片是否违规，当待审核图片的审核结果为疑似时，对待审核图片进行人工审核，以保证违规图片不漏审，正常图片不误判。

本申请实施例中，通过收集各负向类型数据集并对其进行场景识别，以挖掘各负向模型与场景类别之间的对应关系，将场景不限的内容审核问题转化成多个抽象场景下的小问题，可以实现对不同场景类别的内容审核，以降低审核结果的误报率和漏验率。本申请实施例中的图片内容审核方法可以实现审核误报率低于千分之一，漏验率低于百万分之五的商业要求，大大降低了人工审核量，提高了审核效率和准确性。

进一步，本申请实施例在根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果之后还包括：将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库。

对于匹配失败的待审核图片，通过负向模型或人工审核得到审核结果后，可以将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库，使得下次审核到类似的图片时，可以通过MD5算法快速审核，提高审核速度。

本申请实施例中，在获取到待审核图后，通过调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别，进而根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果，即可以根据场景类别调用不同的负向模型进行不同的违规类别审核，可以解决负向模型无法解决的问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，降低了审核结果的误报率和漏验率，解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。

进一步，在本申请实施例中，通过MD5算法对待审核图片进行过滤，对于已经审核过的类似的图片可有效、快速的审核，提高了审核速度；对于全新的待审核图片，通过结合场景识别模型和负向模型进行内容审核，在得到审核结果后，将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库，使得下次审核到类似的图片时，可以通过MD5算法快速审核，提高审核速度。

进一步，在本申请实施例中，当待审核图片的审核结果为疑似时，对待审核图片进行人工审核，以保证违规图片不漏审，正常图片不误判。

以上为本申请提供的一种图片内容审核方法的另一个实施例，以下为本申请提供的一种图片内容审核装置的一个实施例。

请参阅图3，本申请实施例提供的一种图片内容审核装置，包括：

第一获取单元，用于响应于图片审核请求，获取待审核图片；

第一识别单元，用于调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别；

审核单元，用于根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。

可选的，还包括：

第二获取单元，用于获取各负向类型图片，得到各负向类型数据集，其中，各负向类型数据集用于训练对应的负向模型；

第二识别单元，用于通过场景识别模型对各负向类型数据集进行场景识别，得到各负向类型数据集的场景类别；

存储单元，用于通过列表存储各负向类型数据集对应的负向模型和场景类别的对应关系，得到各负向模型的场景列表；

相应的，审核单元具体用于：

根据待审核图片的场景类别，通过场景列表调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果。

可选的，还包括：

第三获取单元，用于获取待审核图片的MD5值；

匹配单元，用于将待审核图片的MD5值与预置图片MD5库中的MD5值进行匹配，当匹配成功时，将待审核图片的MD5值匹配到的预置图片MD5库中的MD5值对应的审核结果作为待审核图片的审核结果，当匹配失败时，触发第一识别单元。

作为进一步地改进，还包括：

更新单元，用于将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库。

作为进一步地改进，还包括：

人工审核单元，用于当待审核图片的审核结果为疑似时，对待审核图片进行人工审核。

本申请实施例中，在获取到待审核图后，通过调用场景识别模型对待审核图片进行场景识别，得到待审核图片的场景类别，进而根据待审核图片的场景类别调用该场景类别对应的负向模型进行内容审核，得到待审核图片的审核结果，即可以根据场景类别调用不同的负向模型进行不同的违规类别审核，可以解决负向模型无法解决的问题，如穿着内衣的人出现在海滩上是合规的，而出现在床上是违规的，降低了审核结果的误报率和漏验率，解决了现有技术存在审核结果误报率以及漏验率较高的技术问题。

进一步，在本申请实施例中，通过MD5算法对待审核图片进行过滤，对于已经审核过的类似的图片可有效、快速的审核，提高了审核速度；对于全新的待审核图片，通过结合场景识别模型和负向模型进行内容审核，在得到审核结果后，将待审核图片的MD5值和待审核图片的审核结果存入到预置图片MD5库中，以更新预置图片MD5库，使得下次审核到类似的图片时，可以通过MD5算法快速审核，提高审核速度。

进一步，在本申请实施例中，当待审核图片的审核结果为疑似时，对待审核图片进行人工审核，以保证违规图片不漏审，正常图片不误判。

本申请实施例还提供了一种图片内容审核设备，设备包括处理器以及存储器；

存储器用于存储程序代码，并将程序代码传输给处理器；

处理器用于根据程序代码中的指令执行前述方法实施例中的图片内容审核方法。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的图片内容审核方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。