图像处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及图像处理方法、装置、设备及存储介质。

背景技术

随着互联网信息时代的发展，越来越多的公司、组织和个人等选择在互联网上分享图像和视频等信息，内容良莠不齐，因此需要有相应的内容审核机制来避免违规内容的发布和传播。现有的内容审核机制包括人工审核和机器审核，其中，人工审核需要耗费大量的人力物力，而机器审核一般利用先进的计算机视觉等技术达到机器自动审核的目的，可以节省大量的人力成本，是目前主流的内容审核方式。

在采用机器审核时，通常将原始图像完整地输入到审核模型中，然而，原始图像中可能存在一些干扰信息，对审核效率以及审核结果的准确度均会产生一定的影响。

发明内容

本发明实施例提供了图像处理方法、装置、设备及存储介质，可以对用于进行内容审核的图像进行处理，解决利用原始图像进行审核时的准确度低以及审核效率低的问题。

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：

识别原始图像是否为预设类型图像，其中，所述预设类型图像包括预设对象的翻拍图像，所述预设对象的外表面呈现有文字信息和/或图像信息，所述预设类型图像中嵌套有预设对象图像；

若是，则从所述原始图像中提取所述预设对象图像；

采用预设审核模型对所述预设对象图像进行内容审核，以确定所述原始图像中是否包含违规内容。

第二方面，本发明实施例提供了一种图像处理装置，该装置包括：

预设类型图像识别模块，用于识别原始图像是否为预设类型图像，其中，所述预设类型图像包括预设对象的翻拍图像，所述预设对象的外表面呈现有文字信息和/或图像信息，所述预设类型图像中嵌套有预设对象图像；

预设对象图像提取模块，用于在识别出所述原始图像为所述预设类型图像的情况下，从所述原始图像中提取所述预设对象图像；

内容审核模块，用于采用预设审核模型对所述预设对象图像进行内容审核，以确定所述原始图像中是否包含违规内容。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例提供的图像处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的图像处理方法。

本发明实施例中提供的图像处理方案，识别原始图像是否为预设类型图像，其中，预设类型图像包括预设对象的翻拍图像，预设对象的外表面呈现有文字信息和/或图像信息，预设类型图像中嵌套有预设对象图像，若为预设类型图像，则从原始图像中提取预设对象图像，采用预设审核模型对预设对象图像进行内容审核，以确定原始图像中是否包含违规内容。通过采用上述技术方案，当需要进行审核的原始图像为预设对象的翻拍图像时，从原始图像中提取预设对象图像，采用预设审核模型对预设对象图像进行有针对性的内容审核，可以提高内容审核的准确度以及审核效率。

附图说明

图1为本发明实施例提供的一种图像处理方法的流程示意图；

图2为本发明实施例提供的又一种图像处理方法的流程示意图；

图3为本发明实施例提供的一种图像处理装置的结构框图；

图4为本发明实施例提供的一种计算机设备的结构框图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明实施例提供的一种图像处理方法的流程示意图，该方法可以由图像处理装置执行，其中该装置可由软件和/或硬件实现，一般可集成在服务器等计算机设备中。如图1所示，该方法包括：

步骤101、识别原始图像是否为预设类型图像，其中，所述预设类型图像包括预设对象的翻拍图像，所述预设对象的外表面呈现有文字信息和/或图像信息，所述预设类型图像中嵌套有预设对象图像。

本发明实施例中，原始图像可以理解为待审核的原始图像，具体来源不做限定。在网络平台上，用户可以上传图片或视频等资源，针对不同的业务场景，这些资源的格式或存在形式等可能有所不同，对此不做限定。图片资源可包括用户拍摄的照片或用户通过其他途径获取到的图片；视频资源可以包括视频文件，还可以包括视频流等数据。对于图片资源，可以将用户上传的图片文件作为原始图像；对于视频资源，可以采用一定的图像选择规则从中选取一个或多个视频帧作为原始图像，图像选择规则例如可以是随机挑选、等间隔采样或不等间隔采样等等。

本发明实施例中，预设对象可以理解为外表面呈现有文字信息和/或图像信息的对象。示例性的，预设对象可以包括如电子屏幕、宣传品和出版物等物品，电子屏幕例如可包括如手机显示屏、电脑显示屏、电视或投影幕布等，宣传品例如可包括如条幅或海报等，出版物例如可以包括报刊、杂志或书籍等。一些用户在拍摄图片或视频时，可能会对上述属于预设对象的物品的外表面进行拍摄或录播，使得拍摄得到的图片或视频画面中包含预设对象的图像(简称预设对象图像或嵌套画面)，从而呈现出嵌套画面的效果，本发明实施例中将这种图像称为翻拍图像或嵌套画面图像。

对于预设对象来说，其外表面通常呈现有文字信息和/或图像信息，因此，是具有存在违规内容的可能性的，有必要进行内容审核。在相关技术中，在采用机器审核时，通常将所有待审核的原始图像完整地输入到审核模型中，并不会对上述预设类型图像和其他类型图像进行区分。但是，对于翻拍图像来说，预设对象图像在整幅图像中的角度及位置等均不固定，视觉效果较为模糊，所占比例悬殊，如果此部分画面含有目标内容(也即需要被识别出的违规内容)，相对于非嵌套画面图像而言其识别难度更大，预设对象图像部分之外的图像内容也会对审核模型造成较多干扰，影响审核准确度和审核效率。

本发明实施例中，在将待审核的图像输入到审核模型之前，先识别原始图像是否为预设类型图像，以便后续对预设类型图像进行有针对性的处理。具体的识别方式不做限定，一般可以采用预先训练的模型进行自动识别，如分类模型或图像识别模型等等。

步骤102、若是，则从所述原始图像中提取所述预设对象图像。

示例性的，经过上述识别之后，若确定原始图像为预设类型图像，则说明原始图像中包含预设对象图像，可以从中提取预设对象图像，以便后续对预设对象图像进行有针对性的内容审核。具体的提取方式不做限定，例如可以利用关键点识别技术识别出预设对象图像的关键点，根据关键点连线确定预设对象图像在原始图像中所在区域，进而从原始图像中截取预设对象图像。

可选的，在从原始图像中识别出预设类型图像后，也可先确定预设类型图像的尺寸大小，若预设类型图像的尺寸与原始图像的尺寸的比值大于预设比例阈值，则从原始图像中提取预设对象图像。这样设置的好处在于，对于尺寸过小的预设类型图像来说，可能难以查看清楚图像内容，进行内容审核的必要性较小，可以采用其他方式进行内容审核，例如，采用审核模型对原始图像进行内容审核。

步骤103、采用预设审核模型对所述预设对象图像进行内容审核，以确定所述原始图像中是否包含违规内容。

示例性的，预设审核模型可以是神经网络模型，具体的结构以及模型参数等不做限定。违规内容可以包括违反法律法规、违背道德、有害身心健康或其他类型的不适宜在网络上进行发布或传播的内容。针对不同类型的违规内容，可以分别预先训练得到不同的预设审核模型，以便更加有针对性地高效地进行内容审核。

本发明实施例中提供的图像处理方法，识别原始图像是否为预设类型图像，其中，预设类型图像包括预设对象的翻拍图像，预设对象的外表面呈现有文字信息和/或图像信息，预设类型图像中嵌套有预设对象图像，若为预设类型图像，则从原始图像中提取预设对象图像，采用预设审核模型对预设对象图像进行内容审核，以确定原始图像中是否包含违规内容。通过采用上述技术方案，当需要进行审核的原始图像为预设对象的翻拍图像时，从原始图像中提取预设对象图像，采用预设审核模型对预设对象图像进行有针对性的内容审核，可以提高内容审核的准确度以及审核效率。

在一些实施例中，所述识别原始图像是否为预设类型图像，包括：将原始图像输入至预设分类模型中，获取所述预设分类模型输出的预设类型图像标识的第一置信度；判断所述第一置信度是否大于第一预设阈值，若是，则确定所述识别原始图像为预设类型图像。这样设置的好处在于，分类网络相比于检测网络等其他网络来说，效率更高，可以快速得出识别结果。检测网络通常需要利用多个不同分辨率的特征图以覆盖不同尺度的目标，所需耗时及计算资源均高于分类网络。在实际的图像内容审核场景中，往往对算法的实时性要求较高，直接对原始图像进行预设类型图像的检测，会占用较多的时间和机器资源，因此，本发明实施例中利用简单的分类网络对嵌套画面进行预筛选。其中，第一预设阈值可以根据实际需求设置。

示例性的，预设分类模型可以通过对分类网络模型进行训练得到。分类网络模型可以选取较为轻便的轻便化网络(MobileNet)或浅层的深度残差网络(Deep residualnetwork,ResNet)，其中，MobileNet又称为用于移动视觉应用的高效卷积神经网络(Efficient Convolutional Neural Networks for Mobile Vision Applications)。这些网络的参数量较少，速度更快，可以很好地满足实时性要求。

在一些实施例中，所述预设分类模型通过以下方式得到：利用第一训练样本集对分类网络模型进行训练，得到预设分类模型，其中，所述第一训练样本集中的第一训练样本数据包含第一样本图像和对应的第一样本标签，所述第一样本标签包括预设类型图像标识和非预设类型图像标识。预设类型图像标识例如为1，表明对应的第一样本图像为预设类型图像；非预设类型图像标识例如为0，表明对应的第一样吧图像不是预设类型图像。可以搜集嵌套有预设对象图像的图像作为第一样本图像，并标注预设类型图像标识，还可以从已有训练集中选取非预设类型图像作为第一样本图像，并标注非预设类型图像标识。可选的，分类网络模型可以利用图像网络(ImageNet)项目等开源的可视化数据库进行预训练，以提高模型的训练效率。

在一些实施例中，所述从所述原始图像中提取所述预设对象图像，包括：将所述原始图像输入至预设关键点检测模型中，获取所述预设关键点检测模型输出的所述预设对象图像的至少一个关键点坐标集合的第二置信度；将第二置信度大于第二预设阈值的关键点坐标集合确定为目标关键点坐标集合；根据所述目标关键点坐标集合提取所述预设对象图像。这样设置的好处在于，利用模型进行关键点的检测，可以快速识别出预设对象图像的所在位置，进而进行准确的提取。

示例性的，电子屏幕等预设对象的外表面的形状通常为矩形，在经过拍摄后，嵌套于原始图像中的预设对象图像一般为四边形，可以将四边形的四个顶点作为关键点。可选的，预设关键点检测模型可以通过对神经网络模型进行训练得到，具体的模型结构和模型参数等不做限定，例如可以包括MobileNet和ResNet等，还可结合其他网络结构，如特征金字塔网络(Feature Pyramid Networks，FPN)等，提高检测性能。

在一些实施例中，所述预设关键点检测模型通过以下方式得到：利用第二训练样本集对关键点检测网络模型进行训练，得到预设关键点检测模型，其中，所述第二训练样本集中的第二训练样本数据包含第二样本图像和对应的第二样本标签，所述第二样本标签包括所述第二样本图像中的预设对象图像的关键点坐标。第二样本图像可以与预设类型的第一样本图像相同，降低样本获取成本，也可不同，具体不做限定，可以在第二样本图像中标注出预设对象图像的关键点坐标作为第二样本标签。

在一些实施例中，所述采用预设审核模型对所述预设对象图像进行内容审核，包括：根据预设图像尺寸对应的预设坐标集合和所述目标关键点集合确定仿射变换矩阵；利用所述仿射变换矩阵将所述预设对象图像处理成目标预设对象图像，其中，所述目标预设对象图像与所述预设图像尺寸相匹配；采用预设审核模型对所述目标预设对象图像进行内容审核。这样设置的好处在于，虽然电子屏幕等预设对象的外表面的形状通常为矩形，但在经过拍摄后，形状通常会发生变化，由规则的矩形变为不规则的四边形，并且，图像尺寸也大小不一，可以将预设图像尺寸设置为矩形尺寸，利用预设图像尺寸对应的矩形四个顶点的预设坐标集合，通过仿射变换将检测出的预设对象图像恢复至矩形形状，且尺寸大小变为预先设置的尺寸大小，便于后续的内容审核，进一步提高审核效率。

在一些实施例中，所述采用预设审核模型对所述预设对象图像进行内容审核，以确定所述原始图像中是否包含违规内容，包括：在所述原始图像中包含多个预设对象图像的情况下，采用预设审核模型分别对所述多个预设对象图像进行内容审核，得到所述多个预设对象图像分别对应的审核结果；利用第一预设规则对多个审核结果进行汇总，根据汇总结果确定所述原始图像中是否包含违规内容。这样设置的好处在于，用户在对预设对象进行拍摄时，可能存在多个预设对象，如同时对两个手机屏幕进行拍摄，此时，原始图像中会包含多个预设对象图像，针对多个预设对象图像中的每个预设对象图像分别进行内容审核，相比于相关技术中将原始图像作为一个整体进行内容审核的方案来说，可以有效提高内容的准确度。可选的，在对多个预设对象图像分别进行内容审核时，可采用并行审核的方式，进一步提升审核效率。其中，第一预设规则可以根据审核尺度等相关需求进行设置，具体不做限定。

在一些实施例中，所述利用第一预设规则对多个审核结果进行汇总，根据汇总结果确定所述原始图像中是否包含违规内容，包括：若多个审核结果中的至少一个审核结果为包含违规内容，则确定所述原始图像中包含违规内容，其中，按照预设顺序采用预设审核模型依次对所述多个预设对象图像进行内容审核，在确定所述原始图像中包含违规内容时，停止内容审核。这样设置的好处在于，部分预设对象图像存在不需要进行内容审核的概率，有效提升审核效率。

在一些实施例中，在所述原始图像中包含的所有预设对象图像均审核完毕后，从所有审核结果中筛选审核结果置信度最高的目标审核结果，若所述目标审核结果为包含违规内容，则确定所述原始图像中包含违规内容。这样设置的好处在于，对所有预设对象图像进行全面的审核，防止漏检的同时以置信度最高的结果为准，减少误报。

在一些实施例中，所述采用预设审核模型对所述预设对象图像进行内容审核，以确定所述原始图像中是否包含违规内容；采用预设审核模型对所述预设对象图像和所述原始图像进行内容审核，得到所述预设对象图像对应的第一审核结果和所述原始图像对应的第二审核结果；利用第二预设规则对所述第一审核结果和所述第二审核结果进行汇总，根据汇总结果确定所述原始图像中是否包含违规内容。这样设置的好处在于，原始图像中除预设对象图像以外的图像内容也可能存在违规情况，对原始图像整体也进行内容审核，防止发生遗漏。可选的，此处的第二预设规则可以与上述第一预设规则类似。例如，可先审核预设对象图像得到第一审核结果，若第一审核结果为包含违规内容，则无需再对原始图像进行审核，直接确定原始图像包含违规内容；又如，将第一审核结果和第二审核结果中的置信度最高的审核结果确定为最终的审核结果。

在一些实施例中，在所述识别原始图像是否为预设类型图像之前，还包括：从待审核的原始视频中提取待审核的原始图像集合；其中，对于所述原始图像集合中的预设类型图像之外的第一原始图像以及提取预设对象图像失败的属于预设类型图像的第二原始图像，采用所述预设审核模型对所述第一原始图像和所述第二原始图像进行内容审核，以确定对应的原始图像中是否包含违规内容；所述方法还包括：根据所述原始图像集合中的各原始图像分别对应的审核结果确定所述原始视频的审核结果。这样设置的好处在于，可以适用于待审核资源为视频资源的情况，对于识别为不包含预设类型图像的原始图像以及虽被识别为预设类型图像但未能成功提取到预设对象图像的原始图像来说，通过预设审核模型直接对相应的原始图像进行内容审核，最终得到原始视频的审核结果。

图2为本发明实施例提供的又一种图像处理方法的流程示意图，在上述各可选实施例基础上进行优化，如图2所示，该方法可包括：

步骤201、从待审核的原始视频中提取待审核的原始图像集合。

原始视频可以是需要进行内容审核的视频资源，例如可以是用户上传的短视频、直播流或其他视频资源等，可以采用一定的图像选择规则从原始视频选取多个视频帧，每个视频帧作为一个原始图像，进而形成原始图像集合。其中，图像选择规则例如可以是随机挑选、等间隔采样或不等间隔采样等等，当然，也可将解码得到的所有视频帧图像均列入原始图像集合，防止发生漏审的情况。

步骤202、针对原始图像集合中的每个原始图像，识别当前原始图像是否为预设类型图像，若是，则将当前原始图像记为预设类型原始图像，若否，则将当前原始图像记为第一原始图像。

其中，预设类型图像包括预设对象的翻拍图像，预设对象的外表面呈现有文字信息和/或图像信息，预设类型图像中嵌套有预设对象图像。

示例性的，将当前原始图像输入至预设分类模型中，获取预设分类模型输出的预设类型图像标识的第一置信度，判断第一置信度是否大于第一预设阈值，若大于，则确定当前原始图像为预设类型图像，记为预设类型原始图像，若小于或等于，则确定当前原始图像不是预设类型图像，记为第一原始图像。预设分类模型的训练过程可参考上文相关内容，此处不再赘述。

步骤203、将预设类型原始图像输入至预设关键点检测模型中，根据模型输出结果确定目标关键点坐标集合，根据目标关键点坐标集合提取预设对象图像，对于未提取成功的预设类型原始图像，记为第二原始图像。

可选的，在将预设类型原始图像输入至预设关键点检测模型之前，还可对预设类型原始图像进行预处理，例如图像宽高缩放或像素值归一化等操作。

示例性的，预设关键点检测模型中可以包括作为主干网络的MobileNet或ResNet等，还可包括FPN结构。由于预设对象图像的尺寸大小可能千差万别，结合FPN结构可以获取多个不同分辨率的特征图，以覆盖不同尺度的目标(也即预设对象图像)，达到更优的检测性能。然后，特征图经由卷积层及全连接层等组成的预测器网络结构，一般可以得到多组预测目标关键点坐标(关键点坐标集合)和对应的预测目标置信度(每个关键点坐标集合对应的第二置信度)。其中，预设关键点检测模型的损失函数可以由两个部分组成，分别是分类损失和关键点坐标损失，分类损失可以选用交叉熵损失，关键点坐标损失可以选用smoothL1损失(光滑的L1范数损失函数)。对于构建好的关键点检测网络模型，可以利用嵌套画面关键点标注数据(也即第二训练样本集)对其进行训练，以使其具有针对性检测能力。设定目标检测阈值(第二预设阈值)，对于预测目标置信度大于目标检测阈值的目标，将其送入下面步骤中进行后续处理。在一幅输入图像中，可能包含零或多个嵌套画面，也即目标关键点坐标集合的数量可能为0个、1个或多个，对于0个的情况，说明预设对象图像未提取成功，将对应的预设类型原始图像记为第二原始图像。

步骤204、对于提取出来的预设对象图像，根据预设图像尺寸对应的预设坐标集合和目标关键点集合确定仿射变换矩阵，利用仿射变换矩阵将预设对象图像处理成目标预设对象图像，其中，目标预设对象图像与预设图像尺寸相匹配。

示例性的，以一个预设对象图像为例，假设目标关键点集合可以表示为((x

a.根据y坐标由小到大进行排序，得到((x

b.对于((x

c.对于((x

假设需要将预设对象图像缩放至宽高分别为w

步骤205、将原始图像集合中的各原始图像以及目标预设对象图像输入至预设审核模型中进行内容审核，得到原始视频的内容审核结果。

其中，对于第一原始图像和第二原始图像，可以仅针对原始图像进行内容审核，对于原始图像集合中除第一原始图像和第二原始图像之外的原始图像(可记为第三原始图像)，对应有一个或多个目标预设对象图像，可以结合第三原始图像的审核结果以及对应的目标预设对象图像的审核结果来确定第三原始图像的最终审核结果，确定方式可参考前文相关内容。例如，对于第三原始图像来说，其中包含n个嵌套画面，也即提取出n个预设对象图像，则经过仿射变换后得到n个目标预设对象图像，将第三原始图像和n个目标预设对象图像输入到预设审核模型中，可以得到n+1个审核结果，例如取其中置信度最大的审核结果为目标审核结果，将目标审核结果作为第三原始图像的最终审核结果。

可选的，在输入至预设审核模型之前，可以针对各待输入的图像进行统一的预处理，如缩放至统一尺寸等。

本发明实施例提供的图像处理方法，对于针对视频资源进行内容审核的情况，现将视频解码为图像，得到原始图像集合，针对各原始图像分别进行分类，识别出包含嵌套图像的预设类型原始图像，利用预设关键点检测模型识别嵌套图像的四个顶点坐标，经过仿射变换得到转正后得嵌套画面图像，接着将嵌套画面图像和原始图像一样经过输入至通用内容审核网络中，并进行多个图像间的审核结果汇总，得到最终的审核结果，相比于仅对整张原始图像进行审核来说，嵌套画面在录制过程中导致的形变得到还原，且分辨率得到进一步扩大，使内容审核模型更能聚焦到目标本身，从而提高审核性能，提高视频及图像内容审核召回能力。

图3为本发明实施例提供的一种图像处理装置的结构框图，该装置可由软件和/或硬件实现，一般可集成在计算机设备中，可通过执行图像处理方法来进行图像内容审核。如图3所示，该装置包括：

预设类型图像识别模块301，用于识别原始图像是否为预设类型图像，其中，所述预设类型图像包括预设对象的翻拍图像，所述预设对象的外表面呈现有文字信息和/或图像信息，所述预设类型图像中嵌套有预设对象图像；

预设对象图像提取模块302，用于在识别出所述原始图像为所述预设类型图像的情况下，从所述原始图像中提取所述预设对象图像；

内容审核模块303，用于采用预设审核模型对所述预设对象图像进行内容审核，以确定所述原始图像中是否包含违规内容。

本发明实施例中提供的图像处理装置，识别原始图像是否为预设类型图像，其中，预设类型图像包括预设对象的翻拍图像，预设对象的外表面呈现有文字信息和/或图像信息，预设类型图像中嵌套有预设对象图像，若为预设类型图像，则从原始图像中提取预设对象图像，采用预设审核模型对预设对象图像进行内容审核，以确定原始图像中是否包含违规内容。通过采用上述技术方案，当需要进行审核的原始图像为预设对象的翻拍图像时，从原始图像中提取预设对象图像，采用预设审核模型对预设对象图像进行有针对性的内容审核，可以提高内容审核的准确度以及审核效率。

本发明实施例提供了一种计算机设备，该计算机设备中可集成本发明实施例提供的图像处理装置。图4为本发明实施例提供的一种计算机设备的结构框图。计算机设备400包括存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序，所述处理器402执行所述计算机程序时实现本发明实施例提供的图像处理方法。

本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的图像处理方法。

上述实施例中提供的图像处理装置、设备以及存储介质可执行本发明任意实施例所提供的图像处理方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像处理方法。

注意，上述仅为本发明的较佳实施例。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由权利要求范围决定。