一种基于卷积神经网络的数码美术作品审查方法、装置、电子设备及计算机程序产品

技术领域

本发明涉及图像审查技术领域，尤其涉及一种基于卷积神经网络的数码美术作品审查方法、装置、电子设备及计算机程序产品。

背景技术

随着信息技术的发展，基于数码的美术作品越来越多地存在于各种平台上，也催生出各种特别用来存储，上传，下载和交流的数码美术作品交流平台。随着电子绘画软件的发展，数码美术作品表达能力逐渐与真实美术作品相当，包括其画面肌理，绘画工具特征，色彩特征等等都可以得到体现，这些进步极大地促进了我们利用电子设备在美术领域的发展与交流，丰富了我们的生活。近期，由于神经网络技术的发展，基于生成对抗网络的AI生成图像在互联网上流行。此类作品与其他数码美术作品之间最根本的区别即：是否由人创作，即使这些由AI生成的数码美术作品与人创作的数码美术作品在内容上区别不大。由于用户需求不同，导致平台必须投入人力，对上传的作品是否由AI生成进行人工分析。因为用户的需求不同，而且这些AI生成的数码美术作品在内容上的相似性与难鉴别性是广泛存在的，所以必须存在一种方法，用来区分由人创作的数码美术作品与AI创作的数码美术作品。

发明内容

本发明提供了一种基于卷积神经网络的数码美术作品审查方法及相关产品，以期通过对作品在艺术风格上的特点进行解析，至少缓解上述存在的问题，方便对AI生成的数码美术作品的初步鉴定。

第一方面，本发明提供一种数码美术作品审查方法，所述方法为使用卷积神经网络分析通过量化方法处理后的艺术风格。所述艺术风格尤其指肌理与工具特征，色彩特征。所述量化方法综合两种量化策略：策略一为基于图像梯度变化分析的量化策略，策略二为基于图像相对色彩分析的量化策略。其中：

策略一使用卷积运算处理数码美术作品，获得卷积结果，并处理卷积结果得到注意力图；结合所述注意力图与卷积结果，确定有效卷积数据，并对有效卷积数据进行尺寸为16像素*16像素的随机采样，得到量化后的肌理与工具特征。

策略二使用统计处理数码美术作品，对数码美术作品中使用的颜色特征，同一颜色的像素数量进行统计，得到量化后的色彩特征。

第二方面，本发明提供一种基于卷积神经网络的数码美术作品审查装置，所述审查装置包括预处理单元，卷积神经网络单元A，卷积神经网络单元B，全连接神经网络单元。其中：

所述预处理单元，用于通过卷积计算得到数码美术作品色彩梯度图，以及分析数码美术作品色彩以得到色彩分布图。综合所述色彩梯度图和色彩分布图，作为数码美术作品的特征信息，参与所述卷积神经网络单元A、卷积神经网络单元B运算。

所述卷积神经网络单元A，用于分析所述色彩梯度图，并得到分析结果A。

所述卷积神经网络单元B，用于分析所述色彩分布图，并得到分析结果B。

所述全连接神经网络单元，用于综合所述分析结果A和所述分析结果B，并输出数码美术作品是AI生成数码美术作品的可能性。

第三方面，本发明提供一种电子设备，包括处理器，存储器，通信接口，以及一个或多个程序。所述一个或多个程序被储存在所述存储器中，并且被配置由所述处理器执行，所述程序用于执行第一方面任一方法中的策略的指令。

第四方面，本发明提供一种计算机程序产品，包括计算机程序或指令，当所述计算机程序或指令被处理器执行时，实现上述第一方面所述的方法中的策略。该计算机程序产品可以是一个软件安装包。

与现有技术相比，本发明有以下优势：

上述技术方案，相对于传统的纯人力审核数码美术作品，使用本发明可以一定程度上减少人力损耗，并缩短审核时间；本发明与现有的卷积神经网络图像处理方法相比，引入色彩分析，具有对训练集之外的数据的拟合效果更好、识别准确率更高，对压缩后的图片识别准确率高的优点。

附图说明

以下为本发明说明书的附图说明：

图1为本发明提供的一种基于卷积神经网络的数码美术作品审查方法一种实施例的流程示意图。

图2为本发明提供的一种基于卷积神经网络的数码美术作品审查方法中预处理模块中得到色彩梯度图和色彩分布图一种实施例的流程示意图。

图3为本发明提供的一种基于卷积神经网络的数码美术作品审查方法中预处理模块中得到特征信息一和特征信息二的一种实施例的流程示意图。

图4为本发明提供的一种基于卷积神经网络的数码美术作品审查方法中卷积神经网络A模块、卷积神经网络B模块和全连接神经网络模块一种实施例的流程示意图。

图5为本发明提供的一种基于神经网络的数码美术作品审查装置的一种实施例的结构示意图。

图6为本发明提供的一种电子设备的一种实施例的结构示意图。

图7为本发明提供的一种计算机程序产品的一种实施例的结构示意图。

图8为本发明所涉及的色彩分布图示例。

具体实施方式

数码美术作品，指一类利用信息技术创作、存储及传播的美术作品。数码美术作品本身具有的快捷性促使其流行与互联网，并激励了人创造数码美术作品。

AI生成数码美术作品(在下文部分简称为“AI生成图像”)，指使用人工智能，运用一定数据与算法而得到的数码美术作品，本发明适用对象为使用扩散模型生成的AI生成图像。AI生成图像与常规数码美术作品最根本的区别在于AI生成图像并非由人创作。

本发明提供一种数码美术作品审查方法。该方法会对数码美术作品进行分析，判断该数码美术作品是或不是AI生成图像。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚且完整的分析。这仅是本发明所涉及到的部分实施例，并非全部实施例。基于本发明中的实施例，本领域普通技术人员在没有进行创造力劳动的前提下得到的所有实施例，同样属于该专利的保护范围。

如图1所示，一方面，本发明提供一种基于神经网络的数码美术作品审查方法，其中包括：

S110：将待审查数码美术作品输入预处理单元，根据策略一与策略二得到该数码美术作品的色彩梯度图和色彩分布图。

S120：基于色彩梯度图和色彩分布图，得到该数码美术作品的特征信息一，特征信息二。

S130：将特征信息一，特征信息二分别输入卷积神经网络单元A，卷积神经网络单元B，并将卷积神经网络单元A，卷积神经网络单元B的输出输入全连接神经网络单元，得到判断结果。

具体地，参考图2，步骤S110中，将待审查数码美术作品输入预处理单元，根据策略一与策略二得到该数码美术作品的色彩梯度图和色彩分布图，包括：

从通信接口获得计算机程序产品用户上传的待审查数码美术作品。

S1111：使用卷积核A1卷积，并通过阈值处理得到注意力图。注意力图覆盖处即有效卷积数据。其中，卷积核A1＝[[0,-1,0],[-1,4,-1],[0,-1,0]]。

S1112：把有效卷积数据整理为数组，作为数码美术作品的色彩梯度图。

S1121：把数码美术作品转为HSV颜色模式，按色相排序。分离每个色相的颜色，按饱和度和明度之积排序

S1122：结合上述排序结果，以每点色相为辐角，饱和度和明度之积为模长，以当前点颜色为绘制点颜色，绘制并得到色彩分布图。

S113：输出色彩梯度图和色彩分布图。

具体地，步骤S1111中，使用卷积核A1卷积，并通过阈值处理得到注意力图，包括：

阈值设为12，卷积结果的绝对值中小于该阈值的部分及成为注意力图。其中，卷积结果取值范围为[0,255]中的实数。

进一步地，参考图3，步骤120中，基于色彩梯度图和色彩分布图，得到该数码美术作品的特征信息一，特征信息二，包括：

S121：结合色彩梯度图，使用卷积核A2对有效卷积数据卷积，获取卷积结果为0处的坐标作为有效采样起始点。

S122：随机选取一定数量的有效采样起始点，进行16x16像素的RGB采样，得到该数码美术作品的特征信息一。

S123：结合色彩分布图，统计色彩分布图上每一点颜色在数码美术作品中出现的频率，得到色彩频率图。色彩分布图与色彩频率图即该数码美术作品的特征信息二。

其中，卷积核A2为所有元素均为1，宽高均为16的卷积核。

具体地，步骤S122中，包括：

将所有有效采样起始点列为数组，在上述数组中简单随机抽样n个点。

在待审查数码美术作品上，以这n个点中每个点坐标开始，向长、宽正方向划取16x16的正方形选区，并截取这些选区作为采样。

进一步地，参考图4，步骤130中，将特征信息一，特征信息二分别输入卷积神经网络单元A，卷积神经网络单元B，并将卷积神经网络单元A，卷积神经网络单元B的输出输入全连接神经网络单元，得到判断结果，包括：

S131：输入特征信息一到卷积神经网络A，得到色彩梯度特征。

S132：输入特征信息二到卷积神经网络B，得到色彩分布特征。

S133：将色彩梯度特征，色彩分布特征输入到全连接神经网络，得到输出即为判断结果。

具体地，上述步骤S131，S132与S133中，所述卷积神经网络A，卷积神经网络B，全连接神经网络，结构为：

卷积神经网络A：

层1：输入层，32卷积核，尺寸16x16x3，卷积核大小3x3，激活函数relu

层2：最大值池化，2x2

层3：96卷积核，卷积核大小3x3，激活函数relu

层4：最大值池化，2x2

层5：展平矩阵

卷积神经网络B：

层1：输入层，64卷积核，尺寸512x512x1，卷积核大小7x7，激活函数relu

层2：最大值池化，2x2

层3：64卷积核，卷积核大小3x3，激活函数relu

层4：最大值池化，2x2

层5：64卷积核，卷积核大小3x3，激活函数relu

层6：最大值池化，2x2

层7：展平矩阵

全连接神经网络：

层1：128节点，激活函数relu

层2：64节点，激活函数relu

层3：输出层，2节点，激活函数relu

其中，步骤S133中，得到输出即为判断结果，即取全连接神经网络输出层中的最大值一项，若最大值是节点0，则判断为人创作的数码美术作品；若最大值是节点1，则判断为AI生成数码美术作品。

由于AI生成数码美术作品是由超采样算法从很小的图片生成的，因此超采样算法所表现出来的微观颜色梯度特征与使用绘画软件创作的数码美术作品的微观颜色梯度特征会有所区别。具体地，是指一种或几种特殊颜色纹理，超采样算法在处理过渡色时会产生这些有规律的纹理特征，虽然用绘画软件也会因为不同绘画工具的使用而导致人创作的数码美术作品也具有类似的纹理特征，但这些纹理特征单位尺寸通常相当大，上百像素才出现重复单位。因此，通过微观颜色梯度特征来分析作品是否由人创作是可行的。

但是，如果数码美术作品经过了压缩处理，或是在AI生成数码美术作品的基础上使用绘画工具修改的，都会导致上述微观颜色梯度特征变化甚至是消失，导致模型无法准确识别数码美术作品。因此，本发明引入了色彩分析，加入色彩分析的模型具有对训练集之外的数据的拟合效果更好、识别准确率更高，对压缩后的图片识别准确率高的优点。

具体地，色彩分析统计数码美术作品中的颜色值，得到这些颜色在色环上的分布和出现频率，并生成色彩分布图和色彩频率图，作为数码美术作品除图像本身之外的一个新特征参与运算。图像压缩对于图像细节的损失较大，但基本不会改变图像的颜色分布。因此，引入色彩分析可以弥补上述的缺点。

参考图5，在一些实施例中，涉及一种基于卷积神经网络的数码美术作品审查装置，包括201审查单元，2021卷积神经网络单元A，2022卷积神经网络单元B，全连接神经网络单元。其各步骤与上述实施例相同，此处不再赘述。

参考图6，在一些实施例中，还涉及一种电子设备，包括301通信接口，302处理器，303存储器。其中通信接口用于接收用户上传的数码美术作品，处理器用于执行上述第一方面中任一方法的任一策略所涉及的指令或程序，存储器用于存储上述指令或程序以及用户上传的数码美术作品。

参考图7，在一些实施例中，还涉及一种计算机程序产品及其相关电子设备，包括401计算机程序产品中的指令或程序，402处理器，403通信接口。其中，计算机程序产品中的指令或程序实现上述第一方面中任一方法的任一策略，处理器用于执行上述计算机程序产品中的指令或程序，通信接口用于向服务器发送上传的数码美术作品、上述任一特征信息和使用者信息。该计算机程序产品可以是一个软件安装包。