一种图像处理方法、装置、设备及存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，比如图像美学评估领域。图像美学评估是利用计算机系统模拟人类对图像的美学感知，进而对图像进行美学评估，对图像的美感程度进行量化。图像美学评价具体可以应用于图像推荐、图像检索、修图等领域。

目前，主要通过卷积神经网络模型来进行二分类图像美学评估，在采用卷积神经网络进行图像美学评估时，从图像中挖掘多个图像块并通过注意力机制赋予其不同的权重，从而融合矩形框特征以及图像特征进行图像美学评估。

然而，这种通过多次采样进而融合多图像块的方式，需要多次通过卷积神经网络进行预测，带来了更多的计算负担，降低了图像美学评估的效率。

发明内容

为了解决上述技术问题，本申请提供了一种图像处理方法、装置、设备及存储介质，避免由于尺寸的改变影响图像的美感程度，引入噪声数据，保证了美学评估的准确性。同时，由于该方法在实现考虑到待评估图像中的构图信息的情况下，不需要分块处理，实现更高效的单次通过网络进行预测，大大减轻计算负担，提高了图像美学评估效率，更适用于实时图像评估。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种图像处理方法，所述方法包括：

获取待评估图像及所述待评估图像的尺寸信息，所述尺寸信息体现所述待评估图像的构图关系；

对所述待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图；

将所述第一特征图和所述尺寸信息输入目标图卷积网络，通过所述目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵；

根据所述第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图；

根据所述第二特征图进行预测，得到待评估图像的评估结果。

第二方面，本申请实施例提供一种图像处理装置，所述装置包括获取单元、特征图确定单元、邻接矩阵确定单元和评估结果确定单元：

所述获取单元，用于获取待评估图像及所述待评估图像的尺寸信息，所述尺寸信息体现所述待评估图像的构图关系；

所述特征图确定单元，用于对所述待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图；

所述邻接矩阵确定单元，用于将所述第一特征图和所述尺寸信息输入目标图卷积网络，通过所述目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵；

所述特征图确定单元，还用于根据所述第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图；

所述评估结果确定单元，用于根据所述第二特征图进行预测，得到待评估图像的评估结果。

第三方面，本申请实施例提供一种用于图像处理的电子设备，所述电子设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所述的方法。

由上述技术方案可以看出，在对待评估图像进行美学评估时，对待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图。为了避免由于缩放处理改变原始尺寸，可以将第一特征图和获取到的尺寸信息输入目标图卷积网络，通过目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵，根据第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图，以便根据第二特征图进行预测，得到待评估图像的评估结果。由于在计算第一邻接矩阵时嵌入了原始尺寸信息，从而使得第二特征图保留了待评估图像的构图信息，避免由于尺寸的改变影响图像的美感程度，引入噪声数据，保证了图像美学评估的准确性。同时，由于该方法在实现考虑到待评估图像中的构图信息的情况下，不需要分块处理，实现更高效的单次通过网络进行预测，大大减轻计算负担，提高了图像美学评估效率，更适用于实时图像评估。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术成员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像处理方法的系统架构示意图；

图2为本申请实施例提供的一种图像处理方法的流程图；

图3为本申请实施例提供的一种基于目标图卷积网络进行图像处理的架构流程图；

图4为本申请实施例提供的评估结果的示例图；

图5为本申请实施例提供的一种目标图卷积网络的训练方法的流程图；

图6为本申请实施例提供的一种目标图卷积网络的训练方法的架构流程图；

图7为本申请实施例提供的一种基于图像处理方法进行检索的流程图；

图8为本申请实施例提供的一种图像处理装置的结构图；

图9为本申请实施例提供的一种终端的结构图；

图10为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

目前，主要通过卷积神经网络模型来进行二分类图像美学评估，在采用卷积神经网络进行图像美学评估时，由于卷积神经网络模型要求输入图像为固定尺寸，这就需要模型通过拉伸及缩放的手段对图像进行预处理，这种手段改变了图像的原始尺寸例如长宽比并影响了图像的美感程度，用该种手段训练模型一定程度上相当于引入了噪声数据。因为，为了在保证原始尺寸的情况下避免噪声数据的引入，可以采用图像分块的模式，即从图像中挖掘多个图像块并通过注意力机制赋予其不同的权重，从而融合矩形框特征以及图像特征进行图像美学评估。

然而，这种通过多次采样进而融合多图像块的方式，需要多次通过卷积神经网络进行预测，带来了更多的计算负担，降低了图像美学评估的效率。

为了解决如何在保留原始尺寸的基础上，减少计算负担，提高图像美学评估的效率的技术问题，本申请实施例提供一种图像处理方法，该方法在特征提取(即得到第二特征图)的过程中嵌入了原始尺寸信息，从而使得第二特征图保留了待评估图像的构图信息，避免由于尺寸的改变影响图像的美感程度，引入噪声数据，保证了美学评估的准确性。同时，由于该方法在实现考虑到待评估图像中的构图信息的情况下，不需要分块处理，实现更高效的单次通过网络进行预测，大大减轻计算负担，提高了图像美学评估效率，更适用于实时图像评估。

需要说明的是，本申请实施例提供的方法可以应用到各种对图像进行美学评估的场景中，例如摄影修图软件、社交平台、网络直播、检索平台等多个项目和产品应用中，可对上传的图像进行自动化的图像美学评估，进而可以进行更具语义和美感质量的图像推荐、检索、修图等，提升用户体验。例如，当用户在检索平台进行检索时，可以对检索到的所有图像进行图像美学评估，根据图像的评估结果向用户返回更具美感的图像；又如，在摄影修图软件上，当用户通过摄影修图软件进行修图时，可以对用户上传的图像进行图像美学评估，从而根据图像的评估结果指导用户进行修图，得到更具美感的图像。

需要说明的是，本申请实施例提供的方法可以涉及云计算领域，如云计算(cloudcomputing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(GridComputing)、分布式计算(DistributedComputing)、并行计算(Parallel Computing)、效用计算(Utility Computing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。

随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。

本申请例如涉及人工智能领域，人工智能(Artificial Intelligence,AI)是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请抓哟通过计算机系统模拟人类对图像的美学感知，进而对图像进行美学评估。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。

本申请例如涉及人工智能领域中的计算机视觉技术(Computer Vision,CV)。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请主要通过图像处理得到输入至目标图卷积网络的图像，通过图像语义理解提取图像语义特征，以便根据图像语义特征进行图像美学评估。

本申请例如涉及人工智能领域中的机器学习，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。本申请主要通过机器学习训练目标图卷积网络，以便利用目标图卷积网络进行图像美学评估。

需要说明的是，本申请实例提供的方法还可以涉及区块链，例如训练目标图卷积网络所使用的数据(例如样本评估图像)可保存于区块链上，或者在一些产品应用中，待评估图像可以保存于区块链上。

参见图1，图1为本申请实施例提供的图像处理方法的系统架构示意图。该系统架构中包括终端101和服务器102，终端101上可以安装摄影修图软件、社交平台、网络直播、检索平台等产品应用。用户可以通过终端101上安装的产品应用触发服务器102执行本申请提供的图像处理方法。以终端101上安装检索平台这一产品应用为例，当用户在该检索平台上输入关键词以检索图像时，例如输入“风景图片”，则服务器102可以根据关键词获取图像，从而将获取到的图像作为待评估图像进行图像美学评估；若以终端101上安装摄影修图软件为例，当用户上传某一图像以进行修图时，服务器可以将用户上传的图像作为待评估图像进行图像美学评估，等等。

在进行图像美学评估时，服务器102可以获取待评估图像及待评估图像的尺寸信息，尺寸信息体现待评估图像的构图关系。其中，待评估图像是需要进行图像美图评估的图像，该图像可以是用户触发此次图像处理方法时通过终端101上传的，也可以是服务器102获取的其他用户已上传的图像，根据应用场景不同，待评估图像可能有所不同。以检索平台为例，则待评估图像是服务器102根据用户输入的关键词获取到的其他用户已上传的图像；若以摄影修图软件为例，则待评估图像可以是用户上传的图像。

服务器102对待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图，以便得到尺寸符合目标卷积网络要求的特征图。

为了保留了待评估图像的原始尺寸，以保留待评估图像本身的构图信息，避免由于尺寸的改变影响图像的美感程度，引入噪声数据，服务器102将第一特征图和尺寸信息输入目标图卷积网络，通过目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵，这样根据第一邻接矩阵进行第一层布局感知的图卷积，得到的第二特征图保留了待评估图像的构图信息，根据该第二特征图进行预测，得到待评估图像的评估结果更加准确。

其中，上述图像处理方法可以称为图像美学评估，即通过上述一系列处理过程对图像的美感程度进行量化，得到评估结果，该评估结果即对图像的美感程度进行量化的量化结果，从而便于直观感受图像的美感程度。

由于该方法在实现考虑到待评估图像中的构图信息的情况下，不需要分块处理，实现更高效的单次通过网络进行预测，大大减轻计算负担，提高了图像美学评估效率，更适用于实时图像评估。

在得到待评估图像的评估结果后，在不同的应用场景中，该评估结果具有不同的作用。例如在检索平台这一产品应用中，若服务器102根据关键词获取待评估图像，得到待评估图像的评估结果后，服务器102根据评估结果向用户返回检索结果，该检索结果可以是更具美感的图像，例如根据评估结果这一量化结果对所有检索到的图像的美感程度进行排序(按照美感程度从高到低的顺序)，从而向用户返回排序在前N的图像。

需要说明的是，图1提供的应用场景(检索平台)仅是一种示例，该方法还可以应用到摄影修图软件、社交平台、网络直播等产品应用，本申请实施例对此不做限定。

本申请实施例所提供的图像处理方法可以由服务器102执行。但是，在本申请的其它实施例中，终端101也可以与服务器102具有相似的功能，从而执行本申请实施例所提供的图像处理方法，或者由终端101和服务器102共同执行本申请实施例所提供的图像处理方法，本实施例对此不做限定。

还需要说明的是，图2中的终端201和服务器202的数目仅仅是示意性的。根据实现需要，服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

后续将主要以服务器是执行主体为例，结合附图对本申请实施例提供的图像处理方法进行详细介绍。

参见图2，图2示出了一种图像处理方法的流程图，所述方法包括：

S201、获取待评估图像及所述待评估图像的尺寸信息，所述尺寸信息体现所述待评估图像的构图关系。

当触发图像美学评估指令后，服务器可以执行本申请实施例提供的图像处理方法，以进行图像美学评估。在进行图像美学评估时，服务器首先获取待评估图像及待评估图像的尺寸信息，尺寸信息可以体现待评估图像的构图关系，以便后续特征提取过程中保留待评估图像的原始尺寸。在一种可能的实现方式中，尺寸信息可以是长宽比信息，假设待评估图像的长是h，宽是w，则长宽比信息可以表示为r＝h/w。后续主要以尺寸信息是长宽比信息为例进行介绍。

需要说明的是，在不同的应用场景中，触发图像美学评估指令的方式不同，例如在检索平台这一产品应用中，若用户通过终端输入关键词以希望检索到对应的图像，则服务器接收到关键词后执行本申请实施例提供的图像处理方法，即服务器接收到终端发送的关键词相当于触发图像美学评估指令。又如在摄影修图软件这一产品应用中，当用户通过终端上传图像后，或者用户对上传的图像完成一次修图后，用户可以通过摄影修图软件上的按钮触发服务器执行本申请实施例提供的图像处理方法，以对用户上传的图像，或者对完成一次修图的图像进行图像美学评估，进而向用户返回评估结果以指导用户修图。

S202、对所述待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图。

为了对待评估图像进行图像美学评估，可以通过网络模型对待评估图像进行特征提取，网络模型例如可以是卷积神经网络(Convolutional Neural Networks，CNN)或全卷积网络(Fully Convolutional Networks，FCN)。然而，网络模型对于输入图像的尺寸是有固定要求的，例如要求输入图像的长宽比为1，则需要对待评估图像进行缩放处理，得到符合尺寸要求的输入图像，进而通过该网络模型进行特征提取，得到第一特征图。其中，第一特征图的大小为W×H×C，W、H及C分别代表第一特征图的长、宽和通道数。

参见图3中100所示，对待评估图像进行缩放处理得到缩放处理后的待评估图像，然后利用全卷积网络对缩放处理后的待评估图像进行特征提取，得到第一特征图。

S203、将所述第一特征图和所述尺寸信息输入目标图卷积网络，通过所述目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵。

由于S202中对待评估图像进行了缩放处理，这种手段改变了待评估图像的尺寸并影响了待评估图像的美感程度，在一定程度上相当于引入了噪声数据。因此，可以通过图卷积网络在欧式空间嵌入尺寸信息进一步进行特征提取，以对S202中提取的第一特征图进行更新。其中，目标图卷积网络中至少包括第一层布局感知图卷积模块，图卷积是一种基于非结构化图数据的神经网络，其核心包括基于邻接矩阵的频域卷积层和池化层，以便用于感知图像布局。

根据目标图卷积网络的特性，为了对第一特征图进行更新，首先可以得到欧式空间中的第一邻接矩阵，以便根据第一邻接矩阵进行第一层布局感知的图卷积，从而得到更新后的第二特征图。

与基于卷积操作提取特征相比，卷积操作由于感受野有限无法捕捉图像中较远区域之间的关系，感知图像布局，而目标图卷积网络的图卷积操作可以增大感受野，解决图像布局难以捕捉的问题。

需要说明的是，第一邻接矩阵是用于对欧式空间中节点间关系进行建模的，欧式空间指代在图像中按照像素的控件位置构建坐标系所描述的空间。第一邻接矩阵主要考虑节点间的两种关系，即内容相似性和空间位置关系，这里的节点可以是第一特征图中的像素点。基于此，在本实施例一种可能的实现方式中，计算第一邻接矩阵的方式可以是对第一特征图按照空间位置划分，得到欧式空间中第一特征图对应的节点，根据节点对应的节点特征确定第一内容相似性矩阵，以及根据节点在第一特征图中的位置信息和尺寸信息确定空间位置相关性矩阵，其中，第一内容相似性矩阵用于体现第一特征图中节点间的内容相似性，空间位置相关性矩阵用于体现第一特征图中节点间的空间位置关系。进而将第一内容相似性矩阵和空间位置相关性矩阵之和确定为第一邻接矩阵。

其中，若第一特征图的大小为W×H×C，则每个通道中都存在W×H个空间位置，令L＝W×H，将每个空间位置看作一个节点，则共有L个节点，节点特征可用

在本实施例中，用上标“sim(similarity)”来表示内容相似性，用上标“spa(spatial)”来表示空间位置关系，第一内容相似性矩阵可以表示为A

接下来对第一内容相似性矩阵和空间位置相关性矩阵的确定方法进行详细介绍。

对于第一内容相似性矩阵，第一内容相似性矩阵体现的是第一特征图中节点间的内容相似性，可以由表达任意两个节点间的内容相似性的量化值构成。表达任意两个节点间的内容相似性的量化值可以是计算得到的节点间的相似度，因此，在本实施例中，可以根据节点对应的节点特征计算任意两个节点间的相似度，然后根据任意两个节点间的相似度确定第一内容相似性矩阵，例如将任意两个节点间的相似度按照特定的顺序排列成矩阵形式，进而得到第一内容相似性矩阵。

其中，计算任意两个节点间的相似度例如可以是余弦相似度、欧式距离等等，本实施例主要通过余弦相似度来表示任意两个节点间的相似度。

以任意两个节点分别是第i个节点和第j个节点为例，第i个节点和第j个节点之间的余弦相似度计算公式如下：

φ(x

φ′(x

其中，||·||代表l

对于所有节点，可以得到任意两个节点之间的余弦相似度，即得到多个sim(X

对于空间位置相关性矩阵，空间位置相关性矩阵用于体现第一特征图中节点间的空间位置关系，可以由表达任意两个节点间的空间位置关系的量化值构成。表达任意两个节点间的空间位置关系的量化值可以用节点间的空间距离表示，因此，在本实施例中，可以根据节点在第一特征图中的位置信息和尺寸信息，计算任意两个节点间的空间距离，然后根据任意两个节点间的空间距离确定空间位置相关性矩阵，例如将任意两个节点间的空间距离按照特定的顺序排列成矩阵形式，进而得到空间位置相关性矩阵。

以任意两个节点分别是第i个节点和第j个节点为例，将其在第一特征图中的位置信息分别表示为位置坐标

其中，

S204、根据所述第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图。

根据第一层布局感知图卷积模块的特性，可以基于第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图。

基于欧式空间下的节点特征及第一邻接矩阵进行第一层布局感知的图卷积，具体公式为：

其中，

需要说明的是，S203-S204可以参见图3中200所示，根据节点对应的节点特征确定第一内容相似性矩阵(如图3中210所示)，以及根据节点在第一特征图中的位置信息和尺寸信息确定空间位置相关性矩阵(如图3中220所示)，进而将第一内容相似性矩阵和空间位置相关性矩阵之和确定为第一邻接矩阵(如图3中230所示)，接着利用第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图(如图3中240所示)。

S205、根据所述第二特征图进行预测，得到待评估图像的评估结果。

通过上述方法进行特征提取得到的第二特征图，可以较为准确的反映待评估图像在欧式空间的图像语义信息，故可以根据第二特征图预测待评估图像的评估结果。

其中，评估结果可以包括美学分布、平均美学分数、美学分类中一种或多种组合。美学分数是指对待评估图像的美学进行评级，例如可以包括1到10分十个等级，将多个对于同一张待评估图像的评级平均后可得到平均美学分数；美学分布为待评估图像对应各个评级的概率分布情况，例如，待评估图像对应1分这一等级的概率是0.11，待评估图像对应2分这一等级的概率是0.12，……，待评估图像对应9分这一等级的概率是0.99，待评估图像对应10分这一等级的概率是0.98；美学分类用于标识待评估图像属于高美学质量图像或低美学质量图像。其中，美学分布可以用直方图归一化后的结果表示。上述三种评估结果可以参见图4所示，图4中(1)表示确定待评估图像的美学分类是高美学质量图像，图4中(2)表示确定待评估图像的平均美学分数是2.94，图4中(3)表示确定待评估图像的美学分布，该美学分布通过虚线框所标识的直方图表示。

若目标图卷积网络的输出是美学分布，而实际上，根据美学分布还可以确定平均美学分数以及美学分类，由此可见，本实施例通过目标图卷积网络可以实现图像美学多任务预测。

由上述技术方案可以看出，在对待评估图像进行美学评估时，对待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图。为了避免由于缩放处理改变原始尺寸，可以将第一特征图和获取到的尺寸信息输入目标图卷积网络，通过目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵，根据第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图，以便根据第二特征图进行预测，得到待评估图像的评估结果。由于在计算第一邻接矩阵时嵌入了原始尺寸信息，从而使得第二特征图保留了待评估图像的构图信息，避免由于尺寸的改变影响图像的美感程度，引入噪声数据，保证了图像美学评估的准确性。同时，由于该方法在实现考虑到待评估图像中的构图信息的情况下，不需要分块处理，实现更高效的单次通过网络进行预测，大大减轻计算负担，提高了图像美学评估效率，更适用于实时图像评估。

需要说明的是，S205的实现方式可以包括多种。在一种可能的实现方式中，可以直接通过第一层布局感知图卷积模块对第二特征图进行预测得到待评估图像的评估结果。具体的，可以通过第一层布局感知图卷积模块的全连接层，对第二特征图进行预测，得到评估结果。当然，在一些情况下，第一层布局感知图卷积模块还可以包括池化层，此时可以先通过池化层对第二特征图进行采样，然后再通过全连接层进行预测得到评估结果。

在另一种可能的实现方式中，感受野越大，越能捕捉到待评估图像中较远区域之间的关系，感知图像布局，而图像布局影响待评估图像的美感，进而影响评估结果。因此，为了尽可能捕捉到待评估图像中较远区域之间的关系，感知图像布局，可以将多个节点的节点特征聚合到一个节点上，以便通过少量节点体现第二特征图上全部节点的节点特征，相当于扩大感受野，便于感知图像布局。

在这种情况下，S205的实现方式可以是通过第一层布局感知图卷积模块的全连接层，对第二特征图进行预测，得到待评估图像的第一预测结果。该第一预测结果的确定方式与前述直接通过第一层布局感知图卷积模块对第二特征图进行预测得到评估结果的方式相同，此处不再赘述(如图3所示)。接着，为了进一步扩大感受野，捕捉待评估图像中较远区域之间的关系，感知图像布局，可以在目标图卷积网络中设置第二层布局感知图卷积模块，通过目标图卷积网络的第二层布局感知图卷积模块，将欧式空间中的节点映射到隐变量空间中，具体的，可以将欧式空间中节点对应的节点特征进行聚合，得到隐变量空间中节点对应的节点特征，隐变量空间中节点的数量少于欧式空间中节点的数量。然后，根据隐变量空间中节点对应的节点特征确定欧式空间中的第三特征图，通过第二层布局感知图卷积模块的全连接层，对第三特征图进行预测，得到待评估图像的第二预测结果，进而根据第一预测结果和第二预测结果共同确定评估结果。

当然，在一些情况下，第二层布局感知图卷积模块还可以包括池化层，此时可以先通过池化层对第三特征图进行采样，然后再通过全连接层进行预测得到第二预测结果。

本申请实施例采用的目标图卷积网络不仅能在欧式空间中捕获图像中不同位置上物体间的关系，同时还在隐变量空间中捕捉更高级的语义关系，更加合理的捕捉图像美学评估需要关注的部分。

由于通过将欧式空间中的节点映射到隐变量空间中，所有节点特征聚合到少量节点上，通过少量节点体现整个待评估图像的图像布局，这样根据隐变量空间中节点对应的节点特征确定欧式空间中的第三特征图，该第三特征图可以更好的体现整个待评估图像的图像布局，进而得到更加准确的评估结果。

需要说明的是，聚合后得到的隐变量空间中的节点特征可以表示为

在一些可能的实现方式中，根据隐变量空间中节点对应的节点特征确定欧式空间中的第三特征图的方式可以是根据隐变量空间中节点对应的节点特征得到隐变量空间中的第二邻接矩阵，根据隐变量空间中的第二邻接矩阵进行第二层布局感知的图卷积，得到响应特征。然后对该响应特征进行逆映射得到第三特征图。

由于隐变量空间的非欧几里德几何属性，在计算第二邻接矩阵时只考虑节点间的内容相似性而忽略空间位置关系。因此，计算第二邻接矩阵的方式可以是根据隐变量空间中节点对应的节点特征确定第二内容相似性矩阵，进而将第二内容相似性矩阵作为第二邻接矩阵。

需要说明的是，第二内容相似性矩阵的计算方式与第一内容相似性矩阵的计算方式类似，只不过计算第二内容相似性矩阵时使用的是隐变量空间中的节点特征。在本实施例中，可以用下标“l(latent)”来表示隐变量空间，则第二邻接矩阵可以用A

基于该隐式空间下的节点特征及邻接矩阵进行第二层布局感知的图卷积，具体公式为：

其中，

得到响应特征

参见图3所示，第二层布局感知图卷积模块可以参见图3中300所示，将欧式空间中的节点映射到隐变量空间中，得到隐变量空间中的节点特征(如图3中310所示)。根据隐变量空间中的节点特征确定第二内容相似性矩阵，进而根据第二内容相似性矩阵得到第二邻接矩阵(如图3中320所示)。根据第二邻接矩阵进行第二层布局感知的图卷积，得到响应特征(如图3中330所示)。然后对该响应特征进行逆映射得到第三特征图(如图3中340所示)。通过第二层布局感知图卷积模块的全连接层，对第三特征图进行预测，得到待评估图像的第二预测结果(如图3所示)，进而根据第一预测结果和第二预测结果共同确定评估结果(如图3中400所示)。

本申请采用全卷积网络结合目标图卷积网络捕捉待评估图像中的远距关系，当然也可以采用空洞卷积等方式代替全卷积网络进行特征提取得到第一特征图、目标图卷积网络采用更多层布局感知图卷积模块，或将其替换为各种其他有效的新型模型结构，如图卷积网络和空间金字塔结构/池化的结合等。可以根据实际应用对模型内存占用的限制、效率的要求，对图3所示的网络结构加以简化或拓展。

当目标图卷积网络的输出是美学分布时，即第一层布局感知图卷积模块输出的第一预测结果是第一美学分布，第二层布局感知图卷积模块输出的第二预测结果是第二美学分布，则最终得到的评估结果至少包括美学分布，例如为目标美学分布。此时，为了得到目标美学分布，可以计算第一美学分布和第二美学分布的平均值，将第一美学分布和第二美学分布的平均值作为待评估图像的目标美学分布。

例如第一美学分布和第二美学分布分别是

然后，根据目标美学分布确定待评估图像的平均美学分数，以及根据平均美学分数确定待评估图像的美学分类。

根据目标美学分布输出预测图像美学的其他任务。例如目标美学分布表示为p＝[p

由于根据美学分布还可以确定平均美学分数以及美学分类，故本实施例通过目标图卷积网络可以实现图像美学多任务预测。

可以理解的是，为了可以基于图2对应实施例中目标图卷积网络进行图像美学评估，以保留待评估图像的原始尺寸，避免由于尺寸的改变影响图像的美感程度，保证图像美学评估的准确性。在应用目标图卷积网络之前，可以先对目标图卷积网络进行训练。目标图卷积网络的训练方法可以参见图5所示，包括：

S501、获取样本评估图像及所述样本评估图像的尺寸信息。

S502、对所述样本评估图像进行缩放处理，并根据缩放处理后的样本评估图像确定第一样本特征图。

S503、将所述第一样本特征图和所述样本评估图像的尺寸信息输入所述目标图卷积网络，通过所述目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一样本邻接矩阵。

S504、根据所述第一样本邻接矩阵进行第一层布局感知的图卷积，得到第二样本特征图。

S505、根据所述第二样本特征图进行预测，得到预测评估结果。

参见图6所示，对样本评估图像进行缩放处理，并得到第一样本特征图，相当于是对样本评估图像进行的预处理，然后将预处理后得到的第一样本特征图输入至目标图卷积网络，得到预测评估结果。

为了保留样本评估图像的原始尺寸，避免由于尺寸的改变影响图像的美感程度，保证图像美学评估的准确性，可以将样本评估图像的尺寸信息作为输入(参见图6中虚线所示)，与第一样本特征图一起输入至目标图卷积网络中。

需要说明的是，S501-S505的具体实现方式与图2对应的实施例中S201-S205类似，此处不再赘述。

S506、根据所述预测评估结果和所述样本评估图像的标注评估结果构建目标损失函数。

S507、根据所述目标损失函数对所述目标图卷积网络进行训练。

在得到预测评估结果后，可以根据预测评估结果和样本评估图像的标注评估结果构建目标损失函数，进而根据目标损失函数调整目标图卷积网络的模型参数，直至目标损失函数最小，从而完成对目标图卷积网络的训练。

由上述技术方案可以看出，在对目标图卷积网络进行训练时，将样本评估图像的尺寸信息作为输入，与第一样本特征图一起输入至目标图卷积网络中，进一步进行特征提取，保留了样本评估图像的构图信息，能够有效捕捉图像美学属性，从而使得训练得到的目标图卷积网络更加准确地进行图像美学评估。另外，由于该方法在实现考虑到样本评估图像中构图信息的情况下，不需要分块处理，实现更高效的单次通过网络进行预测，大大减轻计算负担，提高了图像美学评估效率，更适用于实时图像评估。

需要说明的是，评估结果可以包括美学分布、平均美学分数、美学分类中一种或多种组合。例如图6所示，图6中评估结果包括美学分布、平均美学分数和美学分类。

当预测评估结果和所述标注评估结果为美学分布时，目标损失函数可以是推土机距离(Earth Mover's Distance，EMD)的损失函数，该损失函数主要计算的是将两个概率分布中的某一个分布变成另一个分布的最小代价，也就是说目标图卷积网络是基于美学分布距离的目标损失函数训练得到的。此时，目标损失函数的计算公式可以表示为：

其中，p预测评估结果，

在本实施例中，目标图卷积网络是基于美学分布距离的目标损失函数训练得到的，故目标图卷积网络的输出是美学分布。而实际上，根据美学分布还可以确定平均美学分数以及美学分类，从而可以利用目标图卷积网络这一个模型实现图像美学多任务预测，即可以通过一个模型得到包括美学分布、平均美学分数和美学分类的评估结果。并且在图像美学评估领域基准数据集的指标上都显著优于其它已有参考系统。

目标图卷积网络训练完之后，即可按照图2中的应用流程提供线上服务，此处不再赘述。

接下来，将结合实际应用场景对本申请实施例提供的图像处理方法进行介绍。当用户在检索平台进行检索时，可以对检索到的所有图像进行图像美学评估，进而根据图像评估结果向用户返回更具美感的图像。具体实现过程可以参见图7，所述方法包括：

S701、用户在终端上输入关键词，并触发检索。

S702、服务器获取关键词，并获取关键词对应的待评估图像。

S703、对待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图。

S704、根据第一特征图中节点的节点特征确定第一内容相似性矩阵。

S705、根据节点在第一特征图中的位置信息和尺寸信息确定空间位置相关性矩阵。

S706、将第一内容相似性矩阵和空间位置相关性矩阵之和确定为第一邻接矩阵。

S707、根据第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图。

S708、通过第一层布局感知图卷积模块的全连接层，对第二特征图进行预测，得到待评估图像的第一预测结果。

S709、根据第一特征图将欧式空间中的节点映射到隐变量空间中。

S710、根据隐变量空间中节点对应的节点特征确定第二内容相似性矩阵。

S711、将第二内容相似性矩阵作为第二邻接矩阵。

S712、根据隐变量空间中的第二邻接矩阵进行第二层布局感知的图卷积，得到响应特征。

S713、对该响应特征进行逆映射得到第三特征图。

S714、通过第二层布局感知图卷积模块的全连接层，对第三特征图进行预测，得到待评估图像的第二预测结果。

S715、根据第一预测结果和第二预测结果确定评估结果。

S716、根据评估结果返回检索结果。

基于图2对应实施例提供的图像处理方法，本申请实施例还提供一种图像处理装置，参见图8，该图像处理装置800包括获取单元801、特征图确定单元802、邻接矩阵确定单元803和评估结果确定单元804：

所述获取单元801，用于获取待评估图像及所述待评估图像的尺寸信息，所述尺寸信息体现所述待评估图像的构图关系；

所述特征图确定单元802，用于对所述待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图；

所述邻接矩阵确定单元803，用于将所述第一特征图和所述尺寸信息输入目标图卷积网络，通过所述目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵；

所述特征图确定单元802，还用于根据所述第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图；

所述评估结果确定单元804，用于根据所述第二特征图进行预测，得到待评估图像的评估结果。

在一种可能的实现方式中，所述邻接矩阵确定单元803，具体用于：

对所述第一特征图按照空间位置划分，得到所述欧式空间中第一特征图对应的节点；

根据所述节点对应的节点特征确定第一内容相似性矩阵，以及根据所述节点在所述第一特征图中的位置信息和所述尺寸信息确定空间位置相关性矩阵，所述第一内容相似性矩阵用于体现所述第一特征图中节点间的内容相似性，所述空间位置相关性矩阵用于体现所述第一特征图中节点间的空间位置关系；

将所述第一内容相似性矩阵和所述空间位置相关性矩阵之和确定为所述第一邻接矩阵。

在一种可能的实现方式中，所述邻接矩阵确定单元803，具体用于：

根据所述节点特征计算任意两个所述节点间的相似度；

根据所述任意两个所述节点间的相似度确定所述第一内容相似性矩阵。

在一种可能的实现方式中，所述邻接矩阵确定单元803，具体用于：

根据所述节点在所述第一特征图中的位置信息和所述尺寸信息，计算任意两个所述节点间的空间距离；

根据所述任意两个所述节点间的空间距离确定所述空间位置相关性矩阵。

在一种可能的实现方式中，所述评估结果确定单元804，具体用于：

通过所述第一层布局感知图卷积模块的全连接层，对所述第二特征图进行预测，得到所述待评估图像的评估结果。

在一种可能的实现方式中，所述评估结果确定单元804，具体用于：

通过所述第一层布局感知图卷积模块的全连接层，对所述第二特征图进行预测，得到所述待评估图像的第一预测结果；

通过所述目标图卷积网络的第二层布局感知图卷积模块，将所述欧式空间中节点对应的节点特征进行聚合，得到隐变量空间中节点对应的节点特征，所述隐变量空间中节点的数量少于所述欧式空间中节点的数量；

根据所述隐变量空间中节点对应的节点特征确定所述欧式空间中的第三特征图；

通过所述第二层布局感知图卷积模块的全连接层，对所述第三特征图进行预测，得到所述待评估图像的第二预测结果；

根据所述第一预测结果和所述第二预测结果确定所述评估结果。

在一种可能的实现方式中，所述评估结果确定单元804，具体用于：

根据所述隐变量空间中节点对应的节点特征得到所述隐变量空间中的第二邻接矩阵；

根据所述隐变量空间中的第二邻接矩阵进行第二层布局感知的图卷积，得到响应特征；

对所述响应特征进行逆映射得到所述第三特征图。

在一种可能的实现方式中，所述评估结果确定单元804，具体用于：

根据所述隐变量空间中节点对应的节点特征确定第二内容相似性矩阵；

将所述第二内容相似性矩阵作为所述第二邻接矩阵。

所述评估结果包括美学分布、平均美学分数、美学分类中一种或多种组合。

在一种可能的实现方式中，若所述第一预测结果是第一美学分布，所述第二预测结果是第二美学分布，所述评估结果确定单元804，具体用于：

将所述第一美学分布和所述第二美学分布的平均值作为所述待评估图像的目标美学分布；

根据所述目标美学分布确定所述待评估图像的平均美学分数；

根据所述平均美学分数确定所述待评估图像的美学分类。

在一种可能的实现方式中，所述装置还包括训练单元：

所述训练单元，用于获取样本评估图像及所述样本评估图像的尺寸信息；对所述样本评估图像进行缩放处理，并根据缩放处理后的样本评估图像确定第一样本特征图；将所述第一样本特征图和所述样本评估图像的尺寸信息输入所述目标图卷积网络，通过所述目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一样本邻接矩阵；根据所述第一样本邻接矩阵进行第一层布局感知的图卷积，得到第二样本特征图；根据所述第二样本特征图进行预测，得到预测评估结果；根据所述预测评估结果和所述样本评估图像的标注评估结果构建目标损失函数；根据所述目标损失函数对所述目标图卷积网络进行训练。

在一种可能的实现方式中，所述预测评估结果和所述标注评估结果为美学分布。

由上述技术方案可以看出，在对待评估图像进行美学评估时，对待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图。为了避免由于缩放处理改变原始尺寸，可以将第一特征图和获取到的尺寸信息输入目标图卷积网络，通过目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵，根据第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图，以便根据第二特征图进行预测，得到待评估图像的评估结果。由于在计算第一邻接矩阵时嵌入了原始尺寸信息，从而使得第二特征图保留了待评估图像的构图信息，避免由于尺寸的改变影响图像的美感程度，引入噪声数据，保证了图像美学评估的准确性。同时，由于该方法在实现考虑到待评估图像中的构图信息的情况下，不需要分块处理，实现更高效的单次通过网络进行预测，大大减轻计算负担，提高了图像美学评估效率，更适用于实时图像评估。

本申请实施例还提供了一种用于图像处理的电子设备，该电子设备可以是终端，以终端为智能手机为例：

图9示出的是与本申请实施例提供的终端相关的智能手机的部分结构的框图。参考图9，智能手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块970、处理器980、以及电源990等部件。输入单元930可包括触控面板931以及其他输入设备932，显示单元940可包括显示面板941，音频电路960可以包括扬声器961和传声器962。本领域技术人员可以理解，图9中示出的智能手机结构并不构成对智能手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行智能手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据智能手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器980是智能手机的控制中心，利用各种接口和线路连接整个智能手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行智能手机的各种功能和处理数据，从而对智能手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；优选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。

在本实施例中，所述终端中的处理器980可以执行以下步骤：

获取待评估图像及所述待评估图像的尺寸信息，所述尺寸信息体现所述待评估图像的构图关系；

对所述待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图；

将所述第一特征图和所述尺寸信息输入目标图卷积网络，通过所述目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵；

根据所述第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图；

根据所述第二特征图进行预测，得到待评估图像的评估结果。

该电子设备还可以包括服务器，本申请实施例还提供服务器，请参见图10所示，图10为本申请实施例提供的服务器1000的结构图，服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，简称CPU)1022(例如，一个或一个以上处理器)和存储器1032，一个或一个以上存储应用程序1042或数据1044的存储介质1030(例如一个或一个以上海量存储设备)。其中，存储器1032和存储介质1030可以是短暂存储或持久存储。存储在存储介质1030的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1022可以设置为与存储介质1030通信，在服务器1000上执行存储介质1030中的一系列指令操作。

服务器1000还可以包括一个或一个以上电源1026，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1058，和/或，一个或一个以上操作系统1041，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

在本实施例中，所述服务器1000中的中央处理器1022可以执行以下步骤：

获取待评估图像及所述待评估图像的尺寸信息，所述尺寸信息体现所述待评估图像的构图关系；

对所述待评估图像进行缩放处理，并根据缩放处理后的待评估图像确定第一特征图；

将所述第一特征图和所述尺寸信息输入目标图卷积网络，通过所述目标图卷积网络的第一层布局感知图卷积模块得到欧式空间中的第一邻接矩阵；

根据所述第一邻接矩阵进行第一层布局感知的图卷积，得到第二特征图；

根据所述第二特征图进行预测，得到待评估图像的评估结果。

根据本申请的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述各个实施例所述的图像处理方法。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例各种可选实现方式中提供的方法。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术成员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。