图像处理方法、装置、设备及介质

技术领域

本申请涉及图像处理领域，具体而言，涉及一种图像处理方法、装置、设备及介质。

背景技术

随着电子技术的发展，图像已经成为生活的一部分。例如，用户可以通过拍照的方式记录生活。然而，随着所拥有图像数量的增加，会出现一些残缺的图像，或一些局部区域并不符合用户期望的图像。

在此情况下，产生了图像优化技术。发明人研究发现，相关图像优化技术难以得到多样性的优化结果。

发明内容

为了克服现有技术中的至少一个不足，第一方面，本申请实施例提供一种图像处理方法，应用于电子设备，所述电子设备配置有预训练的图像处理模型，所述图像处理模型包括随机向量单元以及图像调整单元，所述随机向量单元用于生成满足预设概率分布条件的随机向量，所述方法包括：

获取具有图像调整区域的第一图像；

将所述随机向量单元生成的随机向量以及所述第一图像输入至所述图像调整单元；

通过所述图像调整单元使用所述随机向量调整所述图像调整区域，获得第二图像。

第二方面，本申请实施例提供一种图像处理装置，应用于电子设备，所述电子设备配置有预训练的图像处理模型，所述图像处理模型包括随机向量单元以及图像调整单元，所述随机向量单元用于生成满足预设概率分布条件的随机向量，所述图像处理装置包括：

图像获取模块，用于获取具有图像调整区域的第一图像，其中，所述第一图像经由待修复图像进行修复获得；

图像处理模块，用于将所述随机向量单元生成的随机向量以及所述第一图像输入至所述图像调整单元；

所述图像处理模块，还用于通过所述图像调整单元使用所述随机向量调整所述图像调整区域，获得第二图像。

第三方面，本申请实施例提供一种电子设备，所述电子设备包括处理器以及存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述的图像处理方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的图像处理方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施提供的图像处理方法、装置、设备及介质中，该电子设备获取具有图像调整区域的第一图像；将随机向量单元生成的随机向量以及第一图像输入至图像调整单元；通过图像调整单元使用随机向量调整图像调整区域，获得第二图像。由于随机向量单元每次生成不同的随机向量，将其与第一图像一起输入到图像调整单元，则会导致图像调整单元每次输入的数据发生变化，继而可以基于同一张第一图像获得不同样式的第二图像。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的电子设备结构示意图；

图2为本申请实施例提供的图像处理方法的步骤流程图；

图3为本申请实施例提供的图像调整区域示意图之一；

图4为本申请实施例提供的图像调整区域示意图之二；

图5为本申请实施例提供的图像处理模型的结构示意图；

图6为本申请实施例提供的图像处理装置的结构示意图。

图标：120-存储器；130-处理器；140-通信装置；200-第一图像；201-标识线；202-二值化掩膜；300-向量空间；400-随机向量单元；500-图像调整单元；601-图像获取模块；602-图像处理模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

为了对一些残缺的图像，或一些局部区域并不符合用户期望的图像进行优化，而产生了图像优化技术，但相关图像优化技术难以得到多样性的优化结果，继而，用户难以基于个人喜好选择自己喜欢的优化图像。

当前存在很多的图像优化技术，例如，逐像素填充、逐区块填充以及基于深度学习的填充等。

其中，逐像素填充的原理在于，针对待优化图像中的图像调整区域，从区域的边界开始，由边界到中心逐渐填充待图像调整区域中的所有像素，图像调整区域由其邻域中所有已知像素的加权和得到。

逐区块填充的原理在于，针对待优化图像中的图像调整区域，利用待优化图像中图像调整区域以外的图像内容，填补图像调整区域。

基于深度学习的填充的原理在于，使用大量的样本图像训练神经网络模型利用调整区域以外的图像内容对调整区域进行修补。

然而，上述图像优化技术在优化算法或者模型参数固定之后，同一待优化图仅能获得一张图像的优化结果，但现实情况是，图像调整区域应该存在多种优化结果，只要优化后的结果显得美观自然即可。

鉴于此，本申请实施例提供一种应用于电子设备的图像处理方法，用于基于同一个张待优化图像，可以获得多张不同样式的优化结果。

其中，该电子设备可以是，但不限于，服务器以及用户终端。该服务器可以是Web(网站)服务器、FTP(File Transfer Protocol，文件传输协议)服务器以及数据服务器等。该用户终端可以是，智能手机、个人电脑(Personal Computer，PC)、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。

如图1所示，本申请实施例还提供一种该电子设备的结构示意图。该电子设备可以包括存储器120、处理器130以及通信装置。其中，各元器件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

该存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器120用于存储计算机程序，该处理器130在接收到执行指令后，执行该计算机程序，从而实现该图像处理方法。该通信装置140用于通过网络或者通信总线收发数据。

该处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

基于上述电子设备的硬件结构，该电子设备的存储器中配置有预训练的图像处理模型，其中，图像处理模型包括随机向量单元以及图像调整单元，随机向量单元用于生成满足预设概率分布条件的随机向量。

本申请实施例还提供一种该图像处理方法的步骤流程图。下面结合该流程图对各步骤进行详细阐述。如图2所示，该图像处理方法包括：

步骤S101，获取具有图像调整区域的第一图像。

为了便于阐述本申请实施例所提供的技术方案，下面将待优化图像称为第一图像，将优化后的图像称为第二图像。其中，该第一图像可以源自于不同的原因需要进行优化处理，由具体使用场景决定。

示例性的，第一图像可以是局部图像区域不符合用户期望的图像，其中，该局部区域即为上述图像调整区域。例如，外出旅游时所拍摄的图像中，一些图像的人物表情、人物姿势并不符合用户的审美。例如，笑容不自然、姿势僵硬、眼睛过小等。

此时，用户则可以将想要优化的图像作为第一图像，图像中需要优化的区域即为图像调整区域。例如，需要优化的区域可以是嘴唇区域、双眼区域等。

示例性的，该第一图像还可以经由待修复图像进行修复后获得。其中，待修复图像对应有原始图像，待修复图像中的待修复区域即为原始图像中发生缺失的区域。

本申请实施中，电子设备可以将待修复图像输入至预训练的图像修复模型，通过图像修复模型对待修复区域进行修复，获得第一图像。其中，图像修复单元可以是预设的机器学习模型，例如，GAN(Generative Adversarial Networks，生成式对抗网络)模型。

然而，即使图像修复模型将待修复图像修复的很自然，但原始图像中缺失区域的实际图像内容是未知的，因此，修复后的第一图像并不能代表实际的原始图像。继而，本申请实施例中，需要对第一图像中与待修复区域相对应的图像调整区域进行优化处理，获得不同样式的优化结果，供用户进行选择。

当然，不仅限于上述示例，第一图像还可以源自于其他原因需要进行优化处理，本申请实施例不做具体的限定。例如，当第一图像作为训练样本对机器学习模型进行训练时，可以用于扩充训练样本。

步骤S102，将随机向量单元生成的随机向量以及第一图像输入至图像调整单元。

步骤S103，通过图像调整单元使用随机向量调整图像调整区域，获得第二图像。

应理解的是，机器学习模型经训练达到要求后，在模型使用期间则会保持模型参数不变，因此，若机器学习模型输入的数据保持不变，则机器学习模型输出的数据同样保持不变。

本申请实施例中，为了获得第一图像不同样式的优化结果，在图像处理模型中引入了随机向量单元，用于生成满足预设概率分布条件的随机向量。其中，该概率分布条件可以是标准正态分布。

可以理解为，随机向量单元每次生成不同的随机向量，将其与第一图像一起输入到图像调整单元，则会导致图像调整单元每次输入的数据发生变化，继而影响图像调整单元输出的第二图像。

示例性的，假定第一图像经由待修复图像进行修复后获得，并且，第一图像为一自拍图像，第一图像的图像调整区域显示的图像内容为脸部图像。

进一步地，假定需要提供10张不同样式的第二图像，供用户进行选择。该电子设备将第一图像分10次输入到图像处理模型中，在随机向量单元的作用下，获得10张的第二图像。其中，这10张第二图像在图像调整区域显示不同样式的脸部图像，使得用户可以基于个人对脸部的审美标准，从10张第二图像中选择最为满意的目标图像。

本申请实施例中，在对上述10张第一图像进行优化的过程过中，该预训练的图像处理模型按照以下策略对图像调整区域的图像内容进行优化调整。

具体而言，由于第一图像经由待修复图像进行修复后获得，因此，越靠近图像调整区域的边缘，其对应的修复效果越好，继而，不需要对图像调整区域的边缘附近的图像内容进行过于明显的多样性调整，以避免图像调整区域的边缘出现不连贯的视觉效果。

相对应的，靠近图像调整区域中心位置的区域，其对应的修复效果越差，继而，可以进行图像内容的多样性调整。总的来说，越靠近图像调整区域的边缘，对图像内容进行调整的概率越低，靠近图像调整区域中心，对图像内容进行调整的概率越高。

由此，该电子设备获取具有图像调整区域的第一图像；将随机向量单元生成的随机向量以及第一图像输入至图像调整单元；通过图像调整单元使用随机向量调整图像调整区域，获得第二图像。由于随机向量单元每次生成不同的随机向量，将其与第一图像一起输入到图像调整单元，则会导致图像调整单元每次输入的数据发生变化，继而可以基于同一张第一图像获得不同样式的第二图像。

此外，本申请实施例中提供多种方式标识图像调整区域在第一图像中的位置，使得图像处理模型仅对图像调整区域内的图像内容进行调整。

在一种实施方式中，如图3所示，该电子设备可以将指定颜色的标识线201作为区域标识信息，添加到第一图像200中。其中，该标识线201在第一图像200中包围的区域即为图像调整区域。

在另外一种实施方式中，如图4所示，该电子设备还可以将二值化掩膜202作为区域标识信息。其中，该二值化掩膜202与第一图像200具有相同的尺寸，且二值化掩膜202中每个像素的像素值为1或者0。电子设备将二值化掩膜202与第一图像200一同输入到图像处理模型中，其中，像素值为1的区域即为图像调整区域。

值得说明的是，第一图像200中图像调整区域的数量，本申请实施例不做具体的限定。可以理解为，第一图像200中图像调整区域的数量可以是一个，也可以是多个。

如图5所示，本申请实施例还提供有随机向量单元400的结构示意图。其中，该随机向量单元400包括采样层以及向量转换层。电子设备通过采样层进行随机采样，生成采样向量；通过向量转换层对采样向量进行处理，获得随机向量。

应理解的是，考虑到采样层的采集的采样向量缺乏稳定性，继而引入了向量转换层对采样向量做进一步的映射，使得最终获得的随机向量更具鲁棒性。其中，该向量转换层可以是全连接层(Fully CeLayers，FC)。

示例性的，假定需要随机向量单元400生成的随机向量满足标准正态分布。电子设备则通过采样层从向量空间300进行随机采样，其中，该向量空间300中向量的分布满足标准正态分布；然后，将采样获得的采样向量经向量转换层进行处理，获得上述随机向量。

请再次参见图5，本申请实施例还提供有图像调整单元500的结构示意图。其中，图像调整单元500包括依次连接的图像输入层以及至少一个图像调整层。如图5所示，图像输入层的输入数据为随机向量单元400生成的随机向量以及第一图像；各图像调整层的输入数据为上一层的输出数据以及第一图像，最后一个图像调整层输出第二图像。

由于各图像调整层的输入数据均包括第一图像，因此，各图像调整层都能够对第一图像中的图像调整区域进行优化调整，继而获得更优的调整效果。

示例性，上述图像调整层以及图像输入层可以是批归一化残差网络层。

本申请实施还提供相应的训练方法，用于对待训练的图像处理模型进行训练，最终获得上述预训练的图像处理模型。其中，具体训练流程如下：

电子设备获取样本图像；将样本图像输入至待训练的图像处理模型；然后，迭代调整待训练的图像处理模型的模型参数，获得预训练的图像处理模型。

其中，待训练的图像处理模型包括待训练的随机向量单元以及待训练的图像调整单元，调整待训练的图像处理模型的模型参数，包括：

电子设备将待训练的随机向量单元本次生成的第一向量以及样本图像输入至待训练的图像调整单元。

具体地，为了便于阐述本申请实施例所提供的技术方案，将随机向量单元在训练期间本次生成的随机向量称为第一向量，上一次生成的随机向量称为第二向量。由此，用于区分随机向量单元在模型应用期间生成的随机向量。

可以理解为，假定当前为第n次对待训练的随机向量单元以及待训练的图像调整单元的模型参数进行调整，则随机向量单元在第n次生成的随机向量称为第一向量，在第n-1次生成的随机向量为第二向量。

进一步地，将图像调整单元在训练期间生成的图像称为调整图像，用于区分图像调整单元在模型应用区间生成的第二图像。

然后，电子设备根据向量差值以及待训练的图像调整单元生成的调整图像，获得模型损失值，其中，向量差值为第一向量与第二向量之间的差值。

具体地，为了使得预训练的图像处理模型每次生成的第二图像在图像调整区域中的图像内容存在较大的差异，在模型损失值中引入了向量差值。

示例性的，该向量差值可以是第一向量与第二向量之间，相同序列位置的元素差值的平均值。假定第一向量为[0.1,0.2,0.3]；第二向量为[0.2,0.4,0.9]；则向量差值为((0.2-0.1)+(0.4-0.2)+(0.9-0.3))/3＝0.3。

示例性的，该向量差值还可以是第一向量与第二向量之间的空间距离。假定第一向量为[0.1,0.2,0.3]；第二向量为[0.2,0.4,0.9]；则向量差值为

此外，电子设备还通过L1损失函数计算调整图像与对应参考图像之间的图像差值，其中，该图像差值用于衡量调整图像与参考图像之间的差异。

然后，电子设备结合向量差值与图像差值，获得模型损失值。示例性的，电子设备可以基于预设权值对向量差值与图像差值进行加权求和，将求和结果作为模型损失值。其中，向量差值的权重可以是0.3，图像差值的权重可以是0.7。

最后，电子设备根据模型损失值调整待训练的随机向量单元以及待训练的图像调整单元的模型参数。

电子设备经上述步骤经过多轮迭代，直到满足预设收敛条件。其中，该收敛条件可以是，但不限于，模型损失值不再下降时停止迭代；在迭代次数达到设定次数时停止迭代，或者，模型损失值低于设定阈值时停止迭代。

如此，该预训练的图像处理模型能够就同一第一图像，通过向量单元生成不同的随机向量，获得不同样式的第二图像。

基于与图像处理方法相同的发明构思，本申请实施例还提供一种应用于电子设备的图像处理装置。该电子设备配置有预训练的图像处理模型，其中，图像处理模型包括随机向量单元以及图像调整单元，随机向量单元用于生成满足预设概率分布条件的随机向量。如图6所示，从功能上划分，图像处理装置可以包括：

图像获取模块601，用于获取具有图像调整区域的第一图像，其中，第一图像经由待修复图像进行修复获得。

本申请实施例中，该图像获取模块601用于实现图2中的步骤S101，关于该图像获取模块601的详细描述，可以参见步骤S101的详细描述。

图像处理模块602，用于将随机向量单元生成的随机向量以及第一图像输入至图像调整单元。

图像处理模块602，还用于通过图像调整单元使用随机向量调整图像调整区域，获得第二图像。

本申请实施例中，该图像处理模块602用于实现图2中的步骤S102-S103，关于该图像处理模块602的详细描述，可以参见步骤S102-S103的详细描述。

可选地，随机向量单元包括采样层以及向量转换层，将随机向量单元生成的随机向量以及第一图像输入至图像调整单元之前，图像处理模块602用于：

通过采样层进行随机采样，生成采样向量；

通过向量转换层对采样向量进行处理，获得随机向量。

可选地，图像获取模块601用于：

获取待修复图像，其中，待修复图像具有与图像调整区域相对应的待修复区域；

将待修复图像输入至预训练的图像修复单元；

通过图像修复单元对待修复区域进行修复，获得第一图像。

值得说明的是，该图像处理装置还可以包括其他功能模块，用于实现上述图像处理方法的其他步骤或者子步骤。并且，图像获取模块601以及图形处理模块同样可以用于实现图像处理方法的其他步骤或者子步骤。本申请实施例不对此做具体的限定。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，实现的图像处理方法。

综上所述，本申请实施提供的图像处理方法、装置、设备及介质中，该电子设备获取具有图像调整区域的第一图像；将随机向量单元生成的随机向量以及第一图像输入至图像调整单元；通过图像调整单元使用随机向量调整图像调整区域，获得第二图像。由于随机向量单元每次生成不同的随机向量，将其与第一图像一起输入到图像调整单元，则会导致图像调整单元每次输入的数据发生变化，继而可以基于同一张第一图像获得不同样式的第二图像。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。