图像处理方法、装置、电子设备及计算机可读存储介质

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术

对于图像处理而言，抠图是一个重要的技术方向；抠图指的是，将一幅图像中的人物或者其他指定的前景部分，通过抠图技术提取出来。

目前，随着人工智能技术的不断发展，基于深度学习的抠图算法已经显著领先传统抠图算法。但是，由于中央处理器、图像处理器、嵌入式神经网络处理器等硬件的内存限制，现有的深度学习抠图算法是无法直接应用于大尺寸图像的。所以，现有技术中，针对大尺度图像的抠图，通常是先对大尺度图像进行降采样，再基于降采样之后获得的图像进行抠图处理，但这种方式会影响抠图结果的精确度。

发明内容

本发明实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，能够提高抠图结果的精确度。

本发明的实施例可以通过以下实现：

第一方面，本发明实施例提供一种图像处理方法，包括：

获取待处理图像；

从待处理图像中确定包含混合对象区域的多个待处理图像块，混合对象区域为待处理图像中目标对象与待处理图像中非目标对象之间的区域；

从多个待处理图像块中确定出与第一目标图像块关联的关联图像块，第一目标图像块为任一待处理图像块；

获取第一目标图像块与关联图像块之间的上下文信息；

基于上下文信息，从待处理图像中截取目标对象。

第二方面，本发明实施例提供一种图像处理装置，包括：

第一获取模块，用于获取待处理图像；

第二获取模块，用于从待处理图像中确定包含混合对象区域的多个待处理图像块，混合对象区域为待处理图像中目标对象与待处理图像中非目标对象之间的区域；

确定模块，用于从多个待处理图像块中确定出与第一目标图像块关联的关联图像块，第一目标图像块为任一待处理图像块；

第三获取模块，用于获取第一目标图像块与关联图像块之间的上下文信息；

截取模块，用于基于上下文信息，从待处理图像中截取目标对象。

第三方面，本发明实施例提供一种电子设备，电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述图像处理方法中的步骤。

第四方面，本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现前述图像处理方法中的步骤。

本发明实施例提供的图像处理方法、装置、电子设备及计算机可读存储介质首先会从待处理图像中确定包含混合对象区域的多个待处理图像块，以便于实现对待处理图像的分块处理。由于待处理图像块尺寸较小，在其处理过程中，不受中央处理器、图像处理器、嵌入式神经网络处理器等硬件的内存限制，因此，无需如现有技术般，对其进行降采样，所以，不会丢失图像细节，能够保证抠图结果具有一定的精确度。而且，在分割出多个待处理图像块之后，会从多个待处理图像块中确定出与第一目标图像块关联的关联图像块，第一目标图像块为任一待处理图像块，此后，获取第一目标图像块与关联图像块之间的上下文信息，再基于上下文信息，从待处理图像中截取目标对象。也就说是，在对待处理图像进行分块处理的过程中，从待处理图像中分割出的每个待处理图像块并不是被孤立的，还会注重每个待处理图像块与其他待处理图像块之间信息交流，因此，相对于现有技术而言，能够进一步提高抠图结果的精确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例所提供的电子设备的一种示意性结构框图。

图2为本发明实施例所提供的图像处理方法的一种流程示意图。

图3为本发明实施例所提供的图像处理方法的一种辅助性说明图。

图4为本发明实施例所提供的图像处理方法的另一种辅助性说明图。

图5为本发明实施例所提供的图像处理方法的一种整体性流程说明图。

图6为本发明实施例所提供的图像处理装置的一种示意性结构框图。

图7为本发明实施例所提供的一种计算机可读存储介质的示意性结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：关联的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，图1为本实施例提供的一种电子设备100的结构框图。电子设备100可以包括图像处理装置110、存储器120、处理器130及通信单元140，存储器120存储有处理器130可执行的机器可读指令，当电子设备100运行时，处理器130及存储器120之间通过总线通信，处理器130执行机器可读指令，并执行图像处理方法。

存储器120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。图像处理装置110包括至少一个可以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。处理器130用于执行存储器120中存储的可执行模块(例如，图像处理装置110所包括的软件功能模块或计算机程序)。

其中，存储器120可以是，但不限于，随机读取存储器(Random Access memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

在一些实施例中，处理器130用以执行本实施例中描述的一个或多个功能。在一些实施例中，处理器130可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器130可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、专用指令集处理器(Application Specific Instruction-setProcessor，ASIP)、图形处理单元(GraphicsProcessing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field Programmable GateArray，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing，RISC)或微处理器等，或其任意组合。

为了便于说明，在电子设备100中仅描述了一个处理器。然而，应当注意，本实施例中的电子设备100还可以包括多个处理器，因此本实施例中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若服务器的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，处理器执行步骤A，第二处理器执行步骤B，或者处理器和第二处理器共同执行步骤A和B。

本实施例中，存储器120用于存储程序，处理器130用于在接收到执行指令后，执行程序。本实施例任一实施方式所揭示的流程定义的方法可以应用于处理器130中，或者由处理器130实现。

通信单元140用于通过网络建立电子设备100与其他设备之间的通信连接，并用于通过网络收发数据。

在一些实施方式中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。

在本实施例中，电子设备100可以是但不限于笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer，UMPC)、上网本、个人数字助理(Personal DigitalAssistant，PDA)等电子设备上，本实施例对电子设备的具体类型不作任何限制。

可以理解地，图1所示的结构仅为示意。电子设备100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。

基于图1的实现架构，本实施例提供一种图像处理方法，由图1所示的电子设备执行，下面基于图1示出的电子设备100的结构图对本实施例提供的图像处理方法的步骤进行详细阐述。请结合参阅图2，本实施例所提供的图像处理方法包括步骤S100至步骤S500。

步骤S100，获取待处理图像。

其中，待处理图像可以是包括指定物体、且以该指定物体作为前景部分的图像，而指定物体可以是人物、动物，或其他物体。待处理图像中除指定物体以外的其他部分，则作为背景部分。

此外，在本实施例中，可以将待处理图像的前景部分作为目标对象，对应的，可以将待处理图像的背景部分作为非目标对象。

步骤S200，从待处理图像中确定包含混合对象区域的多个待处理图像块，混合对象区域为待处理图像中目标对象与待处理图像中非目标对象之间的区域。

其中，待处理图像块可以是矩形图像块。例如，可以是尺寸为320*320(像素)、480*480(像素)，或640*640(像素)的图像块。混合对象区域为目标对象与非目标对象之间的区域，可以理解为，目标对象与非目标对象之间分界线所在的区域，也就是说，混合对象区域中包括目标对象与非目标对象之间分界线、目标对象中靠近分界线的部分，以及非目标对象中靠近分界线的部分。

在本实施例中，可以预先生成待处理图像的初始掩膜，再基于初始掩膜，从待处理图像中确定包含混合对象区域的多个待处理图像块。

初始掩膜可以是一个三元图(Trimap)，其包括三个掩膜区域，分别为第一前景掩膜区域、第一背景掩膜区域和第一未知掩膜区域，这三个掩膜区域所对应的像素值分别为{255，0，128}，在本实施例中，为减少数据计算量，也可以通过像素真值{1，0，0.5}表示这三个掩膜区域所对应的像素值。其中，第一前景掩膜区域对应于待处理图像中仅包括目标对象的区域，第一背景掩膜区域对应于待处理图像中仅包括非目标对象的区域，第一未知掩膜区域对应于混合对象区域。

基于以上描述，在本实施例中，在生成待处理图像的初始掩膜之后，可以从初始掩膜中直接分割出包含第一未知掩膜区域的多个第一初始掩膜块，再根据多个第一初始掩膜块在初始掩膜中的位置，从待处理图像中分割出多个待处理图像块，以使多个待处理图像块在待处理图像中的位置与多个第一初始掩膜块在初始掩膜中的位置一一对应。那么，初始掩膜中剩余未被分割的部分则完全属于第一前景掩膜区域和第一背景掩膜区域，对应的，待处理图像中剩余未被分割的部分同样完全属于仅包括目标对象的区域和仅包括非目标对象的区域。

步骤S300，从多个待处理图像块中确定出与第一目标图像块关联的关联图像块，第一目标图像块为任一待处理图像块。

可以理解的是，在本实施例中，第一目标图像块为任何一个待处理图像块，也即，针对每个待处理图像块，都需要从多个待处理图像块中确定出与该待处理图像块关联的关联图像块，具体可以是多个关联图像块，例如，3个关联图像块。

此外，在本实施例中，判断某一待处理图像块是否与第一目标图像块关联，实际可以理解为，判断该待处理图像块是否与第一目标图像块相似。基于此，在本实施例中，步骤S300可以包括：

计算出第一目标图像块与待评估图像块的相似度评分，待评估图像块为异于第一目标图像块的任一待处理图像块，也即，分别计算出第一目标图像块与多个待处理图像块中除第一目标图像块以外的其他任何一个待处理图像块的相似度评分；

从多个待处理图像块中确定出相似度评分高于预设分值的待处理图像块，作为关联图像块，或从待处理图像块集合中确定出相似度评分最高的预设数量个待评估图像块，作为关联图像块，其中，预设数量可以是，但不限于3个。

步骤S400，获取第一目标图像块与关联图像块之间的上下文信息。

对于图像处理而言，任意图像中每个像素点都不可能是孤立的，其一定和该图像中其他像素点关联，大量像素点的相互关联才产生了该图像中的各种物体，在本实施例中，上下文信息可以理解为某一图像块中的像素点与其他图像块中像素点之间存在的联系，这种联系可以通过长距离依赖关系表征，也即，在本实施例中，可以通过长距离依赖关系表征第一目标图像块与关联图像块之间的上下文信息。

此外，在本实施例中，可以通过非局部操作(Non-local operation)，获取第一目标图像块与多个关联图像块之间的长距离依赖关系表征信息，作为上下文信息。

步骤S500，基于上下文信息，从待处理图像中截取目标对象。

在本实施例中，可以通过上下文信息，获得第一目标图像块的精细化掩膜块，例如，通过对上下文信息进行融合(Concatenate)，获得第一目标图像块的精细化掩膜块。

由于第一目标图像块为待处理图像块集合中的任一待处理图像块，因此，最终会获得多个精细化掩膜块，多个精细化掩膜块与多个待处理图像块一一对应。最后，可以将多个精细化掩膜与初始掩膜中剩余未被分割的部分进行拼接，获得待处理图像的精细化掩膜，再通过精细化掩膜从待处理图像中截取目标对象。

本实施例所提供的图像处理方法首先会从待处理图像中确定包含混合对象区域的多个待处理图像块，以便于实现对待处理图像的分块处理。由于待处理图像块尺寸较小，在其处理过程中，不受中央处理器、图像处理器、嵌入式神经网络处理器等硬件的内存限制，因此，无需如现有技术般，对其进行降采样，所以，不会丢失图像细节，能够保证抠图结果具有一定的精确度。而且，在分割出多个待处理图像块之后，会从多个待处理图像块中确定出与第一目标图像块关联的关联图像块，第一目标图像块为任一待处理图像块，此后，获取第一目标图像块与关联图像块之间的上下文信息，再基于上下文信息，从待处理图像中截取目标对象。也就说是，在对待处理图像进行分块处理的过程中，从待处理图像中分割出的每个待处理图像块并不是被孤立的，还会注重每个待处理图像块与其他待处理图像块之间信息交流，因此，相对于现有技术而言，能够进一步提高抠图结果的精确度。

在一些实施例中，为提高多个待处理图像块的获取效率，在步骤S200可以包括步骤S210、步骤S220、步骤S230、步骤S240和步骤S250。

步骤S210，生成待处理图像的初始掩膜，初始掩膜中包括第一未知掩膜区域，第一未知掩膜区域对应于混合对象区域。

如前所述的，在本实施例中，初始掩膜可以是一个三元图，其包括三个掩膜区域，分别为第一前景掩膜区域、第一背景掩膜区域和第一未知掩膜区域，这三个掩膜区域所对应的像素值分别为{255，0，128}，在本实施例中，为减少数据计算量，也可以通过像素真值{1，0，0.5}表示这三个掩膜区域所对应的像素值。但在一些实施例中，初始掩膜也可以区别于三元图，例如，初始掩膜中包含的第一未知掩膜区域的像素值并非统一，例如，可以是呈过渡状态的，具体可以是，第一未知掩膜区域中，越靠近第一前景掩膜区域的像素值越趋近于第一前景掩膜区域中的像素值，也即，该掩膜区域的像素真值越趋近于1，越靠近第一背景掩膜区域的像素值越趋近于第一背景掩膜区域中的像素值，也即，该掩膜区域的像素真值越趋近于0，以使第一未知掩膜区域所对应的像素值更为准确。

为此，在本实施例中，可以通过以下方式生成待处理图像的初始掩膜：

将待处理图像输入预设分割模型，预设分割模型通过多张模型训练图像，以及与多张模型训练图像一一对应的多个语义监督掩膜训练获得，语义监督掩膜中包括第二前景掩膜区域、第二背景掩膜区域和第二未知掩膜区域，第二未知掩膜区域的像素值呈过渡状态，具体可以是，第二未知掩膜区域中，越靠近第二前景掩膜区域的像素值越趋近于第二前景掩膜区域中的像素值，越靠近第二背景掩膜区域的像素值越趋近于第二背景掩膜区域中的像素值；

获取预设分割模型的输出结果，作为待处理图像的初始掩膜。

其中，预设分割模型可以是轻量级网络，例如，MobileNetV2。

此外，在本实施例中，将待处理图像输入预设分割模型之前，可以对待处理图像进行降采样，获得对应的小尺寸图像，再将小尺寸图像输入预设分割模型，那么，预设分割模型的输出结果也将是小尺寸掩膜，最后，再对小尺寸掩膜进行上采样，恢复原始尺寸，并作为待处理图像的初始掩膜，从而提高图像处理效率。

进一步地，在本实施例中，多个语义监督掩膜可以通过以下方式生成：

获取多张模型训练图像；

获取每张模型训练图像的二值化掩膜；

对二值化掩膜进行高斯模糊处理，生成语义监督掩膜。

也就是说，在本实施例中，可以直接通过高斯模糊处理，将二值化掩膜中分界线两侧的小范围掩膜区域的像素值由统一状态转换为过渡状态。

步骤S220，对初始掩膜进行分割，获得多个初始掩膜块。

在本实施例中，首先，可以获取用于指示每个初始掩膜块大小的预设分割尺寸，此后，仅根据预设分割尺寸，对初始掩膜进行分割，获得多个初始掩膜块，从而提高多个初始掩膜块的获取效率。其中，预设分割尺寸可以是，但不限于320*320(像素)、480*480(像素)，或640*640(像素)。此时，相邻的两个初始掩膜块之间不存在重叠区域。

但在本实施例中，也可以通过以下方式对初始掩膜进行分割，获得多个初始掩膜块：

获取预设分割尺寸，预设分割尺寸用于指示每个初始掩膜块的大小；

获取预设重叠尺寸，预设重叠尺寸用于指示相邻的两个初始掩膜块之间存在的重叠区域大小；

根据预设分割尺寸和预设重叠尺寸，对初始掩膜进行分割，获得多个初始掩膜块。

其中，预设分割尺寸可以是，但不限于320*320(像素)、480*480(像素)，或640*640(像素)，预设重叠尺寸可以是预设分割尺寸的1/5。例如，若预设分割尺寸为320*320，那么，预设重叠尺寸可以是64*320(像素)和320*64(像素)，也就是说，对于左右相邻的两个初始掩膜块，其对应的预设重叠尺寸为64*320(像素)，对于上下相邻的两个初始掩膜块，其对应的预设重叠尺寸为320*64(像素)。

相邻的两个初始掩膜块之间存在重叠区域，能够提高抠图结果中，目标对象的平滑效果。

此外，需要说明的是，本实施例中，可以通过像素填充方式，对初始掩膜进行填充，例如，可以通过第一背景掩膜区域的像素值对初始掩膜进行填充，使得初始掩膜能够被分割为整数个等大的初始掩膜块。

步骤S230，从多个初始掩膜块中选取出包含第一未知掩膜区域的多个第一初始掩膜块。

步骤S004，对待处理图像进行分割，获得多个原始图像块，多个原始图像块在待处理图像中的位置与多个初始掩膜块在初始掩膜中的位置一一对应。

在本实施例中，可以根据对初始掩膜进行分割的方式，对待处理图像进行分割，获得多个原始图像块，以使多个原始图像块在待处理图像中的位置与多个初始掩膜块在初始掩膜中的位置一一对应。

步骤S005，从多个原始图像块中选取出多个待处理图像块，多个待处理图像块在待处理图像中的位置与多个第一初始掩膜块在初始掩膜中的位置一一对应。

也即，根据多个第一初始掩膜块在初始掩膜中的位置，从多个原始图像块中选取出多个待处理图像块，以使多个原始图像块在待处理图像中的位置与多个初始掩膜块在初始掩膜中的位置一一对应。

可以理解的是，在本实施例中，若按照步骤S210至步骤S250所述的方式，获得多个待处理图像，由于对初始掩膜和待处理图像采用的均为完全分割的方式，相对于仅分割出多个第一初始掩膜块和多个待处理图像块的方式而言，无需过多考虑分割区域问题，因此，能够提高多个待处理图像块的获取效率。

进一步地，对于步骤S300，如前所述的，在本实施例中，可以计算出第一目标图像块与待评估图像块的相似度评分，其中，待评估图像块为异于第一目标图像块的任一待处理图像块，此后，从多个待处理图像块中确定出相似度评分高于预设分值的待处理图像块，作为关联图像块，或从待处理图像块集合中确定出相似度评分最高的预设数量个待评估图像块，作为关联图像块。该过程中，若采用前者所述的关联图像块确定方式则通常情况下，对于不同第一目标图像块，其所对应的关联图像块数量并不相同，因此，无法保证数据处理过程的统一性，同时，若预设分值设置过高，还可能会导致部分第一目标图像块不存在对应的关联图像块的情况发生，从而影响抠图结果的精确度。

基于以上描述，在一些实施例中，步骤S300可以包括步骤S310和步骤S320。

步骤S310，计算出第一目标图像块与待评估图像块的相似度评分，待评估图像块为异于第一目标图像块的任一待处理图像块。

在本实施例中，对于第一目标图像块而言，由于其仅包括目标对象的区域和仅包括非目标对象的区域都能够被明确区分，那么，重点关注的区域也就是混合对象区域，因此，步骤S310实际可以理解为，计算出第一目标图像块包含的混合对象区域与待评估图像块的相关系数。基于此，步骤S310可以包括：

获取第一目标图像块所对应的第一初始掩膜块；

基于第一目标图像块所对应的第一初始掩膜块，计算出第一目标图像块中包含的混合对象区域与待评估图像块的相关系数；

根据相关系数，计算出第一目标图像块与待评估图像块的相似度评分。

在本实施例中，对于相关系数，可以通过如下相关系数逻辑计算：

其中，h(q

获取第一目标图像块所对应的第一初始掩膜块；

将第一目标图像块所对应的第一初始掩膜块中，第一未知掩膜区域所对应的像素真值设置1，第一前景掩膜区域和第一背景掩膜区域所对应的像素真值均设置为0，从而获得第一参数矩阵。

此后，可以调用如下相似度评分计算逻辑，以根据相关系数，计算出第一目标图像块与待评估图像块的相似度评分。

其中，Sq

步骤S320，从多个待处理图像块中确定出相似度评分最高的预设数量个待评估图像块，作为关联图像块。

其中，预设数量可以是，但不限于3个。

需要说明的是，在本实施例中，在执行步骤S300之前，还可以通过编码器(Encode)，对每个待处理图像块进行骨干特征提取，再基于经过骨干特征提取之后的待处理图像块执行步骤S300，以进一步降低数据处理量，从而提高图像处理效率。

在一些实施例中，对于步骤S400，其可以包括步骤S410和步骤S420。

步骤S410，对关联图像块中属于相同区域类型的对象区域进行融合，获得三个区域融合特征，区域类型包括第一对象区域所属的第一区域类型、第二对象区域所属的第二区域类型，以及混合对象区域所属的第三区域类型，第一对象区域为仅包括目标对象的区域，第二对象区域为仅包括非目标对象的区域。

由于需要按照区域类型，对多个关联图像块中的对象区域进行融合，获得三个区域融合特征，因此，步骤S410可以包括：

获取每个关联图像块所对应的第一初始掩膜块；

基于第二目标图像块所对应的第一初始掩膜块，分别从第二目标图像块中提取第一单区域特征、第二单区域特征和第三单区域特征，第一单区域特征对应于第一对象区域，第二单区域特征对应于第二对象区域，第三单区域特征对应于混合对象区域，第二目标图像块为任一所述关联图像块；

对所有第一单区域特征进行融合，获得第一组区域融合特征；

对所有第二单区域特征进行融合，获得第二组区域融合特征；

对所有第三单区域特征进行融合，获得第三组区域融合特征。

在本实施例中，为更进一步地降低数据处理量，从而提高图像处理效率，从第二目标图像块中提取单区域特征时，可以先对第二目标图像块进行一次精髓特征提取，例如，基于第一卷积核对第二目标图像块进行卷积处理，获得第一特征矩阵，此后，对第一特征矩阵和第二参数矩阵进行矩阵点乘，获得第一单区域特征，对第一特征矩阵和第三参数矩阵进行矩阵点乘，获得第二单区域特征，对第一特征矩阵和第四参数矩阵进行矩阵点乘，获得第三单区域特征。

其中，第二参数矩阵、第三参数矩阵和第四参数矩阵的设置方式可以是：

获取第二目标图像块所对应的第一初始掩膜块；

将第二目标图像块所对应的第一初始掩膜块中，第一前景掩膜区域所对应的像素真值设置1，第一未知掩膜区域和第一背景掩膜区域所对应的像素真值均设置为0，从而获得第二参数矩阵。

将第二目标图像块所对应的第一初始掩膜块中，第一背景掩膜区域所对应的像素真值设置1，第一前景掩膜区域和第一未知掩膜区域所对应的像素真值均设置为0，从而获得第三参数矩阵。

将第二目标图像块所对应的第一初始掩膜块中，第一未知掩膜区域所对应的像素真值设置1，第一前景掩膜区域和第一背景掩膜区域所对应的像素真值均设置为0，从而获得第四参数矩阵。

步骤S420，分别获取第一目标图像块包含的混合对象区域与三个区域融合特征之间的长距离依赖关系表征信息，共同作为上下文信息。

在本实施例中，可以通过非局部操作，分别获取第一目标图像块中包含的混合对象区域与三个区域融合特征之间的长距离依赖关系表征信息，基于此，步骤S420可以包括：

获取第一目标图像块所对应的第一初始掩膜块；

基于第一目标图像块所对应的第一初始掩膜块，从第一目标图像块中提取第四单区域特征，第四单区域特征对应于混合对象区域；

通过非局部操作，分别获取第四单区域特征与三个区域融合特征之间的长距离依赖关系表征信息。

在本实施例中，为方便描述，可以分别将第四单区域特征与三个区域融合特征之间的长距离依赖关系表征信息表述为第一长距离依赖关系表征信息、第二长距离依赖关系表征信息和第三长距离依赖关系表征信息。

在本实施例中，为更进一步降低数据处理量，从而提高图像处理效率，从第一目标图像块中提取第四单区域特征时，同样可以先对第一目标图像块进行一次精髓特征提取，例如，基于第二卷积核对第一目标图像块进行卷积处理，获得第二特征矩阵，此后，对第二特征矩阵和第五参数矩阵进行矩阵点乘，获得第四单区域特征。

其中，第五参数矩阵的设置方式可以是：

将第一目标图像块所对应的第一初始掩膜块中，第一未知掩膜区域所对应的像素真值设置1，第一前景掩膜区域和第一背景掩膜区域所对应的像素真值均设置为0，从而获得第五参数矩阵。

此外，在进行非局部操作时，由于网络输入要求的限制，需要输入两路第四单区域特征、且三个区域融合特征同样需要输入两路，因此，在本实施例中，可以仅执行一次步骤S410，获得三个区域融合特征，同时，从第一目标图像块中提取一次第四单区域特征，之后，分别对三个区域融合特征和第四单区域特征进行复用，获得长距离依赖关系表征信息。

具体如图3所示，针对多个关联图像块中的每个关联图像块Y，先基于第一卷积核Conv1对该关联图像块Y进行卷积处理，获得第一特征矩阵，再分别与第一目标参数矩阵集合TC中包括的每个参数矩阵进行矩阵点乘，获得第一单区域特征、第二单区域特征和第三单区域特征。其中，第一目标参数矩阵集合TC包括第二参数矩阵、第三参数矩阵和第四参数矩阵，其设置方式如前所述，此处不作赘述。

对所有第一单区域特征进行融合，获得第一个区域融合特征Cif。

对所有第二单区域特征进行融合，获得第二个区域融合特征Cib。

对所有第三单区域特征进行融合，获得第三个区域融合特征Ciu。

同时，基于第二卷积核Conv2对第一目标图像块X进行卷积处理，获得第二特征矩阵，再对第二特征矩阵和第五参数矩阵TQ进行矩阵点乘，获得第四单区域特征Qu。其中，第五参数矩阵TQ的设置方式如前所述，此处不作赘述。

最后，通过非局部操作，分别获取第四单区域特征Qu与第一个区域融合特征Cif、第二个区域融合特征Cib，以及第三个区域融合特征Ciu之间的长距离依赖关系表征信息，记作第一长距离依赖关系表征信息Ff、第二长距离依赖关系表征信息Fb和第三长距离依赖关系表征信息Fu，并共同作为与第一目标图像块X相关的上下文信息，此后，若对上下文信息进行融合，则可以获得第一目标图像块X的精细化掩膜块F。

示例性地，通过非局部操作，获取第四单区域特征Qu与第三个区域融合特征Ciu之间的第三长距离依赖关系表征信息Fu的过程可以是：

第四单区域特征Qu与第三个区域融合特征Ciu之间通过矩阵乘法，获得第一中间结果；

通过Softmax函数，对第一中间结果进行处理，获得第二中间结果；

第二中间结果与第三个区域融合特征Ciu之间通过矩阵乘法，获得第三中间结果；

第三中间结果与第四单区域特征Qu之间通过矩阵加法，获得第三长距离依赖关系表征信息Fu。

本实施例中，也可以基于不同的第一卷积核，执行两次步骤S410，分别获得三个区域融合特征，同时，基于不同的第二卷积核，从第一目标图像块中提取两次第四单区域特征，以避免对三个区域融合特征和第四单区域特征进行复用，从而提高长距离依赖关系表征信息的准确性。

具体如图4所示，针对多个关联图像块中的每个关联图像块Y，先基于第一卷积核Conv11对该关联图像块Y进行卷积处理，获得第一特征矩阵，再分别与第一目标参数矩阵集合TC中包括的每个参数矩阵进行矩阵点乘，获得第一单区域特征A1、第二单区域特征A2和第三单区域特征A3。其中，第一目标参数矩阵集合TC包括第二参数矩阵、第三参数矩阵和第四参数矩阵，其设置方式如前所述，此处不作赘述。

对所有第一单区域特征A1进行融合，获得第一个区域融合特征Cif1。

对所有第二单区域特征A2进行融合，获得第二个区域融合特征Cib1。

对所有第三单区域特征A3进行融合，获得第三个区域融合特征Ciu1。

针对多个关联图像块中的每个关联图像块Y，先基于第一卷积核Conv12对该关联图像块Y进行卷积处理，获得第一特征矩阵，再分别与第一目标参数矩阵集合TC中包括的每个参数矩阵进行矩阵点乘，获得第一单区域特征B1、第二单区域特征B2和第三单区域特征B3。

对所有第一单区域特征B1进行融合，获得第一个区域融合特征Cif2。

对所有第二单区域特征B2进行融合，获得第二个区域融合特征Cib2。

对所有第三单区域特征B3进行融合，获得第三个区域融合特征Ciu2。

同时，基于第二卷积核Conv21对第一目标图像块X进行卷积处理，获得第二特征矩阵C1，再对第二特征矩阵C1和第五参数矩阵TQ进行矩阵点乘，获得第四单区域特征Qu1。其中，第五参数矩阵TQ的设置方式如前所述，此处不作赘述。

基于第二卷积核Conv22对第一目标图像块X进行卷积处理，获得第二特征矩阵C2，再对第二特征矩阵C2和第五参数矩阵TQ进行矩阵点乘，获得第四单区域特征Qu2。

最后，通过非局部操作，分别获取三个长距离依赖关系表征信息，也即：

第四单区域特征Qu1和第四单区域特征Qu2与第一组区域融合特征Cif1和第一组区域融合特征Cif2之间的长距离依赖关系表征信息，记作第一长距离依赖关系表征信息Ff；

第四单区域特征Qu1和第四单区域特征Qu2与第二组区域融合特征Cib1和第二组区域融合特征Cib2之间的长距离依赖关系表征信息，记作第二长距离依赖关系表征信息Fb；

第四单区域特征Qu1和第四单区域特征Qu2与第三组区域融合特征Ciu1和第三组区域融合特征Ciu2之间的长距离依赖关系表征信息，记作第三长距离依赖关系表征信息Fu。

将第一长距离依赖关系表征信息Ff、第二长距离依赖关系表征信息Fb和第三长距离依赖关系表征信息Fu，共同作为与第一目标图像块X相关的上下文信息，此后，若对上下文信息进行融合，则可以获得第一目标图像块X的精细化掩膜块F。

示例性地，通过非局部操作，获取第四单区域特征Qu1和第四单区域特征Qu2与第三组区域融合特征Ciu1和第三个区域融合特征Ciu2之间的第三长距离依赖关系表征信息Fu的过程可以是：

第四单区域特征Qu1与第三个区域融合特征Ciu1之间通过矩阵乘法，获得第一中间结果；

通过Softmax函数，对第一中间结果进行处理，获得第二中间结果；

第二中间结果与第三个区域融合特征Ciu2之间通过矩阵乘法，获得第三中间结果；

第三中间结果与第四单区域特征Qu2之间通过矩阵加法，获得第三长距离依赖关系表征信息Fu。

在一些实施例中，对于步骤S500，其可以包括步骤S510至步骤S550。

步骤S510，根据上下文信息，获得第一目标图像块所对应的精细掩膜块。

在本实施例中，可以通过对上下文信息进行融合，获得第一目标图像块的精细化掩膜块。

以第一目标图像块相关的上下文信息包括第一长距离依赖关系表征信息、第二长距离依赖关系表征信息和第三长距离依赖关系表征信息为例，对第一长距离依赖关系表征信息、第二长距离依赖关系表征信息和第三长距离依赖关系表征信息进行融合，即可获得第一目标图像块的精细化掩膜块。

由于第一目标图像块为待处理图像块集合中的任一待处理图像块，因此，最终会获得多个精细化掩膜块，多个精细化掩膜块与多个待处理图像块一一对应。

此外，需要说明的是，在本实施例中，在执行步骤S300之前，若已通过编码器，对每个待处理图像块进行骨干特征提取，再基于经过骨干特征提取之后的待处理图像块执行步骤S300，则在获得精细掩膜块之后，还需要通过解码器(Decoder)对其进行解码处理。

步骤S520，获取从待处理图像中确定出、且未包含混合对象区域的多个第三目标图像块。

步骤S530，获取每个第三目标图像块所对应的第二初始掩膜块。

执行步骤S530之后，会获得多个第二初始掩膜块。

步骤S540，将精细掩膜块与第二初始掩膜块进行拼接，获得待处理图像的精细化掩膜。

在本实施例中，可以按照多个精细掩膜块所对应的多个第一初始掩膜块在初始掩膜中的位置，以及多个第二初始掩膜块在初始掩膜块中的位置，将多个精细掩膜块与多个第二初始掩膜块进行拼接，获得待处理图像的精细化掩膜。

步骤S550，根据精细化掩膜，从待处理图像中截取目标对象。

以下，将结合图5，对本实施例所提供的图像处理方法的一种整体性流程进行说明。

获取待处理图像。

将待处理图像输入预设分割模型，并获取预设分割模型的输出结果，作为待处理图像的初始掩膜。

其中，预设分割模型通过多张模型训练图像，以及与多张模型训练图像一一对应的多个语义监督掩膜训练获得，语义监督掩膜中包括第二前景掩膜区域第二背景掩膜区域和第二未知掩膜区域，第二未知掩膜区域的像素值呈过渡状态，具体可以是，第二未知掩膜区域中，越靠近第二前景掩膜区域的像素值越趋近于第二前景掩膜区域中的像素值，越靠近第二背景掩膜区域的像素值越趋近于第二背景掩膜区域中的像素值。

此外，将待处理图像输入预设分割模型之前，可以对待处理图像进行降采样，获得对应的小尺寸图像，再将小尺寸图像输入预设分割模型，那么，预设分割模型的输出结果也将是小尺寸掩膜，最后，再对小尺寸掩膜进行上采样，恢复原始尺寸，并作为待处理图像的初始掩膜，从而提高图像处理效率。

对初始掩膜和待处理图像进行分割，获得多个初始掩膜块和多个原始图像块、且相邻的两个初始掩膜块之间存在重叠区域，同样的，相邻的两个原始图像块之间存在重叠区域。此后，从多个初始掩膜块中选取出包含第一未知掩膜区域的多个第一初始掩膜块，同时，从多个原始图像块中选取出多个待处理图像块，多个待处理图像块在待处理图像中的位置与多个第一初始掩膜块在初始掩膜中的位置一一对应，也即，可以通过多个待处理图像块和多个第一初始掩膜块组成多对图像对，每对图像对包括一个待处理图像块和一个第一初始掩膜块，并放入图像对池中。

接着，通过编码器对图像对池中的每个待处理图像块进行骨干特征提取，再基于经过骨干特征提取之后的待处理图像块执行后续步骤：

计算出第一目标图像块与待评估图像块的相似度评分，待评估图像块为异于第一目标图像块的任一待处理图像块，并从图像对池中确定出相似度评分最高的预设数量个待评估图像块，作为关联图像块。此后，通过非局部操作，获取第一目标图像块与每个关联图像块之间的上下文信息，再通过上下文信息，获得第一目标图像块的精细化掩膜块，并通过解码器对其进行解码处理，获得解码之后的精细化掩膜块，例如，通过对上下文信息进行融合，获得第一目标图像块的精细化掩膜块，并通过解码器对其进行解码处理，获得解码之后的精细化掩膜块。

由于第一目标图像块为任一待处理图像块，因此，最终会获得多个精细化掩膜块，多个精细化掩膜块与多个待处理图像块一一对应。最后，将多个精细化掩膜与初始掩膜中剩余未被分割的部分进行拼接，获得待处理图像的精细化掩膜，并通过精细化掩膜从待处理图像中截取目标对象。

请结合参阅图6，基于与上述图像处理方法相同的发明构思，本实施例还提供一种图像处理装置110，应用于图1所示的电子设备，本实施例所提供的图像处理装置的各功能模块可以软件或固件(Firmware)的形式存储于电子设备的存储器，如图6所示，图像处理装置110包括：

第一获取模块111，用于获取待处理图像；

第二获取模块112，用于从待处理图像中确定包含混合对象区域的多个待处理图像块，混合对象区域为待处理图像中目标对象与待处理图像中非目标对象之间的区域；

确定模块113，用于从多个待处理图像块中确定出与第一目标图像块关联的关联图像块，第一目标图像块为任一待处理图像块；

第三获取模块114，用于获取第一目标图像块与关联图像块之间的上下文信息；

截取模块115，用于基于上下文信息，从待处理图像中截取目标对象。

在一些实施例中，确定模块113，具体用于：

计算出第一目标图像块与待评估图像块的相似度评分，待评估图像块为异于第一目标图像块的任一待处理图像块；

从多个待处理图像块中确定出相似度评分最高的预设数量个待评估图像块，作为关联图像块。

在一些实施例中，确定模块113，具体用于：

获取第一目标图像块所对应的第一初始掩膜块；

基于第一目标图像块所对应的第一初始掩膜块，计算出第一目标图像块包含的混合对象区域与待评估图像块的相关系数；

根据相关系数，计算出第一目标图像块与待评估图像块的相似度评分。

在一些实施例中，第三获取模块114，具体用于：

对关联图像块中属于相同区域类型的对象区域进行融合，获得三个区域融合特征，区域类型包括第一对象区域所属的第一区域类型、第二对象区域所属的第二区域类型，以及混合对象区域所属的第三区域类型，第一对象区域为仅包括目标对象的区域，第二对象区域为仅包括非目标对象的区域；

分别获取第一目标图像块包含的混合对象区域与三个区域融合特征之间的长距离依赖关系表征信息，共同作为上下文信息。

在一些实施例中，第三获取模块114，具体用于：

获取每个关联图像块所对应的第一初始掩膜块；

基于第二目标图像块所对应的第一初始掩膜块，分别从第二目标图像块中提取第一单区域特征、第二单区域特征和第三单区域特征，第一单区域特征对应于第一对象区域，第二单区域特征对应于第二对象区域，第三单区域特征对应于混合对象区域，第二目标图像块为任一关联图像块；

对所有第一单区域特征进行融合，获得第一组区域融合特征；

对所有第二单区域特征进行融合，获得第二组区域融合特征；

对所有第三单区域特征进行融合，获得第三组区域融合特征。

在一些实施例中，第三获取模块114，具体用于：

获取第一目标图像块所对应的第一初始掩膜块；

基于第一目标图像块所对应的第一初始掩膜块，从第一目标图像块中提取第四单区域特征，第四单区域特征对应于混合对象区域；

通过非局部操作，分别获取第四单区域特征与三个区域融合特征之间的长距离依赖关系表征信息。

在一些实施例中，截取模块115，具体用于：

根据上下文信息，获得第一目标图像块所对应的精细掩膜块；

获取从待处理图像中确定出、且未包含混合对象区域的多个第三目标图像块；

获取每个第三目标图像块所对应的第二初始掩膜块；

将精细掩膜块与第二初始掩膜块进行拼接，获得待处理图像的精细化掩膜；

根据精细化掩膜，从待处理图像中截取目标对象。

在一些实施例中，第二获取模块112具体用于：

生成待处理图像的初始掩膜，初始掩膜包括第一未知掩膜区域，第一未知掩膜区域对应于混合对象区域；

对初始掩膜进行分割，获得多个初始掩膜块；

从多个初始掩膜块中选取出包含有第一未知掩膜区域的多个第一初始掩膜块；

对待处理图像进行分割，获得多个原始图像块，多个原始图像块在待处理图像中的位置与多个初始掩膜块在初始掩膜中的位置一一对应；

第二选取模块，用于从多个原始图像块中选取出多个待处理图像块，多个待处理图像块在待处理图像中的位置与多个第一初始掩膜块在初始掩膜中的位置一一对应。

在一些实施例中，第四获取模块，具体用于：

将待处理图像输入预设分割模型，预设分割模型通过多张模型训练图像，以及与多张模型训练图像一一对应的多个语义监督掩膜训练获得，语义监督掩膜中包括第二前景掩膜区域、第二背景掩膜区域和、第二未知掩膜区域，第二未知掩膜区域的像素值呈过渡状态；

获取预设分割模型的输出结果，作为待处理图像的初始掩膜。

在一些实施例中，多个语义监督掩膜通过以下方式生成：

获取多张模型训练图像；

获取每张模型训练图像的二值化掩膜；

对二值化掩膜进行高斯模糊处理，生成语义监督掩膜。

在一些实施例中，第一分割模块，具体用于：

获取预设分割尺寸，预设分割尺寸用于指示每个初始掩膜块的大小；

获取预设重叠尺寸，预设重叠尺寸用于指示相邻的两个初始掩膜块之间存在的重叠区域大小；

根据预设分割尺寸和预设重叠尺寸，对初始掩膜进行分割，获得多个初始掩膜块。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的图像处理装置110的具体工作过程，可以参考前述图像处理方法中的对应过程，在此不再过多赘述。

在上述基础上，本实施例提供一种电子设备，电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述任一实施方式所提供的图像处理方法中的步骤。

所属领域的技术人员可以清楚地了解到，由于为描述的方便和简洁，上述描述的电子设备的具体工作过程，可以参考前述图像处理方法中的对应过程，在此不再过多赘述。

在上述基础上，本实施例提供一种计算机可读存储介质200，如图7所示，计算机可读存储介质200上存储有计算机程序，计算机程序被处理器执行时实现前述任一实施方式所提供的图像处理方法中的步骤。

所属领域的技术人员可以清楚地了解到，由于为描述的方便和简洁，上述描述的计算机可读存储介质的具体工作过程，可以参考前述图像处理方法中的对应过程，在此不再过多赘述。

综上所述，本发明实施例提供的图像处理方法、装置、电子设备及计算机可读存储介质首先会从待处理图像中确定包含混合对象区域的多个待处理图像块，以便于实现对待处理图像的分块处理。由于待处理图像块尺寸较小，在其处理过程中，不受中央处理器、图像处理器、嵌入式神经网络处理器等硬件的内存限制，因此，无需如现有技术般，对其进行降采样，所以，不会丢失图像细节，能够保证抠图结果具有一定的精确度。而且，在分割出多个待处理图像块之后，会从多个待处理图像块中确定出与第一目标图像块关联的关联图像块，第一目标图像块为任一待处理图像块，此后，获取第一目标图像块与关联图像块之间的上下文信息，再基于上下文信息，从待处理图像中截取目标对象。也就说是，在对待处理图像进行分块处理的过程中，从待处理图像中分割出的每个待处理图像块并不是被孤立的，还会注重每个待处理图像块与其他待处理图像块之间信息交流，因此，相对于现有技术而言，能够进一步提高抠图结果的精确度。

以上所述，仅为本发明的各种实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。