图像处理方法和装置

技术领域

本发明涉及神经网络技术领域，尤其是涉及一种图像处理方法和装置。

背景技术

对于超声图像减噪，现有技术中已有比较多的研究。目前有些基于对抗生成模型(Generative Adversarial Networks，GAN)的算法能直接将含有伪影的图像进行处理并直接输出不含伪影的图片，但是这类对抗生成模型的算法不能定义处理区域，当对抗生成模型过度修补图像的暗影区域时将会使图像失真，伪影移除效果难控制。

发明内容

有鉴于此，本发明的目的在于提供图像处理方法和装置，以通过定义目标区域，对该目标区域的伪影、阴影等进行移除，提高伪影移除效果。

第一方面，本发明实施例提供了一种图像处理方法，方法包括：获取RGB频道的图像；对RGB频道的图像进行预处理，得到掩码频道的图像；将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中，输出粗糙修补图像；将粗糙修补图像输入生成器的第二子模型中，得到精细修补图像。

本发明实施例提供的较佳实施例中，上述对RGB频道的图像进行预处理，得到掩码频道的图像的步骤，包括：去除RGB频道的图像的水印；对RGB频道的图像进行极坐标变换处理；对RGB频道的图像进行纵轴滚动处理；对RGB频道的图像进行残影移除处理；生成RGB频道的图像的随机掩码，并基于随机掩码确定掩码频道的图像。

本发明实施例提供的较佳实施例中，上述将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中，输出粗糙修补图像的步骤，包括：将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中；第一子模型对RGB频道的图像和掩码频道的图像依次进行卷积处理、池化处理、系数卷积处理和反卷积处理，输出粗糙修补图像。

本发明实施例提供的较佳实施例中，上述第二子模型包括第一特征提取网络和第二特征提取网络；将粗糙修补图像输入生成器的第二子模型中，得到精细修补图像的步骤，包括：将粗糙修补图像输入第一特征提取网络和第二特征提取网络中；第一特征提取网络基于预先设定的注意力机制，对粗糙修补图像依次进行卷积处理和池化处理，输出第一特征；第二特征提取网络对粗糙修补图像依次进行卷积处理、池化处理和系数卷积处理，输出第二特征；将第一特征和第二特征合并，得到精细修补图像。

本发明实施例提供的较佳实施例中，上述生成器的损失函数包括对抗损失函数、一致性损失函数和感知损失函数。

本发明实施例提供的较佳实施例中，上述生成器基于预先设定的特征选通机制进行卷积处理。

本发明实施例提供的较佳实施例中，上述方法还包括：将精细修补图像和掩码频道的图像预先训练完成的判别器中；判别器对精细修补图像和掩码频道的图像进行多层卷积处理和池化处理，输出判别结果；基于判别结果训练生成器。

本发明实施例提供的较佳实施例中，上述方法还包括：基于预先设定的参数谱归一化机制更新判别器的卷积核参数。

本发明实施例提供的较佳实施例中，上述判别器的损失函数包括对抗损失函数。

第二方面，本发明实施例还提供一种图像处理装置，装置包括：图像获取模块，用于获取RGB频道的图像；图像预处理模块，用于对RGB频道的图像进行预处理，得到掩码频道的图像；第一子模型处理模块，用于将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中，输出粗糙修补图像；第二子模型处理模块，用于将粗糙修补图像输入生成器的第二子模型中，得到精细修补图像。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种图像处理方法和装置，通过对RGB频道的图像进行预处理，得到掩码频道的图像，将掩码频道的图像的掩码区域作为目标区域，通过生成器的第一子模型和第二子模型对掩码频道的图像进行修补，可以得到精细修补图像。该方式中，可以通过定义目标区域，对图像中该目标区域的伪影、阴影等进行移除，提高伪影移除效果。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像处理方法的流程图；

图2为本发明实施例提供的另一种图像处理方法的流程图；

图3为本发明实施例提供的一种图像处理模型的示意图；

图4为本发明实施例提供的一种图像处理装置的结构示意图；

图5为本发明实施例提供的另一种图像处理装置的结构示意图；

图6为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，对于超声图像减噪，现有技术中已有比较多的研究。有些基于对抗生成模型的算法能直接将含有伪影的图像进行处理并直接输出不含伪影的图片，但是这类对抗生成模型的算法不能定义处理区域，当对抗生成模型过度修补图像的暗影区域时将会使图像失真，伪影移除效果难控制。

基于此，本发明实施例提供的一种图像处理方法和装置，可以通过定义目标区域对超声图像中的各种伪影、阴影等进行手动移除，对该目标区域的伪影、阴影等进行移除，提高伪影移除效果。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像处理方法进行详细介绍。

实施例一：

本发明实施例提供一种图像处理方法，参见图1所示的一种图像处理方法的流程图，该图像处理方法包括如下步骤：

步骤S102，获取RGB频道的图像。

RGB频道是指红色(Red)、绿色(Green)、蓝色(Blue)三种颜色的频道，可以通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的图像。

步骤S104，对RGB频道的图像进行预处理，得到掩码频道的图像。

本实施例的预处理可以包括去除水印、坐标转换、纵轴滚动、移除残影等处理方式。除此以外，本实施例的预处理还可以生成随机掩码，并通过随机掩码与图像进行点乘，以得到掩码频道的图像。其中，可以将掩码频道的图像的掩码区域作为目标区域，对图像中该目标区域的伪影、阴影等进行移除，提高伪影移除效果。

步骤S106，将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中，输出粗糙修补图像。

将获取的RGB频道的图像和预处理后的掩码频道的图像作为生成器的第一子模型的输入，第一子模型可以输出粗糙修补图像。其中，本实施例的图像处理模型可以为GAN，可以包括判别器和生成器，生成器包括第一子模型和第二子模型。

步骤S108，将粗糙修补图像输入生成器的第二子模型中，得到精细修补图像。

将第一子模型输出的粗糙修补图像作为生成器的第二子模型的输入，第二子模型可以输出精细修补图像。第二子模型可以包括第一特征提取网络和第二特征提取网络，第一特征提取网络和第二特征提取网络可以分别对粗糙修补图像进行精细修补，分别输出第一特征和第二特征，通过将第一特征和第二特征合并，就可以得到精细修补图像。

本发明实施例提供的一种图像处理方法，通过对RGB频道的图像进行预处理，得到掩码频道的图像，将掩码频道的图像的掩码区域作为目标区域，通过生成器的第一子模型和第二子模型对掩码频道的图像进行修补，可以得到精细修补图像。该方式中，可以通过定义目标区域，对图像中该目标区域的伪影、阴影等进行移除，提高伪影移除效果。

实施例二：

本发明实施例提供的上述方法了另一种图像处理方法，在上述实施例提供的方法的基础上实现，参见图2所示的另一种图像处理方法的流程图，该图像处理方法包括如下步骤：

步骤S202，获取RGB频道的图像。

步骤S204，对RGB频道的图像进行预处理，得到掩码频道的图像。

具体地，可以通过下述步骤对RGB频道的图像进行预处理：去除RGB频道的图像的水印；对RGB频道的图像进行极坐标变换处理；对RGB频道的图像进行纵轴滚动处理；对RGB频道的图像进行残影移除处理；生成RGB频道的图像的随机掩码，并基于随机掩码确定掩码频道的图像。

其中，去除水印可以理解为去除影响图像处理模型训练的信息，例如：图像左上角表示有“Frame 74”的水印信息，可以去除Frame 74”的水印信息。

极坐标转换是指将图像的坐标系转换为极坐标系，极坐标是指在平面内取一个定点O叫极点，引一条射线Ox叫做极轴，再选定一个长度单位和角度的正方向(通常取逆时针方向)。

纵轴滚动即移动极坐标系的纵轴，将图像的阴影区域移动到指定位置。再通过残影移除处理移除图像的阴影区域。

之后生成RGB频道的图像的随机掩码，并基于随机掩码确定掩码频道的图像。其中，掩码区域可以为白色区域，以方便之后通过图像处理模型对掩码区域进行修补。

步骤S206，将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中，输出粗糙修补图像。

参见图3所示的一种图像处理模型的示意图，图像处理模型包括生成器和判别器，生成器包括第一子模型和第二子模型。

本实施例的图像处理模型可以为GAN，在实际场景中往往需要令生成模型生成的数据分布接近某个数据分布，一种主流方法就是生成对抗网络GAN。这种方法的主要原理是通过两个神经网络通过对抗训练来提升能力。详细来说，GAN包含了两个模型：生成器(Generator)和判别器(Discriminator)，生成器G

生成器和判别器的目标函数为：

可见，等式的右方为二元逻辑分布，第一项为真实数据判别的对数逻辑，第二项为生成数据判别的对数逻辑。GAN的目标是在判别器的参数空间中寻找最小化判别误差的判别器参数，同时在生成器的参数空间中寻找令判别误差最大的生成器参数。

以上目标函数一定存在均衡点，就是说参数空间中存在满足这个等式的参数。但实际在通过梯度下降对模型进行的时候，往往会有参数不稳定的情况，需要进一步的方法稳定参数的优化。

其中，本实施例的GAN可以具体为WGAN(Wasserstein Generative AdversarialNetworks)。对抗生成模型的目标函数可以简化成：2JS(P

其中P

其中f

具体地，将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中；第一子模型对RGB频道的图像和掩码频道的图像依次进行卷积处理、池化处理、系数卷积处理和反卷积处理，输出粗糙修补图像。

其中，掩码频道的图像的掩码区域为模型需要填充的区域。第一子模型可以对输入进行卷积、池化、稀疏卷积(Dilated Convolution)，最后进行反卷积，完成从特征提取到粗糙结果(粗糙修补图像)的生成，其中，粗糙修补图像为三通道RGB图像。

步骤S208，将粗糙修补图像输入生成器的第二子模型中，得到精细修补图像。

如图3所示，第二子模型包括第一特征提取网络和第二特征提取网络具体地，将粗糙修补图像输入第一特征提取网络和第二特征提取网络中；第一特征提取网络基于预先设定的注意力机制，对粗糙修补图像依次进行卷积处理和池化处理，输出第一特征；第二特征提取网络对粗糙修补图像依次进行卷积处理、池化处理和系数卷积处理，输出第二特征；将第一特征和第二特征合并，得到精细修补图像。

第二子模型的输入为第一子模型的输出，第一特征提取网络可以基于预先设定的注意力机制，对粗糙修补图像依次进行卷积处理和池化处理，输出第一特征。

注意力机制最早起源于递归类型神经网络的设计，用来解决网络无法联系两个间距比较大的输入，后来在卷积网络中被加以利用。其核心思想是对整个输入集进行权重调整，再根据权重调整后的输入进行下一步处理。

例如，已知输入有目标特征张量和周边的背景特征张量，计算一个权重张量与背景特征张量进行点乘，最后输出新的背景特征张量。其中一种常用的求权重方法是计算两个输入之间的点乘。可以用到余弦距离(归一化后的点乘距离)，例如：

其中，s

第二特征网络可以对粗糙修补图像依次进行卷积处理、池化处理和系数卷积处理，输出第二特征。之后，可以将两个网络分别提取的特征合并在一起，并进行卷积和反卷积得到更精细的输出(即精细修补图像)，精细修补图像也为三通道RGB图像。

其中，生成器可以基于预先设定的特征选通机制，模型的生成器中的所有卷积都可以使用特征选通机制(Feature-wise Gating)。特征选通机制是一种新的对空白区域进行特征填充的方法。过去特征填充的方法会通过特定的规则计算各个层级的空白区域的特征，而特征选通机制的方法则通过定义一组专门的卷积核，分别在原有特征抽取的基础上再计算各个特征的对应权重，然后(类似于注意力机制)通过点乘得到空白区域的特征张量。

步骤S210，将精细修补图像和掩码频道的图像预先训练完成的判别器中。

如图3所示，本实施例的图像处理模型包括判别器，判别器的输入可以为精细修补图像和掩码频道的图像。

步骤S212，判别器对精细修补图像和掩码频道的图像进行多层卷积处理和池化处理，输出判别结果。

判别器的输出结果可以是真假逻辑子张量。真假逻辑子张量可以为一个矩阵，矩阵中包括多个数值，数值表征图像对应区域为真的概率，判别器输出的判别结果可以会用于损失函数的计算。

其中，可以基于预先设定的参数谱归一化机制更新判别器的卷积核参数。判别器中可以使用参数谱归一化(Spectral Normalization)来对判别器的卷积核参数进行更新，以此来稳定生成器的训练。

尽管WGAN令模型训练变得稳定，解决了模态崩塌的问题，但是当判别器和生成器的模型深度的增加而其参数的范数(norm)偏离单元值，在训练时很容易会出现梯度爆炸或消失。原WGAN中提出对梯度进行剪裁，但这种方法对模型训练有不良影响。于是可以在损失中增加对梯度进行惩罚，但是这种方法增加了训练成本，而且只对每个惩罚都针对训练样本，或不利于模型泛化。

本实施例中应用了矩阵理论中的频谱归一化，对模型参数进行归一化处理

其中W为输入的矩阵形式参数，σ(W)为W的频谱范数。为了让训练成本减到最低，可以使用了迭代的方法对范数的求解进行近似。具体实现如下：

根据输入矩阵W(即参数)生成匹配的各向同性分布的向量u；迭代更新u(一般每次传播更新一次就可以了)：

整个神经网络使用归一化后的W，即

其中，α,

步骤S214，基于判别结果训练生成器。

其中，判别器的损失函数包括对抗损失函数。判别器(WGAN)的对抗损失可以为：

其中，σ为激活函数；输入x为真实图片，其分布为

其中，生成器的损失函数包括对抗损失函数、一致性损失函数和感知损失函数。

生成器(WGAN)的损失一共有三个损失，分别是对抗损失(令生成图片贴近真实分布)：

其中，G为判别器，x为输入图像，H为卷积网络，

‖·‖为距离算子，‖·‖

在训练模型生成与目标图像相似的输出时，可以用卷积层中的输出作为损失计算的方法代替过去直接使用生成图片和目标图片的像素距离作为损失的方法。

假设f为生成网络，可以为G生成器；x为输入；y为目标输出吗，即真实图片；

那么，第n层的感知损失为：

其中，g

本发明实施例提供的上述方法，是一种深度图像修补方法，其主要原理是通过多次的卷积对存在像素缺失的输入图像进行特征抽取，然后对抽取的特征再进行多次的反卷积，生成输出图像。

本实施例提供的方法可以通过训练模型生成不含噪声的完整图像(无监督训练)，最终得到去噪模型。由于模型的训练架构是基于生成对抗网络，需要对判别器和生成器同时进行训练。在GAN模型训练的时候往往存在不稳定，本实施例提供的方法的模型卷积层使用了谱正则化(Spectral Normalization)以及对损失进行了改进。

另外为了让像素的修补基于对图片的全局理解，本实施例提供的图像处理模型使用了周边注意力机制，卷积使用特征选通机制，可以加强生成图片的效果。

实施例三：

对应于上述方法实施例，本发明实施例提供了一种图像处理装置，如图4所示的一种图像处理装置的结构示意图，该图像处理装置包括：

图像获取模块41，用于获取RGB频道的图像；

图像预处理模块42，用于对RGB频道的图像进行预处理，得到掩码频道的图像；

第一子模型处理模块43，用于将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中，输出粗糙修补图像；

第二子模型处理模块44，用于将粗糙修补图像输入生成器的第二子模型中，得到精细修补图像。

本发明实施例提供的一种图像处理装置，通过对RGB频道的图像进行预处理，得到掩码频道的图像，将掩码频道的图像的掩码区域作为目标区域，通过生成器的第一子模型和第二子模型对掩码频道的图像进行修补，可以得到精细修补图像。该方式中，可以通过定义目标区域，对图像中该目标区域的伪影、阴影等进行移除，提高伪影移除效果。

上述图像预处理模块，用于去除RGB频道的图像的水印；对RGB频道的图像进行极坐标变换处理；对RGB频道的图像进行纵轴滚动处理；对RGB频道的图像进行残影移除处理；生成RGB频道的图像的随机掩码，并基于随机掩码确定掩码频道的图像。

上述第一子模型处理模块，用于将RGB频道的图像和掩码频道的图像输入预先训练完成的生成器的第一子模型中；第一子模型对RGB频道的图像和掩码频道的图像依次进行卷积处理、池化处理、系数卷积处理和反卷积处理，输出粗糙修补图像。

上述第二子模型包括第一特征提取网络和第二特征提取网络；上述第二子模型处理模块，用于将粗糙修补图像输入第一特征提取网络和第二特征提取网络中；第一特征提取网络基于预先设定的注意力机制，对粗糙修补图像依次进行卷积处理和池化处理，输出第一特征；第二特征提取网络对粗糙修补图像依次进行卷积处理、池化处理和系数卷积处理，输出第二特征；将第一特征和第二特征合并，得到精细修补图像。

上述生成器的损失函数包括对抗损失函数、一致性损失函数和感知损失函数。

上述生成器基于预先设定的特征选通机制进行卷积处理。

参见图5所示的另一种图像处理装置的结构示意图，该图像处理装置还包括：判别器处理模块45，与第二子模型处理模块44连接，判别器处理模块45，用于将精细修补图像和掩码频道的图像预先训练完成的判别器中；判别器对精细修补图像和掩码频道的图像进行多层卷积处理和池化处理，输出判别结果；基于判别结果训练生成器。

上述判别器处理模块，还用于基于预先设定的参数谱归一化机制更新判别器的卷积核参数。

上述判别器的损失函数包括对抗损失函数。

本发明实施例提供的图像处理装置，与上述实施例提供的图像处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

实施例四：

本发明实施例还提供了一种电子设备，用于运行上述图像处理方法；参见图6所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述图像处理方法。

进一步地，图6所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。

其中，存储器100可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processor，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述图像处理方法，具体实现可参见方法实施例，在此不再赘述。

本发明实施例所提供的图像处理方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和/或电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。