一种运算轻量化图像修复方法

技术领域

本发明涉及计算机图形学与图像处理技术领域，具体地说，涉及一种运算轻量化图像修复方法。

背景技术

随着数据处理和电子工业的快速发展，人工神经网络在计算机视觉领域被广泛应用于自动驾驶、手机摄像等任务中，这类基于图像处理的任务具有快速、端到端保证图像清晰度的需求。汽车与手机在拍照过程中设备通常会进行比较大的位置变动，在变动过程中，图像很可能会出现撕裂、模糊等问题，运用图像修复技术保证图像的清晰度成为主要的技术手段。但现有的图像修复处理模型大部分是基于人工神经网络的，其所需的计算量高，超出边缘计算设备所能处理的运算量。为了提升自动驾驶、手机摄像拍照等功能的体验，对人工神经网络图像修复模型进行轻量化是必须采用的技术。在轻量化模型的过程中，现有的策略主要考虑削减神经网络层次数量，降低模型表现以期能够在边缘计算设备上运行。

然而，削减网络层次数量牺牲性能无法满足摄像机像素增长的需要，导致修复效果不佳，出现重影、内容错乱等问题。

发明内容

本发明的内容是提供一种运算轻量化图像修复方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种运算轻量化图像修复方法，其包括以下步骤：

一、构建粗糙网络，粗糙网络通过六层门控卷积和三层空洞门控卷积构建，在训练阶段，首先将输入图像I

二、构建精细网络，精细网络通过六层门控卷积、六层轻量化Inception层次网络与三层空洞门控卷积进行构建，精细网络以上一阶段中粗糙网络的输出作为输入，通过精细网络，最终得出输出I

作为优选，输入图像下采样后降维到512×512分辨率。

作为优选，轻量化Inception层次网络包括Inception轻量化模块，轻量化Inception网络模块以一个1×1的点卷积作为开始，将输入图像的C

作为优选，粗糙网络中，门控卷积在网络的开始阶段和后阶段均为三层，中间三层为空洞门控卷积。

作为优选，精细网络中，从前向后依次为三层门控卷积、三层轻量化Inception层次网络、三层空洞门控卷积、三层轻量化Inception层次网络和三层门控卷积。

本发明具有如下的增益效果：

(1)大量地减少参数与运算数量；

(2)具有模块化与即插即用特性，本网络可以通过扩增与替换绝大多数图像处理人工神经网络中的朴素的3×3传统卷积层设计降低运算量而不具备明显的性能损失。

附图说明

图1为实施例1中一种运算轻量化图像修复方法的流程图；

图2-(a)为实施例1中粗糙网络的示意图；

图2-(b)为实施例1中精细网络的示意图；

图2-(c)为实施例1中Inception轻量化模块的示意图。

具体实施方式

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。

实施例1

如图1所示，本实施例提供了一种运算轻量化图像修复方法，其包括以下步骤：

一、构建粗糙网络，如图2-(a)所示，粗糙网络层通过六层门控卷积层构建，在网络的开始阶段和后阶段均为三层，在训练阶段，首先将输入图像I

二、构建精细网络，如图2-(b)所示，精细网络通过六层门控卷积、六层轻量化Inception层次网络与三层空洞门控卷积进行构建，精细网络以上一阶段中粗糙网络的输出作为输入，通过精细网络，最终得出输出I

如图2-(c)所示，轻量化Inception层次网络包括Inception轻量化模块，轻量化Inception网络模块以一个1×1的点卷积作为开始，将输入图像的C

本实施例大量地减少参数与运算数量：假设处理的图像或特征图的高度与宽度分别为H、W，输入与输出的通道数量分别为C

P＝9C

F＝9C

而应用轻量化Inception模块所运算的参数数量P

P

F

相比于朴素的3×3传统卷积层，应用轻量化Inception模块与原先网络的参数数量与运算数量比例分别为：

以最为简单的C

本实施例具有模块化与即插即用特性，经过实验，本网络可以通过扩增与替换绝大多数图像处理人工神经网络中的朴素的3×3传统卷积层设计降低运算量而不具备明显的性能损失。

L1损失：也称为1-范数误差损失，最小绝对值偏差估计，它是一种将目标值和估计值的绝对差值的总和最小化的方法，设共有n个样本，其中的第i个样本的目标值为T

PatchGAN损失：PatchGAN损失是一种在原始的生成对抗网络(GenerativeAdversial Network)损失基础上改进而来的损失，这两者之间的区别在于，一个朴素的GAN损失把一个图像映射为单个标量进行输出，从而表示一幅图片是“真实”还是“伪造”的，以此提升生成对抗网络生成图片的质量；而PatchGAN把图像映射到一个N×N大小的矩阵X上，矩阵中的每个元素X

Wasserstein判别器：Wasserstein判别器是在原始的生成对抗网络判别器基础上修改得来的，相比于原始的GAN判别器，Wasserstein判别器做出了几点改进：第一，在判别器的最后一层相比于原始GAN判别器去掉了Sigmoid判别函数；第二，不把生成器和判别器的损失取对数函数；第三，每次更新判别器的参数之后把它们的绝对值截断到不超过一个上界C；第四，不使用基于动量的优化算法。

“开端”(Inception)模块：Inception模块是谷歌公司于2014年在GoogleNet人工神经网络中提出的一种分组卷积模块，它在增加网络深度和宽度的同时减少了参数数量。

本实施例的实施步骤如下：

(1)部署Windows训练平台，要求主要软件包为Pytorch 1.7.1、CUDA 10.2，GPU显存大小不小于6GB；

(2)导入Places2数据集，与给定的随机遮罩数据集一同进行训练；

(3)通过测试程序进行测试，验证图像修复效果。

以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。