基于新型重参数化结构的超分网络、方法、装置及设备

技术领域

本申请涉及超分网络推理领域，尤其涉及一种基于新型重参数化结构的超分网络。本申请还涉及一种基于新型重参数化结构的超分方法、装置和设备。

背景技术

图像分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。

但在实际上情况中，受采集设备与环境、网络传输介质与带宽、图像退化模型本身等诸多因素的约束，通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但是由于制造工艺难以大幅改进并且制造成本十分高昂，因此物理上解决图像低分辨率问题往往代价太大。由此，从软件和算法的角度着手，实现图像超分辨率重建的技术成为了图像处理和计算机视觉等多个领域的热点研究课题。

卷积神经网络，由输入层、隐藏层和输出层构成。若以x1,x2表示整个神经网络的输入信号，y1,y2表示整个神经网络的输出信号，bij表示第i层偏置的第j个元素。

比较大的神经元中aij表示它的输入信号，zij表示它的输出信号。将输入信号x1,x2通过如图三层神经网络的推理处理，就可以得到该神经网络的推理结果y1，y2。

为了加快移动端超分网络推理速度，重参数化卷积结构往往会被用于超分网络中，通过在训练过程中使用一个复杂的多分支结构，然后在推理时候简化为简单的3x3的卷积操作，从而在不降低模型表达能力的前提下，降低了模型的计算量并加速了模型的推理速度。但是，现有技术中采用的重参数化结构方案，对于极小超分网络来说，难以达到较强的表达能力。

发明内容

本申请的目的在于克服现有技术中对极小超分网络难以达到较强的表达能力的问题，提供一种基于新型重参数化结构的超分网络。本申请还涉及一种基于新型重参数化结构的超分方法、装置和设备。

本申请提供一种基于新型重参数化结构的超分网络，包括：依次相连的输入图像模块、重参数卷积模块、重组像素模块和输出超分图像模块；

输入图像模块：用于图片输入；

重参数卷积模块：用于图片的超分网络推理，包括训练时结构和推理时结构；推理时结构包括3x3的卷积单元，训练时结构包括依次相连的重参数卷积1单元、重参数卷积2单元和重参数卷积3单元；其中重参数卷积1单元输入通道为1，输出通道为c；重参数卷积3的输入通道为c，输出通道为scale2；

重组像素模块：用于像素重新排布生成超分图像；

输出超分图像模块：用于输出超分图像。

可选的，所述重参数卷积2单元前置的和/或其激活函数后置的，还包括：

设置M组重参数卷积结构，M的取值范围为1到10。

可选的，推理时，激活函数使用LeakyRelu函数；训练时，激活函数为RRelu函数。

可选的，所述新型重参数卷积结构，包括：

增加了两个分支，一个是1x3的卷积分支，另一个是3x1的卷积分支。

可选的，所述重参数卷积模块的递归的层数包括：是0、1或者2。

本申请还提供一种基于新型重参数化结构的超分方法，包括：

图片输入；

图片的超分网络推理；

像素重新排布生成超分图像；

输出超分图像。

可选的，所述图片的格式包括：YUV或者YCbCr格式。

可选的，所以输入图片的尺寸是HxWx1，H为图片的高，W为图片的宽，1表示只有一个通道。

本申请还提供一种基于新型重参数化结构的超分设备，包括：

存储器，用于存储基于新型重参数化结构的超分方法的执行程序；

处理器，用于调入并执行所述存储器中存储的基于新型重参数化结构的超分方法的执行程序，执行：

图片输入；

图片的超分网络推理；

像素重新排布生成超分图像；

输出超分图像；

显示器，用于显示所述超分图像。

本申请还提供一种基于新型重参数化结构的超分装置，所述装置中执行的程序，包含上述基于新型重参数化结构的超分网络。

本申请的优点和有益效果：

本申请提供一种基于新型重参数化结构的超分网络，包括：依次相连的输入图像模块、重参数卷积模块、重组像素模块和输出超分图像模块；输入图像模块：用于图片输入；重参数卷积模块：用于图片的超分网络推理，包括训练时结构和推理时结构；推理时结构包括3x3的卷积单元，训练时结构包括依次相连的重参数卷积1单元、重参数卷积2单元和重参数卷积3单元；其中重参数卷积1单元输入通道为1，输出通道为c；重参数卷积3的输入通道为c，输出通道为scale2；重组像素模块：用于像素重新排布生成超分图像；输出超分图像模块：用于输出超分图像。本申请通过新型重参数卷积模块以及超分模型，采用训练和计算不同的网络，在不增加超分计算复杂度的同时，可以有效提升超分的效果。

附图说明

图1是本申请中基于新型重参数化结构的超分网络结构示意图。

图2是本申请中重参数卷积模块示意图。

图3是本申请中新型重参数卷积模块示意图。

图4是本申请中基于新型重参数化结构的超分方法示意图。

图5是本申请中基于新型重参数化结构的超分设备示意图。

具体实施方式

下面结合附图和具体实施例对本申请作进一步说明，以使本领域的技术人员可以更好地理解本申请并能予以实施。

以下内容均是为了详细说明本申请要保护的技术方案所提供的具体实施过程的示例，但是本申请还可以采用不同于此的描述的其他方式实施，本领域技术人员可以在本申请构思的指引下，采用不同的技术手段实现本申请，因此本申请不受下面具体实施例的限制。

本申请提供一种基于新型重参数化结构的超分网络，包括：依次相连的输入图像模块、重参数卷积模块、重组像素模块和输出超分图像模块；输入图像模块：用于图片输入；重参数卷积模块：用于图片的超分网络推理，包括训练时结构和推理时结构；推理时结构包括3x3的卷积单元，训练时结构包括依次相连的重参数卷积1单元、重参数卷积2单元和重参数卷积3单元；其中重参数卷积1单元输入通道为1，输出通道为c；重参数卷积3的输入通道为c，输出通道为scale2；重组像素模块：用于像素重新排布生成超分图像；输出超分图像模块：用于输出超分图像。本申请通过新型重参数卷积模块以及超分模型，采用训练和计算不同的网络，在不增加超分计算复杂度的同时，可以有效提升超分的效果。

图1是本申请中基于新型重参数化结构的超分网络结构示意图。

请参照图1所示，基于新型重参数化结构的超分网具有五个部分，包括输入图像模块101、重参数卷积模块102、重组像素模块103和输出超分图像模块104，所述重卷积模块重参数卷积1单元、重参数卷积2单元和重参数卷积3单元，每个所述重参数卷积单元通过激活函数与下一层相连。

具体的，所述输入图像模块101、重参数卷积模块102、重组像素模块103和输出超分图像模块104是依次相连的，用于顺序处理数据，完成超分网络推理。

所述输入图像模块101，用于图片输入，所述图片是YUV或者YCbCr格式。

YUV或者YCbCr格式的图片中的Y通道，所以输入图片的尺寸是HxWx1，H为图片的高，W为图片的宽，1表示只有一个通道。

具体的，在YUV空间中，每一个颜色有一个亮度信号Y，和两个色度信号U和V。亮度信号是强度的感觉，它和色度信号断开，这样的话强度就可以在不影响颜色的情况下改变。YUV使用RGB的信息，但它从全彩色图像中产生一个黑白图像，然后提取出三个主要的颜色变成两个额外的信号来描述颜色。把这三个信号组合回来就可以产生一个全彩色图像。

Y通道描述Luma信号，它与亮度信号不同，值的范围介于亮和暗之间。Luma是黑白电视可以看到的信号。U(Cb)和V(Cr)通道从红(U)和蓝(V)中提取亮度值来减少颜色信息量。这些值可以从新组合来决定红，绿和蓝的混合信号。

具体的，YUV或者YCbCr采样格式：主要的采样格式有YCbCr4:2:0、YCbCr4:2:2、YCbCr4:1:1和YCbCr4:4:4。其中YCbCr4:1:1比较常用，其含义为：每个点保存一个8bit的亮度值(也就是Y值)，每2x2个点保存一个Cr和Cb值，图像在肉眼中的感觉不会起太大的变化。所以，原来用RGB(R,G,B都是8bitunsigned)模型，每个点需要8x3=24bits，仅需要8+(8/4)+(8/4)=12bits，平均每个点占12bits，这样就把图像的数据压缩了一半。

进一步的，所述图片还可以做如下处理：

第一步，识别像素相识性，即将两个图片的相同像素位置的像素值进行相减，基于全部像素相减得到的像素值差，计算相似百分比。

第二步，设置相似百分比阈值，当满足所述阈值时，进行如下计算：

其中，P是用于判断的值，所述

当P大于预设判断阈值时，分别判断该像素周边位置的若干个像素值，当所述若干个像素值相同，则排除所述

所述重参数卷积模块102：该模块分为训练时结构和推理时结构。

推理时结构，包括3x3的卷积单元。

训练时结构，该结构可以等效为一个3x3的卷积，在训练时采用的具体结构如图2所示。其中重参数卷积1的输入通道为1，输出通道为c，取值范围为8到32的整数，具体取值根据应用场景决定；重参数卷积3的输入通道为c，输出通道为scale2，其中scale表示超分放大倍数。

如图2所示，需要注意其中的重参数卷积2及其相邻激活函数，其左右两边分别带有一个虚线的箭头，表示中间可能存在M组这样的重参数卷积结构，M的取值范围为1到10，M越大模型复杂度越高，表达能力更强。

但是对应的计算量越大，需要根据终端决定。其中，中间重参数卷积模块102的输入通道和输出通道并不一定保持一样，可以根据需要调整输入输出通道的大小，以便更加匹配终端设备计算能力。

激活函数：激活函数也分为训练时结构和推理时结构。推理时，激活函数使用LeakyRelu函数，而在训练时，激活函数为RRelu函数。

重组像素模块103（PixelShuffle）：一种像素重新排布的方案，例如，要把一张低分辨输入转变为高分辨输出，可以基于特征抽取和亚像素卷积的方法来扩大特征图，将特征图从低分辨空间转换到高分辨空间中去，包括：对图像的特征进行抽取；而后生成r2r^2r2个通道特征图，这里r就是希望上采样的倍数。

本申请中，重组像素模块103的将r2r^2r2个通道的特征图组合为新的w∗r,h∗rw*r,h*rw∗r,h∗r的上采样结果。

具体的，将原来低分辨的像素划分为rr各更小的格子，利用rr个特征图对应位置的值按照一定的规则来填充这些小格子。

按照同样的规则将每个低分辨像素划分出的小格子填满，完成了重组过程。在这一过程中模型可以调整r*r个shuffle通道权重不断优化生成的结果。

输出超分图像模块104：输出超分图像的尺寸为scale*Hxscale*Wx1，其中scale*H为超分之后图像的高，scale*W为超分之后图像的宽，scale为之前提到的超分放大倍数。

图3是本申请中新型重参数卷积模块102示意图。

请参照图3所示，该结构是从图2所示的重参数卷积模块102改进而来，主要改进点为：

新增加了两个分支，一个是1x3的卷积分支和另一个是3x1的卷积分支。

将图2中的3x3的卷积，替换为重参数卷积模块102，也就是说，此处构成了一个递归式的重参数卷积模块102，递归的层数n可以根据需要设置，可以是0、1或者2。

图3中的重参数卷积模块102在推理的时候可以等价为一个3x3的卷积。通过本申请提出的结构重参数化，让训练网络的多路结构中均为3x3的卷积核，同时，计算库，如CuDNN,IntelMKL和硬件针对3x3卷积有深度的优化，最终可以使网络有着高效的推理速率，即TensorRT在构建engine阶段，对模型进行重构，底层也是应用了卷积合并，多分支融合思想，来使得模型最终有着高性能的推理速率。

本申请还提供一种基于新型重参数化结构的超分方法，该方法可以基于上述超分网络，进行超分网络推理。

图4是本申请中基于新型重参数化结构的超分方法示意图，请参照图4所示：

S101图片输入；

S102图片的超分网络推理；

S103像素重新排布生成超分图像；

S104输出超分图像。

在步骤S101中，YUV或者YCbCr格式的图片中的Y通道，所以输入图片的尺寸是HxWx1，H为图片的高，W为图片的宽，1表示只有一个通道。

具体的，在YUV空间中，每一个颜色有一个亮度信号Y，和两个色度信号U和V。亮度信号是强度的感觉，它和色度信号断开，这样的话强度就可以在不影响颜色的情况下改变。YUV使用RGB的信息，但它从全彩色图像中产生一个黑白图像，然后提取出三个主要的颜色变成两个额外的信号来描述颜色。把这三个信号组合回来就可以产生一个全彩色图像。

Y通道描述Luma信号，它与亮度信号不同，值的范围介于亮和暗之间。Luma是黑白电视可以看到的信号。U(Cb)和V(Cr)通道从红(U)和蓝(V)中提取亮度值来减少颜色信息量。这些值可以从新组合来决定红，绿和蓝的混合信号。

具体的，YUV或者YCbCr采样格式：主要的采样格式有YCbCr4:2:0、YCbCr4:2:2、YCbCr4:1:1和YCbCr4:4:4。其中YCbCr4:1:1比较常用，其含义为：每个点保存一个8bit的亮度值(也就是Y值),每2x2个点保存一个Cr和Cb值,图像在肉眼中的感觉不会起太大的变化。所以，原来用RGB(R，G，B都是8bitunsigned)模型，每个点需要8x3=24bits，仅需要8+(8/4)+(8/4)=12bits，平均每个点占12bits。这样就把图像的数据压缩了一半。

在步骤S102中，基于超分网络进行超分网络推理，所述超分网络包括训练和计算两个过程，采用不同的网络结构。

推理时结构，包括3x3的卷积单元。

训练时结构，该结构可以等效为一个3x3的卷积，在训练时采用的具体结构如图2所示。其中重参数卷积1的输入通道为1，输出通道为c，取值范围为8到32的整数，具体取值根据应用场景决定；重参数卷积3的输入通道为c，输出通道为scale2，其中scale表示超分放大倍数。

如图2所示，需要注意其中的重参数卷积2及其相邻激活函数，其左右两边分别带有一个虚线的箭头，表示中间可能存在M组这样的重参数卷积结构，M的取值范围为1到10，M越大模型复杂度越高，表达能力更强，但是对应的计算量越大，需要根据终端决定。其中，中间模块的输入通道和输出通道并不一定保持一样，可以根据需要调整输入输出通道的大小，以便更加匹配终端设备计算能力。

激活函数：激活函数也分为训练时结构和推理时结构。推理时，激活函数使用LeakyRelu函数，而在训练时，激活函数为RRelu函数。

在步骤S103中，图片低分辨输入转变为高分辨输出，可以基于特征抽取和亚像素卷积的方法来扩大特征图，将特征图从低分辨空间转换到高分辨空间中去，包括：对图像的特征进行抽取；而后生成r2r^2r2个通道特征图，这里r就是希望上采样的倍数。

本申请中，重组像素模块103的将r2r^2r2个通道的特征图组合为新的w∗r,h∗rw*r,h*rw∗r,h∗r的上采样结果。

具体的，将原来低分辨的像素划分为rr各更小的格子，利用rr个特征图对应位置的值按照一定的规则来填充这些小格子。

按照同样的规则将每个低分辨像素划分出的小格子填满，完成了重组过程。在这一过程中模型可以调整r*r个shuffle通道权重不断优化生成的结果。

在步骤S104中，输出超分图像的尺寸为scale*Hxscale*Wx1，其中scale*H为超分之后图像的高，scale*W为超分之后图像的宽，scale为之前提到的超分放大倍数。

本申请还提供一种基于新型重参数化结构的超分设备，如图4所示，包括：

存储器301，用于存储基于新型重参数化结构的超分方法的执行程序；

处理器302，用于调入并执行所述存储器中存储的基于新型重参数化结构的超分方法的执行程序，执行：

图片输入；所述图片的格式包括：YUV或者YCbCr格式。

所以输入图片的尺寸是HxWx1，H为图片的高，W为图片的宽，1表示只有一个通道。

图片的超分网络推理；

像素重新排布生成超分图像；

输出超分图像；

显示器303，用于显示所述超分图像。

本申请还提供一种基于新型重参数化结构的超分装置，所述装置中执行的程序，包含上述基于新型重参数化结构的超分网络。

请参照图1所示，基于新型重参数化结构的超分网具有三个部分，包括输入图像模块101、重参数卷积模块102、重组像素模块103和输出超分图像模块104，所述重卷积模块重参数卷积1单元、重参数卷积2单元和重参数卷积3单元，每个所述重参数卷积单元通过激活函数与下一层相连。

具体的，所述输入图像模块101、重参数卷积模块102、重组像素模块103和输出超分图像模块104是依次相连的，用于顺序处理数据，完成超分网络推理。

基于本申请提出的神经网络、模型、方法、装置以及设备，运行基于新型重参数卷积模块102以及超分模型，该模型的神经网络在训练时与推理时采用不同的结构，在训练时的新型重参数卷积，可以将帮助提高模型形成更加优秀的参数，实现在推理时不增加超分计算复杂度的同时，有效提升超分的效果。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。