超分辨率网络训练方法、数字变焦方法、装置及电子设备

技术领域

本申请涉及计算机视觉领域，具体涉及超分辨率网络训练方法、数字变焦方法、装置及电子设备。

背景技术

数字变焦是对图像中的目标物体进行放大和提升清晰度的处理，以得到包括更大并且更清晰的目标物体的超分辨率图像的技术。

目前，已经存在利用神经网络进行数字变焦的技术。用于数字变焦的超分辨率神经网络的性能依赖于超分辨率神经网络能否得到充分的训练。如何获取大量的用于训练超分辨率神经网络的训练图像样本对，对超分辨率神经网络进行充分地训练，利用经过训练的超分辨率神经网络进行数字变焦成为一个需要解决的问题。

发明内容

为克服相关技术中存在的问题，本申请提供一种超分辨率网络训练方法、数字变焦方法、装置及电子设备。

根据本申请实施例的第一方面，提供一种超分辨率网络训练方法，包括：

控制相机朝向目标物体移动，其中，相机在移动过程中持续地采集包括目标物体的训练图像；

从所述相机采集的多个训练图像中确定超分辨率网络的多个训练图像对，其中，每个训练图像对包括第一训练图像和第二训练图像，所述第二训练图像对应的分辨率与所述第一训练图像对应的分辨率的比值等于常数值；

根据所述多个训练图像对训练所述超分辨率网络。

根据本申请实施例的第二方面，提供一种数字变焦方法，包括：

获取待处理图像和待变焦倍数；

根据待变焦倍数确定多个超分辨率网络中的目标超分辨率网络,以及利用所述目标超分辨率网络对待处理图像进行变焦处理，得到待处理图像对应的超分辨率图像；

其中，多个超分辨率网络中的每一个超分辨率网络根据本申请提供的超分辨率网络训练方法预先训练得到。

根据本申请实施例的第三方面，提供一种超分辨率网络训练装置，包括：

控制单元，被配置为控制相机朝向目标物体移动，其中，相机在移动过程中持续地采集包括目标物体的训练图像；

确定单元，被配置为从所述相机采集的多个训练图像中确定超分辨率网络的多个训练图像对，其中，每个训练图像对包括第一训练图像和第二训练图像，所述第二训练图像对应的分辨率与所述第一训练图像对应的分辨率的比值等于常数值；

训练单元，被配置为根据所述多个训练图像对训练所述超分辨率网络。

根据本申请实施例的第四方面，提供一种数字变焦装置，包括：

获取单元，被配置为获取待处理图像和待变焦倍数；

变焦单元，被配置为根据待变焦倍数确定多个超分辨率网络中的目标超分辨率网络,以及利用所述目标超分辨率网络对待处理图像进行变焦处理，得到待处理图像对应的超分辨率图像；其中，多个超分辨率网络中的每一个超分辨率网络根据上述超分辨率网络训练方法预先训练得到。

本申请实施例提供的超分辨率网络训练方法、数字变焦方法、装置，实现了控制相机朝向目标物体移动，以模拟相机的变焦过程采集训练图像，对于任意一个超分辨率网络，均可以灵活地根据对应的分辨率之间的关系，组成用于对该超分辨率网络进行训练的大量的训练图像对，对任意一个超分辨率网络，利用用于对该超分辨率网络进行训练的大量的训练图像对该超分辨率网络进行充分地训练。针对任意一个待处理图像，均可以利用相应的经过训练的超分辨率网络对待处理图像进行相应的变焦倍数的变焦，得到相应的超分辨率图像。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1示出了本申请实施例提供的超分辨率网络训练的流程图；

图2示出了控制移动终端朝向目标物体移动以采集训练图像的效果示意图；

图3示出了本申请实施例提供的数字变焦方法的流程图；

图4示出了本申请实施例提供的超分辨率网络训练装置的结构框图；

图5示出了本申请实施例提供的数字变焦装置的结构框图；

图6示出了本申请实施例提供的电子设备的结构框图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请实施例提供的数字变焦方法的流程图，该方法包括：

步骤101，控制相机朝向目标物体移动。

在本申请中，可以将目标物体垂直放置，控制相机在水平方向上朝向目标物体移动。相机在采集每一个训练图像时相机的光轴基本重合。相机在朝向目标物体移动过程中持续地采集包括目标物体的训练图像。每一个训练图像包括同一目标物体。

在本申请中，可以将目标物体放置在周围没有其他物体的环境中，每一个训练图像中均由包括目标物体的像素和背景像素组成。

在本申请中，控制相机朝向目标物体移动可以相当于模拟相机的变焦过程。相机距离目标物体越近即训练图像的采集位置与目标物体的距离越近，采集的训练图像中的目标物体越清晰，采集的训练图像中的属于目标物体的像素的数量越多。

在一些实施例中，相机设置在移动终端上；以及控制相机朝向目标物体移动包括：控制相机设置在的移动终端沿滑轨朝向目标物体移动。

图2示出了控制移动终端朝向目标物体移动以采集训练图像的效果示意图。

目标物体为一颗树。手机上的摄像头可以正对目标物体。手机位于滑轨上，控制移动终端沿滑轨朝向目标物体移动，手机上的相机也朝向目标物体移动。控制手机相机朝向目标物体移动，手机上的相机也朝向目标物体移动可以相当于模拟相机的变焦过程。

控制手机相机朝向目标物体移动的移动过程中，在与目标物体的距离较远的采集位置，采集到低分图像即对应的分辨率较低的训练图像。在对应的分辨率较低的训练图像中，目标物体的像素的尺寸较小，目标物体的像素的数量较少，目标物体的清晰度较低。在与目标物体的距离较近的采集位置，采集到高分图像即对应的分辨率较高的训练图像。在对应的分辨率较高的训练图像中，目标物体的像素的尺寸较大，目标物体的像素的数量较多，目标物体的清晰度较高。

步骤102，从相机采集的多个训练图像中确定超分辨率网络的多个训练图像对。

在本申请中，超分辨率网络(supper-resolution net)用于增加图像中的物体的分辨率的神经网络。超分辨率网络的类型可以为SRNet网络。

在本申请中，对于每一个训练图像，该训练图像对应的分辨率可以是指该训练图像中的属于目标物体的像素的数量。

换言之，对于每一个训练图像，该训练图像对应的分辨率可以是指在该训练图像中目标物体占据的区域的图像的分辨率。

在本申请中，可以训练多个不同的超分辨率网络。步骤101-103为示例性地确定一个超分辨率网络多个训练图像对，利用一个超分辨率网络多个训练图像对训练一个超分辨率网络的步骤。

在一些实施例中，步骤101-103针对的超分辨率网络为多个需要训练的超分辨率网络中的一个超分辨率网络。对于每一个需要训练的超分辨率网络，该需要训练的超分辨率网络对应的比值与任意一个其他的需要训练的超分辨率网络对应的比值不同，以使得在训练完成之后该需要训练的超分辨率网络的变焦倍数与任意一个其他的需要训练的超分辨率网络的变焦倍数不同，该需要训练的超分辨率网络对应的比值为该需要训练的超分辨率网络的训练图像对中的第二训练图像对应的分辨率与该训练图像对中的第一训练图像对应的分辨率的比值。

当训练多个不同的超分辨率网络时，每一个超分辨率网络均为需要训练的超分辨率网络。对于每一个需要训练的超分辨率网络，该需要训练的超分辨率网络对应的比值与任意一个其他的需要训练的超分辨率网络对应的比值不同。

例如，第1个需要训练的超分辨率网络对应的比值为2，即第1个需要训练的超分辨率网络的训练图像对中的第二训练图像对应的分辨率与该训练图像对中的第一训练图像对应的分辨率的比值为2，则训练完成之后即利用第1个需要训练的超分辨率网络的每一个训练图像对分别对第1个需要训练的超分辨率网络进行训练之后，第1个需要训练的超分辨率网络的变焦倍数为2x。

第2个需要训练的超分辨率网络对应的比值为4，即第2个需要训练的超分辨率网络的训练图像对中的第二训练图像对应的分辨率与该训练图像对中的第一训练图像对应的分辨率的比值为4，则训练完成之后即利用第2个需要训练的超分辨率网络的每一个训练图像对分别对第2个需要训练的超分辨率网络进行训练之后，第2个需要训练的超分辨率网络的变焦倍数为4x。

第3个需要训练的超分辨率网络对应的比值为8，即第3个需要训练的超分辨率网络的训练图像对中的第二训练图像对应的分辨率与该训练图像对中的第一训练图像对应的分辨率的比值为8，则训练完成之后即利用第3个需要训练的超分辨率网络的每一个训练图像对分别对第3个需要训练的超分辨率网络进行训练之后，第3个需要训练的超分辨率网络的变焦倍数为8x。

变焦倍数为2x倍的超分辨率网络用于将目标物体的像素的数量增加至原来的2倍。变焦倍数为4x倍的超分辨率网络用于将目标物体的像素的数量增加至原来的4倍。变焦倍数为8x倍的超分辨率网络用于将目标物体的像素的数量增加至原来的8倍。

在本申请中，训练图像对包括：第一训练图像、第二训练图像。

第二训练图像对应的分辨率与第一训练图像对应的分辨率的比值可以为第二训练图像对应的分辨率除以第一训练图像对应的分辨率的商。第二训练图像对应的分辨率与第一训练图像对应的分辨率的比值等于常数值，该常数值为该超分辨率网络的变焦倍数。

对于每一个训练图像对，该训练图像对中的第一训练图像为相对于第二训练图像的分辨率低的训练图像，该训练图像对中的第二训练图像为相对于第一训练图像的分辨率高的训练图像。换言之，该训练图像对中的第二训练图像对应的分辨率大于该训练图像对中的第一训练图像对应的分辨率。

例如，对于变焦倍数为2x的超分辨率网络，训练图像1中的属于目标物体的像素的数量为N个，训练图像2中的属于目标物体的像素的数量为2N个，训练图像3中的属于目标物体的像素的数量为4N个。

训练图像1与训练图像2组成变焦倍数为2x的超分辨率网络的一个训练图像对。在训练图像1与训练图像2组成的变焦倍数为2x的超分辨率网络的训练图像对中，训练图像1为该训练图像对中的第一训练图像，训练图像2为该训练图像对中的第二训练图像。

训练图像2与训练图像3组成变焦倍数为2x的超分辨率网络的另一个训练图像对。在训练图像2与训练图像3组成的变焦倍数为2x的超分辨率网络的训练图像对中，训练图像2为该训练图像对中的第一训练图像，训练图像3为该训练图像对中的第二训练图像。

在本申请中，当训练多个不同的超分辨率网络时，对于每一个超分辨率网络，均可以从相机采集的多个训练图像中选择出该超分辨率网络的多个训练图像对。

例如，对于变焦倍数为2x的超分辨率网络的每一个训练图像对，该训练图像对中的第一训练图像对应的分辨率为第二训练图像对应的分辨率的1/2，即该训练图像对中的第一训练图像中的属于目标物体的像素的数量为该训练图像对中的第二训练图像中的属于目标物体的像素的数量的1/2。

例如，对于变焦倍数为4x的超分辨率网络的每一个训练图像对，该训练图像对中的第一训练图像对应的分辨率为第二训练图像对应的分辨率的1/4，即该训练图像对中的第一训练图像中的属于目标物体的像素的数量为该训练图像对中的第二训练图像中的属于目标物体的像素的数量的1/4。

例如，对于变焦倍数为8x的超分辨率网络的每一个训练图像对，该训练图像对中的第一训练图像对应的分辨率为第二训练图像对应的分辨率的1/8，即该训练图像对中的第一训练图像中的属于目标物体的像素的数量为该训练图像对中的第二训练图像中的属于目标物体的像素的数量的1/8。

在本申请中，可以首先确定一个基准位置，将在基准位置采集的训练图像作为基准训练图像。例如，将相机移动的起始时刻相机的位置确定为基准位置。然后，从相机在移动过程中采集的多个图像中查找出对应的分辨率与基准训练图像对应的分辨率之间的比值等于变焦倍数的训练图像。

以下举例说明查找变焦倍数为2x的超分辨率网络的训练图像对的过程：

对于变焦倍数为2x的超分辨率网络，从相机在移动过程中采集的多个图像中查找出对应的分辨率与基准训练图像对应的分辨率的比值等于2x的训练图像。换言之，从相机在移动过程中采集的多个图像中查找出包括的目标物体的像素的数量为基准训练图像中的目标物体的像素的数量的2倍的训练图像。

根据基准位置、包括的目标物体的像素的数量为基准训练图像中的目标物体的像素的数量的2倍的训练图像的采集位置，可以确定在两个训练图像中的对应的分辨率高的训练图像对应的分辨率与对应的分辨率低的训练图像对应的分辨率的比值为2倍时，采集的两个训练图像的采集位置之间的距离。

换言之，可以确定采集的两个训练图像的采集位置之间的距离为多大时，采用的两个训练图像中的对应的分辨率高的训练图像对应的分辨率与对应的分辨率低的训练图像对应的分辨率的比值为2倍。

对于变焦倍数为2x的超分辨率网络，每一次选择出一个新的训练图像作为用于对变焦倍数为2x的超分辨率网络进行训练的训练图像时，可以根据在两个训练图像中的对应的分辨率高的训练图像对应的分辨率与对应的分辨率低的训练图像对应的分辨率的比值为2倍时，采集的两个训练图像的采集位置之间的距离，确定对应的分辨率与该新的训练图像对应的分辨率的比值为2的训练图像的采集位置，从而，确定多个训练图像中的对应的分辨率大于该新的训练图像对应的分辨率，与该新的训练图像对应的分辨率的比值为2的训练图像。多个训练图像中的对应的分辨率与该新的训练图像对应的分辨率的比值为2的训练图像与该新的训练图像组成变焦倍数为2x的超分辨率网络的一个训练图像对。

与查找变焦倍数为2x的超分辨率网络的训练图像对的过程同理，可以查找出变焦倍数为4x的超分辨率网络、变焦倍数为8x的超分辨率网络等超分辨率网络的训练图像对。

在本申请中，对于每一个训练图像，可以通过抠图方式从该训练图像中提取目标物体子图像，目标物体子图像包括：目标物体的所有像素。目标物体子图像还可能包括极少量的背景像素。对于每一个训练图像，也可以利用用于目标检测的神经网络检测出该训练图像中的目标物体，目标物体的包围框占据的区域的图像为目标物体子图像，从训练图像中提取出目标物体子图像。

对于两个训练图像，可以直接将从两个训练图像中的对应的分辨率高的训练图像中提取的目标物体子图像的尺寸与从两个训练图像中的对应的分辨率低的训练图像中提取的目标物体子图像的尺寸之间的比值作为两个训练图像中的对应的分辨率高的训练图像对应的分辨率与两个训练图像中的对应的分辨率低的训练图像对应的分辨率的比值。

在本申请中，对于两个训练图像，也可以对于两个训练图像中的分辨率低的训练图像和分辨率高的训练图像，确定对应的分辨率低的训练图像中的目标物体的多个SIFT特征点和对应的分辨率高的训练图像中的目标物体的多个SIFT特征点。对于对应的分辨率低的训练图像中的目标物体的每一个SIFT特征点，可以计算该SIFT特征点在X方向上的位置到在对应的分辨率低的训练图像中建立的坐标系的X轴的距离与对应的分辨率高的训练图像的目标物体的与该SIFT特征点匹配的特征点在X方向上的位置到在对应的分辨率高的训练图像中建立的坐标系的X轴的距离之间的比值。可以将计算出的所有比值中的中位数、所有比值的平均值、所有比值中的为整数的比值中的一个作为与X方向相关的放大比值。同理，计算出与Y方向相关的放大比值。然后，可以将与X方向相关的放大比值和与Y方向相关的放大比值的乘积作为两个训练图像中的对应的分辨率高的训练图像对应的分辨率与两个训练图像中的对应的分辨率低的训练图像对应的分辨率的比值。

在一些实施例中，对于任意一个超分辨率网络，从相机采集的多个训练图像中确定该超分辨率网络的多个训练图像对包括：从相机采集的多个训练图像中选择出一组训练图像；对于该超分辨率网络，按照训练图像对应的分辨率之间的比值，对该一组训练图像中的训练图像进行组合，得到该超分辨率网络的多个训练图像对。

从相机采集的多个训练图像中选择出一组训练图像时，可以初步查找出多个序列。对于每一个序列，该序列包括：该序列中的单倍分辨率训练图像、该序列中的2倍分辨率训练图像、该序列中的4倍分辨率训练图像、该序列中的8倍分辨率训练图像等。

对于初步查找出的每一个序列，可以从相机采集的多个训练图像中选择出一个训练图像作为该序列中的单倍分辨率训练图像。每一个该序列的单倍分辨率训练图像不同。对于初步查找出的每一个序列，该序列中的2倍分辨率训练图像对应的分辨率为该序列的单倍分辨率训练图像对应的分辨率的2倍。对于初步查找出的每一个序列，该序列中的4倍分辨率训练图像对应的分辨率为该序列的单倍分辨率训练图像对应的分辨率的4倍。对于初步查找出的每一个序列，该序列中的8倍分辨率训练图像对应的分辨率为该序列的单倍分辨率训练图像对应的分辨率的8倍。

对于初步查找出的每一个序列，均可以该序列中的2倍分辨率训练图像、4倍分辨率训练图像、8倍分辨率训练图像分别可以作为新的序列中的单倍分辨率训练图像，从而，继续查找出新的序列。每一个产生一个新的序列，均可以以新的序列中的2倍分辨率训练图像、4倍分辨率训练图像、8倍分辨率训练图像作为新的单倍分辨率训练图像，再次查找出新的序列。

最后，可以将查找出的所有序列组合聚合为一组训练图像。

在查找出一组训练图像之后，按照训练图像对应的分辨率之间的比值，对一组训练图像中的训练图像进行组合，得到多个训练图像对。

对于变焦倍数为2x的超分辨率网络，一组训练图像中的每两个对应的分辨率的比值等于2的训练图像均可以组成变焦倍数为2x的超分辨率网络的训练图像对，从而，得到变焦倍数为2x的超分辨率网络的多个训练图像对。

对于变焦倍数为4x的超分辨率网络，一组训练图像中的每两个对应的分辨率的比值等于4的训练图像均可以组成变焦倍数为4x的超分辨率网络的训练图像对，从而，得到变焦倍数为4x的超分辨率网络的多个训练图像对。

对于变焦倍数为8x的超分辨率网络，一组训练图像中的每两个对应的分辨率的比值等于8的训练图像均可以组成变焦倍数为8x的超分辨率网络的训练图像对，从而，得到变焦倍数为8x的超分辨率网络的多个训练图像对。

步骤103，根据该超分辨率网络的多个训练图像对训练该超分辨率网络。

在本申请中，对于一个超分辨率网络，每一次利用该超分辨率网络的一个训练图像对训练该超分辨率网络。每一次对该超分辨率网络进行训练利用的训练图像对不同。

对于一个超分辨率网络，每一次利用该超分辨率网络的一个训练图像对训练该超分辨率网络时，对于该训练图像对中的每一个训练图像，可以通过抠图方式从该该训练图像中提取目标物体子图像。目标物体子图像包括：目标物体的所有像素。目标物体子图像还可能包括极少量的背景像素。

对于一个超分辨率网络，每一次利用该超分辨率网络的一个训练图像对训练该超分辨率网络时，将从该超分辨率网络的训练图像对中的第一训练图像中提取的目标物体子图像作为超分辨率网络的输入，将从该超分辨率网络的训练图像对中的第二训练图像的目标物体对象子图像作为该超分辨率网络的目标输出。

对于一个超分辨率网络，每一次利用该超分辨率网络的一个训练图像对训练该超分辨率网络时，该超分辨率网络基于从该超分辨率网络的训练图像对中的第一训练图像中提取的目标物体子图像，生成预测超分辨率图像。

生成的预测超分辨率图像包括目标物体。预测超分辨率图像还可能包括极少量的背景像素。预测超分辨率图像的尺寸大于该超分辨率网络的训练图像对中的第一训练图像的尺寸。

预测超分辨率图像中的目标物体的尺寸大于从该超分辨率网络的训练图像对中的第一训练图像中提取的目标物体子图像中的目标物体的尺寸。预测超分辨率图像中的目标物体的像素的数量多于从该超分辨率网络的训练图像对中的第一训练图像中提取的目标物体子图像中的目标物体的像素的数量。

对于一个超分辨率网络，每一次利用该超分辨率网络的一个训练图像对训练该超分辨率网络时，计算生成的预测超分辨率图像与该超分辨率网络的目标输出之间的损失，例如，计算预测超分辨率图像与该超分辨率网络的目标输出之间的CoBi损失。然后，根据生成的预测超分辨率图像与该超分辨率网络的目标输出之间的损失，更新该超分辨率网络的参数的参数值。

以下举例说明对变焦倍数为2x的超分辨率网络的训练过程，其他变焦倍数为2x的超分辨率网络的训练过程参考该过程：

对于变焦倍数为2x的超分辨率网络的每一个训练图像对，该训练图像对中的第一训练图像对应的分辨率为第二训练图像对应的分辨率的1/2。

每一次对变焦倍数为2x的超分辨率网络进行训练，利用一个训练图像对变焦倍数为2x的超分辨率网络进行训练。每一次对变焦倍数为2x的超分辨率网络进行训练利用的训练图像对不同。

在每一次对变焦倍数为2x的超分辨率网络的训练中，从本次训练利用的训练图像对中的第一训练图像中提取的目标物体子图像作为变焦倍数为2x的超分辨率网络的输入，从本次利用的训练图像对中的第二训练图像中提取的目标物体子图像作为变焦倍数为2x的超分辨率网络的目标输出。

在每一次对变焦倍数为2x的超分辨率网络的训练中，在将从本次训练利用的训练图像对中的第一训练图像中提取的目标物体子图像输入到变焦倍数为2x的超分辨率网络之后，变焦倍数为2x的超分辨率网络生成预测超分辨率图像。

在每一次对变焦倍数为2x的超分辨率网络的训练中，计算生成的预测超分辨率图像与该超分辨率网络的目标输出之间的损失。然后，根据生成的预测超分辨率图像与该超分辨率网络的目标输出之间的损失，更新变焦倍数为2x的超分辨率网络的参数的参数值。

在一些实施例中，对于任意一个超分辨率网络，根据该超分辨率网络的多个训练图像对训练该超分辨率网络包括：对于该超分辨率网络的多个训练图像对中的每一个训练图像对，将从该超分辨率网络的该训练图像对中的第一训练图像中提取的目标物体子图像作为该超分辨率网络的输入，以及将从该训练图像对中的第二训练图像中提取的目标物体子图像作为该超分辨率网络的目标输出；该超分辨率网络基于从该超分辨率网络的训练图像对中的第一训练图像中提取的目标物体子图像，生成预测超分辨率图像；利用第一预设损失函数计算该预测超分辨率图像与该超分辨率网络的目标输出之间的第一损失和/或利用第二预设损失函数计算该预测超分辨率图像与该超分辨率网络的目标输出之间的第二损失；基于该第一损失和/或该第二损失，计算总损失；基于该总损失，更新该超分辨率网络的参数的参数值。

当仅基于该第一损失计算总损失时，可以直接将该第一损失作为总损失。当仅基于该第二损失计算总损失时，可以直接将该第二损失作为总损失。当基于该第一损失和该第二损失计算总损失时，可以计算该第一损失与第二损失的和或者该第一损失与第二损失的加权和，得到总损失。

第一预设损失函数可以为CoBi损失函数，生成的预测超分辨率图像与超分辨率网络的目标输出之间的第一损失可以为CoBi损失，可以利用CoBi损失函数计算生成的预测超分辨率图像与超分辨率网络的目标输出之间的CoBi损失。

第二预设损失函数可以为GAN损失函数，生成的预测超分辨率图像与该超分辨率网络的目标输出之间的第二损失可以为GAN损失。可以利用GAN损失函数计算生成的预测超分辨率图像与超分辨率网络的目标输出之间的GAN损失。

对于任意一个超分辨率网络，每一次利用该超分辨率网络的一个训练图像对训练该超分辨率网络时，计算生成的预测超分辨率图像与该超分辨率网络的目标输出之间的CoBi损失和/或预测超分辨率图像与该超分辨率网络的目标输出之间的GAN损失。然后，基于CoBi损失和/或GAN损失，计算总损失。基于总损失，更新该超分辨率网络的参数的参数值。

图3示出了本申请实施例提供的数字变焦方法的流程图，该方法包括：

步骤301，获取待处理图像和待变焦倍数。

在本申请中，待处理图像为需要放大的物体的图像。待处理图像来自包括需要放大的物体但需要放大的物体尺寸较小并且清晰度较低的原始图像。当需要得到放大的并且更加清楚的物体的图像时，可以首先通过诸如抠图的方式从原始图像中提取待处理图像。提取图像中的物体的图像的方式可以参考上述从训练图像中提取目标物体的图像的方式。

步骤302，根据待变焦倍数确定多个超分辨率网络中的目标超分辨率网络,以及利用目标超分辨率网络对待处理图像进行变焦处理，得到待处理图像对应的超分辨率图像。

在本申请中，多个超分辨率网络中的每一个超分辨率网络均预先分别通过本申请提供的超分辨率网络训练方法进行训练。

例如，多个超分辨率网络包括变焦倍数为2x的超分辨率网络、变焦倍数为4x的超分辨率网络、变焦倍数为8x的超分辨率网络。预先通过本申请提供的超分辨率网络训练方法，分别获取相应的训练图像对，对变焦倍数为2x的超分辨率网络、变焦倍数为4x的超分辨率网络、变焦倍数为8x的超分辨率网络进行训练。

在本申请中，可以利用目标超分辨率网络对待处理图像进行数字变焦，得到待处理图像对应的超分辨率图像。待处理图像对应的超分辨率图像也可称之为需要放大的物体的超分辨率图像。

待处理图像对应的超分辨率图像包括需要放大的物体的所有像素。待处理图像对应的超分辨率图像还可能包括极少量的背景像素。

待处理图像对应的超分辨率图像中的需要放大的物体的像素的数量为待处理图像中的需要放大的物体的像素的数量的待变焦倍数。

待处理图像对应的超分辨率图像中的需要放大的物体的尺寸为待处理图像中的该需要放大的物体的尺寸的待变焦倍数。

例如，需要对原始图像中的需要放大的物体放大2倍，待变焦倍数为2倍，采用抠图的方式从原始图像中提取待处理图像即提取该需要放大的物体的图像。将提取的待处理图像输入到变焦倍数为2x的超分辨率，得到变焦倍数为2x的超分辨率输出的该待处理图像对应的超分辨率图像。待处理图像对应的超分辨率图像中的需要放大的物体的像素的数量为待处理图像中的需要放大的物体的像素的数量的2倍。待处理图像对应的超分辨率图像中的需要放大的物体的尺寸为待处理图像中的该需要放大的物体的尺寸的2倍。

在本申请中，在多个超分辨率网络中包括具有的变焦倍数为待变焦倍数的超分辨率网络时，则将多个超分辨率网络中的具有的变焦倍数为待变焦倍数的超分辨率网络作为目标超分辨率网络。

在多个超分辨率网络中未包括具有的变焦倍数为待变焦倍数的超分辨率网络时，可以将具有的变焦倍数大于待变焦倍数中的与待变焦倍数的差异量最小的超分辨率网络作为目标超分辨率网络。

在一些实施例中，多个超分辨率网络未包括变焦倍数为待变焦倍数的超分辨率网络；根据待变焦倍数确定多个超分辨率网络中的目标超分辨率网络,以及利用所述目标超分辨率网络对待处理图像进行变焦处理，得到待处理图像对应的超分辨率图像包括：将多个超分辨率网络中的具有的变焦倍数小于待变焦倍数的一个超分辨率网络确定为目标超分辨率网络；将待处理图像输入到目标超分辨率网络，得到目标超分辨率网络输出的初步变焦图像；对初步变焦图像进行插值处理，得到待处理图像对应的超分辨率图像。

在多个超分辨率网络未包括变焦倍数为待变焦倍数的超分辨率网络时，可以将多个超分辨率网络中的具有的变焦倍数小于待变焦倍数的一个超分辨率网络确定为目标超分辨率网络。

若多个超分辨率网络仅包括一个具有的变焦倍数小于待变焦倍数的超分辨率网络，则将该具有的变焦倍数小于待变焦倍数的超分辨率网络作为目标超分辨率网络。

若多个超分辨率网络包括多个具有的变焦倍数小于待变焦倍数的超分辨率网络，则将多个具有的变焦倍数小于待变焦倍数的超分辨率网络中的与待变焦倍数的差异量最小的超分辨率网络作为目标超分辨率网络。

例如，多个超分辨率网络包括变焦倍数为2x的超分辨率网络、变焦倍数为4x的超分辨率网络、变焦倍数为8x的超分辨率网络。待变焦倍数为5.3x，可以将变焦倍数为4x的超分辨率网络作为目标超分辨率网络。

将待处理图像输入到目标超分辨率网络，得到目标超分辨率网络输出的初步变焦图像。初步变焦图像中的需要放大的物体的像素的数量为待处理图像中的需要放大的物体的像素的数量的4倍。初步变焦图像对中的需要放大的物体的尺寸为待处理图像中的该需要放大的物体的尺寸的4倍。

然后，对该初步变焦图像进行插值处理，得到待处理图像对应的超分辨率图像，完成数字变焦。待处理图像对应的超分辨率图像中的需要放大的物体的像素的数量为待处理图像中的需要放大的物体的像素的数量的5.3倍。待处理图像对应的超分辨率图像中的需要放大的物体的尺寸为待处理图像中的该需要放大的物体的尺寸的5.3倍。

请参考图4，其示出了本申请实施例提供的超分辨率网络训练装置的结构框图。超分辨率网络训练装置包括：控制单元401，确定单元402，训练单元403。

控制单元401被配置为控制相机朝向目标物体移动，其中，相机在移动过程中持续地采集包括目标物体的训练图像；

确定单元402被配置为从所述相机采集的多个训练图像中确定超分辨率网络的多个训练图像对，其中，每个训练图像对包括第一训练图像和第二训练图像，所述第二训练图像对应的分辨率与所述第一训练图像对应的分辨率的比值等于常数值；

训练单元403被配置为根据所述多个训练图像对训练所述超分辨率网络。

在一些实施例中，确定单元402包括：

组合获取子单元，被配置为从所述相机采集的多个训练图像中选择出一组训练图像；按照训练图像对应的分辨率之间的比值，对所述一组训练图像中的训练图像进行组合，得到所述超分辨率网络的多个训练图像对。

在一些实施例中，所述相机设置在移动终端上；控制单元301包括：

移动终端移动控制子单元，被配置为控制所述移动终端沿滑轨朝向目标物体移动。

在一些实施例中，训练单元403包括：

多损失训练子单元，被配置为对于所述多个训练图像对中的每一个训练图像对，将从所述训练图像对中的第一训练图像中提取的目标物体子图像作为所述超分辨率网络的输入，以及将从所述训练图像对中的第二训练图像中提取的目标物体子图像作为所述超分辨率网络的目标输出；所述超分辨率网络基于所述输入，生成预测超分辨率图像；利用第一预设损失函数计算所述预测超分辨率图像与所述超分辨率网络的目标输出之间的第一损失，和/或利用第二预设损失函数计算所述预测超分辨率图像与所述超分辨率网络的目标输出之间的第二损失；基于所述第一损失和/或所述第二损失，计算总损失；基于所述总损失，更新所述超分辨率网络的参数的参数值。

在一些实施例中，所述超分辨率网络为多个需要训练的超分辨率网络中的一个超分辨率网络，对于每一个需要训练的超分辨率网络，所述需要训练的超分辨率网络对应的比值与任意一个其他的需要训练的超分辨率网络对应的比值不同，以使得在训练完成之后所述需要训练的超分辨率网络的变焦倍数与任意一个其他的需要训练的超分辨率网络的变焦倍数不同，所述需要训练的超分辨率网络对应的比值为所述需要训练的超分辨率网络的训练图像对中的第二训练图像对应的分辨率与第一训练图像对应的分辨率的比值。

请参考图5，其示出了本申请实施例提供的数字变焦装置的结构框图。数字变焦装置包括：获取单元501，变焦单元502。

获取单元501被配置为获取待处理图像和待变焦倍数；

变焦单元502被配置为根据待变焦倍数确定多个超分辨率网络中的目标超分辨率网络,以及利用所述目标超分辨率网络对待处理图像进行变焦处理，得到待处理图像对应的超分辨率图像；其中，多个超分辨率网络中的每一个超分辨率网络本申请提供的的超分辨率网络训练方法预先训练得到。

在一些实施例中，多个超分辨率网络未包括变焦倍数为待变焦倍数的超分辨率网络；数字变焦装置还包括：渐进数字变焦子单元，被配置为将多个超分辨率网络中的具有的变焦倍数小于待变焦倍数的一个超分辨率网络确定为目标超分辨率网络；将待处理图像输入到目标超分辨率网络，得到目标超分辨率网络输出的初步变焦图像；对所述初步变焦图像进行插值处理，得到待处理图像对应的超分辨率图像。

图6是本申请提供的电子设备的结构框图。电子设备包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述超分辨率网络训练方法或数字变焦方法。

电子设备还可以包括一个电源组件626被配置为执行电子设备的电源管理，一个有线或无线网络接口650被配置为将电子设备连接到网络，和一个输入输出(I/O)接口658。电子设备可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述超分辨率网络训练方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器，上述指令可由电子设备执行以完成上述数字变焦方法方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。