一种图像超分辨率方法、装置、服务端及存储介质

技术领域

本申请涉及图像处理技术的领域，尤其是涉及一种图像超分辨率方法、装置、服务端及存储介质。

背景技术

随着图像处理技术不断发展，人们为了能够得到更为清晰的图像，图像的分辨率的要求越来越高；为了满足人们对不同分辨率的图像的需求，针对图像分辨率的调节技术应运而生。

但是，云游戏输出的视频帧的分辨率还局限于游戏的限制，因此，如何提高视频帧的分辨率成为一个关键问题。

发明内容

为了解决以上至少一项技术问题，本申请提供一种图像超分辨率方法、装置、服务端及存储介质。

第一方面，本申请提供一种图像超分辨率方法，采用如下的技术方案：

一种图像超分辨率方法，包括：

获取目标视频流的目标分辨率以及所述目标视频流的当前分辨率；

若所述当前分辨率小于所述目标分辨率，则确定对所述目标视频流进行分辨率处理的处理方式；

若确定出的处理方式包括超分辨率处理，则对所述目标视频流进行超分辨率处理，以使得超分辨率处理后的目标视频流的分辨率为所述目标分辨率。

通过采用上述技术方案，获取目标视频流的目标分辨率和目标视频流的当前分辨率，随后，对视频流的目标分辨率和目标视频流的当前分辨率进行对比，若当前分辨率小于目标分辨率时，则确定出该目标视频流对应的分辨率处理的处理方式，若确定出的处理方式中包括超分辨率处理的方式，则可以对目标视频流进行超分辨率处理，使得将目标视频流从当前分辨率超分辨至目标分辨率；由于对视频流进行超分辨率处理所得到的分辨率调节，不局限于游戏的限定以实现对视频流分辨率的提高。

在一种可能的实现方式中，所述确定对所述目标视频流进行分辨率处理的处理方式，包括：

若所述当前分辨率与所述目标分辨率满足第一预设关系，则确定对所述目标视频流进行分辨率处理的处理方式，所述第一预设关系为所述目标分辨率大于所述当前分辨率的预设倍数；

其中，所述对所述目标视频流进行超分辨率处理，之前还包括：

根据所述目标分辨率确定图像渲染后的分辨率；

基于所述图像渲染后的分辨率，对所述目标视频流进行图像渲染；

其中，所述对所述目标视频流进行超分辨率处理，包括：

对所述渲染后的目标视频流进行超分辨处理。

通过采用上述技术方案，将当前分辨率和目标分辨率进行对比时，若当前分辨率与目标分辨率之间满足第一预设关系时，即满足目标分辨率大于当前分辨率的预设倍数时，则确定对目标视频流进行分辨率处理的处理方式；由于目标分辨率相对于当前分辨率差距较大时，可以考虑确定出对目标视频流进行分辨率处理的处理方式，从而在提高确定分辨率处理方式的准确度的同时，降低确定分辨率处理方式所带来的算例消耗，进而可以提高对目标视频流进行分辨率处理的速度；进一步地，在对目标视频流进行分辨率处理时，可以先图像渲染至某一分辨率，然后再进行超分辨率处理，从而可以降低显卡资源的基础上，提高视频流质量。

在一种可能的实现方式中，所述根据所述目标分辨率确定图像渲染后的分辨率，包括以下任一项：

基于所述目标分辨率与所述预设倍数，确定所述图像渲染后的分辨率；

获取显卡的当前占用信息，并根据所述目标分辨率以及所述显卡的当前占用信息确定所述图像渲染后的分辨率。

通过采用上述技术方案，一方面，将目标分辨率与预设倍数进行对比，根据目标分辨率与预设倍数之间的关系，确定图像渲染后的分辨率；可以较为准确的确定出图像渲染后的分辨率，以对图像进行渲染，进一步地在减小显卡资源占用的同时，不影响图像画质；另一方面，获取当前情况下显卡的当前占用信息，随后根据目标分辨率和显卡的当前占用信息之间的关系，确定图像渲染后的分辨率，也就是说，根据显卡当前的占用情况，可以准确地确定出图像渲染后的分辨率，在提高图像画质的同时，尽量避免显卡的占用过多。

在一种可能的实现方式中，所述对所述目标视频流进行超分辨率处理，之前还包括：

确定当前显卡是否支持深度学习超级采样DLSS处理；

其中，所述对所述目标视频流进行超分辨率处理，包括：

若所述当前显卡支持DLSS处理，则对所述目标视频流进行所述DLSS处理以及所述超分辨率处理；

若所述当前显卡不支持DLSS处理，则对所述目标视频流进行所述超分辨率处理。

通过采用上述技术方案，在进行超分辨率处理时，若当前显卡可以支持DLSS处理，则可以对目标视频流进行超分辨率处理时，进行DLSS处理，也就是说，通过DLSS和超分辨率处理对目标视频流进行分辨率调整，从而可以进一步地降低对显卡资源的占用。

在一种可能的实现方式中，所述确定对所述目标视频流进行分辨率处理的处理方式，包括：

若所述当前分辨率与所述目标分辨率满足第二预设关系，则获取显卡的当前占用信息；

根据所述显卡的当前占用信息确定对所述目标视频流进行分辨率处理的处理方式。

通过采用上述技术方案，将当前分辨率与目标分辨率进行对比时，若当前分辨率与目标分辨率之间满足第二预设关系，也就是说，由于目标分辨率较小时，超分辨率导致图像画质不好，根据显卡的当前占用信息以确定出对目标视频流进行分辨率处理的处理方式，可以使得确定出的分辨率可以同时兼顾显卡占用信息以及图像画质。

在一种可能的实现方式中，所述获取目标视频流的目标分辨率的方式，包括以下任一项：

获取用户通过客户端设置的分辨率，并将通过客户端设置的分辨率作为所述目标视频流的目标分辨率；

获取用户通过客户端设置的分辨率以及待显示所述目标视频流的显示器对应的分辨率，并基于所述通过客户端设置的分辨率以及所述显示器所对应的分辨率，确定所述目标视频流的目标分辨率；

获取目标视频流所对应的游戏类型，并基于所述目标视频流所对应的游戏类型，确定所述目标视频流的目标分辨率。

通过采用上述技术方案，一方面，用户通过客户端设置需要的分辨率，此时获取用户通过客户端设置的分辨率，并将该用户通过客户端设置的分辨率作为目标视频流的目标分辨率；从而最大限度的考虑到用户的分辨率的需求，进而提高用户的体验；一方面，获取用户通过客户端设置的分辨率以及客户端包含的显示器所支持的分辨率，随后，根据用户的需求以及用户所持有的硬件的条件，综合考虑，进而确定目标视频流的目标分辨率，继而在考虑到所使用的硬件的条件的基础上，提高用户的体验；另一方面，获取目标视频流对应的游戏类型，借助不同游戏类型分别对应适合的分辨率的条件，基于目标视频流对应的游戏类型，确定目标视频流的目标分辨率，以减小用户在对游戏分辨率的问题上的精力，提高游戏服务质量。

在一种可能的实现方式中，所述对所述目标视频流进行超分辨率处理，以使得超分辨率处理后的目标视频流的分辨率为所述目标分辨率，之后还包括：

将所述超分辨率处理后的目标视频流进行编码处理；

将编码后的目标视频流发送至客户端。

通过采用上述技术方案，将目标视频流进行超分辨处理，之后对超分辨处理的目标视频流进行编码处理，以使得目标视频流满足在客户端展示的要求，继而将编码后的目标视频流发送至客户端，为用户提供游戏服务。

第二方面，本申请提供一种图像超分辨率装置，采用如下的技术方案：

一种图像超分辨率装置，包括：分辨率获取模块、处理方式确定模块以及分辨率处理模块，其中，

分辨率获取模块，用于获取目标视频流的目标分辨率以及所述目标视频流的当前分辨率；

处理方式确定模块，用于若所述当前分辨率小于所述目标分辨率，则确定对所述目标视频流进行分辨率处理的处理方式；

分辨率处理模块，用于若确定出的处理方式包括超分辨率处理，则对所述目标视频流进行超分辨率处理，以使得超分辨率处理后的目标视频流的分辨率为所述目标分辨率。

通过采用上述技术方案，分辨率获取模块获取目标视频流的目标分辨率和目标视频流的当前分辨率，随后，处理方式确定模块对视频流的目标分辨率和目标视频流的当前分辨率进行对比，若当前分辨率小于目标分辨率时，则确定出该目标视频流对应的分辨率处理的处理方式，若确定出的处理方式中包括超分辨率处理的方式，则可以对目标视频流进行超分辨率处理，使得通过分辨率处理模块将目标视频流从当前分辨率超分辨至目标分辨率；由于对视频流进行超分辨率处理所得到的分辨率调节，不局限于游戏的限定以实现对视频流分辨率的提高。

在一种可能的实现方式中，所述处理方式确定模块在确定对所述目标视频进行分辨率处理的处理方式时，具体用于：

若所述当前分辨率与所述目标分辨率满足第一预设关系，在确定对所述目标视频流进行分辨率处理的处理方式，所述第一预设关系为所述目标分辨率大于所述当前分辨率的预设倍数；

其中，所述图像超分辨率装置，还包括：分辨率确定模块以及图像渲染模块，其中，

所述分辨率确定模块，用于根据所述目标分辨率确定图像渲染后的分辨率；

所述图像渲染模块，用于基于所述图像渲染后的分辨率，对所述目标视频流进行图像渲染；

其中，所述分辨率处理模块在对所述目标视频流进行超分辨率处理时，具体用于：

对所述渲染后的目标视频进行超分辨率处理。

在一种可能的实现方式中，所述分辨率确定模块，具体用于以下任一一项：

基于所述目标分辨率与所述预设倍数，确定所述图像渲染后的分辨率；

获取显卡的当前占用信息，并根据所述目标分辨率以及所述显卡的当前占用信息确定所述图像渲染后的分辨率。

在一种可能的实现方式中，所述图像超分辨率装置，还包括：DLSS处理方式确定模块，其中，

所述DLSS处理方式确定模块，用于确定当前显卡是否支持深度学习超级采样DLSS处理；

其中，分辨率处理模块，还包括：第一处理单元以及第二处理单元，其中，

所述第一处理单元，用于若所述当前显卡支持DLSS处理，则对所述目标视频流进行所述DLSS处理以及所述超分辨率处理；

所述第二处理单元，用于若所述当前显卡不支持DLSS处理，则对所述目标视频流进行所述超分辨率处理。

在一种可能的实现方式中，所述处理方式确定模块，还包括：显卡占用信息获取单元以及处理方式确定单元，其中，

所述显卡信息获取单元，用于若所述当前分辨率与所述目标分辨率满足第二预设关系，则获取显卡的当前占用信息；

所述处理方式确定单元，用于根据所述显卡的当前占用信息确定对所述目标视频流进行分辨率处理的处理方式。

在一种可能的实现方式中，所述分辨率获取模块，具体地用于以下任一项：

获取用户通过客户端设置的分辨率，并将通过客户端设置的分辨率作为所述目标视频流的目标分辨率；

获取用户通过客户端设置的分辨率以及待显示所述目标视频流的显示器对应的分辨率，并基于所述通过客户端设置的分辨率以及所述显示器所对应的分辨率，确定所述目标视频流的目标分辨率；

获取目标视频流所对应的游戏类型，并基于所述目标视频流所对应的游戏类型，确定所述目标视频流的目标分辨率。

在一种可能的实现方式中，所述图像超分辨率装置，还包括：编码处理模块以及反馈模块，其中，

编码处理模块，用于将所述超分辨率处理后的目标视频流进行编码处理；

反馈模块，用于将编码后的目标视频流发送至客户端。

第三方面，本申请提供一种服务端，采用如下的技术方案：

一种服务端，该服务端包括：

至少一个处理器；

存储器；

至少一个应用程序，其中至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述图像超分辨率的方法。

第四方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：

一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述图像超分辨率方法的计算机程序。

综上所述，本申请包括以下有益技术效果：

获取目标视频流的目标分辨率和目标视频流的当前分辨率，随后，对视频流的目标分辨率和目标视频流的当前分辨率进行对比，若当前分辨率小于目标分辨率时，则确定出该目标视频流对应的分辨率处理的处理方式，若确定出的处理方式中包括超分辨率处理的方式，则可以对目标视频流进行超分辨率处理，使得将目标视频流从当前分辨率超分辨至目标分辨率；由于对视频流进行超分辨率处理所得到的分辨率调节，不局限于游戏的限定以实现对视频流分辨率的提高。

附图说明

图1是本申请实施例图像超分辨率方法的流程示意图；

图2是本申请实施例图像超分辨率方法的示例流程示意图；

图3是本申请实施例图像超分辨率装置的方框示意图；

图4是本申请实施例服务端的示意图。

具体实施方式

以下结合附图1-4对本申请作进一步详细说明。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前云游戏输出的视频帧的分辨率大小还局限于游戏的限制，有以下两个问题，第一，云化输出的视频帧和游戏渲染的图像一致，无法做到分辨率不一致，第二：游戏最大渲染1920×1080分辨率，那么云化后最大分辨率也是1920×1080，不能满足一些用户的需求；再者，通过游戏渲染图像以得到较高分辨率的图像，所占用的显卡资源较多，成本较高。

为了在得到较高分辨率图像的同时，降低所占用的显卡资源以及成本，也为了进一步地满足一些用户高分辨率的需求，本申请实施例提供了一种图像超分辨率方法，具体详见下述实施例。

需要说明的是，本申请实施例以为用户提供云游戏服务的应用场景进行阐述说明，但本申请实施例并不局限于该应用场景。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先对本申请涉及的几个名词进行介绍和解释：

超分辨率：是通过硬件或软件的方法提高原有图像的分辨率，本申请实施例中使用的超分辨率是通过硬件，即显卡来提高分辨率；

深度学习超级采样（Deep Learning Super Sampling，DLSS）：通过降低游戏内的渲染分辨率，同时再通过人工智能算法模型和AI加速硬件单元（）来拉伸输出画面，提高显示分辨率；

下面通过对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的属于、相似的特征以及相似的实施例步骤等，不再重复描述。

本申请实施例提供了一种图像超分辨率方法，由服务端执行，参照图1，该方法可以包括：步骤S101、步骤S102以及步骤S103，其中，

步骤S101、获取目标视频流的目标分辨率以及目标视频流的当前分辨率。

对于本申请实施例，目标视频流为需要在用户的客户端所进行展示的视频信息；目标视频流的目标分辨率为在在用户的客户端进行展示时的分辨率；目标视频流的当前分辨率为目标视频流在未进行分辨率调节时的分辨率。

目标视频流在输送至用户的客户端进行显示之前，暂存至存储空间中，此时的目标视频流为便于存储，其分辨率一般较小，若需要将目标视频流输送至用户的客户端进行展示，则需要对当前的目标视频流进行分辨率调节，以使得目标视频流能够满足用户的需求和/或能够以最为合适的分辨率在用户的客户端进行展示；因此，是否对视频流进行相应的分辨率调整，可根据用户的需求进行判断；具体地，当用户通过客户端将需要进行展示的目标视频流对应展示请求以及目标视频流的目标分辨率录入时，服务端通过客户端获取该目标视频流的目标分辨率以及从存储空间中调取该目标视频流。

进一步地，用于存储视频流的存储空间，可以为服务端包含的存储模块，例如HDD以及RAM等；还可以为服务端以外的独立的存储模块，本申请实施例不做具体限定。

进一步地，服务端从存储空间中直接获取暂存的目标视频流对应的分辨率，将该分辨率作为当前分辨率；也可以在服务端对目标视频流进行图像渲染后，获取目标视频流渲染后的分辨率，将该分辨率作为当前分辨率；还可以；还可以在目标视频流进行DLSS处理后对应的分辨率作为当前分辨率。

进一步，是否对视频流进行相应的分辨率调整，还可根据用户使用的显示器所支持的分辨率的情况来对视频流进相应的分辨率调整，也可根据所需要进行展示的视频流对应的游戏类型所提倡的分辨率的情况来对视频流进行相应的分辨率调整。

步骤S102、若当前分辨率小于目标分辨率，则确定对目标视频流进行分辨率处理的处理方式。

对于本申请实施例，服务端在获取到当前分辨率以及目标分辨率时，将根据当前分辨率和目标分辨率之间关系来确定目标视频流对应的分辨率处理的处理方式。

具体地，服务端将当前分辨率与目标分辨率进行对比；若当前分辨率小于目标分辨率时，表明此时的目标视频流对应的当前分辨率并不满足需求，需要对此时的目标视频流进行分辨率处理，即确定对目标视频流进行分辨率处理的处理方式。

进一步说明的，对目标视频流的分辨率的处理，可以有多种处理方式，例如，可以是使用服务端包含的显卡对目标视频流进行渲染的处理方式；也可以是通过视频流自身对应的分辨率处理程序，来对视频流进行分辨率处理的处理方式，也可以是通过超分辨率技术对视频流进行分辨率处理的处理方式，等；也可以通过上述至少两种方式的结合，以对视频流进行分辨率处理，因此选取目标视频流对应的适合的分辨率的处理方式；无论是在用户体验方面，还是视频流调节处理成本方面，都具有有益作用。

步骤S103、若确定出的处理方式包括超分辨率处理，则对目标视频流进行超分辨率处理，以使得超分辨率处理后的目标视频流的分辨率为目标分辨率。

对于本申请实施例，若服务端确定出的目标视频流对应的分辨率处理的处理方式中包括超分辨率处理时，服务端则对目标视频流进行超分辨率处理。在本申请实施例中，确定出的处理方式包括超分辨率处理，可以包括：对目标视频流直接进行超分辨率处理，以使得超分辨率处理后的目标视频流的分辨率为目标分辨率；或者，先对目标视频流进行其他分辨率处理（例如，图像渲染、通过分辨率处理程序进行分辨率提升），然后在对分辨率处理后的目标视频流进行超分辨率处理，以得到目标分辨率。

进一步地，由于通过超分辨率对目标视频流进行分辨率的处理时，超分辨率的计算量要小于显卡对视频流进行渲染的计算量；因此，通过超分辨率对目标视频流进行分辨率处理，可以减小显卡的资源占用量，进而达到节约显卡资源的目的。

本申请实施例提供了一种图像超分辨率方法，获取目标视频流的目标分辨率和目标视频流的当前分辨率，随后，对视频流的目标分辨率和目标视频流的当前分辨率进行对比，若当前分辨率小于目标分辨率时，则确定出该目标视频流对应的分辨率处理的处理方式，若确定出的处理方式中包括超分辨率处理的方式，则可以对目标视频流进行超分辨率处理，使得将目标视频流从当前分辨率超分辨至目标分辨率；由于对视频流进行超分辨率处理所得到的分辨率调节，不局限于游戏的限定以实现对视频流分辨率的提高。

具体地，在步骤S101中，获取目标视频流的目标分辨率的方式，可以包括以下（方式一、方式二以及方式三）中任一项：

方式一，获取用户通过客户端设置的分辨率，并将通过客户端设置的分辨率作为目标视频流的目标分辨率。

具体地，用户可以通过客户端输入或者选择需要展示的目标视频流的分辨率，随后，服务端获取到该用户客户端设置的分辨率，并将该分辨率作为目标视频流的目标分辨率。

方式二，获取用户通过客户端设置的分辨率以及待显示目标视频流的显示器对应的分辨率，并基于通过客户端设置的分辨率以及显示器所对应的分辨率，确定目标视频流的目标分辨率。

具体地，一般用于展示目标视频流的显示器对目标视频流的分辨率有一定限制，即支持一定范围的分辨率的视频进行展示，例如，目标分辨率处于分辨率960X540至分辨率1920X1080之间的分辨率；因此，用于展示目标视频流的显示器所支持的分辨率为能够影响确定目标视频流的目标分辨率的因素之一；所以，若用户通过客户端设置的分辨率大于待显示目标视频流的显示器对应的分辨率，则目标视频流的目标分辨率为待显示目标视频流的显示器对应的分辨；若用户通过客户端设置的分辨率小于待显示目标视频流的显示器对应的分辨率，则目标视频流的目标分辨率为用户通过客户端设置的分辨率；若用户通过客户端设置的分辨率与待显示目标视频流的显示器对应的分辨率相同，则目标视频流的目标分辨率为用户通过客户端设置的分辨率和待显示目标视频流的显示器对应的分辨率中任一分辨率。

方式三，获取目标视频流所对应的游戏类型，并基于目标视频流所对应的游戏类型，确定目标视频流的目标分辨率。

具体地，不同游戏类型其对所展示时的分辨率的要求也会不同，例如，场景细节比较多的游戏，对所展示时的分辨率的要求会比较高，以保证用户体验；场景较为单一的游戏，对所展示时的分辨率的要求会相对低一些，即相对低的分辨率对用户影响较小；即游戏类型在确定目标视频的目标分辨率时，具有一定的影响；因此，服务端在获取目标视频的目标分辨率，可以获取目标视频流对应的游戏类型，基于该游戏类型确定出目标视频流的目标分辨率。

进一步地，在得到目标视频流的目标分辨率以及目标视频流的当前分辨率后，若目标视频流的当前分辨率小于目标视频流的目标分辨率，则进一步确定对目标视频进行分辨率处理的处理方式。在本申请实施例中，确定对目标视频流进行分辨率处理的处理方式，具体可以包括：若当前分辨率与目标分辨率满足第一预设关系，则确定对目标视频流进行分辨率处理的处理方式；其中，对目标视频流进行超分辨率处理，之前还包括：根据目标分辨率确定图像渲染后的分辨率；基于图像渲染后的分辨率，对目标视频流进行图像渲染；其中，对目标视频流进行超分辨率处理，包括：对渲染后的目标视频流进行超分辨处理。

其中，第一预设关系为目标分辨率大于当前分辨率的预设倍数。例如，当前分辨率为960×540，目标分辨率为2560×1440，预设倍数为2时，此时目标分辨则大于当前分辨率的2倍。

进一步地，若目标分辨率大于当前分辨率的预设倍数，则可以确定对目标视频流进行分辨率处理的处理方式包括：对目标视频流进行超分辨率处理。在本申请实施例中，在对目标视频流进行超分辨率处理时，可以先对目标视频流进行图像渲染，然后在对渲染后的视频流进行超分辨率处理。也即，在对目标视频流进行超分辨率处理，之前还包括：根据目标分辨率确定图像渲染后的分辨率；基于图像渲染后的分辨率，对目标视频流进行图像渲染；其中，对目标视频流进行超分辨率处理，包括：对渲染后的目标视频流进行超分辨处理。

例如，当前目标视频流对应的分辨率为960×540，目标分辨率为2560×1440；期间目标视频流需要进行图像渲染，即将目标视频流从960×540分辨率，渲染至1920×1080分辨率，即当前分辨率则为1920×1080；之后，服务端开始对图像视频流进行超分辨率处理，直至目标视频流的分辨率2560×1440。

具体地，根据目标分辨率确定图像渲染后的分辨率，包括以下（方式1以及方式2）中任一项，其中，

方式1，基于目标分辨率与预设倍数，确定图像渲染后的分辨率；

具体地，服务端根据目标分辨率与预设倍数之间的关系，继而确定出图像渲染后的分辨率，其中，该图像渲染后的分辨率为将目标视频流先进行图像渲染后的分辨率。

进一步，在本申请实施例中，图像渲染后的分辨率可以为目标分辨率/预设倍数，也可以通过目标分辨率与预设倍数的其他关系，确定图像渲染后的分辨率，在申请实施例中不做限定。

例如，目标分辨率为1920×1080，预设倍数为2，由此可确定出当前分辨率为960×540，此时，服务端可以确定960×540分辨率为图像渲染后的分辨率。

方式2，获取显卡的当前占用信息，并根据目标分辨率以及显卡当前占用信息确定图像渲染后的分辨率。

具体地，对目标视频流进行不同的分辨率处理方式的处理，对应的显卡的占用情况会有所差异，为此可通过显卡当前占用情况来确定出图像渲染后的分辨率。在本申请实施例中，若显卡的当前占用信息表征显卡的当前占用率较高，则可以确定的图像渲染后的分辨率较低，例如，目标分辨率为1920×1080，确定出的图像渲染后的分辨率可以为400×400；若显卡的当前占用信息表征显卡的当前占用率较低，则可以确定的图像渲染后的分辨率较高，例如，目标分辨率为1920×1080，确定出的图像渲染后的分辨率可以为960×540。

也就是说，在通过上述两种方式确定出图像渲染后的分辨率，然后先将目标视频流激进行图像渲染，以使得渲染后的分辨率为确定出的图像渲染后的分辨率，进而在通过超分辨率对图像渲染后的视频流进行超分辨率处理，以使得超分辨率处理后的视频流的分辨率为目标分辨率，例如，先将目标视频流通过图像渲染，以使得渲染后的图像分辨率为400×400，然后，将图像渲染后的视频流通过超分辨率处理，以使得超分辨率处理后的视频流为1920×1080。

进一步地，在超分辨率处理的方式中，还包含有DLSS处理的处理方式；现今一部分显卡可以支持DLSS处理的处理方式；也即对目标视频流进行超分辨率处理，之前还可以包括：确定当前显卡是否支持深度学习超级采样DLSS处理。也就是说，在确定出需要对目标视频流进行超分辨率处理后，可以先确定当前显卡是否可以支持DLSS处理，已确定在对目标视频流进行超分辨率处理时考虑是否进行DLSS处理。

也就是说，对目标视频流进行超分辨率处理，具体可以包括：若当前显卡支持DLSS处理，则对目标视频流进行DLSS处理以及超分辨率处理；若当前显卡不支持DLSS处理，则对目标视频流进行超分辨率处理。在本申请实施例中，若当前显卡可以支持DLSS处理，则可以在游戏中打开DLSS，以对目标视频流进行DLSS处理以及超分辨率处理，若当前先看不可以支持DLSS处理，则对目标视频流进行超分辨率处理。进一步地，若当前显卡可以支持DLSS处理，也可以对目标视频流进行超分辨率处理。

需要说明的是，在本申请实施例中，若当前显卡可以支持DLSS，则对目标视频流进行DLSS处理以及超分辨率处理，又或者对目标视频流进行DLSS处理，可以进一步地节约显卡资源。

具体地，一般用户追求高分辨率的视频流，但也存在部分用户所需要的分辨率并不高，当目标分辨率不高时，通过超分辨率技术对目标视频流进行超分辨率处理，可能超分辨率处理后的视频流质量不高，并且节省的GPU的资源也较少。

例如，960×540分辨率；若此时用户的分辨率需求为较小的分辨率，即960×540分辨率，是否对960×540分辨率对应的目标视频流进行超分辨率处理，则需要进一步的判断，具体地，确定对目标视频流进行分辨率处理的处理方式，具体可以包括：若当前分辨率与目标分辨率满足第二预设关系，则获取显卡当前占用信息；根据显卡的当前占用信息确定对目标视频流进行分辨率处理的处理方式。

对于本申请实施例，服务端预设有第二预设关系以及预设分辨率值，该第二预设关系为当前分辨率小于目标分辨率，且目标分辨率小于预设分辨率值；若服务端确定出当前分辨率与目标分辨率满足第二预设关系，即当前分辨率小于目标分辨率，且目标分辨率小于预设分辨率值，例如，预设分辨率值为1000×1000、前目标视频流的当前分辨率为400×400、用户所需的目标分辨率为800×800，此时的目标视频流对应的当前目标分辨率较小，但是当前分辨率目标小于目标分辨率，则还是需要进行分辨率调节；即使仅使用显卡进行图像渲染，显卡的资源占用率也不会高，所以在该情况下确定是否使用除显卡渲染之外的分辨率处理的处理方式，可依据显卡的当前占用情况来进行判断，即服务端获取当前显卡占用信息，并根据显卡的当前占用信息确定对目标视频流进行分辨率处理的处理方式。

具体地，若显卡的当前占用率较低，则可以不对目标视频流进行超分辨率处理。在本申请实施例中，若显卡的当前占用率较低，则可以对目标视频流进行图像渲染，以使得渲染后的视频流的分辨率为目标分辨率；也可以通过游戏中自带的分辨率处理程序，对目标视频流进行分辨率调整，以使得渲染后的视频流的分辨率为目标分辨率，也可以两种分辨率处理方式结合，对目标视频流进行分辨率调整；当然，还可以在结合上述两种分辨率处理方式中的至少一种处理方式，和/或DLSS处理方式，和/或，超分辨率处理方式，以对目标视频流进行分辨率处理。在本申请书实施例中不做限定。

进一步地，在通过上述实施例对目标视频流进行分辨率调节，以使得调节后的目标视频流的分辨率为目标分辨率，为了进一步地使得用户可以观看到分辨率处理后的目标视频流，则对目标视频流进行超分辨率处理，以使得超分辨率处理后的目标视频流的分辨率为目标分辨率，之后还可以包括：将超分辨率处理后的目标视频流进行编码处理；将编码后的目标视频流发送至客户端。

也就是说，若需要对目标视频流进行超分辨率处理，则在超分辨率处理后，对超分辨率处理的目标视频流进行编码处理，然后将编码处理后的目标视频流推送至客户端，以使得客户端可以显示编码处理后的目标视频流。

进一步地，若不需要对目标视频流进行超分辨率处理，则可以在通过上述实施例对目标视频流进行分辨率调节，以使得调节后的目标视频流的分辨率为目标分辨率之后，对分辨率处理后的目标视频流进行编码处理，以将编码后的目标视频流推送至客户端，以使得客户端显示该编码后的目标视频流。

上述实施例详细介绍了一种图像超分辨率的方法，下述从一种示例介绍图像超分辨率方法，如图2所示，用户可以通过客户端的游戏页面设置目标视频流的目标分辨率r1，例如，1920×1080，其他模块可以获取到目标视频流的目标分辨率，然后启动游戏，设置游戏的分辨率为r1/2，例如，960×540，然后通过游戏渲染模块进行渲染，当渲染完成后，将渲染后的游戏视频流发送至超分辨率模块，此时视频流的分辨率为r2，也就是r1/2，然后通过超分辨率模块将游戏视频流分辨率有r2超分辨率至r1，然后把超分后的游戏视频流进行编码，并将编码后的游戏视频流发送至客户端，其中，游戏渲染模块和超分辨率模块属于游戏模块。

上述实施例从方法流程的角度介绍一种图像超分辨率的方法，下述实施例从虚拟模块或者虚拟单元的角度介绍了一种图像超分辨率的装置，具体详见下述实施例。

图像超分辨率装置30具体可以包括：301分辨率获取模块、处理方式确定模块302以及分辨率处理模块303，其中，

分辨率获取模块301，用于获取目标视频流的目标分辨率以及目标视频流的当前分辨率；

处理方式确定模块302，用于若当前分辨率小于目标分辨率，则确定对目标视频流进行分辨率处理的处理方式；

分辨率处理模块303，用于若确定出的处理方式包括超分辨率处理，则对目标视频流进行超分辨率处理，以使得超分辨率处理后的目标视频流的分辨率为目标分辨率。

本申请实施例的一种可能的实现方式，处理方式确定模块302在确定对目标视频进行分辨率处理的处理方式时，具体用于：

若当前分辨率与目标分辨率满足第一预设关系，在确定对目标视频流进行分辨率处理的处理方式，第一预设关系为目标分辨率大于当前分辨率的预设倍数；

其中，图像超分辨率装置，还包括：分辨率确定模块以及图像渲染模块，其中，

分辨率确定模块，用于根据目标分辨率确定图像渲染后的分辨率；

图像渲染模块，用于基于图像渲染后的分辨率，对目标视频流进行图像渲染；

其中，分辨率处理模块在对目标视频流进行超分辨率处理时，具体用于：

对渲染后的目标视频进行超分辨率处理。

本申请实施例的一种可能的实现方式，分辨率确定模块，具体用于以下任一一项：

基于目标分辨率与预设倍数，确定图像渲染后的分辨率；

获取显卡的当前占用信息，并根据目标分辨率以及显卡的当前占用信息确定图像渲染后的分辨率。

本申请实施例的一种可能的实现方式，图像超分辨率装置30，还包括：DLSS处理方式确定模块，其中，

DLSS处理方式确定模块，用于确定当前显卡是否支持深度学习超级采样DLSS处理；

其中，分辨率处理模块，还包括：第一处理单元以及第二处理单元，其中，

第一处理单元，用于若当前显卡支持DLSS处理，则对目标视频流进行DLSS处理以及超分辨率处理；

第二处理单元，用于若当前显卡不支持DLSS处理，则对目标视频流进行超分辨率处理。

本申请实施例的一种可能的实现方式，处理方式确定模块302，还包括：显卡占用信息获取单元以及处理方式确定单元，其中，

显卡信息获取单元，用于若当前分辨率与目标分辨率满足第二预设关系，则获取显卡的当前占用信息；

处理方式确定单元，用于根据显卡的当前占用信息确定对目标视频流进行分辨率处理的处理方式。

本申请实施例的一种可能的实现方式，分辨率获取模块301，具体地用于以下任一项：

获取用户通过客户端设置的分辨率，并将通过客户端设置的分辨率作为目标视频流的目标分辨率；

获取用户通过客户端设置的分辨率以及待显示目标视频流的显示器对应的分辨率，并基于通过客户端设置的分辨率以及显示器所对应的分辨率，确定目标视频流的目标分辨率；

获取目标视频流所对应的游戏类型，并基于目标视频流所对应的游戏类型，确定目标视频流的目标分辨率。

本申请实施例的一种可能的实现方式，图像超分辨率装置30，还包括：编码处理模块以及反馈模块，其中，

编码处理模块，用于将超分辨率处理后的目标视频流进行编码处理；

反馈模块，用于将编码后的目标视频流发送至客户端。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还从实体装置的角度介绍了一种服务端，如图4所示，图4所示的服务端40包括：处理器401和存储器403。其中，处理器401和存储器403相连，如通过总线402相连。可选地，服务端400还可以包括收发器404。需要说明的是，实际应用中收发器404不限于一个，该服务端400的结构并不构成对本申请实施例的限定。

处理器401可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器401也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线402可包括一通路，在上述组件之间传送信息。总线402可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器403可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器403用于存储执行本申请方案的应用程序代码，并由处理器401来控制执行。处理器401用于执行存储器403中存储的应用程序代码，以实现前述方法实施例所示的内容。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。