修复模型的训练方法、视频修复方法、设备及介质

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种修复模型的训练方法、视频修复方法、设备及介质。

背景技术

随着多媒体行业的发展，观看视频的用户越来越多，对视频的清晰度等要求也越来越高。为此，一般的音视频播放设备可以在播放视频时，通过修复模型对视频的画质进行增强处理。

然而，现有的视频修复方案功能较为单一，例如，部分修复模型能够去除视频中的压缩编码噪声和瑕疵，还有的修复模型能够从视频帧中提取出人脸图像并对人脸进行单独的修复，并将修复后的人脸合并至视频帧中。

但是，现有的修复方案若需要同时去除瑕疵并进行人脸修复，需要多个模型协同工作，修复过程的模型部署和推理成本较高。

发明内容

有鉴于此，本申请实施例提供一种修复模型的训练、视频修复方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种修复模型的训练方法，包括：

获取样本人脸图像以及样本非人脸图像，并将所述样本人脸图像贴合至所述样本非人脸图像中，得到目标样本图像以及所述目标样本图像对应的图像遮罩，所述图像遮罩用于表征所述目标样本图像中对应于所述样本人脸图像的区域；

将所述目标样本图像进行降质处理，得到降质样本图像；

使用所述降质样本图像，基于预设的损失函数训练修复模型，其中，所述损失函数包括全局损失函数以及对应于所述图像遮罩的局部损失函数。

可选地，本申请任意实施例中，所述将所述目标样本图像进行降质处理，得到降质样本图像，包括：

将所述目标样本图像进行在线降质处理和\或离线降质处理，得到所述降质样本图像；

其中，所述在线降质处理包括：通过在线进程对所述目标样本图像进行模糊处理，得到降质样本图像；

所述离线降质处理包括：将所述目标样本图像提交至离线视频压缩编码程序，获得所述离线视频压缩编码程序输出的编码后图像作为所述降质样本图像。

可选地，本申请任意实施例中，所述在线进程包括至少两阶降质链路，相邻两阶的所述降质链路中，上一阶所述降质链路的输出作为下一阶所述降质链路的输入，最后一阶所述降质链路的输出为所述降质样本图像。

可选地，本申请任意实施例中，所述降质链路包括模糊处理模块，用于对输入的所述目标样本图像进行模糊处理；采样模块，用于对模糊处理后的所述目标样本图像进行上采样和\或下采样；压缩模块，用于对采样后的所述目标样本图像进行编码压缩，得到降质后的所述目标样本图像。

可选地，本申请任意实施例中，对输入的所述目标样本图像进行的模糊处理包括以下至少之一：高斯模糊、运动模糊。

可选地，本申请任意实施例中，所述修复模型的最小特征图的大小为输入图像块大小的1/32，所述修复模型的输入图像块大小大于或等于所述目标样本图像的1/3。

可选地，本申请任意实施例中，所述修复模型包括多阶编码器和解码器，同阶的所述编码器和解码器之间跳跃连接，其中，所述编码器和所述解码器的阶数大于等于5，以使得所述修复模型的最小特征图的大小为输入图像块大小的1/32。

根据本申请实施例的第二方面，提供了一种视频修复方法，包括：

获取待修复的视频帧；

通过修复模型对所述视频帧进行修复处理，所述修复模型通过如上所述的方法训练得到。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上任一项所述的方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一所述的方法。

根据本申请实施例提供的修复模型的训练方案，通过获取样本人脸图像以及样本非人脸图像，并将所述样本人脸图像贴合至所述样本非人脸图像中，得到目标样本图像以及所述目标样本图像对应的图像遮罩，图像遮罩可以用于表征所述目标样本图像中对应于所述样本人脸图像的区域；将所述目标样本图像进行降质处理，得到降质样本图像；使用所述降质样本图像，基于预设的损失函数训练修复模型，其中，所述损失函数包括全局损失函数以及对应于所述图像遮罩的局部损失函数，使得训练后的修复模型不仅能够实现视频清晰度的提升，还可以针对人像进行适应修复，不需要单独的人像修复模型和压缩去除模型，进而可实现更低的模型部署和推理成本。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为适用本申请实施例的修复模型的训练方法或者视频修复方法的示例性系统的示意图；

图2A为根据本申请实施例的一种修复模型的训练方法的步骤流程图；

图2B为图2A所示实施例中的一种目标样本图像及其对应的图像遮罩的示意图；

图3为本申请实施例的一种二阶降质链路的结构示意图；

图4为本申请实施例提供的一种修复模型的结构示意图；

图5为本申请实施例提供的一种视频修复方法的流程示意图；

图6为本申请实施例的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

图1示出了一种适用本申请实施例的修复模型的训练方法或者视频修复方法的示例性系统。如图1所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106，图1中示例为多个用户设备。

云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、云计算服务端集群等。在一些实施例中，云服务端102可以执行任何适当的功能。例如，在一些实施例中，云服务端102可以用于存储视频。作为可选的示例，在一些实施例中，云服务端102可以被用于训练修复模型。作为另一示例，在一些实施例中，云服务端102可以被用于部署修复模型。

在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(Wide Area Network，WAN)、局域网(Local Area Network,LAN)、无线网络、数字订户线路(Digital Subscriber Line，DSL)网络、帧中继网络、异步转移模式(AsynchronousTransfer Mode,ATM)网络、虚拟专用网(Virtual Private Network，VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。

用户设备106可以包括适合于呈现图像或者视频的任何一个或多个用户设备。在一些实施例中，用户设备106可以包括任何合适类型的设备。例如，在一些实施例中，用户设备106可以包括移动设备、平板计算机、膝上型计算机、台式计算机、可穿戴计算机、游戏控制台、媒体播放器、车辆娱乐系统和/或任何其他合适类型的用户设备。

基于上述系统，本申请实施例提供了一种修复模型的训练方法，以下通过多个实施例进行说明。

参见图2A，示出了本申请实施例提供的一种修复模型的训练方法的步骤流程图，包括：

S201、获取样本人脸图像以及样本非人脸图像，并将所述样本人脸图像贴合至所述样本非人脸图像中，得到目标样本图像以及所述目标样本图像对应的图像遮罩；

本实施例中，样本人脸图像可以通过任意方式获得的包括人脸的图像，例如可以从开源数据库获得包括各类姿态的人脸数据，也可以为通过人脸识别模型采集到的人脸图像，均在本申请的保护范围内。

样本非人脸图像可以为通过任意方式获得的不包括人脸的图像，优选地，样本非人脸图像优选人可能存在的场景对应的图像。

本实施例中，可以将样本人脸图像随机叠加在样本非人脸图像上得到目标样本图像，并可以根据样本人脸图像叠加至样本非人脸图像上的位置生成图像遮罩，本实施例中，图像遮罩用于表征所述目标样本图像中对应于所述样本人脸图像的区域。

参见图2B，左侧示出了将样本人脸图像叠加在非样本人脸图像上得到的目标样本图像，右侧示出了目标样本图像对应的图像遮罩，示例地，图像遮罩可以为黑白二值图，其中对应于样本非人脸图像的区域为黑色，对应于样本人脸图像的区域为白色。

S202、将所述目标样本图像进行降质处理，得到降质样本图像；

本实施例中，可以采用任意的降质处理方案，对目标样本图像进行降质处理，得到降质样本图像。

降质处理：使用模糊和压缩等方式对高质量图像进行处理，以降低图像质量(例如降低分辨率、降低图像大小等)，获得低质量的降质样本图像。

可选地，本实施例中，可以将所述目标样本图像进行在线降质处理和\或离线降质处理，得到所述降质样本图像。

所述在线降质处理包括：通过在线进程对所述目标样本图像进行降质处理，得到降质样本图像。

所述离线降质处理包括：将所述目标样本图像提交至离线视频压缩编码程序，获得所述离线视频压缩编码程序输出的编码后图像作为所述降质样本图像。

当同时采用在线降质处理和离线降质处理时，能够尽量模拟真实视频中的模糊和压缩瑕疵，使得训练出的修复模型能够更好地进行压缩瑕疵的去除和视频清晰度的提升。在线降质处理可以采用压缩降质速度较快的方案，例如JPEG等压缩方案，从而使得在线降质处理的过程占用的资源以及消耗的时间较少，离线降质处理可以采用压缩速度较慢的视频压缩编码程序，例如H264和H265等视频编码压缩程序，使得在满足得到的降质样本图像类型较多的同时，不会较大地增加训练过程耗费的时间和资源。

可选地，本申请实施例中，所述在线进程包括至少两阶降质链路，相邻两阶的所述降质链路中，上一阶所述降质链路的输出作为下一阶所述降质链路的输入，最后一阶所述降质链路的输出为所述降质样本图像。

通过至少两阶降质链路，能够使得降质处理后得到的降质样本图像与修复模型实际的图像的模糊程度更加接近,提高了训练出的修复模型的准确度。

具体地，本实施例中，所述降质链路包括模糊处理模块，用于对输入的所述目标样本图像进行模糊处理；采样模块，用于对模糊处理后的所述目标样本图像进行上采样和\或下采样；压缩模块，用于对采样后的所述目标样本图像进行编码压缩，得到降质后的所述目标样本图像。

参见图3，示出了一种二阶降质链路的结构示意图，如图3所示，二阶降质链路中的每阶降质链路包括：模糊处理模块、采样模块、压缩模块。其中，压缩模块具体为JPEG压缩模块。

目标样本图像输入至第一阶降质链路，第一阶降质链路中，模糊处理模块对输入的所述目标样本图像进行模糊处理；采样模块，用于对模糊处理后的所述目标样本图像进行上采样和\或下采样；压缩模块，用于对采样后的所述目标样本图像进行编码压缩，得到降质后的所述目标样本图像。

经过一阶降质链路降质后的目标样本图像被输入至第二阶降质链路，再次进行上述的降质处理，最后输出的为降质样本图像。

需要说明的是，本实施例中仅以二阶降质链路为例进行举例说明，其他方案，例如三阶及以上的降质链路，也在本申请的保护范围内。

具体地，本实施例中，降质链路中，模糊处理模块对输入的所述目标样本图像进行的模糊处理包括以下至少之一：高斯模糊、运动模糊。

高斯模糊是一个图像与高斯分布的概率密度函数做卷积。高斯模糊可以包括：高斯各向同性模糊、高斯各向异性模糊以及广义高斯模糊等，均在本申请的保护范围内。

运动模糊又称动态模糊，是对图像进行处理后使其中快速移动的物体造成明显的模糊拖动痕迹。

通过高斯模糊和运动模糊，可以使得模糊处理后的目标样本图像与实际的视频帧更加接近，以使得训练后的修复模型的效果更好。

S203、使用所述降质样本图像，基于预设的损失函数训练修复模型，其中，所述损失函数包括全局损失函数以及对应于所述图像遮罩的局部损失函数。

本实施例中，全局损失函数用于根据降质样本图像全局确定损失值，对应于图像遮罩的局部损失函数用于根据降质样本图像中对应于人脸的区域(即对应于样本人脸图像的区域)确定损失值。之后可以将损失值求和并根据求和后的损失值调整修复模型，以对修复模型进行训练。

本实施例中，全局损失函数和局部损失函数可以为任意适用于图像的损失函数，例如交叉熵损失函数等，全局损失函数和局部损失函数的公式可以相同也可以不同，均在本申请的保护范围内。

本实施例中，可以采用任意的训练方式对修复模型进行训练，例如监督训练方式、半监督训练方式或者无监督训练方式等，均在本申请的保护范围内。

需要说明的是，本申请实施例中，用于训练修复模型的除了上述对应有图像遮罩的降质样本图像之外，还可以加入不对应有图像遮罩的图像作为样本，此时可以基于全局损失函数训练修复模型。

可选地，本实施例中，所述修复模型的最小特征图的大小为输入图像块大小的1/32，所述修复模型的输入图像块大小大于或等于所述目标样本图像的1/3。

由于在实际的修复场景中，输入视频的分辨率可能较大(如1920x1080)，因此其中包含的人像尺度也会比较大；因此为了训练与测试的一致性，在训练时，修复模型的输入图像块大小大于或等于所述目标样本图像的1/3，例如设置的输入图像块大小patch size可以为576；同时为了使得网络有更大的感受野以捕获大尺度的人像语义，修复模型的最小特征图(feature map)的大小为输入图像块大小的1/32。

具体地，修复模型包括：多阶编码器和解码器，同阶的所述编码器和解码器之间跳跃连接，其中，所述编码器和所述解码器的阶数大于等于5，以使得所述修复模型的最小特征图(feature map)的大小为输入图像块大小的1/32。

参见图4，示出了本申请实施例提供的一种修复模型的结构示意图，图中左侧包括5阶编码器encoder，右侧包括5阶解码器decoder，相同阶数的编码器和解码器之间跳跃连接，在图4中通过从编码器指向解码器的虚线箭头所示。

5阶编码器对应的图像块分别为输入图像块的1/2、1/4、1/8、1/16、1/32，原始的降质样本图像输入至修复模型后，通过编码器进行5次卷积和下采样操作，每次下采样操作使得图像块大小变为原来的1/2，之后可以通过解码器进行5次卷积和上采样操作，每次上采样操作使得图像块大小变为原来的2倍，使得解码器输出的修复后的图像大小与输入的图像大小相同。

本实施例提供的方案，通过获取样本人脸图像以及样本非人脸图像，并将所述样本人脸图像贴合至所述样本非人脸图像中，得到目标样本图像以及所述目标样本图像对应的图像遮罩，图像遮罩可以用于表征所述目标样本图像中对应于所述样本人脸图像的区域；将所述目标样本图像进行降质处理，得到降质样本图像；使用所述降质样本图像，基于预设的损失函数训练修复模型，其中，所述损失函数包括全局损失函数以及对应于所述图像遮罩的局部损失函数，使得训练后的修复模型不仅能够实现视频清晰度的提升，还可以针对人像进行适应修复，不需要单独的人像修复模型和压缩去除模型，进而可实现更低的模型部署和推理成本。

本实施例提供的方案可以由任意具有数据处理能力的电子设备执行，包括但不限于服务器、pc、平板电脑、手机等。

参见图5，示出了本申请实施例提供的一种视频修复方法的流程示意图，如图所示，其包括：

S501、获取待修复的视频帧；

本实施例中，视频帧可以为通过任意方式获得的视频帧，例如，剪辑前后的视频中的视频帧，压缩编码前后的视频帧等，均在本申请的保护范围内。

在播放视频的过程中，可以先将获得的视频帧作为待修复视频帧进行修复，再播放修复后的视频帧，以提高向用户播放的视频的质量。

S502、通过修复模型对所述视频帧进行修复处理。

修复模型通过如上所述的方法训练得到。

本实施例提供的视频修复方法可以适用于多种不同的场景，如：常规视频或者游戏的存储和流式传输，具体地：可以通过本申请实施例提供的修复模型，在编码前对视频进行修复，之后再进行编码，形成对应的视频码流，以在视频流服务或者其他类似的应用中存储和传输；又如：视频会议、视频直播等低延时场景，具体地：可以通过视频采集设备采集会议视频数据，并在编码后发送至会议终端，再通过本申请实施例提供的修复模型，对会议终端解码后的视频进行修复，从而得到播放的会议视频画面；还如：虚拟现实场景，可以对采集到的视频数据进行编码，形成对应的视频码流，并发送至虚拟现实相关设备(如VR虚拟眼镜等)，通过VR设备通过本申请实施例提供的修复模型，对视频码流进行解码得到的视频画面进行修复，并基于修复后的视频画面实现对应的VR功能，等等。

另外需要说明的是，本实施例提供的方案尤其适用于窄带高清的视频播放场景。一般来说，视频内容从采集到终端播放，要经历多个视频编辑、处理、重编码的操作，每一次处理/编码操作都都会对视频的画质产生影响，造成画质损失。即使采用采集质量较好的视频采集设备，由于中间环节的画质损失，最终传输至用户的也可能质量较差。

为此，在最后的转码过程中，一般会包含是视频修复处理，以修复传输过程造成的画质损失，在不增加传输视频的带宽的基础上提高视频质量。

本实施例提供的方案，可以用于上述场景中，以在更低的模型部署和推理成本的前提下，提高视频质量。

参照图6，示出了根据本申请实施例五的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图6所示，该电子设备可以包括：处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。

其中：

处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。

通信接口604，用于与其它电子设备或服务器进行通信。

处理器602，用于执行程序610，具体可以执行上述修复模型的训练方法或者视频修复方法实施例中的相关步骤。

具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。

处理器602可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器606，用于存放程序610。存储器606可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序610可包括多条计算机指令，程序610具体可以通过多条计算机指令使得处理器602执行前述多个方法实施例中任一实施例所描述的修复模型的训练方法或者视频修复方法对应的操作。

程序610具体可以通过多条计算机指令使得处理器602执行：获取样本人脸图像以及样本非人脸图像，并将所述样本人脸图像贴合至所述样本非人脸图像中，得到目标样本图像以及所述目标样本图像对应的图像遮罩的操作，图像遮罩可以用于表征所述目标样本图像中对应于所述样本人脸图像的区域；

将所述目标样本图像进行降质处理，得到降质样本图像的操作；

使用所述降质样本图像，基于预设的损失函数训练修复模型的操作，其中，所述损失函数包括全局损失函数以及对应于所述图像遮罩的局部损失函数。

可选地，本申请任意实施例中，所述将所述目标样本图像进行降质处理，得到降质样本图像，包括：将所述目标样本图像进行在线降质处理和\或离线降质处理，得到所述降质样本图像；

其中，所述在线降质处理包括：通过在线进程对所述目标样本图像进行模糊处理，得到降质样本图像；

所述离线降质处理包括：将所述目标样本图像提交至离线视频压缩编码程序，获得所述离线视频压缩编码程序输出的编码后图像作为所述降质样本图像。

可选地，本申请任意实施例中，所述在线进程包括至少两阶降质链路，相邻两阶的所述降质链路中，上一阶所述降质链路的输出作为下一阶所述降质链路的输入，最后一阶所述降质链路的输出为所述降质样本图像。

可选地，本申请任意实施例中，所述降质链路包括模糊处理模块，用于对输入的所述目标样本图像进行模糊处理；采样模块，用于对模糊处理后的所述目标样本图像进行上采样和\或下采样；压缩模块，用于对采样后的所述目标样本图像进行编码压缩，得到降质后的所述目标样本图像。

可选地，本申请任意实施例中，对输入的所述目标样本图像进行的模糊处理包括以下至少之一：高斯模糊、运动模糊。

可选地，本申请任意实施例中，所述修复模型的最小特征图的大小为输入图像块大小的1/32，所述修复模型的输入图像块大小大于或等于所述目标样本图像的1/3。

可选地，本申请任意实施例中，所述修复模型包括多阶编码器和解码器，同阶的所述编码器和解码器之间跳跃连接，其中，所述编码器和所述解码器的阶数大于等于5，以使得所述修复模型的最小特征图的大小为输入图像块大小的1/32。

程序610具体还可以通过多条计算机指令使得处理器602执行：获取待修复的视频帧的操作；通过修复模型对所述视频帧进行修复处理的操作，其中，所述修复模型通过如上所述的方法训练得到。

程序610中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于：只读光盘(Compact Disc Read-Only Memory，CD-ROM)、随机存储器(RandomAccess Memory，RAM)、软盘、硬盘或磁光盘等。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一修复模型的训练方法或者视频修复方法对应的操作。

此外，需要说明的是，本申请实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编辑门阵列(Field Programmable Gate Array，FPGA))的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，随机存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。