图像处理方法、装置、通信设备及可读存储介质

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像处理方法、装置、通信设备及可读存储介质。

背景技术

在日常生活中，使用终端设备进行拍照已经成为一种非常普遍的行为，用户会期望使用手机拍出细节丰富，高质量的图像。但是，由于移动设备成像组件的性能受体积的限制，移动设备只能拍到低质量的图像，无法满足用户的需求。

现有技术中，先获取一张与低质量图像相似的高质量图像，然后通过块匹配的方式将高质量图像与低质量图像配准，再根据配准后的高质量图像重建低质量图像，以提高低质量图像的视觉效果。

但是，由于获取的高质量图像与低质量图像存在着视角、色彩细节以及分辨率的差异，使得块匹配的准确率降低，低质量图像与高质量图像的配准效果不理想，导致在重建低质量图像时，会出现图像纹理错乱、细节提升效果不理想的问题。

发明内容

本申请实施例提供一种图像处理方法、装置、通信设备及可读存储介质，以改善低质量图像与高质量图像的配准效果不理想，导致重建低质量图像时，会出现图像纹理错乱、细节提升效果不理想的问题。

第一方面，本申请实施例提供了一种图像处理方法，包括：获取待处理图像的第一参考帧图像，第一参考帧图像是通过将待处理图像和至少一张参考图像经过配准处理得到的，至少一张参考图像与待处理图像的相似度满足预设阈值，第一参考帧图像的质量大于待处理图像。对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像。

其中，该图像处理方法可以是由云端设备实现。或者，也可以是云端设备与终端设备共同实现。其中，云端设备也称作云端服务器，云端服务器具有计算能力，能够对接收到的数据进行处理。终端设备可以为智能手机、平板电脑、笔记本电脑、可穿戴设备、增强现实(Augmented Reality，AR)/虚拟现实(Virtual Reality，VR)设备、车载终端、服务器等与能够与云端设备通讯连接的设备。

在第一方面的一种可能的实现方式中，图像处理方法在云端设备中实现时，可以先接收与云端设备通信连接的终端设备发送的待处理图像，通过云端设备获取第一参考帧图像，并对待处理图像进行配准融合处理，得到处理后的图像。或者，当图像处理方法在云端设备与终端设备共同实现时，可以先接收与云端设备通信连接的终端设备发送的待处理图像，通过云端设备获取第一参考帧图像。然后云端设备将第一参考帧图像发送给终端设备，终端设备根据接收到的第一参考帧图像对待处理图像进行配准融合处理，得到处理后的图像。

应理解，待处理图像可以是终端设备通过图像获取装置实时获取的图像。当然，待处理图像也可以是存储在终端设备中的图像。

由于视频是多张图像连续播放得到的，因此基于对图像的处理，本申请提供的方法还可以应用于视频的处理。仅作为示例而非限制，可以将一段视频中的每一帧均作为待处理图像，进行多次处理后，再将处理后的图像合成为视频。或者，还可以挑选视频中的部分帧图像作为待处理图像进行处理，得到多个处理后的图像。然后，再根据处理后图像的特征点将处理后的图像中的细节特征应用于未处理的图像，最后按照顺序生成视频。本领域技术人员应当理解，基于本申请提供的图像处理方法对视频处理的方案，均应列入本申请的保护范围。

在本实施例中，先将待处理图像和至少一张参考图像经过配准处理得到第一参考帧图像。然后再对第一参考帧图像和待处理图像进行配准融合处理，将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像。由于第一参考帧图像本身经过了初步配准，缩小了第一参考帧图像与待处理图像的视角差异，并且参考帧图像的质量大于待处理图，包含了更多的细节信息。尔后，在根据第一参考帧图像对待处理图像进行处理时，又进行了第二次配准，配准的结果更加精细、准确。经过两次配准后，能够保证待处理图像与参考图像的配准效果，使得利用第一参考帧图像中的高频信息提升待处理图像的细节，可以有效地在待处理图像中恢复出逼真、清晰的细节。

在第一方面的另一种可能实现方式中，给出了云端设备单独实现本申请提供的图像处理方法的实施例。其中，获取待处理图像的第一参考帧图像，包括：接收终端设备发送的待处理图像。从预设的参考图像数据库中确定与待处理图像的相似度满足预设阈值的至少一张参考图像，其中，参考图像数据库中的参考图像的质量大于待处理图像。将待处理图像和至少一张参考图像经过配准处理，得到第一参考帧图像。

第一方面还有一种可能实现方式，给出了云端设备和终端设备共同实现本申请提供的图像处理方法的实施例。其中，获取待处理图像的第一参考帧图像，包括：向云端发送待处理图像，以由云端从预设的参考图像数据库中确定与待处理图像的相似度满足预设阈值的至少一张参考图像，将待处理图像和至少一张参考图像经过配准处理，得到第一参考帧图像，其中，参考图像数据库中的参考图像的质量大于待处理图像。接收云端发送的第一参考帧图像。

一些实施方式中，将待处理图像和至少一张参考图像经过配准处理，得到至少一张第一参考帧图像，包括：将至少一张参考图像分别与待处理图像进行配准处理，得到至少一张配准后的参考图像。将至少一张配准后的参考图像合成，得到第一参考帧图像。

本申请中，作为示例而非限制，提供了两种对第一参考帧图像和待处理图像进行配准融合处理的方法。需要说明的是，对于云端设备单独实现时，以下步骤由云端设备执行。对于云端设备和终端设备共同实现时，以下步骤由终端设备执行。

其中一种实现方式中，对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像，包括：获取待处理图像和第一参考帧图像的匹配度地图，其中，匹配度地图用于指示待处理图像和第一参考帧图像中对应位置的像素的匹配度。根据匹配度地图、待处理图像以及第一参考帧图像，获取第一图像和第二图像，其中，第一图像包括待处理图像中与第一参考帧图像中像素不相同的区域，第二图像包括第一参考帧图像中与待处理图像中像素相同的区域。将第一图像和第二图像合成，得到第二参考帧图像。将第二参考帧图像与待处理图像进行配准融合处理，得到处理后的图像。

基于上述实现方式，将第二参考帧图像与待处理图像进行配准融合处理，得到处理后的图像，包括：

将待处理图像和第二参考帧图像中的每个像素逐一进行配准，得到待处理图像和第二参考帧图像的像素位置偏差数据。根据像素位置偏差数据，将第二参考帧图像中的每个像素的高频信息融合至待处理图像中对应的位置，得到处理后的图像。

还有一种实现方式中，对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像，包括：获取待处理图像和第一参考帧图像的匹配度地图，其中，匹配度地图用于指示待处理图像和参考帧图像中对应位置的像素的匹配度。将第一参考帧图像与待处理图像进行配准融合处理，得到第三参考帧图像。根据匹配度地图、待处理图像以及第三参考帧图像，获取第三图像和第四图像，其中，第三图像包括待处理图像中与第三参考帧图像中像素不相同的区域，第四图像包括第三参考帧图像中与待处理图像中像素相同的区域。将第三图像和第四图像合成，得到处理后图像。

基于上述实现方式，将第一参考帧图像与待处理图像进行配准融合处理，得到第三参考帧图像，包括：将待处理图像和第一参考帧图像中的每个像素逐一进行配准，得到待处理图像和第一参考帧图像的像素位置偏差数据。根据像素位置偏差数据，将第一参考帧图像中的每个像素的高频信息融合至待处理图像中对应的位置，得到第三参考帧图像。

基于上述实施方式，在对第一参考帧图像和待处理图像进行配准融合处理之前，方法还包括：确定待处理图像中多个图像区域。获取多个图像区域中，与第一参考帧图像匹配的N个区域，其中，N为大于或等于1的整数。确定N个区域中待处理的区域。

相应的，对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像，包括：对第一参考帧图像和待处理图像中的待处理区域进行配准融合处理，以将第一参考帧图像中与待处理图像中待处理区域匹配的图像信息融合到待处理图像中，得到处理后的图像。

第二方面，本申请实施例提供了一种图像处理装置，包括：获取模块，用于获取待处理图像的第一参考帧图像，第一参考帧图像是通过将待处理图像和至少一张参考图像经过配准处理得到的，至少一张参考图像与待处理图像的相似度满足预设阈值，第一参考帧图像的质量大于待处理图像。配准融合模块，用于对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像。

在第二方面的另一种可能实现方式中，获取模块，用于接收终端设备发送的待处理图像。从预设的参考图像数据库中确定与待处理图像的相似度满足预设阈值的至少一张参考图像，其中，参考图像数据库中的参考图像的质量大于待处理图像。将待处理图像和至少一张参考图像经过配准处理，得到第一参考帧图像。

第二方面还有一种可能实现方式中，获取模块，用于向云端发送待处理图像，以由云端从预设的参考图像数据库中确定与待处理图像的相似度满足预设阈值的至少一张参考图像，将待处理图像和至少一张参考图像经过配准处理，得到第一参考帧图像。其中，参考图像数据库中的参考图像的质量大于待处理图像。接收云端发送的第一参考帧图像。

本申请中，作为示例而非限制，给出以下两种方法，以说明配准融合模块对待处理图像进行配准融合的处理过程。需要说明的是，对于云端设备单独实现时，配准融合模块位于云端设备中。对于云端设备和终端设备共同实现时，配准融合模块位于终端设备中。

一种实现方式中，配准融合模块，具体用于获取待处理图像和第一参考帧图像的匹配度地图，其中，匹配度地图用于指示待处理图像和第一参考帧图像中对应位置的像素的匹配度。根据匹配度地图、待处理图像以及第一参考帧图像，获取第一图像和第二图像，其中，第一图像包括待处理图像中与第一参考帧图像中像素不相同的区域，第二图像包括第一参考帧图像中与待处理图像中像素相同的区域。将第一图像和第二图像合成，得到第二参考帧图像。将第二参考帧图像与待处理图像进行配准融合处理，得到处理后的图像。

基于上述实现方式，配准融合模块，还用于将待处理图像和第二参考帧图像中的每个像素逐一进行配准，得到待处理图像和第二参考帧图像的像素位置偏差数据。根据像素位置偏差数据，将第二参考帧图像中的每个像素的高频信息融合至待处理图像中对应的位置，得到处理后的图像。

还有一种实现方式中，配准融合模块，具体用于将第一参考帧图像与待处理图像进行配准融合处理，得到融合图像。根据匹配度地图，对待处理图像以及融合图像进行合成，获取处理后的图像。

基于上述实现方式，配准融合模块，具体用于获取待处理图像和第一参考帧图像的匹配度地图，其中，匹配度地图用于指示待处理图像和第一参考帧图像中对应位置的像素的匹配度。将第一参考帧图像与待处理图像进行配准融合处理，得到第三参考帧图像。根据匹配度地图、待处理图像以及第三参考帧图像，获取第三图像和第四图像，其中，第三图像包括待处理图像中与第三参考帧图像中像素不相同的区域，第四图像包括第三参考帧图像中与待处理图像中像素相同的区域。将第三图像和第四图像合成，得到处理后图像。

基于上述实现方式，配准融合模块，还用于将待处理图像和第一参考帧图像中的每个像素逐一进行配准，得到待处理图像和第一参考帧图像的像素位置偏差数据。根据像素位置偏差数据，将第一参考帧图像中的每个像素的高频信息融合至待处理图像中对应的位置，得到第三参考帧图像。

基于上述实施方式，图像处理装置还包括确定模块，用于确定待处理图像中多个图像区域。获取多个图像区域中，与第一参考帧图像匹配的N个区域，其中，N为大于或等于1的整数。确定N个区域中待处理的区域。

相应的，配准融合模块，用于对第一参考帧图像和待处理图像中的待处理区域进行配准融合处理，以将第一参考帧图像中与待处理图像中待处理区域匹配的图像信息融合到待处理图像中，得到处理后的图像。

第三方面，本申请实施例提供了一种通信设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时，通信设备实现第一方面提供的图像处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时，实现第一方面提供的图像处理方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中提供的图像处理方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的图像处理方法应用场景示意图；

图2是本申请一实施例提供的图像处理方法的流程示意图；

图3是本申请实施例中待处理图像的示意图；

图4是本申请实施例中参考图像的示意图；

图5是本申请另一实施例提供的图像处理方法的流程示意图；

图6是本申请一实施例中第一参考帧图像的示意图；

图7是本申请另一实施例提供的图像处理方法的流程示意图；

图8是本申请实施例中第一图像和第二图像的示意图；

图9是本申请实施例中处理后的图像的示意图；

图10是本申请另一实施例提供的图像处理方法的流程示意图；

图11是本申请另一实施例提供的图像处理方法的流程示意图；

图12是本申请另一实施例提供的图像处理方法的流程示意图；

图13是本申请中待获取图像与第一参考帧图像匹配的区域示意图；

图14是本申请实施例提供的图像处理装置的结构示意图；

图15是本申请另一实施例提供的图像处理装置的结构示意图；

图16是本申请实施例提供的通信设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

如在本申请说明书和所附权利要求书中所使用的那样，术语“若”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实现方式”或“一些实现方式”等意味着在本申请的一个或多个实现方式中包括结合该实现方式描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实现方式中”、“在一些实现方式中”、“在其他一些实现方式中”、“在另外一些实现方式中”等不是必然都参考相同的实现方式，而是意味着“一个或多个但不是所有的实现方式”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

首先，以图1为例，对本申请提供的图像处理方法所适用的应用场景进行示例性的说明。参见图1，应用场景可以包括智能手机11、待拍摄景物12、云端设备13。

其中，云端设备12，可以是云端服务器具有计算能力，能够对接收到的数据进行处理。终端设备11可以为智能手机、平板电脑、笔记本电脑、可穿戴设备、增强现实(AugmentedReality，AR)/虚拟现实(Virtual Reality，VR)设备、车载终端、服务器等与能够与云端设备13通讯连接的设备。图1中以终端设备11为智能手机进行图示。终端设备11和云端设备13通过无线通信连接。

本申请的提供的图像处理方法可以在云端设备13中实现。例如，通过终端设备11拍摄景物12，得到低质量的待处理图像111后，可以将待处理图像111发送给云端设备13。由云端设备13通过本申请提供的图像处理方法对待处理图像111进行两次配准，得到高质量的处理后的图像。然后将处理后的图像发送给终端设备11。

或者，本申请提供的图像处理方法也可以是云端设备13和终端设备11共同实现。例如，在云端设备13接收到终端设备11发送的低质量待处理图像111后，在云端进行第一次配准，获取第一参考帧图像，然后将第一参考帧图像发送给终端设备11，终端设备11再根据第一参考帧图像对待处理图像111进行第二次配准融合处理，得到高质量的处理后的图像。

由于经过了两次配准，所以能够保证待处理图像与参考图像的配准效果，使得利用第一参考帧图像中的高频信息提升待处理图像的细节，可以有效地在待处理图像中恢复出逼真、清晰的细节。

将图像处理方法中的哪些步骤分配给云端设备和终端设备，可以在应用时根据实际情况确定，在此不做限定。

需要说明的是，上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、5G新无线(5G New Radio，5GNR)等。

图2示出了本申请提供的图像处理方法的一种示意性流程图，描述了由云端设备13执行两次配准的流程。如图2所示，该方法包括：

S21、云端设备接收终端设备获取并发送的待处理图像。

参考图1中的示例，一些实施方式中，终端设备可以通过自身具备的摄像头拍摄待处理图像。但是，由于拍摄时硬件设备的限制等原因，拍摄到的待处理图像往往质量较低。图像质量指的是图像的解像度和解析力等，低质量图像的解像度和解析力较低，图像中的细节模糊不清，而高质量图像的解像度和解析力较高，包含了清晰地图像细节。例如，在用户通过终端设备拍摄较远处的物体时，终端设备可以根据用户的指令通过数码变焦放大等形式拍摄得到待处理图像。但是拍摄得到的待处理图像细节损失较多，视觉上感觉模糊不清。需要说明的是，待处理图像可以是图1所示的智能手机11直接拍摄的。也可以是拍摄的图片放大后，其中的一个区域。或者是一段视频中的一帧。本申请中待处理图像的获取途径不做限制。

参考图3，图3给出了待处理图像的一个示例，在该图像中，包括模糊的植物、建筑物、云彩。

S22、云端设备从预设的参考图像数据库中确定与待处理图像的相似度满足预设阈值的至少一张参考图像。

一些实施方式中，云端设备可以从预设的参考图像数据库中来获取参考图像。参考图像数据库包括了预先获取的大量参考图像。例如，其中的图像可以是单反相机拍摄的高清图像、从网络上收集的高清图像、对实物建模后的模型图像、高清视频中的帧图像等。参考图像的质量高于待处理图像，具有更多的细节特征，以便于将其中的细节融合到待处理图像中。参考图像的类型有多种，例如，参考图4，图4中的a展示了一个植物的示意图，该植物与图3示出的待处理图像中模糊的植物相匹配，则图4中的a可以作为待处理图像的一个参考图像。继续参考图4，图4中的b展示了一个建筑物和云彩，该建筑物与图4示出的待处理图像中的建筑物并不匹配，但是其中的云彩与待处理图像中的云彩可以部分匹配，则图4中的b也可以作为待处理图像的一个参考图像。最后，参考图4中的c，该图展示了一个建筑物的部分特征，该特征与图3示出的待处理图像中的部分特征匹配，因此，图4中的c可以作为待处理图像的一个参考图像。

需要说明的是，参考图像与待处理图像的相似度满足预设阈值，表明参考图像中存在于待处理图像中相似的匹配区域。由于参考图像的质量大于待处理图像，则可以根据参考图像中与待处理图像相似的匹配区域重建待处理图像中对应的区域，使得待处理图像中不够清晰地区域变得清晰，准确。

在一个示例中，云端设备可以利用图像匹配模型从参考图像数据库中为待处理图像匹配参考图像。其中，图像匹配模型可以是基于灰度匹配或特征匹配等方式训练得到的模型。用于根据输入的待处理图像匹配获取与待处理图像的相似度满足预设阈值的参考图像。将待处理图像输入图像匹配模型后，可以匹配到至少一张参考图像。

S23、云端设备将待处理图像和至少一张参考图像经过配准处理，得到第一参考帧图像。

请参照图5，将待处理图像和至少一张参考图像经过配准处理，得到至少一张第一参考帧图像，包括：

S231、将至少一张参考图像分别与待处理图像进行配准处理，得到至少一张配准后的参考图像。

需要说明的是，由于参考图像可能和待处理图像采用了不同的图像获取设备，并且在获取图像时拍摄条件不同，存在视角差、照度差等影响因素，所以需要对参考图像进行配准处理，减小参考图像与待处理图像之间的差异。在本申请中，配准指的是图像配准(Image registration)，即对于两幅图像，先获取两幅图像之间的的映射关系，然后根据映射关系将其中一幅图像映射到另一幅图像，使得两幅图中指示空间中同一位置的点对应重合，得到两幅图像中指示空间中同一位置的点的映射关系，从而根据得到的映射关系，实现图像融合。

在一个示例中，云端设备可以采用配准算法获取配准后的参考图像。配准算法可以是基于灰度配准或特征配准的算法，用于将参考图像和待处理图像进行配准。配准后的参考图像与待处理图像中，指示空间中同一位置的点具有相同的坐标。

仅作为示例而非限制，配准算法可以采用的灰度匹配算法可以包括：平均绝对差算法(Mean Absolute Deviation，MAD)、绝对误差和算法(Sumof Absolute Difference，SAD)、误差平方和算法(Sum of Squared Differences，SSD)、平均误差平方和算法(MeanSquare Differences，MSD)、归一化积相关算法(Normalized Cross Correlation，NCC)、序贯相似性检测算法(Sequential Similiarity Detection Algorithm，SSDA)、hadamard变换算法(Sum of Absolute Transformed Difference，SATD)、局部灰度值编码算法等。例如，可以先获取待处理图像和至少一张参考图像的灰度图，然后确定待处理图像的灰度图中的一个区域作为模板图像。再通过上述灰度匹配算法，根据模板图像在参考图像的灰度图中搜索与模板图像相似度符合预设要求的子图，确定参考图像的灰度图中与模板图像匹配的子图像。最后根据匹配的子图以及待处理图像的灰度图实现配准。

在另一个示例中，配准算法可以采用的特征算法，包括：加速分割检测特征(Features from Accelerated Segment Test，FAST)、快速特征点提取和描述(OrientedFAST and Rotated BRIEF，ORB)、尺度不变特征变换(Scale-invariant featuretransform，SIFT)、加速鲁棒性特征(Speeded-Uprobust Features,SURF)、局部二值模式(Local Binary Pattern，LBP)、光流法(optical flow)等。例如，基于特征的配准方法可以先提取待处理图像和待匹配图像的特征，如点、线、区域等特征。一些实施方式中，可以通过上述的特征算法进行提取待处理图像和至少一张参考图像的点特征，分别生成待处理图像的特征描述子和参考图像的特征描述子。最后，根据特征描述子将参考图像与待处理图像配准。

S232、将至少一张配准后的参考图像合成，得到第一参考帧图像。

一种可能的实施方式中，如果仅存在一张参考图像，则可以直接将该参考图像作为第一参考帧图像。例如，若图3的参考图像为图4中的a，则图4中的a即为图3的第一参考帧图像。

若存在2张或2张以上的参考图像，则在得到相应的配准后的参考图像后，需要将得到的配准后的参考图像合并为一张第一参考帧图像。

仅作为示例而非限制，图6中示出了一种可能合成得到的第一参考帧图像。其中，第一参考帧图像中包括了图4中a、b以及c分别示出的与待处理图像匹配的区域，且每个匹配的区域在第一参考帧图像中的像素坐标与该区域在待处理图像中对应的区域的像素坐标位置相同。

S24、云端设备对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像。

仅作为示例而非限制，针对基于匹配度地图将待处理图像与第一参考帧图像进行配准融合，给出了两种实现方式，以下分别进行说明。

一种实现方式中，如图7所示，其步骤包括：

S2401、获取待处理图像和第一参考帧图像的匹配度地图。

其中，匹配度地图用于指示待处理图像和第一参考帧图像中对应位置的像素的匹配度。

仅作为示例，云端设备中预设有已经训练的匹配度检测网络。云端设备可以将待处理图像和第一参考帧图像输入匹配度检测网络，匹配度检测网络将待处理图像中与第一参考帧图像中完全匹配的区域对应的像素标记为0，而完全不匹配的区域对应的像素标记为1，输出一个用于指示待处理图像中每个像素点与第一参考帧图像中对应像素点的匹配度的矩阵，则该矩阵即可作为匹配度地图，标记为C

其中，匹配度检测网络可以通过深度神经网络实现，例如，通过卷积神经网络(Convolutional Neural Networks,CNN)、区域卷积神经网络(Region-CNN，R-CNN)、快速区域卷积神经网络(Fast Region-CNN，Fast R-CNN)，更快速区域卷积神经网络(FasterRegion-CNN，Faster R-CNN)等，在此不做限制。

S2402、根据匹配度地图、待处理图像以及第一参考帧图像，获取第一图像和第二图像。

其中，第一图像包括待处理图像中与第一参考帧图像中像素不相同的区域，第二图像包括第一参考帧图像中与待处理图像中像素相同的区域。

参照图8，图8中的a示出了一种第一图像，a中的非阴影区域表示待处理图像中与第一参考帧图像中像素不相同的区域。图8中的b示出了一种第二图像，b中的非阴影区域表示第一参考帧图像中与待处理图像中像素相同的区域。

S2403、将第一图像和第二图像合成，得到第二参考帧图像。

其中，第二参考帧图像是综合了待处理图像中与第一参考帧图像不匹配的区域图像(第一图像)、以及第一参考帧图像中与待处理图像中匹配的区域图像(第二图像)得到的。而匹配度地图指示了待处理图像和第一参考帧图像中对应位置的像素的匹配度(0为匹配，1为不匹配)，因此可以根据匹配度地图来获取第一参考帧图像。例如，若用I表示待处理图像、C

R

其中，可以先将匹配度地图与待处理图像相乘，即可保留待处理图像中与第一参考帧图像不匹配的区域图像。同时，再用1减去匹配度地图，将匹配度地图反相，然后与第一参考帧图像相乘，即可保留第一参考帧图像中与待处理图像匹配的区域图像。最后将这两部分相加，得到第二参考帧图像。

S2404、将待处理图像和第二参考帧图像中的每个像素逐一进行配准，得到待处理图像和第二参考帧图像的像素位置偏差数据。

一些实施方式中，可以通过配准网络来获取像素位置偏差数据。配准网络可以通过深度神经网络实现，神经网络的类型与S2401中匹配度检测网络的类型相同，在此不做赘述。其中，配准网络的配准精度大于上述的配准算法，配准网络可以将待处理图像中的每个像素与第二参考帧图像中的像素配准，得到待处理图像和第二参考帧图像的像素位置偏差数据加精确。

S2405、根据像素位置偏差数据，将第二参考帧图像中的每个像素的高频信息融合至待处理图像中对应的位置，得到处理后的图像。

一些实施方式中，可以将第二参考帧图像、像素位置偏差数据、以及待处理图像输入融合网络进行融合得到处理后的图像。其中，融合网络用于根据像素位置偏差数据，将第二参考帧图像中的像素的高频信息融合至待处理图像中对应的位置。

在本实施例中，先根据匹配度地图将待处理图像和第一参考帧图像合成为第二参考帧图像，得到的第二参考帧图像与待处理图像的匹配度一致。再根据第二参考帧图像对待处理图像进行处理，可以得到更加准确、更加逼真的图像。

需要说明的是，由于输入融合网络的数据中，像素位置偏差数据是根据配准网络得到的，因此在训练配准网络和融合网络时，可以采用相同的损失函数进行训练。当然，并非必须如此，二者也可以使用不同的损失函数分开训练，在此不做限制。

S24的另一种实现方式，可以如图10所示，其步骤包括：

S2406、获取待处理图像和第一参考帧图像的匹配度地图。

其中，匹配度地图用于指示待处理图像和第一参考帧图像中对应位置的像素的匹配度。

S2407、将待处理图像和第一参考帧图像中的每个像素逐一进行配准，得到待处理图像和第一参考帧图像的像素位置偏差数据。

一些实施方式中，可以通过配准网络来获取像素位置偏差数据。配准网络与S2404中的配准网络相同，在此不做赘述。S2408、根据像素位置偏差数据，将第一参考帧图像中的每个像素的高频信息融合至待处理图像中对应的位置，得到第三参考帧图像。

一些实施方式中，可以将第一参考帧图像、像素位置偏差数据、以及待处理图像输入融合网络进行融合得到第三参考帧图像。融合网络与S2405中的融合网络相同，在此亦不做赘述。

S2409、根据匹配度地图、待处理图像以及第三参考帧图像，获取第三图像和第四图像。

其中，第三图像包括待处理图像中与第三参考帧图像中像素不相同的区域，第四图像包括第三参考帧图像中与待处理图像中像素相同的区域。

S2410、将第三图像和第四图像合成，得到处理后图像。

一些实施方式中，参考S2403的示例，设第三参考帧图像为DMF，处理后的图像为FinalOutput，则可以通过以下公式获取处理后的图像：

FinalOutput＝I*C

其中，S2406至S2410S2401至S2405中方法的区别在于，在本实施例中，先将待处理图像与第一参考帧图像融合，得到第三参考帧图像。再根据匹配度地图将第三参考帧图像与待处理图像合成，得到处理后的图像。由于生成第三参考帧图像时，无需考虑匹配度地图，因此能够降低融合网络对匹配度地图的依赖性，提高了鲁棒性。

S25、云端设备将处理后的图像发送给终端设备。

一些实施方式中，图9示出了一种可能的处理后的图像，参考图3、图4和图9，图9中示出的处理后的图像是将图3中的待处理图像和图4中的参考图像融合得到的。由于经过两次配准，可以将图4中每个参考图中的特征准确的融合进待处理图像中，从而得到处理后的图像。处理后的图像与待处理图像相比，由于融合了参考图像中的细节，因此具有更高的质量，视觉效果更清晰。

待处理图像经过本申请提供的图像处理方法处理之后，能够将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，使得处理后的图像包含更多高清细节，从而提高待处理图像的质量，增强其视觉效果。

图11示出了本申请提供的图像处理方法的另一种示意性流程图，描述了由云端完成第一次配准，终端完成第二次配准的流程。如图11所示，该方法包括：

S31、终端设备获取待处理图像，并发送给云端设备。

S32、云端设备从预设的参考图像数据库中确定与待处理图像的相似度满足预设阈值的至少一张参考图像。

S33、云端设备将待处理图像和至少一张参考图像经过配准处理，得到第一参考帧图像。

S34、云端设备将第一参考帧图像发送给终端设备。

S35、终端设备对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像。

其中，S31至S33与上述方法中的S21至S23相同，均为在云端设备中实现。其中，S31至S33的实现方式与S21至S23一致，S35与S24的实现方式一致，在此不做赘述。

其区别在于，S35在终端设备中实现，而S24是在云端设备中实现。

在本实施例中，将第一参考帧图像和待处理图形进行配准融合处理在终端设备中实现，可以减轻云端设备的数据处理压力，提高云端设备的数据处理效率。

图12还示出了本申请另一实施例提供的图像处理方法的流程示意图。如图12所示，图像处理方法还包括：

S41、确定待处理图像中多个图像区域。

一些实施方式中，参考图13，可以通过图像识别算法获取待处理图像111中的多个图像区域，如云彩区域14、建筑物区域15、植物区域16等。

其中，图像识别算法可以是采用语义分割算法，其实现方式可以通过CNN、R-CNN、Fast R-CNN、Faster R-CNN等，在此不做限制。

S42、获取多个图像区域中，与第一参考帧图像匹配的N个区域。

其中，N为大于或等于1的整数。

一些实施方式中，待处理图像中的图像区域可能存在与第一参考帧图像不匹配的图像区域，将这些不匹配的图像区域舍弃，只保留与第一参考帧图像匹配的区域。

S43、确定N个区域中待处理的区域。

一些实施方式中，若N等于1，直接确定该区域为待处理的区域。

仅作为示例而非限制，若N大于1，则可以根据预设的确定策略进行确定。例如，可以获取每个图像区域与第一参考帧图像中对应区域的相似度，若一个区域的相似度小于预设阈值，则确定该区域为待处理的区域。或者，还可以根据用户的指示进行确定。例如，可以在终端设备上展示待处理图片111以及每个图像区域，响应用户发出的区域选择指令，确定该指令指示的区域为待处理区域。

相应的，对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像，包括：

S44、对第一参考帧图像和待处理图像中的待处理区域进行配准融合处理，以将第一参考帧图像中与待处理图像中待处理区域匹配的图像信息融合到待处理图像中，得到处理后的图像。

在本实施例中，通过确定待处理区域，并只对待处理区域进行处理，可以更有针对性的对待处理图像进行处理，能够适应更复杂的场景，增加了图像处理方法的应用范围。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例提供的图像处理方法，图14示出了本申请实施例提供的图像处理装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。参照图14，该装置包括：

获取模块51，用于获取待处理图像的第一参考帧图像，第一参考帧图像是通过将待处理图像和至少一张参考图像经过配准处理得到的，至少一张参考图像与待处理图像的相似度满足预设阈值，第一参考帧图像的质量大于待处理图像。配准融合模块52，用于对第一参考帧图像和待处理图像进行配准融合处理，以将第一参考帧图像中与待处理图像匹配的图像信息融合到待处理图像中，得到处理后的图像。

另一种可能实现方式中，获取模块51，用于接收终端设备发送的待处理图像。从预设的参考图像数据库中确定与待处理图像的相似度满足预设阈值的至少一张参考图像，其中，参考图像数据库中的参考图像的质量大于待处理图像。将待处理图像和至少一张参考图像经过配准处理，得到第一参考帧图像。

还有一种可能实现方式中，获取模块51，用于向云端发送待处理图像，以由云端从预设的参考图像数据库中确定与待处理图像的相似度满足预设阈值的至少一张参考图像，将待处理图像和至少一张参考图像经过配准处理，得到第一参考帧图像。其中，参考图像数据库中的参考图像的质量大于待处理图像。接收云端发送的第一参考帧图像。

本申请中，作为示例而非限制，给出以下两种方法，以说明配准融合模块对待处理图像进行配准融合的处理过程。需要说明的是，对于云端设备单独实现时，配准融合模块位于云端设备中。对于云端设备和终端设备共同实现时，配准融合模块位于终端设备中。

一种实现方式中，配准融合模块52，具体用于获取待处理图像和第一参考帧图像的匹配度地图，其中，匹配度地图用于指示待处理图像和第一参考帧图像中对应位置的像素的匹配度。根据匹配度地图、待处理图像以及第一参考帧图像，获取第一图像和第二图像，其中，第一图像包括待处理图像中与第一参考帧图像中像素不相同的区域，第二图像包括第一参考帧图像中与待处理图像中像素相同的区域。将第一图像和第二图像合成，得到第二参考帧图像。将第二参考帧图像与待处理图像进行配准融合处理，得到处理后的图像。

基于上述实现方式，配准融合模块52，还用于将待处理图像和第二参考帧图像中的每个像素逐一进行配准，得到待处理图像和第二参考帧图像的像素位置偏差数据。根据像素位置偏差数据，将第二参考帧图像中的每个像素的高频信息融合至待处理图像中对应的位置，得到处理后的图像。

还有一种实现方式中，配准融合模块52，具体用于将第一参考帧图像与待处理图像进行配准融合处理，得到融合图像。根据匹配度地图，对待处理图像以及融合图像进行合成，获取处理后的图像。

基于上述实现方式，配准融合模块52，具体用于获取待处理图像和第一参考帧图像的匹配度地图，其中，匹配度地图用于指示待处理图像和第一参考帧图像中对应位置的像素的匹配度。将第一参考帧图像与待处理图像进行配准融合处理，得到第三参考帧图像。根据匹配度地图、待处理图像以及第三参考帧图像，获取第三图像和第四图像，其中，第三图像包括待处理图像中与第三参考帧图像中像素不相同的区域，第四图像包括第三参考帧图像中与待处理图像中像素相同的区域。将第三图像和第四图像合成，得到处理后图像。

基于上述实现方式，配准融合模块52，还用于将待处理图像和第一参考帧图像中的每个像素逐一进行配准，得到待处理图像和第一参考帧图像的像素位置偏差数据。根据像素位置偏差数据，将第一参考帧图像中的每个像素的高频信息融合至待处理图像中对应的位置，得到第三参考帧图像。

基于上述实施方式，参照图15，图像处理装置还包括确定模块53，用于确定待处理图像中多个图像区域。获取多个图像区域中，与第一参考帧图像匹配的N个区域，其中，N为大于或等于1的整数。确定N个区域中待处理的区域。

相应的，配准融合模块52，用于对第一参考帧图像和待处理图像中的待处理区域进行配准融合处理，以将第一参考帧图像中与待处理图像中待处理区域匹配的图像信息融合到待处理图像中，得到处理后的图像。

需要说明的是，上述装置中各模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图16为本申请一实施例提供的通信设备的结构示意图。如图16所示，该终端设备6包括：至少一个处理器61(图16中仅示出一个)处理器、存储器62以及存储在所述存储器62中并可在所述至少一个处理器61上运行的计算机程序63，所述处理器61执行所述计算机程序63时实现上述图像处理方法各实施例中的步骤。

本领域技术人员可以理解，图16仅仅是通信设备6的举例，并不构成通信设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、图像获取设备、网络接入设备等。

其中，通信设备6可以是上述的云端设备，也可以是上述的终端设备，通信设备的数量也不做限制。例如，当通信设备6为云端设备时，可以实现上述云端设备所执行的步骤。如上述步骤S21、S22、S23、S24、S31、S32、S33等。当通信设备6为终端设备时，实现上述终端设备所执行的步骤，如S35。需要说明的是，当通信设备6为终端设备时，还需要另一个通信设备6(例如：云端设备)，与其共同执行本申请提供的图像处理方法，以完整实现本申请中图像处理方法的每个步骤。

处理器61可以是中央处理单元(Central Processing Unit，CPU)，该处理器61还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器62在一些实施例中可以是通信设备6的内部存储单元，例如终端设备6的硬盘或内存。存储器62在另一些实施例中也可以是通信设备6的外部存储设备，例如通信设备6上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器62还可以既包括终端设备6的内部存储单元也包括外部存储设备。存储器62用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。存储器62还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

上述的图像处理方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口、装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。