图像融合处理方法、装置、设备、存储介质及芯片

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像融合处理方法、装置、设备、存储介质及芯片。

背景技术

随着终端技术的发展，智能手机等终端设备的功能越来越丰富，而图像处理功能是终端设备重要功能之一。受限于终端设备的空间结构，终端设备的摄像头模组无法达到专业相机的拍摄水平，因而相关技术中通常通过对摄像头模组中多摄像头捕捉的多帧图像进行融合处理得到融合图像，以提高成像质量。然而，相关技术中的图像融合方法存在图像融合鬼影的问题，会影响输出图像的质量。

发明内容

为克服相关技术中存在的问题，本公开实施例提供一种图像融合处理方法、装置、设备、存储介质及芯片，用以解决相关技术中的缺陷。

根据本公开实施例的第一方面，提供一种图像融合处理方法，所述方法包括：

获取第一图像和第二图像，所述第一图像由电子设备的第一摄像头采集，所述第二图像由电子设备的第二摄像头采集，所述第一摄像头的视场角大于所述第二摄像头的视场角；

将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像；

基于所述第一图像和所述第三图像确定目标融合掩模图像，所述目标融合掩模图像中包括第一指示区域和第二指示区域，所述第一指示区域用于指示融合区域，所述第二指示区域用于指示非融合区域，所述第一指示区域和所述第二指示区域的边界为目标融合边界，所述目标融合边界设置于图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异；

基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像。

在一些实施例中，所述将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像，包括：

基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系；

基于所述图像仿射变换关系，将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像。

在一些实施例中，所述方法还包括：

基于预设处理方式对所述第一图像和所述第二图像进行预处理，得到预处理后的所述第一图像和所述第二图像，所述预设处理方式包括亮度矫正和色彩矫正中的至少一种；

基于预处理后的所述第一图像和所述第二图像，执行所述基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系的操作。

在一些实施例中，所述基于所述第一图像和所述第三图像确定目标融合掩模图像，包括：

确定所述第一图像与所述第三图像的像素差异和光流信息；

基于所述像素差异和所述光流信息确定第一融合掩模图像，所述第一融合掩模图像中包括第三指示区域和第四指示区域，所述第三指示区域用于指示融合区域，所述第四指示区域用于指示非融合区域，所述第三指示区域和所述第四指示区域的边界为第一融合边界；

对所述第一融合掩模图像进行降采样处理，得到第二融合掩模图像，所述第二融合掩模图像中包括第五指示区域和第六指示区域，所述第五指示区域用于指示融合区域，所述第六指示区域用于指示非融合区域，所述第五指示区域和所述第六指示区域的边界为第二融合边界；

将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像，所述图像差异包括所述第一图像与所述第三图像之间的差异；

对所述调整后的第二融合掩模图像进行升采样处理，得到所述目标融合掩模图像，所述目标融合边界基于调整后的所述第二融合边界的升采样得到。

在一些实施例中，所述基于所述像素差异和所述光流信息确定第一融合掩模图像，包括：

基于所述像素差异和所述光流信息，利用预设算法确定第一融合掩模图像，所述预设算法包括运动检测算法和遮挡检测算法中的至少一种。

在一些实施例中，所述将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像，包括：

在所述第二融合掩模图像中对所述第六指示区域进行距离变换，得到第一距离变换图像；

基于所述第一距离变换图像确定所述第二融合掩模图像中所述第二融合边界的调整范围；

确定所述第一图像与所述第三图像的像素差异；

基于所述像素差异确定所述调整范围内每个像素对应的设定窗口内像素差异的高斯加权平均值，得到高斯加权平均值图像；

基于所述高斯加权平均值图像，利用图割算法构造目标函数，所述目标函数中包括约束项和平滑项，所述约束项用于限制所述第二融合掩模图像中所述第五指示区域和所述第六指示区域的位置，所述平滑项用于基于所述高斯加权平均值图像将所述第二融合边界在所述调整范围内调整至图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异；

基于预设函数求解算法求解所述目标函数，得到调整后的第二融合掩模图像。

在一些实施例中，所述基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像，包括：

在所述目标融合图像的融合过渡区域内，基于预先确定的融合过渡权重对所述第三图像与所述第一图像进行融合，所述融合过渡区域对应于所述目标融合掩模图像中的预设融合过渡区域；

在所述目标融合图像的融合区域内，保留所述第三图像的像素值，所述融合区域对应于所述第一指示区域中除所述预设融合过渡区域外的区域；

在所述目标融合图像的非融合区域内，保留所述第一图像的像素值，所述非融合区域对应于所述第二指示区域。

在一些实施例中，所述方法还包括预先基于以下方式确定所述融合过渡权重：

在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第二距离变换图像；

基于所述第二距离变换图像确定所述预设融合过渡区域对应的融合过渡权重。

在一些实施例中，所述方法还包括：

对所述第三图像进行风格迁移，得到第四图像；

基于所述第四图像替代所述第三图像，执行所述基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像的操作。

在一些实施例中，所述对所述第三图像进行风格迁移，得到第四图像，包括：

将所述第三图像输入至预先训练的生成对抗网络中的生成器网络，得到所述第三图像到所述第一图像的风格迁移残差图像；

基于预先确定的风格过渡权重，将所述风格迁移残差图像叠加至所述第三图像的风格过渡区域，得到第四图像，所述第三图像的风格过渡区域对应于所述目标融合掩模图像的预设风格过渡区域。

在一些实施例中，所述方法还包括预先基于以下方式确定所述风格过渡权重：

在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第三距离变换图像；

基于所述第三距离变换图像确定所述目标融合掩模图像的预设风格过渡区域对应的风格过渡权重。

在一些实施例中，所述方法还包括预先基于以下方式对所述生成对抗网络进行训练：

获取多幅第一样本图像和多幅第三样本图像，所述第三样本图像包括将第二样本图像仿射变换至所述第一样本图像的坐标系下所得到的图像，所述第一样本图像由第一样本摄像头采集，所述第二样本图像由第二样本摄像头采集，所述第一样本摄像头的视场角大于所述第二样本摄像头的视场角；

将所述多幅第一样本图像和所述多幅第三样本图像作为判决器训练集，对所述生成对抗网络中的判决器网络进行训练，得到训练后的判决器网络，所述判决器网络用于基于图像风格的比较结果进行分类；

基于预设的滑动窗口分别在所述第一样本图像和所述第三样本图像上进行滑动；

响应于检测到所述滑动窗口内的两幅图像之间的结构相似度SSIM大于或等于设定阈值，将所述两幅图像作为一组训练图像；

重复获取一组训练图像的过程，并将得到的多组训练图像作为生成器训练集；

基于所述生成器训练集训练所述生成对抗网络中的生成器网络，得到训练后的生成器网络。

在一些实施例中，所述基于所述生成器训练集训练所述生成对抗网络中的生成器网络，包括：

构建生成器损失函数，所述损失函数中包括约束项、特征相似项以及生成项中的至少一项，所述约束项基于所述第三样本图像的风格变换后与自身的图像内容差异确定，所述特征相似项基于风格变换后的所述第三样本图像与所述第一样本图像的图像内容差异确定，所述生成项基于所述判决器网络的输出概率确定；

基于预设优化算法求解所述损失函数，得到训练后的生成器网络。

根据本公开实施例的第二方面，提供一种图像融合处理装置，所述装置包括：

图像获取模块，用于获取第一图像和第二图像，所述第一图像由电子设备的第一摄像头采集，所述第二图像由电子设备的第二摄像头采集，所述第一摄像头的视场角大于所述第二摄像头的视场角；

图像变换模块，用于将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像；

掩模确定模块，用于基于所述第一图像和所述第三图像确定目标融合掩模图像，所述目标融合掩模图像中包括第一指示区域和第二指示区域，所述第一指示区域用于指示融合区域，所述第二指示区域用于指示非融合区域，所述第一指示区域和所述第二指示区域的边界为目标融合边界，所述目标融合边界设置于图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异；

图像融合模块，用于基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像。

在一些实施例中，所述图像变换模块，包括：

关系获取单元，用于基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系；

图像变换单元，用于基于所述图像仿射变换关系，将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像。

在一些实施例中，所述图像变换模块，包括：

预处理单元，用于基于预设处理方式对所述第一图像和所述第二图像进行预处理，得到预处理后的所述第一图像和所述第二图像，所述预设处理方式包括亮度矫正和色彩矫正中的至少一种；

所述关系获取单元还用于基于预处理后的所述第一图像和所述第二图像，执行所述基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系的操作。

在一些实施例中，所述掩模确定模块，包括：

差异信息确定单元，用于确定所述第一图像与所述第三图像的像素差异和光流信息；

第一掩模确定单元，用于基于所述像素差异和所述光流信息确定第一融合掩模图像，所述第一融合掩模图像中包括第三指示区域和第四指示区域，所述第三指示区域用于指示融合区域，所述第四指示区域用于指示非融合区域，所述第三指示区域和所述第四指示区域的边界为第一融合边界；

第二掩模获取单元，用于对所述第一融合掩模图像进行降采样处理，得到第二融合掩模图像，所述第二融合掩模图像中包括第五指示区域和第六指示区域，所述第五指示区域用于指示融合区域，所述第六指示区域用于指示非融合区域，所述第五指示区域和所述第六指示区域的边界为第二融合边界；

融合边界调整单元，用于将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像，所述图像差异包括所述第一图像与所述第三图像之间的差异；

目标掩模获取单元，用于对所述调整后的第二融合掩模图像进行升采样处理，得到所述目标融合掩模图像，所述目标融合边界基于调整后的所述第二融合边界的升采样得到。

在一些实施例中，所述第一掩模确定单元还用于基于所述像素差异和所述光流信息，利用预设算法确定第一融合掩模图像，所述预设算法包括运动检测算法和遮挡检测算法中的至少一种。

在一些实施例中，所述融合边界调整单元还用于：

在所述第二融合掩模图像中对所述第六指示区域进行距离变换，得到第一距离变换图像；

基于所述第一距离变换图像确定所述第二融合掩模图像中所述第二融合边界的调整范围；

确定所述第一图像与所述第三图像的像素差异；

基于所述像素差异确定所述调整范围内每个像素对应的设定窗口内像素差异的高斯加权平均值，得到高斯加权平均值图像；

基于所述高斯加权平均值图像，利用图割算法构造目标函数，所述目标函数中包括约束项和平滑项，所述约束项用于限制所述第二融合掩模图像中所述第五指示区域和所述第六指示区域的位置，所述平滑项用于基于所述高斯加权平均值图像将所述第二融合边界在所述调整范围内调整至图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异；

基于预设函数求解算法求解所述目标函数，得到调整后的第二融合掩模图像。

在一些实施例中，所述图像融合模块，包括：

第一融合单元，用于在所述目标融合图像的融合过渡区域内，基于预先确定的融合过渡权重对所述第三图像与所述第一图像进行融合，所述融合过渡区域对应于所述目标融合掩模图像中的预设融合过渡区域；

第二融合单元，用于在所述目标融合图像的融合区域内，保留所述第三图像的像素值，所述融合区域对应于所述第一指示区域中除所述预设融合过渡区域外的区域；

第三融合单元，用于在所述目标融合图像的非融合区域内，保留所述第一图像的像素值，所述非融合区域对应于所述第二指示区域。

在一些实施例中，所述图像融合模块，还包括融合过渡权重确定单元；

所述融合过渡权重确定单元，用于：

在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第二距离变换图像；

基于所述第二距离变换图像确定所述预设融合过渡区域对应的融合过渡权重。

在一些实施例中，所述装置还包括：

风格迁移模块，用于对所述第三图像进行风格迁移，得到第四图像；

所述图像融合模块还用于基于所述第四图像替代所述第三图像，执行所述基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像的操作。

在一些实施例中，所述风格迁移模块，包括：

残差图像获取单元，用于将所述第三图像输入至预先训练的生成对抗网络中的生成器网络，得到所述第三图像到所述第一图像的风格迁移残差图像；

第四图像获取单元，用于基于预先确定的风格过渡权重，将所述风格迁移残差图像叠加至所述第三图像的风格过渡区域，得到第四图像，所述第三图像的风格过渡区域对应于所述目标融合掩模图像的预设风格过渡区域。

在一些实施例中，所述风格迁移模块还包括风格过渡权重确定单元；

所述风格过渡权重确定单元，用于：

在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第三距离变换图像；

基于所述第三距离变换图像确定所述目标融合掩模图像的预设风格过渡区域对应的风格过渡权重。

在一些实施例中，所述装置还包括生成对抗网络训练模块；

所述生成对抗网络训练模块，包括：

样本获取单元，用于获取多幅第一样本图像和多幅第三样本图像，所述第三样本图像包括将第二样本图像仿射变换至所述第一样本图像的坐标系下所得到的图像，所述第一样本图像由第一样本摄像头采集，所述第二样本图像由第二样本摄像头采集，所述第一样本摄像头的视场角大于所述第二样本摄像头的视场角；

判决器训练单元，用于将所述多幅第一样本图像和所述多幅第三样本图像作为判决器训练集，对所述生成对抗网络中的判决器网络进行训练，得到训练后的判决器网络，所述判决器网络用于基于图像风格的比较结果进行分类；

窗口滑动单元，用于基于预设的滑动窗口分别在所述第一样本图像和所述第三样本图像上进行滑动；

图像确定单元，用于响应于检测到所述滑动窗口内的两幅图像之间的结构相似度SSIM大于或等于设定阈值，将所述两幅图像作为一组训练图像；

训练集确定单元，用于重复获取一组训练图像的过程，并将得到的多组训练图像作为生成器训练集；

生成器训练单元，用于基于所述生成器训练集训练所述生成对抗网络中的生成器网络，得到训练后的生成器网络。

在一些实施例中，所述生成器训练单元还用于：

构建生成器损失函数，所述损失函数中包括约束项、特征相似项以及生成项中的至少一项，所述约束项基于所述第三样本图像的风格变换后与自身的图像内容差异确定，所述特征相似项基于风格变换后的所述第三样本图像与所述第一样本图像的图像内容差异确定，所述生成项基于所述判决器网络的输出概率确定；

基于预设优化算法求解所述损失函数，得到训练后的生成器网络。

根据本公开实施例的第三方面，提供一种电子设备，所述设备包括：

第一摄像头、第二摄像头、处理器以及用于存储计算机程序的存储器；

其中，所述处理器被配置为在执行所述计算机程序时，实现：

获取第一图像和第二图像，所述第一图像由所述第一摄像头采集，所述第二图像由所述第二摄像头采集，所述第一摄像头的视场角大于所述第二摄像头的视场角；

将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像；

基于所述第一图像和所述第三图像确定目标融合掩模图像，所述目标融合掩模图像中包括第一指示区域和第二指示区域，所述第一指示区域用于指示融合区域，所述第二指示区域用于指示非融合区域，所述第一指示区域和所述第二指示区域的边界为目标融合边界，所述目标融合边界设置于图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异；

基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现：

获取第一图像和第二图像，所述第一图像由电子设备的第一摄像头采集，所述第二图像由电子设备的第二摄像头采集，所述第一摄像头的视场角大于所述第二摄像头的视场角；

将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像；

基于所述第一图像和所述第三图像确定目标融合掩模图像，所述目标融合掩模图像中包括第一指示区域和第二指示区域，所述第一指示区域用于指示融合区域，所述第二指示区域用于指示非融合区域，所述第一指示区域和所述第二指示区域的边界为目标融合边界，所述目标融合边界设置于图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异；

基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像。

根据本公开实施例的第五方面，提供一种芯片，包括：

处理器和接口；

所述处理器用于通过所述接口读取指令以执行上述任一项所述的图像融合处理方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开通过获取第一图像和第二图像，并将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像，然后基于所述第一图像和所述第三图像确定目标融合掩模图像，进而可以基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像，由于目标融合掩模图像中的目标融合边界设置于图像差异满足设定条件的位置，因而可以通过设定条件将目标融合边界限制在图像差异最小的位置，从而可以避免图像融合时在目标融合图像中的融合边界处产生鬼影的问题，并且还可以在保证融合效果的基础上适当缩小融合过渡区域的宽度，相比于相关技术中的融合过渡方式，可实现窄融合过渡的效果，可以进一步避免融合边界处产生鬼影的问题，进而以提高电子设备输出图像的质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1A是根据本公开一示例性实施例示出的一种图像融合处理方法的流程图；

图1B是根据本公开一示例性实施例示出的第一图像的示意图；

图1C是根据本公开一示例性实施例示出的第三图像的示意图；

图1D是根据本公开一示例性实施例示出的一种目标融合掩模图像的示意图；

图1E是根据本公开一示例性实施例示出的目标融合图像的示意图；

图2是根据本公开一示例性实施例示出的如何得到第三图像的流程图；

图3是根据本公开一示例性实施例示出的如何基于所述第一图像和所述第三图像确定目标融合掩模图像的流程图；

图4A是根据本公开一示例性实施例示出的如何将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置的流程图；

图4B是根据本公开一示例性实施例示出的第二融合掩模图像的示意图；

图4C是根据本公开一示例性实施例示出的第一距离变换图像的示意图；

图4D是根据本公开一示例性实施例示出的第二融合边界的调整范围的示意图；

图5是根据本公开再一示例性实施例示出的如何确定所述融合过渡权重的流程图；

图6A是根据本公开一示例性实施例示出的如何对所述第三图像进行风格迁移的流程图；

图6B是根据本公开一示例性实施例示出的第三图像的示意图；

图7是根据本公开一示例性实施例示出的如何确定所述风格过渡权重的流程图；

图8是根据本公开一示例性实施例示出的如何对所述生成对抗网络进行训练的流程图；

图9是根据本公开一示例性实施例示出的如何基于所述生成器训练集训练所述生成对抗网络中的生成器网络的流程图；

图10是根据本公开一示例性实施例示出的一种图像融合处理装置的框图；

图11是根据本公开一示例性实施例示出的又一种图像融合处理装置的框图；

图12是根据本公开一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1A是根据一示例性实施例示出的一种图像融合处理方法的流程图；本实施例的方法可以应用于具有第一摄像头(如，广角摄像头等)和第二摄像头(如，长焦摄像头等)的电子设备。

如图1A所示，该方法包括以下步骤S101-S102：

在步骤S101中，获取第一图像和第二图像。

本实施例中，上述第一图像可以由电子设备的第一摄像头采集，上述第二图像可以由电子设备的第二摄像头采集。

举例来说，上述第一图像可以是广角镜头拍摄的解析力较低但更视场较广的图像(如图1B所示)，而上述第二图像可以是长焦镜头拍摄的解析力较高但视场较小的图像(图中未示出)。

在步骤S102中，将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像。

本实施例中，当获取第一图像和第二图像后，可以将所述第二图像仿射变换(warp)至第一图像的坐标系下，得到第三图像(如图1C所示)。

值得说明的是，上述对第二图像进行仿射变换的方式可以参见相关技术中的解释和说明，本实施例对此不进行限定。

在另一些实施例中，上述将所述第二图像仿射变换至第一图像的坐标系下的方式还可以参见下述图2所示实施例，在此先不进行详述。

在步骤S103中，基于所述第一图像和所述第三图像确定目标融合掩模图像。

举例来说，图1D是根据本公开一示例性实施例示出的一种目标融合掩模图像的示意图。如图1D所示，该目标融合掩模(Mask)图像中包括第一指示区域(即，图1D中的白色区域)和第二指示区域(即，图1D中的黑色区域)，该第一指示区域用于指示融合区域，该第二指示区域用于指示非融合区域，且第一指示区域和第二指示区域的边界为目标融合边界。

本实施例中，上述目标融合边界设置于图像差异满足设定条件(如，图像差异最小)的位置，其中，该图像差异包括第一图像与第三图像之间的差异。

在一些实施例中，当将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像后，可以基于相关技术中的掩模图像生成方式生成初始融合掩模图像，再通过对该初始融合掩模图像中的融合边界进行调整，使得融合边界位于图像差异最小的位置。

在另一些实施例中，上述基于所述第一图像和所述第三图像确定目标融合掩模图像的方式还可以参见下述图3所示实施例，在此先不进行详述。

在步骤S104中，基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像。

本实施例中，当基于所述第一图像和所述第三图像确定目标融合掩模图像后，可以基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像。

举例来说，图1E是根据本公开一示例性实施例示出的目标融合图像的示意图。本实施例中，当进行图像融合时，为了使图像融合过渡的更加自然，还可以预先在目标融合掩模图像中设置融合过渡区域(为了便于区分，以下称为预设融合过渡区域)。示例性地，可以将目标融合掩模图像中目标融合边界的外侧设定宽度(如，5等)的区域作为预设融合过渡区域。

如图1E所示，在目标融合图像的融合过渡区域(即Sb，该区域对应于目标融合掩模图像中的预设融合过渡区域)内，可以基于预先确定的融合过渡权重对所述第三图像与所述第一图像进行融合。

在一实施例中，上述融合过渡权重的确定方式可以参见下述图5所示实施例，在此先不进行详述。

另一方面，在目标融合图像的融合区域内，可以保留上述第三图像的像素值，其中，该融合区域对应于所述目标融合掩模图像中的第一指示区域中除所述预设融合过渡区域外的区域(即，融合区域中除掉融合过渡区域的部分)。

而在目标融合图像的非融合区域内，则可以保留上述第一图像的像素值，其中，该非融合区域对应于所述目标融合掩模图像中的第二指示区域。

在一些实施例中，为了确保目标融合图像的整体图像风格一致，可以在基于目标融合掩模图像对所述第三图像与所述第一图像进行融合之前，先对所述第三图像进行风格迁移，得到第四图像，进而再基于所述第四图像替代所述第三图像，与第一图像进行图像融合，得到目标融合图像。

值得说明的是，上述对所述第三图像进行风格迁移的方式可以参见相关技术中的图像风格迁移方案，本实施例对此不进行限定。

在另一些实施例中，上述对所述第三图像进行风格迁移的方式还可以参见下述图6A所示实施例，在此先不进行详述。

由上述描述可知，本实施例通过获取第一图像和第二图像，并将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像，然后基于所述第一图像和所述第三图像确定目标融合掩模图像，进而可以基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像，由于目标融合掩模图像中的目标融合边界设置于图像差异满足设定条件的位置，因而可以通过设定条件将目标融合边界限制在图像差异最小的位置，从而可以避免图像融合时在目标融合图像中的融合边界处产生鬼影的问题，并且还可以在保证融合效果的基础上适当缩小融合过渡区域的宽度，相比于相关技术中的融合过渡方式，可实现窄融合过渡的效果，可以进一步避免融合边界处产生鬼影的问题，进而以提高电子设备输出图像的质量。

图2是根据本公开一示例性实施例示出的如何得到第三图像的流程图；本实施例在上述实施例的基础上以如何得到第三图像为例进行示例性说明。如图2所示，上述步骤S102中所述的将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像，可以包括以下步骤S201-S202：

在步骤S201中，基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系。

本实施例中，可以通过特征点匹配和光流等算法完成对第一图像和第二图像的配准。示例性的，可以ORB(Oriented Fast and Rotated Brief，快速定向旋转)方法进行特征点匹配，和/或，基于PWC-Net(光流学习网络)算法确定第一图像和第二图像的光流信息。

在一些实施例中，为例确保后续进行图像融合所得的目标融合图像的色彩和/或亮度呈现整体一致性，因而在基于所述第一图像和所述第二图像进行图像配准之前，可以先基于预设处理方式对所述第一图像和所述第二图像进行预处理，得到预处理后的所述第一图像和预处理后的所述第二图像，进而再基于预处理后的所述第一图像和预处理后的所述第二图像进行图像配准，以得到图像仿射变换关系。

其中，上述预设处理方式可以包括亮度矫正和色彩矫正中的至少一种。

在步骤S202中，基于所述图像仿射变换关系，将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像。

本实施例中，当基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系后，可以基于所述图像仿射变换关系，将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像。

举例来说，当得到上述图像仿射变换关系后，可以基于该图像仿射变换关系中记录的每个像素点的变换关系，将第二图像中的每个像素点仿射变换到第一图像的坐标系下，从而可以得到第三图像。

由上述描述可知，本实施例通过基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系，并基于所述图像仿射变换关系，将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像，可以实现准确地将所述第二图像仿射变换至第一图像的坐标系下，进而可以实现后续基于得到的第三图像与第一图像进行融合，可以避免融合边界处产生鬼影的问题，进而以提高电子设备输出图像的质量。

图3是根据本公开一示例性实施例示出的如何基于所述第一图像和所述第三图像确定目标融合掩模图像的流程图；本实施例在上述实施例的基础上以如何基于所述第一图像和所述第三图像确定目标融合掩模图像为例进行示例性说明。

如图3所示，上述步骤S103中所述的基于所述第一图像和所述第三图像确定目标融合掩模图像，可以包括以下步骤S301-S302：

在步骤S301中，确定所述第一图像与所述第三图像的像素差异和光流信息。

本实施例中，当需要基于所述第一图像和所述第三图像确定目标融合掩模图像时，可以先确定所述第一图像与所述第三图像的像素差异和光流信息。

其中，上述第一图像和第三图像的像素差异可以基于相关技术中的像素差异计算方式进行计算，本实施例对此不进行限定。

在一些实施例中，可以基于PWC-Net(光流学习网络)算法确定第一图像和第二图像的光流信息。

在步骤S302中，基于所述像素差异和所述光流信息确定第一融合掩模图像。

本实施例中，当确定所述第一图像与所述第三图像的像素差异和光流信息后，可以基于所述像素差异和所述光流信息确定第一融合掩模图像，其中，该第一融合掩模图像中包括第三指示区域和第四指示区域，该第三指示区域用于指示融合区域，第四指示区域用于指示非融合区域，该第三指示区域和第四指示区域的边界为第一融合边界。

在一些实施例中，可以基于上述像素差异和光流信息，利用预设算法确定第一融合掩模图像。示例性地，上述预设算法可以包括相关技术中的运动检测算法和遮挡检测算法中的至少一种。

在步骤S303中，对所述第一融合掩模图像进行降采样处理，得到第二融合掩模图像。

本实施例中，当基于所述像素差异和所述光流信息确定第一融合掩模图像后，为了提高后续进行融合边界调整的速度，因而对所述第一融合掩模图像进行降采样处理，得到第二融合掩模图像。

值得说明的是，上述进行降采样处理的频率可以基于业务经验或实际场景的需求进行灵活设置，如设置为4:1(即，每4个点中保留1个点)等，本实施例对此不进行限定。

其中，上述第二融合掩模图像中包括第五指示区域和第六指示区域，该第五指示区域用于指示融合区域，该第六指示区域用于指示非融合区域，该第五指示区域和第六指示区域的边界为第二融合边界(即，降采样后的第一融合边界)。

在步骤S304中，将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像。

本实施例中，当对所述第一融合掩模图像进行降采样处理，得到第二融合掩模图像后，可以将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像。其中，上述图像差异包括第一图像与第三图像之间的差异。

示例性地，上述图像差异满足设定条件的位置包括图像差异最小的位置。

在一些实施例中，可以基于第一图像与第三图像之间的差异，将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置。

在另一些实施例中，上述将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置的方式还可以参见下述图4A所示实施例，在此先不进行赘述。

在步骤S305中，对所述调整后的第二融合掩模图像进行升采样处理，得到所述目标融合掩模图像。

本实施例中，当将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像后，可以对所述调整后的第二融合掩模图像进行升采样处理，得到所述目标融合掩模图像，即将调整后的第二融合掩模图像通过尺寸变换(Resize)到第一融合掩模图像的大小，得到目标融合掩模图像。其中，目标融合掩模图像中的目标融合边界即为升采样后的上述“调整后的所述第二融合边界”。

可以理解的是，在上述进行降采样处理的频率为4:1的情况下，则此步骤中进行升采样处理的频率可以为1:4(即，新插入3个点)，本实施例对此不进行限定。

由上述描述可知，本实施例通过确定所述第一图像与所述第三图像的像素差异和光流信息，基于所述像素差异和所述光流信息确定第一融合掩模图像，然后对所述第一融合掩模图像进行降采样处理，得到第二融合掩模图像，以及将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像，进而对所述调整后的第二融合掩模图像进行升采样处理，得到所述目标融合掩模图像，可以实现准确地确定目标融合掩模图像，为后续基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合奠定基础，并且由于是先对第一融合掩模图像进行降采样处理，再针对得到的第二融合掩模图像进行融合边界调整，可以实现小尺度的融合边界调整，相比于在原尺度上直接进行融合边界调整，可以提高边界调整的速度，进而可以提高后续输出图像的效率。

图4A是根据本公开一示例性实施例示出的如何将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置的流程图；图4B是根据本公开一示例性实施例示出的第二融合掩模图像的示意图；图4C是根据本公开一示例性实施例示出的第一距离变换图像的示意图；图4D是根据本公开一示例性实施例示出的第二融合边界的调整范围的示意图。

本实施例在上述实施例的基础上以如何将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置为例进行示例性说明。

如图3所示，上述步骤S304中所述的将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像，可以包括以下步骤S401-S406：

在步骤S401中，在所述第二融合掩模图像中对所述第六指示区域进行距离变换，得到第一距离变换图像。

本实施例中，当需要调整第二融合掩模图像(如图4B所示的图像)中的第二融合边界(即图4B所示的黑色区域与白色区域的交界)时，可以先在所述第二融合掩模图像中对所述第六指示区域进行距离变换，得到第一距离变换图像(如图4C所示的图像)。

如图4C所示，该第一距离变换图像可以用于表征第二融合掩模图像中各个像素与第二融合边界之间的距离。也即是说，该图像中不同颜色区域可以用于指示与第二融合边界之间的不同距离。

值得说明的是，上述进行距离变换的方式可以参见相关技术中的解释和说明，本实施例对此不进行限定。

在步骤S402中，基于所述第一距离变换图像确定所述第二融合掩模图像中所述第二融合边界的调整范围。

本实施例中，当在所述第二融合掩模图像中对所述第六指示区域进行距离变换，得到第一距离变换图像后，可以基于所述第一距离变换图像确定所述第二融合掩模图像中所述第二融合边界的调整范围(如图4D所示的调整范围S)。

如图4D所示，可以将距离为[a,b]的范围定设置为第二融合边界的调整范围S。示例性地，a≤0(即，a可以为负数)，b＝20。也即是说，将第二融合边界向外扩出距离为20的宽度，作为该第二融合边界的调整范围S。

在步骤S403中，确定所述第一图像与所述第三图像的像素差异。

本实施例中，当基于所述第一距离变换图像确定所述第二融合掩模图像中所述第二融合边界的调整范围后，可以确定所述第一图像与所述第三图像的像素差异。

举例来说，假设第一图像为I

|I

在步骤S404中，基于所述像素差异确定所述调整范围内每个像素对应的设定窗口内像素差异的高斯加权平均值，得到高斯加权平均值图像。

本实施例中，当确定所述第一图像与所述第三图像的像素差异后，可以基于所述像素差异确定所述调整范围内每个像素对应的设定窗口内像素差异的高斯加权平均值，得到高斯加权平均值图像，该图像可以用于描述第一图像与第三图像的像素差异。

举例来说，可以基于下式(4-2)确定上述高斯加权平均值图像D(p)：

D(p)＝∑

上式中，N为p

在步骤S405中，基于所述高斯加权平均值图像，利用图割算法构造目标函数。

本实施例中，目标函数中包括约束项和平滑项，所述约束项用于限制所述第二融合掩模图像中所述第五指示区域和所述第六指示区域的位置，所述平滑项用于基于所述高斯加权平均值图像将所述第二融合边界在所述调整范围内调整至图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异。

举例来说，可以构造如下式(4-3)所述的目标函数E：

E＝∑

上式中，S为上述调整范围内点的集合，N为P点对应于原图位置处设定窗口内像素点的集合，q点为设定窗口内位于P点周围的点；E

在一些实施例中，上述约束项E

上式中，

由上式(4-5)可知：

(1)当S(p)≠{a,b}，即S中的p点不在调整范围{a,b}内时，令E

由(1)可知，本实施例在调整第二融合边界时，并不关注位于调整范围之外的点。

(2)当

(3)当

由(2)和(3)可知，本实施例在调整第二融合边界时，规定边界线a属于第六指示区域。

(4)当

(5)当

由(4)和(5)可知，本实施例在调整第二融合边界时，规定边界线b属于第五指示区域。

也即是说，本实施例中在调整第二融合掩模图像中的第二融合边界时，先划分{a,b}(即，边界线a到边界线b之间的区域)为调整范围，并将边界线a以内(包含边界线a)的区域设置为第六指示区域(即，指示非融合区域的区域)，以及将边界线b以外(包含边界线b)的区域设置为第五指示区域(即，指示融合区域的区域)；在后续步骤中，将第二融合边界在调整范围{a,b}进行调整。

在一些实施例中，上述平滑项E

其中，D(p)和D(q)分别为p点和q点的高斯加权平均值图像，

由上式(4-6)可知，当

也即是说，本实施例中在调整第二融合掩模图像中的第二融合边界时，可以迫使第二融合边界向着

在步骤S406中，基于预设函数求解算法求解所述目标函数，得到调整后的第二融合掩模图像。

本实施例中，当基于所述高斯加权平均值图像，利用图割算法构造目标函数后，可以基于预设函数求解算法求解所述目标函数，得到调整后的第二融合掩模图像。

值得说明的是，上述预设函数求解算法可以基于实际业务需要进行设置，如设置为Boykov–Kolmogorov算法等，本实施例对此不进行限定。

由上述描述可知，本实施例通过在所述第二融合掩模图像中对所述第六指示区域进行距离变换，得到第一距离变换图像，基于所述第一距离变换图像确定所述第二融合掩模图像中所述第二融合边界的调整范围，并确定所述第一图像与所述第三图像的像素差异，基于所述像素差异确定所述调整范围内每个像素对应的设定窗口内像素差异的高斯加权平均值，得到高斯加权平均值图像，进而基于所述高斯加权平均值图像，利用图割算法构造目标函数，再基于预设函数求解算法求解所述目标函数，得到调整后的第二融合掩模图像，可以通过构建并求解目标函数实现将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，进而可以实现后续对所述调整后的第二融合掩模图像进行升采样处理，得到所述目标融合掩模图像奠定基础。

图5是根据本公开再一示例性实施例示出的如何确定所述融合过渡权重的流程图；本实施例在上述实施例的基础上以如何确定所述融合过渡权重为例进行示例性说明。

如图5所示，本实施例的图像融合处理方法在上述实施例的基础上，还可以包括预先基于以下步骤S501-S502确定所述融合过渡权重：

在步骤S501中，在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第二距离变换图像。

本实施例中，当得到目标融合掩模图像后，可以在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第二距离变换图像。

其中，上述第二距离变换图像可以用于表征目标融合掩模图像中各个像素与目标融合边界之间的距离。

值得说明的是，上述进行距离变换的方式可以参见相关技术中的解释和说明，本实施例对此不进行限定。

在步骤S502中，基于所述第二距离变换图像确定所述预设融合过渡区域对应的融合过渡权重。

本实施例中，当在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第二距离变换图像后，可以基于所述第二距离变换图像确定所述预设融合过渡区域对应的融合过渡权重。

在一些实施例中，当得到上述第二距离变换图像后，可以基于所述第二距离变换图像，将距离预设融合过渡区域的边界越近的点对应的融合过渡权重设置的越大，而将距离预设融合过渡区域的边界越远的点对应的融合过渡权重设置的越小，其中，上述点为预设融合过渡区域中的点。

举例来说，可以基于下式(5-1)确定融合过渡权重W

其中，s

由上述描述可知，本实施例通过在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第二距离变换图像，并基于所述第二距离变换图像确定所述预设融合过渡区域对应的融合过渡权重，可以实现准确地确定融合过渡权重，进而可以实现后续在所述目标融合图像的融合过渡区域内，基于融合过渡权重对所述第三图像与所述第一图像进行融合，可以更好地避免融合边界处产生鬼影的问题，进而以提高电子设备输出图像的质量。

图6A是根据本公开一示例性实施例示出的如何对所述第三图像进行风格迁移的流程图；本实施例在上述实施例的基础上以如何对所述第三图像进行风格迁移为例进行示例性说明。

如图6A所示，本实施例的图像融合处理方法在上述实施例的基础上，还可以包括预先基于以下步骤S601-S602对所述第三图像进行风格迁移：

在步骤S601中，将所述第三图像输入至预先训练的生成对抗网络中的生成器网络，得到所述第三图像到所述第一图像的风格迁移残差图像。

本实施例中，当需要对所述第三图像进行风格迁移时，可以将所述第三图像输入至预先训练的生成对抗网络中的生成器网络，以通过该生成器网络生成第三图像到第一图像的风格迁移残差图像。

举例来说，可以基于第一样本摄像头和第二样本摄像头分别采集的第一样本图像和第二样本图像，再将第二样本图像仿射变换到第一样本图像的坐标系，得到第三样本图像，进而基于第一样本图像和第二样本图像训练上述生成对抗网络(GenerativeAdversarial Networks，简称GAN)。该训练后的生成对抗网络中的生成器网络可以用于基于输入的第三图像生成第三图像到第一图像的风格迁移残差图像。

其中，上述第一样本摄像头可以为与第一摄像头的型号相同的广角摄像头，上述第二样本摄像头可以为与第二摄像头的型号相同的长焦摄像头。

在步骤S602中，基于预先确定的风格过渡权重，将所述风格迁移残差图像叠加至所述第三图像的风格过渡区域，得到第四图像。

举例来说，图6B是根据本公开一示例性实施例示出的第三图像的示意图；

本实施例中，当进行图像融合时，为了使图像风格融合的更加自然，还可以预先在目标融合掩模图像中设置风格过渡区域(为了便于区分，以下称为预设风格过渡区域)。示例性地，可以将目标融合掩模图像中目标融合边界的外侧设定宽度(如，20等)的区域作为预设风格过渡区域。

如图6B所示，当得到风格迁移残差图像后，基于预先确定的风格过渡权重，将该风格迁移残差图像叠加至第三图像的风格过渡区域，(即Sa，该区域对应于目标融合掩模图像中的预设融合过渡区域)，从而得到第四图像。

在一实施例中，上述风格过渡权重的确定方式可以参见下述图7所示实施例，在此先不进行详述。

由上述描述可知，本实施例通过将所述第三图像输入至预先训练的生成对抗网络中的生成器网络，得到所述第三图像到所述第一图像的风格迁移残差图像，并基于预先确定的风格过渡权重，将所述风格迁移残差图像叠加至所述第三图像的风格过渡区域，得到第四图像，可以实现对所述第三图像进行风格迁移，进而可以实现后续基于上述第四图像替代所述第三图像与第一图像进行图像融合，得到目标融合图像，可以确保目标融合图像的整体图像风格一致，从而可以避免融合边界处产生缝合痕迹的问题，可以进一步提高电子设备输出图像的质量。

图7是根据本公开一示例性实施例示出的如何确定所述风格过渡权重的流程图；本实施例在上述实施例的基础上以如何确定所述风格过渡权重为例进行示例性说明。

如图7所示，本实施例的图像融合处理方法在上述实施例的基础上，还可以包括预先基于以下步骤S701-S702确定风格过渡权重：

在步骤S701中，在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第三距离变换图像；

本实施例中，当得到目标融合掩模图像后，可以在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第三距离变换图像。

其中，上述第三距离变换图像可以用于表征目标融合掩模图像中各个像素与目标融合边界之间的距离。

值得说明的是，上述进行距离变换的方式可以参见相关技术中的解释和说明，本实施例对此不进行限定。

在步骤S702中，基于所述第三距离变换图像确定所述目标融合掩模图像的预设风格过渡区域对应的风格过渡权重。

本实施例中，当在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第三距离变换图像后，可以基于所述第三距离变换图像确定所述目标融合掩模图像的预设风格过渡区域对应的风格过渡权重。

在一些实施例中，当得到上述第三距离变换图像后，可以基于所述第三距离变换图像，将距离预设风格过渡区域的边界越近的点对应的融合过渡权重设置的越大，而将距离预设风格过渡区域的边界越远的点对应的融合过渡权重设置的越小，其中，上述点为预设融合过渡区域中的点。

举例来说，可以基于下式(7-1)确定风格过渡权重W

其中，s

由上述描述可知，本实施例通过在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第三距离变换图像，并基于所述第三距离变换图像确定所述目标融合掩模图像的预设风格过渡区域对应的风格过渡权重，可以实现准确地确定风格过渡权重，进而可以实现后续基于该风格过渡权重，将所述风格迁移残差图像叠加至所述第三图像的风格过渡区域，得到第四图像，可以确保融合图像的风格一致，从而可以避免融合边界处产生缝合痕迹的问题，可以进一步提高电子设备输出图像的质量。

图8是根据本公开一示例性实施例示出的如何对所述生成对抗网络进行训练的流程图；本实施例在上述实施例的基础上以如何对所述生成对抗网络进行训练为例进行示例性说明。

如图8所示，本实施例的图像融合处理方法还可以包括基于以下步骤S801-S806对所述生成对抗网络进行训练：

在步骤S801中，获取多幅第一样本图像和多幅第三样本图像。

本实施例中，上述第三样本图像可以包括将第二样本图像仿射变换至所述第一样本图像的坐标系下所得到的图像，上述第一样本图像可以由第一样本摄像头采集，上述第二样本图像可以由第二样本摄像头采集。上述第一样本摄像头可以为与第一摄像头的型号相同的广角摄像头，上述第二样本摄像头可以为与第二摄像头的型号相同的长焦摄像头，因而第一样本摄像头的视场角大于第二样本摄像头的视场角。

在步骤S802中，将所述多幅第一样本图像和所述多幅第三样本图像作为判决器训练集，对所述生成对抗网络中的判决器网络进行训练，得到训练后的判决器网络。

其中，上述判决器网络可以用于基于图像风格的比较结果(即，将第三图像与风格迁移残差图像叠加得到的第四图像，与第一图像的风格进行比较所得的结果)进行分类，例如：当相似度高于或等于设定相似度阈值，输出1；当相似度低于设定相似度阈值，输出0。

举例来说，可以将大量的第一样本图像标记为1，大量的第三样本图像标记为0，并将这些样本图像作为判决器训练集对预先构建的判决器网络进行分类训练，得到训练后的判决器网络D。其中，判决器网络的类型可以基于实际需要进行设置，如设置为VGG16模型等，该VGG16模型可以具有13个卷积层和3个全连接层。

在步骤S803中，基于预设的滑动窗口分别在所述第一样本图像和所述第三样本图像上进行滑动。

本实施例中，可以使用预设的滑动窗口在第一样本图像和第三样本图像上进行滑动，并检测滑动窗口内的两幅图像之间的结构相似度(Structural Similarity，简称SSIM)。

值得说明的是，上述滑动窗口的大小可以基于实际需要进行设置，如设置为512x512等，本实施例对此不进行限定。

在步骤S804中，响应于检测到所述滑动窗口内的两幅图像之间的结构相似度SSIM大于或等于设定阈值，将所述两幅图像作为一组训练图像。

本实施例中，当检测到滑动窗口内的两幅图像之间的结构相似度SSIM大于或等于设定阈值T时，可以将所述两幅图像作为一组训练图像。

值得说明的是，上述设定阈值T的大小可以基于实际需要进行设置，如设置为0.95等，本实施例对此不进行限定。

在步骤S805中，重复获取一组训练图像的过程，并将得到的多组训练图像作为生成器训练集。

本实施例中，在多对图像中重复上述步骤S804所述的过程，可以得到多组训练图像，进而可以构成生成器训练集。

在步骤S806中，基于所述生成器训练集训练所述生成对抗网络中的生成器网络，得到训练后的生成器网络。

本实施例中，当得到上述生成器训练集后，基于所述生成器训练集训练所述生成对抗网络中的生成器网络，得到训练后的生成器网络G。

当训练完成后，可以基于上述生成器网络生成第三图像到第一图像的风格迁移残差图像。

由上述描述可知，本实施例可以实现基于样本图像对抗网络进行训练，进而可以实现后续将所述第三图像输入至训练好的生成对抗网络中的生成器网络，得到所述第三图像到所述第一图像的风格迁移残差图像，从而实现对所述第三图像进行风格迁移，可以确保目标融合图像的整体图像风格一致，从而可以避免融合边界处产生缝合痕迹的问题，可以进一步提高电子设备输出图像的质量。

图9是根据本公开一示例性实施例示出的如何基于所述生成器训练集训练所述生成对抗网络中的生成器网络的流程图；本实施例在上述实施例的基础上以如何基于所述生成器训练集训练所述生成对抗网络中的生成器网络为例进行示例性说明。

如图9所示，上述步骤S806中所述的基于所述生成器训练集训练所述生成对抗网络中的生成器网络，可以包括以下步骤S901-S902：

在步骤S901中，构建生成器损失函数。

其中，所述损失函数中包括约束项、特征相似项以及生成项中的至少一项，所述约束项基于所述第三样本图像的风格变换后与自身的图像内容差异确定，所述特征相似项基于风格变换后的所述第三样本图像与所述第一样本图像的图像内容差异确定，所述生成项基于所述判决器网络的输出概率确定。

举例来说，可以基于下式(9-1)构建生成器损失函数Loss：

Loss＝α·l

上式中，l

l

l

α、β和γ分别为各项的权重调整因子。

示例性地，约束项l

该式中，W和H分别为第三图像的宽和高，

示例性地，特征相似项l

该式中，W

示例性地，生成项l

l

该式中，D(G(I

在步骤S902中，基于预设优化算法求解所述损失函数，得到训练后的生成器网络。

本实施例中，当构建生成器损失函数后，可以基于预设优化算法求解所述损失函数，得到训练后的生成器网络，即基于预设优化算法，确定令所述损失函数最小的生成器网络参数，并作为训练后的所述生成器网络的参数。

值得说明的是，上述预设优化算法可以基于实际业务需要进行设置，如设置为Boykov–Kolmogorov算法等，本实施例对此不进行限定。

由上述描述可知，本实施例通过构建生成器损失函数，并基于预设优化算法求解所述损失函数，得到训练后的生成器网络，可以实现准确地训练生成器网络，进而可以实现后续将所述第三图像输入至预先训练的生成对抗网络中的生成器网络，得到所述第三图像到所述第一图像的风格迁移残差图像，从而可以实现对第三图像的风格迁移，可以确保目标融合图像的整体图像风格一致，从而可以避免融合边界处产生缝合痕迹的问题，可以进一步提高电子设备输出图像的质量。

图10是根据本公开一示例性实施例示出的一种图像融合处理装置的框图；本实施例的装置可以应用于具有第一摄像头(如，广角摄像头等)和第二摄像头(如，长焦摄像头等)的电子设备。

如图10所示，该装置包括：图像获取模块110、图像变换模块120、掩模确定模块130和图像融合模块140，其中：

图像获取模块110，用于获取第一图像和第二图像，所述第一图像由电子设备的第一摄像头采集，所述第二图像由电子设备的第二摄像头采集，所述第一摄像头的视场角大于所述第二摄像头的视场角；

图像变换模块120，用于将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像；

掩模确定模块130，用于基于所述第一图像和所述第三图像确定目标融合掩模图像，所述目标融合掩模图像中包括第一指示区域和第二指示区域，所述第一指示区域用于指示融合区域，所述第二指示区域用于指示非融合区域，所述第一指示区域和所述第二指示区域的边界为目标融合边界，所述目标融合边界设置于图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异；

图像融合模块140，用于基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像。

由上述描述可知，本实施例的装置通过获取第一图像和第二图像，并将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像，然后基于所述第一图像和所述第三图像确定目标融合掩模图像，进而可以基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像，由于目标融合掩模图像中的目标融合边界设置于图像差异满足设定条件的位置，因而可以通过设定条件将目标融合边界限制在图像差异最小的位置，从而可以避免图像融合时在目标融合图像中的融合边界处产生鬼影的问题，并且还可以在保证融合效果的基础上适当缩小融合过渡区域的宽度，相比于相关技术中的融合过渡方式，可实现窄融合过渡的效果，可以进一步避免融合边界处产生鬼影的问题，进而以提高电子设备输出图像的质量。

图11是根据本公开一示例性实施例示出的又一种图像融合处理装置的框图；本实施例的装置可以应用于具有第一摄像头(如，广角摄像头等)和第二摄像头(如，长焦摄像头等)的电子设备。

其中，图像获取模块210、图像变换模块220、掩模确定模块230和图像融合模块240与前述图10所示实施例中的图像获取模块110、图像变换模块120、掩模确定模块130和图像融合模块140的功能相同，在此不进行赘述。

如图11所示，图像变换模块220，可以包括：

关系获取单元221，用于基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系；

图像变换单元222，用于基于所述图像仿射变换关系，将所述第二图像仿射变换至第一图像的坐标系下，得到第三图像。

在一些实施例中，图像变换模块220，还可以包括：

预处理单元223，用于基于预设处理方式对所述第一图像和所述第二图像进行预处理，得到预处理后的所述第一图像和所述第二图像，所述预设处理方式包括亮度矫正和色彩矫正中的至少一种；

进而，关系获取单元221还可以用于基于预处理后的所述第一图像和所述第二图像，执行所述基于所述第一图像和所述第二图像进行图像配准，得到图像仿射变换关系的操作。

在一些实施例中，掩模确定模块230，可以包括：

差异信息确定单元231，用于确定所述第一图像与所述第三图像的像素差异和光流信息；

第一掩模确定单元232，用于基于所述像素差异和所述光流信息确定第一融合掩模图像，所述第一融合掩模图像中包括第三指示区域和第四指示区域，所述第三指示区域用于指示融合区域，所述第四指示区域用于指示非融合区域，所述第三指示区域和所述第四指示区域的边界为第一融合边界；

第二掩模获取单元233，用于对所述第一融合掩模图像进行降采样处理，得到第二融合掩模图像，所述第二融合掩模图像中包括第五指示区域和第六指示区域，所述第五指示区域用于指示融合区域，所述第六指示区域用于指示非融合区域，所述第五指示区域和所述第六指示区域的边界为第二融合边界；

融合边界调整单元234，用于将所述第二融合掩模图像中的第二融合边界调整至图像差异满足设定条件的位置，得到调整后的第二融合掩模图像，所述图像差异包括所述第一图像与所述第三图像之间的差异；

目标掩模获取单元235，用于对所述调整后的第二融合掩模图像进行升采样处理，得到所述目标融合掩模图像，所述目标融合边界基于调整后的所述第二融合边界的升采样得到。

在一些实施例中，第一掩模确定单元232还可以用于基于所述像素差异和所述光流信息，利用预设算法确定第一融合掩模图像，所述预设算法包括运动检测算法和遮挡检测算法中的至少一种。

在一些实施例中，融合边界调整单元234还可以用于：

在所述第二融合掩模图像中对所述第六指示区域进行距离变换，得到第一距离变换图像；

基于所述第一距离变换图像确定所述第二融合掩模图像中所述第二融合边界的调整范围；

确定所述第一图像与所述第三图像的像素差异；

基于所述像素差异确定所述调整范围内每个像素对应的设定窗口内像素差异的高斯加权平均值，得到高斯加权平均值图像；

基于所述高斯加权平均值图像，利用图割算法构造目标函数，所述目标函数中包括约束项和平滑项，所述约束项用于限制所述第二融合掩模图像中所述第五指示区域和所述第六指示区域的位置，所述平滑项用于基于所述高斯加权平均值图像将所述第二融合边界在所述调整范围内调整至图像差异满足设定条件的位置，所述图像差异包括所述第一图像与所述第三图像之间的差异；

基于预设函数求解算法求解所述目标函数，得到调整后的第二融合掩模图像。

在一些实施例中，图像融合模块240，可以包括：

第一融合单元241，用于在所述目标融合图像的融合过渡区域内，基于预先确定的融合过渡权重对所述第三图像与所述第一图像进行融合，所述融合过渡区域对应于所述目标融合掩模图像中的预设融合过渡区域；

第二融合单元242，用于在所述目标融合图像的融合区域内，保留所述第三图像的像素值，所述融合区域对应于所述第一指示区域中除所述预设融合过渡区域外的区域；

第三融合单元243，用于在所述目标融合图像的非融合区域内，保留所述第一图像的像素值，所述非融合区域对应于所述第二指示区域。

在一些实施例中，图像融合模块240，还可以包括融合过渡权重确定单元244；

融合过渡权重确定单元244，可以用于：

在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第二距离变换图像；

基于所述第二距离变换图像确定所述预设融合过渡区域对应的融合过渡权重。

在一些实施例中，上述装置还可以包括：

风格迁移模块250，用于对所述第三图像进行风格迁移，得到第四图像；

进而，图像融合模块240还可以用于基于所述第四图像替代所述第三图像，执行所述基于所述目标融合掩模图像对所述第三图像与所述第一图像进行融合，得到目标融合图像的操作。

在一些实施例中，上述风格迁移模块250，可以包括：

残差图像获取单元251，用于将所述第三图像输入至预先训练的生成对抗网络中的生成器网络，得到所述第三图像到所述第一图像的风格迁移残差图像；

第四图像获取单元252，用于基于预先确定的风格过渡权重，将所述风格迁移残差图像叠加至所述第三图像的风格过渡区域，得到第四图像，所述第三图像的风格过渡区域对应于所述目标融合掩模图像的预设风格过渡区域。

在一些实施例中，上述风格迁移模块250还可以包括风格过渡权重确定单元253；

风格过渡权重确定单元253，可以用于：

在所述目标融合掩模图像中对所述第二指示区域进行距离变换，得到第三距离变换图像；

基于所述第三距离变换图像确定所述目标融合掩模图像的预设风格过渡区域对应的风格过渡权重。

在一些实施例中，上述装置生成对抗网络训练模块260；

生成对抗网络训练模块260，可以包括：

样本获取单元261，用于获取多幅第一样本图像和多幅第三样本图像，所述第三样本图像包括将第二样本图像仿射变换至所述第一样本图像的坐标系下所得到的图像，所述第一样本图像由第一样本摄像头采集，所述第二样本图像由第二样本摄像头采集，所述第一样本摄像头的视场角大于所述第二样本摄像头的视场角；

判决器训练单元262，用于将所述多幅第一样本图像和所述多幅第三样本图像作为判决器训练集，对所述生成对抗网络中的判决器网络进行训练，得到训练后的判决器网络，所述判决器网络用于基于图像风格的比较结果进行分类；

窗口滑动单元263，用于基于预设的滑动窗口分别在所述第一样本图像和所述第三样本图像上进行滑动；

图像确定单元264，用于响应于检测到所述滑动窗口内的两幅图像之间的结构相似度SSIM大于或等于设定阈值，将所述两幅图像作为一组训练图像；

训练集确定单元265，用于重复获取一组训练图像的过程，并将得到的多组训练图像作为生成器训练集；

生成器训练单元266，用于基于所述生成器训练集训练所述生成对抗网络中的生成器网络，得到训练后的生成器网络。

在一些实施例中，上述生成器训练单元266还用于：

构建生成器损失函数，所述损失函数中包括约束项、特征相似项以及生成项中的至少一项，所述约束项基于所述第三样本图像的风格变换后与自身的图像内容差异确定，所述特征相似项基于风格变换后的所述第三样本图像与所述第一样本图像的图像内容差异确定，所述生成项基于所述判决器网络的输出概率确定；

基于预设优化算法求解所述损失函数，得到训练后的生成器网络。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图12是根据一示例性实施例示出的一种电子设备的框图。例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图12，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。

处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理组件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。

存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件906为设备900的各种组件提供电力。电源组件906可以包括电源管理系统，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。

多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。

I/O接口912为处理组件902和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示器和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信组件916经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种芯片，包括处理器和接口；

所述处理器用于通过所述接口读取指令以执行上述方法。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。