图像融合方法、装置、电子设备及计算机可读存储介质

技术领域

本申请涉及影像技术领域，具体涉及一种图像融合方法、装置、电子设备及计算机可读存储介质。

背景技术

图像融合可指的是将多帧图像经过图像处理和计算机等技术，提取各张图像中的有用信息，合成得到质量更高的图像。在目前的影像技术中，可利用图像融合来解决图像的很多问题，例如，利用图像融合利用合成高动态范围(High-Dynamic Range，HDR)图像，利用图像融合对图像进行去噪，利用图像融合进行超分辨率重构等。目前在将多帧图像进行融合时，融合效果较差。

发明内容

本申请实施例公开了一种图像融合方法、装置、电子设备及计算机可读存储介质，能够提高图像融合的融合效果，可有效解决将多帧图像进行融合时带来的鬼影问题。

本申请实施例公开了一种图像融合方法，包括：

从待处理图像中提取图像特征，并根据所述图像特征计算所述待处理图像中各个像素点对应的第一融合权重；

获取所述待处理图像对应的外部信息，所述外部信息指的是通过外部设备采集的能够影响所述待处理图像的成像效果的信息；

根据所述外部信息计算所述待处理图像对应的第二融合权重；

根据所述第一融合权重及第二融合权重确定所述待处理图像中各个像素点对应的第三融合权重；

基于所述待处理图像中各个像素点对应的第三融合权重，将所述待处理图像与参考图像进行融合，得到融合图像。

本申请实施例公开了一种图像融合装置，包括：

第一计算模块，用于从待处理图像中提取图像特征，并根据所述图像特征计算所述待处理图像中各个像素点对应的第一融合权重；

外部信息获取模块，用于获取所述待处理图像对应的外部信息，所述外部信息指的是通过外部设备采集的能够影响所述待处理图像的成像效果的信息；

第二计算模块，用于根据所述外部信息计算所述待处理图像对应的第二融合权重；

确定模块，用于根据所述第一融合权重及第二融合权重确定所述待处理图像中各个像素点对应的第三融合权重；

融合模块，用于基于所述待处理图像中各个像素点对应的第三融合权重，将所述待处理图像与所述参考图像进行融合，得到融合图像。

本申请实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请实施例公开的图像融合方法、装置、电子设备及计算机可读存储介质，通过待处理图像中的图像特征计算待处理图像中各个像素点对应的第一融合权重，根据待处理图像对应的外部信息计算待处理图像对应的第二融合权重，该外部信息指的是通过外部设备采集的能够影响待处理图像的成像效果的信息，再根据第一融合权重及第二融合权重确定待处理图像中各个像素点对应的第三融合权重，并基于待处理图像中各个像素点对应的第三融合权重，将待处理图像与参考图像进行融合，得到融合图像，可结合待处理图像自身的图像特征及外部影响成像效果的外部信息，共同确定待处理图像中各个像素点的融合权重，从而可得到图像质量更高的融合图像，提高了图像融合的融合效果，可有效解决将多帧图像进行融合时带来的鬼影问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理电路的框图；

图2为一个实施例中图像融合方法的流程图；

图3为另一个实施例中图像融合方法的流程图；

图4为一个实施例中将N帧中间差异图像进行融合的示意图；

图5为一个实施例中将各帧参考图像对应的差异图像进行融合的示意图；

图6为一个实施例中图像融合装置的框图；

图7为一个实施例中电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一融合权重称为第二融合权重，且类似地，可将第二融合权重称为第一融合权重。第一融合权重和第二融合权重两者都是融合权重，但其不是同一融合权重。另外，需要说明的是，本申请实施例中所使用的术语“多个”指的是两个或两个以上。

本申请实施例提供一种电子设备。该电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的框图。为便于说明，图1仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括一个或多个透镜112和图像传感器114。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。姿态传感器120(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。姿态传感器120接口可以采用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

需要说明的是，虽然图1中仅示出了一个成像设备110，但是在本申请实施例中，可包括至少两个成像设备110，每个成像设备110可分别对应一个图像传感器114，也可多个成像设备110对应一个图像传感器114，在此不作限定。每个成像设备110的工作过程可参照上述所描述的内容。

此外，图像传感器114也可将原始图像数据发送给姿态传感器120，姿态传感器120可基于姿态传感器120接口类型把原始图像数据提供给ISP处理器140，或者姿态传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，姿态传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自姿态传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器160，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器160可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。

ISP处理器140确定的统计数据可发送给控制逻辑器150。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括姿态传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜112控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

示例性地，结合图1的图像处理电路，对本申请实施例所提供的图像融合方法进行说明。ISP处理器140可从成像设备110中获取待处理图像，该待处理图像可以是成像设备110最新采集到的图像，可从待处理图像中提取图像特征，并根据该图像特征计算待处理图像中各个像素点对应的第一融合权重。ISP处理器140可获取待处理图像对应的外部信息，该外部信息指的是通过外部设备采集的能够影响待处理图像的成像效果的信息，例如，外部信息可包括姿态传感器120采集的位姿变化信息、光传感器采集的环境亮度信息等，但不限于此。ISP处理器140可根据获取的外部信息计算待处理图像对应的第二融合权重，再根据第一融合权重及第二融合权重确定待处理图像中各个像素点对应的第三融合权重，然后，ISP处理器140可基于待处理图像中各个像素点对应的第三融合权重，将待处理图像与参考图像进行融合，得到融合图像。可选地参考图像可以是成像设备110采集的上一帧图像，或是上一帧融合得到的融合图像等。

如图2所示，在一个实施例中，提供一种图像融合方法，可应用于电子设备，该电子设备可包括但不限于手机、平板电脑、智能可穿戴设备、车载终端、PC(Personal Computer，个人计算机)及数码相机等。该方法可包括以下步骤：

步骤210，从待处理图像中提取图像特征，并根据图像特征计算待处理图像中各个像素点对应的第一融合权重。

待处理图像指的是需要进行图像融合的图像，待处理图像可以是电子设备通过成像装置(例如摄像头等)最新采集的图像(即当前帧图像)，也可以是电子设备从存储器中获取的图像，例如，可以是存储器中存储的照片，也可以是存储器中存储的视频数据中的任一帧图像等。

在一些实施例中，图像特征可包括边界特征、亮度特征、饱和度特征及纹理特征等中的至少一种特征，该边界特征也可叫边缘特征，用于描述待处理图像中的边缘轮廓，亮度特征可用于描述待处理图像的图像亮度，饱和度特征可用于描述待处理图像的图像饱和度，纹理特征可用于描述待处理图像的图像纹理等。

电子设备可采用多种不同的方式从待处理图像中提取图像特征。例如，对于边界特征，电子设备可采用Canny算子边缘检测、Sobel算子边缘检测等方式从待处理图像中提取边界特征；对于亮度特征，可将待处理图像转换为灰度图，并计算灰度图的均值和/或方差等，提取待处理图像的亮度特征，也可以将待处理图像从RGB(红绿蓝)颜色空间转换为HSV(Hue Saturation Value，色调、饱和度、明度)颜色空间或HSL(Hue SaturationLightness，色调、饱和度、亮度)颜色空间等，可通过待处理图像在HSV颜色空间的V通道或HSL颜色空间的L通道的像素值，提取待处理图像的亮度特征等；对于饱和度特征，也可将待处理图像从RGB格式转换为HSV颜色空间或HSL颜色空间等，通过待处理图像在HSV颜色空间或HSL颜色空间中S通道的像素值，提取待处理图像的饱和度特征；对于纹理特征，可采用LBP(Local binary patterns，局部二值模式)提取法、灰度共生矩阵提取法、小波提取法等，提取待处理图像的纹理特征。

可选地，电子设备也可通过神经网络从待处理图像中提取图像特征，该神经网络可包括卷积神经网络、BP(Back Propagation，反向传播)神经网络、Hopfiled神经网络等，但不限于此，其中，BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，Hopfiled神经网络则是一种递归神经网络，Hopfiled神经网络是基于灌输式学习得到的，即Hopfiled神经网络的权值不是通过训练出来的，而是按照一定规则计算出来的。

需要说明的是，从待处理图像中提取图像特征并不仅限于上述描述的几种方式，也可以是其它方式，本申请实施例对图像特征的具体提取方式不作限定。

电子设备从待处理图像中提取图像特征，该图像特征可包括待处理图像中各个像素点对应的特征值，可根据各个像素点对应的特征值分别计算得到各个像素点对应的第一融合权重。第一融合权重可为像素级的融合权重，即第一融合权重与待处理图像中的各个像素点是一一对应的，针对同一待处理图像中的不同像素点，对应的第一融合权重可相同也可不同。

步骤220，获取待处理图像对应的外部信息。

外部信息可指的是通过外部设备采集的能够影响待处理图像的成像效果的信息，该外部设备指的是处于采集待处理图像的成像装置的外部的电子设备，该外部设备可包括一种或多种传感器，例如位姿检测传感器、光传感器、温度传感器等，位姿检测传感器可包括但不限于重力传感器、加速度传感器、陀螺仪等。

在一个实施例中，若待处理图像为电子设备中的成像装置最新采集的图像，则电子设备可从成像装置的外部设备中获取当前采集的外部信息。在另一实施例中，若待处理图像为存储器中存储的图像，存储器中可同时存储有该待处理图像对应的外部信息，则电子设备可从存储器中获取待处理图像对应的外部信息。

步骤230，根据外部信息计算待处理图像对应的第二融合权重。

第二融合权重可以是帧级融合权重，对于多帧待处理图像，第二融合权重与各帧待处理图像是一一对应的，对于同一待处理图像的各个像素点，对应相同的第二融合权重，不同帧待处理图像可分别对应相同或不同的第二融合权重。

步骤240，根据第一融合权重及第二融合权重确定待处理图像中各个像素点对应的第三融合权重。

电子设备可将待处理图像的第二融合权重，与各个像素点对应的第一融合权重进行融合，以得到各个像素点对应的第三融合权重，该第三融合权重可以是像素级融合权重，即第三融合权重与待处理图像中的各个像素点是一一对应的。

可选地，将待处理图像的第二融合权重，与各个像素点对应的第一融合权重进行融合的方式，可包括但不限于将各个像素点对应的第一融合权重与第二融合权重进行平均，得到各个像素点对应的第三融合权重，或是将各个像素点对应的第一融合权重与第二融合权重进行加权平均计算，得到各个像素点对应的第三融合权重等方式。

步骤250，基于待处理图像中各个像素点对应的第三融合权重，将待处理图像与参考图像进行融合，得到融合图像。

参考图像可为一帧或多帧，参考图像可以是待处理图像的前M帧图像，该M可为正整数，例如，参考图像可以是成像装置上一帧采集的图像，或参考图像可以是视频数据中在待处理图像的上一帧图像，也可以是待处理图像的前两帧图像等。作为另一种实施方式，参考图像也可以是之前得到的M帧历史融合图像，该历史融合图像指的是在待处理图像之前的图像进行图像融合所得到的融合图像。

作为一种实施方式，待处理图像中各个像素点对应的第三融合权重，可用于描述参考图像中相同位置的像素点的融合比重。可将基于待处理图像中各个像素点对应的第三融合权重，将待处理图像的各个像素点与参考图像中相同位置的像素点进行融合，计算得到各个像素点融合后的像素值，从而得到融合图像。

以待处理图像与参考图像中第一像素坐标的两个像素点为例，可将参考图像的像素点的像素值与第一像素坐标对应的第三融合权重相乘，再与待处理图像的像素点的像素值相加，得到第一像素坐标的总像素值，再根据该总像素值与第一像素坐标对应的第三融合权重，得到第一像素坐标对应的融合后的像素值。进一步地，可将第一像素坐标的总像素值除以第三融合权重与1的和，得到第一像素坐标对应的融合后的像素值。

可选地，针对待处理图像中各个像素点，可参考下述的公式(1)计算得到各个像素对应的融合后的像素值：

其中，p1

在一些实施例中，若存在多帧参考图像，则可分别将多帧参考图像中第一像素坐标的像素点的像素值与第一像素坐标对应的第三融合权相乘后再进行平均，可再将平均后的像素值与待处理图像中第一像素坐标的像素点的像素值相加，得到第一像素坐标的总像素值。后续根据第一像素坐标的总像素值与第一像素坐标对应的第三融合权重，得到第一像素坐标对应的融合后的像素值的方式，可与上述相同。

需要说明的是，也可采用其它方式将待处理图像与参考图像进行融合，并不仅限于上述描述的方式。

在本申请实施例中，通过待处理图像中的图像特征计算待处理图像中各个像素点对应的第一融合权重，根据待处理图像对应的外部信息计算待处理图像对应的第二融合权重，该外部信息指的是通过外部设备采集的能够影响待处理图像的成像效果的信息，再根据第一融合权重及第二融合权重确定待处理图像中各个像素点对应的第三融合权重，并基于待处理图像中各个像素点对应的第三融合权重，将待处理图像与参考图像进行融合，得到融合图像，可结合待处理图像自身的图像特征及外部影响成像效果的外部信息，共同确定待处理图像中各个像素点的融合权重，从而可得到图像质量更高的融合图像，提高了图像融合的融合效果，可有效解决将多帧图像进行融合时带来的鬼影问题。

在一个实施例中，步骤根据第一融合权重及第二融合权重确定待处理图像中各个像素点对应的第三融合权重，可包括：根据各个像素点对应的第一权重系数及第二权重系数，将各个像素点对应的第一融合权重与第二融合权重进行融合，得到各个像素点对应的第三融合权重。

第一权重系数与第二权重系数可以是根据实际需求进行设置的系数，也可以是通过多次对系数进行多次调整及验证图像融合效果进行设置的。可选地，第一权重系数与第二权重系数可与采集待处理图像的成像装置的特性参数相关，该特性参数可包括但不限于成像装置的装置类型、焦距范围、采集图像的帧率、分辨率等，该装置类型可包括但不限于红外摄像头、彩色摄像头、激光摄像头、黑白摄像头等，也可包括按焦距范围、取景范围等划分的装置类型，如长焦摄像头、广角摄像头、定焦摄像头、变焦摄像头等。成像装置的特性参数可用于决定成像装置对应的噪声模型，影响采集的图像包含的噪声。基于成像装置的特性参数设定各个像素点的第一权重系数及第二权重系数，可使得设定的第一权重系数及第二权重系数更贴合实际的成像效果，从而可提高第三融合权重的准确性。

第一权重系数与第二权重系数可以是像素级的系数，第一权重系数、第二权重系数与各个像素点是一一对应的关系，不同像素位置的像素点可分别对应相同或不同的第一权重系数及第二权重系数。

作为一种具体实施方式，以待处理图像中的第一像素点为例，该第一像素点可以是待处理图像中的任一像素点，电子设备可计算第一像素点对应的第一融合权重与对应的第一权重系数的乘积，得到第一计算结果，并计算第一像素点对应的第二权重系数与第二融合权重的乘积，得到第二计算结果。可将第一计算结果与第二计算结果的和，确定为第一像素点对应的第三融合权重。

可按照公式(2)确定待处理图像中各个像素点对应的第三融合权重：

w

其中，r

在本申请实施例中，可根据设定的各个像素点对应的第一权重系数、第二权重系数，以及待处理图像中各个像素点对应的第一融合权重、第二融合权重，得到各个像素点对应的第三融合权重，可使得各个像素点对应的第三融合权重更加准确，从而可进一步提高图像融合的融合效果，提高了融合图像的图像质量。

如图3所示，在一个实施例中，提供另一种图像融合方法，可应用于上述的电子设备，该图像融合方法可包括以下步骤：

步骤302，从待处理图像中提取图像特征，该图像特征包括各个像素点对应的边界特征值、亮度特征值、饱和度特征值及纹理特征值中的至少一种。

在一些实施例中，电子设备可根据待处理图像，生成与该待处理图像具备相同分辨率的特征图，该特征图可包含待处理图像中各个像素点对应的图像特征值。可选地，该特征图可包括边界特征图、亮度特征图、饱和度特征图及纹理特征图中的至少一种，边界特征图可包括待处理图像中各个像素点对应的边界特征值，亮度特征图可包括待处理图像中各个像素点对应的亮度特征值，饱和度特征图可包括待处理图像中各个像素点对应的饱和度特征值，纹理特征图可包括待处理图像中各个像素点对应的纹理特征值。

在一个实施例中，电子设备可基于参考图像，从待处理图像中提取边界特征，以确定各个像素点对应的边界特征值。具体地，电子设备可对待处理图像与参考图像中相同位置的像素点进行求差处理，得到待处理图像与参考图像之间的差异图像，并根据差异图像确定待处理图像中各个像素点的边界特征值。

可遍历待处理图像中包含的各个像素点，并计算待处理图像中各个像素位置的像素点与参考图像中相同像素位置的像素点之间的像素差值，得到每个像素位置对应的差异值，从而得到待处理图像与参考图像之间的差异图像。该差异值可包括待处理图像与参考图像中相同像素位置的像素点在每个通道的差值，也可以是任意数量通道(如一个通道或两个通道)的差值，或是在所有通道的差值的平均值、加权平均值等，也可以是所有通道的差值中的最大值等，在此不作限定。

在一些实施例中，为了提高确定的边界特征值的准确性，可在确定待处理图像与参考图像之间的差异图像之前，将待处理图像与参考图像进行像素位置对齐。可将待处理图像与参考图像进行匹配，具体地，分别从待处理图像及参考图像中提取多个特征像素点，并将待处理图像中的特征像素点与参考图像中的特征像素点进行匹配，以得到多对匹配的特征像素点对。可基于多对匹配的特征像素点对，将待处理图像与参考图像进行像素位置对齐，使得匹配的特征像素点对处于相同的图像位置(即位于相同的像素坐标)，再确定对齐后的待处理图像与参考图像之间的差异图像，可提高差异图像的准确性。

作为一种可选的实施方式，电子设备可将差异图像作为待处理图像中各个像素点的边界特征值，也即，可直接将差异图像作为待处理图像的边界特征图，差异图像中各个像素点的像素值即为边界特征值。

作为另一种可选的实施方式，电子设备也可对差异图像进行处理，得到待处理图像中各个像素点的边界特征值。可选地，对差异图像进行处理，得到待处理图像中各个像素点的边界特征值，可包括但不限于以下几种处理方式：

方式一、对差异图像进行滤波处理，得到待处理图像中各个像素点的边界特征值。电子设备可对差异图像进行滤波处理，该滤波处理可包括但不限于平滑滤波处理、锐化滤波处理等，平滑滤波处理可用于抑制差异图像中的噪声，可采用均值滤波器、高斯滤波器、中值滤波器等进行平滑滤波处理；锐化滤波器可用于增加差异图像中的边缘信息，可采用一阶梯度算子(如Robert交叉算子、Sobel算子等)、二阶微分算子(如LapLace拉普拉斯算子等)等方式进行锐化滤波处理。本申请实施例对差异图像的具体滤波处理方式不作限定。

在对差异图像进行滤波处理后，可将滤波处理后的差异图像作为待处理图像的边界特征图，以得到待处理图像中各个像素点的边界特征值。

方式二、对差异图像进行腐蚀处理和/或膨胀处理，得到待处理图像中各个像素点的边界特征值。其中，腐蚀处理是一种局部求最小值的操作，可利用第一模板图像块(例如3*3的图像块)对差异图像进行计算，并保留差异图像中覆盖该第一模板图像块的像素点，实现对差异图像的腐蚀处理。膨胀处理是一种局部求最大值的操作，可利用第二模板图像块(例如3*3的图像块)与差异图像进行卷积，计算该第二模板图像块所覆盖的像素点，实现对差异图像的腐蚀处理。该第一模块图像块及第二模块图像块可以是差异图像中的同一图像块，也可以是不同的图像块，在此不作限定。

作为一种具体实施方式，可对差异图像进行区域划分，将差异图像划分为多个图像区域，并分别确定各个图像区域对应的置信度，该置信度可用于描述图像区域包含的差异值的可信度。各个图像区域对应的置信度可根据图像区域在待处理图像中对应的图像内容进行确定，例如，图像区域在待处理图像中对应的图像内容越丰富，对应的置信度可越低，图像区域在待处理图像中对应的图像内容越简单，对应的置信息可越高等，但不限于此。

可选地，可对置信度高于或等于置信度阈值的图像区域进行膨胀处理，对置信度低于该置信度阈值的图像区域进行腐蚀处理，从而可提高差异图像的准确性。

在对差异图像进行腐蚀处理和/或膨胀处理，可将处理后的差异图像作为待处理图像的边界特征图，以得到待处理图像中各个像素点的边界特征值。

方式三、可分别按照N种目标尺寸，对差异图像进行区域划分，得到N帧划分后的差异图像，分别计算划分后的差异图像中包含的各个图像区域对应的差异值，以得到N帧中间差异图像，并将N帧中间差异图像进行融合，得到待处理图像中各个像素点的边界特征值。其中，N可为大于或等于2的整数。

可预先设置N张不同的目标尺寸，例如，3*3、5*5、9*9、8*8等，但不限于此。可分别按照N种目标尺寸，对差异图像进行区域划分，得到N帧与N种目标尺寸一一对应的划分后的差异图像，每一帧划分后的差异图像中包含的各个图像区域为相同的目标尺寸。例如，按照3*3的尺寸对差异图像进行划分，得到包含多个3*3尺寸的图像区域的划分后的差异图像；按照5*5对差异图像进行划分，得到包含多个5*5尺寸的图像区域的划分后的差异图像；按照9*9尺寸对差异图像进行划分，得到包含多个9*9尺寸的图像区域的划分后的差异图像；按照8*8尺寸对差异图像进行划分，得到包含多个8*8尺寸的图像区域的划分后的差异图像等。

针对每帧划分后的差异图像，可分别计算包含的各个图像区域对应的差异值，并将各个图像区域内的像素值替换为对应的差异值，使得属于同一图像区域内的像素点的像素值相同。可采用多种不同的方式确定各个图像区域对应的差异值，例如，可对属于同一图像区域内的像素值进行平均，以得到该图像区域对应的差异值，或是可以确定同一图像区域内的中值像素值，并将该中值像素值作为该图像区域对应的差异值等，但不限于此。

以目标尺寸为3*3进行区域划分为例，可先按照3*3的尺寸对差异图像进行划分，得到包含多个3*3尺寸的图像区域的划分后的差异图像，并计算该划分后的差异图像中包含的各个3*3尺寸的图像区域对应的差异值，使得各个3*3尺寸的图像区域内的像素点的像素值相同，以得到相应的中间差异图像。

进一步地，可按照目标尺寸从小到大的顺序，依次对差异图像进行区域划分，得到呈金字塔形状的N帧划分后的差异图像。该金字塔形状指的是差异图像中包含的图像区域的尺寸呈金字塔形状，第一帧划分后的差异图像包含的图像区域的尺寸可为最小，第N帧差异图像包含的图像区域的尺寸可为最大。再分别计算划分后的差异图像中包含的各个图像区域对应的差异值，以得到呈金字塔形状的N帧中间差异图像。

可将N帧中间差异图像进行融合，得到目标差异图像，该目标差异图像可作为待处理图像的边界特征图，以得到待处理图像中各个像素点的边界特征值。可选地，将N帧中间差异图像进行融合，可包括：将N帧中间差异图像中处于相同像素位置的各个像素点的像素值进行平均，也可以是从N帧中间差异图像中处于相同像素位置各个像素点的像素值中选取最大的像素值，或是可按照每帧中间差异图像对应的目标尺寸分配每帧中间差异图像的权重值(如目标尺寸越大，分配的权重值越小等)，并按照各帧中间差异图像对应的权重值，将N帧中间差异图像中处于相同像素位置的各个像素点的像素值进行加权平均等。需要说明的是，将N帧中间差异图像进行融合的方式并不仅限于上述几种，也可以是其它融合方式，在此不作限定。

图4为一个实施例中将N帧中间差异图像进行融合的示意图。如图4所示，可按照N种目标尺寸从小到大的顺序，依次对N帧差异图像进行区域划分，得到呈金字塔形状的N帧划分后的差异图像。其中，图像411(即Dif_1)为第一帧划分后的差异图像，图像412(即Dif_2)为第二帧划分后的差异图像，……，图像413(即Dif_3)为第N帧划分后的差异图像，从图4中可直观看出，N帧划分后的差异图像呈金字塔形状。

可分别计算N帧划分后的差异图像中包含的各个图像区域对应的差异值，以得到呈金字塔形状的N帧中间差异图像。其中，图像421(即Dif_Tmep1)为与图像411对应的第一帧中间差异图像，图像422(即Dif_Tmep2)为与图像412对应的第二帧中间差异图像，……，图像423(即Dif_TmepN)为与图像413对应的第N帧中间差异图像，从图4中可直观看出，N帧划分后的差异图像呈金字塔形状。图4中的黑色块表示同一图像区域内各个像素点的像素值相同，即对应同一差异值。可将呈金字塔形状的N帧中间差异图像进行融合，以得到目标差异图像430。采用金字塔型的图像处理方式，可提高图像处理效率，并使得处理结果更加准确。

方式四、若存在至少两帧参考图像，则将待处理图像与各帧参考图像之间的差异图像进行融合，得到待处理图像中各个像素点的边界特征值。如果存在至少两帧参考图像，可先分别计算待处理图像与各帧参考图像之间的差异图像，计算差异图像的方式可与上述各实施例中描述的方式相同，在此不再赘述。再将计算得到的各帧差异图像进行融合，得到目标差异图像，并将该目标差异图像作为待处理图像的边界特征图，以得到待处理图像中各个像素点的边界特征值。将计算得到的各帧差异图像进行融合方式，可与上述中N帧中间差异图像融合的方式相同，在此不再赘述。

图5为一个实施例中将各帧参考图像对应的差异图像进行融合的示意图。如图5所示，针对M帧参考图像，可先计算待处理图像510与每帧参考图像之间的差异图像，得到待处理图像510与第一帧参考图像521之间的第一帧差异图像531、待处理图像510与第二帧参考图像522之间的第二帧差异图像532，……，处理图像510与第M帧参考图像523之间的第M帧差异图像533。可将得到的M帧差异图像进行融合，以得到目标差异图像540。

在一些实施例中，电子设备对差异图像进行处理的方式也可以是上述任意多种处理方式的组合，例如，可先对差异图像进行滤波处理，再对滤波处理后的差异图像进行腐蚀处理和/或膨胀处理等，也可以是先按照上述的方式三得到目标差异图像，再对目标差异图像进行滤波处理等，对差异图像进行处理的方式在本申请实施例中不作限定。先对差异图像进行处理，再基于处理后的差异图像得到待处理图像中各个像素点的边界特征值，提高了边界特征值的准确性，从而进一步提高了后续的图像融合效果。

在一个实施例中，从待处理图像中提取亮度特征，可包括：可确定待处理图像中各个像素点的亮度信息，并根据各个像素点的亮度信息确定各个像素点的亮度特征值。该亮度信息可包括亮度值或亮度等级等。可采用多种不同的方式确定待处理图像中各个像素点的亮度信息，例如，可将待处理图像从RGB颜色空间转换为HSV颜色空间或HSL颜色空间等，则各个像素点在HSV颜色空间的V通道的值或在HSL颜色空间的L通道的值即为对应的亮度值；也可以将待处理图像转换为灰度图像，并根据各个像素点的灰度等级确定亮度值，灰度等级越大，对应的亮度值可越大，也可采用其它方式，在此不作限定。

作为一种可选的实施方式，可直接将各个像素点的亮度信息作为对应的亮度特征值，也可对各个像素点的亮度信息进行映射处理，得到各个像素点对应的亮度特征值。映射处理的方式可包括但不限于：将亮度信息映射到固定的数值区间(如0～1等)、将各个像素点的亮度信息与固定系数相乘，或是计算各个像素点的亮度信息的平方等方式。

在一些实施例中，在确定各个像素点对应的亮度特征值之前，可先基于参考图像对待处理图像进行亮度拉伸处理，以使得亮度拉伸后的待处理图像的图像亮度与参考图像的图像亮度对齐，二者保持一致，再根据亮度拉伸后的待处理图像确定各个像素点对应的亮度特征值。可基于参考图像对待处理图像的图像亮度进行调整，使得调整后的待处理图像在各个亮度域的像素分布与参考图像在各个亮度域的像素分布一致或大致相同，从而可提高确定的各个像素点的亮度特征值的准确性。

在一个实施例中，从待处理图像中提取饱和度特征，可包括：可确定待处理图像中各个像素点的饱和度值，并根据各个像素点的饱和度值确定各个像素点的饱和度特征值。可采用多种不同的方式确定待处理图像中各个像素点的饱和度值，例如，可将待处理图像从RGB颜色空间转换为HSV、HSL或HSI(Hue Saturation Intensity，色调、饱和度、亮度)等颜色空间等，可将待处理图像的各个像素点在HSV、HSL、HIS等颜色空间中的S通道的值作为对应的饱和度值；也可利用其它的转换函数计算得到各个像素点的饱和度值等，但不限于此。

作为一种可选的实施方式，可直接将各个像素点的饱和度值作为对应的饱和度特征值，也可对各个像素点的饱和度值进行映射处理，得到各个像素点对应的饱和度特征值。映射处理的方式可包括但不限于：将饱和度值映射到固定的数值区间、将各个像素点的饱和度值与固定系数相乘，或是计算各个像素点的饱和度值的平方等方式。

在一个实施例中，从待处理图像中提取纹理特征，可包括：可计算待处理图像中的各个像素点在至少一个通道上的纹理特征值，例如，待处理图像为RGB颜色空间的图像，包含R、G、B三个通道，则可计算各个像素点在其中至少一个通道上(如R通道，或是R及G通道等)的纹理特征值。

各个通道的纹理特征值的计算方式可包括但不限于，对各个像素点在该通道的值进行高通滤波、反锐化掩膜滤波、拉普拉斯滤波等滤波处理，得到各个像素点在该通道的纹理特征值，以将待处理图像在该通道的高频分量作为纹理特征值，以增强待处理图像的边缘和细节。

步骤304，根据待处理图像中各个像素点对应的边界融合权重、亮度融合权重、饱和度融合权重及纹理融合权重中的至少一个，计算各个像素点对应的第一融合权重。

像素点对应的边界融合权重是根据像素点的边界特征值确定的，像素点对应的亮度融合权重是根据像素点的亮度特征值确定的，像素点对应的饱和度特征值是根据像素点的饱和度特征值确定的，像素点对应的纹理融合权重是根据像素点的纹理特征值确定的。

在一些实施例中，像素点对应的边界融合权重可与像素点的边界特征值呈负相关关系，像素点的边界特征值越大，则对应的边界融合权重可越小，进一步地，该负相关关系可为反比例关系。作为另一种实施方式，像素点对应的边界融合权重也可以是根据像素点的边界特征值所属的第三特征值区间确定的，不同第三特征值区间与边界融合权重之间的对应关系可不同，该对应关系可以是固定的边界融合权重，也可以是拟合关系式。

在一些实施例中，像素点对应的亮度融合权重可以是根据像素点的亮度特征值所属的第一特征值区间确定的。可预先设置多个第一特征值区间，并确定各个第一特征值区间与亮度融合权重之间的对应关系，该对应关系可以是固定的亮度融合权重，也可以是关系式。

例如，可预先设置3个第一特征值区间包括A区间[a，b]，B区间(b，MAX)，C区间[0，a)，其中，A区间可对应固定的亮度融合权重X；B区间与亮度融合权重之间的对应关系可为负相关关系，在B区间内亮度融合权重随着亮度特征值的增大而减少；C区间与亮度融合权重之间的对应关系可为正相关关系，在C区间内亮度融合权重随着亮度特征值的增大而增大。亮度融合权重X可为最大的亮度融合权重。

又例如，可预先设置3个第一特征值区间包括A区间[a，b]，B区间(b，MAX)，C区间[0，a)，其中，A区间可对应固定的亮度融合权重Y；B区间与亮度融合权重之间的对应关系可为正相关关系，在B区间内亮度融合权重随着亮度特征值的增大而增大；C区间与亮度融合权重之间的对应关系可为负相关关系，在C区间内亮度融合权重随着亮度特征值的增大而减少。亮度融合权重Y可为最大的亮度融合权重。

又例如，可预先设置2个第一特征值区间包括A区间[a，MAX]，B区间[0，a)，A区间可对应固定的亮度融合权重X1，B区间可对应固定的亮度融合权重X2。

可选地，亮度特征值与亮度融合权重之间的对应关系可与待处理图像对应的成像装置的特性参数相关，可预先对该成像装置对应的亮度特征值与亮度融合权重之间的对应关系进行标定，例如，可检测通过该成像装置采集的具备不同亮度特征的图像包含的噪声及纹理特征等，并基于检测到的噪声及纹理特征等标定亮度特征值与亮度融合权重之间的对应关系，包含的噪声越小，纹理特征越明显、细致，则对应的亮度融合权重可越小，但不限于此。

在一些实施例中，像素点对应的饱和度融合权重可以是根据像素点的饱和度特征值所属的第二特征值区间确定的。可预先设置多个第二特征值区间，并确定各个第二特征值区间与饱和度融合权重之间的对应关系，该对应关系可以是固定的饱和度融合权重，也可以是关系式。

例如，可预先设置3个第二特征值区间包括D区间[m，n]，E区间(n，MAX)，F区间[0，m)，其中，D区间可对应固定的饱和度融合权重H；E区间与饱和度融合权重之间的对应关系可为负相关关系，在E区间内饱和度融合权重随着饱和度特征值的增大而减少；F区间与饱和度融合权重之间的对应关系可为正相关关系，在F区间内饱和度融合权重随着饱和度特征值的增大而增大。饱和度融合权重H可为最大的饱和度融合权重。

又例如，可预先设置3个第二特征值区间包括D区间[m，n]，E区间(n，MAX)，F区间[0，m)，其中，D区间可对应固定的饱和度融合权重I；E区间与饱和度融合权重之间的对应关系可为正相关关系，在E区间内饱和度融合权重随着饱和度特征值的增大而增大；F区间与饱和度融合权重之间的对应关系可为负相关关系，在F区间内饱和度融合权重随着饱和度特征值的增大而减小。饱和度融合权重I可为最小的饱和度融合权重。

又例如，可预先设置4个第二特征值区间包括[0，m1)、[m2，m3)、[m3，n]、(n，MAX)，其中，区间[0，m1)可对应固定的饱和度融合权重H1，区间[m2，m3)可对应固定的饱和度融合权重H2，区间[m3，n]可对应固定的饱和度融合权重H3，区间(n，MAX)可对应固定的饱和度融合权重H4等。

可选地，饱和度特征值与饱和度融合权重之间的对应关系可与待处理图像对应的成像装置的特性参数相关，可预先对该成像装置对应的饱和度特征值与饱和度融合权重之间的对应关系进行标定，例如，可检测通过该成像装置采集的具备不同饱和度特征的图像包含的噪声及纹理特征等，并基于检测到的噪声及纹理特征等标定饱和度特征值与饱和度融合权重之间的对应关系，包含的噪声越小，纹理特征越明显、细致，则对应的饱和度融合权重可越小，但不限于此。

在一些实施例中，像素点对应的纹理融合权重可与像素点的纹理特征值呈负相关关系，像素点的纹理特征值越大，则对应的纹理融合权重可越小，进一步地，该负相关关系可为反比例关系。

电子设备可根据待处理图像中各个像素点对应的边界融合权重、亮度融合权重、饱和度融合权重及纹理融合权重中的至少一个，计算各个像素点对应的第一融合权重。具体地，若根据各个像素点对应的至少两种图像特征融合权重计算各个像素点对应的第一融合权重，则针对各个像素点，可对每种图像特征融合权重分配对应的比例，并将各个像素点对应的每种图像特征融合权重与对应的比例相乘后再求和，得到各个像素点对应的第一融合权重。

以待处理图像中的第一像素点为例，示例性地，第一像素点可同时根据边界融合权重、亮度融合权重、饱和度融合权重及纹理融合权重等四种图像特征融合权重计算第一像素点对应的第一融合权重。可将第一像素点对应的边界融合权重与对应的第一比例相乘，得到第一乘积，将第一像素点对应的亮度融合权重与对应的第二比例相乘，得到第二乘积，将第一像素点对应的饱和度融合权重与对应的第三比例相乘，得到第三乘积，将第一像素点对应的纹理融合权重与对应的第四比例相乘，得到第四乘积。再求取该第一乘积、第二乘积、第三乘积及第四乘积的和，得到第一像素点对应的第一融合权重。

上述的第一比例、第二比例、第三比例及第四比例可与各个像素点是一一对应的关系，即不同像素点可分别对应相同或不同的第一比例、第二比例、第三比例及第四比例。可选地，可按照公式(3)计算各个像素点对应的第一融合权重：

其中，pix_fi

在本申请实施例中，可基于各个像素点在多种不同维度的图像特征融合权重计算得到对应的第一融合权重，从边界特征、亮度特征、饱和度特征及纹理特征等多方面考虑，使得计算得到的第一融合权重更贴合待处理图像本身的图像内容，且针对不同的图像特征融合可分配不同的比例值，提高了各个像素点的第一融合特征的准确性，从而可进一步提高后续图像融合的融合效果，提高了融合图像的图像质量。

步骤306，获取待处理图像对应的外部信息，外部信息包括位姿变化信息及环境亮度信息中的至少一种。

位姿变化信息可包括位置变化信息和/或姿态变化信息，该位置变化信息可根据加速度传感器采集的加速度信号计算得到，姿态变化信息可根据陀螺仪等姿态传感器采集的姿态信号计算得到。环境亮度信息可以是根据光传感器采集的环境亮度值等。

在一些实施例中，可获取待处理图像对应的采集时刻，并从外部设备获取在相同采集时刻下采集的外部信息，以保证待处理图像与外部信息之间的同步，进一步提高后续计算第二融合权重的准确性。

步骤308，根据抖动权重及环境亮度权重中的至少一种，计算待处理图像对应的第二融合权重。

待处理图像的抖动权重可以是根据待处理图像对应的位姿变化信息确定的，进一步地，抖动权重与位姿变化信息可呈负相关关系，位姿变化信息越大，对应的抖动权重可越小。待处理图像的环境亮度权重可以是根据待处理图像对应的环境亮度信息确定的，进一步地，环境亮度权重与环境亮度信息可呈负相关关系，环境亮度信息越大，对应的环境亮度权重可越小。环境亮度权重也可以是根据环境亮度信息所属的环境亮度区间确定的，可预先设置多个不同的环境亮度区间，并确定各个环境亮度区间与环境亮度权重之间的对应关系，该对应关系可以是固定的环境亮度权重，也可以是关系式。

电子设备可仅根据抖动权重或环境亮度权重中的一种计算待处理图像对应的第二融合权重，也可同时根据抖动权重及环境亮度权重计算待处理图像对应的第二融合权重。若同时根据抖动权重及环境亮度权重计算待处理图像对应的第二融合权重，则可对抖动权重及环境亮度权重分配相应的比例系数，计根据分配的比例系数计算得到第二融合权重。

具体地，可将待处理图像对应的抖动权重与对应的第五比例相乘，得到第五乘积，将待处理图像对应的环境亮度权重与对应的第六比例相乘，得到第六乘积。再求取第五乘积及第六乘积的和，得到待处理图像对应的第二融合权重。

可选地，可按照公式(4)计算待处理图像对应的第二融合权重：

ext_f＝x×shk_w+y×lux_w 公式(4)；

其中，ext_f表示待处理图像对应的第二融合权重，x表示待处理图像对应的第五比例，shk_w表示待处理图像对应的抖动权重，y表示待处理图像对应的第六比例，lux_w表示待处理图像对应的环境亮度权重。上述的第五比例、第六比例可以是帧级别的比例值，第五比例、第六比例与待处理图像可以是一一对应的关系，不同的待处理图像，可分别对应相同或不同的第五比例或第六比例。

在本申请实施例中，可基于外部设备采集的位姿变化信息、环境亮度信息等多个外部影响成像效果的维度计算得到待处理图像对应的第二融合权重，且针对位姿变化信息及环境亮度信息分配相应的比例值，提高了待处理图像的第二融合特征的准确性，从而可进一步提高后续图像融合的融合效果，提高了融合图像的图像质量。

步骤310，根据各个像素点对应的第一权重系数及第二权重系数，将各个像素点对应的第一融合权重与第二融合权重进行融合，得到各个像素点对应的第三融合权重。

步骤312，基于待处理图像中各个像素点对应的第三融合权重，将待处理图像与参考图像进行融合，得到融合图像。

步骤310～312的描述可参考上述各实施例中的相关描述，在此不再一一赘述。

在本申请实施例中，可同时结合待处理图像的边界特征、亮度特征、饱和度特征及纹理特征等图像特征，以及外部影响成像效果的位姿变化信息、环境亮度等外部信息，共同确定待处理图像中各个像素点的融合权重，从而可得到图像质量更高的融合图像，提高了图像融合的融合效果，可有效解决将多帧图像进行融合时带来的鬼影问题。

如图6所示，在一个实施例中，提供一种图像融合装置600，该图像融合装置600可包括

第一计算模块610，用于从待处理图像中提取图像特征，并根据图像特征计算待处理图像中各个像素点对应的第一融合权重。

外部信息获取模块620，用于获取待处理图像对应的外部信息，该外部信息指的是通过外部设备采集的能够影响待处理图像的成像效果的信息。

第二计算模块630，用于根据外部信息计算待处理图像对应的第二融合权重。

确定模块640，用于根据第一融合权重及第二融合权重确定待处理图像中各个像素点对应的第三融合权重。

融合模块650，用于基于待处理图像中各个像素点对应的第三融合权重，将待处理图像与参考图像进行融合，得到融合图像。

在本申请实施例中，通过待处理图像中的图像特征计算待处理图像中各个像素点对应的第一融合权重，根据待处理图像对应的外部信息计算待处理图像对应的第二融合权重，该外部信息指的是通过外部设备采集的能够影响待处理图像的成像效果的信息，再根据第一融合权重及第二融合权重确定待处理图像中各个像素点对应的第三融合权重，并基于待处理图像中各个像素点对应的第三融合权重，将待处理图像与参考图像进行融合，得到融合图像，可结合待处理图像自身的图像特征及外部影响成像效果的外部信息，共同确定待处理图像中各个像素点的融合权重，从而可得到图像质量更高的融合图像，提高了图像融合的融合效果，可有效解决将多帧图像进行融合时带来的鬼影问题。

在一个实施例中，确定模块640，还用于根据各个像素点对应的第一权重系数及第二权重系数，将各个像素点对应的第一融合权重与第二融合权重进行融合，得到各个像素点对应的第三融合权重。

在一个实施例中，确定模块640，还用于计算第一像素点对应的第一融合权重与对应的第一权重系数的乘积，得到第一计算结果，其中，第一像素点为待处理图像中的任一像素点；计算第一像素点对应的第二权重系数与第二融合权重的乘积，得到第二计算结果；以及将第一计算结果与第二计算结果的和，确定为第一像素点对应的第三融合权重。

在本申请实施例中，可根据设定的各个像素点对应的第一权重系数、第二权重系数，以及待处理图像中各个像素点对应的第一融合权重、第二融合权重，得到各个像素点对应的第三融合权重，可使得各个像素点对应的第三融合权重更加准确，从而可进一步提高图像融合的融合效果，提高了融合图像的图像质量。

在一个实施例中，图像特征包括各个像素点对应的边界特征值、亮度特征值、饱和度特征值及纹理特征值中的至少一种。

第一计算模块610，还用于根据待处理图像中各个像素点对应的边界融合权重、亮度融合权重、饱和度融合权重及纹理融合权重中的至少一个，计算各个像素点对应的第一融合权重，其中，边界融合权重是根据边界特征值确定的，亮度融合权重是根据亮度特征值确定的，饱和度特征值是根据饱和度特征值确定的纹理融合权重是根据纹理特征值确定的。

在一个实施例中，第一计算模块610，包括特征提取单元及权重计算单元。

图像特征包括各个像素点对应的边界特征值，特征提取单元，用于对待处理图像与参考图像中相同位置的像素点进行求差处理，得到待处理图像与参考图像之间的差异图像，并根据差异图像确定待处理图像中各个像素点的边界特征值。

在一个实施例中，特征提取单元，还用于将差异图像作为待处理图像中各个像素点的边界特征值；或用于对差异图像进行处理，得到待处理图像中各个像素点的边界特征值。

在一个实施例中，特征提取单元，用于对差异图像进行处理，得到待处理图像中各个像素点的边界特征值，具体包括以下中的至少一种：

对差异图像进行滤波处理，得到待处理图像中各个像素点的边界特征值；

对差异图像进行腐蚀处理和/或膨胀处理，得到待处理图像中各个像素点的边界特征值；

分别按照N种目标尺寸，对差异图像进行区域划分，得到N帧划分后的差异图像，分别计算划分后的差异图像中包含的各个图像区域对应的差异值，以得到N帧中间差异图像，并将N帧中间差异图像进行融合，得到待处理图像中各个像素点的边界特征值，其中，N为大于或等于2的整数；

若存在至少两帧参考图像，则将待处理图像与各帧参考图像之间的差异图像进行融合，得到待处理图像中各个像素点的边界特征值。

在一个实施例中，图像特征包括各个像素点对应的亮度特征值，特征提取单元，还用于基于参考图像对待处理图像进行亮度拉伸处理，以使得亮度拉伸后的待处理图像的图像亮度与参考图像的图像亮度对齐，并根据亮度拉伸后的待处理图像确定各个像素点对应的亮度特征值。

在一个实施例中，边界融合权重与边界特征值呈负相关关系；纹理融合权重与纹理特征值呈负相关关系；亮度融合权重是根据亮度特征值所属的第一特征值区间确定的；饱和度特征值是根据饱和度特征值所属的第二特征值区间确定的。

在一个实施例中，权重计算单元，用于将第一像素点对应的边界融合权重与对应的第一比例相乘，得到第一乘积，其中，第一像素点为待处理图像中的任一像素点；将第一像素点对应的亮度融合权重与对应的第二比例相乘，得到第二乘积；将第一像素点对应的饱和度融合权重与对应的第三比例相乘，得到第三乘积；将第一像素点对应的纹理融合权重与对应的第四比例相乘，得到第四乘积；以及求取第一乘积、第二乘积、第三乘积及第四乘积的和，得到第一像素点对应的第一融合权重。

在一个实施例中，外部信息包括位姿变化信息及环境亮度信息中的至少一种。第二计算模块630，还用于根据抖动权重及环境亮度权重中的至少一种，计算待处理图像对应的第二融合权重，其中，抖动权重是根据位姿变化信息确定的，环境亮度权重是根据环境亮度信息确定的。

在一个实施例中，抖动权重与位姿变化信息呈负相关关系；环境亮度权重与环境亮度信息呈负相关关系，或，环境亮度权重是根据环境亮度信息所属的环境亮度区间确定的。

在一个实施例中，第二计算模块630，还用于将待处理图像对应的抖动权重与对应的第五比例相乘，得到第五乘积；将待处理图像对应的环境亮度权重与对应的第六比例相乘，得到第六乘积；以及求取第五乘积及第六乘积的和，得到待处理图像对应的第二融合权重。

在本申请实施例中，可同时结合待处理图像的边界特征、亮度特征、饱和度特征及纹理特征等图像特征，以及外部影响成像效果的位姿变化信息、环境亮度等外部信息，共同确定待处理图像中各个像素点的融合权重，从而可得到图像质量更高的融合图像，提高了图像融合的融合效果，可有效解决将多帧图像进行融合时带来的鬼影问题。

图7为一个实施例中电子设备的结构框图。如图7所示，电子设备700可以包括一个或多个如下部件：处理器710、与处理器710耦合的存储器720，其中存储器720可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器710执行时实现如上述各实施例描述的方法。

处理器710可以包括一个或者多个处理核。处理器710利用各种接口和线路连接整个电子设备700内的各个部分，通过运行或执行存储在存储器720内的指令、程序、代码集或指令集，以及调用存储在存储器720内的数据，执行电子设备700的各种功能和处理数据。可选地，处理器710可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器710可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器710中，单独通过一块通信芯片进行实现。

存储器720可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器720可用于存储指令、程序、代码、代码集或指令集。存储器720可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备700在使用中所创建的数据等。

可以理解地，电子设备700可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Erasable PROM，EPROM)、电可擦除PROM(Electrically ErasablePROM，EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory，RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM可为多种形式，诸如静态RAM(Static RAM，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM，ESDRAM)、同步链路DRAM(Synchlink DRAM，SLDRAM)、存储器总线直接RAM(Rambus DRAM，RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM，DRDRAM)。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上对本申请实施例公开的一种图像融合方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。