图像融合方法、装置、电子设备和存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及图像融合方法，图像融合装置，电子设备和存储介质。

背景技术

图像融合技术，例如人像融合，是目前相机等图像类应用常见的功能，可以将人像覆盖在背景图像之上，并通过算法将人像与背景图像融合，使得人像与背景图像视觉上看起来没有过大的差异感。

目前将人像与背景图像融合的算法主要是泊松融合和特征金字塔融合。其中，泊松融合可以构造泊松方程，使得人像与背景在梯度域上保持连续性，达到人像和背景图像的边界处无缝融合。特征金字塔融合可以计算人像和背景图像不同分辨率的特征，并构造金字塔，金字塔的底部为高分辨率的特征，越往顶部特征的分辨率越低，然后通过特定的融合规则由金字塔底部向顶部逐层融合人像和背景图像的特征。

虽然上述两种算法可以实现图像融合，但是算法相对复杂，难以适用于计算能力较弱的设备。

发明内容

本公开提供了图像融合方法，图像融合装置，电子设备和存储介质，以至少解决相关技术中图像融合算法相对复杂，难以适用于计算能力较弱的设备的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提出一种图像融合方法，包括：

确定待融合图像在目标图像中覆盖的目标区域；

计算所述待融合图像中每个像素在颜色空间中的第一像素值的第一像素均值，以及所述目标区域中每个像素在所述颜色空间中的第二像素值的第二像素均值；

计算所述第二像素均值与所述第一像素均值的差值；

将所述待融合图像中像素的第一像素值与所述差值相加得到第三像素值；

根据所述第三像素值调整所述待融合图像中像素在所述颜色空间中的像素值；

将调整后的所述待融合图像设置在所述目标区域。

可选地，所述根据所述第三像素值调整所述待融合图像中像素在所述颜色空间中的像素值包括：

计算第一权值与所述第三像素值之积和第二权值与所述第一像素值之积的和；

根据所述加权和调整所述待融合图像中像素在所述颜色空间中的像素值。

可选地，所述颜色空间至少包括亮度维度和色度维度。

可选地，所述颜色空间为Lab颜色空间。

可选地，所述确定所述待融合图像在所述目标图像中覆盖的目标区域包括：

根据所述待融合图像在所述目标图像中的位置生成掩膜；

根据所述掩膜确定和所述目标图像确定所述目标区域。

根据本公开实施例的第二方面，提出一种图像融合装置，包括：

区域确定模块，被配置为执行，确定待融合图像在目标图像中覆盖的目标区域；

均值计算模块，被配置为执行，计算所述待融合图像中每个像素在颜色空间中的第一像素值的第一像素均值，以及所述目标区域中每个像素在所述颜色空间中的第二像素值的第二像素均值；

差值计算模块，被配置为执行，计算所述第二像素均值与所述第一像素均值的差值；

相加计算模块，被配置为执行，将所述待融合图像中像素的第一像素值与所述差值相加得到第三像素值；

像素值调整模块，被配置为执行，根据所述第三像素值调整所述待融合图像中像素在所述颜色空间中的像素值；

图像设置模块，被配置为执行，将调整后的所述待融合图像设置在所述目标区域。

可选地，所述像素值调整模块包括：

计算子模块，被配置为执行，计算第一权值与所述第三像素值之积和第二权值与所述第一像素值之积的和；

调整子模块，被配置为执行，根据所述加权和调整所述待融合图像中像素在所述颜色空间中的像素值。

可选地，所述颜色空间包括亮度维度和色度维度。

可选地，所述颜色空间为Lab颜色空间。

可选地，所述区域确定模块包括：

生成子模块，被配置为执行，根据所述待融合图像在所述目标图像中的位置生成掩膜；

确定子模块，被配置为执行，根据所述掩膜确定和所述目标图像确定所述目标区域。

根据本公开实施例的第三方面，提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如上述任一实施例所述的图像融合方法。

根据本公开实施例的第四方面，提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像融合方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像融合方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

根据本公开的实施例，可以使得待融合图像在目标图像中，能够与目标图像在颜色空间中具有相近的属性，保证整体上具有相对统一的视觉效果，确保良好的融合效果。

并且根据本公开的实施例进行图像融合，只需计算待融合图像和目标图像在颜色空间中像素值均值，以及进行像素值和均值之间的运算，计算过程相对相关技术中算法较为简单，易于适用于手机等计算能力相对较低的电子设备。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据本公开的实施例示出的一种图像融合方法的示意流程图。

图2是根据本公开的实施例示出的一种待融合图像的示意图。

图3是根据相关技术进行图像融合的示意图。

图4是根据本公开的实施例进行图像融合的示意图。

图5是根据本公开的实施例示出的另一种图像融合方法的示意流程图。

图6是根据本公开的实施例示出的又一种图像融合方法的示意流程图。

图7是根据本公开的实施例示出的一种图像融合装置的示意框图。

图8是根据本公开的实施例示出的一种像素值调整模的示意框图。

图9是根据本公开的实施例示出的一种区域确定模块的示意框图。

图10是根据本公开的实施例示出的图像融合装置所在设备的一种硬件结构图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据本公开的实施例示出的一种图像融合方法的示意流程图。本实施例所示的方法可以适用于电子设备，所述电子设备包括但不限于手机、平板电脑、可穿戴设备等终端，还可以是服务器。

如图1所示，所述图像融合方法可以包括以下步骤：

在步骤S101中，确定待融合图像在目标图像中覆盖的目标区域；

在步骤S102中，计算所述待融合图像中每个像素在颜色空间中的第一像素值的第一像素均值，以及所述目标区域中每个像素在所述颜色空间中的第二像素值的第二像素均值；

在步骤S103中，计算所述第二像素均值与所述第一像素均值的差值；

在步骤S104中，将所述待融合图像中像素的第一像素值与所述差值相加得到第三像素值；

在步骤S105中，根据所述第三像素值调整所述待融合图像中像素在所述颜色空间中的像素值；

在步骤S106中，将调整后的所述待融合图像设置在所述目标区域。

在一个实施例中，待融合图像包括但不限于人像，也可以是景物的图像，用户可以在目标图像中选定目标区域，作为需要将待融合图像融合到目标图像中的区域，例如用户可以将待融合图像复制粘贴到目标图像中，然后调整待融合图像在目标图像中的位置，当停止调整后，就可以确定待融合图像目标图像中所处的区域为目标区域。

为了将待融合图像融合到目标图像中，可以计算待融合图像中每个像素在颜色空间中的第一像素值，以及目标图像中每个像素在颜色空间中的第二像素值，进而可以计算待融合图像中所有像素的第一像素值之和，然后除以待融合图像中所有像素的数量，得到第一像素均值，还可以计算目标图像中所有像素的第二像素值之和，然后除以目标图像中所有像素的数量，得到第二像素均值。

其中，颜色空间(也称作色彩空间)可以根据需要选取，例如可以选择RGB颜色空间，也可以选择HSV颜色空间，还可以选择Lab颜色空间。

对于不同的颜色空间而言，所包含的维度是不同的。例如对于RGB颜色空间而言，可以包括R(表示红色)、G(表示绿色)、B(表示蓝色)三个维度，对于HSV颜色空间而言，可以包括H(表示色调)、S(表示饱和度)、V(表示明度)三个维度，对于Lab颜色而言，可以包括L(表示亮度)、a和b(表示两个颜色对立维度)三个维度。

由于不同颜色空间包含的维度不同，所以针对不同颜色空间而言，所计算的第一像素均值和第二像素均值也可以有所不同，例如对于RGB颜色空间而言，第一像素均值包括第一R维度均值，第一G维度均值，第一B维度均值，第二像素均值包括第二R维度均值，第二G维度均值，第二B维度均值；对于HSV颜色空间而言，第一像素均值包括第一H维度均值，第一S维度均值，第一V维度均值，第二像素均值包括第二H维度均值，第二S维度均值，第二V维度均值；对于Lab颜色空间而言，第一像素均值包括第一L维度均值，第一a维度均值，第一b维度均值，第二像素均值包括第二L维度均值，第二a维度均值，第二b维度均值。

以下实施例主要在颜色空间为Lab颜色空间的情况下进行示例性说明。

对于计算得到的第一像素均值和第二像素均值，可以计算第二像素均值和第一像素均值的差值，例如对于L、a和b三个维度，差值包括第二L维度均值与第一L维度均值的L维度差值，第二a维度均值与第一a维度均值的a维度差值，第二b维度均值与第一b维度均值的b维度差值。

其中，第二像素均值可以体现目标图像在颜色空间中的属性，例如对于Lab空间而言，可以体现亮度和在a维度与b维度的色度，相应地，第一像素均值可以体现待融合图像在颜色空间中的属性。那么第二像素均值与第一像素均值的差值，则可以体现目标图像和待融合图像在颜色空间中的属性差异。

进一步地，可以将待融合图像中像素的第一像素值与差值相加得到第三像素值，也即对于待融合图像中的每个像素，可以在第一像素值的基础上加上差值得到第三像素值，从而弥补目标图像和待融合图像在颜色空间中的属性差异。

从而在将待融合图像设置在目标图像中时，可以根据第三像素值设置待融合图像中像素在颜色空间中的像素值，使得待融合图像中的像素在具备第三像素值的情况下，能更接近目标图像在颜色空间中的属性，使得待融合图像在目标图像中时，能够与目标图像在颜色空间中具有相近的属性，保证整体上具有相对统一的视觉效果，确保良好的融合效果。

最后将调整后的所述待融合图像设置在所述目标区域，例如在调整待融合图像之前，用户已经将待融合图像移动到了目标区域，调整后的待融合图像已经位于目标区域，那么可以将调整后的待融合图像与目标图像作为一张图像。

根据本公开的实施例进行图像融合，只需计算待融合图像和目标图像在颜色空间中像素值均值，以及进行像素值和均值之间的运算，计算过程相对相关技术中算法较为简单，易于适用于手机等计算能力相对较低的电子设备。

当然，本实施例所示的方法，除了可以应用于手机，也可以应用于服务器等具备较强计算能力的电子设备。

图2是根据本公开的实施例示出的一种待融合图像的示意图。图3是根据相关技术进行图像融合的示意图。图4是根据本公开的实施例进行图像融合的示意图。

待融合图像可以是初始图像中的人像，用户可以手动在初始图像中选取待融合图像，也可以通过人体识别等方式自动在初始图像中确定人像作为待融合图像。

目标图像可以是经过滤镜处理的图像，例如滤镜为冷色调滤镜，使得目标图像相对偏蓝，那么根据本实施例，可以根据第三像素值设置待融合图像中像素在颜色空间中的像素值，使得待融合图像也偏蓝。

如图2所示，可以在初始图像中确定人像作为待融合图像。

如图3所示，根据相关技术中的融合算法将待融合图像融合到目标图像中，待融合图像和目标图像的颜色存在较大差异，由于待融合图像为人像，皮肤为黄色，衣服为红色，整体为暖色调，而目标图像经过冷色调滤镜处理，整体偏蓝色，将待融合图像融合在目标图像中，可以观看到明显的颜色差异，融合后的视觉效果并不理想。

如图4所示，根据本公开的实施例将待融合图像融合到目标图像中，可以使得待融合图像也偏蓝，从而在将待融合图像设置在目标图像中时，待融合图像与目标图像可以具有较为接近的颜色，避免存在明显的颜色差异，确保融合后具有相对良好的视觉效果。

图5是根据本公开的实施例示出的另一种图像融合方法的示意流程图。如图5所示，所述根据所述第三像素值设置将所述待融合图像设置在所述目标图像中时，所述待融合图像中像素在所述颜色空间中的像素值包括：

在步骤S1051中，计算第一权值与所述第三像素值之积和第二权值与所述第一像素值之积的和；

在步骤S1052中，根据所述加权和调整所述待融合图像中像素在所述颜色空间中的像素值。

在一个实施例中，可以通过对第三像素值和第一像素值进行加权求和，并根据加权求和得到值来设置将待融合图像设置在目标图像中时，待融合图像中像素在颜色空间中的像素值，也即在图1所示实施例根据第三像素值设置待融合图像中像素在颜色空间中的像素值的基础上，还可以考虑待融合图像原本的第一像素值，并对第三像素值和第一像素值分别设置权值进行加权求和，从而综合考虑经过差值补偿后的第三像素值和待融合图像原本的第一像素值，有利于保证待融合图像与目标图像融合后，待融合图像在目标图像中虽然可以改变图像，但是仍在一定程度上趋近于融合前的待融合图像，以缓解待融合图像在目标图像中失真。

例如按照图1所示的实施例，目标图像经过冷色调滤镜处理，使得目标图像相对偏蓝，那么根据第三像素值设置待融合图像中像素在颜色空间中的像素值，可以使得待融合图像也偏蓝，但是由于待融合图像是人像，皮肤一般并不会呈现蓝色，所以仅根据第三像素值设置待融合图像中像素在颜色空间中的像素值，会使得人像过于偏蓝，失真较为严重。

而根据图5所示的实施例，通过对第三像素值和第一像素值加权求和，并根据加权求和的值设置待融合图像中像素在颜色空间中的像素值，可以确保待融合图像在目标图像中虽然偏蓝，但是并不会过于偏蓝，仍具备一些待融合图像原来的颜色，从而缓解融合后的图像失真。

其中，对第三像素值加权的第一权值和对第一像素值加权的第二权值可以是预先设定的，也可以是可供用户调节的，用户可以根据需要调节第一权值和第二权值，从而得到所需显示效果的融合后的图像。

可选地，所述颜色空间包括亮度维度和色度维度，所述第一像素值包括第一亮度值和第一色度值，所述第二像素值包括第二亮度值和第二色度值。

在一个实施例中，由于人眼对于亮度和色度相对敏感，选择包括亮度维度和色度维度的颜色空间，可以在计算第一像素值和第二像素值时，将亮度维度和色度维度区分开来计算，那么确定的第一像素值包括第一亮度值和第一色度值，确定的第二像素值包括第二亮度值和第二色度值。

在此基础上，就可以在亮度维度和色度维度分别计算差值，例如计算第二亮度值的均值和第一亮度值的均值的亮度差值，以及计算第二色度值的均值和第一色度值的均值的色度差值。从而后续将第一像素值与差值相加，也可以在亮度维度和色度维度分别相加，例如将第一亮度值加上亮度差值，将第一色度值加上色度差值，实现了从亮度维度和色度维度分别对待融合图像进行补偿，从而额准确地从用户感官相对敏感的两个维度弥补目标图像和待融合图像的差异，有利于确保待融合图像在目标图像中良好的融合效果。

可选地，所述颜色空间为Lab颜色空间。

在一个实施例中，包含亮度维度和色度维度的色彩空间不限于Lab颜色空间，例如HSV色彩空间也包括色度维度和亮度维度(具体是与亮度维度接近的明度维度)，但是在HSV色彩空间中的色度维度是环形的，在色度维度上表达数值相对复杂，不利于简化计算过程，而Lab颜色空间中色度维度则可以通过相对简单的像素表达，便于简化计算过程。

图6是根据本公开的实施例示出的又一种图像融合方法的示意流程图。如图6所示，所述确定所述待融合图像在所述目标图像中覆盖的目标区域包括：

在步骤S1011中，根据所述待融合图像在所述目标图像中的位置生成掩膜；

在步骤S1012中，根据所述掩膜确定和所述目标图像确定所述目标区域。

在一个实施例中，在将待融合图像设置在目标图像中时，可以根据所述待融合图像在所述目标图像中的位置生成掩膜，目标图像被掩膜覆盖的区域是目标图像未被待融合图像遮挡的区域，目标图像被掩膜覆盖的区域是目标图像被待融合图像遮挡的区域，进而根据所述掩膜确定和所述目标图像确定所述目标区域，也即确定目标图像被掩膜覆盖的区域为目标区域。

进而可以仅针对目标区域中每个像素，确定在所述颜色空间中的像素值作为第二像素值，以及目标区域中全部像素的均值作为第二像素均值，由于目标区域是目标图像中被待融合图像覆盖的区域，该区域在颜色空间中的像素值，与目标图像和待融合图像的交界处在颜色空间中的像素值，具有较强的相似性，所以根据该区域中像素的像素值来计算第二像素均值，进而计算差值，可以准确地体现待融合区域和所述交界处像素值的差异，进而根据第三像素值设置待融合图像中像素在颜色空间中的像素值，有利于保证待融合图像与目标图像的交界处过渡平缓，从而实现较佳的融合效果。

与前述图像融合方法的实施例相对应地，本公开还提出了图像融合装置的实施例。

图7是根据本公开的实施例示出的一种图像融合装置的示意框图。本实施例所示的装置可以适用于电子设备，所述电子设备包括但不限于手机、平板电脑、可穿戴设备等终端，还可以是服务器。

如图7所示，所述图像融合装置包括：

区域确定模块101，被配置为执行，确定待融合图像在目标图像中覆盖的目标区域；

均值计算模块102，被配置为执行，计算所述待融合图像中每个像素在颜色空间中的第一像素值的第一像素均值，以及所述目标区域中每个像素在所述颜色空间中的第二像素值的第二像素均值；

差值计算模块103，被配置为执行，计算所述第二像素均值与所述第一像素均值的差值；

相加计算模块104，被配置为执行，将所述待融合图像中像素的第一像素值与所述差值相加得到第三像素值；

像素值调整模块105，被配置为执行，根据所述第三像素值调整所述待融合图像中像素在所述颜色空间中的像素值；

图像设置模块106，被配置为执行，将调整后的所述待融合图像设置在所述目标区域。

图8是根据本公开的实施例示出的一种像素值调整模的示意框图。如图8所示，所述像素值调整模块105包括：

计算子模块1051，被配置为执行，计算第一权值与所述第三像素值之积和第二权值与所述第一像素值之积的和；

调整子模块1052，被配置为执行，根据所述加权和调整所述待融合图像中像素在所述颜色空间中的像素值。

可选地，所述颜色空间包括亮度维度和色度维度。

可选地，所述颜色空间为Lab颜色空间。

图9是根据本公开的实施例示出的一种区域确定模块的示意框图。如图9所示，所述区域确定模块101包括：

生成子模块1011，被配置为执行，根据所述待融合图像在所述目标图像中的位置生成掩膜；

确定子模块1012，被配置为执行，根据所述掩膜确定和所述目标图像确定所述目标区域。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例示出的图像融合装置的实施例可以应用在终端或服务器等设备上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图10所示，为根据本公开的实施例示出的图像融合装置所在设备的一种硬件结构图，除了图10所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常还可以包括其他硬件，如负责处理报文的转发芯片等等；从硬件结构上来讲该设备还可能是分布式的设备，可能包括多个接口卡，以便在硬件层面进行报文处理的扩展。

本公开的实施例还提出一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述任一实施例所述的图像融合方法。

本公开的实施例还提出一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一实施例所述的图像融合方法。

本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像融合方法。

可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本公开的实施例还提出一种计算机程序产品，所述计算机程序产品被配置为执行上述任一实施例所述的图像融合方法。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本公开实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。