一种多曝光图像融合方法

技术领域

本发明涉及图像处理领域，尤其涉及一种多曝光图像融合方法。

背景技术

与大部分数码相机拍摄到的图片相比，自然场景常常具有更高的动态范围。这是因为传统的图像传感器对光的响应曲线是线性的，而人眼对光的响应则是更趋向线性对数的，故而人眼可以捕捉到更多的信息。为了能够更真实的呈现场景中的所有细节信息，一种常用方法是利用不同的策略拍摄同一场景的多张图片，利用它们的互补性来获得一幅能够丰富反映场景信息的融合图像。其中，多曝光图像融合方法是对同一场景拍摄一系列具有不同曝光时间的图像进行融合，该方法较为经济有效，利用成本较低的线性图像传感器就可以获得一幅具有丰富信息的HDR图像。

但是传统的多曝光图像融合算法要求输入的图像序列是完全对齐的，而拍摄时相机的轻微抖动，或场景中物体的运动都会导致鬼影现象的产生。故而，现有的多曝光图像融合方法的输入图像序列大多要经过严格的图像配准且不允许包含运动物体。

故而，本发明提出了一种基于图像预处理和结构相似性检测来图像序列进行图像质量增强和鬼影去除的多曝光图像融合算法，从而得到较高质量的融合图像。

发明内容

本发明的目的在于提供一种多曝光图像融合方法，通过提高源图像质量并进行鬼影去除，可以实现包含运动物体的图像融合，融合后的图像的细节信息更多，可以较好的还原场景中的细节信息。

本发明提供了一种多曝光图像融合方法，包含以下步骤：

S1:计算各图像的平均亮度，并根据平均亮度对输入图像序列按照曝光等级由小到大进行排序；

S2:对各图像进行强度映射，调节步骤S1排序后图像序列的曝光等级分布，进而提高源图像序列的质量。

S3:对步骤S2处理后的图像序列进行动态物体的检测与替换，使输入图像序列中的各图像中不再包含运动不一致的物体。

S4:进行多曝光图像融合，获得HDR图像。

进一步地，上述步骤基于S2的图像质量增强主要包括以下步骤：

S21、对图像序列的像素值进行归一化，将所有像素值映射至[0,1]之间。

S22、取步骤S1排好序且归一化后的中间图像，依据其平均亮度，将中间图像的曝光等级映射至18％灰度级别。

S23、对于其他图像，依据它们在图像序列中的位置确定放缩系数，使得图像序列中包含各种曝光级别的图像。

S24、对各图像的像素值进行重新归一化，将之前因放缩而超出取值范围的像素值重新映射回0到1之间，再将图像像素值转换回8bit整数。

进一步的基于S3的动态物体检测与移除包括以下步骤：

S31、选取中间图像作为参考图像。

S32、依次选取图像序列内的图像作为待检测图像，对参考图像进行直方图匹配，使其直方图分布与待测图像相近，将对参考图像进行直方图匹配的结果称作拟态图像。

S33、对拟态图像与待测图像进行锐化，仅保留图像中的结构轮廓信息，记作结构图。

S34、对两幅结构图，依次取其同一位置的N*N图像块，计算两图像块的结构相似性因子。

S35、依次取拟态图像和待测图像同一位置的N*N图像块，计算两图像块的亮度相似性因子和对比度相似性因子。

S36、综合三个相似性因子，检测出所有的待测图像中结构与拟态图像不符的图像块位置。

S37、对未通过相似性检测的图像块，使用拟态图像的锐化图中相同位置图像块与待测图像锐化图中相同位置的图像块相减，记录下结果不为0的像素点位置，并对其进行形态学处理中的膨胀操作，得到运动像素点分布图。

S38、对于上一步得到的运动像素点分布图，使用拟态图像中对应位置的像素点对未通过相似性检测的图像块中的运动像素点进行替换。

进一步的基于S4的图像融合包括以下步骤：

S41、将进行动态物体的检测与替换后的图像归一化；

S42、基于亮度求图像序列的亮度权重图，具体方法是先对图像序列进行均值滤波，即对每一个像素点，计算以其为中心的3*3矩阵的像素点的平均值，再根据均值滤波后的各图像同一位置的像素点的亮度值求取亮度权重图。

S43、对各图像进行边缘检测，将边缘图像作为对比度权重图；

S44、对各图像的每一像素点，取三通道像素值，求三通道差值绝对值的平均值及三通道的平均值；将它们的比值作为颜色饱和度权重图；

S45、将步骤S42、S43、S44所得的亮度权重图、对比度权重图和颜色饱和度权重图相乘并进行归一化，得到最终的多曝光图像融合权重图；

S46、获得多曝光图像融合权重图序列的高斯金字塔和图像序列的拉普拉斯金字塔。

S47、依照多曝光图像融合权重图高斯金字塔，对图像序列拉普拉斯金字塔作融合，得到融合图像的拉普拉斯金字塔，最后对融合图像的拉普拉斯金字塔重构得到融合图像。

进一步的步骤S42亮度权重图计算包括以下步骤：

S421、对图像序列进行均值滤波，即对图像序列中一像素点，以其为中心的3*3窗口的平均值构建新的图像序列，再对均值滤波后的图像序列中同一位置的像素点求平均值，记为窗口均值；

S422、根据窗口均值计算理想中值。

S422、根据理想中值与正态分布函数计算亮度权重图。

进一步的步骤S43对比度权重图计算包括以下步骤：

S431、对图像序列中任一图像U

S432、对图像序列中任一图像U

S433、将水平梯度权重图和垂直梯度权重图合并，即可得到图像U

本专利提出了一种基于结构相似性的适用于动态场景的多曝光融合算法，该算法可以从对同一场景拍摄所得的具有不同曝光等级的一组低动态图像中综合提取细节信息并将其组合成一幅具有高动态范围的图像。此外，在实际拍摄中，由于相机的抖动或物体的位移，多曝光图像融合的结果往往会产生不必要的鬼影，影响成像质量，而本专利所提出的算法则可以有效消除复杂场景中的鬼影现象，生成无鬼影的高动态图像，可以用于提高普通商用摄像机的动态范围。

附图说明

图1是本发明实施例提供的一种多曝光图像融合的整体流程示意图。

图2是本发明实施例提供的一种多曝光图像序列曝光等级调控的流程示意图。

图3是本发明实施例提供的一种运动物体检测与替换的流程示意图。

图4是本发明实施例提供的拉普拉斯金字塔融合流程图。

参照图1，本发明实施例提供一种多曝光融合方法，所述方法包括以下步骤：

S1、计算各图像的平均亮度，公式如下：

然后根据图像的平均亮度对输入图像序列按照曝光等级由小到大进行排序。其中，E

S2、对各图像进行强度映射，调节步骤S1排序后图像序列的曝光等级分布，提升源图像序列的曝光等级分布，进而提高源图像序列的质量。

步骤S2可以详述为以下操作：

S21、对所有图像的像素值进行归一化后，将所有像素值映射至[0,1]之间。取序列中央的图像，对其进行强度映射，使其平均亮度接近18％灰度(对于8bit像素值就是127)，公式如下：

其中，P

S22、对其余图像，则依据与中间图像的序列号确定放缩系数，使图像序列中包含各种曝光等级，具体的计算公式如下：

/>

其中，Q

S23、对所有图像的像素值进行再次归一化，使因放缩而超出图像位宽限制的像素值回归正常范围，其公式为

其中，Q'

S24、将图像格式还原为8bit位宽的图像

S3:对步骤S2处理后的图像序列进行动态物体的检测与替换，使输入图像序列中的各图像中不再包含运动不一致的物体。

步骤S3可以详述为以下步骤：

S31、选取中间图像作为参考图像，对其进行动态物体的检测与鬼影的去除。

S32、计算结构相似性因子S

其中步骤S32具体分为以下几个步骤：

S321、根据待测图像I

S322、对映射图像和待检测图像进行锐化操作，锐化操作会突出显现物体的轮廓，弱化非边缘信息，得到参考图像锐化轮廓图C

其中锐化使用的算子是拉普拉斯算子

具体公式为

C(x,y)＝|I(x-1,y)+I(x,y-1)+I(x+1,y)+I(x,y+1)-4I(x,y)|

其中I(x,y)为Q'(x,y)反归一化得到的8bit图像

S323、对锐化图C

其中σ

其中μ

σ

S324、给定一阈值T

S33、计算亮度相似性因子l

步骤S33可以具体分为以下步骤：

S331、根据待测图像I

S332、对待测图I

S333、计算图像块D

其中τ

其中

S334、根据给定的阈值计算亮度相似性因子l

S34、根据对比度相似因子、亮度相似因子、结构相似因子三者综合得到最终的相似度因子，计算相似度因子B

B

若B

S35、选定运动物体并进行替换。

进一步的步骤S35可详述为以下步骤：

S351、对参考图像的拟态图像

S352、对锐化图像C

S353、对于包含运动物体的图像块，我们取轮廓差异图C

S4:进行多曝光图像融合，获得HDR图像

进一步的S4可以详述为以下几步：

S41、将进行动态物体的检测与替换后的图像归一化

S42、根据图像序列中各像素点的曝光等级计算基于图像曝光等级的亮度权重图G

进一步的S42具体包括以下步骤：

S421、对任一像素点P

S422、计算均值滤波后的图像序列中同一位置的像素点的窗口均值，计算公式为

其中L为图像源的数量。

S423、计算窗口理论中值γ，γ＝0.25+0.5θ，像素值与理论中值差距小的像素点将具有更高的亮度权重。

S424、计算图像序列在(x,y)点处的权重分布，公式为

其中σ为一常数，用于控制正态分布函数在亮度上的分布幅度；根据理想中值与正态分布函数计算亮度权重图。

S43、根据图像序列中边缘检测的结果计算基于图像对比度的对比度权重图。

进一步的S43具体包括以下步骤：

S431、对图像序列中任一图像U

A

S432、再使用垂直方向的sobel算子计算其垂直梯度，为垂直梯度权重图B

B

S433、将水平梯度和垂直梯度合并，即可得到图像U

S44、根据图像序列的每一点的色彩信息计算色彩权重图。

步骤S44可以详述为以下几个步骤：

S441、对任一像素点P

/>

S442、计算三通道的像素值平均值

S443、计算二者之间的比值，即为该像素点对应的色彩权重Y

S45、将三种权重相乘并进行归一化即可得到最终权重分布图ω

S46、对权重图做高斯金字塔操作，对输入图像做拉普拉斯金字塔操作，每一层图像金字塔均按照权重金字塔进行融合。

步骤S46可以详述为以下步骤：

S461、对权重图序列与图像序列均做高斯金字塔操作，

步骤S461的高斯金字塔的具体操作如下：

S4611、对一图像A

S4612、对图像

S4613、对降采样图

S4614、连续操作n-1次后就可以得到一个图像的高斯金字塔

S462、由源图像序列的高斯金字塔推出其拉普拉斯金字塔序列

步骤S462的拉普拉斯金字塔操作可以详述为以下步骤：

S4621、取图像的高斯金字塔的第n层作为拉普拉斯金字塔的第n层

S4622、对图像

S4623、对上采样图

/>

S463、由源图像序列同一层的拉普拉斯金字塔图像

S464、对融合图像的拉普拉斯金字塔进行重构得到融合图像：对顶层图像F