去除运动拖影的多帧图像融合方法及其装置

技术领域

本发明属于图像处理技术领域，涉及一种去除运动拖影的多帧图像融合方法及其装置。

背景技术

噪声是评判图片质量的重要标准之一。而现实中数字图像在数字化和传输过程中难以避免的受到成像设备和外部环境的影响，产生大量噪声，因而，降噪算法就显得尤为重要。

传统的降噪算法主要包括空域滤波、稀疏表示等等，这些算法通常是对单张图片进行处理，因而要想达到良好的降噪效果，一般需要复杂的计算约束和空间复杂度，比如双边滤波，比如NLmeans。实际应用中，往往对算法的效果和计算性能都有较高的要求。多帧堆栈是实际应用中使用比较广泛的一种降噪方法，拍摄多张图片进行叠加，利用噪声是随机产生的特性，合理的控制噪声，实验证明多帧堆栈可以简单有效的控制噪声。但是在实际使用中，当多帧照片中有目标处于运动状态时，直接叠加会带来运动拖影，从而影响照片效果。

目前较常用的运动处理算法有两种，一种为先检测出运动区域，然后对运动区域不直接进行叠加，而是单独进行处理，该种做法会增加算法的计算复杂度，并且运动区域的噪声可能也较难处理；另一种利用NLmeans的思想，利用多帧图像的相似冗余信息，在多帧图像的类似像素点位置，找到当前像素点的相似像素点，然后对这些像素点进行加权平均，能够得到较为干净的图像，然后算法复杂度也特别高，目前还不利于实际工程中的使用。

发明内容

本发明的目的在于提供一种去除运动拖影的多帧图像融合方法及其装置，合理的消除了随机噪声，巧妙的避免了运动区域的叠加拖影出现。

本申请一实施例中公开了一种去除运动拖影的多帧图像融合方法，包括：

获取同一场景不同时刻的多组图像；

从所述多组图像中选取一幅图像作为基准图；

采用均值滤波对所述多组图像中的每幅图像进行滤波，得到所述每幅图像的滤波平滑图像；

计算除所述基准图以外的每幅图像与所述基准图的互噪声估计值；

对所述互噪声估计值进行边缘检测并去除检测到的边缘；

根据去除边缘的所述互噪声估计值计算所述多组图像的降噪合成图。

优选的，获取同一场景不同时刻的多组图像的步骤中，获取同一场景不同时刻的至少三幅图像。

优选的，所述基准图为所述多组图像的第一幅图像。

优选的，采用均值滤波对所述多组图像中的每幅图像进行滤波，得到所述每幅图像的滤波平滑图的步骤，进一步包括：

根据噪声程度选择滤波窗口尺寸，计算滤波平滑图

优选的，所述滤波窗口尺寸为5。

优选的，计算除所述基准图以外的每幅图像与所述基准图的互噪声估计值的步骤，进一步包括：

计算互噪声估计值，所述互噪声估计值为

优选的，对所述互噪声估计值进行边缘检测并去除检测到的边缘的步骤，进一步包括：

设置正边缘阈值和负边缘阈值，分别检测出所述互噪声估计值中像素值大于所述正边缘阈值和像素值小于所述负边缘阈值的区域；

将所述检测到的区域的像素值设置为0。

优选的，根据去除边缘的所述互噪声估计值计算所述多组图像的降噪合成图的步骤，进一步包括；

根据

本申请另一实施例中公开了一种去除运动拖影的多帧图像融合装置，包括：

图像采集模块，用于获取同一场景不同时刻的多组图像；

基准选取模块，用于从所述多组图像中选取一幅图像作为基准图；

滤波模块，用于采用均值滤波对所述多组图像中的每幅图像进行滤波，得到所述每幅图像的滤波平滑图像；

互噪声估计模块，用于计算除所述基准图以外每幅图像与所述基准图的互噪声估计值；

边缘去除模块，用于对所述互噪声估计值进行边缘检测并去除检测到的边缘；

合成模块，用于根据去除边缘的所述互噪声估计值计算所述多组图像的降噪合成图。

本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现如前文描述的方法中的步骤。

相对于现有技术，本申请的方法具有以下有益效果：

本申请中，通过对多帧图像进行噪声估计，叠加多帧噪声，合理的消除了随机噪声，同时在噪声的叠加过程中，巧妙的避免了运动区域的叠加拖影出现，是一种可以在工程中使用的合理高效的方法。

附图说明

图1是本发明一个实施例中去除运动拖影的多帧图像融合方法的流程图。

图2至图4是本发明一个实施例中采集的三幅图像的示意图。

图5是本发明一个实施例中归一化后的互噪声估计值的示意图。

图6是本发明一个实施例中进行边缘处理的互噪声估计值的示意图。

图7是本发明一个实施例中去除运动拖影的多帧图像融合的示意图。

图8是本发明另一个实施例中进行边缘处理的去除运动拖影的多帧图像融合的示意图。

图9是现有技术中直接进行多帧图像融合的示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各项权利要求所要求保护的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

本申请一实施例中公开了一种去除运动拖影的多帧图像融合方法，图1示出了一实施例中去除运动拖影的多帧图像融合方法的流程图，该方法包括：

步骤101，获取同一场景不同时刻的多组图像。在一实施例中，获取同一场景不同时刻的多组图像的步骤中，至少获取同一场景不同时刻的三幅图像。

步骤102，从所述多组图像中选取一幅图像作为基准图。在一实施例中，所述基准图为所述多组图像的第一幅图像。

步骤103，采用均值滤波对所述多组图像中的每幅图像进行滤波，得到所述每幅图像的滤波平滑图。

在一实施例中，采用均值滤波对所述多组图像中的每幅图像进行滤波，得到所述每幅图像的滤波平滑图的步骤，进一步包括：根据噪声程度选择滤波窗口尺寸，计算滤波平滑图

步骤104，计算除所述基准图以外的每幅图像与所述基准图的互噪声估计值，并计算得到降噪合成图。

在一实施例中，分别对所述多组图像与所述基准图进行互噪声估计并计算得到降噪合成图的步骤，进一步包括：

计算互噪声估计值，所述互噪声估计值为

根据

步骤105，对所述互噪声估计值进行边缘检测并去除检测到的边缘。

在一实施例中，对所述互噪声估计值进行边缘检测并去除检测到的边缘的步骤，进一步包括：

设置正边缘阈值和负边缘阈值，分别检测出所述互噪声估计值中像素值大于所述正边缘阈值和像素值小于所述负边缘阈值的区域；

将所述检测到的区域的像素值设置为0。

步骤106，根据去除边缘的所述互噪声估计值计算所述多组图像的降噪合成图。

在一实施例中，根据去除边缘的所述互噪声估计值计算所述多组图像的降噪合成图的步骤，进一步包括；

根据

下文以一个具体实施例中对本申请的方法进行具体说明，应当理解，本申请并不以此为限。

（一）去运动模糊的多帧堆栈

假设现有n张含噪图片

其中X为降噪之后的图片。由于使用（1）公式降噪会有不可避免的运动拖影现象出现，我们将（１）公式换一种形式，写为：

其中

公式（2）中，第一项

我们把公式（2）第二项拆开来，即为对

其中X为不含噪声的原图像，

由此我们将原问题转化为对噪声的估计问题。这里给出一个噪声估计的方法，

其中

以一个具体示例为例进行说明，本示例包括以下步骤：

【步骤1】假设有n张带噪声图片

【步骤2】选定基准图

【步骤3】使用均值滤波对图片进行均值滤波，计算

【步骤4】计算

【步骤5】根据互噪声估计，通过下式计算降噪合成图，得到图7。

由于本实施例中避免了原图堆栈，故而可以去除运动物体的影响，实现去运动模糊的多帧降噪。

（二）边缘处理的去运动模糊多帧堆栈

以上分析中，我们把多帧降噪用了一个新的公式（6）来表示，可以有效的去除运动重影。在分析中，我们有一个噪声估计的近似操作，即公式（5）。实验处理中可以发现，由于我们选择的是简单的均值滤波，公式（5）的噪声估计并不准确，会有一些图像边缘出现在噪声估计结果里。而这与我们单纯噪声估计的目标不符，并且会影响到算法最终效果，因而需要尽可能去除边缘。

由于我们多帧降噪的前提是假设图像除了运动目标以外都是基本对齐的，因而依据公式（3），我们刚好可以通过

经分析，残留边缘部分大多成片连续分布，并且像素值较亮（正边缘）或者较暗（负边缘）。因而，我们通过简单的联通域检测来过滤掉并且消除边缘影响。

设置正边缘阈值u1和负边缘阈值u2，分别检测出像素值大于u1的联通区域和像素值小于u2的联通区域，然后对将符合条件的像素值置0，从而去除残留边缘。

具体的，包括以下步骤：

【步骤6】互噪声遗留边缘检测及去除。

图5为本发明实验数据中其中一张图像公式（3）的结果，其是归一化到0-255显示的互噪声，可以看到运动部分有明显的相对边缘残留现象。经过上述（二）中的边缘处理过程，得到图6。可以看到，噪声边缘基本已经去掉。该过程可以消除降噪结果图上运动物体的残留边缘痕迹，从而有效提升降噪结果图的质量。

【步骤7】根据边缘去除的互噪声估计，通过下式计算降噪合成图，得到图8。

其中，

图9为直接多帧叠加的合成结果。对比可以看到，直接多帧堆栈的运动模糊最为严重，而本发明提出的基于噪声估计的融合方法在处理运动上则明显优于传统的多帧叠加。

本发明提出的基于噪声估计的降噪算法优势在于在利用多张图信息进行噪声处理的同时，避免了运动目标的影响，从而生成高质量的降噪图片。

本申请另一实施例中公开了一种去除运动拖影的多帧图像融合装置，所述去除运动拖影的多帧图像融合装置包括：图像采集模块、基准选取模块、滤波模块、互噪声计算模块、合成模块和边缘去除模块。其中：

图像采集模块用于获取同一场景不同时刻的多组图像；

基准选取模块用于从所述多组图像中选取一幅图像作为基准图；

滤波模块用于采用均值滤波对所述多组图像中的每幅图像进行滤波，得到所述每幅图像的滤波平滑图；

互噪声计算模块用于计算除所述基准图外每幅图像与所述基准图的互噪声估计值；

边缘去除模块用于对所述互噪声估计值进行边缘检测并去除检测到的边缘；

合成模块用于根据去除边缘的所述互噪声估计值计算所述多组图像的降噪合成图。

本实施例是与实施例一中的方法对应的装置实施例中，上述具体细节可以合并引用至此。

相应地，本申请的其他实施方式还可以提供一种计算机可读存储介质，其中存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现本申请的各方法实施方式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于，相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

需要说明的是，在本专利的申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。