一种视频降噪方法、装置及计算机存储介质

技术领域

本发明属于视频图像处理技术，尤其是一种视频降噪方法、装置及计算机存储介质。

背景技术

在摄像和监控广泛使用的现代社会，随着技术的发展对图像质量的要求也在逐步提升，尤其是在行车记录仪和监控的使用过程，由于受到感光器件的限制，在光线较弱的环境下，视频噪声明显，图像清晰度下降，严重影响用户的体验。为了针对暗环境下视频噪声的问题，目前广泛使用2D降噪和3D降噪方法减少视频噪声，提高视频质量。

对于2D降噪，较为简单的可以使用低通滤波、双边滤波或NLM等方法。这种方法只针对视频中每一帧独立处理，通过对每一帧图像进行降噪，从而提高整体的视频质量。2D降噪是根据图像上每个点周围点像素信息对中心点进行过滤，这种方式难以避免的会使得图像变得模糊，同时仅消除了本帧噪声，而实际视频中亮度闪烁造成的噪声来源于帧间噪声，2D降噪无法很好的应对帧间噪声。

3D降噪方法就是考虑了帧间噪声的存在，可以对图像进行分析，根据分析结果控制空域滤波和时域滤波的强度对图像不同部分进行不同强度的降噪处理。现有的方法是对静止区域进行空域降噪，对运动的区域进行时域降噪，从而消除噪声的同时尽量避免运动拖影问题。但是简单的区分运动和静止并不能够精确的控制图像中每个像素点的降噪强度，导致视频降噪效果不够理想并且无法很好地避免运动拖影。

如何在复杂条件下实现理想的视频降噪效果要当前亟待解决的一个问题。

发明内容

有鉴于此，本发明提供种一种视频降噪方法、装置及计算机存储介质用于解决现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

本发明实施例提供了一种视频降噪方法，包括：

将视频图像转换为YCbCr或YUV格式；

将当前帧划分为多个大小相同的图像块并对每个图像块进行下采样处理；

在前一帧下采样后的预设搜索范围内搜索与所述当前帧下采样后的图像块最匹配的图像块列为待匹配块并确定待匹配块坐标；

根据下采样待匹配块坐标对应到下采样前的原始图像块坐标，确定下采样前当前帧图像块在前一帧中的最匹配的图像块列为精确匹配块并得到对应的平均绝对误差；

根据所述平均绝对误差确定滤波系数；

将当前帧图形块与前一帧精确匹配块按照滤波系数进行融合。

进一步地，对当前帧的图像块进行下采样处理采用将最邻近的n

进一步地，下采样处理采用如下表达式：

block

其中：block

进一步地，最匹配的图像块为待比较的两个图像块各个像素点的绝对误差之和SAD值最小对应的图像块，平均绝对误差MAD为绝对误差之和SAD除以对应的图像块大小。

进一步地，下采样后的每个图像块block

进一步地，根据所述平均绝对误差确定滤波系数采用如下分段表达式：

其中：threshold1为预设第一门限；threshold2为预设第二门限；且threshold1

进一步地，将当前帧图形块与参考帧精确匹配块按照滤波系数进行融合采用如下表达式：

FilterBlock＝k·block

其中：FilterBlock为当前帧图像块融合降噪后的结果；block

本发明实施例还提供了一种视频降噪装置，包括：

格式转换模块，用于将视频图像转换为YCbCr或YUV格式；

下采样模块，用于对当前帧的图像块进行下采样处理；

搜索匹配模块，用于在参考帧下采样后的预设搜索范围内搜索与所述当前帧下采样后的图像块确最匹配的图像块列为待匹配块并确定待匹配块坐标；

平均绝对误差确定模块，用于根据下采样待匹配块坐标对应到原始图像块坐标，确定当前帧图像块在参考帧中的精确匹配块以及当前帧图像块与参考帧中备选的精确匹配块的平均绝对误差；

系数确定模块，用于根据平均绝对误差确定滤波系数；

融合模块，用于将当前帧图形块与参考帧精确匹配块按照滤波系数进行融合。

进一步地，系数确定模块确定滤波系数k采用连续分段表达式：其中滤波系数k的首段为第一常量；滤波系数k的尾段为第二常量；所述第二常量小于所述第一常量；滤波系数k的中间段为关于平均绝对误差的一次线性函数，其为介于所述第一常量与所述第二常量之间的变量。

本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的视频降噪方法。

本发明提供一种基于运动估计的视频3D降噪方法，利用运动估计找到当前宏块像素在参考帧中对应的块位置，在下采样的图像中查找待匹配块然后在还原到下采样前的原始图像中查找精准匹配块，再进行去噪，保证了时间维度上的平稳，能够较好的消除视频噪声，由于在下采样图像中图像大小减小了，寻找待匹配快速度快，通过快速确定大致位置然后在精确确定匹配块，可以有效降级系统存储和计算成本，使其更易实现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频降噪方法的流程示意图；

图2为本发明实施例提供的一种视频降噪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明实施例提供的一种视频降噪方法的流程示意图。

S1：将视频图像转换为YCbCr或YUV格式。

对于所需降噪的视频，一般的帧间噪声主要是亮度差异，对于非常暗的视频还可能存在色噪，将视频图像从RGB等格式转换成YCbCr或YUV格式能够更好的消除帧间噪声。对于一般情况的视频，仅需要消除亮度噪声即可，对于极暗条件下的视频，将亮度拉亮后还可能存在很大的色噪，因此可以使用亮度值进行运动估计和匹配，根据所求系数对Cb、Cr或U、V分量同样降噪。将视频图像转换为YCbCr或YUV格式后，本申请都是以亮度值Y为图像块匹配主要依据，后续相关的计算都是围绕像素点的亮度值Y展开的。

S2：将当前帧划分为多个大小相同的图像块并对每个图像块进行下采样处理。

对当前帧的图像块进行下采样处理采用将彼此最邻近的n

当n＝2时，对当前帧的图像块进行下采样处理采用如下表达式：

其中：block

当n＝3时，对当前帧的图像块进行下采样处理采用如下表达式：

block

其中：block

依次类推得到block

将某帧分成多个图像块时，相邻图像块之间可以采用不重叠或者部分重叠的方式，具体根据实际需要进行选择。

S3：在前一帧下采样后的预设搜索范围内搜索与所述当前帧下采样后的图像块确最匹配的图像块列为待匹配块并确定待匹配块坐标。

前一帧降噪后图像作为参考帧，对于视频第一帧由于没有前一帧作为参考帧可以将当前帧作为参考帧。本申请采用前一帧和当前帧两帧融合降噪，数据储存量适中，降噪效果好。相对三帧融合处理，其数据存储量小运算处理快。

搜索确定待匹配块的图像块采用绝对误差之和SAD，SAD值越小说明越匹配，其中

block

在搜索范围内根据SAD值搜索最相似的块，获取下采样匹配块坐标位置。

在本实施例中，下采样后的图像块block

S4：根据下采样待匹配块坐标对应到原始图像块坐标，确定当前帧图像块在前一帧中的精确匹配块以及当前帧图像块与前一帧中的精确匹配块的平均绝对误差。

步骤S3中匹配的块是下采样后图像块block

平均绝对误差

其中：block

同理当n＝3时，进行下采样后图像块的长宽均是原图像块的1/3，下采样后的图像块大小变为原来的1/9。需要将下采样图像中位置对应到原始尺寸图像位置中。步骤S3中获取的坐标是在下采样图像中位置，如果下采样图像中匹配块第一个点坐标位置(a,b)，那么对应原始尺寸图像中精确块第一个点坐标备选值为(3a,3b),(3a+1,3b),(3a+2,3b)(3a,3b+1),(3a+1,3b+1),(3a+2,3b+1),(3a,3b+2),(3a+1,3b+2),(3a+2,3b+2)。将这9个备选点对应的参考帧图像块分别与当前帧块求绝对误差值，取9个绝对误差值中的最小的。

平均绝对误差

其精确匹配的原则与下采样之后的相同都是选取绝对误差之和SAD最小的。由于采样后大小为M×N,则采样前的大小为nM×nN。绝对误差之和

平均绝对误差

S5：根据平均绝对误差确定滤波系数。

滤波系数k采用如下分段表达式：

其中：threshold1为预设第一门限；threshold2为预设第二门限；且threshold1

预设第一门限threshold1以及预设第二门限threshold2这两个阈值均是经验值，其中预设第一门限threshold1取值范围通常为10到30，预设第二门限threshold1取值范围通常为20到50，具体根据实际情况也可以根据实际情况调整，注意threshold1

coeff是常量系数，也是一经验值，coeff的取值范围通常为0.6到0.9。根据视频用途设置即可，如果是监控这类静态多的视频coeff可以设置为0.9，如果是用于行车记录仪这类动态多的视频可以设定0.7。

其中MAD

其中MAD>threshold2为尾段，滤波系数k为常量0。其中threshold1≤MAD≤threshold2为中间段，滤波系数k为关于MAD的一次线性函数

滤波系数k采用连续分段表达式，而不是选用固定值，基于块匹配值计算得到的滤波系数能够让降噪效果更好，并且视频图像不容易产生拖影的问题。

S6：将当前帧图形块与前一帧精确匹配块按照滤波系数进行融合。

将当前帧图像块与参考帧精确匹配块进行融合以消除帧间噪声。对于一般的视频，主要噪声存在于亮度中，即参考帧亮度与当前帧亮度按照滤波系数融合。对于色噪非常大的视频图像，由于视频主要信息可以通过亮度显示，因此对于消除色噪无需再次进行图像块匹配，而是采用亮度滤波系数和亮度精确块匹配坐标，将参考帧CbCr或UV对应精确块与本帧CbCr或UV图像块按照亮度滤波系数进行融合。

将当前帧图形块与参考帧精确匹配块按照滤波系数进行融合采用如下表达式：

FilterBlock＝k·block

其中：FilterBlock为当前帧图像块融合降噪后的结果；block

本申请中滤波系数k都是根据亮度值Y计算确定的。然后利用该滤波系数k对Y、Cb/Cr(或U/V)分量进行融合降噪。本申请不需要根据Cb/Cr(或U/V)再做匹配块来确定滤波系数，直接使用亮度值Y做匹配块得到的滤波系数k即可。采用该方式处理运算流程简化，并且降噪效果好。尤其是在处理极暗条件下视频色噪效果明显。

本申请采用基于块匹配的方法进行视频降噪，对于当前帧中的图像块，需要在参考帧中确定最匹配的视频块，再根据相似度等进行融合，消除当前帧与参考帧之间的帧间噪声，避免噪声闪烁。

如图2所示，本发明实施例还提供了一种视频降噪装置，包括：

格式转换模块，用于将视频图像转换为YCbCr或YUV格式。

下采样模块，用于对当前帧的图像块进行下采样处理。

搜索匹配模块，用于在参考帧下采样后的预设搜索范围内搜索与所述当前帧下采样后的图像块确最匹配的图像块列为待匹配块并确定待匹配块坐标。

平均绝对误差确定模块，用于根据下采样待匹配块坐标对应到原始图像块坐标，确定当前帧图像块在参考帧中的精确匹配块以及当前帧图像块与参考帧中备选的精确匹配块的平均绝对误差。

系数确定模块，用于根据平均绝对误差确定滤波系数.

融合模块，用于将当前帧图形块与参考帧精确匹配块按照滤波系数进行融合。

需要说明的是：上述实施例提供的一种视频降噪装置在进行降噪时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的视频降噪装置与视频降噪方法实施例属于同一构思，其具体实现过程详见方法实施例，其有益效果同方法实施例，这里不再赘述。

本发明实施例还提供了一种计算机存储介质，是计算机可读存储介质，其上存储有计算机程序，上述计算机程序可由视频降噪装置的处理器执行，以完成前述视频降噪方法的步骤。计算机可读存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic randomaccess memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasa ble Prog ramma ble Read-Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。