一种视频图像降噪方法、装置及计算机存储介质

技术领域

本发明属于视频图像处理技术，尤其是一种视频图像降噪方法、装置及计算机存储介质。

背景技术

图像在形成、传播和保存过程中由光学系统、运动等造成的图像模糊，以及源自电路和光学因素的噪声等使图像质量下降。然而，噪声主要来源于图像的获取和传输过程。首先，图像传感器的工作情况受各种因素的影响，如图像获取中的环境条件和传感元器件自身的质量。例如，当使用CCD摄像机获取图像时，光照强度和传感器的温度是生成图像中产生大量噪声的主要因素。其次，图像在传输过程中主要由于所用传输信道被干扰而受到噪声污染。比如，通过无线网络传输的图像可能会因为光或大气因素的干扰被污染。

一般而言，噪声不仅使获取的图像数据的质量降低，同时对图像处理流水线上的其他模块也有负面的影响。因此，一个既能降低噪声，同时不影响图像细节的滤波器对成像系统至关重要。目前的视频降噪处理在复杂条件下降噪效果不佳，存在明显的拖影现象。

如何在复杂条件下实现理想的视频降噪效果是当前亟待解决的一个问题。

发明内容

有鉴于此，本发明提供种一种视频图像降噪方法、装置及计算机存储介质用于解决现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

本发明实施例提供了一种视频图像降噪方法，包括：

统计当前帧图像数据相对前一帧滤波降噪后对应图像数据的像素差异；

计算前一帧滤波降噪后图像数据的梯度信息；

由像素差异及梯度信息确定当前帧与前一帧进行融合的第一滤波系数；

对第一滤波系数依次进行空域滤波和时域滤波得到第二滤波系数；

根据第二滤波系数对当前帧图像数据和前一帧滤波降噪后对应图像数据进行融合得到当前帧滤波降噪后的图像数据；

存储第二滤波系数及当前帧滤波降噪后的图像数据用于下一帧图像数据的滤波降噪处理。

进一步地，输入的图像数据格式为RAW格式或YUV格式。

进一步地，计算前一帧滤波降噪后图像数据的梯度信息利用两个方向模板与前一帧滤波降噪后图像数据进行邻域卷积来实现，所述两个方向模板其中一个检测水平边缘，另一个检测垂直边缘。

进一步地，由像素差异及梯度信息确定当前帧与前一帧进行融合的第一滤波系数具体包括：

根据像素差异计算噪声强度表征值及运动强度表征值；

根据噪声强度表征值及运动强度表征值的取值利用预设的映射对照表确定像素差异增益和梯度信息增益；

将像素差异增益与像素差异点乘的结果和梯度信息增益与梯度信息点乘的结果之和确定为当前帧与前一帧进行融合的第一滤波系数。

进一步地，根据像素差异计算噪声强度表征因子及运动强度表征因子具体包括：

对像素绝对差进行进行直方图统计；

计算直方图在区间[0,k]的总和，当区间[0,k]的总和占全部直方图的总和值的比例达到预设百分比时，记录当前的k值，该k值计为噪声强度表征值；

将图像分为大小相同的多个块，分别统计每个图像块内像素绝对差大于预设门限值的数量，该数量计为每个图像块的运动强度表征值。

进一步地，所述预设的映射对照表通过X个不同的噪声强度门限阈值将噪声强度表征值分为X+1个等级；所述预设的映射对照表通过Y个不同的运动强度门限阈值将运动强度表征值分为Y+1个等级，从而映射出(X+1)(Y+1)组对应的像素差异增益和梯度信息增益。

进一步地，对滤波系数进行空域滤波具体包括：对滤波系数做低通滤波处理以滤除噪声的干扰；再对低通滤波的结果做最大值滤波以保留图像的细节；

对滤波系数进行时域滤波具体包括：当当前滤波过程中计算得到的当前帧系数比上一帧滤波过程中计算存储的滤波系数小时；对当前滤波过程中当前帧的滤波系数采用如下表达式进行加权处理：alpha(i,x,y)’＝K*alpha(i,x,y)+(1-K)*alpha(i-1,x,y)；其中，其中K为预设系数，alpha(i,x,y)表示当前滤波过程中当前帧(x,y)处的滤波系数，alpha(i-1,x,y)表示上一帧滤波过程中计算存储的当前帧(x,y)处的滤波系数，alpha(i,x,y)’表示当前帧加权处理后的滤波系数。

进一步地，根据第二滤波系数对当前帧图像数据和前一帧滤波降噪后对应图像数据进行融合得到当前帧滤波降噪后的图像数据采用如下表达式：

If(i)＝alpha(i).*I(i)+(1-alpha(i)).*If(i-1)，其中alpha(i)为第二滤波系数，I(i)为当前帧图像数据，If(i-1)为前一帧滤波降噪后对应图像数据，If(i)为当前帧滤波降噪后对应图像数据。

本发明实施例提供了一种视频图像降噪装置，包括：

差异统计模块，用于统计当前帧图像数据相对前一帧滤波降噪后对应图像数据的像素差异；

梯度计算模块，用于计算前一帧滤波降噪后图像数据的梯度信息；

系数确定模块，用于由像素差异及梯度信息确定当前帧与前一帧进行融合的第一滤波系数；

系数修正模块，用于对第一滤波系数依次进行空域滤波和时域滤波得到第二滤波系数；

融合滤波模块，用于根据第二滤波系数对当前帧图像数据和前一帧滤波降噪后对应图像数据进行融合得到当前帧滤波降噪后的图像数据；

数据存储模块，用于存储第二滤波系数及当前帧滤波降噪后的图像数据用于下一帧图像数据的滤波降噪处理。

本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的视频图像降噪方法。

本发明提供的视频图像降噪方法，基于梯度信息及差异统计进行去噪，易于硬件实现，降噪效果好，拖影少，能够很大程度上改善视频数据的质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频图像降噪方法的流程示意图；

图2为由像素差异及梯度信息确定滤波系数的流程示意图；

图3为本发明实施例提供的一种视频图像降噪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明实施例提供的一种视频图像降噪方法的流程示意图。

S1：输入当前帧数据。

输入的图像数据格式适用于为RAW格式或YUV格式。

本发明提供的降噪方法可根据需求部署在ISP流水线上解马赛克模块之前或者之后，若部署在解马赛克模块之前，则所述输入数据为RAW数据格式，若部署在解码赛克模块之后，则所述输入数据为YUV数据格式。记当前帧图像数据为I(i)。

S2：统计当前帧图像数据相对前一帧滤波降噪后对应图像数据的像素差异。

统计相邻两帧的像素差异。所述统计像素差异即计算当前帧数据与前一帧滤波后数据每个对应像素的的绝对差。相同坐标相邻两帧的两个像素的差异主要由画面中的运动和噪声导致，记前一帧滤波降噪后的图像数据为If(i-1)，则像素绝对差记为Diff＝abs(I(i)-If(i-1))。

S3：计算前一帧滤波降噪后图像数据的梯度信息。

计算前一帧滤波降噪后图像数据的梯度信息利用两个方向模板与前一帧滤波降噪后图像数据进行邻域卷积来实现，所述两个方向模板其中一个检测水平边缘，另一个检测垂直边缘。

计算前一帧滤波后数据的梯度信息。其中梯度信息由水平梯度和垂直梯度组成，水平梯度算子为Gx＝[-1 0 1；-1 0 1；-1 0 1]，垂直梯度算子Gy＝[-1 -1 -1；0 0 0；1 11]。梯度Grad＝abs(If(i-1)*Gx)+abs(If(i-1)*Gy)，其中星号“*”表示卷积。

S4：由像素差异及梯度信息确定当前帧与前一帧进行融合的滤波系数。

滤波系数由像素差异信息及梯度信息共同决定，具体步骤如图2所示，

S401：根据像素差异计算噪声强度表征值及运动强度表征值。

根据像素差异计算噪声强度表征值及运动强度表征值具体可以采用如下方式：首先，对像素绝对差Diff进行进行直方图统计；例如：可以对像素绝对差Diff进行进行32阶直方图统计。然后计算直方图在区间[0,k]的总和，当该区间的总和占全部直方图的总和值的比例达到预设百分比时，记录当前的k值，k值计为噪声强度表征值；预设百分比是一工程经验值。通常取值范围为60％-75％。在本实施例中该预设百分比优选68％。k值越大噪声越大。最后将图像分为大小相同的多个块，分别统计每块内像素绝对差Diff大于预设门限值th的个数Num_mov，其中预设门限值th由k值决定。k值越大，th值越大。Num_mov计为每块的运动强度表征值。

S402：根据噪声强度及运动强度表征值的取值利用预设的映射对照表确定像素差异增益和梯度信息增益。

所述预设的映射对照表通过X个不同的噪声强度门限阈值将噪声强度分为X+1个等级；所述预设的映射对照表通过Y个不同的运动强度门限阈值将运动等级分为Y+1个等级，从而映射出(X+1)(Y+1)组对应的像素差异增益和梯度信息增益。预设的映射对照表通过多次实验测试得到。

例如：当X＝2及Y＝2时，我们可以根据噪声强度(步骤S401中得到的k值)估计将视频的噪声强度分为以下三类：环境友好，光照合适，视频中基本无噪声；一般光照环境，视频中存在一定噪声；低光照，视频中存在较大噪声；我们可以根据运动强度(步骤S401中得到的Num_mov值)估计将运动强度分为以下三类：几乎无运动；运动较弱；运动很强；当视频中基本不存在噪声时，无论当前场景运动强度如何，使差异增益Gd最小和梯度信息增益Gg最小，比如Gd＝0，Gg＝0。当视频中存在一定噪声，但几乎无运动时，使差异增益较大，梯度增益较小，比如Gd＝4，Gg＝1；当视频中存在一定噪声，对运动较弱的块，使差异增益较大，梯度增益较大，比如Gd＝4，Gg＝4；对运动很强的块，使差异增益很大，梯度增益很大，比如Gd＝8，Gg＝7。当视频中存在较大噪声时，几乎无运动，使差异增益较小，梯度增益很小，比如Gd＝1，Gg＝0；当视频中存在较大噪声时，对运动较弱的块，使差异增益较小，梯度增益较小，比如Gd＝2，Gg＝0；对运动很强的块，使差异增益较大，梯度增益较小，比如Gd＝3，Gg＝1。具体地，根据实际测试情况可将状况分为更多的类别，通过类别判断设置不同的增益值，使得能自适应的对不同场景进行降噪处理。

S403：将像素差异增益与像素差异点乘的结果和梯度信息增益与梯度信息点乘的结果之和确定为当前帧与前一帧进行融合的滤波系数。

滤波系数计算采用如下表达式：

alpha(i)＝Gd.*Diff+Gg.*Grad，其中“.*”表示点乘；alpha(i)表示滤波系数；Gd为差异增益，Gg为梯度信息；Diff为像素绝对差，Grad为梯度信息；通过点乘相加得到的滤波系数为初始滤波系数。后续还需要进行空域时域滤波进行处理。

S5：对滤波系数进行空域滤波。

对滤波系数alpha(i)先做低通滤波以滤除噪声的干扰，再对低通滤波的结果做最大值滤波以保留图像的细节。通过低通线性滤波以及最大值非线性滤波可以在模糊和降噪的同时，保证图像中的边缘和细节的锐度不丢失。其中本实施例中低通滤波可选3*3的高斯低通滤波或者5*5的高斯滤波，最大值滤波可选3*7,5*5,5*7的最大值滤波，同样根据噪声估计强度及运动估计强度来自适应的选择。

S6：对滤波系数进行时域滤波。

滤波系数做完空域滤波后，再与上一帧计算存储的滤波系数alpha(i-1)做时域滤波。具体地：alpha(i,x,y)表示当前滤波过程中当前帧(x,y)处的滤波系数，alpha(i-1,x,y)表示上一次滤波过程中当前帧(x,y)处的滤波系数，如果alpha(i,x,y)

S7：根据滤波系数对当前帧图像数据和前一帧滤波降噪后对应图像数据进行融合得到当前帧滤波降噪后的图像数据。

根据处理后的系数将相邻两帧进行时域滤波，得到当前帧的滤波结果If(i)＝alpha(i).*I(i)+(1-alpha(i)).*If(i-1)，其中alpha(i)为滤波系数，I(i)为当前帧图像数据，If(i-1)为前一帧滤波降噪后图像数据，If(i)为当前帧滤波降噪后图像数据。

S8：存储滤波系数及当前帧滤波降噪后的图像数据。

存储滤波系数及当前帧滤波降噪后的图像数据以便下一帧图像数据的滤波降噪处理。将滤波系数alpha(i)和滤波结果If(i)存储下来，以便于下一次的滤波。

S9：输出滤波结果。

将滤波结果If(i)输出到下一个处理模块。

图3所示为本发明实施例提供的一种视频图像降噪装置的结构示意图。该视频图像降噪装置包括：差异统计模块、梯度计算模块、系数确定模块、系数修正模块、融合滤波模块以及数据存储模块。

差异统计模块，用于统计当前帧图像数据相对前一帧滤波降噪后对应图像数据的像素差异；梯度计算模块，用于计算前一帧滤波降噪后图像数据的梯度信息；系数确定模块，用于由像素差异及梯度信息确定当前帧与前一帧进行融合的第一滤波系数；系数修正模块，用于对第一滤波系数依次进行空域滤波和时域滤波得到第二滤波系数；融合滤波模，用于根据第二滤波系数对当前帧图像数据和前一帧滤波降噪后对应图像数据进行融合得到当前帧滤波降噪后的图像数据；数据存储模块，用于存储第二滤波系数及当前帧滤波降噪后的图像数据用于下一帧图像数据的滤波降噪处理。

需要说明的是：上述实施例提供的一种视频降噪装置在进行降噪时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的视频降噪装置与视频图像降噪方法实施例属于同一构思，其具体实现过程详见方法实施例，其有益效果同方法实施例，这里不再赘述。

本发明实施例还提供了一种计算机存储介质，是计算机可读存储介质，其上存储有计算机程序，上述计算机程序可由视频降噪装置的处理器执行，以完成前述视频图像降噪方法的步骤。计算机可读存储介质可以是磁性随机存取存储器(FRAM，ferromagneticrandom access memory)、只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasa ble Prog ramma ble Read-Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。