一种基于光流法运动检测的视频去噪方法、装置及计算机存储介质

技术领域

本发明属于视频图像处理技术，尤其是一种基于光流法运动检测的视频去噪方法、装置及计算机存储介质。

背景技术

现代社会出于安全等问题，视频监控和行车记录仪等视频采集设备被广泛应用，对于白天或灯光充足条件下采集的视频，一般比较清晰，同时噪声不明显，但在夜间或亮度不足条件下，采集获取的视频存在比较明显的帧间噪声，这是受制于感光器件等硬件问题，为了解决该问题，针对亮度不足采集的视频需要进行去噪处理。

目前比较常用的视频降噪方法很难在视频处理实时性、降噪效果、解决视频拖影问题3者之间达到一个平衡。

如何实现视频处理实时性、降噪效果、解决视频拖影问题3者的完美融合是当前亟待解决的一个问题。

发明内容

有鉴于此，本发明提供种一种视频去噪方法、装置及计算机存储介质用于解决现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

本发明实施例提供了一种基于光流法运动检测的视频去噪方法，包括：

将视频图像转换为YCbCr或YUV格式；

利用光流计算当前帧每个像素值的运动强度；

根据预设第一映射规则将所述运动强度转化为对应的运动系数 motion_coeff；

根据预设第二映射规则将当前帧与前一帧之间像素差转化为对应的像素差系数pixel_coeff；

根据视频的应用场景以及所述运动系数和所述像素差系数确定去噪融合系数index；

将当前帧图形与前一帧图像按照所述融合系数进行融合去噪。

进一步地，利用光流计算当前帧每个像素值的运动强度具体包括：

根据梯度关系以及当前帧与前一帧之间像素差确定当前帧每个像素点在水平方向和垂直方向的位移；

将水平方向的位移值与垂直方向的位移值之和确定为对应像素点的运动强度。

进一步地，根据梯度关系以及当前帧与前一帧之间像素差确定当前帧每个像素点在水平方向和垂直方向的位移采用如下表达式：

/>

其中：Ix是当前帧水平方向梯度，Iy是当前帧垂直方向梯度，It是当前帧与前一帧像素差，dx、dy分别为每个像素点在水平方向和垂直方向的位移。

进一步地，根据预设第一映射规则将所述运动强度转化为对应的运动系数motion_coeff具体包括：

对运动强度进行偏移重置处理；其重置处理规则如下：当运动强度小于第一预设运动强度阈值时将其重置为0，当运动强度大于第二预设运动强度阈值时将其重置为第二预设运动强度阈值；当运动强度介于所述第一预设运动强度阈值和第二预设运动强度阈值之间时不做重置处理，运动强度维持不变；所述第二预设运动强度阈值大于所述第一预设运动强度阈值；所述第一预设运动强度阈值大于0；

将所述第二预设运动强度阈值与偏移重置处理后的运动强度之差除以所述第二预设运动强度阈值确定为对应的运动系数motion_coeff。

进一步地，像素差系数采用连续分段表达式：其中像素差系数的首段为第一常量；像素差系数的尾段为第二常量；所述第二常量小于所述第一常量；像素差系数的中间段为关于两帧像素差的一次线性函数，其为介于所述第一常量与所述第二常量之间的变量。

进一步地，像素差系数pixel_coeff采用如下分段表达式：

其中：threshold1为预设第一门限；threshold2为预设第二门限；且 threshold1

进一步地，根据视频的应用场景以及所述运动系数和所述像素差系数确定去噪融合系数index采用如下表达式：

index＝N

其中，N

进一步地，将当前帧图像与前一帧图像按照所述融合系数进行融合去噪采用如下表达式：

Ifiltered＝index×Ipre+(1-index)×Icur

其中：Ifiltered为当前帧图像融合降噪后的结果；Ipre为前一帧降噪后亮度图像；Icur是当前帧亮度图像；index是融合系数。

本发明实施例还提供了一种基于光流法运动检测的视频去噪装置，包括：

格式转换模块，用于将视频图像转换为YCbCr或YUV格式；

光流计算模块，用于利用光流计算当前帧每个像素值的运动强度；

第一系数确定模块，用于根据预设第一映射规则将所述运动强度转化为对应的运动系数motion_coeff；

第二系数确定模块；用于根据预设第二映射规则将当前帧与前一帧之间的像素差转化为对应的像素差系数pixel_coeff；

融合系数确定模块，用于根据视频去噪的应用场景以及所述运动系数和所述像素差系数确定去噪融合系数index；

融合去噪模块，用于将当前帧图像与前一帧图像按照所述融合系数进行融合去噪。

本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的视频去噪方法。

本发明利用光流法计算每个像素点的运动强度，并结合像素帧差确定当前帧与前一帧融合系数，消除两帧之间噪声，同时对光流的精确性要求不高，无需插值计算像素值，能够更好的将光流结果应用到视频实时降噪中。采用本发明提供的视频去噪方法，实时性强，视频图像显示效果好，无视频拖影。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种视频去噪方法的流程示意图；

图2为本发明实施例提供的一种视频去噪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1所示为本发明实施例提供的一种基于光流法运动检测的视频去噪方法的流程示意图。

S1：将视频图像转换为YCbCr或YUV格式。

对于一般的视频进行降噪，主要的帧间噪声都是由亮度值差异造成的。将视频转换成亮度和色度格式能够很好的针对亮度进行降噪，对于色噪很大的视频也能够更好的对色度信息进行去噪处理。对于本发明，将视频转换到YCbCr格式或YUV格式后，并且以亮度值Y值为依据计算运动强度并确定融合系数。本发明选择前一帧降噪后亮度图像Ipre作为参考帧，当前帧Icur为本帧亮度图像。

S2：利用光流计算当前帧每个像素值的运动强度。

对于参考帧与当前帧融合降噪，首先需要确定当前帧中每个像素点的运动强度，对于运动强度较大的点，减小参考帧的融合比例，避免造成图像拖影；对于运动强度较小的点，尽量大的选择参考帧融合比例，能够很好地消除视频帧间噪声。运动强度以光流法为基础进行计算。在本实施例中，光流计算优选Lucas–Kanade光流算法。

利用光流计算当前帧每个像素值的运动强度具体包括：根据梯度关系以及当前帧与参考帧之间像素差确定当前帧每个像素点在水平方向和垂直方向的位移；将水平方向的位移值与垂直方向的位移值绝对值之和确定为对应像素点的运动强度。

根据梯度关系以及当前帧与参考帧之间像素差确定当前帧每个像素点在水平方向和垂直方向的位移采用如下表达式：

其中：Ix是当前帧水平方向梯度，Iy是当前帧垂直方向梯度，It是当前帧与参考帧像素差，dx、dy分别为每个像素点在水平方向和垂直方向的位移。

将水平方向的位移值与垂直方向的位移值绝对值之和确定为对应像素点的运动强度。即运动强度motion＝abs(dx)+abs(dy)。

S3：根据预设第一映射规则将所述运动强度转化为对应的运动系数 motion_coeff。

根据预设第一映射规则将所述运动强度转化为对应的运动系数 motion_coeff具体包括：

对运动强度进行偏移重置处理；其重置处理规则如下：当运动强度小于第一预设运动强度阈值时将其重置为0，当运动强度大于第二预设运动强度阈值时将其重置为第二预设运动强度阈值；当运动强度介于所述第一预设运动强度阈值和第二预设运动强度阈值之间时不做重置处理，运动强度维持不变；所述第二预设运动强度阈值大于所述第一预设运动强度阈值；所述第一预设运动强度阈值大于0；将所述第二预设运动强度阈值与偏移重置处理后的运动强度之差除以所述第二预设运动强度阈值确定为对应的运动系数motion_coeff。

对于光流算法，一般需要图像比较清晰才能够很好地追踪到两帧图像每个点的准确位移值，同时为了精确运动的位移变化，还需要使用多层金字塔的方式进行更精确的位移值计算，但这种方式需要非常大的计算量，在实时视频降噪中很难实现。另外对于亮度较暗噪声较大的视频，很难利用光流得到精确的位移结果，因此在本发明中，使用LK光流进行运动强度的计算，而不是计算每个点具体的位移值，这样能够避免由于亮度暗噪声大造成的误差，并准确的求出后续所需融合系数。

根据光流计算得出的运动强度值需要进行进一步的偏移重置限定。

其中，minMotion用来衡量静止点，对于LK光流计算出的运动强度小于minMotion可以视为静止点，对于LK光流计算出的运动强度大于 maxMotion将其赋值为maxMotion，则运动系数为：

由于两帧之间运动位移不会非常大，第一预设运动强度阈值 minMotion可以设定在1左右，第二预设运动强度阈值maxMotion可以设置5左右，也可以根据实际场景进行调整，例如对于监控这类拍摄静止较多，可以适当调小maxMotion值，从而对后续降噪效果更好。运动系数值在0-1之间，1表示该点在两帧之间基本处于静止状态，0表示运动位移很大。

S4：根据预设第二映射规则将当前帧与参考帧之间像素差转化为对应的像素差系数pixel_coeff。

对于视频去噪融合系数，除了由光流计算的运动系数决定，还由两帧像素差异值决定。由于视频存在噪声，可能导致光流结果不够准确，为了避免将原本运动的点误检成静止点导致视频拖影，需要结合两帧像素差进一步精确融合系数。

像素差系数采用连续分段表达式：其中像素差系数的首段为第一常量；像素差系数的尾段为第二常量；第二常量小于第一常量；像素差系数的中间段为关于两帧像素差diff的一次线性函数，其为介于第一常量与第二常量之间的变量。

两帧像素差diff＝abs(Ipre-Icur)

其中：thresh1为预设第一门限；thresh2为预设第二门限；且 thresh1

小于thresh1说明当前帧该点像素值与参考帧相同坐标像素值差异很小，可视为运动较小点，大于thresh2说明差异很大，可视为运动较大点。其中，coeff是根据视频设定的常量系数，一般可以根据情况设定为0.6 到0.9之间的一经验值。

S5：根据视频的应用场景以及所述运动系数和所述像素差系数确定去噪融合系数index。

index＝N

其中，N

本申请按照一定比例将光流确定的运动系数与像素差系数结合，确定融合系数index，对于一般视频可以相同权重分配两个系数，即N

S6：将当前帧图形与前一帧图像按照所述融合系数进行融合去噪。

将当前帧图像与前一帧图像按照所述融合系数进行融合去噪采用如下表达式：

Ifiltered＝index×Ipre+(1-index)×Icur

其中：Ifiltered为当前帧图像融合降噪后的结果；Ipre为前一帧降噪后亮度图像；Icur是当前帧亮度图像；index是融合系数。

通过当前帧与前一帧图像进行融合，消除两帧之间的帧间噪声，避免视频中亮度闪烁问题。对于亮度极黑视频中色噪明显的问题，可以先通过亮度Y计算融合系数，然后对色噪采用该系数进行降噪，无需重复计算色噪系数，能够减少计算量，有利于实时处理视频。

图2所示为本发明实施例提供的一种基于光流法运动检测的视频去噪方装置的模块示意图。该视频去噪方装置包括：格式转换模块，用于将视频图像转化为YCbCr或YUV格式；光流计算模块，用于利用光流计算当前帧每个像素值的运动强度；第一系数确定模块，用于根据预设第一映射规则将所述运动强度转化为对应的运动系数motion_coeff；第二系数确定模块；用于根据预设第二映射规则将当前帧与前一帧之间的像素差转化为对应的像素差系数pixel_coeff；融合系数确定模块，用于根据视频去噪的应用场景以及所述运动系数和所述像素差系数确定去噪融合系数index；融合去噪模块，用于将当前帧图像与前一帧图像按照所述融合系数进行融合去噪。

需要说明的是：上述实施例提供的一种视频去噪装置在进行降噪时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的视频去噪装置与视频去噪方法实施例属于同一构思，其具体实现过程详见方法实施例，其有益效果同方法实施例，这里不再赘述。

本发明实施例还提供了一种计算机存储介质，是计算机可读存储介质，其上存储有计算机程序，上述计算机程序可由视频去噪装置的处理器执行，以完成前述视频去噪方法的步骤。计算机可读存储介质可以是磁性随机存取存储器(FRAM，ferromagnetic randomaccess memory)、只读存储器(ROM， Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasa ble Prog ramma ble Read-Only Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)等存储器。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和智能设备，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。