掌桥专利:专业的专利平台
掌桥专利
首页

降噪处理方法、装置及电子设备

文献发布时间:2023-06-19 11:32:36


降噪处理方法、装置及电子设备

技术领域

本发明涉及计算机技术领域,尤其涉及一种降噪处理方法、装置及电子设备。

背景技术

目前,噪声是在信号采集过程中引入的一种普遍失真。降噪不仅可以使得图像/视频主观感受更好,也可以让图像/视频压缩时也不必浪费码率在编码噪声上。降噪算法可以分为空域降噪和时域降噪。空域降噪没有充分利用参考帧在时域上提供的有效信号,因此效果往往不如时域降噪。时域降噪通常在静止或者小范围运动时能达到最佳效果,如果出现大运动和遮挡,不恰当的时域降噪会产生伪影或者拖影现象。除了时域上的像素点融合,后续视频降噪出现了小波域离散余弦变换(Discrete Cosine Transform,DCT)域等频谱域上的时域降噪算法。这些算法的效果在业界表现十分突出,但通常由于复杂度过高而无法在工业界落地。而性能轻量的降噪算法则存在降噪效果不佳,噪声抹除不干净或者细节丢失的问题。

发明内容

本发明提供一种降噪处理方法、装置及电子设备,以便在一定程度上解决现有技术的降噪效果不佳等问题。

在本发明实施的第一方面,提供了一种降噪处理方法,所述方法包括:

获取待处理视频中第一帧图像的第一图像块;

对所述第一图像块进行运动估计,得到关于所述第一图像块的运动矢量;

根据所述运动矢量,确定所述第一图像块的降噪策略,所述降噪策略包括:时域降噪和/或空域降噪;

在所述降噪策略为时域降噪和空域降噪的情况下,对所述第一图像块分别进行时域降噪处理和空域降噪处理,得到时域降噪结果和空域降噪结果;

将所述时域降噪结果和空域降噪结果进行加权融合处理,得到目标降噪结果。

在本发明实施的第二方面,提供了一种降噪处理装置,所述装置包括:

第一获取模块,用于获取待处理视频中第一帧图像的第一图像块;

第一估计模块,用于对所述第一图像块进行运动估计,得到关于所述第一图像块的运动矢量;

第一确定模块,用于根据所述运动矢量,确定所述第一图像块的降噪策略,所述降噪策略包括:时域降噪和/或空域降噪;

第一处理模块,用于在所述降噪策略为时域降噪和空域降噪的情况下,对所述第一图像块分别进行时域降噪处理和空域降噪处理,得到时域降噪结果和空域降噪结果;

第二处理模块,用于将所述时域降噪结果和空域降噪结果进行加权融合处理,得到目标降噪结果。

在本发明实施的第三方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现如上所述的降噪处理方法中的步骤。

在本发明实施的第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的降噪处理方法。

在本发明实施例的第五方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如上所述的降噪处理方法。

针对在先技术,本发明具备如下优点:

本发明实施例中,对获取的第一图像块进行运动估计,得到关于所述第一图像块的运动矢量,根据运动矢量,确定第一图像块的降噪策略,并在所述降噪策略为时域降噪和空域降噪的情况下,对所述第一图像块分别进行时域降噪处理和空域降噪处理,得到时域降噪结果和空域降噪结果,即根据运动估计的结果,对于大运动的区域,可以从空域滤波的结果中采样,并且采取比较小的降噪强度,而对于小运动区域,可以从时域滤波的结果中采样,并采取比较大的降噪强度;再通过将所述时域降噪结果和空域降噪结果进行加权融合处理,得到目标降噪结果,即结合时域和空域的结果加权,可以获得速度和效果均不错的目标降噪结果。

上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的降噪处理方法的流程图;

图2为本发明实施例提供的降噪处理方法的应用场景示意图;

图3为本发明实施例提供的降噪处理方法的具体流程图;

图4为本发明实施例提供的降噪处理装置的结构框图;

图5为本发明实施例提供的电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

目前,降噪算法可以做很多种不同的分类,比如线性/非线性、空域/频域,频域又包括小波变换域、傅里叶变换域或其他变换域。降噪算法往往需要在速度和效果之间权衡,使用纯软件的方式很难实现出既快又好的降噪方法。另外一种思路是自相似结合变换域。对每个块在图像内进行搜索,找到与之相似的一系列块。经典的非局部平均Non-LocalMeans降噪算法会将这些相似块在空间域做加权平均。如果更进一步,将这些相似块变换到频域,在频域做一些滤波和阈值处理之后再转换回空间域,就是自相似与变换域结合的方法,比如经典的降噪算法:图像去噪算法(Block-Matching and 3D filtering,BM3D)利用的就是这样的原理。类似的,还有自相似结合稀疏编码、自相似结合低秩等,都可以实现很好的降噪效果。

然而降噪算法的瓶颈之一在于效果和性能上必须有所取舍,效果突出的降噪算法在时序稳定性和降噪效果上非常突出,但是受限于复杂度难以在工业界落地;而速度快的降噪算法,如双边滤波、中值滤波等,又无法较好地分离噪声与细节信号,在降噪的同时会带来非常明显的细节损失。

因此,本发明实施例提供了一种降噪处理方法、装置及电子设备,通过运动估计的结果,对于静止或者小运动区域倾向于从时域滤波的结果中采样,对于运动大的区域倾向于从当前帧的空域滤波中采样,再结合时域和空域的结果加权,可以获得速度和效果均不错的目标降噪结果。

具体的,如图1至图3所示,本发明实施例提供了一种降噪处理方法,该方法主要应用于服务器前处理系统中。该方法具体包括如下步骤:

步骤101,获取待处理视频中第一帧图像的第一图像块。

在上述步骤101中,如图2所示为降噪处理方法的一个应用场景,其展示了降噪处理方法所处的位置以及对视频降噪的必要性。首先获取待处理视频中的第一帧图像,所述第一帧图像可以是待处理视频中的第一个帧图像,也可以是最后一个帧图像,也可以是中间任意一个帧图像,在此不做具体限定。其中,第一帧图像可以由多个图像块组成,第一图像块为第一帧图像中的其中一个图像块。

其中,第一帧图像可以为YUV空间的视频帧图像,YUV是一种图片格式,是由Y、U、V三个部分组成,Y表示明亮度,也就是灰阶值;U和V分别表示颜色的色度,作用是描述影像色彩及饱和度,用于指定像素的颜色。

如图2所示,步骤A1,对第一帧图像进行噪声强度估计,以获取待处理视频的噪声强度,可以根据噪声强度决策后续是否需要进行降噪修复。

步骤A2,对第一帧图像进行降噪处理;具体的对第一帧图像中的每一图像块进行降噪处理,得到每一个图像块的目标降噪结果,从而得到第一帧图像的最终的降噪结果。

步骤A3,图像增强处理;具体的,将降噪视频进行图像增强处理,得到处理后的增强视频。

步骤A4,多档位转码;具体的,将增强视频进行多档位转码,得到多类型视频,如:该高清视频、标清视频等。在进行多档位转码之后,将多类型视频下发到用户端,以便用户进行选择观看。

需要说明的是,对于没有噪声的序列可以直接省略步骤A2的降噪处理过程,开展后续的图像增强处理,以提高计算效率。

步骤102,对所述第一图像块进行运动估计,得到关于所述第一图像块的运动矢量。

在上述步骤102中,如图3所示,对待处理视频中第一帧图像中的第一图像块进行运动估计,得到运动估计的结果,即关于第一图像块与参考块(即匹配块)的相对位移,从而得到关于第一图像块的运动矢量。其中,运动矢量的数量可以为一个,也可以为多个,运动矢量的数量取决于参考块的数量。

其中,运动估计的基本思想是:将图像序列(即待处理视频)中的每一帧图像分成许多互不重叠的图像块,并认为图像块内所有像素的位移量都相同,然后对每个图像块到参考帧图像某一给定特定搜索范围内,根据匹配准则找出与当前图像块最相似的块,即参考块,参考块与当前图像块的相对位移即为运动矢量。视频压缩的时候,只需保存运动矢量和残差数据就可以完全恢复出当前图像块。

步骤103,根据所述运动矢量,确定所述第一图像块的降噪策略,所述降噪策略包括:时域降噪和/或空域降噪。

在上述步骤103中,如图3所示,根据运动估计的结果,即运动矢量,可以确定对所述第一图像块所使用的降噪策略,该降噪策略可以是采用时域降噪,即进入步骤B1;也可以是采用空域降噪,即进入步骤B2;也可以是采用时域降噪和空域降噪,即进入步骤B3;由此,对第一图像块采用的降噪策略可以由运动估计的结果决定。

步骤104,在所述降噪策略为时域降噪和空域降噪的情况下,对所述第一图像块分别进行时域降噪处理和空域降噪处理,得到时域降噪结果和空域降噪结果。

在上述步骤104中,如果确定为降噪策略为时域降噪,则可以仅对第一图像块进行时域降噪,得到时域降噪结果,即为第一图像块最终的目标降噪结果,同理,得到第一帧图像中的其他图像块对应的目标降噪结果,进而得到降噪后的第一帧图像。如果确定为降噪策略为空域降噪,则可以仅对第一图像块进行空域降噪,得到空域降噪结果,即为最终的目标降噪结果,同理,得到第一帧图像中的其他图像块对应的目标降噪结果,进而得到降噪后的第一帧图像。如果确定为降噪策略为时域降噪和空域降噪,则可以对第一图像块不仅进行时域降噪,得到时域降噪结果,还对第一图像块进行空域降噪,得到空域降噪结果,即对于静止或者小运动区域倾向于从时域滤波的结果中采样,对于运动大的区域倾向于从当前帧的空域滤波中采样。

步骤105,将所述时域降噪结果和空域降噪结果进行加权融合处理,得到目标降噪结果。

在上述步骤105中,如图3所示,如果确定为降噪策略为时域降噪和空域降噪,将时域降噪结果和空域降噪结果进行加权融合处理,即对时域降噪结果和空域假造结果选择不同权重进行结合,得到最终的目标降噪结果,达到降噪效果、细节保留、修复效果以及处理速度的最佳平衡。

本发明上述实施例中,对获取的第一图像块进行运动估计,得到关于所述第一图像块的运动矢量,根据运动矢量,确定第一图像块的降噪策略,并在所述降噪策略为时域降噪和空域降噪的情况下,对所述第一图像块分别进行时域降噪处理和空域降噪处理,得到时域降噪结果和空域降噪结果,即根据运动估计的结果,对于大运动的区域,可以从空域滤波的结果中采样,并且采取比较小的降噪强度,而对于小运动区域,可以从时域滤波的结果中采样,并采取比较大的降噪强度;再通过将所述时域降噪结果和空域降噪结果进行加权融合处理,得到目标降噪结果,即结合时域和空域的结果加权,可以获得速度和效果均不错的目标降噪结果。

可选的,所述步骤101获取待处理视频中第一帧图像的第一图像块,具体可以包括如下步骤:

获取待处理视频中的第一帧图像;

对所述第一帧图像进行模糊处理,得到模糊图像;

提取所述模糊图像的边缘特征图;

将所述边缘特征图进行分块处理,获得分块处理后的第一图像块集合;

其中,所述第一图像块为所述第一图像块集合中的其中一个图像块。

在上述实施例中,首先获取待处理视频,可以将待处理视频进行解码,得到多个帧图像,可以通过抽帧的方式获取第一帧图像,第一帧图像的抽取方式可以等间隔抽取,也可以随机抽取,在此不做具体限定。

在上述实施例中,如图3所示,步骤B0,在获取到第一帧图像之后,将第一帧图像进行模糊处理,可以得到模糊处理后的模糊图像,对于干净的图像序列,时域上的配置一般比较准确,但是随着噪声增加,时域配准变得困难,因此在运动估计之前对噪声图片(即第一帧图像)进行模糊处理,以减小噪声对运动估计过程中配准的干扰。

在上述实施例中,在模糊图像的基础上提取边缘特征图,即边缘特征的梯度图。例如:将第一帧图像当做连续函数,由于边缘部分的像素值是与旁边像素值明显有区别的,所以对第一帧图像局部求极值,就可以得到整个第一帧图像的边缘信息;由于第一帧图像是二维的离散函数,导数就变成了差分,这个差分就称为第一帧图像的梯度。其中,可以仅在Y通道进行低通滤波的模糊处理,获得模糊图像,模糊图像的Y通道为模糊的Y通道,在模糊的Y通道的基础上采用算法特征提取canny提取边缘特征图,即梯度图。

在上述实施例中,在获取到边缘特征图之后,对边缘特征图进行分块处理,即将第一帧图像的边缘特征图进行分块,划分为多个图像块,每个图像块为M*N的图像块,M和N可以相同也可以不同;图像块和图像块之间不重叠,多个图像块组合成第一图像块集合,第一图像块即为所述第一图像块集合中的其中一个图像块。

可选的,所述步骤101获取待处理视频中第一帧图像的第一图像块之后,所述方法还可以包括如下步骤:

获取所述第一图像块的纹理复杂度;

根据所述第一图像块的纹理复杂度,确定所述第一图像块的所属类型;

根据所述第一图像块的所属类型,确定对所述第一图像块进行时域降噪处理的方式和/或空域降噪处理的方式。

在上述实施例中,首先获取待处理视频中的第一帧图像的第一图像块,对第一图像块进行纹理检测,即分析第一图像块的纹理复杂度,得到第一图像块的纹理复杂度。然后根据第一图像块的纹理复杂度,确定第一图像块的所属类型,即确定第一图像块属于弱纹理图像块类型还是强纹理图像块类型。如果确定第一图像块属于弱纹理图像块类型,则采取像素融合降噪方式对第一图像块进行降噪处理,即采取复杂度低、性价比高的算法快速修复;如果确定第一图像块属于强纹理图像块类型,则采取擅长纹理细节保留的降噪方式对第一图像块进行降噪处理,即采取降噪效果显著、擅长保留纹理细节、复杂度相对较高的算法重点修复。

在上述实施例中,如果降噪策略为时域降噪,则根据第一图像块的所属类型,确定对第一图像块进行时域降噪处理的方式;如果降噪策略为空域降噪,则根据第一图像块的所属类型,确定对第一图像块进行空域降噪处理的方式;如果降噪策略为时域降噪和空域降噪,则根据第一图像块的所属类型,确定对第一图像块进行时域降噪处理的方式以及确定对第一图像块进行空域降噪处理的方式;在降噪过程中自适应根据纹理复杂度调整局部降噪算法的方法,既能保留纹理区域细节,又能恢复无纹理区域平滑的特点,在取得较好的降噪效果的同时减少不必要的运算。

作为一可选的实施例,在对第一图像块进行纹理检测的步骤中,出于时间性能的考虑,可以仅在Y通道进行第一图像块的纹理复杂度分析。

可选的,上述获取所述第一图像块的纹理复杂度的步骤,具体可以包括如下内容:

获取所述第一图像块中非0像素值的第一数量;

根据所述第一数量与第一阈值的大小关系,确定所述第一图像块的纹理复杂度。

在上述实施例中,对于第一帧图像中的第一图像块,可以在第一图像块的边缘特征图上统计非0像素值的第一数量,根据第一数量与第一阈值之间的大小关系,可以确定第一图像块的纹理复杂度。

作为一可选的实施例,将第一数量于第一阈值进行大小比较,如果第一数量大于或等于第一阈值,则判定第一图像块为复杂纹理图像块,即强纹理图像块,对强纹理图像块可以采取擅长细节修复的降噪处理方式,可以检测出的人物发辫、五官等区域为轮廓或细节分明的强纹理区域,对该区域采取擅长细节保留和修复的降噪算法。如果第一数量小于第一阈值,则判定第一图像块为简单纹理图像块,即弱纹理图像块或者无纹理图像块,对弱纹理图像块可以采取擅长抹除平坦区域噪声的降噪方式,背景、地板、黑色衣服等区域为弱纹理区域,对于这些区域以抹除噪点为主,采取擅长抹除孤立噪点的快速降噪算法。

可选的,所述步骤102对所述第一图像块进行运动估计,得到关于所述第一图像块的运动矢量,具体可以包括如下步骤:

根据所述第一图像块与M个第二帧图像中每一第二帧图像中的每一图像块的匹配程度,确定所述M个第二帧图像中关于所述第一图像块的参考块集合;所述M个第二帧图像为所述待处理视频中与所述第一帧图像相邻的M个帧图像,M为正整数;

根据所述参考块集合中的每一参考块,对所述第一图像块进行运动估计,得到关于所述第一图像块的运动矢量。

在上述实施例中,由于连续帧图像之间有比较强的时域连续关系,则可以获取M个与第一帧图像相邻的帧图像,可以是第一帧图像之前的相邻的M个帧图像,也可以是第一帧图像之后的相邻的M个帧图像,也可以是第一帧图像前后相邻的M个帧图像,在此不做具体限定。通过块匹配(Block-Matching,BM)的方法搜索M个第二帧图像中每一第二帧图像中与第一帧图像的第一图像块的匹配程度最高(即最近似)的图像块,作为第一帧图像的第一图像块的参考块,每一个第二帧图像中均有一个第一图像块的参考块,即M个第二帧图像中包含有M个参考块,M个参考块组成参考块集合。

作为一可选的实施例,在每一个第二帧图像中,通过第一图像块与每一图像块的距离表示匹配程度,距离越小,表示匹配程度越高;第一图像块与每一图像块的距离计算公式为:

其中,B

B

||B

N*M表示第一图像块的长*宽的大小;

distance(B

由上述公式可以得出每一个第二帧图像中与第一图像块距离最小的图像块为参考块,由此得到每一个第二帧图像中的参考块,进而得到参考块集合。

在上述实施例中,在得到参考块集合之后,针对参考块集合中的每一个参考块,计算该参考块与第一图像块之间的相对位移,即运动矢量,可以得到M个运动矢量。

可选的,在确定所述降噪策略为时域降噪和空域降噪的情况下,上述根据所述第一图像块的所属类型,确定对所述第一图像块进行时域降噪处理的方式和/或空域降噪处理的方式的步骤,具体可以包括如下内容:

根据所述第一图像块的所属类型,确定对所述第一图像块进行时域降噪处理的方式和空域降噪处理的方式;

其中,所述步骤104对所述第一图像块分别进行时域降噪处理和空域降噪处理,得到时域降噪结果和空域降噪结果,包括:

根据所述时域降噪处理的方式对所述第一图像块进行时域降噪处理,得到时域降噪结果;

根据所述空域降噪处理的方式对所述第一图像块进行空域降噪处理,得到空域降噪结果。

在上述实施例中,在所述降噪策略为时域降噪和空域降噪的情况下,根据第一图像块的所属类型,可以确定对第一图像块进行时域降噪处理的方式和空域降噪处理的方式,并根据时域降噪处理的方式对所述第一图像块进行时域降噪处理,得到时域降噪结果;并根据空域降噪处理的方式对所述第一图像块进行空域降噪处理,得到空域降噪结果。其中,时域降噪处理和空域降噪处理的步骤并没有具体的前后关系的限定,可以先按照空域降噪处理的方式对第一图像块进行空域降噪处理,也可以先按照时域降噪处理的方式对第一图像块进行时域降噪处理,也可以同时进行时域降噪处理和空域降噪处理,在此不做具体限定。

作为一可选的实施例,在所述降噪策略为时域降噪和空域降噪的情况下,如果第一图像块的所属类型为弱纹理图像块类型,则可以采用如下时域降噪处理的方式得到时域降噪结果:

其中,pixel_temporal表示时域降噪结果;

B

β表示第一系数,取值在0~1之间,优选值可以为0.5;

B

B

α

∑表示求和符号。

如果第一图像块的所属类型为弱纹理图像块类型,则可以采用如下空域降噪处理的方式得到空域降噪结果:

其中,(x,y)表示第一图像块中像素的坐标;

pixel(i,j)表示第一图像块的邻域图像块的像素值,邻域图像块可以是相邻的一个或多个图像块,也可以是相邻的一圈图像块,可以根据需要进行设定;

w(i,j)表示像素(i,j)的权重;

∑表示求和符号。

需要说明的是,上述仅为对弱纹理图像块类型进行时域降噪处理方式和空域降噪处理方式的举例,对于强纹理图像块类型,时域降噪处理方式可以替换为实例3DDCT降噪算法,空域降噪处理方式可以替换为实例非局部均值滤波nonlocal means、小波降噪等降噪算法,在此不做具体限定。

可选的,在所述降噪策略为时域降噪和空域降噪的情况下,所述步骤102对所述第一图像块进行运动估计,得到关于所述第一图像块的运动矢量之后,所述方法还可以包括如下步骤:

根据所述第一图像块的运动矢量,确定关于所述时域降噪的时域权重和关于所述空域降噪的空域权重。

在上述实施例中,根据运动矢量的大小动态决定时域降噪结果的时域权重和空域降噪结果的空域权重,能够在保留细节、抹除噪点和时间性能上达到最佳平衡状态。其中时域权重和空域权重的比例由运动矢量的大小决定,运动矢量越大,空域降噪结果的权重越大,时域降噪的权重越小,反之亦成立。

可选的,所述步骤105将所述时域降噪结果和空域降噪结果进行加权融合处理,得到目标降噪结果,具体可以包括如下步骤:

计算所述时域降噪结果与所述时域权重的乘积,得到第一结果;

计算所述空域降噪结果与所述空域权重的乘积,得到第二结果;

将所述第一结果与所述第二结果相加,得到第三结果;

将所述第三结果除以所述时域权重与所述空域权重之和,得到目标降噪结果。

在上述实施例中,具体可以通过以下公式进行目标降噪结果的计算:

其中,denoised(x,y)表示目标降噪结果;

w

pixel

w

w

∑表示求和符号。

上述实施例中,视频降噪算法会将连续的帧图像做对齐、融合处理,形成一张图像。对齐就是找到多个帧图像中图像块的对应关系;融合是将这些对应的图像块在空域或者频域做加权平均。对齐的结果不一定是准确的,因此在融合前需要确认对齐的结果是否置信。根据运动矢量(Motion Vector,MV)的大小对融合的时域权重和空域权重进行调整,对于MV较小的参考块,具有物体的旋转/缩放/变形比较小,MV的置信度非常高的先验,因此从第一帧图像的时域滤波采样的比例比较高;对于MV比较大的参考块,具有物体的旋转/缩放/变形比较大的先验,MV的置信度比较低,因此从第一帧图像的空域滤波中采样的比例比较高。通过运动矢量的大小和纹理复杂度自适应选择不同时域权重和空域权重的滤波结果,达到降噪效果、细节保留和修复效果以及处理速度的最佳平衡。

综上所述,本发明实施例在确定第一图像块属于弱纹理图像块类型时,采取复杂度低、性价比高的算法对第一图像块快速修复;在确定第一图像块属于强纹理图像块类型时,采取降噪效果显著、擅长保留纹理细节、复杂度相对较高的算法重点修复第一图像块,即在降噪过程中自适应根据纹理复杂度调整局部降噪算法的方法,既能保留纹理区域细节,又能恢复无纹理区域平滑的特点,在取得较好的降噪效果的同时减少不必要的运算;并且,通过运动矢量的大小和纹理复杂度自适应在局部选择不同的时域权重和空域权重的滤波结果,结合时域和空域的结果加权融合处理,可以获得速度和效果均不错的目标降噪结果。

如图4所示,本发明实施例提供的一种降噪处理装置400,所述装置包括:

第一获取模块401,用于获取待处理视频中第一帧图像的第一图像块;

第一估计模块402,用于对所述第一图像块进行运动估计,得到关于所述第一图像块的运动矢量;

第一确定模块403,用于根据所述运动矢量,确定所述第一图像块的降噪策略,所述降噪策略包括:时域降噪和/或空域降噪;

第一处理模块404,用于在所述降噪策略为时域降噪和空域降噪的情况下,对所述第一图像块分别进行时域降噪处理和空域降噪处理,得到时域降噪结果和空域降噪结果;

第二处理模块405,用于将所述时域降噪结果和空域降噪结果进行加权融合处理,得到目标降噪结果。

本发明上述实施例中,对获取的第一图像块进行运动估计,得到关于所述第一图像块的运动矢量,根据运动矢量,确定第一图像块的降噪策略,并在所述降噪策略为时域降噪和空域降噪的情况下,对所述第一图像块分别进行时域降噪处理和空域降噪处理,得到时域降噪结果和空域降噪结果,即根据运动估计的结果,对于大运动的区域,可以从空域滤波的结果中采样,并且采取比较小的降噪强度,而对于小运动区域,可以从时域滤波的结果中采样,并采取比较大的降噪强度;再通过将所述时域降噪结果和空域降噪结果进行加权融合处理,得到目标降噪结果,即结合时域和空域的结果加权,可以获得速度和效果均不错的目标降噪结果。

可选的,所述第一获取模块401,包括:

第一获取单元,用于获取待处理视频中的第一帧图像;

第一处理单元,用于对所述第一帧图像进行模糊处理,得到模糊图像;

第一提取单元,用于提取所述模糊图像的边缘特征图;

第二处理单元,用于将所述边缘特征图进行分块处理,获得分块处理后的第一图像块集合;

其中,所述第一图像块为所述第一图像块集合中的其中一个图像块。

可选的,所述第一获取模块401之后,所述装置还包括:

第二获取模块,用于获取所述第一图像块的纹理复杂度;

第二确定模块,用于根据所述第一图像块的纹理复杂度,确定所述第一图像块的所属类型;

第三确定模块,用于根据所述第一图像块的所属类型,确定对所述第一图像块进行时域降噪处理的方式和/或空域降噪处理的方式。

可选的,所述第二获取模块,包括:

第二获取单元,用于获取所述第一图像块中非0像素值的第一数量;

第一确定单元,用于根据所述第一数量与第一阈值的大小关系,确定所述第一图像块的纹理复杂度。

可选的,在确定所述降噪策略为时域降噪和空域降噪的情况下,所述第三确定模块,包括:

第二确定单元,用于根据所述第一图像块的所属类型,确定对所述第一图像块进行时域降噪处理的方式和空域降噪处理的方式;

其中,所述第一处理模块404,包括:

第三处理单元,用于根据所述时域降噪处理的方式对所述第一图像块进行时域降噪处理,得到时域降噪结果;

第四处理单元,用于根据所述空域降噪处理的方式对所述第一图像块进行空域降噪处理,得到空域降噪结果。

可选的,所述第一估计模块402,包括:

第三确定单元,用于根据所述第一图像块与M个第二帧图像中每一第二帧图像中的每一图像块的匹配程度,确定所述M个第二帧图像中关于所述第一图像块的参考块集合;所述M个第二帧图像为所述待处理视频中与所述第一帧图像相邻的M个帧图像,M为正整数;

第一估计单元,用于根据所述参考块集合中的每一参考块,对所述第一图像块进行运动估计,得到关于所述第一图像块的运动矢量。

可选的,在所述第一估计模块402之后,所述装置还包括:

第四确定模块,用于根据所述第一图像块的运动矢量,确定关于所述时域降噪的时域权重和关于所述空域降噪的空域权重。

可选的,所述第二处理模块405,包括:

第一计算单元,用于计算所述时域降噪结果与所述时域权重的乘积,得到第一结果;

第二计算单元,用于计算所述空域降噪结果与所述空域权重的乘积,得到第二结果;

第三计算单元,用于将所述第一结果与所述第二结果相加,得到第三结果;

第四计算单元,用于将所述第三结果除以所述时域权重与所述空域权重之和,得到目标降噪结果。

需要说明的是,该降噪处理装置实施例是与上述降噪处理方法相对应的装置,上述实施例的所有实现方式均适用于该装置实施例中,也能达到与其相同的技术效果,在此不做赘述。

综上所述,本发明实施例在确定第一图像块属于弱纹理图像块类型时,采取复杂度低、性价比高的算法对第一图像块快速修复;在确定第一图像块属于强纹理图像块类型时,采取降噪效果显著、擅长保留纹理细节、复杂度相对较高的算法重点修复第一图像块,即在降噪过程中自适应根据纹理复杂度调整局部降噪算法的方法,既能保留纹理区域细节,又能恢复无纹理区域平滑的特点,在取得较好的降噪效果的同时减少不必要的运算;并且,通过运动矢量的大小和纹理复杂度自适应在局部选择不同的时域权重和空域权重的滤波结果,结合时域和空域的结果加权融合处理,可以获得速度和效果均不错的目标降噪结果。

本发明实施例还提供了一种电子设备。如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信。

存储器503,用于存放计算机程序。

处理器501用于执行存储器503上所存放的程序时,实现本发明实施例提供的一种降噪处理方法中的部分或者全部步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中所述的降噪处理方法。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的降噪处理方法。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,包含在本发明的保护范围内。

相关技术
  • 降噪处理方法、装置、电子设备、耳机及存储介质
  • 降噪处理方法、装置及电子设备
技术分类

06120112964389