掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本发明涉及噪声估计技术领域,尤其涉及一种噪声强度估计方法、装置及电子设备。

背景技术

目前,噪声估计已成为视频降噪技术中很关键的环节。为了确定加权平均的权重值,需要了解像素(块)之间的差异是由于对齐不准造成的还是因为噪声造成的,因此需要估计噪声强度。现有的噪声估计算法存在两类问题:其一,无法将噪声与复杂的纹理/细节分离;其二,基于单帧图像的算法估计出的噪声值强依赖于图像的内容,无法区分沙砾/大理石/水泥等与噪声类似的纹理,因此容易出现误估,噪声估计的准确性会直接影响最终效果。

在用户生成内容(User Generated Content,UGC)用户采集视频的过程中普遍会引入噪声失真的问题,降噪不仅可以使得图像/视频的主观感受更好,也可以让图像/视频压缩时不必浪费码率在编码噪声上;同时,会使得视频编码中的运动估计更准确。对降噪算法来说,噪声强度是一个重要的参数。若噪声估计过高,则有效的高频细节信号将被去掉,去噪结果会模糊,甚至会由于高频损失出现伪吉布斯现象或者振铃现象;若噪声估计过低,则会有较多的残留噪声

发明内容

本发明提供一种噪声强度估计方法、装置及电子设备,以便在一定程度上解决现有细节纹理对噪声估计结果干扰等问题。

在本发明实施的第一方面,提供了一种噪声强度估计方法,所述方法包括:

获取待估计视频中的目标帧图像;

对所述目标帧图像进行分块处理,获得第一图像块集合;

对所述第一图像块集合中的每一图像块进行纹理检测,确定所述第一图像块集合中具有均匀纹理的第二图像块集合;

对所述第二图像块集合中的每一图像块进行时域分析,确定所述第二图像块集合中需要进行噪声估计的第三图像块集合;

根据所述第三图像块集合进行噪声估计,获得所述待估计视频的噪声强度。

在本发明实施的第二方面,提供了一种动作识别装置,所述装置包括:

第一获取模块,用于获取待估计视频中的目标帧图像;

第一处理模块,用于对所述目标帧图像进行分块处理,获得第一图像块集合;

第一检测模块,用于对所述第一图像块集合中的每一图像块进行纹理检测,确定所述第一图像块集合中具有均匀纹理的第二图像块集合;

第一分析模块,用于对所述第二图像块集合中的每一图像块进行时域分析,确定所述第二图像块集合中需要进行噪声估计的第三图像块集合;

第一估计模块,用于根据所述第三图像块集合进行噪声估计,获得所述待估计视频的噪声强度。

在本发明实施的第三方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现如上所述的噪声强度估计方法中的步骤。

在本发明实施的第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的噪声强度估计方法。

在本发明实施例的第五方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如上所述的噪声强度估计方法。

针对在先技术,本发明具备如下优点:

本发明实施例中,通过对待估计视频中的目标帧图像进行分块处理,获得第一图像块集合,对第一图像块集合中的每一图像块进行纹理检测,确定所述第一图像块集合中具有均匀纹理的第二图像块集合,并对所述第二图像块集合中的每一图像块进行时域分析,确定所述第二图像块集合中需要进行噪声估计的第三图像块集合,根据所述第三图像块集合进行噪声估计,获得所述待估计视频的噪声强度,通过纹理检测可以得到均匀分布的图像块集合,再通过时域分析,可以消除时序上稳定的高频信号对噪声估计值的干扰,可以使得噪声估计值的结果更加精确和稳定。

上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本发明实施例提供的噪声强度估计方法的流程图;

图2为本发明实施例提供的噪声强度估计方法的应用场景示意图;

图3为本发明实施例提供的预设模板的示意图之一;

图4为本发明实施例提供的预设模板的示意图之二;

图5为本发明实施例提供的预设模板的示意图之三;

图6为本发明实施例提供的预设模板的示意图之四;

图7为本发明实施例提供的动作识别装置的结构框图;

图8为本发明实施例提供的电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

现有技术中,由噪声强度是否已知,降噪算法可以分为盲降噪blind denoise和非盲降噪non-blind denoise两类。blind denoise的标准差σ

最常见的噪声统计模型为加性高斯噪声(Additive Gaussian Noise,AGN),噪声估计的目标是估计出标准差σ

因此,本发明实施例提供了一种噪声强度估计方法、装置及电子设备,通过纹理检测可以得到均匀分布的图像块集合,再通过时域分析,可以消除时序上稳定的高频信号对噪声估计值的干扰,可以使得噪声估计值的结果更加精确和稳定。

具体的,如图1所示,本发明实施例提供了一种噪声强度估计方法,所述方法具体包括:

步骤101,获取待估计视频中的目标帧图像。

具体的,如图2所示为噪声强度估计方法的一个应用场景,其展示了噪声强度估计方法所处的位置以及在视频降噪算法前进行噪声强度估计的必要性。首先获取待估计视频,可以将待估计视频进行解码,得到多个帧图像,可以通过抽帧的方式获取目标帧图像,目标帧图像的抽取方式可以等间隔抽取,也可以随机抽取,在此不做具体限定。

其中,目标帧图像可以为YUV空间的视频帧图像,YUV是一种图片格式,是由Y、U、V三个部分组成,Y表示明亮度,也就是灰阶值;U和V分别表示颜色的色度,作用是描述影像色彩及饱和度,用于指定像素的颜色。

步骤102,对所述目标帧图像进行分块处理,获得第一图像块集合。

具体的,在获取到目标帧图像之后,将目标帧图像进行分块处理,将目标帧图像进行分块,得到多个图像块,图像块和图像块之间不重叠,多个图像块组合成第一图像块集合。

步骤103,对所述第一图像块集合中的每一图像块进行纹理检测,确定所述第一图像块集合中具有均匀纹理的第二图像块集合。

具体的,对于第一图像块集合中的每一个图像块P,首先进行纹理检测,将所述第一图像块集合中具有均匀纹理的图像块检测出来,多个具有均匀纹理的图像块组合成第二图像块集合。其中,均匀纹理的图像块体现在图像块在空域上检测为均匀分布的弱纹理块或者无纹理块,在此不做具体限定。

步骤104,对所述第二图像块集合中的每一图像块进行时域分析,确定所述第二图像块集合中需要进行噪声估计的第三图像块集合。

具体的,由于图像中存在天然的均匀弱纹理图像块,比如草叶、沙砾、水泥、大理石等,这样的图像块与噪声污染的均匀纹理图像块极为相似,在空域上不容易分离,会导致估计出的噪声值偏高。由此,可以将空域上检测出来的具有均匀纹理的第二图像块集合中的每一个图像块进行时域分析,确定出第二图像块集合中需要进行噪声估计的图像块,多个需要噪声估计的图像块组合成第三图像块集合,进一步评估了图像块在时域上的时序,以便消除时序上稳定的高频信号对噪声强度估计值的干扰,可以使得噪声强度估计值的结果更加鲁棒。

步骤105,根据所述第三图像块集合进行噪声估计,获得所述待估计视频的噪声强度。

具体的,通过上述空域上的纹理检测以及时域分析,可以确定需要进行噪声估计的第三图像块集合,通过对第三图像块集合中的图像块进行噪声估计,以获得待估计视频的噪声强度。

进一步的,如图2所示,步骤201,对待估计视频进行噪声强度估计;具体的,通过上述步骤101至步骤105对待估计视频进行噪声强度估计,以获取待估计视频的噪声强度,可以根据噪声强度决策后续是否需要进行降噪修复。

步骤202,视频降噪处理;具体的,若根据噪声强度得知需要进行降噪修复,则进入步骤202,对待估计视频进行降噪处理,得到降噪处理后的降噪视频。

步骤203,图像增强处理;具体的,将降噪视频进行图像增强处理,得到处理后的增强视频。

步骤204,多档位转码;具体的,将增强视频进行多档位转码,得到多类型视频,如:该高清视频、标清视频等。在进行多档位转码之后,将多类型视频下发到用户端,以便用户进行选择观看。

需要说明的是,对于没有噪声的序列可以直接省略步骤202的视频降噪处理过程,开展后续的图像增强处理,以提高计算效率。

本发明上述实施例中,通过对待估计视频中的目标帧图像进行分块处理,获得第一图像块集合,对第一图像块集合中的每一图像块进行纹理检测,确定所述第一图像块集合中具有均匀纹理的第二图像块集合,并对所述第二图像块集合中的每一图像块进行时域分析,确定所述第二图像块集合中需要进行噪声估计的第三图像块集合,根据所述第三图像块集合进行噪声估计,获得所述待估计视频的噪声强度,通过纹理检测可以得到均匀分布的图像块集合,再通过时域分析,可以消除时序上稳定的高频信号对噪声估计值的干扰,可以使得噪声估计值的结果更加精确和稳定,更好地修复噪声带来的画质失真,提升主观画质。

可选的,所述步骤102对所述目标帧图像进行分块处理,获得第一图像块集合,具体可以包括:

对所述目标帧图像进行模糊处理,得到模糊图像;

提取所述模糊图像的边缘特征图;

将所述边缘特征图进行分块处理,获得分块处理后的第一图像块集合。

具体的,将目标帧图像进行模糊处理,可以得到模糊处理后的模糊图像;在模糊图像的基础上提取边缘特征图,即边缘特征的梯度图。例如:将目标帧图像当做连续函数,由于边缘部分的像素值是与旁边像素值明显有区别的,所以对目标帧图像局部求极值,就可以得到整个目标帧图像的边缘信息;由于目标帧图像是二维的离散函数,导数就变成了差分,这个差分就称为目标帧图像的梯度。其中,可以仅在Y通道进行低通滤波的模糊处理,获得模糊图像,模糊图像的Y通道为模糊的Y通道。

将边缘特征图进行分块处理,划分为多个图像块,如:划分为16x16的图像块,图像块与图像块之间不重叠,由此可以获得分块处理后的包含多个图像块的第一图像块集合。

可选的,所述步骤103对所述第一图像块集合中的每一图像块进行纹理检测,确定所述第一图像块集合中具有均匀纹理的第二图像块集合,具体可以包括:

步骤A1,根据S个预设模板,获取所述第一图像块集合中的每一图像块的像素方差值;其中,S为正整数,且S大于1。

具体的,对于第一图像块集合中的每一个图像块,在根据S个预设模板,可以在边缘特征图上提取S个预设设置的预设模板方向上的像素方差值。

例如:如图3至图6所示,分别为4个不同的预设模板的示意图。如果S取值为16,则可以预设16个不同的预设模板,图3至图6所示的预设模板仅为示例;或者,也可以预设4个不同的预设模板,将每一个预设模板顺时针或者逆时针旋转90度、180度、270度再得到三个不同方向的预设模板,由此可以得到16个预设模板。以图3为例,旋转方式可以以像素点b1为原点、以a1至a4为一条线、以b1至b4为另一条线进行旋转,旋转角度根据需要进行设定。

需要说明的是,预设模板的设置方式并不进行限定,如果采用旋转方式得到更多的预设模板,则旋转角度可以根据需要进行设定,在此不做具体限定。

步骤A2,根据所述第一图像块集合中的每一图像块的像素方差值,确定所述第一图像块集合中具有均匀纹理的第二图像块集合。

具体的,针对每一个图像块对应的像素方差值,可以确定所述第一图像块集合中具有均匀纹理的图像块,多个具有均匀纹理的图像块组合成第二图像块集合。

可选的,所述步骤A1根据S个预设模板,获取所述第一图像块集合中的每一图像块的像素方差值,包括:

步骤B1,根据所述S个预设模板中的第一预设模板的第一类采样点的第一位置以及第二类采样点的第二位置,提取所述第一图像块集合中的目标图像块中,与所述第一预设模板对应的第一位置的第一像素值以及对应的第二位置的第二像素值。

具体的,如图3至图6所示,每一个预设模板中均设置有多个采样点,采样点可以分为第一类采样点和第二类采样点,每一类采样点可以设置为4个,即第一类采样点为4个,分别为a1~a4,每一个第一类采样在预设模板中的第一位置如图3至图6所示,具体排列位置不进行限定;第二类采样点为4个,分别为b1~b4,每一个第二类采样在预设模板中的第二位置如图3至图6所示,具体排列位置不进行限定。其中,每一类采样点的数量可以根据需要进行设定,在此不做具体限定。

针对S个预设模板中的第一预设模板中第一类采样点的第一位置以及第二类采样点的第二位置,可以提取到目标图像块中与所述第一预设模板对应的第一位置的第一像素值以及对应的第二位置的第二像素值。

步骤B2,根据所述第一像素值和所述第二像素值,计算关于所述第一预设模板的所述目标图像块的第一像素值和第二像素值之间差的平方之和的第一数值。

具体的,针对目标图像块,将多个第一像素值和多个第二像素值进行计算,得到第一像素值和第二像素值之间差的平方之和,即第一数值;换句话说,计算每一个第一像素值与每一个第二像素值之间的差的平方,并将每一个差的平方求和,得到第一数值。

具体的,所述步骤B2根据所述第一像素值和所述第二像素值,计算关于所述第一预设模板的所述目标图像块的第一像素值和第二像素值之间差的平方之和的第一数值,具体可以通过以下方式实现:

其中,X

i表示第一预设模板为S个预设模板中的第i个预设模板;

n表示第一像素值或者第二像素值的数量;

j表示第j个第一类采样点的第一位置或者第j个第二类采样点的第二位置;

a

b

具体的,如图3至图6所示,对于S个预设模板中的第i个预设模板,目标图像块的第一数值的计算方式如上公式,将目标图像块中与第i个预设模板的每一个第一类采样点对应的第一像素值(a

例如:如图3所示,n为4,首先求出(a

步骤B3,根据关于所述第一预设模板的所述目标图像块的第一数值,获得关于所述S个预设模板的所述目标图像块的S个第一数值。

具体的,根据上述方法计算关于S个预设模板中除第一预设模板之外的其他预设模板的目标图像块的第一数值,即最后可以得到S个第一数值。

步骤B4,根据所述目标图像块的S个第一数值,计算所述目标图像块的像素方差值。

具体的,上述步骤B4根据所述目标图像块的S个第一数值,计算所述目标图像块的像素方差值,具体可以包括:

将所述目标图像块的S个第一数值进行方差计算,得到所述目标图像块的像素方差值。

具体的,按照方差公式,计算S个第一数值的方差,即得到的方差值为目标图像块的像素方差值。

步骤B5,根据所述目标图像块的像素方差值,获得所述第一图像块集合中的每一图像块的像素方差值。

具体的,根据第一图像块集合中的目标图像块计算像素方差值的方法,计算所述第一图像块集合中除所述目标图像块之外的其他图像块的像素方差值,即可得到每一个图像块对应的像素方差值。

可选的,所述步骤A2根据所述第一图像块集合中的每一图像块的像素方差值,确定所述第一图像块集合中具有均匀纹理的第二图像块集合,具体可以包括:

将所述第一图像块集合中的每一图像块的像素方差值与第一阈值进行比较,确定所述第一图像块集合中像素方差值小于所述第一阈值的图像块为具有均匀纹理的图像块;

根据所述第一图像块集合中多个具有均匀纹理的图像块,获得所述第一图像块集合中具有均匀纹理的第二图像块集合。

具体的,将第一图像块集合中的每一图像块的像素方差值均与第一阈值进行大小比较,如果像素方差值小于第一阈值,则判定将该像素方差值对应的图像块为均匀的弱纹理图像块或者无纹理图像块;将弱纹理图像块或者无纹理图像块组成第二图像块集合。

可选的,所述步骤104对所述第二图像块集合中的每一图像块进行时域分析,确定所述第二图像块集合中需要进行噪声估计的第三图像块集合,具体可以包括:

获取所述第二图像块集合中的每一图像块的每一像素点的像素值以及参考信号块的每一像素点的像素值;

计算所述第二图像块集合中的每一图像块的每一像素点的像素值与所述参考信号块的每一像素点的像素值之间差的平方之和的第二数值;

将所述第二数值与第二阈值进行比较,确定所述第二图像块集合中第二数值大于或等于所述第二阈值的图像块为需要进行噪声估计的图像块;

根据所述第二图像块集合中多个需要进行噪声估计的图像块,获得所述第二图像块集合中需要进行噪声估计的第三图像块集合。

具体的,根据有效信号在时域上稳定的先验,可以通过图像块在时序上的像素方差值大小判断该图像块是否为稳定的有效信号,若该图像块为时序稳定块,则不纳入噪声估计的第三图像块集合,即将第二图像块集合中时序稳定块剔除,剩余的图像块组成第三图像块集合。判断图像块是否为时序稳定块的方式如下:

首先针对第二图像块集合中的每一图像块,获取每一像素点的像素值,并获取参考信号块的每一像素点的像素值;将两个图像块(参考图像块以及第二图像块集合中的其中一个图像块)的每一像素点的像素值进行完全平方计算,并将计算得到的值求和,得到第二数值。将第二图像块集合中的每一图像块的第二数值均与第二阈值进行大小比较,如果第二数值小于第二阈值,则判定将该第二数值对应的图像块为时序稳定块;将时序稳定块从第二图像块集合中剔除,剩余的图像块组合成第三图像块集合,可以消除时序上稳定的高频信号对噪声强度估计值的干扰,可以使得噪声强度估计值的结果更加精确和稳定。

其中,定位当前图像块在时序上对应的参考信号块有很多方法,比如:遍历前一帧图像中所有图像块,选取像素方差值最小的图像块作为参考信号块;或者,通过稀疏光流法得到的运动矢量所指向的图像块作为参考块等。

可选的,所述步骤105根据所述第三图像块集合进行噪声估计,获得所述待估计视频的噪声强度,包括:

步骤C1,将所述第三图像块集合中的每一图像块进行离散余弦变换DCT,获得第一幅值矩阵集合。

具体的,对第三图像块集合做空域频谱分析,可以量化噪声强度。具体的是将所述第三图像块集合中的每一图像块进行离散余弦变换(Discrete Cosine Transform,DCT),获得每一图像块对应的幅值矩阵,多个幅值矩阵组合成第一幅值矩阵集合;其中纹理均匀图像块DCT系数的幅值和离散程度能够反映噪声强度。

步骤C2,根据所述第一幅值矩阵集合,确定所述第三图像块集合中需要噪声估计的第四图像块集合。

具体的,将第一幅值矩阵集合中反映的噪声较强的图像块保留,将第一幅值矩阵集合中反映的噪声较弱的图像块剔除,得到第四图像块集合。

步骤C3,根据所述第四图像块集合进行噪声估计,获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合。

具体的,对第四图像块集合中的每一个图像块进行噪声估计,可以获得每一个图像块的噪声强度,多个图像块的噪声强度组合形成噪声强度集合。

步骤C4,根据所述噪声强度集合,获得所述待估计视频的噪声强度。

具体的,通过所述噪声强度集合中的多个噪声强度,可量化出待估计视频的噪声强度。

可选的,所述步骤C2根据所述第一幅值矩阵集合,确定所述第三图像块集合中需要噪声估计的第四图像块集合,具体可以包括:

将所述第一幅值矩阵集合中每一幅值矩阵中的目标幅值与第三阈值进行比较,确定所述第一幅值矩阵集合中目标幅值大于所述第三阈值的幅值矩阵为目标幅值矩阵;

根据多个所述目标幅值矩阵,确定所述第三图像块集合中需要噪声估计的第四图像块集合。

具体的,将所述第一幅值矩阵集合中每一幅值矩阵中的目标幅值均与第三阈值进行大小比较,若目标幅值大于第三阈值,则该目标幅值所处的目标幅值矩阵离散分布,且该目标幅值所处的幅值矩阵对应的图像块为噪声强度较大的图像块;若目标幅值小于或等于第三阈值,则该目标幅值所处的幅值矩阵集中分布,且该目标幅值所处的幅值矩阵对应的图像块为噪声强度较弱的图像块。将噪声强度较强的图像块保留,并将噪声强度较弱的图像块剔除,最后得到噪声强度较强的第四图像块集合。其中,目标幅值可以是每一个幅值矩阵中的右下角幅值。

可选的,所述步骤C3根据所述第四图像块集合进行噪声估计,获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合,包括:

判断每一所述目标幅值矩阵中的每一幅值是否处于第一范围内;

将每一所述目标幅值矩阵中处于所述第一范围内的幅值进行平均值计算,获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合。

具体的,第一范围可以为关于第三阈值的取值范围,如:最低限值为第三阈值与第一权重阈值的乘积,最高限值为第三阈值与第二权重阈值的乘积。如果幅值处于最低限值和最高限值之间的范围内,则该幅值处于第一范围内。将一个目标幅值矩阵中处于所述第一范围内的所有幅值进行平均值计算,得到的平均值即为该目标幅值矩阵对应的图像块的噪声强度;通过上述方法计算出第四图像块集合中每一图像块的噪声强度,多个图像块的噪声强度组合成噪声强度集合。其中,第一权重阈值可以为0~0.1的取值,优选取值为0.1,第二权重阈值可以为0.4~0.7的取值,优选取值为0.5。

可选的,所述步骤C4根据所述噪声强度集合,获得所述待估计视频的噪声强度,具体可以包括:

将所述噪声强度集合进行筛选,获得筛选后的目标噪声强度集合;

将所述目标噪声强度集合中包含的目标噪声强度进行平均值计算,获得所述待估计视频的噪声强度。

具体的,可以将噪声强度集合中噪声强度较大的第一数量的噪声强度剔除,并将噪声强度集合中噪声强度较小的第二数量的噪声强度剔除,避免极端值对待估计视频的噪声强度结果的影响。其中,第一数量可以为噪声强度集合中噪声强度数量的10%,第二数量可以为噪声强度集合中噪声强度数量的10%,第一数量和第二数量可以相同也可以不同。

需要说明的是,在强噪声的场景下,得到的待估计视频的噪声强度较大,在4~8之间的几率较大;在弱噪声的场景下,得到的待估计视频的噪声强度较小,在0~1之间的几率较大。

综上所述,本发明上述实施例,提取待估计视频中纹理均匀的图像块,这样的图像块可能是被噪声污染的低频块,也可能是沙砾、水泥等天然弱纹理图像块。前者的高频信号能量化成噪声值,而后者会影响噪声强度估计的结果,使得估计出的噪声强度偏大;通过对图像块的纹理检测以及时域分析,可以筛选掉时序上稳定的天然弱纹理块,而保留时域上随机的被噪声污染的低频图像块,最后通过量化噪声污染的低频块的幅值系数,得到估测出的待估计视频的噪声强度,能调节降噪强度,从而改善视频的主观质量,还可以减少花费在编码噪声上的码率消耗,节约带宽成本的同时减少播放时的卡顿,提高秒开率,提升用户体验。

如图7所示,本发明实施例提供的一种噪声强度估计装置700,所述装置包括:

第一获取模块701,用于获取待估计视频中的目标帧图像;

第一处理模块702,用于对所述目标帧图像进行分块处理,获得第一图像块集合;

第一检测模块703,用于对所述第一图像块集合中的每一图像块进行纹理检测,确定所述第一图像块集合中具有均匀纹理的第二图像块集合;

第一分析模块704,用于对所述第二图像块集合中的每一图像块进行时域分析,确定所述第二图像块集合中需要进行噪声估计的第三图像块集合;

第一估计模块705,用于根据所述第三图像块集合进行噪声估计,获得所述待估计视频的噪声强度。

本发明上述实施例中,通过对待估计视频中的目标帧图像进行分块处理,获得第一图像块集合,对第一图像块集合中的每一图像块进行纹理检测,确定所述第一图像块集合中具有均匀纹理的第二图像块集合,并对所述第二图像块集合中的每一图像块进行时域分析,确定所述第二图像块集合中需要进行噪声估计的第三图像块集合,根据所述第三图像块集合进行噪声估计,获得所述待估计视频的噪声强度,通过纹理检测可以得到均匀分布的图像块集合,再通过时域分析,可以消除时序上稳定的高频信号对噪声估计值的干扰,可以使得噪声估计值的结果更加精确和稳定,更好地修复噪声带来的画质失真,提升主观画质。

可选的,所述第一处理模块702,包括:

第一处理单元,用于对所述目标帧图像进行模糊处理,得到模糊图像;

第一提取单元,用于提取所述模糊图像的边缘特征图;

第二处理单元,用于将所述边缘特征图进行分块处理,获得分块处理后的第一图像块集合。

可选的,所述第一检测模块703,包括:

第一获取单元,用于根据S个预设模板,获取所述第一图像块集合中的每一图像块的像素方差值;

第一确定单元,用于根据所述第一图像块集合中的每一图像块的像素方差值,确定所述第一图像块集合中具有均匀纹理的第二图像块集合;

其中,S为正整数,且S大于1。

可选的,所述第一获取单元,包括:

第一提取子单元,用于根据所述S个预设模板中的第一预设模板的第一类采样点的第一位置以及第二类采样点的第二位置,提取所述第一图像块集合中的目标图像块中,与所述第一预设模板对应的第一位置的第一像素值以及对应的第二位置的第二像素值;

第一计算子单元,用于根据所述第一像素值和所述第二像素值,计算关于所述第一预设模板的所述目标图像块的第一像素值和第二像素值之间差的平方之和的第一数值;

第一获取子单元,用于根据关于所述第一预设模板的所述目标图像块的第一数值,获得关于所述S个预设模板的所述目标图像块的S个第一数值;

第二计算子单元,用于根据所述目标图像块的S个第一数值,计算所述目标图像块的像素方差值;

第二获取子单元,用于根据所述目标图像块的像素方差值,获得所述第一图像块集合中的每一图像块的像素方差值。

可选的,所述第二计算子单元,包括:

将所述目标图像块的S个第一数值进行方差计算,得到所述目标图像块的像素方差值。

可选的,所述第一确定单元,包括:

第一确定子单元,用于将所述第一图像块集合中的每一图像块的像素方差值与第一阈值进行比较,确定所述第一图像块集合中像素方差值小于所述第一阈值的图像块为具有均匀纹理的图像块;

第三获取子单元,用于根据所述第一图像块集合中多个具有均匀纹理的图像块,获得所述第一图像块集合中具有均匀纹理的第二图像块集合。

可选的,所述第一分析模块704,包括:

第二获取单元,用于获取所述第二图像块集合中的每一图像块的每一像素点的像素值以及参考信号块的每一像素点的像素值;

第一计算单元,用于计算所述第二图像块集合中的每一图像块的每一像素点的像素值与所述参考信号块的每一像素点的像素值之间差的平方之和的第二数值;

第二确定单元,用于将所述第二数值与第二阈值进行比较,确定所述第二图像块集合中第二数值大于或等于所述第二阈值的图像块为需要进行噪声估计的图像块;

第三获取单元,用于根据所述第二图像块集合中多个需要进行噪声估计的图像块,获得所述第二图像块集合中需要进行噪声估计的第三图像块集合。

可选的,所述第一估计模块705,包括:

第四获取单元,用于将所述第三图像块集合中的每一图像块进行离散余弦变换DCT,获得第一幅值矩阵集合;

第三确定单元,用于根据所述第一幅值矩阵集合,确定所述第三图像块集合中需要噪声估计的第四图像块集合;

第五获取单元,用于根据所述第四图像块集合进行噪声估计,获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合;

第六获取单元,用于根据所述噪声强度集合,获得所述待估计视频的噪声强度。

可选的,所述第三确定单元,包括:

第二确定子单元,用于将所述第一幅值矩阵集合中每一幅值矩阵中的目标幅值与第三阈值进行比较,确定所述第一幅值矩阵集合中目标幅值大于所述第三阈值的幅值矩阵为目标幅值矩阵;

第三确定子单元,用于根据多个所述目标幅值矩阵,确定所述第三图像块集合中需要噪声估计的第四图像块集合。

可选的,所述第五获取单元,包括:

第一判断子单元,用于判断每一所述目标幅值矩阵中的每一幅值是否处于第一范围内;

第四获取子单元,用于将每一所述目标幅值矩阵中处于所述第一范围内的幅值进行平均值计算,获得包含所述第四图像块集合中每一图像块的噪声强度的噪声强度集合。

可选的,所述第六获取单元,包括:

第五获取子单元,用于将所述噪声强度集合进行筛选,获得筛选后的目标噪声强度集合;

第六获取子单元,用于将所述目标噪声强度集合中包含的目标噪声强度进行平均值计算,获得所述待估计视频的噪声强度。

需要说明的是,该噪声强度估计装置实施例是与上述噪声强度估计方法相对应的装置,上述方法实施例的所有实现方式均适用于该装置实施例中,也能达到与其相同的技术效果,在此不再赘述。

综上所述,本发明上述实施例,提取待估计视频中纹理均匀的图像块,这样的图像块可能是被噪声污染的低频块,也可能是沙砾、水泥等天然弱纹理图像块。前者的高频信号能量化成噪声值,而后者会影响噪声强度估计的结果,使得估计出的噪声强度偏大;通过对图像块的纹理检测以及时域分析,可以筛选掉时序上稳定的天然弱纹理块,而保留时域上随机的被噪声污染的低频图像块,最后通过量化噪声污染的低频块的幅值系数,得到估测出的待估计视频的噪声强度,能调节降噪强度,从而改善视频的主观质量,还可以减少花费在编码噪声上的码率消耗,节约带宽成本的同时减少播放时的卡顿,提高秒开率,提升用户体验。

本发明实施例还提供了一种电子设备。如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信。

存储器803,用于存放计算机程序。

处理器801用于执行存储器803上所存放的程序时,实现本发明实施例提供的一种噪声强度估计方法中的部分或者全部步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述终端与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中所述的噪声强度估计方法。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中所述的噪声强度估计方法。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,包含在本发明的保护范围内。

相关技术
  • 噪声强度估计方法、装置及电子设备
  • 一种高斯噪声的图像噪声强度估计方法
技术分类

06120112808885