一种减少图像压缩伪影的方法及系统

背景技术

蚊式噪声和振铃伪影可以被视为与在强像素值变化的邻域中发现的特定平均水平(诸如，图像中物体的边缘)的偏差。这些伪影对观看者来说非常烦人并且不容易减少。

发明内容

在一方面中，一种减少图像压缩伪影的方法，包括：基于像素值差生成第一组权重；从像素邻域中的值产生软分块直方图；使用插值从软分块直方图生成自适应直方图；从自适应直方图生成出现密度权重；组合第一组权重和出现密度权重；使用组合的权重对双边滤波器的像素值进行滤波；将滤波的像素值和原始像素值进行混合；以及输出滤波的像素值和原始像素值的混合。

在另一方面中，一种减少图像压缩伪影的方法，包括：从像素邻域中的值产生软箱化直方图；使用插值从软分块直方图生成自适应直方图；从自适应直方图生成出现密度权重；基于权重生成出现密度混合控制；基于出现密度混合控制生成最接近的中心像素水平；使用出现密度混合控制和最接近的中心像素水平来混合像素；以及输出混合像素。

附图说明

为了容易地识别对任何特定元件或动作的讨论，附图标记中的最高有效数位或指的是首次引入该元件的数字号。

图1示出实施方式的信号行为。

图2示出根据一个实施方式的系统。

图3示出根据一个实施方式的系统。

图4示出图3的实施方式的信号行为。

图5示出根据一个实施方式的系统。

图6示出根据一个实施方式的系统。

图7示出图6的实施方式的信号行为。

图8示出由图2的系统执行的方法。

图9示出由图7的系统执行的方法。

具体实施方式

实施方式使能在任何高方差出现的‘第一像素邻域’中进行蚊式噪声和振铃滤波，其中(相同或替代的)‘第二像素邻域’的特征还在于具有与中心像素的值相似的显著部分像素。简单地说，简单地说，当在邻域中存在显著差异时，诸如来自具有显著幅度的边缘，滤波使假设的恒定像素级区域变得平坦。

为了减少由在压缩块中出现高方差引起的伪影，上述‘第一像素邻域’覆盖出现高方差的整个块。

因此，在有效压缩块大小和位置公知的情况下，上述‘第一像素邻域’可以等于由压缩块产生的像素集合。

否则，上述‘第一像素邻域’可以等于从图像/视频数据路径上游的压缩所预期的高度和宽度上的最大压缩块大小的两倍。利用该尺寸，来自块内的高方差出现的任何伪像将被捕获在蚊式噪声/振铃滤波器中。

在实施方式中，可以使用空间双边滤波器。双边滤波器使用基于像素值差(中心像素值对相应相邻像素值)的权重，且进一步使用来自相应相邻像素的值处的直方图密度的权重，而不是来自空间距离的权重。

从通常以当前像素为中心的‘第二像素邻域’上生成的直方图检索在某个水平的出现密度。直方图需要提供适当的值分辨率以防止量化效应。代替使用具有几乎与存在于值范围内的二进制位一样多的二进制位(诸如，128个二进制位至1024个二进制位)的直方图，还可以使用具有少得多的二进制位(诸如，使用32个二进制位或64个二进制位)的‘软二进制位’。该“软二进制位”意味着：

·在直方图构建中，源水平为两个(或更多个)最近拟合的二进制位提供贡献，其中贡献是例如线性分布到每个二进制位的拟合水平，其中心最接近源水平的二进制位得到最高贡献。

·在出现密度检索中，在修改直方图之后进行插值：

o在具有比其左相邻二进制位更高的水平的二进制位上，在匹配左二进制位和当前二进制位的加权平均位置的位置分配等于二进制位水平与其左相邻二进制位水平的和的值。

o在具有等于或高于其右侧相邻二进制位的水平的二进制位上，执行相同的程序，以在当前二进制位与右侧二进制位之间形成值。

如果当前二进制位等于或大于左二进制位或右二进制位，则忽略二进制位中心处的原始值。其他二进制位保持原样。

o线性(或更高阶)插值根据上述调整自适应直方图进行。

图1示出实施方式的信号行为100。在左侧部分(a)上，假设实际二维环境中的信号水平具有与截面相同的分布，示出块中的输入像素值的截面。在右侧部分(b)和(c)上，示出相关直方图数据和自适应直方图。部分(d)示出通过使用线性插值从自适应直方图导出的出现密度权重水平。水平虚线分别表示A、B和C、D和E区的平均像素水平。

该新方法能够对具有其中所有其他像素的区段A、B和C中的像素进行滤波。同样对区段D和E中的像素值进行滤波。

仅使用值差进行加权的双边滤波器将仅用E中的值对区段D中的值进行部分滤波。这将导致一部分蚊式噪声和振铃残留。特别地，除非将值差权重曲线设定得相当宽，否则来自部分D的滤波结果将不具有假象的强烈减少。后者通常是不期望的，因为它通常将减少细节。

用于加权的具有值差和距离两者的双边滤波器将甚至更少地滤波D中的值和E中的值，因为那些区段之间的距离相当大。因此，振铃和蚊式噪声的显著残留将保留在D部分中。

使用如本文中所揭示的双边滤波器，其中值差和直方图密度两者用于加权：在D和E中发现的水平周围(相应地在A、B和C周围)的显著的直方图密度使得区段D中的像素能够与D和E中的所有像素强平均，并且因此强烈地减少蚊式噪声和那里的振铃。

因此，

·新的双边滤波正在向一组类似水平像素的平均水平靠拢，比常用的值权重双边滤波器更强烈。这是由于新方法中出现密度重量对平均值产生额外偏差的特性导致的。

·此外，它还能够在有限的小区域中进行强烈地滤波，该小区域具有与广域中的其他较大区域相似的像素水平。

图2示出根据一个实施方式的系统200。在权重系列(在邻域中的每个像素具有一个)中，这里存在与从局部直方图导出的‘出现权重’有关的至少一个。

该新方法使得能够进行强烈的双边滤波，并且需要将最终结果约束到真正期望的条件，以防止其他图像区域中的失真。尤其是低水平的细节，在没有明显差异的区域，不应该被滤波。同样，图像中的斜率应当保持未滤波，以防止在其上的失真。双边滤波器的副作用还在于(边缘的部分)可能变陡。除非这是期望的副作用，否则双边效应应该在紧邻的边缘区域中受到限制。这些滤波限制效果可以经由‘其他混合控制’或通过‘其他权重’来产生。

来自第一像素邻域202、第二像素邻域206和第三像素邻域210的邻域像素值分别被输入到高方差检测器204、局部直方图生成器208和值差权重计算器212中。出现权重生成器214基于来自局部直方图生成器208的直方图来生成出现权重，该直方图任选地连同其他权重一起被馈送到权重组合器218中(例如，在本文的这个和其他实例中，可以包括设计者认为同样有益的几乎任何事物，诸如在边缘上的像素的较低权重和在平坦区域中的像素的较高权重)。组合的权重被馈送到双边滤波器216中，该双边滤波器对像素(例如，来自第三像素邻域210)进行滤波。基于来自高方差检测器204的输入和任选地其他混合控制，组合混合控制220将滤波的像素值与原始像素混合，并且接着输出像素。

‘其他权重/控制’的实例将是纹理度量：如果在滤波有效的区域之外发现类似纹理的区域，则纹理权重或控制可能会限制滤波，因此即使在较大信号瞬变附近，纹理仍保留。

这样的检测器检测直接环境与另外的环境之间的幅度和频率内容以及方向性的相似性。这些子集(同时)越相似，应产生的滤波就越少。

检测还可以‘在边缘上’，因为边缘可能被滤波而失真。看起来“高方差检测器”已经考虑到了这一点，但它有很宽的像素邻域，因此可以告诉“在大约块大小的区域的邻域中存在显著的瞬态”。并且该检测针对更多的滤波工作，而不是针对限制滤波。

‘边缘上’或‘边缘检测’度量将做的是告诉当前像素实际上是边缘本身的一部分。因此，这种度量的孔径将相当小，如3X3像素。

这种边缘检测器可以包括输入的绝对水平+绝对垂直Sobel滤波版本+测距和限幅的总和。

V_Sobel典型地是：{{-1，-1，-1}，{0，0，0}，{1，1，1}}

H_Sobel典型地是：{{-1，0，1}，{-1，0，1}，{-1，0，1}}

在实例中，系统200的部件可以如下实现：

·高方差检测器204：输出＝(像素值–平均像素值)的平方和)/常数，其中在像素环境上进行求和；输出限幅到所期望的最大电平

·权重组合器218：输出＝每个权重输入的乘积加测距和限幅

·组合混合控制器220：输出＝每个混合输入的乘积加测距和限幅

·值差权重计算器212：输出＝CONST1–CONST2*ABS(中心像素值–邻域像素值)加测距和限幅

·双边滤波器216：输出＝SUM(权重*邻域像素值)/SUM(权重)，其中在像素环境上进行求和

·混合器222：输出＝k*输入1+(1-k)*输入2

图3示出根据一个实施方式的系统300。还包括从中心像素的直方图密度导出的整体滤波器强度控制作为额外的可能是有利的。高方差检测器308、局部直方图生成器310和值差权重计算器312分别从第一像素邻域302、第二像素邻域304和第三像素邻域306接收像素值。局部直方图生成器310生成直方图，该直方图然后被馈送到生成出现权重和混合控制两者的出现权重/混合控制生成器314。权重组合器316将出现权重和任选的其他权重进行组合，这些权重被馈送到对输入像素值进行滤波的双边滤波器322中。滤波的像素接着进入混合器320，其根据组合混合控制318将滤波的像素值和未滤波的像素值进行混合。

此混合控制还需要从(修改的)直方图数据中导出。出现密度权重的阈值化和进一步限幅版本适合于混合控制信号。

图4示出图3的实施方式的信号行为400。根据系统300的实例，图4中的部分(e)示出出现密度混合控制的适当形式。

图5示出根据一个实施方式的系统500。高方差检测器508、局部直方图生成器510和值差权重计算器512分别从第一像素邻域502、第二像素邻域504和第三像素邻域506接收像素输入值。局部直方图生成器510生成直方图，该出现直方图被馈送到混合控制生成器514，该出现混合控制生成器生成用于组合混合控制518的出现混合控制但不生成用于权重组合器516的生成发生权重。值差权重计算器512生成值差权重，由权重组合器516使用该值差权重来生成用于对输入像素值进行滤波的双边滤波器520的权重。接着将这些滤波的像素值馈送到混合器522，该混合器根据组合混合控制518将滤波的像素与未滤波的像素进行混合。然后输出混合像素。

作为双边滤波器520，系统500的性能可能稍差，但显然更便宜，因为它仅使用(至少)基于值差的邻域相关权重和从中心像素的直方图密度导出的总体滤波器强度控制。此处，仅需要从直方图生成一个‘出现混合控制’信号。

图6示出根据一个实施方式的系统600。系统600是系统500的较低成本变体。在这个变体中，需要确定最接近的中心水平。可以将其设置为等于出现密度权重的局部顶部(由于双边滤波器缺失，因此此处不使用该权重来驱动双边滤波器权重)。系统600包括分别从第一像素邻域602和第二像素邻域604接收像素值的高方差检测器606和局部直方图生成器608。局部直方图生成器608生成直方图，该直方图被馈送到出现混合控制生成器610，该出现混合控制生成器生成用于组合混合控制612的出现混合控制信号和用于混合器614的最接近的中心水平。混合器614然后按照组合混合控制612和最接近的中心水平来混合像素值，并且输出它们。

图7示出图6的实施方式的信号行为700。根据前述系统600的实例，图7中的(f)示出在包络密度混合控制像素值范围中使用的最接近的中心像素水平。

图8示出由图2的系统执行的方法。在框802中，系统200基于像素值差生成第一组权重。在框804中，系统200从像素邻域中的值产生软分块直方图。在框806中，系统200使用插值从软分块直方图生成自适应直方图。在框808中，系统200从自适应直方图生成出现密度权重。在框810中，系统200将第一组权重和出现密度权重进行组合。在框812中，系统200使用组合的权重对像素值进行滤波。在框814中，系统200将滤波的像素值和原始像素值进行混合。在框816中，系统200输出滤波的像素值和原始像素值的混合。

图9示出由图6的系统执行的方法。在框902中，系统600从像素邻域中的值产生软分块直方图。在框904中，系统600使用插值从软分块直方图生成自适应直方图。在框906中，系统600从自适应直方图生成出现密度权重。在框908中，系统600基于权重生成出现密度混合控制。在框910中，系统600基于出现密度混合控制生成最接近的中心像素水平。在框912中，系统600使用出现密度混合控制和最接近的中心像素水平来混合像素。在框914中，系统600输出混合像素。

以下实例描述了在本文讨论的方法、机器可读介质和系统(例如，机器、设备、或其他装置)的各种实施方式。

1、一种减少图像压缩伪影的方法，包括：

基于像素值差生成第一组权重；

从像素邻域中的值产生软分块直方图；

使用插值从软分块直方图生成自适应直方图；

从自适应直方图生成出现密度权重；

组合第一组权重和出现密度权重；

使用组合的权重对双边滤波器的像素值进行滤波；

将滤波的像素值和原始像素值进行混合；以及

输出滤波的像素值和原始像素值的混合。

2、根据实例1所述的方法，还包括从自适应直方图导出混合控制并且生成指定待输出的滤波的像素值与原始像素值之间的加权平均值的混合控制信号。

3、根据前述实例中的任一项所述的方法，其中，软分块直方图具有32或64个分块。

4、根据前述示例中的任一项所述的方法，还包括将第一组权重和出现密度权重与其他权重组合。

5、根据前述实例中的任一项所述的方法，其中，其他权重包括在边缘上的像素相对于平坦区域中的像素的较低权重。

6、根据前述实例中的任一项所述的方法，还包括检测像素值的高方差，并且其中，混合基于检测。

7、根据前述实例中的任一项所述的方法，其中，混合还基于其他混合控制。

8、根据前述实例中的任一项所述的方法，其中，其他混合控制包括边缘检测度量。

9、一种减少图像压缩伪影的方法，包括：

从像素邻域中的值产生软分块直方图；

使用插值从软分块直方图生成自适应直方图；

从自适应直方图生成出现密度权重；

基于权重生成出现密度混合控制；

基于出现密度混合控制生成最接近的中心像素水平；

使用出现密度混合控制和最接近的中心像素水平来混合像素；以及

输出混合像素。

10、根据前述实例中的任一项所述的方法，还包括生成像素值差权重，并且利用双边滤波器根据权重对混合前的像素进行滤波。

11、根据前述实例中的任一项所述的方法，还包括所生成的像素值差权重与其他权重组合，并且使用组合的权重进行滤波。

12、根据前述实例中的任一项所述的方法，其中，其他权重包括在边缘上的像素相对于平坦区域中的像素的较低权重。

13、根据前述实例中的任一项所述的方法，还包括检测像素值的高方差，并且其中，混合基于检测。

14、根据前述实例中的任一项所述的方法，其中，混合还基于其他混合控制。

15、根据前述实例中的任一项所述的方法，其中，其他混合控制包括边缘检测度量。

16、一种减少图像压缩伪影的系统，包括：

值不同权重计算器，被配置为基于像素值差生成第一组权重；

局部直方图生成器，被配置为使用插值从像素邻域中的值产生软分块直方图并且从软分块直方图产生自适应直方图；

出现权重生成器，被配置为从所述自适应直方图生成出现密度权重；

权重组合器，被配置为将第一组权重与出现密度权重组合；

双边滤波器，被配置为使用组合的权重对双边滤波器的像素值进行滤波；

混合器，被配置为将滤波的像素值和原始像素值进行混合；以及

输出器，被配置为输出滤波的像素值和原始像素值的混合。

17、根据实例16所述的系统，其中，权重组合器进一步被配置为将第一组权重和出现密度权重与其他权重组合。

18、根据前述实例中的任一项所述的系统，其中，其他权重包括在边缘上的像素相对于平坦区域中的像素的较低权重。

19、根据前述实例中的任一项所述的系统，其中，软分块直方图具有32或64个分块。

20、根据前述实例中的任一项所述的系统，其中，混合包括其他混合控制，该其他混合控制包括边缘检测度量。