编码装置、解码装置、编码方法和解码方法

本申请是申请日为2017年11月27日的第201780073676.5号发明专利申请的分案申请。

技术领域

本公开涉及一种进行去块滤波处理的编码装置、解码装置、编码方法和解码方法。

背景技术

在以MPEG为代表的主流视频编码方法中，从容易实现实时处理的角度出发，将称为帧(或图片)等的视频单元划分为块状小区域，以块为单位使用变换和预测等技术来进行编码(压缩)。在这种编码方式中，由于相邻块之间的编码控制的差异，在块边界处品质差被感知为失真。在近年被称为H.264/AVC和H.265/HEVC的编码方法中，为了减少这种编码失真，采用称为去块滤波的处理。

由于相邻两块的边界处的信号通过量化正交变换系数而引起的信号劣化，使得在原本应该平滑的相邻区域中产生陡峭的信号波动而导致块失真。用于减少该失真的去块滤波器通常被设计为使信号波动平缓的低通滤波器。由于信号的劣化量根据量化粗糙度(quantization roughness)的不同而波动，因此滤波强度由规定量化粗糙度的量化参数来控制(例如，参见非专利文献1)。

现有技术文献

非专利文献

非专利文献1：Recommendation ITU-TH.265，(04/2013)，“High efficiencyvideo coding”，International Telecommunication Union，April 2013

发明内容

一个实施方式所涉及的编码装置是用于对输入图像进行编码的编码装置，其特征在于，包括：变换单元，其对表示输入图像和该输入图像的预测图像之间的差的残差图像进行正交变换处理并计算出正交变换系数；量化单元，其基于量化参数而量化所述正交变换系数并生成量化系数；熵编码单元，其对所述量化系数进行编码并生成编码数据；图像解码单元，其基于所述量化参数，从所述量化系数恢复正交变换系数，将所述预测图像与对该正交变换系数进行逆正交变换而恢复的残差图像相加以生成重建图像；和去块滤波单元，其对所述重建图像进行滤波处理。其特征在于：所述去块滤波单元根据所述重建图像的亮度信号电平和所述量化参数来控制滤波强度。

根据一实施方式的解码装置是用于解码输入图像的编码数据的解码装置，其中，包括：熵解码单元，其对编码数据进行解码，并获得对正交变换系数进行量化而得到的量化系数；图像解码单元，其基于量化参数，从所述量化系数恢复正交变换系数，将预测图像与对该正交变换系数进行逆正交变换而恢复的残差图像相加以生成重建图像；和去块滤波单元，其对所述重建图像进行滤波处理。其特征在于：所述去块滤波单元根据所述重建图像的亮度信号电平和所述量化参数来控制滤波强度。

附图说明

图1是示出信号电平和亮度级之间的对应关系的图。

图2是示出根据本公开的一实施方式的编码装置的配置示例的框图。

图3是示出进行去块滤波处理的块边界的图。

图4是示出根据本公开的一实施方式的解码装置的配置例的框图。

具体实施方式

作为新视频媒体的特征，对扩大了利用视频信号所不能表达的黑与白的表达范围的HDR(high dynamic range，高动态范围)信号进行标准化。在该HDR信号中，与传统的SDR(Standard Dynamic Range，标准动态范围)信号相比，在有限的比特深度内从光强度较低处到较高处(即，从暗的位置到亮的位置)进行记录，因此施加有比传统方法更极端的称为γ校正的信号抑制处理。作为HDR的方式，目前有 ARIB STD-B67标准中规定的HLG(Hybrid-Log Gamma，混合对数伽马)方式和SMPTE ST.2084中规定的PQ(Perceptual Quantize，感知量化)方式，这些方式在ITU-R中作为Recommendation ITU-R BT.2100 进行了国际标准化。值得注意的是，将来，也可以规定这些方法之外的其他方法。

图1中，对于SDR信号和HLG方式以及PQ方式的HDR信号，示出了图像的亮度信号电平与显示在显示装置上的显示亮度级之间的对应关系(反γ校正，inverse gammacorrection)。注意，由于HLG方式是显示装置的峰值亮度为最大值的相对系统，因此峰值亮度在图中表示为1000cd/m

HDR信号中，与传统的SDR信号相比，相对于亮度信号电平的变动，显示亮度级(明度)的变化较大。因此，在信号电平较高的区域中，与以往的信号劣化相比，量化失真引起的块噪声被夸大表达。特别是，在信号抑制程度最大的PQ方式中，相对于亮度信号电平而言显示亮度级的变动明显，并且由于块失真引起的对信号劣化的影响也是显著的。为了减少这种现象，通常采取根据信号电平来减少量化参数的措施。

在传统的去块滤波器中，预先以帧为单位根据量化参数来确定用于切换实现块间平滑的滤波强度的阈值，并且未实施对应于亮度信号电平的控制。因此，在HDR信号中，亮度信号电平的差与显示亮度级的差之间的非线性(Non-linearity)较强，并且传统的去块滤波器难以充分地减少块失真的情况。另外，由于传统的SDR信号中也存在由于伽马校正引起的非线性，因此存在着在亮度级较高的区域中去块滤波的效果下降的问题。

此外，虽然通过使量化参数过分减小而能够减少块的平均误差量，但是由于量化参数减小从而导致去块滤波的作用也变小，不能充分改善在边界处亮度信号电平的差异被突出显示的情况。另外，如果使量化参数减小则信息量增加，因此存在着导致压缩效果也下降的问题。

鉴于这种情况，本公开的目的在于提供一种在不损失压缩效果的情况下即使对于SDR信号的高亮度部分和HDR信号也能够减少块失真的编码装置、解码装置、编码方法和解码方法。

根据一实施方式的编码装置是用于编码输入图像的编码装置，其中，包括：变换单元，其对表示输入图像和该输入图像的预测图像之间的差的残差图像进行正交变换处理并计算出正交变换系数；量化单元，其基于量化参数而量化所述正交变换系数并生成量化系数；熵编码单元，其对所述量化系数进行编码并生成编码数据；图像解码单元，其基于所述量化参数，从所述量化系数恢复正交变换系数，将所述预测图像与对该正交变换系数进行逆正交变换而恢复的残差图像相加以生成重建图像；和去块滤波单元，其对所述重建图像进行滤波处理。所述去块滤波单元根据所述重建图像的亮度信号电平和所述量化参数来控制滤波强度。

根据一实施方式的解码装置是用于解码输入图像的编码数据的解码装置，其中，包括：熵解码单元，其对编码数据进行解码，并获得对正交变换系数进行量化而得到的量化系数；图像解码单元，其基于量化参数，从所述量化系数恢复正交变换系数，将预测图像与对该正交变换系数进行逆正交变换而恢复的残差图像相加以生成重建图像；和去块滤波单元，其对所述重建图像进行滤波处理。所述去块滤波单元根据所述重建图像的亮度信号电平和所述量化参数来控制滤波强度。

根据这样的编码装置和解码装置，可以根据亮度信号电平来改变滤波强度，并且不仅可以针对SDR信号而且针对HDR信号也能够减少块失真，而不会损失压缩效果。

在下文中，将参考附图对一实施方式进行详细说明。

(编码装置)

下面将对根据一实施方式的编码装置进行说明。图2示出了根据一实施方式的编码装置的配置例。图2所示的编码装置1包括：块分割单元11、减法运算单元12、变换单元13、量化单元14、逆量化单元15、逆变换单元16、加法运算单元17、去块滤波单元18、样点自适应偏移单元(Sample Adaptive Offset Unit)19、存储单元20、帧内预测单元(intraprediction Unit)21、运动补偿预测单元22、切换单元23 和熵编码单元24。注意，代替样点自适应偏移单元19或者除了样点自适应偏移单元19之外，也可以设置进行其他后滤波处理的处理单元。

块分割单元11将作为输入图像的编码目标帧分割为多个块，并将块图像输出到减法运算单元12。块的大小可以是可变的，例如为32×32 像素、16×16像素、8×8像素或4×4像素。

减法运算单元12从由块分割单元11输入的块图像的各像素值中减去输入图像的预测图像的各像素值，生成用于表示块图像和预测图像之间的差异的残差图像并输出到变换单元13。经由切换单元23从稍后描述的帧内预测单元21或运动补偿预测单元22输入预测图像。

变换单元13对从减法运算单元12输入的残差图像进行正交变换处理并计算出正交变换系数，将每个块的正交变换系数输出到量化单元14。

量化单元14基于对量化粗糙度进行规定的量化参数(qP)，对从变换单元13输入的每个块的正交变换系数进行量化以生成量化系数，并将量化系数输出到逆量化单元15和熵编码单元24。更具体地，量化单元14通过将从变换单元13输入的每个块的正交变换系数除以从量化参数导出的量化步长来生成量化系数。例如，量化参数的值为从 0到51，并且当量化参数增加6时，量化步长对应地成为两倍(即，量化参数与量化步长的对数成比例)。

逆量化单元15基于量化参数从由量化单元14输入的量化系数恢复正交变换系数，并输出到逆变换单元16。更具体地，逆量化单元15 通过将从量化单元14输入的量化系数乘以从量化参数导出的量化步长，来恢复每个块的正交变换系数。

逆变换单元16对从逆量化单元15输入的正交变换系数进行逆正交变换以生成残差图像，并将所生成的残差图像输出到加法运算单元 17。例如，当变换单元13进行离散余弦变换时，逆变换单元16进行逆离散余弦变换。

加法运算单元17将从逆变换单元16输入的残差图像与从切换单元23输入的预测图像的各像素值相加以生成重建图像，并将重建图像输出到去块滤波单元18。

去块滤波单元18对从加法运算单元17输入的重建图像进行滤波处理，并且将滤波处理后的重建图像输出到样点自适应偏移单元19。去块滤波单元18根据重建图像的亮度信号电平(亮度分量的像素值) 和量化参数来控制滤波强度。稍后将对该处理的细节进行描述。

样点自适应偏移单元19以像素为单位对从去块滤波单元18输入的图像进行分类，将对应于分类的补偿与各像素值相加，将其结果作为解码图像输出到存储单元20。此外，样点自适应偏移单元19将样点自适应偏移的信息输出到熵编码单元24。

帧内预测单元21参考存储在存储单元20中的解码图像，进行帧内预测以生成帧内预测图像，并将帧内预测图像输出到切换单元23。此外，帧内预测单元21将所选择的帧内预测模式输出到熵编码单元 24。

运动补偿预测单元22参考存储在存储单元20中的解码图像，通过块匹配等方法生成运动向量，并且将运动向量的信息输出到熵编码单元24。此外，运动补偿预测单元22基于运动向量生成运动补偿预测图像，并将运动补偿预测图像输出到切换单元23。

切换单元23对从帧内预测单元21输入的帧内预测图像和从运动补偿预测单元22输入的运动补偿预测图像进行切换，将解码图像的预测图像(帧内预测图像或运动补偿预测图像)输出到减法运算单元12 和加法运算单元17。

逆量化单元15、逆变换单元16、加法运算单元17、帧内预测单元21、运动补偿预测单元22和切换单元23构成图像解码单元10。如上所述，图像解码单元10通过基于量化参数从量化系数恢复正交变换系数并将预测图像与对该正交变换系数进行逆正交变换而恢复的残差图像相加，从而生成重建图像。

熵编码单元24对于从量化单元14输入的量化系数、从帧内预测单元21输入的帧内预测模式、从运动补偿预测单元22输入的预测运动向量的信息、从去块滤波单元18输入的关于滤波的信息以及从样点自适应偏移单元19输入的样点自适应偏移的信息进行熵编码，并进行数据压缩以生成编码数据，并且将编码数据输出到编码装置1的外部。可以使用诸如零阶指数哥伦布编码和CABAC(Context-based Adaptive Binary Arithmetic Coding；基于上下文的自适应二进制算术编码)等任何熵编码方法来进行熵编码。

(去块滤波单元)

以下，对去块滤波单元18的细节进行描述。在本实施方式中，去块滤波单元18进行处理的块大小例如设定为8×8像素。首先，去块滤波单元18针对每个块求出表示平滑处理的强度的边界强度Bs (Boundary Strength)值。Bs值为0、1或2的任一者。

图3示出了进行去块滤波处理的块边界。参考图3，对符合 H.265/HEVC方式的去块滤波处理的示例进行说明。如果块P或Q是要进行帧内预测的块，则将Bs值设定为2。如果块P和Q是要进行帧间预测的块并且满足以下条件中的至少一个，则将Bs值设定为1，并且对于其他情况，则将Bs值设定为0。

·块P或Q包含显著性(significant)(非零)正交变换系数，并且为变换单元TU(Transform Unit)的边界。

·块P和Q的运动向量的数量或参考图像不同。

·块P和Q的运动向量的差的绝对值为4个像素或更多。

当Bs值为0时，去块滤波单元18不进行滤波处理。在下文中，以图3中所示的垂直块边界为例进行说明。当Bs值为1或2时，仅在满足下式(1)时进行滤波处理。

[数式1]

此外，当进行滤波处理时，去块滤波单元18在满足以下所有条件表达式(2)～(7)时适用强滤波，其他情况适用弱滤波。

[数式2]

2(|p2

2(|p2

|p3

|p3

|p0

|p0

阈值β和t

表1

假设比特深度为B，则阈值β和t

[数式3]

β＝β′*(1＜＜(B-8)) (8)

t

在本公开中，去块滤波单元18通过新添加的亮度信号电平(亮度分量的像素值)L使参考表移位以设定阈值β和t

去块滤波单元18获得规定了输入图像的亮度值的动态范围的格式。对于视频格式，例如在H.265/HEVC方式中是通过称为序列参数集(Sequence parameter set)的高层语法进行传输的格式，通常可以通过解码装置来识别信号的类型。在该实施方式中，该格式例如为三种类型：SDR、HLG和PQ。考虑到PQ方式或HLG方式等HDR方式与SDR方式相比，亮度信号电平的差对显示亮度的影响更大，去块滤波单元18根据亮度信号电平L来控制滤波强度。具体地，将表1中所示的β′和t

SDR信号的情况下，

if(L＜0.75)

a＝0；

else if(L＞＝0.75)

a＝2；

if(L＜0.75)

b＝0；

else if(L＞＝0.75)

b＝1；

HLG信号的情况下，

if(L＜0.5)

a＝0；

else if(L＞＝0.5&&L＜0.75)

a＝2；

else if(L＞＝0.75)

a＝5；

if(L＜0.5)

b＝0；

else if(L＞＝0.5&&L＜0.7)

b＝3；

else if(L＞＝0.7)

b＝6；

PQ信号的情况下，

if(L＜0.3)

a＝-1；

else if(L＞＝0.3&&L＜0.4)

a＝0；

else if(L＞＝0.4&&L＜0.5)

a＝1；

else if(L＞＝0.5&&L＜0.7)

a＝5；

else if(L＞＝0.7&&L＜0.85)

a＝10；

else if(L＞＝0.85&&L＜0.95)

a＝12；

else if(L＞＝0.95)

a＝15；

if(L＜0.3)

b＝-1；

else if(L＞＝0.3&&L＜0.5)

b＝0；

else if(L＞＝0.5&&L＜0.7)

b＝1；

else if(L＞＝0.7&&L＜0.95)

b＝5；

else if(L＞＝0.95)

b＝7；

(10)

例如，当移位量a＝b＝5时，去块滤波单元18将参考表的阈值β′和t

表2

去块滤波单元18通过使参考表的阈值β′和t

如上所述，在编码装置1中，去块滤波单元18根据重建图像的亮度信号电平和量化参数来控制滤波强度。在一个实施方式中，去块滤波单元18对滤波强度设定信息(参考表)进行保持，该滤波强度设定信息表示从量化参数计算出的第一值(Q

在一个实施方式中，去块滤波单元18根据规定了输入图像的亮度值的动态范围的格式来控制滤波强度。去块滤波单元18对滤波强度设定信息(参考表)和校正用信息(参见式(10))进行保持，该滤波强度设定信息表示从量化参数计算出的第一值(Q

注意，可以优选使用计算机来作为上述编码装置1，这种计算机将程序存储在该计算机的存储单元，所述程序用于描述用于实现编码装置1的各功能的处理内容，能够通过该计算机的CPU读出并执行该程序来实现功能。再者，该程序可以记录在计算机可读记录介质上。

(解码装置)

接下来，对根据一实施方式的解码装置进行说明。图4是示出根据一实施方式的解码装置的配置例的框图。图4所示的解码装置2包括：熵解码单元31、逆量化单元32、逆变换单元33、加法运算单元 34、去块滤波单元35、样点自适应偏移单元36、存储单元37、帧内预测单元38、运动补偿预测单元39、和切换单元40。解码装置2对由编码装置1编码的、输入图像的编码数据进行解码。

熵解码单元31对从编码装置1输出的编码数据进行解码，并获取量化系数、帧内预测模式、运动预测信息、关于滤波的信息和样点自适应偏移的信息。然后，熵解码单元31将量化系数输出到逆量化单元 32，将帧内预测模式输出到帧内预测单元38，将运动预测信息输出到运动补偿预测单元39，将关于滤波的信息输出到去块滤波单元35，将样点自适应偏移的信息输出到样点自适应偏移单元36。

逆量化单元32从熵解码单元31输入量化系数和量化参数，并将量化系数乘以从量化参数导出的量化步长，针对每个块恢复正交变换系数，将正交变换系数输出到逆变换单元33。

逆变换单元33对从逆量化单元32输入的正交变换系数进行逆变换以生成残差图像，并将残差图像输出到加法运算单元34。

加法运算单元34将从逆变换单元33输入的残差图像与从切换单元40输入的预测图像的各像素值相加以生成重建图像，并将重建图像输出到去块滤波单元35。

去块滤波单元35对从加法运算单元34输入的重建图像进行滤波处理，并且将滤波处理后的重建图像输出到样点自适应偏移单元36。去块滤波单元35根据重建图像的亮度信号电平(亮度分量的像素值) 和量化参数来控制滤波强度。

样点自适应偏移单元36根据从熵解码单元31输入的样点自适应偏移信息，将补偿与从去块滤波单元35输入的图像相加，并将其结果作为解码图像输出到存储单元37。

存储单元37存储一帧的图像，并将所存储的图像输出到解码装置 2的外部。

帧内预测单元38参考存储在存储单元37中的解码图像，根据从熵解码单元31输入的帧内预测模式进行预测处理并生成帧内预测图像，并将帧内预测图像输出到切换单元40。

运动补偿预测单元39参考存储在存储单元37中的解码图像，根据从熵解码单元31输入的运动向量的信息进行预测处理，并生成运动补偿预测图像，并将运动补偿预测图像输出到切换单元40。

切换单元40对从帧内预测单元38输入的帧内预测图像和从运动补偿预测单元39输入的运动补偿预测图像进行切换，将帧内预测图像或运动补偿预测图像输出到加法运算单元34。

由逆量化单元32、逆变换单元33、加法运算单元34、帧内预测单元38、运动补偿预测单元39和切换单元40构成图像解码单元30。如上所述，图像解码单元30通过基于量化参数从量化系数恢复正交变换系数并将解码图像的预测图像与对该正交变换系数进行逆正交变换而恢复的残差图像相加，从而生成重建图像。

去块滤波单元35的处理与去块滤波单元18相同。即，去块滤波单元35通过使参考表的阈值β′和t

如上所述，在解码装置2中，去块滤波单元35根据重建图像的亮度信号电平和量化参数来控制滤波强度。在一个实施方式中，去块滤波单元35对滤波强度设定信息(参考表)进行保持，该滤波强度设定信息表示从量化参数计算出的第一值(Q

在一个实施方式中，去块滤波单元35根据规定了输入图像的亮度值的动态范围的格式来控制滤波强度。去块滤波单元35对滤波强度设定信息(参考表)和校正用信息(参见式(10))进行保持，该滤波强度设定信息表示从量化参数计算出的第一值与用于确定滤波强度的第二值之间的对应关系，该校正用信息针对每种格式定义滤波强度设定信息的校正方法。去块滤波单元35基于校正用信息确定与应用于输入图像的格式对应的校正方法，并使用所确定的校正方法根据重建图像的亮度信号电平来校正滤波强度设定信息，并通过将第一值应用于经校正的滤波强度设定信息来导出第二值。

注意，可以优选使用计算机来作为上述解码装置2，这种计算机将程序存储在该计算机的存储单元，所述程序用于描述实现解码装置 2的各功能的处理内容，能够通过该计算机的CPU读出并执行该程序来实现功能。再者，该程序可以记录在计算机可读记录介质上。

尽管已经作为代表性示例对上述实施方式进行了描述，但是对于本领域技术人员来说，很显然能够在本公开的精神和范围内进行多种修改和替换。因此，本公开不应被解释为受上述实施方式的限制，在不脱离权利要求书的情况下可以进行各种变形和修改。例如，可以将实施方式的配置图中所描述的多个配置块组合成一个，或者对一个配置块进行分割。

本公开主张日本第2016-230524(2016年11月28日提交)号专利申请和日本第2017-23345(2017年2月10日提交)号专利申请的优先权，并将其全部内容通过引用结合于此。

符号说明

1：编码装置

2：解码装置

10：图像解码单元

11：块分割单元

12：减法运算单元

13：变换单元

14：量化单元

15：逆量化单元

16：逆变换单元

17：加法运算单元

18：去块滤波单元

19：样点自适应偏移单元

20：存储单元

21：帧内预测单元

22：运动补偿预测单元

23：切换单元

24：熵编码单元

30：图像解码单元

31：熵解码单元

32：逆量化单元

33：逆变换单元

34：加法运算单元

35：去块滤波单元

36：样点自适应偏移单元

37：存储单元

38：帧内预测单元

39：运动补偿预测单元

40：切换单元。