掌桥专利:专业的专利平台
掌桥专利
首页

编码/解码视频的方法和设备以及存储比特流的记录介质

文献发布时间:2024-04-18 20:00:25


编码/解码视频的方法和设备以及存储比特流的记录介质

本申请是申请日为2018年8月20日,申请号为201880054554.6,发明名称为“用于对视频进行编码/解码的方法和设备以及存储比特流的记录介质”的发明专利申请的分案申请。

技术领域

本发明涉及一种用于对图像进行编码/解码的方法和设备。具体地讲,本发明涉及一种用于使用帧内预测对图像进行编码/解码的方法和设备以及存储通过本发明的图像编码方法/设备生成的比特流的记录介质。

背景技术

近来,在各种应用领域中针对高分辨率和高质量图像(诸如,高清晰度(HD)图像和超高清晰度(UHD)图像)的需求已经提高。然而,与传统图像数据相比,更高分辨率和质量图像数据具有越来越大的数据量。因此,当通过使用诸如传统有线和无线宽带网络的介质传输图像数据时,或者当通过使用传统存储介质存储图像数据时,传输和存储的成本增加。为了解决随着图像数据的分辨率和质量提高而发生的这些问题,需要针对更高分辨率和更高质量图像的高效率图像编码/解码技术。

图像压缩技术包括各种技术,包括:从当前画面的先前画面或后续画面预测包括在当前画面中的像素值的帧间预测技术;通过使用当前画面中的像素信息预测包括在当前画面中的像素值的帧内预测技术;用于对残差信号的能量进行压缩的变换和量化技术;将短码分配给具有高出现频率的值并将长码分配给具有低出现频率的值的熵编码技术;等。可通过使用这样的图像压缩技术有效地压缩并且传输或存储图像数据。

发明内容

技术问题

本发明的目的在于提供一种用于对图像进行编码和解码以提高压缩效率的方法和设备以及存储由本发明的图像编码方法/设备生成的比特流的记录介质。

本发明的另一目的在于提供一种用于使用帧内预测对图像进行编码和解码以提高压缩效率的方法和设备以及存储由本发明的图像编码方法/设备生成的比特流的记录介质。

本发明的另一目的在于提供一种用于考虑到块的形状高效地执行帧内预测来对图像进行编码和解码的方法和设备以及存储由本发明的图像编码方法/设备生成的比特流的记录介质。

解决方案

根据本发明的一种对图像进行解码的方法可包括:重建当前块的帧内预测模式,确定用于所述当前块的帧内预测的参考样点,并且通过基于所述帧内预测模式和所述参考样点对所述当前块执行所述帧内预测来生成所述当前块的预测块,其中,可基于所述当前块的形状执行对所述参考样点的确定或所述帧内预测。

在根据本发明的对图像进行解码的方法中,可基于所述当前块的水平尺寸或垂直尺寸确定所述当前块的形状。

在根据本发明的对图像进行解码的方法中,确定所述参考样点的步骤可包括:确定与所述当前块相邻的样点是否是噪声参考样点,其中,可使用与所述当前块相邻的参考样点的统计值确定所述样点是否是噪声参考样点。

在根据本发明的对图像进行解码的方法中,当所述当前块是非正方形块并且所述帧内预测模式是DC模式时,针对与所述当前块的水平侧和垂直侧中的作为基准侧的一侧相距预定偏移距离内的区域的DC值不同于针对与所述一侧相距所述预定偏移距离之外的区域的DC值。

在根据本发明的对图像进行解码的方法中,可通过第一DC值与第二DC值之间的插值来计算针对所述预定偏移距离内的区域的DC值,其中,第一DC值从与所述当前块的左侧和顶部相邻的参考样点被推导出,第二DC值从与所述基准侧相邻的参考样点被推导出。

在根据本发明的对图像进行解码的方法中,当所述当前块是在垂直上长的非正方形块并且所述帧内预测模式是垂直模式时,针对与所述当前块的顶部相距预定偏移距离内的区域的参考样点可不同于针对与所述当前块的顶部相距所述预定偏移距离之外的区域的参考样点。

在根据本发明的对图像进行解码的方法中,可使用所述当前块的顶部参考样点预测所述预定偏移距离内的区域,可使用第一参考值预测所述预定偏移距离之外的区域,并且可基于所述当前块的顶部参考样点与左上参考样点之间的差值和所述当前块的左侧参考样点来计算第一参考值,其中,所述当前块的左侧参考样点位于距所述当前块的顶部所述预定偏移距离处。

在根据本发明的对图像进行解码的方法中,可使用所述当前块的顶部参考样点与第一参考值之间的插值预测所述预定偏移距离内的区域,可使用第一参考值与第二参考值之间的插值预测所述预定偏移距离之外的区域,可基于所述当前块的顶部参考样点与左上参考样点之间的差值和所述当前块的左侧参考样点来计算第一参考值,其中,所述当前块的左侧参考样点位于距所述当前块的顶部所述预定偏移距离处,并且可基于所述差值和所述当前块的左下参考样点计算第二参考值。

在根据本发明的对图像进行解码的方法中,当所述当前块是非正方形块并且所述帧内预测模式是DC模式时,可对与所述当前块的预测块的水平侧和垂直侧中的作为基准侧的一侧相距预定偏移距离内的区域执行滤波。

在根据本发明的对图像进行解码的方法中,可使用与所述基准侧相邻的参考样点与所述当前块的DC值之间的插值执行滤波。

根据本发明的一种对图像进行编码的方法可包括:确定用于当前块的帧内预测的帧内预测模式,确定用于所述帧内预测的参考样点,并且通过基于所述帧内预测模式和所述参考样点对所述当前块执行所述帧内预测来生成所述当前块的预测块,其中,基于所述当前块的形状执行对所述参考样点的确定或所述帧内预测。

在根据本发明的对图像进行编码的方法中,可基于所述当前块的水平尺寸或垂直尺寸确定所述当前块的形状。

在根据本发明的对图像进行编码的方法中,确定所述参考样点的步骤可包括:确定与所述当前块相邻的样点是否是噪声参考样点,其中,可使用与所述当前块相邻的参考样点的统计值确定所述样点是否是噪声参考样点。

在根据本发明的对图像进行编码的方法中,当所述当前块是非正方形块并且所述帧内预测模式是DC模式时,针对与所述当前块的水平侧和垂直侧中的作为基准侧的一侧相距预定偏移距离内的区域的DC值可不同于针对与所述一侧相距所述预定偏移距离之外的区域的DC值。

在根据本发明的对图像进行编码的方法中,可通过第一DC值与第二DC值之间的插值来计算针对所述预定偏移距离内的区域的DC值,其中,第一DC值从与所述当前块的左侧和顶部相邻的参考样点被推导出,第二DC值从与所述基准侧相邻的参考样点被推导出。

在根据本发明的对图像进行编码的方法中,当所述当前块是在垂直上长的非正方形块并且所述帧内预测模式是垂直模式时,针对与所述当前块的顶部相距预定偏移距离内的区域的参考样点可不同于针对与所述当前块的顶部相距所述预定偏移距离之外的区域的参考样点。

在根据本发明的对图像进行编码的方法中,可使用所述当前块的顶部参考样点预测所述预定偏移距离内的区域,可使用第一参考值预测所述预定偏移距离之外的区域,并且可基于所述当前块的顶部参考样点与左上参考样点之间的差值和所述当前块的左侧参考样点来计算第一参考值,其中,所述当前块的左侧参考样点位于距所述当前块的顶部所述预定偏移距离处。

在根据本发明的对图像进行编码的方法中,可使用所述当前块的顶部参考样点与第一参考值之间的插值预测所述预定偏移距离内的区域,可使用第一参考值与第二参考值之间的插值预测所述预定偏移距离之外的区域,可基于所述当前块的顶部参考样点与左上参考样点之间的差值和所述当前块的左侧参考样点来计算第一参考值,其中,所述当前块的左侧参考样点位于距所述当前块的顶部所述预定偏移距离处,并且可基于所述差值和所述当前块的左下参考样点计算第二参考值。

在根据本发明的对图像进行编码的方法中,当所述当前块是非正方形块并且所述帧内预测模式是DC模式时,可对与所述当前块的预测块的水平侧和垂直侧中的作为基准侧的一侧相距预定偏移距离内的区域执行滤波。

根据本发明的一种计算机可读记录介质可存储有由根据本发明的对图像进行编码的方法生成的比特流。

有益效果

根据本发明,可提供一种提高了压缩效率的图像编码/解码方法和设备以及存储由本发明的图像编码方法/设备生成的比特流的记录介质。

并且,根据本发明,可提供一种使用提高了压缩效率的帧内预测的图像编码/解码方法和设备以及存储由本发明的图像编码方法/设备生成的比特流的记录介质。

并且,根据本发明,可提供一种用于考虑块的形状等高效地执行帧内预测的图像编码/解码方法和设备,以及存储由本发明的图像编码方法/设备生成的比特流的记录介质。

附图说明

图1是示出根据本发明的实施例的编码设备的配置的框图。

图2是示出根据本发明的实施例的解码设备的配置的框图。

图3是示意性地示出当对图像进行编码和解码时的图像的分区结构的示图。

图4是示出帧内预测处理的示图。

图5是示出根据本发明的实施例的对当前块执行帧内预测的方法的示图。

图6是描绘可用于当前块的帧内预测的邻近重建样点线的示例性示图。

图7是描绘针对包括在当前块中的子块构建参考样点的实施例的示图。

图8是描绘使用可用重建样点替换不可用重建样点的方法的示图。

图9是示出根据当前块的形状的帧内预测的示例性示图。

图10是示出根据本发明的可用于帧内预测的参考样点的示图。

图11是示出通过使用顶部参考样点和左侧参考样点计算DC值的示例的示图。

图12是示出通过将当前块分区成多个子块执行DC预测的示例的示图。

图13是示出通过将当前块分区成多个子块来执行DC预测的另一示例的示图。

图14是示出根据对块的水平长度和垂直长度的比较在DC模式下预测的示例的示图。

图15是示出平面模式的示图。

图16是示出根据本发明的实施例的平面模式的示图。

图17是示出根据本发明的实施例的在垂直模式下的帧内预测的示图。

图18是示出根据本发明的实施例的在水平模式下的帧内预测的示图。

图19是示出对预测块执行滤波的示例的示图。

图20是示出对预测块执行滤波的另一示例的示图。

图21是示出对预测块执行滤波的又一示例的示图。

图22是示出可应用于当前块的帧内预测的各种单元的示图。

具体实施方式

可对本发明做出各种修改,并且存在本发明的各种实施例,其中,现在将参照附图提供所述实施例的示例并且将详细描述所述实施例的示例。然而,本发明不限于此,尽管示例性实施例可被解释为包括本发明的技术构思和技术范围内的所有修改、等同形式或替换形式。相似的参考标号指在各方面相同或相似的功能。在附图中,为了清楚起见,元件的形状和尺寸可被夸大。在本发明的以下详细描述中,对通过图示的方式示出可对本发明进行实施的具体实施例的附图进行参照。这些实施例被足够详细地描述以使本领域技术人员能够实施本公开。应当理解的是,本公开的各种实施例尽管不同,但不必是相互排他的。例如,在不脱离本公开的精神和范围的情况下,这里描述的与一个实施例关联的特定特征、结构和特性可在其他实施例中被实施。此外,应当理解的是,在不脱离本公开的精神和范围的情况下,每个公开的实施例内的各个元件的位置或布置可被修改。因此,以下详细描述将不以限制的含义进行,本公开的范围仅由权利要求(在合适的解释的情况下,还连同权利要求所要求保护的等同物的全部范围)来限定。

在说明书中使用的术语“第一”、“第二”等可被用于描述各种组件,但这些组件并不被解释为受限于所述术语。所述术语仅被用于将一个组件与另一组件区分开。例如,在不脱离本发明的范围的情况下,“第一”组件可被称为“第二”组件,并且“第二”组件也可被类似地称为“第一”组件。术语“和/或”包括多个项的组合或者多个项中的任意一项。

将理解的是,在本说明书中,当元件被简单称为“连接到”或“结合到”另一元件而不是“直接连接到”或“直接结合到”所述另一元件时,所述元件可“直接连接到”或“直接结合到”所述另一元件,或者是在其间插入其他元件的情况下连接到或结合到所述另一元件。相反,应当理解的是,当元件被称为“直接结合”或“直接连接”到另一元件时,不存在中间元件。

此外,在本发明的实施例中示出的组成部件被独立示出,以便呈现彼此不同的特性功能。因此,这并不意味着每个组成部件以单独的硬件或软件的组成单元被构成。换句话说,为了方便,每个组成部件包括枚举的组成部件中的每一个。因此,每个组成部件中的至少两个组成部件可被组合形成一个组成部件,或者一个组成部件可被划分为多个组成部件以执行每个功能。在没有脱离本发明的本质的情况下,每个组成部件被组合的实施例以及一个组成部件被划分的实施例也被包括在本发明的范围中。

在本说明书中使用的术语仅用于描述具体实施例,而不意在限制本发明。以单数使用的表达包括复数表达,除非它在上下文中具有明显不同的含义。在本说明书中,将理解的是,诸如“包括……的”、“具有……的”等的术语意在指明说明书中所公开的特征、数量、步骤、行为、元件、部件、或其组合的存在,而并不意在排除一个或更多个其他特征、数量、步骤、行为、元件、部件、或其组合可能存在或者可能被添加的可能性。换句话说,当特定元件被称为“被包括”时,除相应元件之外的元件并不被排除,而另外的元件可被包括在本发明的实施例或者本发明的范围中。

此外,一些组件可能不是执行本发明的必要功能的不可缺少的组件,而是仅提升其性能的可选组件。可通过仅包括用于实施本发明的实质的不可缺少的组件而不包括用于提升性能的组件来实施本发明。仅包括所述不可缺少的组件而不包括仅用于提升性能的可选组件的结构也被包括在本发明的范围中。

在下文中,将参照附图详细描述本发明的实施例。在描述本发明的示例性实施例时,将不详细描述公知功能或结构,这是因为它们会不必要地模糊对本发明的理解。附图中的相同的组成元件通过相同的参考标号来表示,并且对相同元件的重复描述将被省略。

在下文中,图像可意为构成视频的画面,或者可意为视频本身。例如,“对图像进行编码或解码或者进行编码和解码”可意为“对运动画面进行编码或解码或者进行编码和解码”,并且可意为“对运动画面的图像之中的一个图像进行编码或解码或者进行编码和解码”。

在下文中,术语“运动画面”和“视频”可被用作相同的含义并且可彼此替换。

在下文中,目标图像可以是作为编码目标的编码目标图像和/或作为解码目标的解码目标图像。此外,目标图像可以是输入到编码设备的输入图像、以及输入到解码设备的输入图像。这里,目标图像可具有与当前图像相同的含义。

在下文中,术语“图像”、“画面”、“帧”和“屏幕”可被用作相同的含义并且彼此替换。

在下文中,目标块可以是作为编码目标的编码目标块和/或作为解码目标的解码目标块。此外,目标块可以是作为当前编码和/或解码的目标的当前块。例如,术语“目标块”和“当前块”可被用作相同的含义并且彼此替换。

在下文中,术语“块”和“单元”可被用作相同的含义并且彼此替换。或者“块”可表示特定单元。

在下文中,术语“区域”和“片段”可彼此替换。

在下文中,特定信号可以是表示特定块的信号。例如,原始信号可以是表示目标块的信号。预测信号可以是表示预测块的信号。残差信号可以是表示残差块的信号。

在实施例中,特定信息、数据、标志、索引、元素和属性等中的每一个可具有值。等于“0”的信息、数据、标志、索引、元素和属性的值可表示逻辑假或第一预定义值。换言之,值“0”、假、逻辑假和第一预定义值可彼此替换。等于“1”的信息、数据、标志、索引、元素和属性的值可表示逻辑真或第二预定义值。换句话说,值“1”、真、逻辑真和第二预定义值可彼此替换。

当变量i或变量j用于表示列、行或索引时,i的值可以是等于或大于0的整数、或者等于或大于1的整数。也就是说,列、行、索引等可从0开始计数,或者可从1开始计数。

术语描述

编码器:表示执行编码的设备。也就是说,表示编码设备。

解码器:表示执行解码的设备。也就是说,表示解码设备。

块:是M×N的样点阵列。这里,M和N可表示正整数,并且块可表示二维形式的样点阵列。块可指单元。当前块可表示在编码时成为目标的编码目标块,或者在解码时成为目标的解码目标块。此外,当前块可以是编码块、预测块、残差块和变换块中的至少一个。

样点:是构成块的基本单元。根据比特深度(Bd),样点可被表示为从0到2

单元:可指编码和解码单元。当对图像进行编码和解码时,单元可以是通过对单个图像进行分区而生成的区域。此外,当在编码或解码期间将单个图像分区为子划分单元时,单元可表示子划分单元。也就是说,图像可被分区为多个单元。当对图像进行编码和解码时,可针对每个单元执行预定处理。单个单元可被分区为尺寸小于该单元的尺寸的子单元。依据功能,单元可表示块、宏块、编码树单元、编码树块、编码单元、编码块、预测单元、预测块、残差单元、残差块、变换单元、变换块等。此外,为了将单元与块区分开,单元可包括亮度分量块、与亮度分量块相关联的色度分量块、以及每个颜色分量块的语法元素。单元可具有各种尺寸和形状,具体地,单元的形状可以是二维几何图形,诸如正方形、长方形、梯形、三角形、五边形等。此外,单元信息可包括指示编码单元、预测单元、变换单元等的单元类型以及单元尺寸、单元深度、单元的编码和解码的顺序等中的至少一个。

编码树单元:被配置有亮度分量Y的单个编码树块以及与色度分量Cb和Cr相关的两个编码树块。此外,编码树单元可表示包括块和每个块的语法元素。可通过使用四叉树分区方法、二叉树分区方法和三叉树分区方法等中的至少一个对每个编码树单元进行分区,以配置诸如编码单元、预测单元、变换单元等的更低等级的单元。编码树单元可被用作用于指定在对作为输入图像的图像进行编码/解码时成为处理单元的样点块的术语。这里,四叉树可表示四元树。

编码树块:可用作用于指定Y编码树块、Cb编码树块和Cr编码树块中的任意一个的术语。

邻近块:可表示与当前块相邻的块。与当前块相邻的块可表示与当前块的边界接触的块、或者位于距当前块预定距离内的块。邻近块可表示与当前块的顶点相邻的块。这里,与当前块的顶点相邻的块可表示与水平相邻于当前块的邻近块垂直相邻的块、或者与垂直相邻于当前块的邻近块水平相邻的块。

重建的邻近块:可表示与当前块相邻并且已经在空间/时间上被编码或解码的邻近块。这里,重建的邻近块可表示重建的邻近单元。重建的空间邻近块可以是在当前画面内并且已经通过编码或解码或者编码和解码两者而被重建的块。重建的时间邻近块是在参考图像内的与当前画面的当前块对应的位置处的块或所述块的邻近块。

单元深度:可表示单元的分区程度。在树结构中,最高节点(根节点)可与未被分区的第一单元对应。此外,最高节点可具有最小深度值。在这种情况下,最高节点的深度可为等级0。深度为等级1的节点可表示通过对第一单元进行一次分区而生成的单元。深度为等级2的节点可表示通过对第一单元进行两次分区而生成的单元。深度为等级n的节点可表示通过对第一单元进行n次分区而生成的单元。叶节点可以是最低节点并且是不能被进一步分区的节点。叶节点的深度可以是最大等级。例如,最大等级的预定义值可以是3。根节点的深度可以是最低的,并且叶节点的深度可以是最深的。此外,当单元被表示为树结构时,单元存在于的等级可表示单元深度。

比特流:可表示包括编码图像信息的比特流。

参数集:与比特流内的配置之中的头信息对应。视频参数集、序列参数集、画面参数集和自适应参数集中的至少一个可被包括在参数集中。此外,参数集可包括条带头和并行块头信息。

解析:可表示通过执行熵解码来确定语法元素的值,或者可表示熵解码本身。

符号:可表示编码/解码目标单元的语法元素、编码参数和变换系数值中的至少一个。此外,符号可表示熵编码目标或熵解码结果。

预测模式:可以是指示利用帧内预测被编码/解码的模式或利用帧间预测被编码/解码的模式的信息。

预测单元:可表示当执行预测(诸如帧间预测、帧内预测、帧间补偿、帧内补偿和运动补偿)时的基本单元。单个预测单元可被分区为具有更小尺寸的多个分区,或者可被分区为多个更低等级的预测单元。多个分区可以是在执行预测或补偿时的基本单元。通过划分预测单元而生成的分区也可以是预测单元。

预测单元分区:可表示通过对预测单元进行分区而获得的形状。

参考画面列表:可指包括用于帧间预测或运动补偿的一个或更多个参考画面的列表。LC(列表组合)、L0(列表0)、L1(列表1)、L2(列表2)、L3(列表3)等是参考画面列表的类型。一个或更多个参考画面列表可被用于帧间预测。

帧间预测指示符:可指当前块的帧间预测方向(单向预测、双向预测等)。可选地,帧间预测指示符可指用于生成当前块的预测块的参考画面的数量。进一步可选地,帧间预测指示符可指用于针对当前块执行帧间预测或运动补偿的预测块的数量。

预测列表利用标志:可表示是否使用包括在特定参考画面列表中的至少一个参考图像来生成预测块。可使用预测列表利用标志来推导帧间预测指示符,并且相反地,可使用帧间预测指示符来推导预测列表利用标志。例如,当预测列表利用标志指示第一值“0”时,它表示不使用包括在相应参考画面列表中的参考画面来生成预测块。当预测列表利用标志指示第二值“1”时,它表示使用包括在相应参考画面列表中的参考画面来生成预测块。

参考画面索引:可指指示参考画面列表中的特定参考画面的索引。

参考画面:可指特定块针对帧间预测或运动补偿所参考的画面。可选地,参考画面可以是包括由当前块针对帧间预测或运动补偿所参考的参考块的画面。在下文中,术语“参考画面”和“参考图像”可被用作相同的含义并且可交换地使用。

运动矢量:可以是用于帧间预测或运动补偿的二维矢量并且可指参考画面与编码/解码目标画面之间的偏移。例如,(mvX,mvY)可表示运动矢量,mvX可表示水平分量,并且mvY可表示垂直分量。

搜索范围:可以是在帧间预测期间针对运动矢量执行搜索的二维区域。例如,搜索范围的大小可以是M×N。M和N可分别为正整数。

运动矢量候选:可指在对运动矢量进行预测时成为预测候选的块,或者该块的运动矢量。运动矢量候选可被列在运动矢量候选列表中。

运动矢量候选列表:可指使用一个或更多个运动矢量候选构成的列表。

运动矢量候选索引:指指示运动矢量候选列表中的运动矢量候选的指示符。它也可被称为运动矢量预测因子的索引。

运动信息:可指包括以下项的信息:参考画面列表信息、参考画面、运动矢量候选、运动矢量候选索引、合并候选和合并索引中的至少任意一个以及运动矢量、参考画面索引、帧间预测指示符。

合并候选列表:可指由合并候选组成的列表。

合并候选:可指空间合并候选、时间合并候选、组合合并候选、组合双向预测合并候选或零合并候选等。合并候选可具有帧间预测指示符、针对每个列表的参考画面索引以及运动信息(诸如,运动矢量)。

合并索引:可指指示合并候选列表内的合并候选的指示符。合并索引可指示在空间上/时间上与当前块相邻的重建块之中的用于推导合并候选的块。合并索引可指示合并候选拥有的运动信息中的至少一项。

变换单元:可指执行编码/解码(诸如,残差信号的变换、逆变换、量化、反量化、变换系数编码/解码)时的基本单元。单个变换单元可被分区为具有更小尺寸的多个更低等级的变换单元。这里,变换/逆变换可包括第一变换/第一逆变换和第二变换/第二逆变换中的至少一个。

缩放:可指将量化的等级乘以因子的处理。可通过对量化的等级进行缩放来生成变换系数。缩放也可被称为反量化。

量化参数:可指当在量化期间使用变换系数来生成量化的等级时使用的值。量化参数也可指当在反量化期间通过对量化的等级进行缩放来生成变换系数时使用的值。量化参数可以是被映射在量化步长上的值。

增量量化参数:可指预测的量化参数与编码/解码目标单元的量化参数之间的差值。

扫描:可指对单元、块或矩阵内的系数进行排序的方法。例如,将系数的二维矩阵改变为一维矩阵可被称为扫描,并且将系数的一维矩阵改变为二维矩阵可被称为扫描或逆扫描。

变换系数:可指在编码器中执行变换之后生成的系数值。变换系数可表示在解码器中执行熵解码和反量化中的至少一个之后生成的系数值。通过对变换系数或残差信号进行量化获得的量化的等级、或者量化的变换系数等级也可落入变换系数的含义内。

量化的等级:可指在编码器中通过对变换系数或残差信号进行量化而生成的值。可选地,量化的等级可指作为在解码器中将经历反量化的反量化目标的值。类似地,作为变换和量化的结果的量化的变换系数等级也可落入量化的等级的含义内。

非零变换系数:可指具有除零之外的值的变换系数、或者具有除零之外的值的变换系数等级或量化的等级。

量化矩阵:可指在被执行以提高主观图像质量或客观图像质量的量化处理或反量化处理中使用的矩阵。量化矩阵也可被称为缩放列表。

量化矩阵系数:可指量化矩阵内的每个元素。量化矩阵系数也可被称为矩阵系数。

默认矩阵:可指在编码器或解码器中预先定义的预定量化矩阵。

非默认矩阵:可指在编码器或解码器中未被预先定义而是由用户用信号传送的量化矩阵。

统计值:针对具有可计算的特定值的变量、编码参数、常量值等之中的至少一个的统计值可以是相应特定值的平均值、加权平均值、加权和值、最小值、最大值、最常见值、中值、插值之中的一个或更多个。

图1是示出根据应用了本发明的实施例的编码设备的配置的框图。

编码设备100可以是编码器、视频编码设备或图像编码设备。视频可包括至少一个图像。编码设备100可顺序地对至少一个图像进行编码。

参照图1,编码设备100可包括运动预测单元111、运动补偿单元112、帧内预测单元120、切换器115、减法器125、变换单元130、量化单元140、熵编码单元150、反量化单元160、逆变换单元170、加法器175、滤波器单元180和参考画面缓冲器190。

编码设备100可通过使用帧内模式或帧间模式或者帧内模式和帧间模式两者来对输入图像执行编码。此外,编码设备100可通过对输入图像进行编码来生成包括编码信息的比特流,并输出生成的比特流。生成的比特流可被存储在计算机可读记录介质中,或者可通过有线/无线传输介质被流传输。当帧内模式被用作预测模式时,切换器115可切换到帧内。可选地,当帧间模式被用作预测模式时,切换器115可切换到帧间模式。这里,帧内模式可指帧内预测模式,帧间模式可指帧间预测模式。编码设备100可生成针对输入图像的输入块的预测块。此外,编码设备100可在生成了预测块之后使用输入块和预测块的残差对残差块进行编码。输入图像可被称为作为当前编码目标的当前图像。输入块可被称为作为当前编码目标的当前块,或者被称为编码目标块。

当预测模式是帧内模式时,帧内预测单元120可使用已被编码/解码并与当前块相邻的块的样点作为参考样点。帧内预测单元120可通过使用参考样点来对当前块执行空间预测,或者通过执行空间预测来生成输入块的预测样点。这里,帧内预测可指帧内部预测。

当预测模式是帧间模式时,运动预测单元111可在执行运动预测时从参考图像检索与输入块最匹配的区域,并且通过使用检索到的区域来推导出运动矢量。在这种情况下,搜索区域可被用作所述区域。参考图像可被存储在参考画面缓冲器190中。这里,当执行了针对参考图像的编码/解码时,参考图像可被存储在参考画面缓冲器190中。

运动补偿单元112可通过使用运动矢量对当前块执行运动补偿来生成预测块。这里,帧间预测可指帧间的预测或运动补偿。

当运动矢量的值不是整数时,运动预测单元111和运动补偿单元112可通过将插值滤波器应用于参考画面的部分区域来生成预测块。为了对编码单元执行帧间预测或运动补偿,可确定跳过模式、合并模式、高级运动矢量预测(AMVP)模式和当前画面参考模式中的哪个模式可被用于对包括在相应编码单元中的预测单元的运动预测和运动补偿。然后,可依据确定的模式不同地执行帧间预测或运动补偿。

减法器125可通过使用输入块和预测块的残差来生成残差块。残差块可被称为残差信号。残差信号可指原始信号与预测信号之间的差。此外,残差信号可以是通过对原始信号与预测信号之间的差进行变换或量化或者进行变换和量化而生成的信号。残差块可以是块单元的残差信号。

变换单元130可通过对残差块执行变换来生成变换系数,并输出生成的变换系数。这里,变换系数可以是通过对残差块执行变换而生成的系数值。当变换跳过模式被应用时,变换单元130可跳过对残差块的变换。

可通过将量化应用于变换系数或残差信号来生成量化的等级。在下文中,量化的等级在实施例中也可被称为变换系数。

量化单元140可通过根据参数对变换系数或残差信号进行量化来生成量化的等级,并输出生成的量化的等级。这里,量化单元140可通过使用量化矩阵对变换系数进行量化。

熵编码单元150可通过根据概率分布对由量化单元140计算的值或者对在执行编码时计算的编码参数值执行熵编码来生成比特流,并输出生成的比特流。熵编码单元150可对图像的样点信息和用于对图像进行解码的信息执行熵编码。例如,用于对图像进行解码的信息可包括语法元素。

当熵编码被应用时,符号被表示使得较小数量的比特被分配给具有高生成可能性的符号,并且较大数量的比特被分配给具有低生成可能性的符号,因此,可减小用于将被编码的符号的比特流的大小。熵编码单元150可使用诸如指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的用于熵编码的编码方法。例如,熵编码单元150可通过使用可变长度编码/码(VLC)表来执行熵编码。此外,熵编码单元150可推导目标符号的二值化方法和目标符号/二进制位的概率模型,并且通过使用推导出的二值化方法和上下文模型执行算术编码。

为了对变换系数等级(量化的等级)进行编码,熵编码单元150可通过使用变换系数扫描方法将二维块形式的系数改变为一维矢量形式。

编码参数可包括在编码器中被编码并且被用信号传送到解码器的诸如语法元素的信息(标志、索引等)以及在执行编码或解码时推导出的信息。编码参数可指在对图像进行编码或解码时所需要的信息。例如,以下项中的至少一个值或组合形式可被包括在编码参数中:单元/块尺寸、单元/块深度、单元/块分区信息、单元/块形状、单元/块分区结构、是否进行四叉树形式的分区、是否进行二叉树形式的分区、二叉树形式的分区方向(水平方向或垂直方向)、二叉树形式的分区形式(对称分区或非对称分区)、是否进行三叉树形式的分区、三叉树形式的分区方向(水平方向或垂直方向)、三叉树形式的分区形式(对称分区或非对称分区)、是否进行多类型树形式的分区、多类型树形式的分区方向(水平方向或垂直方向)、多类型树形式的分区形式(对称分区或非对称分区)、多类型树形式的分区树、预测模式(帧内预测或帧间预测)、亮度帧内预测模式/方向、色度帧内预测模式/方向、帧内分区信息、帧间分区信息、编码块分区标志、预测块分区标志、变换块分区标志、参考样点滤波方法、参考样点滤波器抽头、参考样点滤波器系数、预测块滤波方法、预测块滤波器抽头、预测块滤波器系数、预测块边界滤波方法、预测块边界滤波器抽头、预测块边界滤波器系数、帧内预测模式、帧间预测模式、运动信息、运动矢量、运动矢量差、参考画面索引、帧间预测角度、帧间预测指示符、预测列表利用标志、参考画面列表、参考画面、运动矢量预测因子索引、运动矢量预测因子候选、运动矢量候选列表、是否使用合并模式、合并索引、合并候选、合并候选列表、是否使用跳过模式、插值滤波器类型、插值滤波器抽头、插值滤波器系数、运动矢量大小、运动矢量的表示精度、变换类型、变换尺寸、首次(第一次)变换是否被使用的信息、二次变换是否被使用的信息、首次变换索引、二次变换索引、是否存在残差信号的信息、编码块样式、编码块标志(CBF)、量化参数、量化参数残差、量化矩阵、是否应用帧内环路滤波器、帧内环路滤波器系数、帧内环路滤波器抽头、帧内环路滤波器形状/形式、是否应用去块滤波器、去块滤波器系数、去块滤波器抽头、去块滤波强度、去块滤波器形状/形式、是否应用自适应样点偏移、自适应样点偏移值、自适应样点偏移类别、自适应样点偏移类型、是否应用自适应环路滤波器、自适应环路滤波器系数、自适应环路滤波器抽头、自适应环路滤波器形状/形式、二值化/反二值化方法、上下文模型确定方法、上下文模型更新方法、是否执行常规模式、是否执行旁路模式、上下文二进制位、旁路二进制位、有效系数标志、最后有效系数标志、针对系数组的单元的编码标志、最后有效系数的位置、针对系数的值是否大于1的标志、针对系数的值是否大于2的标志、针对系数的值是否大于3的标志、关于其余系数值的信息、符号信息、重建的亮度样点、重建的色度样点、残差亮度样点、残差色度样点、亮度变换系数、色度变换系数、量化的亮度等级、量化的色度等级、变换系数等级扫描方法、在解码器侧的运动矢量搜索区域的尺寸、在解码器侧的运动矢量搜索区域的形状、在解码器侧的运动矢量搜索的次数、关于CTU尺寸的信息、关于最小块尺寸的信息、关于最大块尺寸的信息、关于最大块深度的信息、关于最小块深度的信息、图像显示/输出顺序、条带标识信息、条带类型、条带分区信息、并行块标识信息、并行块类型、并行块分区信息、画面类型、输入样点的比特深度、重建样点的比特深度、残差样点的比特深度、变换系数的比特深度、量化的等级的比特深度、以及关于亮度信号的信息或关于色度信号的信息。

这里,用信号传送标志或索引可指由编码器对相应的标志或索引进行熵编码并将其包括在比特流中,并且可指由解码器从比特流对相应的标志或索引进行熵解码。

当编码设备100通过帧间预测执行编码时,编码的当前图像可被用作用于随后被处理的另一图像的参考图像。因此,编码设备100可对编码的当前图像进行重建或解码,或者将重建或解码的图像作为参考图像存储在参考画面缓冲器190中。

量化的等级可在反量化单元160中被反量化,或者可在逆变换单元170中被逆变换。可由加法器175将经过反量化或逆变换的系数或者经过反量化和逆变换两者的系数与预测块相加。通过将经过反量化或逆变换的系数或者经过反量化和逆变换两者的系数与预测块相加,可生成重建块。这里,经过反量化或逆变换的系数或经过反量化和逆变换两者的系数可指执行了反量化和逆变换中的至少一个的系数,并且可指重建的残差块。

重建块可通过滤波器单元180。滤波器单元180可将去块滤波器、样点自适应偏移(SAO)和自适应环路滤波器(ALF)中的至少一个应用于重建样点、重建块或重建图像。滤波器单元180可被称为环内滤波器。

去块滤波器可去除在块之间的边界中生成的块失真。为了确定是否应用去块滤波器,可基于在块中包括的若干行或列中包括的样点确定是否将去块滤波器应用于当前块。当去块滤波器被应用于块时,可根据所需的去块滤波强度应用另一滤波器。

为了补偿编码误差,可通过使用样点自适应偏移将合适的偏移值与样点值相加。样点自适应偏移可以以样点为单位对经过去块的图像与原始图像的偏移进行校正。可使用将图像的样点分区为预定数量的区域、确定偏移被应用的区域并对确定的区域应用偏移的方法,或者可使用考虑关于每个样点的边缘信息来应用偏移的方法。

自适应环路滤波器可基于经过滤波的重建图像和原始图像的比较结果来执行滤波。可将包括在图像中的样点分区为预定组,可确定将被应用于每个组的滤波器,并且可针对每个组执行差异化滤波。是否应用ALF的信息可通过编码单元(CU)被用信号传送,并且将被应用于每个块的ALF的形式和系数可变化。

已经通过滤波器单元180的重建块或重建图像可被存储在参考画面缓冲器190中。由滤波器单元180处理的重建块可以是参考图像的一部分。也就是说,参考图像是由滤波器单元180处理的重建块组成的重建图像。稍后可在帧间预测或运动补偿时使用存储的参考图像。

图2是示出根据实施例并且应用了本发明的解码设备的配置的框图。

解码设备200可以是解码器、视频解码设备或图像解码设备。

参照图2,解码设备200可包括熵解码单元210、反量化单元220、逆变换单元230、帧内预测单元240、运动补偿单元250、加法器255、滤波器单元260和参考画面缓冲器270。

解码设备200可接收从编码设备100输出的比特流。解码设备200可接收存储在计算机可读记录介质中的比特流,或者可接收通过有线/无线传输介质被流传输的比特流。解码设备200可通过使用帧内模式或帧间模式对比特流进行解码。此外,解码设备200可生成通过解码生成的重建图像或解码图像,并输出重建图像或解码图像。

当在解码时使用的预测模式是帧内模式时,切换器可被切换到帧内。可选地,当在解码时使用的预测模式是帧间模式时,切换器可被切换到帧间模式。

解码设备200可通过对输入比特流进行解码来获得重建残差块,并生成预测块。当重建残差块和预测块被获得时,解码设备200可通过将重建残差块与预测块相加来生成成为解码目标的重建块。解码目标块可被称为当前块。

熵解码单元210可通过根据概率分布对比特流进行熵解码来生成符号。生成的符号可包括量化的等级形式的符号。这里,熵解码方法可以是上述熵编码方法的逆过程。

为了对变换系数等级(量化的等级)进行解码,熵解码单元210可通过使用变换系数扫描方法将单向矢量形式的系数改变为二维块形式。

可在反量化单元220中对量化的等级进行反量化,或者可在逆变换单元230中对量化的等级进行逆变换。量化的等级可以是进行反量化或逆变换或者进行反量化和逆变换两者的结果,并且可被生成为重建的残差块。这里,反量化单元220可将量化矩阵应用于量化的等级。

当使用帧内模式时,帧内预测单元240可通过针对当前块执行空间预测来生成预测块,其中,空间预测使用与解码目标块相邻并且已经被解码的块的样点值。

当使用帧间模式时,运动补偿单元250可通过针对当前块执行运动补偿来生成预测块,其中,运动补偿使用运动矢量和存储在参考画面缓冲器270中的参考图像。

加法器255可通过将重建的残差块与预测块相加来生成重建块。滤波器单元260可将去块滤波器、样点自适应偏移和自适应环路滤波器中的至少一个应用于重建块或重建图像。滤波器单元260可输出重建图像。重建块或重建图像可被存储在参考画面缓冲器270中并且在执行帧间预测时被使用。由滤波器单元260处理的重建块可以是参考图像的一部分。也就是说,参考图像是由滤波器单元260处理的重建块组成的重建图像。稍后可在帧间预测或运动补偿时使用存储的参考图像。

图3是示意性地示出当对图像进行编码和解码时的图像的分区结构的示图。图3示意性地示出将单个单元分区为多个更低等级的单元的示例。

为了有效地对图像进行分区,当进行编码和解码时,可使用编码单元(CU)。编码单元可被用作当对图像进行编码/解码时的基本单元。此外,编码单元可被用作用于在对图像进行编码/解码时区分帧内预测模式与帧间预测模式的单元。编码单元可以是用于预测、变换、量化、逆变换、反量化或对变换系数的编码/解码处理的基本单元。

参照图3,图像300按照最大编码单元(LCU)被顺序地分区,并且LCU单元被确定为分区结构。这里,LCU可以以与编码树单元(CTU)相同的含义被使用。单元分区可指对与该单元相关联的块进行分区。在块分区信息中,可包括单元深度的信息。深度信息可表示单元被分区的次数或程度或者单元被分区的次数和程度两者。可基于树结构将单个单元分区为与深度信息分层地相关联的多个更低等级的单元。换句话说,单元和通过对该单元进行分区生成的更低等级的单元可分别与节点和该节点的子节点相应。分区出的更低等级的单元中的每一个可具有深度信息。深度信息可以是表示CU的尺寸的信息,并且可被存储在每个CU中。单元深度表示与对单元进行分区相关的次数和/或程度。因此,更低等级的单元的分区信息可包括关于更低等级的单元的尺寸的信息。

分区结构可指CTU 310内的编码单元(CU)的分布。可根据是否将单个CU分区为多个(等于或大于2的正整数,包括2、4、8、16等)CU来确定这样的分布。通过分区生成的CU的水平尺寸和垂直尺寸可分别是分区之前的CU的水平尺寸和垂直尺寸的一半,或者可分别具有根据分区的次数而小于分区之前的水平尺寸和垂直尺寸的尺寸。CU可被递归地分区为多个CU。通过递归分区,与分区之前的CU的高度和宽度之中的至少一个相比,分区之后的CU的高度和宽度之中的至少一个可减小。可递归地执行CU的分区,直到预定义的深度或预定义的尺寸为止。例如,CTU的深度可以是0,最小编码单元(SCU)的深度可以是预定义的最大深度。这里,如上所述,CTU可以是具有最大编码单元尺寸的编码单元,并且SCU可以是具有最小编码单元尺寸的编码单元。分区从CTU 310开始,随着CU的水平尺寸或垂直尺寸或者CU的水平尺寸和垂直尺寸两者通过进行分区而减小,CU深度增加1。例如,针对每个深度,未被分区的CU的尺寸可为2N×2N。此外,在被分区的CU的情况下,可将尺寸为2N×2N的CU分区为尺寸为N×N的四个CU。随着深度增加1,N的大小可减半。

此外,可通过使用CU的分区信息来表示CU是否被分区的信息。分区信息可以是1比特信息。除SCU之外的所有CU可包括分区信息。例如,当分区信息的值为1时,可不对CU进行分区,当分区信息的值为2时,可对CU进行分区。

参照图3,具有深度0的CTU可以是64×64块。0可以是最小深度。具有深度3的SCU可以是8×8块。3可以是最大深度。32×32块和16×16块的CU可分别被表示为深度1和深度2。

例如,当单个编码单元被分区为四个编码单元时,分区出的四个编码单元的水平尺寸和垂直尺寸可以是CU在被分区之前的水平尺寸和垂直尺寸的一半大小。在一个实施例中,当尺寸为32×32的编码单元被分区为四个编码单元时,分区出的四个编码单元中的每一个可具有16×16的尺寸。当单个编码单元被分区为四个编码单元时,可称编码单元可被分区(四叉树分区)为四叉树形式。

例如,当一个编码单元被分区为两个编码单元时,所述两个编码单元的水平尺寸或垂直尺寸可以是在被分区之前的编码单元的水平尺寸或垂直尺寸的一半。例如,当尺寸为32×32的编码单元被沿垂直方向分区时,分区出的两个编码单元中的每一个可具有16×32的尺寸。例如,当尺寸为8×32的编码单元被水平分区为两个子编码单元时,所述两个子编码单元中的每一个可具有8×16的尺寸。当单个编码单元被分区为两个编码单元时,可称编码单元以二叉树形式被分区(二叉树分区)。

例如,当一个编码单元被分区为三个子编码单元时,可利用1:2:1的比例对编码单元的水平尺寸或垂直尺寸进行分区,从而产生水平尺寸或垂直尺寸为1:2:1的比例的三个子编码单元。例如,当尺寸为16×32的编码单元被水平分区为三个子编码单元时,所述三个子编码单元以从最上方子编码单元到最下方子编码单元的顺序可分别具有16×8、16×16和16×8的尺寸。例如,当尺寸为32×32的编码单元被垂直划分为三个子编码单元时,所述三个子编码单元以从左侧子编码单元到右侧子编码单元的顺序可分别具有8×32、16×32和8×32的尺寸。当一个编码单元被分区为三个子编码单元时,可称编码单元被三叉树分区或者通过三叉树分区结构被分区。

在图3中,编码树单元(CTU)320是四叉树分区结构、二叉树分区结构和三叉树分区结构全都被应用的CTU的示例。

如上所述,为了对CTU进行分区,可应用四叉树分区结构、二叉树分区结构和三叉树分区结构中的至少一个。可根据预定的优先级顺序将各种树分区结构顺序地应用于CTU。例如,可将四叉树分区结构优先应用于CTU。不能再使用四叉树分区结构进行分区的编码单元可与四叉树的叶节点对应。与四叉树的叶节点对应的编码单元可用作二叉树和/或三叉树分区结构的根节点。也就是说,与四叉树的叶节点对应的编码单元可通过二叉树分区结构或三叉树分区结构被进一步分区,或者可不被进一步分区。因此,通过防止因与四叉树的叶节点对应的编码单元的二叉树分区或三叉树分区而生成的编码块经历进一步的四叉树分区,可有效地执行块分区和/或用信号传送分区信息。

可使用四分区信息用信号传送与四叉树的节点对应的编码单元被分区的事实。具有第一值(例如,“1”)的四分区信息可指示当前编码单元通过四叉树分区结构被分区。具有第二值(例如,“0”)的四分区信息可指示当前编码单元未通过四叉树分区结构被分区。四分区信息可以是具有预定长度(例如,一个比特)的标志。

在二叉树分区与三叉树分区之间可没有优先级。也就是说,与四叉树的叶节点对应的编码单元可进一步经历二叉树分区和三叉树分区中的任意分区。此外,通过二叉树分区或三叉树分区生成的编码单元可经历进一步的二叉树分区或进一步的三叉树分区,或者可不被进一步分区。

在二叉树分区和三叉树分区中不存在优先级的树结构被称为多类型树结构。与四叉树的叶节点对应的编码单元可用作多类型树的根节点。可使用多类型树分区指示信息、分区方向信息和分区树信息中的至少一条来用信号传送是否对与多类型树的节点对应的编码单元进行分区。为了对与多类型树的节点对应的编码单元进行分区,可顺序地用信号传送多类型树分区指示信息、分区方向信息和分区树信息。

具有第一值(例如,“1”)的多类型树分区指示信息可指示当前编码单元将经历多类型树分区。具有第二值(例如,“0”)的多类型树分区指示信息可指示当前编码单元将不经历多类型树分区。

当与多类型树的节点对应的编码单元通过多类型树分区结构被分区时,编码单元还可包括分区方向信息。分区方向信息可指示当前编码单元将针对多类型树分区沿哪个方向被分区。具有第一值(例如,“1”)的分区方向信息可指示当前编码单元将被垂直分区。具有第二值(例如,“0”)的分区方向信息可指示当前编码单元将被水平分区。

当与多类型树的节点对应的编码单元通过多类型树分区结构被分区时,当前编码单元还可包括分区树信息。分区树信息可指示将被用于对多类型树的节点进行分区的树分区结构。具有第一值(例如,“1”)的分区树信息可指示当前编码单元将通过二叉树分区结构被分区。具有第二值(例如,“0”)的分区树信息可指示当前编码单元将通过三叉树分区结构被分区。

分区指示信息、分区树信息和分区方向信息均可以是具有预定长度(例如,一个比特)的标志。

四叉树分区指示信息、多类型树分区指示信息、分区方向信息和分区树信息中的至少任意一个可被熵编码/熵解码。为了对那些类型的信息进行熵编码/熵解码,可使用关于与当前编码单元相邻的邻近编码单元的信息。例如,当前编码单元的左侧邻近编码单元和/或上方邻近编码单元的分区类型(被分区或未被分区、分区树和/或分区方向)与当前编码单元的分区类型相似的可能性很高。因此,可从关于邻近编码单元的信息推导出用于对关于当前编码单元的信息进行熵编码/熵解码的上下文信息。关于邻近编码单元的信息可包括四分区信息、多类型树分区指示信息、分区方向信息和分区树信息中的至少任意一个。

作为另一示例,在二叉树分区和三叉树分区中,可优先执行二叉树分区。也就是说,当前编码单元可首先经历二叉树分区,并且随后可将与二叉树的叶节点对应的编码单元设置为用于三叉树分区的根节点。在这种情况下,对于与三叉树的节点对应的编码单元可既不执行四叉树分区也不执行二叉树分区。

不能通过四叉树分区结构、二叉树分区结构和/或三叉树分区结构被分区的编码单元成为用于编码、预测和/或变换的基本单元。也就是说,所述编码单元不能被进一步分区以用于预测和/或变换。因此,在比特流中可不存在用于将编码单元分区为预测单元和/或变换单元的分区结构信息和分区信息。

然而,当编码单元(即,用于分区的基本单元)的尺寸大于最大变换块的尺寸时,可递归地对编码单元进行分区,直到将编码单元的尺寸减小到等于或小于最大变换块的尺寸为止。例如,当编码单元的尺寸为64×64时并且当最大变换块的尺寸为32×32时,可将编码单元分区为用于变换的四个32×32的块。例如,当编码单元的尺寸为32×64并且最大变换块的尺寸为32×32时,可将编码单元分区为用于变换的两个32×32的块。在这种情况下,不单独用信号传送编码单元的用于变换的分区,并且可通过编码单元的水平尺寸或垂直尺寸与最大变换块的水平尺寸或垂直尺寸之间的比较来确定编码单元的用于变换的分区。例如,当编码单元的水平尺寸(宽度)大于最大变换块的水平尺寸(宽度)时,可将编码单元垂直地二等分。例如,当编码单元的垂直尺寸(长度)大于最大变换块的垂直尺寸(长度)时,可将编码单元水平地二等分。

可在编码单元的更高等级用信号传送或确定编码单元的最大尺寸和/或最小尺寸的信息以及变换块的最大尺寸和/或最小尺寸的信息。所述更高等级可以是例如序列级、画面级、或条带级等。例如,可将编码单元的最小尺寸确定为4×4。例如,可将变换块的最大尺寸确定为64×64。例如,可将变换块的最小尺寸确定为4×4。

可在编码单元的更高等级用信号传送或确定与四叉树的叶节点对应的编码单元的最小尺寸(四叉树最小尺寸)的信息和/或多类型树的从根节点到叶节点的最大深度(多类型树的最大树深度)的信息。例如,所述更高等级可以是序列级、画面级、条带级等。可针对帧内条带和帧间条带中的每一个用信号传送或确定四叉树的最小尺寸的信息和/或多类型树的最大深度的信息。

可在编码单元的更高等级用信号传送或确定CTU的尺寸与变换块的最大尺寸之间的差信息。例如,所述更高等级可以是序列级、画面级、条带级等。可基于编码树单元的尺寸和所述差信息来确定与二叉树的各个节点对应的编码单元的最大尺寸(在下文中,称为二叉树的最大尺寸)的信息。与三叉树的各个节点对应的编码单元的最大尺寸(在下文中,称为三叉树的最大尺寸)可依据条带的类型而变化。例如,针对帧内条带,三叉树的最大尺寸可以是32×32。例如,针对帧间条带,三叉树的最大尺寸可以是128×128。例如,可将与二叉树的各个节点对应的编码单元的最小尺寸(在下文中,称为二叉树的最小尺寸)和/或与三叉树的各个节点对应的编码单元的最小尺寸(在下文中,称为三叉树的最小尺寸)设置为编码块的最小尺寸。

作为另一示例,可在条带级用信号传送或确定二叉树的最大尺寸和/或三叉树的最大尺寸。可选地,可在条带级用信号传送或确定二叉树的最小尺寸和/或三叉树的最小尺寸。

依据上述各种块的尺寸信息和深度信息,四分区信息、多类型树分区指示信息、分区树信息和/或分区方向信息可被包括在比特流中或可不被包括在比特流中。

例如,当编码单元的尺寸不大于四叉树的最小尺寸时,编码单元不包含四分区信息。因此,可从第二值推导出四分区信息。

例如,当与多类型树的节点对应的编码单元的尺寸(水平尺寸和垂直尺寸)大于二叉树的最大尺寸(水平尺寸和垂直尺寸)和/或三叉树的最大尺寸(水平尺寸和垂直尺寸)时,编码单元可不被二叉树分区或三叉树分区。因此,可不用信号传送多类型树分区指示信息,而是可从第二值推导出多类型树分区指示信息。

可选地,当与多类型树的节点对应的编码单元的尺寸(水平尺寸和垂直尺寸)与二叉树的最大尺寸(水平尺寸和垂直尺寸)相同并且/或者是三叉树的最大尺寸(水平尺寸和垂直尺寸)的两倍大时,编码单元可不被进一步二叉树分区或三叉树分区。因此,可不用信号传送多类型树分区指示信息,而是可从第二值推导出多类型树分区指示信息。这是因为,当通过二叉树分区结构和/或三叉树分区结构对编码单元进行分区时,生成了小于二叉树的最小尺寸和/或三叉树的最小尺寸的编码单元。

可选地,当与多类型树的节点对应的编码单元的深度等于多类型树的最大深度时,可不对编码单元进行进一步二叉树分区和/或三叉树分区。因此,可不用信号传送多类型树分区指示信息,而是可从第二值推导出多类型树分区指示信息。

可选地,只有当垂直方向二叉树分区、水平方向二叉树分区、垂直方向三叉树分区和水平方向三叉树分区中的至少一个能够用于与多类型树的节点对应的编码单元时,才会用信号传送多类型树分区指示信息。否则,可不对编码单元进行二叉树分区和/或三叉树分区。因此,可不用信号传送多类型树分区指示信息,而是可从第二值推导出多类型树分区指示信息。

可选地,只有当垂直方向二叉树分区和水平方向二叉树分区两者或者垂直方向三叉树分区和水平方向三叉树分区两者能够用于与多类型树的节点对应的编码单元时,才会用信号传送分区方向信息。否则,可不用信号传送分区方向信息,而是可从指示可能的分区方向的值推导出分区方向信息。

可选地,只有当垂直方向二叉树分区和垂直方向三叉树分区两者或者水平方向二叉树分区和水平方向三叉树分区两者能够用于与多类型树的节点对应的编码树时,才可用信号传送分区树信息。否则,可不用信号传送分区树信息,而是可从指示可能的分区树结构的值推导出分区树信息。

图4是示出帧内的预测处理的示图。

图4中的从中心到外部的箭头可表示帧内预测模式的预测方向。

可通过使用当前块的邻近块的参考样点来执行帧内编码和/或解码。邻近块可以是重建的邻近块。例如,可通过使用包括在重建的邻近块中的参考样点的编码参数或值来执行帧内编码和/或解码。

预测块可指通过执行帧内预测生成的块。预测块可与CU、PU和TU中的至少一个对应。预测块的单元可具有CU、PU和TU中的一个的尺寸。预测块可以是尺寸为2×2、4×4、16×16、32×32或64×64等的正方形块,或者可以是尺寸为2×8、4×8、2×16、4×16和8×16等的长方形块。

可根据针对当前块的帧内预测模式来执行帧内预测。当前块可具有的帧内预测模式的数量可以是固定值,并且可以是根据预测块的属性不同地确定的值。例如,预测块的属性可包括预测块的尺寸和预测块的形状等。

不管块尺寸为多少,可将帧内预测模式的数量固定为N。或者,帧内预测模式的数量可以是3、5、9、17、34、35、36、65或67等。可选地,帧内预测模式的数量可根据块尺寸或颜色分量类型或者块尺寸和颜色分量类型两者而变化。例如,帧内预测模式的数量可根据颜色分量是亮度信号还是色度信号而变化。例如,随着块尺寸变大,帧内预测模式的数量可增加。可选地,亮度分量块的帧内预测模式的数量可大于色度分量块的帧内预测模式的数量。

帧内预测模式可以是非角度模式或角度模式。非角度模式可以是DC模式或平面模式,并且角度模式可以是具有特定方向或角度的预测模式。帧内预测模式可由模式编号、模式值、模式数字、模式角度和模式方向中的至少一个来表示。帧内预测模式的数量可以是大于1的M,包括非角度和角度模式。

为了对当前块进行帧内预测,可执行确定是否可将包括在重建的邻近块中的样点用作当前块的参考样点的步骤。当存在不能用作当前块的参考样点的样点时,通过对包括在重建的邻近块中的样点中的至少一个样点值进行复制或执行插值或者执行复制和插值两者而获得的值可被用于替换样点的不可用样点值,因此经过替换的样点值被用作当前块的参考样点。

当进行帧内预测时,可基于帧内预测模式和当前块尺寸将滤波器应用于参考样点和预测样点中的至少一个。

在平面模式的情况下,当生成当前块的预测块时,根据预测目标样点在预测块内的位置,可通过使用当前样点的上方参考样点与左侧参考样点以及当前块的右上侧参考样点与左下侧参考样点的加权和来生成预测目标样点的样点值。此外,在DC模式的情况下,当生成当前块的预测块时,可使用当前块的上侧参考样点与左侧参考样点的平均值。此外,在角度模式的情况下,可通过使用当前块的上侧参考样点、左侧参考样点、右上侧参考样点和/或左下侧参考样点来生成预测块。为了生成预测样点值,可对实数单元执行插值。

可通过预测与当前块相邻存在的块的帧内预测模式来对当前块的帧内预测模式进行熵编码/熵解码。在当前块与邻近块的帧内预测模式相同时,可通过使用预定标志信息来用信号传送当前块与邻近块的帧内预测模式为相同的信息。此外,可用信号传送多个邻近块的帧内预测模式中的与当前块的帧内预测模式相同的帧内预测模式的指示符信息。在当前块与邻近块的帧内预测模式不同时,可通过基于邻近块的帧内预测模式执行熵编码/熵解码来对当前块的帧内预测模式信息进行熵编码/熵解码。

图5是示出根据本发明的实施例的对当前块执行帧内预测的方法的示图。

如图5中所示出的,帧内预测可包括帧内预测模式推导步骤S510、参考样点配置步骤S520和/或帧内预测执行步骤S530。

在帧内预测模式推导步骤S510,可使用以下方法中的至少一种来推导当前块的帧内预测模式:使用邻近块的帧内预测模式的方法、对当前块的帧内预测模式进行解码(例如,熵解码)的方法和/或使用颜色分量的帧内预测模式的方法。

在使用邻近块的帧内预测模式的方法中,可通过使用邻近块的帧内预测模式、邻近块的一个或更多个帧内预测模式的组合和/或通过使用MPM列表推导出的帧内预测模式中的至少一个来推导当前块的帧内预测模式。

在参考样点配置步骤S520,可执行参考样点选择步骤和/或参考样点滤波步骤使得参考样点可被配置。

在帧内预测执行步骤S530,可将非方向性预测、方向性预测、基于位置信息的预测、颜色分量之间的预测和/或基于块形状的预测中的至少一种方法用于执行当前块的帧内预测。在帧内预测执行步骤S530,可执行对预测样点的滤波。

在下文中,将详细描述帧内预测模式推导步骤S510。

当前块的邻近块可以是当前块的左下邻近块、左侧邻近块、左上邻近块、上方邻近块和右上邻近块中的至少一个。在邻近块中,仅可使用帧内预测模式的邻近块可被使用。

在当前块的邻近块之中,特定位置处的邻近块的帧内预测模式可被推导为当前块的帧内预测模式。

可选地,选择两个或更多个邻近块,并且可将选择的邻近块的帧内预测模式的统计值推导为当前块的帧内预测模式。可由模式编号、模式值和模式角度中的至少一个来指示帧内预测模式。在描述中,统计值可以是最小值、最大值、平均值、加权平均值、最常见值、插值和中值中的至少一个。

在特定位置处的邻近块和/或选择的邻近块可以是在预定义的固定位置处的一个块(多个块)。可选地,可基于通过比特流用信号传送的信息来指定所述一个块(多个块)。

当使用至少两种帧内预测模式时,可考虑帧内预测模式具有方向性还是非方向性。例如,在两个或更多个帧内预测模式中,可使用方向帧内预测模式来推导出当前块的帧内预测模式。可选地,可使用非方向帧内预测模式来推导出当前块的帧内预测模式。

当加权平均值被用作统计值时,可将相对高的权重分配给特定帧内预测模式。特定帧内预测模式可以是例如垂直模式、水平模式、对角模式、非方向性模式中的至少一种。可选地,可通过比特流用信号传送关于特定帧内预测模式的信息。特定帧内预测模式的各个权重可彼此相同或不同。可选地,可基于邻近块的尺寸来确定权重。例如,可将相对高的权重分配给相对大的邻近块的帧内预测模式。

可使用MPM(最可能模式)来推导当前块的帧内预测模式。

当使用MPM时,可利用使用邻近块的帧内预测模式推导出的N个帧内预测模式来配置MPM列表。N是正整数,并且可具有依据当前块的尺寸和/或形状而不同的值。可选地,可通过比特流用信号传送关于N的信息。

可被包括在MPM列表中的帧内预测模式可以是当前块的左下邻近块、左侧邻近块、左上邻近块、上方邻近块和/或右上邻近块的帧内预测模式。另外,非方向性模式可被包括在MPM列表中。帧内预测模式可按照预定顺序被包括在MPM列表中预定顺序可以是左侧块的模式、上方块的模式、平面(Planar)模式、DC模式、左下块的模式、右上块的模式和左上块的模式的顺序。

MPM列表可被配置为不包括重复的模式。当MPM列表中包括的帧内预测模式的数量小于N时,在MPM列表中可包括另外的帧内预测模式。另外的帧内预测模式可以是与包括在MPM列表中的方向帧内预测模式的+k、-k对应的模式。可由k指定等于或大于一的整数。可选地,在MPM列表中可包括水平模式、垂直模式和对角模式(45度角度模式、135度角度模式和225度角度模式)中的至少一个。可选地,可将邻近块的至少一个帧内预测模式的统计值用于推导将被包括在MPM列表中的帧内预测模式。

可存在若干个MPM列表,并且可以以不同的方法配置所述若干个MPM列表。包括在每个MPM列表中的帧内预测模式可以不重复。

可通过比特流用信号传送指示在MPM列表中是否包括当前块的帧内预测模式的信息(例如,标志信息)。当存在N个MPM列表时,可存在N条标志信息。可按照N个MPM列表的顺序执行确定在MPM列表中是否存在当前块的帧内预测模式。可选地,可用信号传送指示N个MPM列表中的包括当前块的帧内预测模式的MPM列表的信息。

在当前块的帧内预测模式被包括在MPM列表中时,可通过比特流用信号传送用于指定在MPM列表中包括的模式中的哪个模式的索引信息。可选地,可将MPM列表的特定(例如,第一)位置处的模式推导为当前块的帧内预测模式。

在配置MPM列表时,可为预定尺寸的块配置一个MPM列表。当预定尺寸的块被划分成若干个子块时,所述若干个子块中的每个子块可使用该配置的MPM列表。

可选地,可利用使用MPM推导出的当前块的帧内预测模式和邻近块的帧内预测模式中的至少一个来推导当前块的帧内预测模式。

例如,当使用MPM推导出的当前块的帧内预测模式是Pred_mpm时,通过使用邻近块的至少一个帧内预测模式将Pred_mpm改变为预定模式,使得可推导出当前块的帧内预测模式。例如,Pred_mpm可通过与邻近块的帧内预测模式的尺寸进行比较而被增大或减小N。在此,N可以是预定的整数,诸如,+1、+2、+3、0、-1、-2、-3等。

可选地,当Pred_mpm和邻近块的模式中的一个是非方向性模式,而另一个是方向性模式时,可将非方向性模式推导为当前块的帧内预测模式,或者可将方向性模式推导为当前块的帧内预测模式。

如果使用N个MPM列表推出当前块的帧内预测模式或者对当前块的帧内预测模式进行熵编码/解码,则针对N个MPM列表中的每一个,可对指示当前块的帧内预测模式是否被包括在N个MPM列表中的每一个的帧内预测模式中的指示符(MPM标志)进行熵编码/解码。

在N个MPM列表中的特定的一个MPM列表中包括的帧内预测模式之中存在与当前块的帧内预测模式相同的帧内预测模式的情况下,可对指示帧内预测模式在特定MPM列表中的位置或编号的索引信息(MPM索引)进行熵编码。另外,可通过对索引信息进行熵解码来识别包括在特定MPM列表中的帧内预测模式之中的与当前块的帧内预测模式相同的帧内预测模式。索引信息可以被熵编码为固定长度码或可变长度码。另外,可使用索引信息推导出当前块的帧内预测模式。

在包括在N个MPM列表中的帧内预测模式之中不存在与当前块的帧内预测模式相同的帧内预测模式的情况下,当前块的其余的帧内预测模式可在编码器中被熵编码。所述其余的帧内预测模式可被用于识别MPM列表中的至少一个MPM列表中未包含的当前块的帧内预测模式。或者,所述其余的帧内预测模式可被用于识别未包括在MPM列表中的当前块的帧内预测模式。

根据本发明,可通过编码/解码来推导出当前块的帧内预测模式。这里,可在不使用邻近块的帧内预测模式的情况下对当前块的帧内预测模式进行熵编码/解码。

可使用另一颜色分量的帧内预测模式来推出当前块的帧内预测模式。例如,在当前块为色度块时,与所述色度目标块对应的至少一个相关亮度块的帧内预测模式可被用于推出所述色度块的帧内预测模式。这里,可基于所述色度块的位置、尺寸、形状或编码参数中的至少一个来确定相关亮度块。或者,可基于亮度块的尺寸、形状或编码参数中的至少一个来确定相关亮度块。

可使用包括与色度块的中心位置对应的样点的亮度块或使用分别包括与色度块的至少两个位置对应的样点的至少两个亮度块来确定相关亮度块。所述至少两个位置可包括左上样点位置和中心样点位置。

当存在若干个相关亮度块时,可选择与色度块的预定位置对应的相关亮度块。可基于色度块的尺寸、形状和深度中的至少一个来确定所述预定位置。可选地,可使用多个相关亮度块的帧内预测模式的统计值。

当存在若干个相关亮度块时,可将至少两个相关亮度块的帧内预测模式的统计值推导为色度块的帧内预测模式。可选地,相对大的相关亮度块的帧内预测模式可被推导为色度块的帧内预测模式。可选地,当与色度块的预定位置对应的亮度块的尺寸等于或大于色度块的尺寸时,可使用相关亮度块的帧内预测模式来推导色度块的帧内预测模式。

在当前块被分区成子块时,可使用推导当前块的帧内预测模式的至少一种方法来推导分区出的子块中的每一个的帧内预测模式。

可通过使用针对子块中的每一个推导出的帧内预测模式以子块为单位来执行帧内预测,其中,所述帧内预测模式是针对子块中的每一个使用当前块的帧内预测模式和与当前块相邻的重建块之中的使用帧内预测被编码/解码的块的帧内预测模式中的至少一个被推导出的。这里,通过子块单元被先前编码/解码的子块可被用作后续子块单元的帧内预测的参考样点。

编码器可通过针对在按照子块单元执行帧内预测之后生成的残差块执行首次变换、二次变换和量化中的至少一个来生成变换系数。可对生成的变换系数进行熵编码。此时,可不执行首次变换、二次变换和量化。可针对整个当前块执行首次变换、二次变换和量化中的至少一个。可选地,可针对子块中的每一个执行首次变换、二次变换和量化中的至少一个。

解码器可对变换系数进行熵解码。可通过针对熵解码的变换系数执行反量化、首次逆变换和二次逆变换中的至少一个来生成重建的残差块。此时,可不执行反量化、首次逆变换和二次逆变换。可针对整个当前块执行反量化、首次逆变换和二次逆变换中的至少一个。可选地,可针对子块中的每一个执行反量化、首次逆变换和二次逆变换中的至少一个。

当在推导出的MPM列表中不存在与当前块的帧内预测模式相同的帧内预测模式时,可通过使用以下描述的方法对当前块的帧内预测模式进行编码/解码。

为了对当前块的帧内预测模式进行编码/解码,可按照降序和升序中的至少一个对未包括在包括K个候选模式的MPM列表中的帧内预测模式进行排序。当可由当前块使用的帧内预测模式的总数为N时,经过排序的帧内预测模式的数量可为N-K个。这里,N可以是正整数,并且K可以是等于或小于N的正整数。

帧内预测信息可被熵编码/解码。可在视频参数集(VPS)、序列参数集(SPS)、画面参数集(PPS)、适配参数集(APS)、条带头、并行块头、CTU的单元、块的单元、CU的单元、PU的单元和TU的单元中的至少一个中用信号传送帧内预测信息。例如,帧内预测信息可包括以下多条信息中的至少一条:

标志:指示MPM是否相匹配的标志,例如)prev_intra_luma_pred_flag

索引:指示MPM列表中的位置,例如)mpm_idx

帧内亮度预测模式信息:例如)rem_intra_luma_pred_mode

帧内色度预测模式信息:例如)intra_chroma_pred_mode

指示符(MPM标志):当使用N个MPM列表对当前块的帧内预测模式进行推导或熵编码/解码时,针对所述N个MPM列表中的每一个,指示符(MPM标志)指示在MPM列表的帧内预测模式之中是否包括与当前块的帧内预测模式相同的帧内预测模式,例如)MPM_flag_1、MPM_flag_2、……、MPM_flag_N

索引信息:当在N个MPM列表中的特定的一个MPM列表的帧内预测模式之中包括与当前块的帧内预测模式相同的帧内预测模式时,指示帧内预测模式在MPM列表中的位置或序列,例如)MPM_IDX_1、MPM_IDX_2、……、MPM_IDX_N。

当MPM(最可能模式)标志为1时,可通过使用MPM索引mpm_idx从包括已经被编码/解码的邻近单元的帧内预测模式的候选模式推导出亮度分量的帧内预测模式。

当MPM(最可能模式)标志为0时,可通过使用关于亮度分量的帧内预测模式信息rem_intra_luma_pred_mode来对亮度分量的帧内预测模式进行编码/解码。

可通过使用关于色度分量intra_chroma_pred_mode的帧内预测模式信息和/或色度分量块的相应帧内预测模式来对色度分量的帧内预测模式进行编码/解码。

可基于编码参数中的至少一个对帧内预测信息进行熵编码/解码。

基于块的尺寸和形状中的至少一个,可不用信号传送上述多条帧内预测信息中的至少一条。

例如,如果当前块的尺寸是预定尺寸,则可不用信号传送关于当前块的至少一条帧内预测信息,并且可使用关于与先前编码/解码的更高等级块的尺寸相应的帧内预测的至少一条信息。例如,如果当前块被成形为矩形,则可不用信号传送关于当前块的至少一条帧内预测信息,并且可使用关于与先前编码/解码的更高等级块的尺寸相应的帧内预测的至少一条信息。

当对所述多条帧内预测信息中的至少一条进行熵编码/解码时,可使用以下二值化方法中的至少一种方法。

–截断莱斯(Truncated Rice)二值化方法

–K阶指数哥伦布二值化方法

–有限K阶指数哥伦布二值化方法

–固定长度二值化方法

–截断一元二值化方法

–截断二值化方法

现在,将给出参考样点构建步骤S520的详细描述。

在基于推导出的帧内预测模式对当前块或具有比当前块小的尺寸和/或形状的子块的帧内预测中,可构建用于预测的参考样点。在当前块的上下文中给出以下描述,并且当前块可指子块。可使用邻近于当前块的一个或更多个重建的样点或样点组合来构建参考样点。另外,可在构建参考样点时应用滤波。这里,可按照原样使用多条重建样点线上的每个重建样点来构建参考样点。或者,可在对同一重建样点线上的样点之间进行滤波之后构建参考样点。或者,可在不同重建样点线上的样点之间进行滤波之后构建参考样点。构建的参考样点可由ref[m,n]表示,并且重建邻近样点或通过对重建邻近样点进行滤波获得的样点可由rec[m,n]表示。这里,m或n可以是预定的整数值。在当前块的尺寸为W(水平)×H(垂直)的情况下,如果当前块的左上样点位置为(0,0),则最靠近该样点位置的左上参考样点的相对位置可被设置为(-1,-1)。

图6是描述可用于当前块的帧内预测的邻近重建样点线的示例性示图。

如图6中所示出的,可使用与当前块相邻的一条或更多条重建样点线来构建参考样点。

例如,可选择图6中所示的多条重建样点线中的一条重建样点线,并且可使用选择的重建样点线来构建参考样点。可固定地将多条重建样点线中的预定的一条重建样点线选择为所选择的重建样点线。或者,可自适应地将多条重建样点线中的特定的一条重建样点线选择为所选择的重建样点线。在这种情况下,可用信号传送关于所选择的重建样点线的指示符。

例如,可组合地使用图6中所示出的多条重建样点线中的一条或更多条重建样点线来构建参考样点。例如,参考样点可被构建为一个或更多个重建样点的加权和(或加权平均值)。用于加权和的权重可基于距当前块的距离被分配。这里,针对距当前块的较短的距离可分配较大的权重。例如,可使用以下[等式1]。

[等式1]

ref[-1,-1]=(rec[-2,-1]+2*rec[-1,-1]+rec[-1,-2]+2)>>2

ref[x,-1]=(rec[x,-2]+3*rec[x,-1]+2)>>2,(x=0~W+H-1)

ref[-1,y]=(rec[-2,y]+3*rec[-1,y]+2)>>2,(y=0~W+H-1)

或者,可基于距当前块的距离或帧内预测模式中的至少一个,使用多个重建样点的平均值、最大值、最小值、中值和最常见值中的至少一个来构建参考样点。

或者,可基于多个连续重建样点的值的改变(变化)来构建参考样点。例如,可基于两个连续重建样点的值之间的差是否等于或大于阈值、两个连续重建样点的值是连续变化还是非连续变化等中的至少一个来构建参考样点。例如,如果rec[-1,-1]与rec[-2,-1]之间的差等于或大于阈值,则可将ref[-1,-1]确定为rec[-1,-1]或通过应用利用被分配给rec[-1,-1]的预定权重的加权平均值而获得的值。例如,如果当多个连续重建样点更接近当前块时,所述多个连续重建样点的值每次被改变n,则可将参考样点ref[-1,-1]确定为rec[-1,-1]-n。

可根据当前块的上边界或左边界是否与画面、条带、并行块和编码树块(CTB)中的至少一个的边界对应来不同地确定重建样点线的数量和位置中的至少一个以及用于构建参考样点的构建方法。

例如,在使用重建样点线1和重建样点线2构建参考样点时,在当前块的上边界对应于CTB边界时,重建样点线1可被用于上侧并且重建样点线1和重建样点线2可被用于左侧。

例如,在使用重建样点线1至重建样点线4构建参考样点时,在当前块的上边界对应于CTB边界时,重建样点线1和重建样点线2可被用于上侧,并且重建样点线1至重建样点线4可被用于左侧。

例如,在使用重建样点线2构建参考样点时,在当前块的上边界对应于CTB边界时,重建样点线1可被用于上侧,并且重建样点线2可被用于左侧。

可通过上述过程构建一条或更多条参考样点线。

当前块的上侧的参考样点构建方法可与左侧的参考样点构建方法不同。

可对指示使用上述方法中的至少一种方法构建了参考样点的信息进行编码/解码。例如,可对指示多条重建样点线是否被使用的信息进行编码/解码。

如果当前块被划分为多个子块,并且每个子块具有独立的帧内预测模式,则可针对每个子块来构建参考样点。

图7是描述针对包括在当前块中的子块构建参考样点的实施例的示图。

如图7中所示出的,如果当前块的尺寸为16×16并且16个4×4子块具有独立的帧内预测模式,则可根据用于预测子块的扫描方案按照以下方法中的至少一种方法来构建用于每个子块的参考样点。

例如,可使用相邻于当前块的N条重建样点线,针对每个子块来构建参考样点。在图7中所示出的示例中,N为1。

例如,在按照1→2→3→……15→16的光栅扫描顺序预测多个子块的情况下,可使用已经编码/解码的左侧子块、顶部子块、右上方子块和左下方子块中的至少一个的样点来构建用于第K个子块的参考样点。

例如,在按照1→2→5→6→3→4→7→……12→15→16的Z形扫描顺序预测多个子块的情况下,可使用已经编码/解码的左侧子块、顶部子块、右上方子块和左下方子块中的至少一个的样点来构建用于第K个子块的参考样点。

例如,在按照1→2→5→9→6→3→4→……12→15→16的之字形扫描顺序预测多个子块的情况下,可使用已经编码/解码的左侧子块、顶部子块、右上方子块和左下方子块中的至少一个的样点来构建用于第K个子块的参考样点。

例如,在按照1→5→9→13→2→6→……8→12→16的垂直扫描顺序预测多个子块的情况下,可使用已经编码/解码的左侧子块、顶部子块、右上方子块和左下方子块中的至少一个的样点来构建用于第K个子块的参考样点。

在按照除上述扫描顺序之外的扫描顺序预测多个子块的情况下,可使用已经编码/解码的左侧子块、顶部子块、右上方子块和左下方子块中的至少一个的样点来构建用于第K个子块的参考样点。

在选择参考样点时,可执行填充和/或关于包括参考样点的块的可用性的决定。例如,如果包括参考样点的块可用,则可使用该参考样点。另外,如果包括参考样点的块不可用,则可通过填充来利用一个或更多个可用邻近参考样点来替换不可用参考样点。

如果参考样点存在于画面边界、并行块边界、条带边界、CTB边界和预定边界中的至少一个之外,则可确定该参考样点不可用。

在通过约束帧内预测(CIP)对当前块进行编码的情况下,如果以帧间预测模式对包括参考样点的块进行编码/解码,则可确定该参考样点不可用。

图8是描述使用可用重建样点替换不可用重建样点的方法的示图。

如果确定邻近重建样点不可用,则可使用邻近可用重建样点来替换不可用样点。例如,如图8中所示出的,在存在可用样点和不可用样点时,可使用一个或更多个可用样点替换不可用样点。

可按照预定顺序利用可用样点的样点值替换不可用样点的样点值。与不可用样点相邻的可用样点可被用于替换不可用样点。在不存在邻近可用样点时,可使用第一个出现的可用样点或最接近的可用样点。不可用样点的替换顺序可以是最左下方到最右上方的顺序。或者不可用样点的替换顺序可以是最右上方到最左下方的顺序。或者不可用样点的替换顺序可以是最左上方到最右上方和/或最左下方的顺序。或者不可用样点的替换顺序可以是最右上方和/或最左下方到最左上方的顺序。

如图8中所示出的,可按照从最左下方样点位置0到最右上方样点的顺序来替换不可用样点。在这种情况下,前四个不可用样点的值可用第一个出现的或最接近的可用样点a的值替换。接下来的13个不可用样点的值可用最后的可用样点b的值替换。

或者,可使用可用样点的组合来替换不可用样点。例如,可使用与不可用样点的两端相邻的可用样点的平均值来替换不可用样点。例如,在图8中,可利用可用样点a的值来填充前四个不可用样点,并且可利用可用样点b和可用样点c的平均值来填充接下来的13个不可用样点。或者,可利用可用样点b的值和可用样点c的值之间的任何值来填充13个不可用样点。在这种情况下,可利用差值来替换不可用的样点。例如,由于不可用样点更接近可用样点a,因此可利用接近可用样点a的值的值来替换不可用样点的值。类似地,由于不可用样点更接近可用样点b,因此可利用接近可用样点b的值的值来替换不可用样点的值。也就是说,可基于从不可用样点到可用样点a和/或可用样b的距离来确定不可用样点的值。

为了替换不可用的样点,可选择性地应用包括上述方法的多种方法中的一种或更多种方法。可通过包括在比特流中的信息来用信号传送用于替换不可用样点的方法,或者可使用由编码器和解码器预先确定的方法。或者,可通过预定方案来推导用于替换不可用样点的方法。例如,可基于可用样点a的值和可用样点b的值之间的差和/或不可用样点的数量来选择用于替换不可用样点的方法。例如,可基于两个可用样点的值之间的差与阈值之间的比较和/或不可用样点的数量与阈值之间的比较来选择用于替换不可用样点的方法。例如,如果两个可用样点的值之间的差大于阈值和/或如果不可用样点的数量大于阈值,则可利用不同的值来替换不可用样点的值。

对于构建的一个或更多个参考样点,可根据当前块的帧内预测模式、尺寸和形状中的至少一个来确定是否应用滤波。如果应用滤波,则可根据当前块的帧内预测模式、尺寸和形状中的至少一个来使用不同的滤波器类型。

例如,对于多条参考样点线中的每条参考样点线,可不同地确定是否应用滤波和/或滤波器类型。例如,可将滤波应用于第一邻近线,而可不将滤波应用于第二邻近线。例如,经过滤波的值和未经过滤波的值两者都可被用于参考样点。例如,可至少根据块的帧内预测模式、尺寸和形状来选择并应用3抽头滤波器、5抽头滤波器和7抽头滤波器中的至少一个。

在下文中,将详细描述执行帧内预测的步骤(S530)。

可基于推导出的帧内预测模式和参考样点对当前块或子块执行帧内预测。在以下描述中,当前块可指子块。

例如,可执行非方向帧内预测。非方向帧内预测模式可以是DC模式和平面模式中的至少一个。

可使用构建的参考样点中的一个或更多个参考样点的统计值来执行DC模式下的帧内预测。可将滤波应用于当前块的边界处的一个或更多个预测样点。可根据当前块的尺寸和形状中的至少一个来自适应地执行DC模式帧内预测。

图9是示出根据当前块的形状的帧内预测的示例性示图。

例如,如图9的(a)所示,如果当前块被成形为正方形,则可使用在当前块的上方和左侧的参考样点的平均值来预测当前块。

例如,如图9的(b)所示,如果当前块被成形为矩形,则可使用与当前块的宽度和长度之中的较长者相邻的参考样点的平均值来预测当前块。

在宽度大于高度(W>H)的情况下,可使用以下等式2。在等式2中,“W”指宽度,“p”指与上侧宽度一样且相邻的参考样点,并且“w”指log

[等式2]

在高度大于宽度(H>W)的情况下,可使用以下等式3。在等式3中,“H”指高度,“p”指具有与左侧的高度一样的高度且与左侧相邻的参考样点,并且“h”指log

[等式3]

例如,如果当前块的尺寸落入预定范围内,则从当前块的顶部参考样点或左侧参考样点中选择预定样点,并且可使用选择的样点的平均值来执行预测。

图10是示出根据本发明的可用于帧内预测的参考样点的示图。

根据本发明,在DC模式下,可从当前块的顶部参考样点Ref-Top、左侧参考样点Ref-Left、底部参考样点Ref-Bottom和/或右侧参考样点Ref-Right中选择预定样点。可使用所选择的样点的平均值来执行DC模式下的预测。在下文中,将用于DC模式下的预测的平均值称为DC值。

可通过以下描述的方法来生成当前块的右下参考样点BR、右侧参考样点Ref-Right和/或底部参考样点Ref-Bottom。

例如,可通过拷贝当前块的右上参考样点TR的值来生成右侧参考样点Ref-Right。

例如,可通过拷贝当前块的左下参考样点BL的值来生成底部参考样点Ref-Bottom。

例如,可使用TR和BL的统计值来生成右下参考样点BR。在当前块的水平长度为W且垂直长度为H时,BR被推导为TR与BL的加权和。例如,可使用以下等式4。在等式4中,应用于TR和BL的权重分别为W和H,但不限于此,并且可应用与W和H成比例的权重。

[等式4]

作为另一示例,可使用TR和BR的统计值来生成右侧参考样点Ref-Right。可选地,右侧参考样点Ref-Right中的每一个可以是使用TR和BR的插值。在下文中,本发明中提及的插值可以是1D最近邻插值、2D最近邻插值、线性插值、双线性插值、三次插值、双三次插值、双边插值、特定线性插值和非线性插值中的至少一种。在执行插值时,可使用右侧参考样点Ref-Right中的插值目标样点的y坐标。

此外,可使用BL和BR的统计值来生成底部参考样点Ref-Bottom。可选地,底部参考样点Ref-Bottom中的每一个可以是使用BL和BR的插值。在执行插值时,可使用底部参考样点Ref-Bottom中的插值目标样点的x坐标。

当使用顶部、左侧、底部和/或右侧参考样点在DC模式下执行帧内预测时,通过将不同的权重分配给预定范围中的参考样点来计算DC值。这里,顶部参考样点、左侧参考样点、底部参考样点和/或右侧参考样点可被划分为N(N为等于或大于一的整数)组,并且不同的权重w1、w2、……和wN可被分配给这些组。权重w1、w2、……和wN的和可以是一。

作为示例,可将相同权重分配给顶部参考样点、左侧参考样点、底部参考样点和/或右侧参考样点。

作为另一示例,可将顶部参考样点、左侧参考样点、底部参考样点和/或右侧参考样点划分成两个组,并且可将权重w1和w2分配给所述两个组。这里,在针对顶部、左侧、底部和右侧的四个参考样点的子组中,当包括在第一组中的子组的数量为L并且包括在第二组中的子组的数量为M时,L和M为正整数并且“L+M=4”是可能的。此外,“w1+w2=1”是可能的。

作为又一示例,可将顶部参考样点、左侧参考样点、底部参考样点和/或右侧参考样点划分成三个组,并且可将权重w1、w2和w3分别分配给所述三个组。这里,在针对顶部、左侧、底部和右侧的四个参考样点的子组中,当包括在第一组中的子组的数量为L并且包括在第二组中的子组的数量为M并且包括在第三组中的子组的数量为N时,L、M和N是正整数并且“L+M+N=4”是可能的。此外,“w1+w2+w3=1”是可能的。

作为又一示例,可将权重w1、w2、w3和w4分配给顶部参考样点、左侧参考样点、底部参考样点和/或右侧参考样点。这里,“w1+w2+w3+w4=1”是可能的。

在当前块为W×H时,依据块的尺寸和/或形状来改变用于计算DC值的参考样点的预定范围。例如,当W、H、W*H和/或W+H等于或小于第一尺寸时,使用第一组的参考样点。可选地,当W、H、W*H和/或W+H等于或大于第二尺寸时,使用第二组的参考样点。第一组的参考样点和/或第二组的参考样点可包括从左侧参考样点、顶部参考样点、底部参考样点和/或右侧参考样点选择的一个或更多个参考样点。

作为修改的示例,当W和/或H等于或小于第一尺寸时,使用左侧参考样点和顶部参考样点来计算DC值。可选地,当W和/或H等于或大于第二尺寸时,使用左侧参考样点和顶部参考样点来计算DC值。可选地,当W*H或W+H等于或大于第二尺寸时,使用左侧参考样点和顶部参考样点来计算DC值。或者,当W*H或W+H等于或小于第一尺寸时,使用左侧参考样点和顶部参考样点来计算DC值。可选地,当W和/或H等于或小于第一尺寸时,使用左侧参考样点、顶部参考样点、底部参考样点和右侧参考样点来计算DC值。可选地,当W和/或H等于或大于第二尺寸时,使用左侧参考样点、顶部参考样点、底部参考样点和右侧参考样点来计算DC值。可选地,当W*H或W+H等于或大于第二尺寸时,使用左侧参考样点、顶部参考样点、底部参考样点和右侧参考样点来计算DC值。可选地,当W*H或W+H等于或小于第一尺寸时,使用左侧参考样点、顶部参考样点、底部参考样点和右侧参考样点来计算DC值。第一尺寸和/或第二尺寸可由编码器和解码器预先确定,或者可通过比特流用信号传送。

作为另一修改的示例,基于W和H的比较,可选择并使用预定范围中的不同参考样点。例如,在W=H的情况下,使用左侧参考样点、顶部参考样点、底部参考样点和右侧参考样点中的一个或更多个参考样点来计算DC值。在此情况下,应用于左侧参考样点、顶部参考样点、底部参考样点和/或右侧参考样点的权重可相同。

例如,在W>H的情况下,使用左侧参考样点、顶部参考样点、底部参考样点和右侧参考样点中的一个或更多个参考样点来计算DC值。在这种情况下,可不使用左侧参考样点或右侧参考样点。可选地,应用于顶部参考样点和底部参考样点的权重可大于应用于左侧参考样点和右侧参考样点的权重。

例如,在W<H的情况下,使用左侧参考样点、顶部参考样点、底部参考样点和右侧参考样点中的一个或更多个参考样点来计算DC值。在这种情况下,可不使用顶部参考样点或底部参考样点。可选地,应用于顶部参考样点和底部参考样点的权重可小于应用于左侧参考样点和右侧参考样点的权重。

在配置的参考样点中,当使用一个或更多个参考样点的统计值来获得DC模式的DC值时,在计算统计值时排除具有噪声值的参考样点。

图11是示出通过使用顶部参考样点和左侧参考样点计算DC值的示例的示图。

在图11中,由N指定的参考样点表示根据预定标准被确定为噪声的样点。在图11中,可使用除了由N指定的三个噪声参考样点之外的参考样点的统计值来计算DC值。

作为用于确定参考样点是否是噪声参考样点的预定标准,如图11中的示例所示出的,当使用左侧参考样点和顶部参考样点计算DC值时,使用的是左侧和顶部的所有参考样点的平均值、方差值和标准偏差值中的至少一个。

例如,根据参考样点的扫描顺序,可针对左侧和顶部的所有样点获得平均值、方差值或标准偏差值。获得的平均值、方差值或标准偏差值与预定权重的乘积可被用作用于确定噪声参考样点的阈值。例如,值大于阈值的参考样点可被确定为噪声参考样点,并且可在计算DC值时被排除。可用平均值代替被确定为噪声参考样点的样点的值来计算DC值。

例如,在图11中所示出的示例中,可独立地对左侧参考样点和顶部参考样点执行噪声样点去除处理。例如,获取左侧参考样点的平均值、方差值和标准差值中的一个或更多个,然后可对左侧参考样点执行噪声样点去除处理。类似地,可对顶部参考像素执行噪声样点去除处理。

可对右侧参考样点和/或底部参考样点执行噪声样点去除处理。可选地,通过使用已经完成噪声样点去除处理的左侧参考样点、顶部参考样点、BL和/或TR,可生成右侧参考样点和/或底部参考样点。

可对多条参考样点线执行噪声去除处理。

在DC模式中,一个或更多个DC值可被用于执行预测。例如,将具有水平长度为W和垂直长度为H的当前块分区成多个子块,然后计算每个子块的DC值以执行预测。

图12是示出通过将当前块分区成多个子块执行DC预测的示例的示图。

图13是示出通过将当前块分区成多个子块执行DC预测的另一示例的示图。

在图12和图13中所示出的示例中,通过使用当前块的顶部参考样点和左侧参考样点,可根据稍后描述的方法来计算DC值。

在图12的情况下,可将当前块分区成水平长度为W/2和垂直长度为H/2的四个子块。此外,可通过以下方法中的一种或更多种方法来确定每个子块的DC值。

可使用R1参考样点和R3参考样点的统计值来获得左上子块的DC1值。可使用R2参考样点和R3参考样点的统计值或者R2参考样点的和DC1值的统计值来获得右上子块的DC2值。可使用R1参考样点和R4参考样点的统计值或者R4参考样点和DC1值的统计值来获得左下子块的DC3值。例如,可使用R2参考样点和R4参考样点的统计值或者DC2值与DC3值的统计值来获得右下子块的DC4值。应用该示例的块的形状可以是非正方形形状。例如,在当前块是在水平方向上长的非正方形的形状时,将当前块分区成水平长度为W/2并且垂直长度为H的两个子块。参照图12,可使用R1参考样点和R3参考样点的统计值来获得子块的DC1值。可使用R2参考样点和R3参考样点的统计值或者R2参考样点和DC1值的统计值来获得子块的DC2值。例如,在当前块是在垂直方向上长的非正方形的形状时,将当前块分区成水平长度为W且垂直长度为H/2的两个子块。参照图12,可使用R1参考样点和R3参考样点的统计值来获得子块的DC1值。可使用R1参考样点和R4参考样点的统计值或者R4参考样点和DC1值的统计值来获得子块的DC3值。

在参照图12描述的示例中,统计值可以是加权和。这里,可基于当前子块与参考样点之间的距离来确定权重。例如,可将大的权重分派给靠近的参考样点。此外,当计算相邻子块的DC值和当前子块的参考样点的加权和时,可将相对小的权重分派给相邻子块的DC值。

在图13的情况下,当前块的左侧和顶部参考样点可用于计算整个当前块的DC值。此外,通过使用左侧和顶部处的一些参考样点区段的sub_DC值与整个当前块的DC值之间的插值,计算针对接近当前块中的参考样点的区域的DC值。

在图13中示出的示例中,例如,左下参考样点R5的DC值DC5可被计算并被设置为当前块的左下位置处的sub_DC值。例如,左侧参考样点R4的DC值DC4可被计算并被设置为当前块的左侧中间位置处的sub_DC值。例如,左上参考样点R1的DC值DC1可被计算并被设置为当前块的左上位置处的sub_DC值。例如,顶部参考样点R2的DC值DC2可被计算并被设置为当前块的顶部中间位置处的sub_DC值。例如,右上参考样点R3的DC值DC3可被计算并被设置为当前块的右上位置处的sub_DC值。

在计算sub_DC值之后,DC值和sub_DC值(DC1值至DC5值)的插值可被用于计算图13中示出的当前块的左上三角形(当前块内的虚线三角形)的DC值。

例如,使用DC值和DC1~DC5值的插值来计算最终DC值的区域可以是当前块的部分区域或整个当前块。

如以上参照图6描述的,当使用多条重建样点线时,图12和图13中示出的所有参考样点R1至R5是同一重建样点线的一部分。可选地,参考样点R1至参考样点R5中的至少一些参考样点可以是与其余参考样点不同的重建样点线的一部分。可选地,参考样点R1至参考样点R5中的一个或若干个参考样点可由具有N列或M行的参考样点组成。这里,N或M可以是等于或小于可用重建样点线的数量的正整数。

在当前块的水平长度为W并且垂直长度为H时,依据块的形状不同地执行DC模式下的预测。具体地,可从数量为W+H的参考样点计算当前块的DC值。此外,基于W和H的比较结果,可从W个顶部参考样点计算DC1值。此外,可从H个左侧参考样点计算DC2值。针对当前块的一些区域,可将通过对计算出的DC1值和/或DC2值和DC值进行插值而获得的值分配为预测值。针对除了分配了插值的一些区域之外的区域,可将当前块的DC值分配为预测值。可依据W和/或H的长度来确定分配了插值的一些区域。

图14是示出根据对块的水平长度与垂直长度的比较在DC模式下的预测的示例的示图。

如图14的(a)所示,在W>H的情况下,可使用当前块的左侧和顶部处的W+H个参考样点的统计值来计算当前块的DC值。此外,可计算当前块的左侧的H个参考样点的统计值DC2,并且针对当前块的从左侧参考样点到偏移的应用范围区域,可使用DC2值与DC值之间的插值来计算预测值。这里,偏移可以是小于W的正整数,例如,W/8、W/4、W/2等。

可选地,如图14的(a)所示,在W>H的情况下,可使用当前块的左侧和顶部处的W+H个参考样点的统计值来计算当前块的DC值。此外,可计算当前块的顶部W个参考样点的统计值DC1,并且针对当前块的从顶部参考样点到偏移的应用范围区域,可使用DC1值与DC值之间的插值来计算预测值。这里,偏移可以是小于H的正整数,例如,H/8、H/4、H/2等。

如图14的(b)所示,在W<H的情况下,可使用当前块的左侧和顶部处的W+H个参考样点的统计值来计算当前块的DC值。此外,可计算当前块的左侧的H个参考样点的统计值DC2,并且针对当前块的从左侧参考样点到偏移的应用范围区域,可使用DC2值与DC值之间的插值来计算预测值。这里,偏移可以是小于W的正整数,例如,W/8、W/4、W/2等。

可选地,如图14的(b)所示,在W<H的情况下,可使用当前块的左侧和顶部处的W+H个参考样点的统计值来计算当前块的DC值。此外,可计算当前块的顶部处的W个参考样点的统计值DC1,并且针对当前块的从顶部参考样点到偏移的应用范围区域,可使用DC1值与DC值之间的插值来计算预测值。这里,偏移可以是小于H的正整数,例如,H/8、H/4、H/2等。

如图14的(c)所示,在W=H的情况下,可使用当前块的左侧和顶部处的W+H个参考样点的统计值来计算当前块的DC值。此外,可计算当前块顶部处的W个参考样点的统计值DC1,并且可计算当前块的左侧处的H个参考样点的统计值DC2。在ABS(DC-DC1)和ABS(DC-DC2)中的较大值或较小值的方向上,针对应用范围区域,可使用DC值与DC1值之间的插值或DC值与DC2值之间的插值来生成应用范围区域中的DC预测值。

在参照图14描述的示例中,统计值可以是平均值。在以上描述了在图14中的示例中可用的插值的类型。

此外,如上面参考图6所描述的,当使用多条重建样点线时,用于计算图14中的DC1和/或DC2的所有参考样点是同一重建样点线的一部分。可选地,用于计算DC1和DC2的参考样点可以是不同重建样点线的一部分。可选地,用于计算DC1或DC2的参考样点可由具有N列或M行的参考样点组成。这里,N或M可以是等于或小于可用重建样点线的数量的正整数。

图15是示出平面模式的示图。

在平面模式的情况下,可使用考虑到与依据当前块的帧内预测目标样点的位置而配置的一个或更多个参考样点的距离的加权和来执行预测。

在平面模式中,可使用依据样点的位置(x,y)的N个参考样点的加权和来获得预测块。N可以是大于1的正整数。例如,如图15中所示出的,在N=4的情况下,可将构成预测块的每个样点的位置处的预测值确定为顶部参考样点、左侧参考样点、当前块的右上角样点和当前块的左下角样点的统计值。当统计值为加权和时,按照以下等式计算。

[等式5]

图16是示出根据本发明的实施例的平面模式的示图。

在平面模式中,可基于当前块使用右上参考样点Ref-TR和/或左下参考样点Ref-BL来构建用于计算统计值的右侧参考样点Ref-Right1、Ref-Right2、……和Ref-RightH和/或底部参考样点Ref-Bottom1、Ref-Bottom2、……和Ref-BottomW。

例如,在图16中,可使用参考样点Ref-TR和参考样点Ref-BL的插值来获得右下参考样点BR

例如,在图16中,可使用右上参考样点Ref-TR和右下参考样点BR

例如,在图16中,可使用左下参考样点Ref-BL和右下参考样点BR

例如,当存在一个或更多个可用的右侧参考样点Ref-Right1、Ref-Right2、……和Ref-RightH时,在生成用于平面预测的右侧参考样点时使用其中的一个或更多个右侧参考样点的统计值。

例如,当存在一或更多个可用的底部参考样点Ref-Bottom1、Ref-Bottom2、……和Ref-BottomW时,在生成用于平面预测的底部参考样点时使用其中的一或更多个底部参考样点的统计值。

统计值可以是包括加权和以及线性插值和非线性插值的上述统计值中的一个。

可对当前块执行方向帧内预测。方向预测模式可包括水平模式、垂直模式和具有预定角度的模式之中的一个或更多个模式。

例如,在水平/垂直模式中,在帧内预测目标样点的位置处,可使用存在于水平/垂直线上的一或更多个参考样点执行预测。

例如,当在水平/垂直模式下执行预测时,针对依据当前块的形状和/或尺寸与参考样点间隔预定偏移或更大偏移的位置处的目标样点,使用新的参考样点执行预测。依据块的形状和/或尺寸,预定偏移可以是任意正整数、等于或小于当前块的水平长度W的正整数或者等于或小于当前块的垂直长度H的正整数。

图17是示出根据本发明的实施例的在垂直模式下的帧内预测的示图。

在图17中,可使用顶部参考样点RT

[等式6]

作为垂直模式下的预测的另一示例,如等式7中所示出的,还可在执行预测时使用通过使用当前块的左下参考样点(图17中的RBL)与delta

[等式7]

例如,可使用顶部参考样点RT

可将示例应用于垂直模式和/或与垂直模式相邻的N个帧内模式,并且N可以是任意正整数。

图18是示出根据本发明的实施例的在水平模式下的帧内预测的示图。

在图18中,可使用左侧参考样点RL

[等式8]

作为水平模式下的预测的另一示例,如等式9中所示出,还可在执行预测时使用通过使用当前块的右上参考样点(图18中的RTR)与delta

[等式9]

例如,可使用左侧参考样点RL

可将示例应用于水平模式和/或与水平模式相邻的N个帧内模式,并且N可以是任意正整数。

在特定模式的情况下,可对生成的预测块的边界区域执行滤波(边界滤波)。特定模式的示例可包括非方向模式(诸如,平面模式、DC模式)和/或方向模式中的至少一个。作为滤波处理,可在左侧和/或顶部存在在对预测块进行插值时使用的一条或更多条重建样点线。

例如,针对在DC模式下预测的预测块,可对与左侧重建样点线相邻的N列和与顶部重建样点线相邻的M行执行滤波。这里,N可以是等于或小于当前块的水平长度W的正整数,M可以是等于或小于当前块的垂直长度H的正整数。这里,可通过上述插值方法来执行滤波。

图19是示出对预测块执行滤波的示例的示图。

如图19中所示出的,在N=1和M=1的情况下,每次可使用重建样点线中的与当前块相邻的顶部和左侧处的一条线来执行滤波。例如,可使用等式10。

[等式10]

图20是示出对预测块执行滤波的另一示例的示图。

对于在DC模式下预测的预测块,可依据当前块的形状和/或尺寸来执行滤波(边界滤波)。例如,在当前块的水平长度为W并且垂直长度为H时,如图20的(a)中所示出的,对位于与W>H的块的左侧和/或顶部处的重建样点相距预定距离(偏移)内的区域执行滤波。这里,预定距离(偏移)可以是等于或小于W的正整数或者等于或小于H的正整数。

例如,可对位于与当前块相邻的左侧重建样点相距预定距离(偏移)内的区域的M行执行滤波(边界滤波)。这里,可对与每行相邻的左侧重建样点相距预定距离(偏移)的线区域执行滤波。可使用左侧重建样点的值与DC值之间的插值来执行滤波。此外,可对位于与当前块相邻的顶部重建样点相距预定距离内的区域的N列执行滤波。这里,可对与每列相邻的顶部重建样点相距预定距离(偏移)的线区域执行滤波。可使用顶部重建样点的值与DC值之间的插值来执行滤波。

如图20(b)中所示出的,可同样地对W<H的块执行该过程。

图21是示出对预测块执行滤波的另一示例的示图。

对于在垂直模式下预测的预测块,可按照图21中所示执行滤波(边界滤波)。这里,可使用等式11。

[等式11]

可类似地对在水平模式下预测的预测块执行参照图21描述的滤波。

可使用相对于目标帧内预测样点的位置成预定角度的线上的一个或更多个参考样点来执行在具有预定角度的模式下的帧内预测。这里,可使用N个参考样点。N可以是正整数,诸如,2、3、4、5或6。此外,例如,可通过应用N抽头滤波器(诸如,2抽头、3抽头、4抽头、5抽头或6抽头滤波器)来执行预测。

例如,可基于位置信息执行帧内预测。可对位置信息进行编码/解码,并且可将该位置处的重建样点块推导为当前块的帧内预测块。或者可将由解码器检测到的类似于当前块的块推导为当前块的帧内预测块。

例如,可执行帧内色彩分量预测。例如,可针对色度分量使用当前块的重建亮度分量执行帧内预测。或者,可针对另一色度分量Cr使用当前块的一个重建色度分量Cb执行帧内预测。

可通过组合使用上述各种帧内预测方法中的一种或更多种来执行帧内预测。例如,可针对当前块通过对使用预定的非方向帧内预测模式预测的块以及使用预定的方向帧内预测模式预测的块的加权和来构建帧内预测块。这里,可根据当前块的帧内预测模式、块尺寸、形状和/或样点位置中的至少一个来应用不同的权重。

例如,在组合一个或更多个帧内预测模式时,可利用使用当前块的帧内预测模式的预测值与使用MPM列表中的预定模式的预测值的加权和来构建预测块。

可使用一个或更多个参考样点集来执行帧内预测。例如,针对构建的参考样点,可使用利用未经受滤波的参考样点进行帧内预测的块以及利用经受滤波的参考样点进行帧内预测的块的加权和来执行对当前块的帧内预测。

在执行帧内预测的处理时,可执行使用邻近重建样点的滤波处理。这里,可基于当前块的帧内预测模式以及块的尺寸和形状中的至少一个来确定是否执行滤波处理。滤波处理可被包括在执行帧内预测的处理中,并且可在一个步骤中执行。在执行滤波处理时,基于当前块的帧内预测模式、块的尺寸和形状中的至少一个,可不同地确定滤波器抽头、系数,应用线的数量和应用样点的数量中的至少一个。

在将当前块分区成子块,通过使用邻近块的帧内预测模式来推导出每个子块的帧内预测模式并执行帧内预测时,可对当前块内的每个子块执行滤波。例如,可将低通滤波器应用于整个当前块。可选地,可将滤波器应用于位于每个子块的边界上的样点。

在将当前块分区成子块并对每个子块执行帧内预测时,每个子块可指编码/解码块、预测块和变换块中的至少一个。

图22是示出可应用于当前块的帧内预测的各种单元的示图。

例如,在执行方向帧内预测时,可改变应用了方向模式的单元。该单元可以是块、子块、目标块内的样点组以及目标块的样点中的一个。

在基于每个当前块执行一个方向预测的情况下,当编码目标块包括具有大量图像特征的曲线时,编码效率降低。为了增强这一点,如图22中所示出的,可以以目标块中的样点、样点组和线(水平线、垂直线、对角线、L形线等)中的至少一个为单位使用一个或更多个方向模式来执行预测。

当基于每个样点执行方向预测时,将以样点、样点组和线中的至少一个为单位可用的N(N是正整数)个方向预测模式或角度存储为表格(诸如,LUT)用于使用。

当基于每个样点执行方向预测时,在针对目标块扫描残差块的变换系数时,扫描方法可依据基于每个样点的方向预测的类型以及块的尺寸/形状中的至少一个而变化。例如,依据基于每个样点的方向预测的类型,可将右上扫描、垂直方向扫描、水平方向扫描、之字形扫描中的一个或更多个应用于扫描。

可在编码器和解码器中以相同的方法执行上述实施例。

应用于上述实施例的顺序在编码器和解码器之间可不同,或者应用于上述实施例的顺序在编码器和解码器中可相同。

可对每个亮度信号和色度信号执行上述实施例,或者可对亮度信号和色度信号相同地执行上述实施例。

应用了本发明的上述实施例的块形式可具有正方形形状或非正方形形状。

可依据编码块、预测块、变换块、块、当前块、编码单元、预测单元、变换单元、单元和当前单元中的至少一个的尺寸来应用本发明的上述实施例。这里,所述尺寸可被定义为最小尺寸或最大尺寸或两者,以便应用上述实施例,或者所述尺寸可被定义为应用于上述实施例的固定尺寸。此外,在上述实施例中,第一实施例可被应用于第一尺寸,并且第二实施例可被应用于第二尺寸。换句话说,可依据尺寸来组合应用上述实施例。此外,当尺寸等于或大于最小尺寸并且等于或小于最大尺寸时,可应用上述实施例。换句话说,当块尺寸被包括在特定范围内时,可应用上述实施例。

例如,在当前块的尺寸为8×8或更大时,可应用上述实施例。例如,在当前块的尺寸为4×4或更大时,可应用上述实施例。例如,在当前块的尺寸为16×16或更大时,可应用上述实施例。例如,在当前块的尺寸等于或大于16×16并且等于或小于64×64时,可应用上述实施例。

可依据时间层来应用本发明的上述实施例。为了识别可应用上述实施例的时间层,相应标识符可被用信号传送,并且上述实施例可被应用于由相应标识符标识的指定时间层。这里,标识符可被定义为可应用上述实施例的最低级层或最高级层或者最低级层和最高级层两者,或者可被定义为指示应用实施例的特定层。此外,可定义应用实施例的固定时间层。

例如,在当前图像的时间层是最低级层时,可应用上述实施例。例如,在当前图像的时间层标识符为1时,可应用上述实施例。例如,在当前图像的时间层是最高级层时,可应用上述实施例。

可定义应用本发明的上述实施例的条带类型,并且可依据相应的条带类型来应用上述实施例。

在上述实施例中,基于具有一系列步骤或单元的流程图描述了所述方法,但本发明不限于所述步骤的顺序,而是,一些步骤可与其他步骤被同时执行,或者可与其他步骤按照不同顺序被执行。此外,本领域普通技术人员应该理解,流程图中的步骤不彼此相斥,并且在不影响本发明的范围的情况下,其他步骤可被添加到流程图中,或者一些步骤可从流程图被删除。

实施例包括示例的各个方面。针对各个方面的所有可能组合可不被描述,但本领域技术人员将能够认识到不同组合。因此,本发明可包括权利要求范围内的所有替换形式、修改形式和改变。

本发明的实施例可以以程序指令的形式来实施,其中,所述程序指令可由各种计算机组件来执行,并被记录在计算机可读记录介质上。计算机可读记录介质可包括单独的程序指令、数据文件、数据结构等,或者是程序指令、数据文件、数据结构等的组合。记录在计算机可读记录介质中的程序指令可被特别设计和构造用于本发明,或者对于计算机软件技术领域的普通技术人员而言是已知的。计算机可读记录介质的示例包括:磁记录介质(诸如硬盘、软盘和磁带);光学数据存储介质(诸如CD-ROM或DVD-ROM);磁光介质(诸如软光盘);以及被专门构造用于存储和实施程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器等)。程序指令的示例不仅包括由编译器形成的机器语言代码,还包括可由计算机使用解释器实施的高级语言代码。硬件装置可被配置为由一个或更多个软件模块操作以进行根据本发明的处理,反之亦可。

虽然已经根据特定术语(诸如,详细元件)以及有限实施例和附图描述了本发明,但它们仅被提供用于帮助更通俗地理解本发明,并且本发明不限于上述实施例。本发明所属领域的技术人员将理解,可从上述描述做出各种修改和改变。

因此,本发明的精神不应受限于上述实施例,并且权利要求及其等同物的全部范围将落入本发明的范围和精神之内。

工业适用性

本发明可被用于对图像进行编码/解码。

相关技术
  • 一种液位检测装置和包含其的设备以及液位检测方法、电子设备及计算机可读存储介质
  • 一种病毒邮件检测方法、系统及电子设备和存储介质
  • 一种卡顿检测方法、装置、电子设备和存储介质
  • 一种市电掉电检测方法、电子设备、存储介质和储能系统
  • 一种动目标检测方法、装置、电子设备及存储介质
  • 一种瓷砖加工规范检测方法、电子设备和存储介质
  • 一种瓷砖加工规范检测方法、电子设备和存储介质
技术分类

06120116526437