用于编码/解码图像的方法和装置
文献发布时间：2023-06-19 09:47:53
技术领域
本公开内容涉及对图像进行编码和解码的技术，并且更具体地，涉及用于在帧内预测中执行编码/解码的方法和装置。
背景技术
随着因特网和便携式终端的广泛使用以及信息和通信技术的发展，越来越多地使用多媒体数据。因此，为了在各种系统中通过图像预测来提供各种服务或执行各种任务，迫切需要提高图像处理系统的性能和效率。然而，研究和开发成果尚未跟得上这种趋势。
因此，用于对图像进行编码/解码的现有方法和装置需要在图像处理中特别是在图像编码或图像解码方面提高性能。
发明内容
[技术问题]
本发明的目的是提供一种帧内预测方法。
另外，本发明提供一种用于构造用于帧内预测的参考像素的方法和装置。
本发明的另一目的是提供一种用于执行参考像素滤波和内插的方法和装置。
另外，本发明提供了一种用于构造帧内预测模式候选组的方法和装置。
另外，本发明提供了一种用于以子块为单元的帧内预测的方法和装置。
[技术解决方案]
一种根据本发明的图像编码/解码方法和装置构造目标块的帧内预测模式候选组，确定用于目标块的帧内预测模式的参考像素，执行对参考像素的滤波或内插中的至少一个，以及基于帧内预测模式候选组和参考像素来执行目标块的帧内预测。
在根据本发明的图像编码/解码方法和装置中，可以基于下述中的至少一个来选择性地执行滤波：尺寸、形状、位置、颜色分量、参考像素线、是否应用以子块为单元的帧内预测、或者目标块的帧内预测模式。
在根据本发明的图像编码/解码方法和装置中，当目标块的帧内预测模式是对角线模式时，可以执行滤波，否则，当目标块的帧内预测模式不是对角线模式时，可以不执行滤波。
在根据本发明的图像编码/解码方法和装置中，对角线模式可以包括仅参考整数单位的像素的第一模式或者参考分数单位的像素的第二模式中的至少一种。
在根据本发明的图像编码/解码方法和装置中，当目标块的帧内预测模式是仅参考整数单位的像素的第一模式时，可以不对参考像素执行内插，以及当目标块的帧内预测模式是参考分数单位的像素的第二模式时，可以对参考像素执行内插。
在根据本发明的图像编码/解码方法和装置中，参考像素可以位于与目标块相邻的多个参考像素线中的至少一个上。
在根据本发明的图像编码/解码方法和装置中，帧内预测模式候选组可以包括至少一种优先级分配模式或者预定的最可能模式(MPM)。
在根据本发明的图像编码/解码方法和装置中，优先级分配模式可以包括平面模式、DC模式、垂直模式或水平模式中的至少一种。
在根据本发明的图像编码/解码方法和装置中，可以以构成目标块的子块为单元执行帧内预测。
[有益效果]
在使用如上面所描述的根据本发明的帧内预测方法的情况下，可以有效地构造帧内预测模式候选组以引起表示目标块的预测模式的比特的减少，从而提高编码性能。
根据本发明，可以通过经滤波或经内插的参考像素的配置来提高编码性能。
根据本发明，可以通过以子块为单元的帧内预测来提高编码性能。
附图说明
图1是示出根据本公开内容的实施方式的图像编码和解码系统的概念图。
图2是示出根据本公开内容的实施方式的图像编码装置的框图。
图3是示出根据本公开内容的实施方式的图像解码装置的框图。
图4是示出可以在本公开内容的块分割单元中获得的各种划分类型的示例图。
图5示出了用于说明家庭的成员和与该家庭有关的人的遗传特征的家谱树的示例。
图6示出了与目标块具有水平关系的相关块的各种布置的示例。
图7示出了与目标块具有垂直关系的相关块的各种布置的示例。
图8示出了与目标块具有垂直关系和水平关系的相关块的各种布置示例。
图9是根据树类型获得的块分割的示例图。
图10是基于QT、BT和TT获得的分割的示例图。
图11是用于基于分割方法和分割设置来检查块之间的相关性的示例图。
图12是示出由图像编码/解码装置支持的帧内预测模式的示例图。
图13是示出根据本公开内容的实施方式的用于帧内预测所使用的参考像素的配置的示例图。
图14是根据基本块可获得的参考像素的配置的示例图。
图15是示出用于帧内预测的目标块和与该目标块相邻的块的概念图。
具体实施方式
根据本发明的图像编码/解码方法和装置配置目标块的帧内预测模式候选组，确定用于目标块的帧内预测模式的参考像素，执行对参考像素的滤波或内插中的至少一个，以及基于帧内预测模式候选组和参考像素来执行目标块的帧内预测。
在根据本发明的图像编码/解码方法和装置中，可以基于下述中的至少一个来选择性地执行滤波：尺寸、形状、位置、颜色分量、参考像素线、是否应用以子块为单元的帧内预测、或者目标块的帧内预测模式。
在根据本发明的图像编码/解码方法和装置中，当目标块的帧内预测模式是对角线模式时，可以执行滤波，否则，当目标块的帧内预测模式不是对角线模式时，可以不执行滤波。
在根据本发明的图像编码/解码方法和装置中，对角线模式可以包括仅参考整数单位的像素的第一模式或者参考分数单位的像素的第二模式中的至少一种。
在根据本发明的图像编码/解码方法和装置中，当目标块的帧内预测模式是仅参考整数单位的像素的第一模式时，可以不对参考像素执行内插，以及当目标块的帧内预测模式是参考分数单位的像素的第二模式时，可以对参考像素执行内插。
在根据本发明的图像编码/解码方法和装置中，参考像素可以位于与目标块相邻的多个参考像素线中的至少一个上。
在根据本发明的图像编码/解码方法和装置中，帧内预测模式候选组可以包括至少一种优先级分配模式或者预定的最可能模式(MPM)。
在根据本发明的图像编码/解码方法和装置中，优先级分配模式可以包括平面模式、DC模式、垂直模式或水平模式中的至少一种。
在根据本发明的图像编码/解码方法和装置中，可以以构成目标块的子块为单元执行帧内预测。
本发明的模式
本公开内容可以进行各种修改并且具有各种实施方式。将参照附图描述本公开内容的特定实施方式。但是，该实施方式并不旨在限制本公开内容的技术范围，并且应当理解，本公开内容涵盖了在本公开内容的范围和构思内的各种修改、等同形式和替选形式。
在本公开内容中使用的术语第一、第二、A和B可以用于描述各种部件，而不是限制部件。这些表述仅用于将一个部件与另一部件区分开。例如，在不脱离本公开内容的范围的情况下，第一部件可以被称为第二部件，并且，第二部件可以被称为第一部件。该术语“和/或”涵盖多个相关项的组合或多个相关项中的任何一个。
当提到一个部件“连接至”另一部件或“与另一部件耦接/耦接至另一部件”时，应当理解为一个部件直接连接至另一部件或通过任何其他部件连接至另一部件。另一方面，当提到一个部件“直接连接至”或“直接耦接至”另一部件时，应当理解为在部件之间不存在其他部件。
提供在本公开内容中使用的术语仅用于描述特定实施方式，而不旨在限制本公开内容。除非上下文另有明确规定，否则单数形式包括复数指代。在本公开内容中，术语“包括”或“具有”表示特征、数字、步骤、操作、部件、部分或其组合的存在，但不排除存在或添加一个或更多个其他特征、数字、步骤、操作、部件、部分或其组合。
除非另有定义，否则本公开内容中使用的术语——包括技术或科学术语——可以具有与本领域那些技术人员通常理解的含义相同的含义。字典中通常定义的术语可以被解释为与相关技术的上下文含义具有相同或类似的含义。除非另有定义，否则这些术语不应被解释为理想或过度形式的含义。
通常，图像可以根据其颜色格式包括一个或更多个颜色空间。该图像可以包括具有相同尺寸的一个或更多个图片或者具有不同尺寸的一个或更多个图片。例如，YCbCr颜色配置可以支持例如4:4:4、4:2:2、4:2:0和单色(仅由Y组成)的颜色格式。例如，YCbCr 4:2:0可以由一个亮度分量(在该示例中为Y)和两个色度分量(在该示例中为Cb和Cr)组成。在这种情况下，色度分量和亮度分量的配置比可以具有1:2的宽度-高度。例如，在4:4:4的情况下，其在宽度和高度方面可以具有相同的配置比率。如以上示例中那样，当图片包括一个或更多个颜色空间时，可以将图片分割成颜色空间。
可以根据图像的图像类型(例如，图片、切片、图块等)将图像分类为I、P和B。I图片可以是在没有参考图片的情况下被编码/解码的图像。P图片可以是使用参考图片进行编码/解码但仅允许前向预测的图像。B图片可以是使用参考图片进行编码/解码且允许双向预测的图像。但是，根据编码/解码配置，可以组合一些类型(P和B)或者可以支持具有不同组成的图像类型。
在本公开内容中生成的各种编码/解码信息可以被显式地或隐式地处理。显式处理可以被理解为以下处理：通过编码器生成指示与序列、切片、图块、块或子块中的编码信息相关的多个候选的候选组中的一个候选的选择信息，并且将该选择信息包括在比特流中，并且通过解码器在与编码器中相同的单元级别解析相关信息来将相关信息重构为解码信息。隐式处理可以被理解为在编码器和解码器两者处以相同的过程、规则等处理编码/解码信息。
图1是示出根据本公开内容的实施方式的图像编码和解码系统的概念图。
参照图1，图像编码装置105和图像解码装置100中的每一个可以是用户终端，例如，个人计算机(PC)、膝上型计算机、个人数字助理(PDA)、便携式多媒体播放器(PMP)、便携式游戏机(PSP)、无线通信终端、智能手机或电视(TV)、或服务器终端(例如应用程序服务器或服务服务器)。图像编码装置105和图像解码装置100中的每一个可以是各种装置中的任何一种，每个装置包括：与各种装置或有线/无线通信网络通信的诸如通信调制解调器的通信装置；存储用于帧间预测或帧内预测的各种程序和数据以对图像进行编码或解码的存储器120或125；或通过执行程序来执行计算和控制操作的处理器110或115。
此外，图像编码装置105可以通过诸如因特网、短距离无线通信网、无线局域网(WLAN)，无线宽带(Wi-Bro)网或移动通信网等有线/无线通信网或者经由诸如电缆或通用串行总线(USB)的各种通信接口实时地或非实时地将编码为比特流的图像发送至图像解码装置100，并且图像解码装置100可以通过解码比特流将接收到的比特流重构为图像，并且再现该图像。此外，图像编码装置105可以通过计算机可读记录介质将编码为比特流的图像发送至图像解码装置100。
虽然上述图像编码装置和图像解码装置可以是单独的装置，但是根据实现方式，它们可以被并入单个图像编码/解码装置中。在这种情况下，图像编码装置的一些部件可以与图像解码装置的它们的对应部件基本相同。因此，这些部件可以被配置成包括相同的结构或执行至少相同的功能。
因此，在以下对技术部件及其操作原理的详细描述中，将取消对相应技术部件的多余描述。此外，由于图像解码装置是将在图像编码装置中执行的图像编码方法应用于解码的计算装置，因此以下描述将集中于图像编码装置。
计算装置可以包括：存储器，其存储执行图像编码方法和/或图像解码方法的程序或软件模块；以及处理器，其连接至存储器并执行程序。图像编码装置可以被称为编码器，并且图像解码装置可以被称为解码器。
图2是示出根据本公开内容的实施方式的图像编码装置的框图。
参照图2，图像编码装置20可以包括预测单元200、减法单元205、变换单元210、量化单元215、逆量化单元220、逆变换单元225、加法单元230、滤波器单元235、编码图片缓冲器240和熵编码单元245。
预测单元200可以使用作为软件模块的预测模块来实现，并且通过针对要被编码的块使用帧内预测或帧间预测来生成预测块。预测单元200可以通过预测在图像中当前要被编码的目标块来生成预测块。换言之，预测单元200可以通过根据帧间预测或帧内预测来预测目标块中像素的像素值来生成具有每个像素的预测像素值的预测块。此外，预测单元200可以将生成预测块所需的信息(例如关于如帧内预测模式或帧间预测模式的预测模式的信息)提供给编码单元，使得编码单元可以对关于预测模式的信息进行编码。可以根据编码/解码配置来配置经受预测的处理单元、预测方法和关于处理单元的具体细节。例如，可以基于预测单元来确定预测方法和预测模式，并且可以基于变换单元执行预测。
帧间预测单元可以基于参考图片划分成时间预测和空间预测。在时间预测的情况下，它可以是用于在时间上不同于当前图片的图片中寻找运动的预测方法，而在空间预测的情况下，它可以是用于在时间上与当前图片相同的当前图片中(其中已经完成编码的区域，与目标块相邻的预设区域)寻找运动的预测方法。这可以通过参考图片列表进行集成和管理，或者可以通过分割成编码模式进行管理。例如，可以通过在参考图片列表中混合当前图片和在当前图片之前或之后已经编码的图片来配置。编码模式划分成Mode_Intra、Mode_InterD和Mode_InterC。其中，它可以通过划分成Mode_InterD(参照先前和后续图片)和Mode_InterC(参照当前图片)来支持。
另外，帧间预测单元可以根据运动预测方法将平移运动模型和非平移运动模型彼此进行区分。对于平移运动模型，仅考虑平行平移来执行预测，而对于非平移运动模型，除了平行平移之外，还可以考虑诸如旋转、透视和放大/缩小的运动来执行预测。在单向预测的假设下，平移运动模型可能需要一个运动矢量，而非平移运动模型可能需要一个或更多个运动信息(例如，一个运动矢量+旋转角度/比例因子，多于一个运动矢量，等等。以下假设使用了多于一个运动矢量)。在非平移运动模型的情况下，每个运动矢量可以是应用于目标块中的预设位置(例如目标块的左上顶点、右上顶点、左下顶点)的信息，并且可以以像素单元或子块单元(大于或等于2的整数，例如4×4或8×8)来获得基于相应的运动矢量的目标块中的待预测区域的位置。帧间预测单元可以根据运动模型共同地应用一部分后续处理，并且单独地应用另一部分后续处理。
帧间预测单元可以包括参考图片构造单元、运动估计单元、运动补偿器、运动信息决定单元和运动信息编码器。参考图片构造单元可以包括参考图片列表L0或L1中的在当前图片之前或之后的经编码的图片。可以从包括在参考图片列表中的参考图片获得预测块，并且根据编码设置，当前图像还可以被配置为参考图片并且被包括在至少一个参考图片列表中。
帧间预测单元的参考图片构造单元可以包括参考图片内插器。参考图片内插器可以根据内插精度对分数像素执行内插。例如，可以将8抽头的基于离散余弦变换(DCT)的内插滤波器应用于亮度分量，并且可以将4抽头的基于DCT的内插滤波器应用于色度分量。
帧间预测单元的运动估计单元可以使用参考图片来检测与目标块具有高相关性的块。为此，可以使用各种方法，例如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)等。运动补偿器可以在运动估计过程中获得预测块。
帧间预测单元的运动信息决定单元可以执行为目标块选择最佳运动信息的处理。可以以诸如跳过模式、合并模式和竞争模式的运动信息编码模式对运动信息进行编码。可以通过根据运动模型组合所支持的模式来配置运动信息编码模式。这样的示例可以包括(平移)跳过模式、(非平移)跳过模式、(平移)合并模式、(非平移)合并模式、(平移)竞争模式和(非平移)竞争模式。根据编码设置，这些模式的一部分可以被包括在候选组中。
在运动信息编码模式中，可以从至少一个候选块获得目标块的运动信息的预测值(运动矢量、参考图片、预测方向等)。当支持两个或更多个候选块时，可以生成最佳候选选择信息。在跳过模式(无残差信号)和合并模式(存在残差信号)中，预测值可以按原样用作关于目标块的运动信息，而在竞争模式中，可以生成关于目标块的运动信息与预测值之间的差信息。
用于目标块的运动信息预测值的候选组可以是自适应的，并且根据运动信息编码模式可以具有各种构造。在空间上与目标块相邻的块(例如，左、上、左上、右上、左下等)的运动信息可以包括在候选组中，并且在时间上相邻的块(例如，左块、右块、上块、下块、左上块、右上块、左下块、右下块等，包括在与目标块对应的不同图像中的块<中心>)的运动信息可以包括在候选组中。空间候选和时间候选的混合运动信息(例如，作为基于在空间上相邻的块的运动信息和在时间上相邻的块的运动信息的两个或更多个候选的平均值、中值等获得的信息。运动信息可以以目标块或目标块的子块为单元获得。)可以包括在候选组中。
可以对运动信息进行优先级排序以配置运动信息预测值候选组。可以根据优先级来设置要包括在预测值候选组中的运动信息的顺序。当根据优先级在候选组中填充与候选组中的候选(根据运动信息编码模式确定)的数目一样多条的运动信息时，可以完全构造候选组。可以以关于在空间上相邻的块的运动信息、关于在时间上相邻的块的运动信息、以及关于在空间上相邻的块和在时间上相邻的块的混合运动信息的顺序，对运动信息进行优先级排序。然而，也可以修改优先级。
例如，关于在空间上相邻的块的运动信息可以以左块、上块、右上块、左下块和左上块的顺序被包括在候选组中，并且关于在时间上相邻的块的运动信息可以以右下块、中块、右块和下块的顺序被包括在候选组中。
减法单元205可以通过从目标块减去预测块来生成残差块。换言之，减法单元205可以计算要编码的目标块中的每个像素的像素值与由预测单元生成的预测块中的对应像素的预测像素值之间的差，以生成块的形式的残差信号即残差块。此外，减法单元205可以以除了通过后面描述的块分割单元获得的块之外的单元生成残差块。
变换单元210可以将空间信号变换为频率信号。通过变换处理获得的信号被称为变换系数。例如，具有从减法单元接收的残差信号的残差块可以被变换为具有变换系数的变换块，并且根据编码设置来确定输入信号，该输入信号不限于残差信号。
变换单元可以通过(但不限于)诸如哈达玛变换、基于离散正弦变换(DST)的变换或基于DCT的变换的变换方案来变换残差块。这些变换方案可以以各种方式改变和修改。
可以支持所述变换方案中的至少一个，并且可以支持每个变换方案的至少一个子变换方案。可以通过修改变换方案中的基本矢量的一部分来获得子变换方案。
例如，在DCT的情况下，可以支持子变换方案DCT-1至DCT-8中的一个或更多个，并且在DST的情况下，可以支持子变换方案DST-1至DST-8中的一个或更多个。变换方案候选组可以被构造有子变换方案的一部分。例如，DCT-2、DCT-8和DST-7可以被分组为用于变换的候选组。
可以在水平方向/垂直方向上执行变换。例如，通过DCT-2可以在水平方向上执行一维变换，通过DST-7可以在垂直方向上执行一维变换。利用二维变换，可以将像素值从空间域变换到频域。
可以采用一个固定变换方案，或者可以根据编码/解码配置自适应地选择变换方案。在后一种情况下，可以显式地或隐式地选择变换方案。当显式地选择变换方案时，可以例如在块级别生成关于在水平方向和垂直方向中的每一个上应用的变换方案或变换方案集的信息。当隐式地选择变换方案时，可以根据图像类型(I/P/B)、颜色分量、块尺寸、块形状、块位置、帧内预测模式等来限定编码设置，并且可以根据编码设置来选择预定的变换方案。
此外，可以根据编码设置跳过一些变换。也就是说，可以显式地或隐式地省略水平单元和垂直单元中的一个或更多个。
此外，变换单元可以将生成变换块所需的信息发送至编码单元，使得编码单元对信息进行编码，将经编码信息包括在比特流中，并且将比特流发送至解码器。因此，解码器的解码单元可以对来自比特流的信息进行解析，以用于逆变换。
量化单元215可以对输入信号进行量化。从量化获得的信号被称为量化系数。例如，量化单元215可以通过对具有从变换单元接收的残差变换系数的残差块进行量化来获得具有量化系数的量化块，并且可以根据编码设置确定输入信号，该编码设置不限于残差变换系数。
量化单元可以通过但不限于诸如死区均匀边界值量化、量化加权矩阵等的量化方案对变换的残差块进行量化。可以以各种方式改变和修改以上量化方案。
可以根据编码设置跳过量化。例如，可以根据编码设置(例如，量化参数为0，即无损压缩环境)来跳过量化(和逆量化)。在另一示例中，当考虑到图像的特性而没有执行基于量化的压缩性能时，可以省略量化过程。在量化块(M×N)的整个或部分区域(M/2×N/2、M×N/2或M/2×N)中可以跳过量化，并且可以显式或隐式地设置量化跳过选择信息。
量化单元可以将生成量化块所需的信息发送至编码单元，使得编码单元对该信息进行编码，将经编码信息包括在比特流上，并且将比特流发送至解码器。因此，解码器的解码单元可以对来自比特流的信息进行解析，以用于逆量化。
尽管在假设通过变换单元和量化单元对残差块进行变换和量化的情况下描述了以上示例，但是可以通过对残差信号进行变换来生成具有变换系数的残差块，并且可以不对其进行量化。残差块可以仅经受量化而不经受变换。此外，残差块可以既经受变换又经受量化。这些操作可以根据编码设置来确定。
逆量化单元220对由量化单元215量化的残差块进行逆量化。也就是说，逆量化单元220通过对量化频率系数序列进行逆量化来产生具有频率系数的残差块。
逆变换单元225对由逆量化单元220逆量化的残差块进行逆变换。也就是说，逆变换单元225对逆量化的残差块的频率系数进行逆变换，以生成具有像素值的残差块，即重构的残差块。逆变换单元225可以通过相反地执行由变换单元210使用的变换方案来执行逆变换。
加法单元230通过将由预测单元200预测的预测块与由逆变换单元225恢复的残差块相加来重构目标块。重构的目标块作为参考图片(或参考块)被存储在编码图片缓冲器240中，以在随后对目标块的下一块、另一个块或另一图片进行编码时用作参考图片。
滤波器单元235可以包括一个或更多个后处理滤波器，例如解块滤波器、样本自适应偏移(SAO)和自适应环路滤波器(ALF)。解块滤波器可以去除在重构图片中的块之间的边界处发生的块失真。ALF可以基于通过对在通过解块滤波器对块进行滤波之后的重构图像与原始图像进行比较而获得的值来执行滤波。SAO可以对在原始图像与应用解块滤波器的残差块之间的像素级别的偏移差进行重构。这些后处理滤波器可以应用于重构的图片或块。
编码图片缓冲器240可以存储由滤波器单元235重构的块或图片。存储在编码图片缓冲器240中的重构块或图片可以被提供给执行帧内预测或帧间预测的预测单元200。
熵编码单元245以各种扫描方法扫描所生成的量化频率系数序列，以生成量化系数序列，通过熵编码对量化系数序列进行编码，并且输出熵编码的系数序列。扫描图案可以被配置为各种图案(例如，Z字形、对角线和光栅)中的一种。此外，可以生成包括从每个分量接收的编码信息的编码数据，并且在比特流中输出该编码数据。
图3是示出根据本公开内容的实施方式的图像解码装置的框图。
参照图3，图像解码装置30可以被配置成包括熵解码器305、预测单元310、逆量化单元315、逆变换单元320、加法单元/减法单元325、滤波器330和解码图片缓冲器335。
此外，预测单元310可以被配置成包括帧内预测模块和帧间预测模块。
当从图像编码装置20接收到图像比特流时，可以将图像比特流发送至熵解码器305。
熵解码器305可以将比特流解码为包括量化系数的解码数据和要被发送至每个部件的解码信息。
预测单元310可以基于从熵解码器305接收的数据生成预测块。基于存储在解码图片缓冲器335中的参考图像，可以使用默认配置方案来产生参考图片列表。
帧间预测单元可以包括参考图片构造单元、运动补偿器和运动信息解码器。部件中的一些可以执行与编码器中相同的过程，并且其他部件可以相反地执行编码器的过程。
逆量化单元315可以对在比特流中提供并由熵解码器305解码的经量化的变换系数进行逆量化。
逆变换单元320可以通过对变换系数应用逆DCT、逆整数变换或类似的逆变换技术来生成残差块。
逆量化单元315和逆变换单元320可以反向地执行上述图像编码装置20的变换单元210和量化单元215的处理，并且可以以各种方式实现。例如，逆量化单元315和逆变换单元320可以使用与变换单元210和量化单元215共享的相同处理和逆变换，并且可以使用从图像编码装置20接收的关于变换和量化处理的信息(例如，变换尺寸、变换形状、量化类型等)来反向地执行变换和量化。
可以将已经被逆量化和逆变换的残差块添加到由预测单元310得出的预测块，从而产生重构的图像块。加法可以由加法单元/减法单元325执行。
关于滤波器330，当需要时，可以应用解块滤波器以从重构的图像块中去除块现象。为了改善解码处理之前和之后的视频质量，可以另外使用其他环路滤波器。
经重构和滤波的图像块可以被存储在解码图片缓冲器335中。
尽管在附图中未示出，但是图像编码/解码装置还可以包括块分割单元。
块分割单元可以分割成各种单元和尺寸的块。基本编码单元(或最大编码单元。编码树单元。CTU)可以参考用于图像编码/解码处理中的预测、变换、量化等的基本(或起始)单元。在这种情况下，基本编码单元可以根据颜色格式(在该示例中为YCbCr)由一个亮度基本编码块(最大编码块或CTB)和两个基本色度编码块组成，并且可以根据颜色格式来确定每个块的尺寸。根据划分过程可以获得编码块(CB)。CB可以被理解为由于某些限制而不再进一步细分的单元，并且可以被设置为用于划分为子单元的起始单元。在本公开内容中，块概念性地包含诸如三角形、圆形等的各种形状，而不限于正方形。
虽然在一个颜色分量的上下文中给出以下描述，但是其也以与根据颜色格式的比率成比例地可适用于具有一些修改的其他颜色分量(例如，在YCbCr 4:2:0的情况下，亮度分量与色度分量的宽-高长度比为2:1)。此外，尽管取决于其他颜色分量(例如，取决于Cb/Cr中的Y的块划分结果)的块划分是可能的，但是应当理解，每个颜色分量的块独立划分也是可能的。此外，尽管可以使用一种公共块划分配置(考虑到与长度比成比例)，但是还需要考虑和理解根据颜色分量使用单独的块划分配置。
在块分割单元中，块可以被表示为M×N，并且每个块的最大值和最小值可以在该范围内获得。例如，如果块的最大值和最小值分别是256×256和4×4，则可以获得尺寸为2
例如，可以生成关于块的最大尺寸和最小尺寸的信息，并且在一些划分配置中可以生成关于块的最大尺寸和最小尺寸的信息。在前一种情况下，信息可以是关于可以在图像中产生的最大尺寸和最小尺寸的范围信息，而在后一种情况下，信息可以是关于可以根据一些划分配置产生的最大尺寸和最小尺寸的信息。划分配置可以由图像类型(I/P/B)、颜色分量(YCbCr等)、块类型(编码/预测/变换/量化)、划分类型(索引或类型)和划分方案(作为树方法的四叉树(QT)、二叉树(BT)和三叉树(TT)，以及作为类型方法的SI2、SI3和SI4)来限定。
此外，可以存在对可用于块的宽高比(块形状)的约束，并且在这点上，可以设置边界值。仅小于或等于/小于边界值k的块可以被支持，其中k可以根据宽高比A/B(A是宽度与高度之间的较长或相等的值，而B是另一个值)来限定。k可以是等于或大于1的实数，例如，1.5、2、3、4等。如在以上示例中，可以支持对图像中的一个块的形状的约束，或者可以根据划分配置支持一个或更多个约束。
总之，可以基于上述范围和约束以及稍后描述的划分配置来确定块划分是否被支持。例如，当从块(父块)分割的候选(孩子块)满足支持块条件时，可以支持划分，否则，可以不支持划分。
块分割单元可以关于图像编码装置和图像解码装置的每个部件来配置，并且在该处理中可以确定块的尺寸和形状。可以根据部件来配置不同的块。所述块可以包括用于预测单元的预测块、用于变换单元的变换块和用于量化单元的量化块。然而，本公开内容不限于此，并且可以针对其他部件另外定义块单元。虽然在本公开内容中在每个部件中输入和输出中的每个的形状被描述为矩形，但是一些部件的输入和输出可以具有任何其他形状(例如，三角形)。
可以从较高的单元确定块分割单元中的初始(或起始)块的尺寸和形状。初始块可以被分割成更小的块。一旦根据块划分确定了最佳尺寸和形状，则可以将该块确定为较低单元的初始块。较高单元可以是编码块，并且较低单元可以是预测块或变换块，本公开内容不限于此。相反，各种修改例是可能的。一旦如以上示例中那样确定了较低单元的初始块，就可以执行划分过程以检测像较高单元那样的最佳尺寸和形状的块。
总之，块分割单元可以将基本编码块(或最大编码块)分割成至少一个编码块，并且编码块可以被分割成至少一个预测块/变换块/量化块。此外，预测块可以被分割成至少一个变换块/量化块，并且变换块可以被分割成至少一个量化块。一些块可以与其他块具有依赖关系(即，由较高单元和较低单元限定)，或者可以与其他块具有独立关系。例如，预测块可以是变换块上方的较高单元，或者可以是独立于变换块的单元。可以根据块的类型建立各种关系。
根据编码/解码配置，可以确定是否将较高单元和较低单元进行组合。单元之间的组合意味着较高单元的块经受较低单元(例如，在预测单元、变换单元、逆变换单元等中)的编码/解码处理，而不被分割成较低单元。也就是说，这可能意味着在多个单元之间共享划分过程，并且在单元中的一个(例如，较高单元)中生成划分信息。
例如，(当编码块与预测块或变换块组合时)，编码块可以经受预测、变换和逆变换。
例如，(当编码块与预测块组合时)，编码块可以经受预测，并且在尺寸上等于或小于编码块的变换块可以经受变换和逆变换。
例如，(当编码块与变换块组合时)，在尺寸上等于或小于编码块的预测块可以经受预测，并且编码块可以经受变换和逆变换。
例如，(当预测块与变换块组合时)，在尺寸上等于或小于编码块的预测块可以经受预测、变换和逆变换。
例如，(当不存在块组合时)，在尺寸上等于或小于编码块的预测块可以经受预测，并且在尺寸上等于或小于编码块的变换块可以经受变换和逆变换。
尽管在以上示例中已经描述了编码块、预测块和变换块的各种情况，但是本公开内容不限于此。
对于单元之间的组合，在图像中可以支持固定配置，或者考虑各种编码/解码因素可以支持自适应配置。编码/解码因素包括图像类型、颜色分量、编码模式(帧内/帧间)、划分配置、块尺寸/形状/位置、宽高比、预测相关信息(例如，帧内预测模式、帧间预测模式等)、变换相关信息(例如，变换方案选择信息等)、量化相关信息(例如，量化区域选择信息和量化变换系数编码信息)等。
当如上所述已经检测到最佳尺寸和形状的块时，可以生成该块的模式信息(例如，划分信息)。模式信息可以连同从块所属的部件生成的信息(例如，预测相关信息和变换相关信息)一起被包括在比特流中并且被发送至解码器，并且可以由解码器以相同单元级别解析以用于视频解码处理中。
现在，将描述划分方案。尽管为了便于描述，假设初始块被成形为正方形，但是本公开内容不限于此，并且该描述可以以相同或类似的方式应用于其中初始块为矩形的情况。
块分割单元可以支持各种类型的划分。例如，可以支持基于树的划分或基于索引的划分，并且还可以支持其他方法。在基于树的划分中，可以基于各种类型的信息(例如，指示是否执行划分的信息、树类型、划分方向等)来确定划分类型，而在基于索引的划分中，可以使用特定索引信息来确定划分类型。
图4是示出可以在本公开内容的块分割器中获得的各种划分类型的示例图。在该示例中，假设图4中所示出的划分类型是通过一个划分操作(或过程)获得的，其不应被理解为限制本公开内容。划分类型也可以在多个划分操作中获得。此外，图4中未示出的其他划分类型也是可用的。
(基于树的划分)
在本公开内容的基于树的划分中，可以支持QT、BT和TT。如果支持一种树方法，则这可以被称为单树划分，而如果支持两种或更多种树方法，则这可以被称为多树划分。
在QT中，块在水平方向和垂直方向中的每一个上被分割成两个分区(n)，而在BT中，块在水平方向或垂直方向上被分割成两个分区(b至g)。在TT中，块在水平方向或垂直方向上被分割成三个分区(h至m)。
在QT中，可以通过将划分方向限制到水平方向和垂直方向中的一个而将块分割成四个分区(o和p)。此外，在BT中，可以支持仅将块分割成相等尺寸的分区(b和c)、仅将块分割成不同尺寸的分区(d至g)、或者这两种划分类型。此外，在TT中，可以支持将块分割成仅集中在特定方向(左-＞右或上-＞下方向上的1:1:2或2:1:1)上的分区(h、j、k和m)、将块分割成集中在中心(1:2:1)的分区(i和l)、或者这两种划分类型。此外，可以支持在水平方向和垂直方向中的每一个上将块分割成四个分区(即，总共16个分区)(q)。
在树方法中，可以支持将块仅在水平方向上分割成z个分区(b、d、e、h、i、j、o)、将块仅在垂直方向上分割成z个分区(c、f、g、k、l、m、p)、或者这两种划分类型。在本文中，z可以是等于或大于2的整数，例如，2、3或4。
在本公开内容中，假设划分类型n被支持为QT，划分类型b和c被支持为BT，并且划分类型i和l被支持为TT。
根据编码/解码设置，可以支持树划分方案中的一个或更多个。例如，可以支持QT、QT/BT或QT/BT/TT。
在以上示例中，基本树划分方案是QT，并且根据是否支持其他树，BT和TT被包括作为附加划分方案。然而，可以进行各种修改。指示是否支持其他树的信息(bt_enabled_flag、tt_enabled_flag和bt_tt_enabled_flag，其中0指示不支持且1指示支持)可以根据编码/解码设置而隐式地确定或以例如序列、图片、切片或图块等单元显式地确定。
划分信息可以包括指示是否执行划分的信息(tree_part_flag或qt_part_flag、bt_part_flag、tt_part_flag和bt_tt_part_flag，其可以具有值0或1，其中0指示不划分，并且1指示划分)。此外，根据划分方案(BT和TT)，可以添加关于划分方向的信息(dir_part_flag，或bt_dir_part_flag、tt_dir_part_flag和bt_tt_dir_part_flag，其具有值0或1，其中0指示<宽度/水平的>并且1指示<高度/垂直的>)。这可以是在执行划分时生成的信息。
当支持多树划分时，可以配置各种划分信息。为了便于描述，以下描述给出如何在一个深度级别配置划分信息的示例(也就是说，但是可以通过设置一个或更多个支持的划分深度进行递归划分)。
在示例1中，检查指示是否执行划分的信息。如果没有执行划分，则划分结束。
如果执行划分，则检查关于划分类型的选择信息(例如，tree_idx。对于QT为0，对于BT为1，以及对于TT为2)。根据所选择的划分类型来附加地检查划分方向信息，并且过程进行到下一步骤(如果由于诸如当划分深度还没有达到最大值时产生的原因而进行附加的划分是可能的，则过程从起始再次开始，并且如果附加的划分是不可能的，则划分过程结束)。
在示例2中，检查指示是否以特定树方案(QT)执行划分的信息，并且过程进行到下一步骤。如果不是以树方案(QT)执行划分，则检查指示是否以另一树方案(BT)执行划分的信息。在这种情况下，如果不是以该树方案执行划分，则检查指示是否以第三树方案(TT)执行划分的信息。如果不是以第三树方案(TT)执行划分，则划分过程结束。
如果以树方案(QT)执行划分，则过程进行到下一步骤。此外，以第二树方案(BT)执行划分，检查划分方向信息，并且过程进行到下一步骤。如果以第三树方案(TT)执行划分，则检查划分方向信息，并且过程进行到下一步骤。
在示例3中，检查指示是否以树方案(QT)执行划分的信息。如果不以树方案(QT)执行划分，则检查指示是否以其他树方案(BT和TT)执行划分的信息。如果不执行划分，则划分过程结束。
如果以树方案(QT)执行划分，则过程进行到下一步骤。此外，以其他树方案(BT和TT)执行划分，检查划分方向信息，并且过程进行到下一步骤。
虽然在以上示例中，对树划分方案进行优先级(示例2和示例3)或者不对树划分方案分配优先级(示例1)，但是各种修改例也是可用的。此外，在以上示例中，当前步骤中的划分与前一步骤的划分结果无关。但是，当前步骤中的划分可以依赖于前一步骤的划分结果。
在示例1至示例3中，如果在先前步骤中执行了一些树划分方案(QT)，并且因此该过程前进至当前步骤，则在当前步骤中也可以支持相同的树划分方案(QT)。
另一方面，如果在先前步骤中未执行某个树划分方案(QT)并且执行了另一树划分方案(BT或TT)，在当前步骤和后续步骤中可以支持除某个树划分方案(QT)之外的其他树划分方案(BT和TT)。
在以上情况下，支持块划分的树配置可以是自适应的，并且因此上述划分信息也可以被不同地配置。(假设后面将描述的示例为示例3)。也就是说，如果在先前步骤中没有以某个树方案(QT)执行划分，则在当前步骤中可以不考虑树方案(QT)来执行划分过程。另外，可以去除与某个树方案相关的划分信息(例如，指示是否执行划分的信息、关于划分方向的信息等。在该示例
以上示例涉及针对允许块划分的情况的自适应划分信息配置(例如，块尺寸在最大值与最小值之间的范围内，每个树方案的划分深度未达到最大深度(允许深度)等)。即使当块划分受到限制时(例如，块尺寸不存在于最大值与最小值之间的范围中，每个树方案的划分深度已经达到最大深度等)，也可以自适应地配置划分信息。
如已经提到的，在本公开内容中，可以以递归方式执行基于树的划分。例如，如果具有划分深度k的编码块的划分标志被设置为0，则在具有划分深度k的编码块中执行编码块编码。如果具有划分深度k的编码块的划分标志被设置为1，则根据划分方案在具有划分深度k+1的N个子编码块中执行编码块编码(其中N是等于或大于2的整数，例如2、3和4)。
在以上过程中，子编码块可以被设置为编码块(k+1)并且被划分为子编码块(k+2)。该分层划分方案可以根据诸如划分范围和允许的划分深度的划分设置来确定。
在这种情况下，可以从一个或更多个扫描方法中选择表示划分信息的比特流结构。例如，可以基于划分深度的顺序或者基于是否执行划分来配置划分信息的比特流。
例如，在基于划分深度顺序的情况下，基于初始块在当前深度级获得划分信息，并且然后在下一深度级获得划分信息。在基于是否执行划分的情况下，首先在从初始块分割的块中获得附加划分信息，并且可以考虑其他附加扫描方法。
最大块尺寸和最小块尺寸可以具有与树类型(或所有树)无关的公共设置，或者可以针对每个树具有单独的设置，或者可以针对两个或更多个树具有公共设置。在这种情况下，最大块尺寸可以被设置成等于或小于最大编码块。如果根据预定的第一树的最大块尺寸与最大编码块不同，则使用预定的第二树方法隐式地执行划分，直到达到第一树的最大块尺寸为止。
另外，无论树类型如何，都可以支持公共分割深度，可以根据每个树来支持单独的分割深度，或者可以支持针对两个或更多个树的公共分割深度。替选地，可以针对一些树支持分割深度，而对于其他树可以不支持分割深度。
可以支持用于设置信息的显式语法元素，并且可以隐式地确定一些设置信息。
(基于索引的划分)
在本公开内容的基于索引的划分中，可以支持恒定分割索引(CSI)方案和可变分割索引(VSI)方案。
在CSI方案中，可以通过在预定方向上的划分来获得k个子块，并且k可以是等于或大于2的整数，例如2、3或4。具体地，可以基于k来确定子块的尺寸和形状，而与块的尺寸和形状无关。预定方向可以是水平方向、垂直方向和对角线方向(左上->右下方向或左下->右上方向)中的一个或者两个或更多个的组合。
在本公开内容的基于索引的CSI划分方案中，可以通过在水平方向或垂直方向上进行划分来获得z个候选。在这种情况下，z可以是等于或大于2的整数，例如2、3或4，并且子块在宽度和高度中的一者上可以是相等的，并且在宽度和高度中的另一者上可以是相等的或不同的。子块的宽度或高度长度比为A1:A2:……:AZ，并且A1至AZ中的每一个可以是等于或大于1的整数，例如1、2或3。
此外，可以通过分别沿着水平方向和垂直方向划分为x个分区和y个分区来获得候选。x和y中的每一个可以是等于或大于1的整数，例如1、2、3或4。然而，其中x和y两者都是1的候选可能是受限的(因为a已经存在)。尽管图4示出了其中子块具有相同的宽度比或高度比的情况，但是也可以包括具有不同的宽度比或高度比的候选。
此外，候选可以在对角线方向——左上->右下和左下->右上——中的一者上被分割成w个分区。在本文中，w可以是等于或大于2的整数，例如2或3。
参照图4，根据每个子块的长度比，可以将划分类型分类为对称划分类型(b)和非对称划分类型(d和e)。此外，划分类型可以被分类为集中在特定方向上的划分类型(k和m)和中心划分类型(k)。划分类型可以由包括子块形状以及子块长度比率的各种编码/解码因素来定义，并且所支持的划分类型可以根据编码/解码设置隐式地或显式地确定。因此，可以基于在基于索引的划分方案中支持的划分类型来确定候选组。
在VSI方案中，在每个子块的宽度w或高度h固定的情况下，可以通过在预定方向上的划分来获得一个或更多个子块。在本文中，w和h中的每一个可以是等于或大于1的整数，例如，1、2、4或8。具体地，可以基于块的尺寸和形状以及w或h值来确定子块的数量。
在本公开内容的基于索引的VSI划分方案中，可以将候选划分成子块，每一子块在宽度和长度中的一者上是固定的。替选地，候选可以被划分成子块，每个子块在宽度和长度两者上都是固定的。由于子块的宽度或高度是固定的，所以可以允许在水平方向或垂直方向上的等分。然而，本公开内容不限于此。
在其中划分前块的尺寸为M×N的情况下，如果每个子块的宽度w固定、每个子块的高度h固定、或者每个子块的宽度w和高度h两者都固定，则获得的子块的数量可以是(M*N)/w、(M*N)/h、或(M*N)/w/h。
根据编码/解码设置，可以支持CSI方案和VSI方案中的仅一者或两者，并且可以隐式地或显式地确定关于所支持的方案的信息。
将在所支持的CSI方案的上下文中描述本公开内容。
候选组可以被构造成根据编码/解码设置包括基于索引的划分方案中的两个或更多个候选。
例如，可以形成诸如{a，b，c}、{a，b，c，n}或{a至g和n}的候选组。候选组可以是包括基于一般统计特征预测为出现多次的块类型的示例，例如在水平方向或垂直方向上或者在水平方向和垂直方向中的每一个上被分割成两个分区的块。
替选地，可以构造诸如{a，b}、{a，o}或{a，b，o}的候选组，或者诸如{a，c}、{a，p}或{a，c，p}的候选组。候选组可以是包括如下候选的示例：每个候选分别在水平方向和垂直方向上被划分为两个分区和四个分区。这可以是以下示例：将预测为主要在特定方向上划分的块类型配置为候选组。
替选地，可以构造诸如{a，o，p}或{a，n，q}的候选组。这可以是以下示例：将候选组构造成包括被预测为要被划分成比划分之前的块小的许多分区的块类型。
替选地，可以构造诸如{a，r，s}的候选组，并且其可以是以下示例：确定可以通过其他方法(树方法)从分割之前的块获得的矩形形状的最佳划分结果，并且将非矩形形状构造为候选组。
如从以上示例中注意到的，各种候选组构造可以是可用的，并且考虑到各种编码/解码因素，可以支持一个或更多个候选组构造。
一旦候选组被完全构造，各种划分信息配置就可以是可用的。
例如，关于包括未被划分的候选a和被划分的候选b至s的候选组，可以生成索引选择信息。
替选地，可以生成指示是否执行划分的信息(指示划分类型是否为a的信息)。如果执行划分(如果划分类型不是a)，则可以生成关于包括被划分的候选b至s的候选组的索引选择信息。
可以以不同于上述的许多其他方式来配置划分信息。除了指示是否执行划分的信息之外，可以以诸如固定长度二值化、可变长度二值化等各种方式将二进制位分配给候选组中的每个候选的索引。如果候选的数目是2，则可以将1比特分配给索引选择信息，并且如果候选的数目是3，则可以将一个或更多个比特分配给索引选择信息。
与基于树的划分方案相比，被预测要出现多次的划分类型可以被包括在基于索引的划分方案中的候选组中。
由于用于表示索引信息的比特的数目可以根据所支持的候选组的数目而增加，因此该方案可以适合于单层划分(例如，划分深度被限制为0)，而不是基于树的分层划分(递归划分)。也就是说，可以支持单个划分操作，并且可以不进一步分割通过基于索引的划分获得的子块。
这可能意味着进一步划分成相同类型的较小块是不可能的(例如，通过基于索引的划分获得的编码块不能进一步分割成编码块)，并且还意味着可能进一步划分成不同类型的块也是不可能的(例如，不可能将编码块划分成预测块以及编码块)。显然，本公开内容不限于以上示例，并且其他修改例也是可用的。
现在，将给出主要基于编码/解码因素中的块类型来确定块划分设置的描述。
首先，可以在划分过程中获得编码块。可以采用基于树的划分方案用于划分过程，并且可以根据树型产生诸如图4的a(无分割)、n(QT)、b、c(BT)、i或l(TT)的划分类型。根据编码/解码设置，树类型的各种组合(例如，QT/QT+BT/QT+BT+TT)可能是可用的。
以下示例是将在以上过程中获得的编码块最终分割成预测块和变换块的处理。假设基于每个分区的尺寸执行预测、变换和逆变换。
在示例1中，可以通过将预测块的尺寸设置为等于编码块的尺寸来执行预测，并且可以通过将变换块的尺寸设置为等于编码块(或预测块)的尺寸来执行变换和逆变换。
在示例2中，可以通过将预测块的尺寸设置为等于编码块的尺寸来执行预测。变换块可以通过划分编码块(或预测块)来获得，并且可以基于所获得的变换块的尺寸来执行变换和逆变换。
在此，可以采用基于树的划分方案用于划分过程，并且可以根据树的类型得到诸如图4的a(无分割)、n(QT)、b、c(BT)、i或l(TT)的划分类型。根据编码/解码设置，树类型的各种组合(例如，QT/QT+BT/QT+BT+TT)可能是可用的。
在此，划分过程可以是基于索引的划分方案。可以根据索引类型获得划分类型，例如，图4的a(无分割)、b、c或d。根据编码/解码设置，可以构造诸如{a，b，c}和{a，b，c，d}的各种候选组。
在示例3中，可以通过划分编码块来获得预测块，并且该预测块基于所获得的预测块的尺寸经受预测。对于变换块，其尺寸被设置为编码块的尺寸，并且可以对变换块执行变换和逆变换。在该示例中，预测块与变换块可以呈独立关系。
基于索引的划分方案可以用于划分过程，并且可以根据索引类型获得划分类型(例如，图4的a(无分割)、b至g、n、r或s)。可以根据编码/解码设置来构造各种候选组，例如，{a，b，c，n}、{a至g，n}和{a，r，s}。
在示例4中，可以通过对编码块进行划分来获得预测块，并且该预测块基于所获得的预测块的尺寸经受预测。对于变换块，将其尺寸被设置成预测块的尺寸，并且可以对变换块执行变换和逆变换。在该示例中，变换块可以具有等于所获得的预测块的尺寸的尺寸，或者所获得的预测块可以具有等于变换块的尺寸的尺寸(将变换块的尺寸设置为预测块的尺寸)。
基于树的划分方案可以用于划分过程，并且可以根据树类型来生成划分类型(例如，图4的a(无分割)、b、c(BT)、i、l(TT)或n(QT))。根据编码/解码设置，树类型的各种组合(例如，QT/BT/QT+BT)可能是可用的。
在此，基于索引的划分方案可以用于划分过程，并且可以根据索引类型得到划分类型(例如图4的a(无分割)、b、c、n、o或p)。可以根据编码/解码设置来构造各种候选组，例如{a，b}、{a，c}、{a，n}、{a，o}、{a，p}、{a，b，c}、{a，o，p}、{a，b，c，n}和{a，b，c，n，p}。此外，可以在单独的VSI方案或者组合CSI方案和VSI方案作为基于索引的划分方案中构造候选组。
在示例5中，可以通过对编码块进行划分来获得预测块，并且该预测块基于所获得的预测块的尺寸经受预测。也可以通过对编码块进行划分来获得变换块并且该变换块基于所获得的变换块的尺寸经受变换和逆变换。在该示例中，预测块和变换块中的每一个可以由对编码块进行划分而得到。
在此，可以将基于树的划分方案和基于索引的划分方案用于划分过程，并且可以以与示例4相同的方式或类似的方式来构造候选组。
在这种情况下，以上示例是根据是否共享对每个块类型进行划分的过程而可能发生的情况，这不应被理解为限制本公开内容。各种修改例也可以是可用的。此外，可以考虑各种编码/解码因素以及块类型来确定块划分设置。
编码/解码因素可以包括图像类型(I/P/B)、颜色分量(YCbCr)、块尺寸/形状/位置、块宽高比、块类型(编码块、预测块、变换块或量化块)、划分状态、编码模式(帧内/帧间)、与预测有关的信息(帧内预测模式或帧间预测模式)、与变换有关的信息(变换方案选择信息)、与量化有关的信息(量化区域选择信息和量化变换系数编码信息)。
(块之间的关系的说明)
图5示出了用于说明家庭成员和与该家庭有关的人的遗传特征的家庭树的示例。为了便于说明，将示出根据特定性别(男性)的水平和垂直关系。
参照图5，目标人(自己)可以与哥哥和弟弟具有水平关系(a)，并且目标人(自己)可以与祖父(grandfather)、父亲(father，理想先辈)、孩子(儿子，理想后代)和孙子具有垂直关系(b)。此时，可能存在这样的情况，其中处于水平关系的人物具有相似的遗传因素，例如外貌、体格和性格。替选地，一些元素可能是相似的，而一些元素可能是不相似的。以上遗传因素是全部还是部分相似可能由各种环境因素(包括母亲)来确定。
以上描述可以适用于相同或相似的垂直关系。例如，可能存在这样的情况，其中对象人的遗传因素(外貌、体格、性格)与父亲相似。替选地，对象人的一些遗传因素(外貌、体格)可能与父亲相似，但是一些遗传因素(性格)可能(与母亲相似)与父亲不相似。
作为另一示例，目标人可能在遗传上与祖父(或孙子)相似，并且祖父可能在遗传上与孙子相似，但是每个人之间的相似度可以基于每个人之间的关系来确定。换言之，祖父与目标人之间(两个主要差异)的相似性可能高，而祖父与孙子之间(四个主要差异)的相似性可能低。
通常，直接分析可能是掌握目标人的特征的最优先考虑，但是当出现目标人没有出现时，直接分析是不可能的。在这种情况下，可以通过如以上示例中那样对处于各种关系中的人进行间接分析来大致掌握目标人的特征。当然，可能需要对与目标人具有高相似性的人进行分析。
已经通过以上示例描述了基于各种血液关系的人之间的关系，但是相同或相似的应用可以应用于用于图像压缩的编码。在此，将以基于块的编码作为示例。为了对预定块(目标块)进行编码，可以使用/参考与目标块以各种关系放置的块(相关块)的信息。
在此，相关块的信息可以是基于像素值的数据、基于在编码处理中使用的模式信息的数据、或者基于在编码处理中使用的设置信息的数据。例如，它可以是相关块的空间域中的像素值或频域中的系数值(或量化系数)。替选地，它可以是在对相关块进行编码的处理中生成的模式信息。替选地，它可以是关于在相关块的编码处理中使用的参考设置的信息(例如参考候选组)。在此，基于像素值的数据或基于模式信息的数据可以是配置参考设置的信息。
在本发明中，可以如下限定块(目标块和相关块，参考目标块描述)之间的关系。
-水平关系：在目标块与相关块没有交叠区域的情况下(块之间的独立关系)
-垂直关系：在目标块大于相关块并且包含相关块的情况下。或者，在目标块小于相关块并且包含在相关块中的情况下(块之间的依赖关系)
在此，在具有水平关系的情况下，可以定位相关块，而无论目标块所属的空间如何。也就是说，相关块可以属于在时间上与目标块相同的空间，或者可以属于在时间上与目标块不同的空间。
在此，在具有垂直关系的情况下，相关块可以定位在目标块所属的空间中。也就是说，相关块不属于在时间上与目标块不同的空间，但是根据编码设置，相关块可以基于在时间上不同的空间中与目标块对应的区域具有垂直关系。
图6示出了与目标块具有水平关系的相关块的各种布置的示例。参照图6，与目标块以水平关系放置的块可以被分类为属于在时间上相同的空间(Curr)的块和属于在时间上不同的空间(Diff)的块。
在此，即使相关块属于与目标块(X)的颜色分量不同的颜色分量，它也被认为属于在时间上相同的空间，但是水平关系的一些限定被改变(存在与目标块具有相同尺寸和位置的相关块)。在此，属于相同空间的块可以被分类为与目标块相邻(或最靠近)的块(UL、U、UR、L、DL)和不相邻(或远距离)的块(F0、F1、F2)。
在属于相同空间的块中，与目标块相邻的块可以是最靠近左、上、左上、右上、左下等的块。这是已经通过考虑光栅扫描顺序(或Z扫描。在2x2的情况下，为左上->右上->左下->右下)进行编码的块。也就是说，可以根据预定的扫描顺序来确定相邻块的位置，并且根据扫描顺序的类型(反向Z扫描<右下->左下->右上->左上>、顺时针扫描<左上->右上->右下->左下>、逆时针扫描<左上->左下->右下->右上>等)可能发生诸如在以上位置处去除块或在新位置(右、下、右下等)处添加块的改变。
另外，与目标块不相邻的块可以是已经被编码的块。在这种情况下，它可以属于与目标块相同的块单元(例如最大编码块)，或者可以属于相同分割单元(切片、图块等)。也就是说，可以支持有限的设置，例如针对不相邻但是可以被包括为相关块的区域放置范围(基于目标块在水平方向和垂直方向上存在于x_offset和y_offset的范围内)。在本发明中，假设与目标块具有水平关系的块已经被编码，但是不限于此。
对于目标块的编码，可以使用(参考)具有水平关系的相关块的编码信息/参考设置。
例如，相关块的像素值可以用于生成目标块的预测值。详细地，在帧内预测中，目标块的预测值可以通过将诸如外插、内插、平均的方法或者诸如块匹配或模板匹配的方法应用于相关块的像素值来获得。另外，在帧间预测中，目标块的预测值可以通过利用相关块的像素值使用诸如块匹配或模板匹配的方法来获得。在这种情况下，就在同一空间中寻找预测值而言，块匹配或模板匹配可以被限定为帧内预测(Mode_Intra)，或者根据预测方法可以被限定为帧间预测(Mode_Inter)，或者其可以被分类为另外限定的其他编码模式。
在此，仅将空间域中的像素值作为目标，但是相关块的频域中的全部或一些系数值可以用作目标块的预测值(即，用于频率分量的预测)。
例如，相关块的模式信息可以用于对目标块的模式信息进行编码。具体地，在帧内预测中，相关块的预测信息(定向模式、非定向模式、运动矢量等)可以用于对目标块的预测信息进行编码(MPM、非MPM等)。另外，在帧间预测中，相关块的预测信息(运动矢量、参考图片等)可以用于对目标块的预测信息进行编码。
在此，根据帧内预测的预测方法，不仅可以将属于与目标块在时间上相同的空间和相同的颜色分量的相关块作为目标(使用外插、内插、平均等的预测模式)，而且也可以将属于与目标块在时间上相同的空间和不同的颜色分量的相关块作为目标(其中复制不同颜色分量的数据的预测模式)。
在此，在帧间预测的情况下，将运动矢量和参考图片作为目标作为预测信息的示例，但是可以包括诸如运动信息编码模式、运动预测方向和运动模型的各种信息。
例如，对于目标块的参考设置，可以使用相关块的参考设置。详细地，在帧内预测中，相关块的MPM候选组可以用作目标块的MPM候选组。另外，在帧间预测中，相关块的运动预测候选组可以用作目标块的运动预测候选组。也就是说，即使基于相关块构造候选组，这也意味着可以按原样使用相关块的候选组，而无需在目标块中进行单独的候选组构造。
在以上示例中，已经在假设相关块是与目标块具有水平关系的一个块的情况下进行了描述。然而，图像中可能存在许多相关块，并且必须指定用于对目标块进行编码的至少一个相关块。以下情况分类仅是示例，并且有必要理解，各种情况配置和限定是可能的，而不限于此。
在此，可以将属于相同空间并且与目标块相邻的块指定为相关块(情况1)。替选地，可以将属于相同空间并且不与目标块相邻的块指定为相关块(情况2)。替选地，可以将属于不同空间的块指定为相关块(情况3)。替选地，可以将属于(情况1)至(情况3)中的全部或一些的块指定为相关块。
在此，在(情况1)的情况下，可以将与目标块相邻的左块、上块、左上块、右上块和左下块(L、U、UL、UR、DL)中的全部或一些指定为相关块。在(情况2)的情况下，可以将与目标块不相邻的块中的一个或更多个指定为相关块。在(情况3)的情况下，可以将与目标块相邻的中心块、左块、右块、上块、下块、左上块、右上块、左下块和右下块(C、L、R、U、D、UL、UR、DL、DR)中的全部或一些以及与目标块不相邻的块中的一个或更多个指定为相关块。
为了指定相关块，存在各种验证方法。首先，可以将包括基于目标块的预定位置的坐标的块指定为相关块。首先，基于(a，b)的左上坐标，假设目标块(m×n)的范围为(a+m-1，b+n-1)。
(情况1或情况3)在假设目标块和每个图片中的位置相同的情况下描述C块。因此，在相同图像Curr和不同图像Diff中具有相同字母的块的描述可能是共同的。然而，(在情况3的情况下)，C块的位置可能与图片中的目标块的位置不同，并且在稍后描述的示例(即，属于Diff的块)中，像素位置可以根据C块的位置进行改变。
C块是指包括在目标块的内部像素中的预定位置处的像素的块，例如(a，b)、(a，b+n-1)、(a+m-1，b)、(a+m-1，b+n-1)、(a+m/2-1，b+n/2-1)、(a+m/2+1，b+n/2-1)、(a+m/2-1，b+n/2+1)、(a+m/2+1，b+n/2+1)。并且，L块是指包括在目标块的左边界之外的像素中的预定位置处的像素的块，例如(a-1，b)、(a-1，b+n-1)，并且U块是指包括在目标块的上边界之外的像素中的预定位置处的像素的块，例如(a，b-1)、(a+m-1，b-1)。另外，UL块是指包括在目标块的左上边界之外的像素中的预定位置处的像素的块，例如(a-1，b-1)，UR块是指包括在目标块的右上边界之外的像素中的预定位置处的像素的块，例如(a+m，b-1)、(a-1，b+n)，并且DL块是指包括在目标块的左下边界之外的像素中的预定位置处的像素的块，例如(a-1，b+n)。在右方向、下方向和右下方向的情况下，省略它们，这是因为它们可以从以上描述中得出。
在以上描述中，给出了将包括在每个方向的块中存在的像素中的在一个位置处的像素的块指定为相关块的示例，但是可以在全部或一些方向上指定两个或更多个相关块，并且可以针对此限定两个或更多个像素位置。
(情况2)F
作为指定相关块的另一方法，可以将具有与目标块的编码信息具有相同/相似的模式信息的块指定为相关块。在这种情况下，模式信息不是指在当前阶段要被编码的信息(或使用/预测、候选组构造等)，而是已经被编码或具有已经被确定的不同属性/含义的信息。所确定的信息可以是在模式确定过程中的先前步骤中确定的信息，或者是在解码过程中的先前步骤中恢复的信息。
例如，当目标块使用非平移运动模型执行帧间预测时，可以将先前编码的块中使用非平移运动模型编码的块指定为相关块。在这种情况下，可以使用根据所指定的相关块的非平移运动模型的运动矢量信息来根据目标块的非平移运动模型来构造用于运动矢量预测的候选组。
在以上示例中，运动模型信息是指用于检查与目标块的相同性/相似性的具有不同属性/含义的信息，以及根据相关块的运动模型(非平移运动模型)的运动矢量可以是用于根据目标块的运动模型来构造运动矢量预测候选组的信息。在这种情况下，相关块可以与目标块相邻或者可以与目标块不相邻。如果存在较少与目标块具有相同性/相似性的模式，当将与目标块不相邻的区域中的块也指定为相关块并被使用/参考时，这可以是有用的。
可以考虑以下内容来确定对目标块进行编码所使用/参考的相关块。
可以基于对目标块进行编码要使用/参考的信息来确定相关块。在此，对目标块进行编码要使用/参考的信息是用于预测的像素值信息、与预测/变换/量化/环路滤波器/熵编码等有关的模式信息、以及与预测/变换/量化/环路滤波器/熵编码等有关的参考候选组信息。
另外，可以基于目标块的状态信息和目标块所属的图像信息来确定相关块。在此，可以基于块尺寸、块形状、块的水平/垂直长度比、诸如图片/分割单元(切片、图块等)/最大编码块的单元中的位置来限定目标块的状态信息。在此，可以基于图像类型(I/P/B)、颜色分量(Y/Cb/Cr)等来限定目标块所属的图像信息。
此外，可以基于目标块的编码信息来确定相关块。详细地，可以基于相关块是否具有与目标块存在相同性/相似性的信息来确定相关块。在此，针对相同性/相似性参考的信息可以是与预测/变换/量化/环路滤波器/熵编码等有关的模式信息。
考虑到以上示例中提到的全部或一些因素，可以确定相关块的类别(上述情况)、数目和位置。详细地，可以确定选择了哪个类别，并且可以确定在所选择的类别中支持的相关块的数目和位置。在这种情况下，每个类别中支持的块的数目可以是m、n、o，并且这些可以是0或更大的整数，例如0、1、2、3、5等。
相关块(块位置)可以在以目标块(或者与目标块所属的图像在时间上不同的图像中与目标块对应的块)为中心的诸如左、右、上、下、左上、右上、左下、右下、中心等的方向上确定。例如，可以根据最接近该方向的块确定相关块。替选地，可以在另外满足该方向和特定范围/条件的块中确定相关块。它可以属于与目标块所属的最大编码块不同的最大编码块，或者可以是在基于目标块的水平或垂直长度具有差异的位置(例如，左、上、左上方向)处的块。
此外，可以基于编码顺序来确定相关块，并且在这种情况下，可以通过诸如光栅扫描和z扫描的各种扫描方法来限定编码顺序。作为示例，可以包括预定数目的块作为相关块(基于接近的编码顺序)，并且预定数目可以是大于或等于0的整数，例如0、1、2、3等。也就是说，可以根据编码顺序以诸如FIFO(先进、先出)的存储器管理方法来管理相关块，并且它可以是确定(要包括在候选组中的决定)可以发生在(情况2)中的相关块的示例。
当支持一个相关块时，这可能意味着仅可以使用/参考相应块的信息。另外，即使支持多个相关块，也可以根据编码设置基于多个相关块得出一条信息。例如，在帧间预测中，针对运动矢量预测指定了三个相关块例如左块、上块和右上块，以支持三个运动矢量，但是可以通过诸如根据编码设置的三个块的运动矢量的中值(或平均值)的方法来得出一个运动矢量，以用作目标块的运动矢量预测值。
在以上示例的情况下，它可以是可以减少通过支持两个或更多个候选而生成的最佳候选选择信息的出现的编码设置。然而，可能难以期望得出与目标块的编码信息具有高相关性的一个候选。因此，构造具有多个候选的候选组的方法可以更有效。当然，随着候选组中包括的候选的数目增加，用于表示此的信息的量可能会增加，因此构建有效的候选组是重要的。
因此，可以支持诸如上述各种示例的相关块，但是可能需要考虑一般图像特性等来指定最佳相关块，并且基于此来构造候选组。在本发明中，假设通过来自一个或更多个相关块的两条或更多条信息来构造候选。
以下示出了基于与目标块具有水平关系的块和编码/解码处理的候选组构造。
指定针对目标块的编码信息所参考的块(1)。基于指定块的编码信息以预定顺序构造候选组(2)。基于目标块的编码信息选择候选组的一个候选(3)。基于所选择的候选执行图像编码/解码处理(4)。
在(1)中，指定用于构造针对目标块的编码信息的候选组的相关块。在这种情况下，相关块可以是与目标块具有水平关系的块。已经描述了可以包括如上所述的各种类别的相关块，并且除了目标块的编码信息之外，还可以考虑诸如目标块的状态信息的各种信息来指定相关块。
在(2)中，基于通过以上处理指定的相关块的编码信息，根据预定顺序构造候选组。在此，在候选组中可以包括基于一个相关块的编码信息获得的信息，或者在候选组中可以包括基于多个相关块的编码信息获得的信息。在这种情况下，可以针对候选组构造顺序支持固定顺序，或者可以支持基于各种编码元素(在指定相关块时要考虑的元素等)的自适应顺序。
在(3)中，基于目标块的编码信息选择候选组的一个候选，并且在(4)中，可以基于此执行图像编码/解码处理。
流程图可以是以块为单元进行检查和执行的处理。在此，在一些步骤(1、2)的情况下，它可以是在编码的初始阶段进行检查和执行的处理。即使在以上(1)至(4)中未提及该内容，由于可以通过上述各种实施方式得出，因此将省略其详细描述。通常，难以预先确认在具有水平关系的块中哪个块与目标块具有高相关性。稍后将描述预先确认在具有水平关系的块中其与目标块具有什么相关性的方法。另外，尽管(3)描述了选择候选组中的一个候选的情况，但是也可以根据编码信息的类型、编码设置等来选择两条或更多条信息，并且这可以是通常适用于本发明的描述。
目标块和相关块可以是编码/预测/变换/量化/环路滤波器等的单元中的一者，并且目标块和相关块可以设置在同一单元中。例如，当目标块是编码块时，相关块也可以是编码块，并且根据编码设置以不同单元设置的修改也是可能的。
图7示出了与目标块呈垂直关系的相关块的各种布置的示例。
图7是其中执行基于递归树的划分(QT)的情况，并且将以X和A至C块为中心给出描述。从具有分割深度为0的基本编码块(CTU.C块)开始，随着分割深度的增加，可以获得块B(1)、X(2)和A(3)。在此，与目标块呈垂直关系放置的块可以被分类为较高块(或先辈块)和较低块(或继承块)。在这种情况下，目标块X的较高块可以是B块或C块，并且较低块可以为A块。在此，目标块和相关块可以分别被设置为较高块和较低块，或者可以分别被设置为较低块和较高块。
例如，在该示例中，如果其具有与目标块的分割深度(k)相比较大值，则相关块可以是孩子块(k+1)或孙子块(k+2)，并且如果其具有较小值，则相关块可以是父块(k-1)或祖父块(k-2)。也就是说，除了限定现有块之间的垂直关系之外，还可以通过分割深度来确认块之间的详细关系。
在此，如以上示例中那样，支持一种树方法并且可以通过公共分割深度进行比较。当支持多种树方法并且支持根据每种树方法的大于一的分割深度时，可以通过考虑分割的数目和每个分割深度来检查详细的关系，而不是如以上示例中那样的简单分类。
例如，如果在4M×4N块中执行1次QT，则可以在(QT)分割深度1处获得2M×2N块，但是当执行2次BT时，可以获得2M×2N块。然而，(BT)分割深度与在2处获得的分割深度相同。在这种情况下，4M×4N块可以是针对2M×2N块的父块(QT)或祖父块(BT)，并且相反地，可以是孩子块(QT)或孙子块(BT)，并且可以基于块分割结果来确定详细的关系。
在以上示例中，分割的起始单元是最大编码单元(最高先辈块，块可以具有的最大尺寸。在此，假设其是编码单元或块。当块是预测或变换的单元时，其可以被理解为最大预测块或最大变换块)。不可能具有超过最大编码单元的垂直关系，但是具有垂直关系的块区域可以根据与诸如最大编码单元的块分割设置分开的编码设置来自由设计。在本发明中，假设垂直关系不偏离最大编码单元。另外，稍后将以基于树的划分方法为中心来描述块之间的关系，但是将预先提到对于基于索引的划分方法可以相同或相似的应用。
对于目标块的编码，可以使用具有垂直关系的相关块的编码信息/参考设置。为了便于说明，假设目标块是相关块的较低块。在这种情况下，较高块不是执行编码、预测、变换等的独立单元，并且可以是由多个较低块组成的临时单元。也就是说，有必要理解，其是用于获得执行编码的独立单元(即，其中不再执行划分的编码/预测/变换块等)的块划分处理的起始单元或中间单元。
例如，相关块的参考像素可以用于生成目标块的预测值。详细地，在帧内预测中，可以通过将诸如外插、内插、平均或模板匹配的方法应用于相关块的参考像素来获得目标块的预测值。另外，在帧间预测中，可以通过使用诸如与相关块的参考像素进行模板匹配的方法来获得目标块的预测值。
在此，相关块的参考像素不是位于相关块中的像素，而是指通过假设相关块是用于执行帧内预测/帧间预测的单元而获得的像素。也就是说，这意味着与相关块(较高块)具有水平关系的块(例如，最靠近左、上、左上、右上、左下方向)的像素用于目标块(较低块)的帧内预测/帧间预测。
例如，对于目标块的参考设置，可以使用相关块的参考设置。详细地，在帧内预测中，相关块的MPM候选组可以用作目标块的MPM候选组。另外，在帧间预测中，相关块的运动预测候选组可以用作目标块的运动预测候选组。也就是说，即使基于相关块构造候选组，这意味着相关块的候选组也可以按原样使用，而无需经过用于目标块的单独候选组构造。
在以上示例中，基于相关块而不是目标块来确定预测值和参考设置，并且因此可能发生使用与目标块具有差相关性的信息来执行编码的问题。然而，由于相关信息不是从完全间隔开的区域获得的，因此可能存在一定程度的相关性。由于要在每个较低块单元中执行的处理被集成至较高块中的一个公共处理中，因此可以降低复杂度。另外，属于较高块的较低块的并行处理是可能的。
在以上示例中，已经基于以下假设进行了描述：相关块是与目标块具有垂直关系的一个块，但是图像中可能存在许多相关块，并且必须指定用于对目标块进行编码的至少一个相关块。
以下示出了对具有垂直关系的块可能具有的支持条件/范围的描述，并且其可以基于稍后要描述的示例中提到的全部或一些因素来确定。
(情况1)较高块可以小于或等于预定的第一阈值大小。在此，第一阈值大小可能意味着较高块可以具有的最大尺寸。在此，第一阈值大小可以以宽度(W)、高度(H)、W×H、W*H等表示，并且W和H可以是8、16、32、64或更大的整数。在此，可以基于最大编码块、最大预测块和最大变换块的尺寸来设置具有第一阈值大小的块。
(情况2)较低块可以大于或等于预定的第二阈值大小。在此，第二阈值大小可能意味着较低块可以具有的最小尺寸。在此，第二阈值大小可以以宽度(W)、高度(H)、W×H、W*H等表示，并且W和H可以是4、8、16、32或更大的整数。然而，第二阈值大小可以被设置为小于或等于第一阈值大小。在此，可以基于最小编码块、最小预测块和最小变换块的尺寸来设置具有第二阈值大小的块。
(情况3)可以基于较高块的尺寸来确定较低块的最小尺寸。在此，可以通过将预定除法值(p)或移位运算值(q。右移位运算)应用于较高块的宽度(W)或高度(H)中的至少一个来确定较低块的最小尺寸(例如，W％p或H>>q等)。在此，除法值可以是2、4、8或更大的整数，并且移位运算值q可以是1、2、3或更大的整数。
(情况4)可以基于较低块的尺寸来确定较高块的最大尺寸。在此，可以通过将预定乘法值(r)或移位运算值(s。左移位运算)应用于较低块的宽度(W)或高度(H)中的至少一个来确定较高块的最大尺寸(例如，W*r或H< (情况5)可以考虑较高块的尺寸和划分设置来确定较低块的最小尺寸。在此，可以通过分割类型(树类型)、分割深度(公共深度、针对每个树的单独深度)等来确定分割设置。例如，如果在较高块中支持QT，则可以将其中执行了m次划分的块的尺寸确定为较低块的最小尺寸，并且如果支持BT(或TT)，则可以将其中执行了n次划分的块的尺寸确定为较低块的最小尺寸，并且如果支持QT和BT(或TT)，则可以将其中执行了l次划分的块的尺寸确定为较低块的最小尺寸。在此，m至l可以是1、2、3或更大的整数。被分割成较小块(或被分割成较大数目)的树的分割深度(m)(由于一次分割操作)可以被设置为小于或等于没有被分割成较小块(或没有被分割成较大数目)树的分割深度(n)。另外，当树分割被混合时的分割深度(l)可以被设置为大于或等于被分割成较小块的树的分割深度(m)，并且可以被设置为小于或等于没有被分割成较小块的树的分割深度(n)。 替选地，可以考虑较低块的尺寸和分割设置来确定较高块的最大尺寸。在该描述中，可以相反地从以上示例得出，并且将省略详细描述。 可以考虑以下内容来确定用于对目标块进行编码所使用/参考的相关块。 可以基于用于对目标块进行编码要使用/参考的信息来确定相关块。在此，用于对目标块进行编码要使用/参考的信息可以是用于预测的像素值信息和与预测/变换/量化/环路滤波器/熵编码等有关的参考候选组信息。 另外，可以基于目标块的状态信息和目标块所属的图像信息来确定相关块。在此，可以基于块尺寸、块形状、块的水平/垂直长度比、在诸如图片/分割单元(切片、图块等)/最大编码块的单元中的位置来限定目标块的状态信息。在此，可以基于图像类型(I/P/B)、颜色分量(Y/Cb/Cr)等来限定目标块所属的图像信息。 可以考虑以上示例中提到的全部或一些因素来确定相关块的数目、尺寸、位置等。详细地，可以确定是否使用/参考具有垂直关系的块的信息用于对目标块进行编码，并且(当使用/参考时)可以确定相关块的位置和尺寸。在此，相关块的位置可以以块内的预定坐标(例如，左上坐标)表示，并且相关块的尺寸可以以宽度(W)和高度(H)表示。可以通过组合这些指定相关块。 例如，如果不存在针对较低块的特别范围限制，则属于相关块的全部较低块(目标块)可以使用/参考相关块的编码信息。替选地，如果针对较低块的范围是有限的，则如果其属于相关块并且大于针对较低块的尺寸，则可以使用/参考相关块的编码信息。另外，当支持两个或更多个相关块时，可以另外生成相关块的选择信息。 以下示出了基于与目标块具有垂直关系的块的候选组构造和编码/解码处理。 确定用于指定要参考的块的基本块(1)。基于所确定的基本块指定用于目标块的编码信息要参考的块(2)。使用所指定的块的编码信息以预定顺序构造候选组(3)。基于目标块的编码信息选择候选组中的一个候选(4)。基于所选择的候选执行图像编码/解码处理(5)。 在(1)中，从目标块或第一相关块中确定用作用于构造与目标块的编码信息有关的候选组的标准的块(基本块)。在此，第一相关块可以是与目标块具有垂直关系的块(在此为较高块)。 在(2)中，当通过以上处理确定基本块时，指定用于构造与目标块的编码信息有关的候选组的第二相关块。在此，第二相关块可以是与基本块具有水平关系的块。在(3)中，使用通过以上处理指定的第二相关块的编码信息以预定顺序来构造候选组。具有水平关系的块的描述将被省略，因为其不仅可以通过基于具有水平关系的块的候选组构造和编码/解码处理得出，而且还可以通过上述各种实施方式得出。 在(4)中，基于目标块的编码信息选择候选组中的一个候选，并且在(5)中，可以基于此执行图像编码/解码处理。 在这种情况下，当基于块之间的垂直关系设置来确定较高块和较低块时，由于基于较高块构造候选组的处理仅执行一次，因此较低块可以使用/借用基于较高块构造候选组的处理。也就是说，流程图可以是可以在其中首先执行编码/解码的块中生成的配置。如果已经完成了基于较高块的候选组的构造并且以某些顺序(2、3)将基本块确定为相关块，则可以简单地使用/借用已经构造的候选组。 在以上示例中，如果基于较高块来构造候选组，则将较低块描述为简单的使用/借用配置，但不限于此。 例如，即使基于较高块来构造候选组，也可以固定一些候选而不管较低块如何，而其他候选基于较低块可以是自适应的。也就是说，这意味着可以基于较低块来删除/添加/改变一些候选。在这种情况下，可以基于较高块内的较低块的位置和尺寸来执行删除/添加/改变。 也就是说，即使在一些步骤(2、3)中将基本块确定为相关块，也可以构造其中反映了对已经构造的候选组的全部或一些修改的候选组。 目标块和相关块可以是编码/预测/变换/量化/环路滤波器等的单元中的一个，并且目标块可以是与相关块相同的单元或较高单元。例如，当目标块是编码块时，相关块可以是编码块，并且当目标块是编码块时，相关块可以是预测块或变换块。 图8示出了与目标块具有垂直关系和水平关系的相关块的各种布置示例。 图8示出了其中执行基于递归树的划分(四叉树)的情况，并且将以X、A至G和p至t块为中心进行描述。从具有分割深度为0的基本编码块(CTU)开始，随着分割深度的增加，可以获得q/r/t(1)块、p/D/E/F/s(2)块、A/B/C/G/X(3)块。在此，其可以被分类为与目标块具有垂直关系的块和与目标块具有水平关系的块。在这种情况下，与目标块X具有垂直关系的相关块(较高块)可以是p块和q块(排除CTU)，而具有水平关系的相关块可以是A块至G块。 在此，在一些相关块的情况下，不仅存在具有与目标块的分割深度(k)相比较小值的块，而且还具有与目标块的分割深度(k)相比较大值的块。假设本实施方式以上述块为目标，并且目标块具有最大的分割深度(即，没有更多的分割)。 在块分割中，根据图像的特性来确定分割结果。在诸如背景的平坦部分或者具有小的时间变化的区域中可以使块分割最小化。在具有复杂图案的部分或者具有快速时间变化的区域中可以大量执行块分割。 通过本发明的上述示例，已经提到可以使用/参考具有许多水平关系或垂直关系的块用于对目标块进行编码。通过稍后要描述的示例，将呈现通过考虑在目标块周围具有水平关系的块和具有垂直关系的块来更有效地使用它们的方法的各种示例。因此，前提是可以以相同或相似的方式将上述水平关系和垂直关系的描述应用于稍后要描述的内容。 接下来，将描述根据块分割的类型(方法)以水平关系放置的块之间的相关性的各种情况。在这种情况下，假设QT、BT和TT被支持为分割方案，BT是对称分割(SBT)，并且TT以1:2:1的比率分割。另外，前提是以一般水平关系放置的块可以具有高或低相关性(一般关系)。在每种情况下，假设仅支持一种描述的树方法。 图9是根据树类型获得的块分割的示例图。在此，p至r表示QT、BT和TT的块分割的示例。假设当块本身的编码由于块中某些区域的特性不同而无效时执行块分割。 在QT(p)的情况下，其分别水平地和垂直地被分割成两个，并且可以看出，四个子块中的至少一个具有不同的特性。然而，由于获取了4个子块，因此不可能知道哪个特定子块具有不同的特性。 例如，块A至块D都可以具有不同的特性，块A至块D中仅一个可以具有不同的特性，并且其余的可以具有相同的特性。块A和块B具有相同的特性，并且块C和块D可以具有相同的特性。块A和块C可以具有相同的特性，并且块B和块D可以具有相同的特性。 如果块A和块B、块C和块D各自具有相同的特性并且支持BT，则可以在BT中执行水平分割。然而，如果其像p一样通过QT分割，则可以看出块A和块B、块C和块D具有彼此不同的特性。然而，在该示例中，由于假设仅支持QT，因此不能准确地找出块之间的相关性。 如果仅支持QT并且对在目标块(子块中的一个)周围具有分割深度为1个差的较高块执行QT，则目标块与相关块(子块中除了目标块之外的块)之间的相关性可能高或低。 BT(q)在水平方向或垂直方向任一者上被分割成两个，并且可以看出，两个子块(E块和F块)具有不同的特性。如果子块之间的特性相同或相似，则可以在假设其未被分割的情况下如上述限定得出。如果仅支持BT并且对在目标块周围具有分割深度为1个差的较高块执行BT，则目标块与相关块之间的相关性可能低。 在TT(r)的情况下，其在水平方向或垂直方向任一者被分割成三个，并且可以看出，三个子块中的至少一个具有不同的特性。然而，由于获得了3个子块，因此不可能知道哪个特定子块具有不同的特性。 例如，块G至块I可能都具有不同的特性。块G和块H块具有相同的特性，而块I可能具有不同的特性。块H和块I具有相同的特性，而块G可能具有不同的特性。 如果块G和块H具有相同的特性，块I具有不同的特性，并且也支持BT(非对称)，则可以在BT中执行垂直分割(3:1)，但是如果其像r一样通过TT分割，可以看出，块G和块H以及块I具有不同的特性。然而，由于在该示例中假设仅支持TT，因此不能准确地找出块之间的相关性。如果仅支持TT并且对目标块周围具有分割深度为1个差的较高块执行TT，则目标块与相关块之间的相关性可能高或低。 上面已经描述了在划分方案中的QT和TT的情况下，块之间的相关性可能高或低。假设仅支持划分方案(例如，QT)，并且已知除了一个子块(例如，D块)之外的其余子块的编码信息。如果除了D块之外的其余子块A至子块C的编码信息相同或相似，则D块可以具有不同的特性，并且因此可以通过QT分割。以这种方式，还可以通过检查属于较高块的较低块的编码信息来识别相关信息。然而，由于发生的可能性低并且可能是复杂的情况，因此对此的描述将仅提到可能性，并且将省略其详细描述。作为参考，在以上情况下，由于D块与具有水平关系的块具有低相关性，因此可以使用/参考具有垂直关系的块的编码信息，该编码信息指代D块的较高块(包括A和D的块)的候选组构造信息。 在以上示例中，已经描述了当针对较高块支持一个树分割时子块之间的相关性。也就是说，当使用/参考具有水平关系的块的编码信息用于对目标块进行编码时，通过检查目标块与相关块之间的分割状态(路径)可以更有效地使用/参考相关块的编码信息。例如，当构造候选组时，可以排除关于被确定为具有低相关性的块的信息，或者可以向其分配低优先级。替选地，可以使用具有垂直关系的块的信息和参考设置。 在这种情况下，支持一个树分割的情况可以包括仅支持一种树方法进行块分割的情况，并且即使支持多个树分割也可以包括通过最大值、最小值、根据每个树方法的块的最大分割深度仅支持一个树分割的情况，并且其中在稍后分割深度处不支持在先前分割深度处不允许的树的块分割设置。也就是说，仅支持QT并且可以使用QT进行分割，并且支持QT/BT/TT，但是在此阶段仅BT是可能的，因此可以使用BT进行分割。 下面将针对当支持多个树分割时检查每个块之间的相关性的情况进行描述。 图10是由于QT、BT、TT而获得的分割的示例图。在该示例中，假设最大编码块为64×64，并且最小编码块为8×8。另外，假设支持QT的块的最大值为64×64，最小值为16×16，支持BT的块的最大值为32×32，最小值为4，为该块的水平/垂直长度中的一个，并且最大分割深度为3。在这种情况下，假设针对TT的分割设置与BT一起确定(它们捆绑使用)。假设针对较高块(A至M)支持QT和BT(QT、BT)，针对左下块(N至P)另外地支持非对称BT(ABT)(QT、BT<或SBT>、ABT)，针对右下块(Q至S)另外地支持TT(QT、SBT、ABT、TT)。 (基本块：包括B、C、D、E的块) 块B至块E可以是可以通过QT(分割一次)获得的子块，并且可以是可以通过BT获得的子块(一次垂直分割+两次水平分割，或者一次水平分割+两次垂直分割。分割数为3次)。 由于支持QT的最大块尺寸为16×16，因此无法通过QT获得块B至块E，并且块B至块E可以是通过BT分割的子块。在该示例中，在BT中执行水平分割(B+C/D+E)，并且在每个区域中执行垂直分割(B/C/D/E)。因此，如上所述，如从相同的较高块(父块、分割深度差为1)作为BT获得的块B和块C、块D和E可以具有低相关性。 另外，由于块B和块D或者块C和块E被分割，因此块B与块D或者块C与块E之间的相关性可能低。这是因为如果相关性高，则仅在BT中执行垂直分割，并且可能不在每个区域中执行分割。 在以上示例中，提到了通过BT获取的子块之间的相关性低，但这仅限于属于同一较高块(父块、分割深度差为1)的子块，但是在该示例中，可以通过扩展至同一较高块(祖父母块、分割深度差为2)来检查块之间的相关性。 (基本块：包括J、K、L、M的块) 块J至块M可以是可以通过QT获得的子块或者可以通过BT获得的子块。 由于可以支持QT和BT两者的范围，可以选择树方法作为最佳分割类型。这是其中执行QT的示例。通过上述示例，提到了通过QT获得的子块之间的相关性可能高或低。然而，在该示例中，由于支持多个树分割，因此可以不同地确定子块之间的相关性。 块J和块K或者块L和块M中的每一个可以具有低相关性，并且块J和块L或块K和块M中的每一个可以具有低相关性。这是因为如果块J至块M中的与水平方向和垂直方向相邻的块之间的相关性高，则即使不执行QT且执行BT，也可能不分割具有高相关性的区域。 在以上示例中，提到了通过QT获取的子块之间的相关性可能高或低，但这是在支持单个树方法的情况下，并且在该示例中，当支持多个树方法时，可以基于块分割的各种情况的数目来检查块之间的相关性。 (基本块：包括N、O、P的块) 块N至块P可以是通过BT(一次水平分割+一次水平分割)获得的子块(比率为2:1:1)。 (当仅支持对称BT 在该示例中，可以支持非对称BT (基本块：包括Q、R、S的块) Q块至S块可以是通过TT(一次水平分割)获得的子块。 (当仅支持TT时)Q块和S块可能具有高或低相关性。在该示例中，可以支持非对称BT。如果Q块与R块之间的相关性高，则Q块和R块的区域被分组，并且可以以3:1的比率执行非对称BT的水平分割。然而，由于执行了TT，因此Q块与R块之间的相关性可能低。 如以上示例中那样，可以基于所支持的分割方法和分割设置来估计目标块和与目标块具有水平关系的相关块之间的相关性。请通过以下内容查看有关块之间的相关性的各种情况。 图11是用于基于分割方法和分割设置来检查块之间的相关性的示例图。 (a)至(c)是其中分别执行QT、BT和TT的情况，并且针对较高块可以仅支持QT、BT和TT。如上所述，在QT和TT的情况下，水平方向或垂直方向上的相邻块(A和B或者A和C)之间的相关性可能高或低。这被称为一般关系。同时，在BT的情况下，在水平方向或垂直方向上相邻的块A和块B之间的相关性可能低。这被称为特定关系。 (d)是其中执行QT的情况，并且可以是其中可以支持QT和BT的情况。在该示例中，在水平方向或垂直方向上相邻的块(A和B或者A和C)之间的相关性可能是低特定关系。如果相关性高，则可能已应用BT而不是QT。 (e)是其中执行BT(一次垂直分割+一次水平分割)的情况，并且可以是其中可以支持QT和BT的情况。在A和B的情况下，由于它们是通过BT从同一较高块中分割的，因此这可能是具有低相关性的特定关系。在A和C的情况下，如果A和C下方的区域高度相关，则可以将它们分组在一起并且可以执行分割。然而，这可能是由于编码成本的原因而被分割成C的情况。当然，由于可能是其他情况，因此A和C可能是具有高或低相关性的一般关系。 (f)是其中执行BT(一次垂直分割+一次垂直分割)的情况，并且可以是其中可以支持BT和TT的情况。在A和C的情况下，由于它们是通过BT从同一较高块中分割的，因此这可能是具有低相关性的特定关系。在A和B的情况下，存在以下情况：其中将A和B分组在一起并执行分割(与TT的1:2:1区域中的2对应的部分)，但是左侧区域的其他分割由于TT而发生。在这种情况下，由于难以准确地确定相关性，因此A和B可以具有其中高或低相关性的一般关系。 (g)是其中执行TT(一次垂直分割)的情况，并且可以是其中可以支持BT(或SBT)、ABT和TT的情况。在该示例中，在水平方向或垂直方向上相邻的块(A和B或者A和C)之间的相关性可能是低特定关系。如果相关性高，则可能已应用ABT而不是TT。 (h)是其中执行QT和BT的情况(基于BT的两次垂直分割)，并且可以支持QT和BT<1>，并且可以是其中可以支持其他TT的情况<2>。在A和B的情况下，在<1>的情况下，不存在其中在A和B绑定的状态下分割基本块的情况，因此相关性可能是高或低的一般关系。然而，在<2>的情况下，存在以下情况：其中在A和B绑定的状态下分割基本块(在BT水平分割、顶侧上的BT垂直分割、底侧上的TT垂直分割之后)，但是仍然使用QT和BT对其进行分割。因此，这可能是具有低相关性的特定关系。在该示例中，为了检查块之间的关系，可以检查可以从具有1或更大的差的同一较高块(在该示例中差为2)获得的关于块分割的情况的数目。 通过上述各种示例，已经确认测量了块之间的相关性，以使用/参考与目标块具有水平关系的相关块。在这种情况下，可以将与目标块属于同一空间并且与目标块相邻的相关块作为目标。特别地，目标块和相关块可以是在水平方向或垂直方向上彼此相邻的块。 可以基于各种信息来掌握/估计块之间的相关性。例如，可以基于目标块和相关块的状态信息(尺寸、形状、位置等)来检查块之间的相关性。 在此，作为基于块的尺寸确定相关性的示例，如果与和目标块接触的边界(水平或垂直)相邻的相关块的预定长度(水平长度或垂直长度)大于或等于目标块的预定长度，则块之间的相关性可能非常高或略低，并且这被称为一般关系A。如果相关块的预定长度小于目标块的预定长度，则块之间的相关性可能略高或非常低，并且这被称为一般关系B。在这种情况下，可以在触摸水平边界(顶侧上的块)时比较每个块的水平长度，并且可以在触摸垂直边界(左侧上的块)时比较每个块的垂直长度。 在此，作为基于块的形状确定相关性的示例，当目标块具有矩形形状时，其中与和水平长度和垂直长度中的较长边界相邻的相关块的相关性是一般关系A，并且其中与和较短边界相邻的相关块的相关性可以是一般关系B。 以上描述可以是基于块的状态信息确定块之间的相关性的一些示例，并且各种修改例是可能的。不仅可以基于块的状态信息而且还可以基于各种信息来掌握块之间的相关性。 以下描述检查其中与目标块具有水平关系的相关块的相关性的处理。 (检查图像中的块分割设置) <1>可以检查关于图像中的块分割的各种设置信息。检查诸如编码/预测/变换的单元(在该示例中假设目标块是编码单元)的支持范围信息例如最大块尺寸、最小块尺寸等。作为示例，可以检查最大编码块为128×128并且最小编码块为8×8。 <2>检查支持的分割方案，并且检查由每个分割方案支持的条件例如最大块尺寸、最小块尺寸和最大分割深度。例如，支持QT的块的最大尺寸可以是128×128，最小尺寸可以是16×16，支持BT和TT的块的最大尺寸可以分别是128×128和64×64，最小尺寸通常可以是4×4，并且最大分割深度可以是4。 <3>检查要分配给分割方案的设置例如优先级。例如，如果通过QT分割，则针对其较低块(子块)可以支持QT，并且如果不通过QT分割并且通过不同的方案分割，则针对较低块可以不支持QT。 <4>当支持多个分割方案时，可以检查禁止某些分割的条件，以避免根据分割方案的结果交叠。例如，在执行TT之后，可以禁止针对中心区域的BT的垂直分割。也就是说，为了防止根据每种分割方案可能发生的分割结果交叠，预先检查用于禁止分割的设置信息。 通过检查<1>至<4>的全部或一些以及附加的其他设置信息，可以检查可以在图像中获得的候选块。这可以被参考以识别可以根据稍后描述的目标块和相关块获得的候选块。 (检查块信息) 可以检查状态信息，例如，目标块和相关块的尺寸、形状、位置等。在此，检查块的位置是位于诸如图片、切片、图块组、图块、区块或块的单元边界处，还是位于内部。 单元中的块可以被设置为最大编码块，并且最大编码块可以是目标块的较高块(最高先辈块)，但是最大编码块是在图片单元中被集体划分的单元，而不是根据图像的特性获得的形式。因此，如果它属于与目标块所属的最大编码块不同的最大编码块，则不能检查块之间的相关性，因此需要检查它是否属于边界的处理。 另外，由于诸如图片和切片的其他单元由最大编码块的整数倍组成或者具有无法参考的设置，因此仅当其不是边界时才可以执行检查相关性的处理。换言之，仅当其不是边界时才可以检查相关性。 可以使用目标块和相关块的尺寸、形状和位置来检查每个块的分割状态或者检查获得每个块所根据的分割路径。稍后将对此进行详细描述。 (检查划分状态并且检查公共较高块) 可以检查目标块和相关块的分割状态。在此，分割状态可以意味着获得每个块所根据的分割路径。可以通过检查分割状态来执行检查每个块的较高块的处理，其中较高块可以意味着与每个块具有垂直关系的块。执行检查基于分割路径以及每个块的状态信息例如尺寸、形状和位置获得的较高块的处理。 例如，可以获得状态信息，例如，目标块位置(在左上)为(32，32)、宽度和高度为8×8、分割深度为p、以及分割路径为(QT/1-BT/h/0-BT/v/1)。可以检查状态信息，例如，相关块位置为(24，32)、宽度和高度为8×8、分割深度为q、以及分割路径为(QT/1-BT/h/0-BT/v/0)。在此，分割路径可以表示为分割方案/分割方向(h是水平的、v是垂直的，如果不存在则省略)/分割位置(针对QT为0至3，针对BT为0至1等)。 在该示例中，可以获得状态信息，例如，目标块的较高块(父块、分割深度差为1)的位置为(24，32)、宽度和高度为16×8、分割深度为p-1、以及分割路径为(QT/1-BT/h/0)。在该示例中，相关块的较高块(分割深度为q-1)可以与目标块的较高块相同。 例如，可以获得状态信息，例如，目标块位置为(128，64)、宽度和高度为16×32、分割深度为p、以及分割路径为(QT/3-QT/2-BT/v/1)。可以获得状态信息，例如，相关块位置为(120，64)、宽度和高度为8×32、分割深度为q、分割路径为(QT/3-QT/2-BT/v/0-BT/v/1)。 在该示例中，可以获得状态信息，例如，目标块的较高块(父块，分割深度差为1)的位置为(112，64)、宽度和高度为32×32、分割深度为p-1、以及分割路径为(QT/3-QT/2)。 另一方面，可以获得状态信息，例如，相关块的较高块(父块，分割深度差为1)的位置(112、64)、宽度和高度为16×32、分割深度为q-1、以及分割路径为(QT/3-QT/2-BT/v/0)。可以获得状态信息，例如，相关块的较高块(祖父母块，分割深度差为2)的位置为(112，64)、宽度和高度为32×32、分割深度为q-2、以及分割路径为(QT/3-QT/2)，可以看出，这是与目标块的较高块(父块)相同的较高块。 如以上示例中那样，可以基于分割状态执行检查每个块的较高块的处理，并且可以执行检查公共较高块的处理。 总之，可以检查相对于目标块和相关块具有分割深度差为1或更大的较高块。作为示例，相对于目标块具有分割深度差为c的较高块可以相对于相关块具有分割深度差为d的较高块相同。在这种情况下，c和d可以是1、2或更大的整数，并且c和d可以相同或不同。 在此，由于难以掌握复杂度或相关性，因此可能不需要检查具有大的分割深度差的较高块。例如，当在最大编码块中较高块是公共的时，可能难以检查块之间的相关性。 为此，可以存在针对c和d的预定第一阈值(最大值)，并且第一阈值可以是1、2或更大的整数。替选地，可以存在与c和d之和有关的预定第二阈值，并且第二阈值可以是2、3或更大的整数。也就是说，当不满足阈值条件时，不检查块之间的相关性。 可以存在用于检查目标块和相关块是否具有相同的较高块的各种方法。例如，其可以通过关于较高块的预定位置的信息或者基于块的宽度和高度的信息来检查。详细地，可以基于较高块的左上坐标以及基于块的宽度和高度的信息来检查较高块是否相同。 (检查可以获得的候选) 当获得针对目标块和相关块的公共较高块时，可以检查可以从相应较高块获得的各种块分割的情况的数目。这可以基于较高块的块分割设置和分割状态来检查。由于已经通过上述各种示例提到了这一点，因此将省略详细描述。 (检查相关性) 为了检查块之间的相关性，在该示例中可以检查以下内容。在该示例中，假设针对每个块的分割深度差的最大值为2。 <1>如果较高块相对于目标块和相关块具有分割深度差为1，则检查可以支持的分割方案。 当仅一个分割方案可用时，可以根据分割方案来确定相关性。如果是QT或TT，则可以将其设置为一般关系(相关性可能高或低)，并且如果是BT，则可以将其设置为特定关系。 如果多个分割方案可用，则检查是否以目标块和相关块被组合的形式分割。如果是，则将其设置为特定关系，并且如果不是，则将其设置为一般关系。 <2>在较高块相对于目标块和相关块中的至少一个具有分割深度差为2的情况下，检查可以支持的分割方案。 如果仅一个分割方案可用，则可以将其设置为一般关系，而与分割方案无关。 如果多个分割方案可用，则检查是否以目标块和相关块被组合的形式分割。如果是，则将其设置为特定关系，并且如果不是，则将其设置为一般关系。 以上示例是用于检查块之间的相关性的一些情况，并且不限于此，并且各种修改和添加是可能的。可以通过参考通过以上处理检查的块之间的相关性来使用/参考其用于对目标块进行编码。 总之，为了确定目标块与相关块之间的相关性，可以使用全部或一些处理，例如(检查图像中的块分割)、(检查块信息)、(检查分割状态并且检查公共较高块)、(检查可以获得的候选)、(检查相关性)等，并且可以以各种顺序而不是以上列出的顺序执行确定相关性的处理。另外，不限于以上提到的情况，并且可以通过改变一些部件或者组合其他部件确定相关性。替选地，可以执行确定其他配置的相关性的处理，并且可以基于通过以上处理确定的块之间的相关性来使用/参考相关块的信息用于对目标块进行编码。 通过以上处理确定的相关性可能不是关于块之间的特性的绝对事实，并且可以是考虑到块分割等来估计块之间的相关性的预测信息。因此，由于其可以是参考用于构造用于目标块的编码信息的候选组的信息，因此具有低相关性的相关块可以不包括在候选组中。考虑到所确定的相关性不正确的可能性，可以将候选组构造上的优先级设置为较低优先级，或者可以借用具有垂直关系的较高块的候选组信息。此外，在以上示例中，尽管假设块之间的相关性被分类为两种类型，但是可以支持两个、三个或更多个分类类别。 是否使用/参考块之间的相关性用于对目标块进行编码(候选组的构造等)可以以诸如顺序、图片、切片、图块组、图块、区块、块等的单元明确确定，或者可以基于编码设置隐式地确定。接下来，将描述构成编码设置的各种信息的示例。 在此，可以根据要使用/参考的信息用于对目标块进行编码来确定是否参考块之间的相关性。例如，可以考虑块之间的相关性以构造帧内预测模式候选组，并且可以不考虑块之间的相关性以构造用于帧间预测中的表示非平移运动模型的运动矢量预测的候选组。 在此，可以基于目标块的状态信息和目标块所属的图像信息来确定是否参考块之间的相关性。在此，可以基于块尺寸、块形状、块的水平长度/垂直长度比、诸如图片/分割单元(片、图块等)/最大编码块的单元中的位置来限定目标块的状态信息。在此，可以基于图像类型(I/P/B)、颜色分量(Y/Cb/Cr)等来限定目标块所属的图像信息。例如，仅当块的尺寸属于预定范围时才可以参考块之间的相关性，而当块的尺寸不在预定范围内时可以不参考块之间的相关性。在这种情况下，可以通过第一阈值大小(最小值)和第二阈值大小(最大值)来限定预定范围，并且可以基于宽度(W)和高度(H)将每个阈值大小表示为W、H、W×H、W*H。W和H可以是1或更大的整数，例如4、8、16。 在此，可以根据相关块的类别来确定是否参考块之间的相关性(这可以从具有水平关系的相关块的位置的描述中得出)。例如，相关块可以与目标块属于同一空间，并且相关块与目标块可以是相邻块。即使相关块与目标块属于同一空间，但是在不相邻的相关块的情况下，也可能不参考相关性。 可以考虑以上示例中提到的全部或一些因素来限定编码设置，并且因此，可以隐式地确定是否参考块之间的相关性。 以下示出了基于与目标块具有水平关系的块的候选组构造和编码/解码处理。 检查在目标块与其中存在参考可能性的块之间的相关性(1)。基于相关性指定用于目标块的编码信息所参考的块(2)。使用指定的编码信息以预定顺序构造候选组(3)。基于目标块的编码信息选择候选组中的一个候选(4)。基于所选择的候选执行图像编码/解码处理(5)。 在(1)中，检查目标块与可以被认为是相关块的块之间的相关性。在(2)中，基于通过(1)检查的相关性指定用于构造用于目标块的编码信息的候选组的块。也就是说，这可能意味着基于所检查的相关结果来确定是否包括为相关块。当然，在该示例中可以一起考虑描述如上所述的具有水平关系的相关块的说明书的内容。 在(3)中，使用通过上述处理指定的相关块的编码信息，根据预定顺序来构造候选组。在这种情况下，可以支持考虑通过(2)包括或不包括的相关块的自适应顺序。在(4)中，基于目标块的编码信息选择候选组中的一个候选，并且在(5)中，可以基于此执行图像编码/解码处理。 在流程图中，基于相关性被确定为具有低相关性的块可以不被包括为相关块。 以下示出了基于与目标块具有水平关系的块的候选组构造和编码/解码处理的另一示例。 指定要参考用于目标块的编码信息的块(1)。检查目标块与所指定的块之间的相关性(2)。基于目标块的编码信息和通过(2)检查的相关性来确定预定顺序，并且相应地构造候选组(3)。基于目标块的编码信息选择候选组中的一个候选(4)。基于所选择的候选执行图像编码/解码处理(5)。 在(1)中，指定待被用于构造用于目标块的编码信息的候选组的相关块。在(2)中，检查目标块与相关块之间的相关性。在(3)中，可以基于通过(2)检查的相关性来确定包含的候选的顺序。 例如，如果相关性高或低，则可以应用预定顺序。如果相关性高，则可以应用其中相关块具有高优先级的顺序，并且如果相关性低，则可以应用其中相关块具有低优先级的顺序。 随后，在(3)中，在通过以上处理确定了构造候选组的顺序之后，可以根据该顺序构造候选组。在(4)中，基于目标块的编码信息选择候选组的中一个候选，以及在(5)中，可以基于此执行图像编码/解码处理。 在流程图中，可以基于相关性来自适应地设置包括候选的顺序。 以下示出了基于与目标块具有水平关系或垂直关系的块的候选组构造和编码/解码处理的示例。在此，假设用于指定参考块的基本块被设置为目标块。 检查在目标块与其中存在参考可能性的块之间的相关性(1)。 (被判断为与目标块具有低相关性的块的数目小于/预定数目或更少) 基于相关性指定用于目标块的编码信息的所参考的块(2A)。使用指定的编码信息以预定顺序构造候选组(3A)。 (被判断为与目标块具有低相关性的块的数目超过/预定数目或更大) 用于指定参考块的基本块被改变为预定较高块(2B)。基于改变后的基本块指定用于目标块的编码信息所参考的块(3B)。使用所指定的块的编码信息以预定顺序构造候选组(4B)。 基于目标块的编码信息选择候选组中的一个(5)。基于所选择的候选组执行图像编码/解码处理(6)。 在流程图中，可以根据相关性确定结果来确定1-2A-3A-5-6的顺序(P)或1-2B-3B-4-5-6的顺序(Q)中的一个。具体地，当存在几个块被确定为与目标块具有低相关性时，将除了相应块之外的其余块指定为相关块，以及当存在许多块被确定为与目标块具有低相关性时，通过将候选组构造的基本块改变为与目标块相比的较高块，将与较高块具有水平关系的块指定为相关块。 在P顺序的情况下，由于其中被确定为具有低相关性的块未包括在相关块中的上述流程图中的某些流程图相同，因此省略了详细描述。Q顺序可以是基于具有垂直关系的块与候选组构造组合的配置。当与目标块相邻的块由具有低相关性的块组成时，可以通过改变作为候选组构造的基础的块单元来构造候选组的示例。在以下描述中，省略了先前描述中的冗余描述，并且集中于差异。 在(2B)中，用作候选组标准的块被改变为第一相关块。在此，第一相关块可以是与目标块具有垂直关系的块(在此为较高块)。 在(3B)中，指定了用于构造用于目标块的编码信息的候选组所使用的第二相关块。在此，第二相关块可以是与基本块具有水平关系的块，而基本块是较高块。在(4B)中，使用通过上述处理指定的第二相关块的编码信息以预定顺序构造候选组。 在此，用于确定与目标块的相关性低的标准是通过流程图中的块数目分割的情况，但是可以设置要确定的各种标准。 通过以上各种示例描述了块之间的各种关系，并且描述了其中使用该示例执行编码/解码的情况。当在稍后要描述的各种编码/解码处理中基于上述块之间的关系描述算法时，应当理解，即使不添加详细描述，通过上述各种实施方式建议的设置也可以以相同或相似的方式应用。 (帧内预测) 在根据本发明的实施方式的图像编码方法中，帧内预测可以如下配置。预测单元的帧内预测可以包括：参考像素构造步骤、预测块生成步骤、预测模式确定步骤和预测模式编码步骤。另外，图像编码装置可以被配置成包括：实现参考像素构造步骤、预测块生成步骤、预测模式确定步骤和预测模式编码步骤的参考像素构造单元、预测块生成单元和预测模式编码单元。可以省略一些上述处理或者可以添加其他处理，并且可以以除了上述顺序之外的顺序改变。 在根据本发明的实施方式的视频解码方法中，帧内预测可以如下配置。预测单元的帧内预测可以包括：预测模式解码步骤、参考像素构造步骤和预测块生成步骤。另外，图像解码设备可以被配置成包括：实现预测模式解码步骤、参考像素构造步骤和预测块生成步骤的预测模式解码单元、参考像素构造单元和预测块生成单元。可以省略一些上述处理或者可以添加其他处理，并且可以以除了上述顺序之外的顺序改变。 由于图像解码装置的参考像素构造单元和预测块生成单元执行与图像编码装置的相应配置相同的作用，因此省略详细描述，并且预测模式解码单元通过反向地使用由预测模式编码单元使用的方法来执行。 (基于子块的帧内预测) 帧内预测可以通过将编码块设置为预测块来执行，或者可以通过将编码块分割成一个或更多个预测块来执行。在此，编码块指代通过基于树或索引的单独分割处理而获得的单元，并且指代与分割成预测块分开的处理。在此，通过分割成一个或更多个预测块来执行帧内预测被称为以子块为单元的帧内预测。在此，假设在编码块中发生的一个预测模式与编码块中的全部预测块共享，但不限于此。 在子块单元的帧内预测中，可以生成指示是否分割的信息。例如，如果信息是1，则意味着执行分割，并且如果信息是0，则意味着不执行分割。当执行分割时，可以生成指示分割方向例如水平或垂直的信息。例如，如果信息为0，则意味着水平分割，如果信息为1，则意味着垂直分割，并且相反的配置可以是可能的。替选地，其可以根据诸如目标块的尺寸、形状和位置的状态信息来确定。 例如，当目标块的宽度大于预定阈值大小时，可以将其水平地分割，而当目标块的高度大于预定阈值大小时，可以将其垂直地分割。在此，阈值大小可以是2或更大的整数，例如2、4、8、16、32。 关于被分割的块的数目的信息可以被另外地生成，并且可以是2、4、8或更大的整数。替选地，其可以根据编码设置隐式地确定。在此，可以根据一个或更多个因素来限定编码设置，所述一个或更多个因素为例如目标块的状态信息，例如，尺寸、形状、位置、帧内预测模式等；图像类型(I/P/B)；颜色分量(Y/Cb/Cr)。 例如，当目标块的尺寸大于预定阈值大小时，分割数目可以是4，否则分割数目可以是2。在此，预定阈值大小可以用宽度(W)和高度(H)表示为W、H、W×H、W*H，并且W和H可以是4、8、16或更大的整数。 通过稍后要描述的示例，将描述以编码块为单元执行帧内预测的情况。 (帧内预测模式候选组的构造) 图12是示出由图像编码/解码装置支持的帧内预测模式的示例图。 参照图12，用于帧内预测的预测模式候选组包括67个预测模式，该67个预测模式包括65个定向模式(2至66)和2个非定向模式(DC模式、平面模式)。在这种情况下，可以基于斜率信息(例如，dy/dx)或角度信息(度)来识别定向模式。在以上示例中描述的全部或一些预测模式可以被包括在亮度分量或色度分量的预测模式候选组中，并且其他附加模式可以被包括在预测模式候选组中。 另外，可以使用已经被编码/解码的另一颜色空间的重构块，以使用颜色空间之间的相关性来预测目标块，并且可以包括支持此的预测模式。例如，在色度分量的情况下，可以通过使用与目标块对应的亮度分量的重构块来生成目标块的预测块。也就是说，可以考虑颜色空间之间的相关性基于重构块来生成预测块，并且可以将其包括为色度分量的帧内预测模式。 色度分量可以具有与亮度分量的预测模式候选组相同的预测模式候选组，或者可以具有亮度分量的预测模式候选组的某些模式，并且与色度分量有关的附加预测模式(颜色复制模式、颜色模式)可以被包括在预测模式候选组中。在此，颜色复制模式可以是与从位于另一颜色空间中的区域获得用于生成预测块的数据的方法有关的预测模式，并且颜色模式可以是与从位于另一颜色空间中的区域获得预测模式的方法有关的预测模式。 可以根据编码/解码设置来自适应地确定预测模式候选组。出于提高预测的精度的目的，可以增加候选组的数目，以及出于减少根据预测模式的比特的数目的目的，可以减少候选组的数目。 例如，可以选择候选A(67：65个定向模式和2个非定向模式)、候选B(35：33个定向模式和2个非定向模式)或候选C(18：17个定向模式和一个非定向模式)中的一个，并且可以根据块的尺寸和形状来自适应地选择或确定候选组。 另外，根据编码/解码设置，可以具有预测模式候选组的各种配置。例如，如图12所示，可以在模式之间或在图12中均匀地配置预测模式候选组。在图12中，模式18与模式34之间的模式的数目可以大于模式2与模式18之间的模式的数目。替选地，相反的情况是可能的，并且可以根据块的形状(即，正方形、具有宽度大于高度的非正方形、具有高度大于宽度的非正方形等)来自适应地配置候选组。例如，当目标块的宽度大于高度时，不使用属于2至15的帧内预测模式，并且可以用属于67至80的帧内预测模式来代替。另一方面，在目标块的宽度小于高度的情况下，不使用属于53至66的帧内预测模式，并且可以用属于-14至-1的帧内预测模式来代替。 在本发明中，除非另有说明，否则假设使用具有相等模式间隔的一个预设预测模式候选组(候选A)执行帧内预测，但是可以将本发明的主要元素改变并应用至如上所述的自适应帧内预测设置。 图12可以是当块的形状是正方形或非正方形时支持的预测模式。另外，当块形状是非正方形时，支持的预测模式可以是与以上示例不同的预测模式。例如，预测模式候选的数目可以不同，或者预测模式候选的数目是相同的，但是块的较长侧上的预测模式可以是密集的，而相对侧上的预测模式可以是分散的，或者块的较长侧上的预测模式可以是分散的，而相对侧上的预测模式可以是密集的。在本发明中，如图12所示，在下述设置下对其进行描述：无论块形状(定向模式之间的相等间隔)如何，都支持预测模式，但是也可以应用其他情况。 分配给预测模式的索引可以基于预设预测模式以特定方向顺序进行分配。例如，如图12所示，可以根据某个对角线模式(模式2)沿顺时针方向分配索引。另外，在非定向预测模式中，可以优先于定向模式来分配索引信息，可以在定向模式之间分配索引信息，或者可以在末端处分配索引信息，这可以根据编码/解码设置来确定。不限于上述示例，并且可以在不同的设置下分配索引，或者各种修改示例是可能的。 在以上描述中，已经提及到可以自适应地设置预测模式候选组，但是作为用于构造预测模式候选组的标准的块(基本块)可以是编码块或预测块(或变换块)。已经描述了当通过块分割单元确定编码块时，可以将编码块按原样设置为预测块，并且当确定编码块时，可以将编码块分割为两个或更多个预测块。 也就是说，可以通过将编码块或预测块设置为基本块来构造预测模式候选组。另外，除了上面提及的单元之外，还可以支持用于设置预测模式候选组的基本块。例如，它可以是与基本块成垂直关系放置的块(较高块)。 对于以下描述，可以假设编码块是目标块，并且与编码块具有垂直关系的较高块是相关块。替选地，可以假设预测块是目标块并且编码块是相关块。 可以确定基本块，并且可以基于所确定的基本块的状态信息例如尺寸、形状和位置来构造预测模式候选组。 在基于多个基本块候选中的一个构造预测模式候选组的方法中，可以以诸如序列、图片、切片、图块组、图块、区块、块的单元来显式地确定是否支持。替选地，可以根据编码设置来隐式地确定是否支持。在这种情况下，可以基于下述中的一个或更多个因素来限定编码设置：块(目标块)的状态信息，例如，尺寸、形状和位置；图像类型(I/P/B)；颜色分量；是否以子块为单元应用帧内预测。 例如，当目标块的尺寸大于或等于预定的第一阈值大小时，可以支持上述方法(将较高块设置为基本块)。替选地，当目标块的尺寸小于或等于预定的第二阈值大小时，可以支持该方法。在此，阈值大小可以通过宽度(W)和高度(H)表示为W、H、W×H、W*H，并且阈值大小是编码/解码装置中的预定值，其中W和H可以是1或更大的整数，例如4、8和16。当表示为宽度和高度之和时，W*H可以是16、32、64或更大的整数。第一阈值大小小于或等于第二阈值大小。 如果支持多个基本块，则相关块的各种限定是可能的。(当编码块是目标块时)相关块(较高块)可以是具有相对于编码块的分割深度的分割深度差为1或更大的块。替选地，它可以是在预定的左上坐标处具有预定宽度(C)和高度(D)的块。在此，C和D可以是8、16、32或更大的整数，并且C和D可以大于或等于目标块的宽度和高度。另外，可以基于关于块尺寸的信息(例如，最大变换块的尺寸、最大编码块的尺寸等)来确定C和D。 如果不支持通过支持多个基本块来构造预测模式候选组的方法，则可以基于预定义的基本块(编码块或预测块中的一个)来构造预测模式候选组。 (参考像素构造1) 图13是示出根据本发明的实施方式的用于帧内预测所使用的参考像素的构造的示例图。详细地，假设用于参考像素构造的基本块是M×N。 参考像素构造单元可以构造用于帧内预测所使用的参考像素。在这种情况下，可以通过临时存储器(例如，阵列<阵列(Array)>、主要阵列、次要阵列等)来管理参考像素，可以针对每个帧内预测处理生成并去除参考像素，并且可以根据参考像素的构造来确定临时存储器的尺寸。 在该示例中，假设使用与基本块相邻的左块、上块、左上块、右上块和左下块用于帧内预测，但是本发明不限于此，并且可以使用具有其他配置的块候选组用于帧内预测。 例如，对于参考像素的相邻块的候选组可以是跟随光栅或Z扫描的示例，并且可以根据扫描顺序去除候选中的一些，或者可以包括另外的块候选(例如，右块、下块、右下块等被附加地配置)。 如图13所示，左块、上块、左上块、右上块、左下块(图13中的Ref_L、Ref_T、Ref_TL、Ref_TR和Ref_BL)中的相邻像素可以被配置为用于帧内预测的参考像素。通常将参考像素配置为最接近基本块的相邻块中的像素(图13中的a，这被称为参考像素线)，其他像素(图13中的b和其他外部线中的像素)也可以配置为参考像素。 与基本块相邻的像素可以被分类到至少一个参考像素线中。最接近基本块的像素可以由ref_0(例如，与基本块的边界像素间隔距离为1的像素，p(-1，-1)至p(2m-1，-1)和p(-1，0)至p(-1，2n-1))表示，第二最接近的像素可以由ref_1(例如，与基本块的边界像素间隔距离为2的像素，p(-2，-2)至p(2m，-2)和p(-2，-1)至p(-2，2n))表示，第三最接近像素由ref_2(例如，与基本块的边界像素间隔距离为3的像素，p(-3，-3)至p(2m+1，-3)和p(-3，-2)至p(-3，2n+1))表示。也就是说，可以根据基本块的边界像素与相邻像素之间的距离来限定参考像素线。 可以支持N个或更多个参考像素线，并且N可以是1、2、3、4或更大的整数。通常，参考像素线以距基本块的距离的升序顺序顺序地包括在参考像素线候选组中。然而，本公开内容不限于此。例如，当N为3时，候选组可以顺序地包括参考像素线，例如 可以使用候选组中的参考像素线中的全部或一些(一个或更多个)来执行预测。 例如，可以根据编码/解码配置来选择多个参考像素线中的一个，并且可以使用参考像素线来执行帧内预测。替选地，可以选择多个参考像素线中的两个或更多个，并且可以使用所选择的参考像素线来执行帧内预测(例如，通过对参考像素线的数据进行加权平均)。 可以隐式地或显式地选择参考像素线。例如，隐式选择意味着根据由一种或更多种因素(例如图像类型、颜色分量和块尺寸/形状/位置)组合限定的编码/解码配置来选择参考像素线。显式选择意味着可以在块级别处生成参考像素线选择信息。 尽管在使用最接近的参考像素线执行帧内预测的上下文中描述了本公开内容，但是应当理解，当使用多个参考像素线时，可以以相同的方式或以类似的方式实现稍后描述的各种实施方式。 假设基本块的宽度和高度分别是W和H，并且所选参考像素线是refidx(如果为0，则是最接近的像素线)，则可以获得随后的参考像素(参考像素范围)。 <基本块的左侧> p(-1-refidx，-1-refidx)至p(-1-refidx，2H-1) <基本块的上侧> p(-refidx，-1-refidx)至p(2W-1，-1-refidx) 参考像素可以具有基于基本块的预定坐标计算出的相对坐标的位置(左上设置为<0，0>)，并且参考像素在图像中的位置可以通过将基本块的左上坐标(a，b)分别添加至x和y分量进行检查。 在以上描述中，用作用于构造参考像素的标准的块(基本块)可以是编码块或预测块(或变换块)。此外，可以使用与该块具有垂直关系的块(较高块)用作用于构造参考像素的基本块。 对于以下描述，可以假设编码块是目标块，并且与编码块具有垂直关系的较高块是相关块。替选地，可以假设预测块是目标块并且编码块是相关块。 可以确定基本块，并且可以基于所确定的基本块的状态信息例如尺寸、形状和位置来构造参考像素(参考像素候选组)。 可以以诸如序列、图片、切片、图块组、图块、区块、块等的单元来显式地确定是否支持基于多个基本块候选中的一个来构造参考像素的方法。替选地，可以根据编码设置隐式地确定是否支持。在这种情况下，可以基于下述的一个或更多个因素来限定编码设置：块(目标块)的状态信息，例如，尺寸、形状和位置；图像类型(I/P/B)；颜色分量；是否以子块为单元应用帧内预测。 例如，当目标块的尺寸大于或等于预定的第一阈值大小时，可以支持该方法。替选地，当目标块的尺寸小于或等于预定的第二阈值大小时，可以支持该方法。在此，阈值大小可以通过宽度(W)和高度(H)表示为W、H、W×H、W*H，并且阈值大小是编码/解码装置中的预定值，其中W和H为4，W和H可以是1或更大的整数，例如4、8和16。当表示为宽度和高度之和时，W*H可以是16、32、64或更大的整数。第一阈值大小小于或等于第二阈值大小。 另外，当应用基于子块的帧内预测时而将其分割为两个或更多个块时，可以支持上述方法。在这种情况下，当预测块(子块)是目标块并且编码块是相关块时，可以将基本块确定为目标块，或者可以将基本块确定为相关块。在此，当不使用基于多个基本候选块中的一个构造参考像素的方法时，可以将基本块设置为预测块，或者可以设置为相反的情况。 如果支持多个基本块，则相关块的各种限定是可能的。(当编码块是目标块时)相关块(较高块)可以是具有分割深度小于编码块的分割深度的块。相关块与编码块之间的分割深度差为1或更大。替选地，它可以是在预定的左上坐标处具有预定宽度(C)和高度(D)的块。在此，C和D可以是4、8、16或更大的整数，并且C和D可以大于或等于目标块的宽度和高度。另外，可以基于关于块尺寸的信息(例如，最大变换块的尺寸、最大编码块的尺寸等)来确定C和D。 如果不支持通过支持多个基本块来构造参考像素的方法，则可以基于预定义的基本块(编码块或预测块中的一个)来构造参考像素。 图14是根据基本块可获得的参考像素的构造的示例图。 参照图14，(a)表示其中参考像素被配置成与其中执行帧内预测的块(阴影区域)相邻的情况。(b)和(c)表示其中参考像素与在其上执行帧内预测的块中的一些边界相邻但是与一些边界不相邻的情况。(d)表示其中参考像素被配置成与在其上执行帧内预测的块不相邻的情况。这可以是根据基本块的设置可能发生的各种情况。 图15是示出与用于帧内预测的目标块相邻的块的概念图。详细地，图15的左侧示出了当前颜色空间中与目标块相邻的块，而右侧示出了另一颜色空间中的相应块。 特别地，如果支持某些预测模式(颜色复制模式)，则由于可以使用不同颜色空间的某些区域用于帧内预测，因此也可以将这些区域视为参考像素。 尽管以上附图示出了与目标块相邻的块，但是在稍后描述的一些示例中，可以将目标块设置为基本块。 (帧内预测预处理/参考像素配置2) 根据本公开内容，用于帧内预测的参考像素构造单元可以包括参考像素生成器、参考像素内插器和参考像素滤波器单元。参考像素构造单元可以包括以上部件的全部或部分。 参考像素构造单元可以通过检查其参考像素可用性来区分可用像素与不可用像素。当参考像素满足以下条件中的至少一个时，确定该参考像素为不可用。 例如，如果满足以下条件中的至少一个，则可以确定参考像素为不可用：参考像素位于图片边界之外；参考像素不属于与当前块相同的划分单元(例如，不允许相互引用的单元，例如切片或图块。然而，尽管是切片或图块，允许相互引用的单元是例外)；以及参考像素还没有被完全编码/解码。即，如果以上条件都不满足，则可以确定参考像素为可用。 参考像素的使用可能受到编码/解码配置的限制。例如，即使根据以上条件确定参考像素为可用，参考像素的使用也可能根据是否执行受约束的帧内预测(例如，由constrained_intra_pred_flag指示)而受到限制。当出于由于诸如通信环境的外部因素导致的鲁棒性编码/解码发生错误的目的而禁止使用通过参考另一图像重构的块时，可以执行受约束的帧内预测。 当受约束的帧内预测被禁用时(例如，对于I图片类型或者P或B图片类型，constrained_intra_pred_flag＝0)，所有参考像素候选块都可以是可用的。 相反，当受约束的帧内预测被激活时(例如，对于P或B图片类型，constrained_intra_pred_flag＝1)，可以确定根据编码模式(Mode_Intra、Mode_InterD、Mode_InterC)是否使用参考像素候选块。然而，可以根据各种其他编码/解码因素来确定该条件。 由于参考像素在一个或更多个块中，因此参考像素可以根据其参考像素可用性被分类为三种类型：完全可用、部分可用和全部不可用。在除了完全可用之外的其他情况下，可以填充或生成在不可用候选块的位置处的参考像素。 当参考像素候选块可用时，在相应位置处的像素可以被包括在对于目标块的参考像素存储器中。像素的像素数据可以按原样复制，或者可以在诸如参考像素滤波和参考像素内插的处理之后被包括在参考像素存储器中。相反，当参考像素候选块不可用时，通过参考像素生成处理获得的像素可以被包括在目标块的参考像素存储器中。 下面将描述以各种方法在不可用块的位置处生成参考像素的示例。 例如，可以使用任意像素值来生成参考像素。任意像素值可以是像素值范围(例如，基于位深度的像素值范围或基于相应图像的像素分布的像素值范围)内的像素值中的一个(例如，像素值范围的最小值、最大值或中值)。具体地，当整个参考像素候选块为不可用时，该示例可以是适用的。 替选地，可以从其中已经完成图像编码/解码的区域中生成参考像素。具体地，可以从与不可用块相邻的至少一个可用块中生成参考像素。可以使用外插、内插或复制中的至少一个来生成参考像素。 在完成参考像素构造之后，可以执行参考像素滤波或参考像素内插。例如，可以仅执行参考像素滤波，可以仅执行参考像素内插，或者可以执行参考像素滤波和参考像素内插两者。参考像素滤波可以在参考像素内插之前或之后，或者可以组合并同时执行参考像素滤波和参考像素内插两者。 下面将描述参考像素内插和参考像素滤波。 出于减少在参考像素中残存的劣化的目的，可以执行参考像素滤波。在参考像素滤波中，可以使用可以通过设置各种滤波器抽头的长度和系数例如[1，2，1]/4、[2，3，6，3，2]/16来区分的多个滤波器中的一个。另外，可以通过不同类型的滤波器来执行多个滤波。 可以根据编码设置来显式地确定或者可以隐式地确定是否执行参考像素滤波。在此，可以基于基本块(目标块或相关块<较高块>)的状态信息(尺寸、形状、位置等)、图像类型(I/P/B)、颜色分量(Y/Cb/Cr)、参考像素线选择信息、是否以子块为单元应用帧内预测以及帧内预测模式来限定编码设置。 作为示例，当基本块的尺寸大于或等于预定的第一阈值大小时，可以执行滤波；当基本块的尺寸小于预定的第一阈值大小时，可以不执行滤波。替选地，当基本块的尺寸小于或等于预定的第二阈值大小时，可以执行滤波；当基本块的尺寸大于预定的第二阈值大小时，可以不执行滤波。在此，阈值大小可以基于宽度(W)和高度(H)表示为W、H、W×H、W*H等，并且W和H可以是4、8、16、32或更多的整数。特别地，当表示为宽度和高度的乘积例如W×H时，W×H可以是16、32、64或更大的整数。第一阈值大小小于或等于第二阈值大小。 例如，如果基本块的形状是正方形形状，则可以执行滤波；如果基本块的形状不是正方形形状，则可以不执行滤波。替选地，如果基本块具有非正方形形状并且具有长于高度的宽度(或短于高度的宽度)，则可以执行滤波；如果基本块具有正方形形状并且不具有长于高度的宽度(或短于高度的宽度)，则可以不执行滤波。当基本块的宽度与高度的比率大于或等于预定阈值时，可以执行滤波；当基本块的宽度与高度的比率小于预定阈值时，可以不执行滤波。在此，阈值比可以被设置为1:2、1:3、1:4、2:3等。在此，可能期望将块形状与预测模式结合以确定设置。 例如，无论基本块的颜色分量如何，都可以执行滤波，或者可以仅在其属于预定颜色分量(亮度或色度)时才执行滤波。 例如，当基本块的预测模式是非定向模式时，可以执行滤波；当基本块的预测模式不是非定向模式时，可以不执行滤波。在此，非定向模式可以包括DC模式和平面模式两者，或者可以仅包括DC模式和平面模式两者中的一个。也就是说，在平面模式下可以执行滤波，而在DC模式下可以不执行滤波；或者在平面模式下可以不执行滤波，而在DC模式下可以执行滤波。替选地，在定向模式中可以以预定模式执行滤波，并且可以不以除了预定模式之外的模式下执行滤波。在此，当预定模式是定向模式中的对角线模式(除了水平和垂直以外的定向模式)时，可以执行滤波；以及当预定模式不是定向模式中的对角线模式时，可以不执行滤波。在此，在对角线模式中，可以包括仅参考整数单位的像素的模式以及参考整数单位和分数单位的像素的模式，或者可以仅包括仅参考整数单位的像素的模式以及参考整数单位和分数单位的像素的模式中的一个。也就是说，在仅参考整数单位的像素的模式下可以执行滤波，并且在参考整数单位和分数单位的像素的模式下可以不执行滤波；或者在仅参考整数单位的像素的模式下可以不执行滤波，并且在参考整数单位和分数单位的像素的模式下可以执行滤波。在此，仅参考整数单位中的像素的模式可以包括与图12中的-14、-12、-10、-6、2、34、66、72、78和80对应的模式中的至少一个。也就是说，也可以是其中不执行参考像素内插的模式，并且也可以根据预测模式候选组的构造变化来改变预测模式编号。在此，可以应用对水平模式或垂直模式执行滤波的特殊情况。 可以通过考虑(组合)以上示例中提及到的因素中的全部或一些来确定是否执行滤波。以上的示例仅是示例中的一些，并且各种修改示例是可能的。 当执行滤波时，可以显式地或隐式地确定滤波器选择信息，并且这可以基于编码设置。在这种情况下，可以通过上述各种元素来限定编码设置，并且将省略其详细描述，这是因为可以通过以上示例来得出其描述。 在参考像素内插中，如上所述，参考像素内插可以在仅参考整数单位的像素的预测模式下不执行，并且参考像素内插可以在参考分数单位的像素的预测模式下执行。 根据预测模式(例如，预测模式的方向性，dy/dx等)以及参考像素和预测像素的位置，可以确定要被内插的像素的位置(即，要被内插的分数单位，范围从1/2至1/64)。在这种情况下，可以应用一个滤波器(例如，在用于确定滤波器系数或滤波器抽头的长度的等式中假设相同的滤波器，但是假设仅根据分数精度例如1/32、7/32或19/32来调整系数的滤波器)，或者可以根据分数单位来选择并应用多个滤波器(例如，假设使用不同等式来确定滤波器系数或滤波器抽头的长度的滤波器)中的一个。 在前一种情况下，整数像素可以用作分数像素内插的输入，而在后一种情况下，输入像素在每个步骤中是不同的(例如，整数像素用于1/2单位，并且整数像素和1/2单位像素用于1/4单位)。然而，本公开内容不限于此，并且将在前一种情况的上下文中进行描述。 可以对参考像素内插执行固定滤波或自适应滤波，固定滤波或自适应滤波可以根据编码设置来确定。在此，可以基于基本块的状态信息、图像类型、颜色分量、参考像素线选择信息、是否以子块为单元应用帧内预测、帧内预测模式等来限定编码设置。 在固定滤波中，可以使用一个滤波器执行参考像素内插，而在自适应滤波中，可以使用多个滤波器中的一个来使用参考像素内插。 在自适应滤波中，可以根据编码/解码配置隐式地或显式地确定多个滤波器中的一个。可以通过从4抽头DCT-IF滤波器、4抽头三次滤波器、4抽头高斯滤波器、6抽头维纳滤波器和8抽头卡尔曼滤波器中选择一个或更多个来配置滤波器。可以根据颜色分量不同地限定所支持的滤波器候选组(例如，滤波器的类型部分地相同或不同，并且滤波器抽头的长度为短或长)。 由于在参考像素内插处理中执行的滤波和在参考像素滤波处理中执行的滤波的交叠，可能发生一些像素的失真。为此，可以考虑参考像素滤波设置来确定参考像素内插滤波器设置。作为参考，在其中执行参考像素内插的预测模式的情况下，可以是不执行参考像素滤波的示例。 在以上描述中，可以将基本块确定为编码块、预测块或较高块中的一个，并且可以通过上述示例来得出其描述。 (参考像素构造3) 将描述当以子块为单元执行帧内预测时的参考像素构造。可以以编码块为单元配置或设置诸如上述多个参考像素线和参考像素滤波的一些设置。可以通过选择多个参考像素线中的一个来执行帧内预测，并且可以执行参考像素滤波以减少参考像素的劣化。 然而，由于不可能确切地知道目标块和相邻块的特性具有什么相关性，因此对于参考像素构造可能需要一些显式设置(参考像素线选择信息)，并且可能需要一些受限设置(对于某些预测模式禁止参考像素滤波)。 例如，如果与目标块相邻的块与目标块具有高相关性，则与选择多个参考像素线中的一个的方法相比，使用两个或更多个参考像素线进行预测可以减少量化误差，并且进一步提高预测精度。 替选地，即使在预定的预测模式下也可以执行参考像素滤波，因此，可以有效地减少参考像素的劣化。 以子块为单元的帧内预测可以是其中已知目标块(预测块)与相邻块之间的相关性为高的情况。特别地，由于具有其中共享较高块(编码块)的边缘作为一个信息(预测模式)的特性，因此可以预先知道所有相邻的预测块具有相同的预测方向。 当以子块为单元执行帧内预测时，以下参考像素的构造和设置是可能的。首先，假设可以选择在目标块(编码块)周围的多个参考像素线中的一个，并且可以根据由各种编码元件限定的编码设置来执行参考像素滤波和参考像素内插。 例如，支持针对目标块(预测块)限定的一个参考像素线(最近线)，并且可以通过固定设置(例如，不滤波或仅使用一个内插滤波器等)来执行参考像素滤波和参考像素内插。 替选地，(隐式地)支持针对目标块预定义的多个参考像素线。详细地，编码块中的第一预测块(与编码块的上边界或左边界相邻)使用一个参考像素线执行帧内预测。第二预测块可以通过基于与编码块和已编码的第一预测块相邻的参考像素线设置多个参考像素线来执行帧内预测。第三块和其他块可以通过基于已经完成编码的先前的预测块(在该示例中为第一目标块和第二目标块)设置多个参考像素线来执行帧内预测。 此外，可以通过不仅考虑放置在预测块的一个参考像素线上的参考像素，而且考虑放置在另一参考像素线上的参考像素来执行参考像素滤波。详细地，当子块的分割方向是水平方向并且预测模式是垂直模式时，参考像素滤波可以应用于在多个参考像素线上沿垂直方向放置的参考像素。参考像素内插也可以通过应用自适应设置来执行。 以上示例是以子块为单元进行帧内预测的设置的情况中的一些，并且不限于此，并且可以进行各种修改。也就是说，考虑到其中子块单元中用于帧内预测的设置具有与一般帧内预测(共享该块内的预测方向)不同的特性的情况，可以支持参考像素构造设置。 (执行预测和确定模式) 预测块生成器可以以至少一种预测模式生成预测块，并且可以基于该预测模式来使用参考像素。可以在诸如外插的方法(定向模式)或者诸如内插、平均(DC)或复制的方法(非定向模式)中使用参考像素。 预测模式决定单元执行从多个预测模式候补组中选择最佳模式的处理。通常，可以使用其中考虑了块失真(例如，目标块和重构块的失真、绝对差的和(SAD)以及平方差的和(SSD))和根据该模式生成的比特的数目的率失真方案，根据编码成本来确定最佳模式。基于在以上处理中确定的预测模式而生成的预测块可以被发送至减法单元和加法单元。 可以搜索预测模式候选组的所有预测模式以确定最佳预测模式，或者可以在不同的决策过程中选择最佳预测模式以减少计算量/复杂度。例如，在第一步骤中，从所有帧内预测模式候选中选择在图像质量劣化方面具有良好性能的一些模式，并且在第二步骤中，可以考虑所生成的比特的数目以及在第一步骤中选择的模式的图像质量劣化来选择最佳预测模式。除了该方法之外，可以应用以减小的计算量/复杂确定最佳预测模式的各种其他方法。 此外，尽管预测模式决定单元通常可以仅包括在编码器中，但是例如当包括模板匹配作为预测方法或者从与目标块相邻的区域得出帧内预测模式时，根据编码/解码配置，预测模式决定单元也可以包括在解码器中。在后一种情况下，可以理解，使用了在解码器中隐式地获得预测模式的方法。 假设以上处理是以目标块而不是基本块为单元执行的。也就是说，可以不基于目标块来设置预测模式候选组构造和参考像素构造，但是可以基于目标块来获得和确定预测块的处理。 (预测模式候选组配置和编码) 预测模式编码器可以对由预测模式决定单元选择的预测模式进行编码。可以对关于预测模式候选组中的预测模式的索引的信息进行编码，或者可以对预测模式进行预测，并且可以对关于预测模式的信息进行编码。前一种方法可以应用于亮度分量但不限于亮度分量，而后一种方法可以应用于色度分量但不限于色度分量。 作为示例，可以将优先级分配给预测模式候选组的预定预测模式，以设置为预测模式的预测值。可以将优先级分配给通常且频繁发生的预测模式，在本文中，定向模式可以包括垂直、水平或预定对角线模式中的至少一个，并且非定向模式可以包括平面模式或DC模式中的至少一个。在此，预定对角线模式可以是具有预定斜率信息的预测模式，例如，图12的模式2、34和66中的至少一个相对于水平模式或垂直模式具有45度或-45度的角度。可以将优先级分配给其他附加对角线模式。 可以将分配有优先级的预测模式中的至少一个设置为优先级分配模式的预测值。在这种情况下，可以根据预定顺序对被选择为优先级分配模式的预测值的预测模式进行优先级排序，并且例如可以按照平面模式、DC模式、垂直模式和水平模式的顺序进行分配。 如果支持一种优先级分配模式，则可以将平面模式设置为预测值，并且如果支持两种优先级，则可以将平面模式和DC模式设置为预测值。 可以根据基本块(在该示例中假设为目标块)的状态信息、图像类型和颜色分量中的一个或更多个元素来确定优先级分配模式。 作为示例，可以通过用于从预测模式候选组中选择预定预测模式以设置为预测模式的预测值的方法来构造候选组。在此，选择预定预测模式的方法可以包括：获得与基本块相邻的块的预测模式；获得预设预测模式；基于已经包括在候选组中的预测模式来获得等。 在本发明中，候选组中包括的预测模式被称为最可能模式(MPM)。MPM可以包括一个预测模式或多个预测模式。MPM的数目可以根据预测模式候选组的数目来确定(k。k是大于或等于1的整数，例如1、2、3、6等)。当MPM包括多个预测模式时，可以将其称为MPM候选组。 可以在固定设置下或者在根据各种编码/解码元素的自适应设置下支持MPM候选组。作为自适应设置的示例，可以根据在多个参考像素层之中使用哪个参考像素层来确定候选组构造，并且可以根据是否以子块为单元执行帧内预测来确定候选组构造。固定设置可以意味着无论信息如何，都遵循预定义的候选组构造规则。 为了便于解释，假设在一个设置下构造了MPM候选组，并且应该理解，不仅MPM候选组而且针对其他帧内预测模式的候选组构造也可以是自适应的。 MPM是被支持以有效地对预测模式进行编码的概念，并且候选组可以被构造有其中作为目标块的预测模式的高的发生概率的预测模式。 例如，可以用预设预测模式(或包括统计上频繁出现的预测模式、DC模式、平面模式、垂直模式、水平模式或一些对角线模式中的至少一个)或者相邻块(左块、上块、左上块、右上块或左下块中的至少一个位置。例如，左块、上块)的预测模式来构造MPM候选组。可以从图15中的L0至L3(左块)、T0至T3(上块)、TL(左上块)、R0至R3(右上块)以及B0至B3(左下块)中获得相邻块的预测模式。 如果可以根据相邻块(例如，左块)中的两个或更多个子块位置(例如，L0和L2)来构造MPM候选组，则可以根据预定义的优先级(例如，L0—L1—L2)在候选组中构造相应块的预测模式。替选地，当无法根据两个或更多个子块位置配置MPM候选组时，可以在候选组中配置预定义位置(例如，L0)处的子块的预测模式。具体地，可以选择相邻块中位置L3、T3、TL、R0和B0处的预测模式作为相邻块的预测模式，并且被包括在MPM候选组中。以上描述是针对其中在候选组中配置了相邻块的预测模式的情况，其不应被理解为限制本公开内容。在以下的示例中，假设在候选组中配置了预定位置处的预测模式。 当一个或更多个预测模式被包括在MPM候选组中时，从先前包括的一个或更多个预测模式得出的模式可以被另外配置在MPM候选组中。具体地，当第k模式(定向模式)包括在MPM候选组中时，可从该模式得出的模式(与第k模式间隔+a或-b的距离的模式，其中a和b中的每一个是等于或大于1的整数，例如，1、2或3)可以被另外包括在MPM候选组中。 可以对模式进行优先级以用于构造MPM候选组。MPM候选组可以被构造成包括以相邻块的预测模式、预设预测模式和得出的预测模式的顺序的预测模式。构造MPM候选组的处理可以通过根据优先级填充最大数目的MPM候选来完成。在以上处理中，如果预测模式与先前包括的预测模式相同，则预测模式可以不包括在MPM候选组中，并且可以取下一优先级候选并经受冗余检查。 预测模式可以通过选择性地使用优先级分配模式或者MPM候选来得出。可以生成与选择信息有关的标志，并且该标志可以指示是否将目标块的预测模式设置为优先级分配模式。当标志为1时，将目标块的预测模式设置为优先级分配模式。如果标志不为1，则可以生成关于是否从MPM候选、MPM索引等得出目标块的预测模式的信息。在此，当在优先级分配模式或MPM候选中未得出目标块的预测模式时，可以生成非MPM索引信息等以在除了优先级分配模式和MPM候选之外的其他预测模式中得出目标块的预测模式。 为了便于说明，以下将集中于对MPM候选构造(MPM候选/非MPM候选)的描述，并且优先级分配模式被假设为MPM候选组构造的一些候选。然而，在其中显式地支持优先级分配模式的配置的情况下，有必要理解在稍后描述的实施方式中去除优先级分配模式的考虑。 在MPM候选组包括6个预测模式的假设下给出下面的描述。 例如，MPM候选组可以以L-T-TL-TR-BL-平面-DC-垂直-水平-对角线的顺序形成。相邻块的预测模式可以以优先级包括在MPM候选组中，然后在这种情况下可以另外配置预设预测模式。 替选地，MPM候选组可以以L-T-平面-DC- 以上示例仅仅是MPM候选组配置的一部分。本公开内容不限于此，并且各种修改例可以是可用的。 MPM候选组可以基于候选组内的索引通过诸如一元二值化或截断莱斯二值化的二值化来表示。也就是说，可以将短位分配给具有小索引的候选，并且可以将长位分配给具有大索引的候选，以表示模式位。 未包括在MPM候选组中的模式可以被分类为非MPM候选组。可以根据编码/解码配置来限定两个或更多个非MPM候选组。 以下描述是在以下假设下给出的：预测模式候选组中包括67种模式包括定向模式和非定向模式，支持6个MPM候选，并且因此非MPM候选组包括61个预测模式。 如果构造了一个非MPM候选组，则这意味着存在未包括在MPM候选组中的其余预测模式，并且因此不需要附加的候选组构造处理。因此，可以基于非MPM候选组内的索引来使用诸如固定长度二值化和截断一元二值化的二值化。 基于构造了两个或更多个非MPM候选组的假设，非MPM候选组被分类为非MPM_A(候选组A)和非MPM_B(候选组B)。假设候选组A(p个候选，其中p等于或大于MPM候选的数目)包括具有比候选组B(q个候选，其中q等于或大于候选组A中的候选的数目)高的作为目标块的预测模式的发生概率的预测模式。在本文中，可以添加构造候选组A的处理。 例如，在定向模式中的一些等距预测模式(例如，模式2、4和6)可以被包括在候选组A中，或者预设预测模式(例如，从包括在MPM候选组中的预测模式中得出的模式)可以被包括在候选组A中。MPM候选组构造和候选组A构造之后的其余预测模式可以形成候选组B，并且不需要附加的候选组构造处理。可以基于候选组A和候选组B中的索引来使用诸如固定长度二值化和截断一元二值化的二值化。 以上示例是其中构造两个或更多个非MPM候选组的情况的一部分。本公开内容不限于此，并且各种修改例是可用的。 下面将描述对预测模式进行预测和编码的处理。 可以检查指示目标块的预测模式是否与MPM(或MPM候选组中的模式)一致的信息(mpm_flag)。 在目标块的预测模式与MPM匹配时，可以根据MPM配置(一个或更多个配置)来附加地检查MPM索引信息(mpm_idx)。然后，完成目标块的编码处理。 在目标块的预测模式与任何MPM都不匹配时，如果存在一个配置的非MPM候选组，则可以检查非MPM索引信息(remaining_idx)。然后，完成目标块的编码处理。 如果构造了多个非MPM候选组(在该示例中为两个)，则可以检查指示目标块的预测模式是否与候选组A中的任意预测模式一致的信息(non_mpm_flag)。 如果目标块的预测模式与候选组A中的任意候选匹配，则可以检查关于候选组A的索引信息(non_mpm_A_idx)，而如果目标块的预测模式与候选组A中的任何候选都不匹配，则可以检查候选B索引信息(remaining_idx)。然后，完成目标块的编码处理。 当预测模式候选组构造固定时，由目标块支持的预测模式、由相邻块支持的预测模式和预设预测模式可以使用相同的预测编号索引。 当预测模式候选组构造是自适应的时，由目标块支持的预测模式、由相邻块支持的预测模式和预设预测模式可以使用相同的预测编号索引或不同的预测编号索引。参照图12，给出了以下描述。 在预测模式编码处理中，可以执行对预测模式候选组进行统一(或调整)以配置MPM候选组等的处理。例如，目标块的预测模式可以是具有模式-5至模式61的预测模式候选组中的一个预测模式，并且相邻块的预测模式可以是具有模式2至模式66的候选组中的一个预测模式。在这种情况下，由于可能不支持将相邻块的预测模式的一部分(模式66)作为目标块的预测模式，因此可以执行在预测模式编码处理中对预测模式进行统一的处理。也就是说，当支持固定帧内预测模式候选组构造时，可能不需要该处理，并且当支持自适应帧内预测模式候选组构造时，可能需要该处理，本文将不对其进行详细描述。 与基于MPM的方法不同，可以通过将索引分配给预测模式候选组的预测模式来执行编码。 例如，根据预测模式的预定义优先级对预测模式进行索引。当选择预测模式作为目标块的预测模式时，对所选择的预测模式的索引进行编码。这意指其中构造固定预测模式候选组并且将固定索引分配给预测模式的情况。 替选地，当适应性地构造预测模式候选组时，固定索引分配方法可能是不适合的。因此，可以根据自适应优先级对预测模式进行索引。当选择预测模式作为目标块的预测模式时，可以对所选择的预测模式进行编码。该方法因为由于预测模式候选组的自适应构造而改变了预测模式的索引从而可以实现对预测模式的有效编码。也就是说，自适应优先级可以旨在将具有被选择为目标块的预测模式的高概率的候选分配给其中生成短模式位的索引。 以下描述基于以下假设：在预测模式候选组中(色度分量的情况)，支持包括预设预测模式(定向模式和非定向模式)、颜色复制模式和颜色模式的8个预测模式。 例如，假设支持：平面模式、DC模式、水平模式、垂直模式和对角线模式(在该示例中为左下对角线)中的四种预设预测模式；一个颜色模式C；以及三个颜色复制模式CP1、CP2和CP3。预测模式可以基本上以预设预测模式、颜色复制模式和颜色模式的顺序被索引。 在这种情况下，作为定向模式和非定向模式的预设预测模式以及颜色复制模式是通过预测方法区分的预测模式，并且因此可以容易地识别。然而，颜色模式可以是定向模式或非定向模式，颜色模式可以与预设预测模式交叠。例如，当颜色模式是垂直模式时，颜色模式可以与作为预设预测模式中的一个的垂直模式交叠。 在其中根据编码/解码配置自适应地调整预测模式候选的数目的情况下，当存在冗余的情况时，可以调整候选的数目(8—>7)。替选地，在其中预测模式候选的数目保持固定的情况下，当存在冗余预测模式时，可以通过添加和考虑另外的候选来分配索引。此外，即使当包括诸如颜色模式的可变模式时，也可以支持自适应预测模式候选组。因此，自适应索引分配情况可以被视为配置自适应预测模式候选组的示例。 现在，将给出根据颜色模式的自适应索引分配的描述。假设基本上以平面(0)-垂直(1)-水平(2)-DC(3)-CP1(4)-CP2(5)-CP3(6)-C(7)的顺序分配索引。此外，如果颜色模式与任何预设预测模式不匹配，则假设按上述顺序执行索引分配。 例如，如果颜色模式与预设预测模式(平面模式、垂直模式、水平模式和DC模式)中的一个匹配，则填充与颜色模式的索引7匹配的预测模式。在匹配预测模式的索引(0至3中的一个)处填充预设预测模式(左下对角线)。具体地，当颜色模式是水平模式时，可以以平面(0)-垂直(1)-左下对角线(2)-DC(3)-CP1(4)-CP2(5)-CP3(6)-水平(7)的顺序来分配索引。 替选地，当颜色模式与预设预测模式中的一个匹配时，在索引0处填充匹配预测模式，并且在颜色模式的索引7处填充预设预测模式(左下对角线)。在这种情况下，如果填充的预测模式不是现有索引0(即，其不是平面模式)，则可以调整现有索引配置。具体地，当颜色模式是DC模式时，可以以DC(0)-平面(1)-垂直(2)-水平(3)-CP1(4)-CP2(5)-CP3(6)-左下对角线(7)的顺序分配索引。 以上示例仅仅是自适应索引分配的一部分。本公开内容不限于此，并且各种修改例可以是可用的。此外，可以基于候选组中的索引使用诸如固定长度二值化、一元二值化、截断一元二值化和截断莱斯二值化的二值化。 将描述通过将索引分配给属于预测模式候选组的预测模式来执行编码的另一示例。 例如，将预测模式和预测方法分类为多个预测模式候选组，并且将索引分配给属于相应候选组的预测模式，并且然后进行编码。在这种情况下，候选组选择信息的编码可以在索引编码之前。例如，作为在相同颜色空间中执行预测的预测模式的定向模式、非定向模式和颜色模式可以属于一个候选组(称为候选组S)，并且作为在不同颜色空间中执行预测的预测模式的颜色复制模式可以属于另一候选组(称为候选组D)。 以下描述基于以下假设：在预测模式候选组中(色度分量的情况)，支持包括预设预测模式、颜色复制模式、颜色模式的9个预测模式。 例如，假设支持：来自平面模式、DC模式、水平模式、垂直模式和对角线模式中的四个预设预测模式；一个颜色模式C；以及四个颜色复制模式CP1、CP2、CP3和CP4。候选组S可以包括作为预设预测模式和颜色模式的5个候选，并且候选组D可以包括作为颜色复制模式的4个候选。 候选组S为自适应构造预测模式候选组的示例。已经在上面描述了自适应索引分配的示例，因此在本文中将不详细描述。由于候选组D是固定预测模式候选组的示例，因此可以使用固定索引分配方法。例如，索引可以以CP1(0)-CP2(1)-CP3(2)-CP4(3)的顺序分配。 可以基于候选组内的索引使用诸如固定长度二值化、一元二值化、截断一元二值化和截断莱斯二值化的二值化。本公开内容不限于以上示例，并且各种修改例也可以是可用的。 可以在块级处构造用于预测模式编码的候选组，例如MPM候选组。替选地，可以省略构造候选组的处理，并且可以使用预定候选组或以各种方法获得的候选组。这可以是出于降低复杂度的目的而支持的配置。 在示例1中，可以使用一个预定义候选组，或者可以根据编码/解码设置使用多个预定义候选组中的一个。例如，在MPM候选组的情况下，可以使用预定义候选组，例如，{平面-DC-垂直-水平-左下对角线(图12中的66)-右下对角线(图12中的34)}。替选地，可以应用MPM候选组构造中的当相邻块都不可用时构造的候选组。 在示例2中，可以使用对于已经被完全编码的块的候选组。可以基于编码顺序(预定扫描方案，例如，z扫描、垂直扫描、水平扫描等)，或者从与基本块相邻的块(例如，左块、上块、左上块、右上块和左下块)中选择编码块。然而，相邻块可以限于在可以与基本块相互参考的划分单元(例如，即使这些块属于不同的切片或图块例如属于同一个图块组的不同图块，也具有可以对其进行参考的属性的划分单元)的位置处的块。如果相邻块属于不允许参考的划分单元(例如，当每个块属于不同的切片或图块并且具有可能无法相互参考的属性时，例如，当每个块属于不同的块组时)，则该位置处的块可能会被排除在候选之外。 在这种情况下，可以根据基本块的状态来确定相邻块。例如，在基本块为正方形时，可以从根据预定第一优先级定位的块中借用(或共享)可用块的候选组。替选地，在基本块为矩形时，可以从根据预定第二优先级定位的块中借用可用块的候选组。可以根据块的宽高比支持第二优先级或第三优先级。为了选择要借用的候选块，可以以各种配置来设置优先级，例如左-上-右上-左下-左上，或者上-左-左上-右上-左下。在这种情况下，第一优先级至第三优先级中的所有优先级可以具有相同的配置或不同的配置，或者优先级中的一部分可以具有相同的配置。 仅在基本块的候选组处于或大于/大于预定边界值时，或者仅在处于或小于/小于预定边界值时，可以从相邻块借用基本块的候选组。边界值可以被限定为允许候选组的借用的最小块尺寸或最大块尺寸。边界值可以被表示为块的宽度(W)、块的高度(H)、W×H、W*H等，其中W和H中的每一个可以是等于或大于4、8、16或32的整数。 在示例3中，公共候选组可以由作为预定块组的较高块形成。公共候选组可以用于属于较高块的较低块。较低块的数目可以是等于或大于1的整数，例如，1、2、3或4。 在这种情况下，较高块可以是较低块的先辈块(包括父块)，或者可以是任意块组。先辈块可以指在用于获得较低块的划分期间的先前步骤中的预划分块(划分深度差为1或更大)。例如，图4的候选b中的4N×2N的子块0和1的父块可以是图4中的候选a的4N×4N。 仅在较高块的候选组处于或大于/大于预定第一边界值时，或者仅在处于或小于/小于预定第二边界值时，可以从较低块借用(或共享)较高块的候选组。 边界值可以被限定为允许候选组借用的块的最小尺寸或最大尺寸。可以支持边界值中的仅一个或两个，并且边界值可以被表示为块的宽度W、高度H、W×H、W*H等，其中W和H中的每一个是8、16、32、64或更高的整数。 另一方面，仅在较低块的候选组处于或大于/大于预定第三边界值时，可以从较高块借用较低块的候选组。替选地，仅在较低块的候选组处于或小于/小于预定第四边界值时，可以从较高块借用较低块的候选组。 在这种情况下，边界值可以被限定为允许候选组借用的块的最小尺寸或最大尺寸。可以支持边界值中的仅一个或两个，并且边界值可以被表示为块的宽度W、高度H、W×H、W*H等，其中W和H中的每一个是4、8、16、32或更高的整数。 在这种情况下，第一边界值(或第二边界值)可以等于或大于第三边界值(或第四边界值)。 可以基于上述实施方式中的任何一个来选择性地使用候选借用(或共享)，并且可以基于第一实施方式至第三实施方式中的至少两个的组合来选择性地使用候选组借用。此外，可以基于实施方式的任何详细配置来选择性地使用候选组借用，并且可以根据一个或更多个详细配置的组合来选择性地使用候选组借用。 此外，可以显式地处理指示是否借用候选组的信息、关于在候选组借用时涉及的块属性(尺寸/类型/位置/宽高比)的信息、以及关于划分状态(划分方案、划分类型、划分深度等)的信息。另外，诸如图像类型和颜色分量的编码因素可以在候选组借用设置中充当输入变量。可以基于该信息和编码/解码设置来执行候选组借用。 可以将由预测模式编码器生成的预测相关信息发送至编码单元并被包括在比特流中。 在以上描述中，可以将基本块确定为目标块(编码块、预测块)或相关块(较高块)中的一个，并且可以通过上述示例来得出其描述。 另外，基于以下假设进行说明：用于构造预测模式候选组的所参考的相邻块与基本块可以具有高相关性或低相关性，但是相应块的预测模式不包括在基于块之间的相关性构造候选组时的候选组中。替选地，可以从以上示例得出，可以应用用于将候选组构造等级改变为较低等级的设置。 本公开内容的方法可以被实现为可以由各种计算机装置执行并且被记录在计算机可读介质中的程序指令。该计算机可读介质可以单独地或组合地包括程序指令、数据文件和数据结构。记录在计算机可读介质上的程序指令可以针对本公开内容而专门设计，或者对于计算机软件领域的技术人员是已知的，并且因此是可用的。 该计算机可读介质可以包括特别适于存储和执行程序指令的硬件装置，例如只读存储器(ROM)、随机存取存储器(RAM)、闪存等。程序指令可以包括由编译器产生的机器语言代码或可以在计算机中由解释器执行的高级语言代码。上述硬件装置可以被配置成作为一个或更多个软件模块进行操作，以执行根据本公开内容的操作，反之亦然。 此外，可以以其配置或功能的全部或部分组合或分离来实现上述方法或装置。 尽管以上已经参考本公开内容的优选实施方式描述了本公开内容，但是本领域技术人员将理解，可以在不脱离本公开内容的范围和精神的情况下对本公开内容进行各种修改和变型。 [工业应用] 本公开内容可以用于对图像进行编码/解码。
- 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法、动态图像解码程序、动态图像再编码装置、动态图像再编码方法、动态图像再编码程序
- 图像编码装置、图像解码装置、图像编码方法、图像解码方法、图像编码程序、图像解码程序、以及记录了图像编码程序的计算机可读记录介质、记录了图像解码程序的计算机可读记录介质