图像编码方法和用于该图像编码方法的装置

技术领域

本公开涉及图像编码技术，并且最具体地，涉及用于在图像编码系统中基于图片的POC来编码图像的方法和设备。

背景技术

如今，在各个领域中对诸如4K、8K或更高分辨率的超高清(UHD)图像/视频这样的高分辨率和高质量图像/视频的需求一直在增长。随着图像/视频数据变成更高分辨率和更高质量，与传统图像数据相比，所发送的信息量或比特量增加。因此，当使用诸如传统有线/无线宽带线路这样的介质发送图像数据或者使用现有存储介质存储图像/视频数据时，其传输成本和存储成本增加。

另外，如今，对于诸如虚拟现实(VR)、人工现实(AR)内容或全息图等这样的沉浸式媒体的兴趣和需求正在增加，并且对具有与诸如游戏图像这样的真实图像的图像特征不同的图像特征的图像/视频的广播正在增加。

因此，需要用于有效压缩和发送或存储并再现具有如上所述的各种特征的高分辨率高质量图像/视频的信息的高效图像/视频压缩技术。

发明内容

技术问题

本公开的技术方面是提供用于提高图像编码效率的方法和设备。

本公开还提供了用于提高图片的POC解码效率的方法和设备。

本公开还提供了通过不使用在系统中删除的参考图片来提高帧间预测效率的方法和设备。

本公开还用于通过限制当前图片与参考图片之间的POC值来减少错误发生并稳定网络。

技术方案

在一方面，提供了一种由解码设备执行的图像解码方法。该方法包括以下步骤：从比特流接收POC信息和关于参考图片的信息；基于所述POC信息来推导当前图片的POC值和参考图片的POC值；基于所述当前图片的POC值和所述参考图片的POC值来构造参考图片列表；通过基于所述参考图片列表对当前块执行帧间预测来推导所述当前块的预测样本；以及基于所述预测样本来生成重构图片，其中，所述POC信息包括POC的最大LSB值，并且关于所述参考图片的信息包括与图片是否不被用作参考图片相关的非参考图片标志，其中，用于推导所述当前图片的POC值的先前图片的非参考图片标志的值为0，并且其中，所述当前图片的POC值与所述先前图片的POC值之间的差值小于所述POC的最大LSB值的一半。

用于所述当前图片的层ID和所述先前图片的层ID可以相同，并且从用于所述先前图片的时间层的标识信息推导出的时间ID可以为0。

所述先前图片可以不是RASL图片，也不是RADL图片。

可以基于所述当前图片的变量POCMsb和POC LSB信息值来推导所述当前图片的POC值，并且可以基于与是否存在POC MSB循环值相关的循环存在标志以及基于循环存在标志值发信号通知的所述POC LSB循环值来推导所述变量POCMsb。

当所述当前图片的所述循环存在标志的值为0并且所述当前图片不是CLVSS图片时，基于所述先前图片的所述变量POCMsb来推导所述当前图片的所述变量POCMsb。

在另一方面，提供了一种由编码设备执行的图像编码方法。该方法包括以下步骤：推导当前图片的POC值和参考图片的POC值；使用所述参考图片对当前块执行帧间预测；以及对POC信息和关于所述参考图片的信息进行编码，其中，所述POC信息包括POC的最大LSB值，并且关于所述参考图片的信息包括与图片是否不被用作参考图片相关的非参考图片标志，其中，用于推导所述当前图片的POC值的先前图片的非参考图片标志的值为0，并且其中，所述当前图片的POC值与所述先前图片的POC值之间的差值小于所述POC的最大LSB值的一半。

根据本文献的又一实施方式，可以提供一种存储包括根据由编码设备执行的图像编码方法生成的编码后的图像信息和/或比特流的图像数据的数字存储介质。

根据本文献的又另一实施方式，可以提供一种存储包括致使解码设备执行图像解码方法的编码后的图像信息和/或比特流的图像数据的数字存储介质。

技术效果

根据本文献，可以增加整体的图像/视频压缩效率。

根据本公开，可以提高图片的POC解码效率。

根据本公开，不使用在系统中被删除的参考图片，因此，可以提高帧间预测效率。

根据本公开，限制了当前图片与参考图片之间的POC值，因此，可以减少错误发生，并且可以稳定网络。

可以通过本说明书的特定示例获得的效果不限于以上列举的效果。例如，可以存在相关技术领域的普通技术人员可以从本说明书中理解或推导出的各种技术效果。因此，本说明书的特定效果不限于本说明书中明确描述的效果，并可以包括可以从本说明书的技术特性中理解或推导出的各种效果。

附图说明

图1是例示了可以应用本公开的视频/图像编码设备的配置的示意图。

图2是例示了可以应用本公开的视频/图像解码设备的配置的示意图。

图3例示了编码的图像/视频的示例性层级结构。

图4例示了支持时间分级的比特流中的NAL单元的时间层结构。

图5是用于描述根据本公开的示例的由编码设备执行的图像信息的编码方法的示图。

图6是用于描述根据本公开的示例的由解码设备执行的图像信息的解码方法的示图。

图7是例示了根据本公开的实施方式的视频解码设备的操作的流程图。

图8是例示了根据本公开的实施方式的视频编码设备的操作的流程图。

图9示意性例示了适用本公开的视频/图像编码系统的示例。

图10例示了应用本公开的内容流传输系统的结构。

具体实施方式

本公开可以按各种形式进行修改，并且将在附图中描述和例示其具体实施方式。然而，这些实施方式并不旨在限制本公开。以下描述中使用的术语仅仅用于描述具体实施方式，而不旨在限制本公开。单数的表述包括复数的表述，只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。

此外，出于方便说明不同特定功能的目的，独立地绘制本公开中描述的图中的元件，这并不意味着这些元件是由独立硬件或独立软件实施的。例如，可以将这些元件中的两个或更多个元件组合，以形成单个元件，或者可以将一个元件分割为多个元件。在不脱离本公开的概念的情况下，其中元件被组合和/或分割的实施方式属于本公开。

下文中，将参考附图来详细地描述本公开的实施方式。另外，在整个附图中，类似的附图标记用于指示类似的元件，并且将省略对类似元件的相同描述。

本文献涉及视频/图像编码。例如，本文献中公开的方法/示例可以涉及VVC(多功能视频编码)标准(ITU-T Rec.H.266)、VVC之后的下一代视频/图像编码标准或其它视频编码相关标准(例如，HEVC(高效视频编码)标准(ITU-T Rec.H.265)、EVC(基本视频编码)标准、AVS2标准等)。

在本文献中，可以提供与视频/图像编码相关的各种实施方式，并且除非相反地指定，否则这些实施方式可以被彼此组合并执行。

在本文献中，视频可以意指随时间推移的一系列图像的集合。通常，图片意指表示特定时间区域的图像的单元，并且切片/图块是构成图片的一部分的单元。切片/图片可以包括一个或更多个编码树单元(CTU)。一个图片可以由一个或更多个切片/图块构成。一个图片可以由一个或更多个图块组构成。一个图块组可以包括一个或更多个图块。

像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，并且可以仅表示亮度分量的像素/像素值，或仅表示色度分量的像素/像素值。另选地，样本可以是指空间域中的像素值，或者当该像素值被变换到频域时，它可以是指频域中的变换系数。

单元可以表示图像处理的基本单元。单元可以包括特定区域和与该区域相关的信息中的至少一个。一个单元可以包括一个亮度块和两个色度(例如，cb、cr)块。根据情况，可以将单元和诸如块、区域等这样的术语彼此替代地使用。在通常情况下，M×N块可以包括由M列N行组成的样本(或样本阵列)或变换系数的集合(或阵列)。

在本文献中，术语“/”和“，”应该被解释为指示“和/或”。例如，表述“A/B”可以意指“A和/或B”。另外，“A、B”可以意指“A和/或B”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A/B/C”可以意指“A、B和/或C中的至少一个”。

另外，在文献中，术语“或”应该被解释为指示“和/或”。例如，表述“A或B”可以包括1)仅A、2)仅B和/或3)A和B二者。换句话说，本文献中的术语“或”应该被解释为指示“另外地或另选地”。

在本公开中，“A和B中的至少一个”可以意指“仅A”、“仅B”或“A和B二者”。另外，在本公开中，表述“A或B中的至少一个”或“A和/或B中的至少一个”可以被解释为“A和B中的至少一个”。

另外，在本公开中，“A、B和C中的至少一个”可以意指“仅A”、“仅B”、“仅C”或“A、B和C的任何组合”。另外，“A、B或C中的至少一个”或“A、B和/或C中的至少一个”可以意指“A、B和C中的至少一个”。

另外，本公开中使用的括号可以意指“例如”。具体地，当被指示为“预测(帧内预测)”时，它可以意味着“帧内预测”被提议为“预测”的示例。即，本公开中的“预测”不限于“帧内预测”，并且“帧内预测”可以被提议为“预测”的示例。另外，当被指示为“预测(即，帧内预测)”时，它也可以意味着“帧内预测”被提议为“预测”的示例。

本公开中的一个图中独立描述的技术特征可以被分别实现，或者可以被同时实现。

图1是示意性说明了适用本公开的实施方式的视频/图像编码设备的配置的示图。下文中，所谓的视频编码设备可以包括图像编码设备。

参照图1，编码设备100可以包括并配置有图像分割器110、预测器120、残差处理器130、熵编码器140、加法器150、滤波器160和存储器170。预测器120可以包括帧间预测器121和帧内预测器122。残差处理器130可以包括变换器132、量化器133、反量化器134和逆变换器135。残差处理器130还可以包括减法器131。加法器150可以被称为重构器或重构块生成器。根据实施方式，上面已描述的图像分割器110、预测器120、残差处理器130、熵编码器140、加法器150和滤波器160可以由一个或更多个硬件部件(例如，编码器芯片组或处理器)构成。另外，存储器170可以包括解码图片缓冲器(DPB)，并且还可以由数字存储介质构成。硬件部件还可以包括存储器170作为内部/外部部件。

图像分割器110可以将输入到编码设备100的输入图像(或图片或帧)分割到一个或更多个处理单元中。例如，处理单元可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树三叉树(QTBTTT)结构从编码树单元(CTU)或最大编码单元(LCU)来递归地分割编码单元。例如，一个编码单元可以基于四叉树结构、二叉树结构和/或三元结构而被分割为深度更深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构和/或三元结构。另选地，可以首先应用二叉树结构。可以基于不再分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，可以根据图像特性基于编码效率将最大编码单元用作最终编码单元，或者如果需要，可以将编码单元递归地分割为深度更深的编码单元并且具有最佳大小的编码单元可以用作最终编码单元。这里，编码过程可以包括预测、变换和重构的过程，这将在后面描述。作为另一示例，处理单元还可以包括预测单元(PU)或变换单元(TU)。在这种情况下，可以从上述最终编码单元来分离或分割预测单元和变换单元。预测单元可以是样本预测的单元，并且变换单元可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。

在一些情况下，单元可以与诸如块或区域的术语互换使用。在一般情况下，M×N块可以表示由M列和N行组成的样本或变换系数的集合。样本通常可以表示像素或像素值，可以仅表示亮度分量的像素/像素值，或者仅表示色度分量的像素/像素值。样本可以用作与像素或画素的一幅图片(或图像)相对应的术语。

编码设备100可以通过从输入图像信号(原始块、原始样本阵列)中减去从帧间预测器121或帧内预测器122输出的预测信号(预测块、预测样本阵列)来生成残差信号(残差块、残差样本阵列)，并且所生成的残差信号被发送到变换器132。在这种情况下，如所例示的，用于在编码设备100内从输入图像信号(原始块、原始样本阵列)中减去预测信号(预测块、预测样本阵列)的单元可以被称为减法器131。预测器可以对待处理块(下文中，被称为当前块)执行预测并生成包括当前块的预测样本的预测块。预测器可以确定以当前块或CU为单位应用帧内预测还是应用帧间预测。预测器可以生成诸如预测模式信息这样的关于预测的各种信息，以将所生成的信息传送到熵编码器140，如随后在描述每个预测模式时描述的。关于预测的信息可以被熵编码器140编码并可以以比特流的形式输出。

帧内预测器122可以通过参考当前图片中的样本来预测当前块。根据预测模式，参考的样本可以位于当前块的附近，或者可以远离当前块。在帧内预测中，预测模式可以包括多个非定向模式和多个定向模式。非定向模式可以包括例如DC模式和平面模式。根据预测方向的详细程度，定向模式可以包括例如33个定向预测模式或65个定向预测模式。然而，这仅是示例，依据设置，可以使用更多或更少的定向预测模式。帧内预测器122可以通过使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器121可以基于由参照图片上的运动向量指定的参考块(参考样本阵列)来推导当前块的预测块。这里，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块和当前块之间的运动信息的相关性，以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参照图片索引。运动信息还可包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参照图片中的时间邻近块。包括参考块的参照图片和包括时间邻近块的参照图片可以相同或不同。时间邻近块可以称为并置参考块、共位CU(colCU)等，并且包括时间邻近块的参照图片可以称为并置图片(colPic)。例如，帧间预测器121可以基于邻近块来配置运动信息候选列表，并且生成指示使用哪个候选来推导当前块的运动向量和/或参照图片索引的信息。可以基于各种预测模式来执行帧间预测。例如，在跳过模式和合并模式的情况下，帧间预测器121可以将邻近块的运动信息用作当前块的运动信息。在跳过模式下，与合并模式不同，可能无法发送残差信号。在运动向量预测(MVP)模式的情况下，可以将邻近块的运动向量用作运动向量预测子，并且可以通过发信号通知运动向量差来指示当前块的运动向量。

预测器120可以基于随后将描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且还可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于帧内块复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以用于诸如屏幕内容编码(SCC)这样的游戏等的内容图像/视频编码。IBC基本上在当前图片中执行预测，但其可以因在当前图片中推导参考块而与帧间预测类似地执行。即，IBC可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，可以基于关于调色板索引和调色板表的信息来发信号通知图片中的样本值。

通过预测器(包括帧间预测器121和/或帧内预测器122)生成的预测信号可以用于生成重构信号或者用于生成残差信号。变换器132可以通过向残差信号应用变换技术来生成变换系数。例如，变换技术可以包括离散余弦变换(DCT)、离散正弦变换(DST)、Karhunen-Loève变换(KLT)、基于图的变换(GBT)或有条件非线性变换(CNT)中的至少一种。这里，当像素之间的关系信息被例示为曲线图时，GBT意指从该曲线图获得的变换。CNT意指基于通过使用所有先前重构的像素生成的预测信号而获取的变换。另外，变换处理也可以被应用于大小相同的正方形像素块，也可以应用于大小可变而非正方形的块。

量化器133可以对变换系数进行量化并且将量化变换系数发送到熵编码器140，并且熵编码器140可以对量化信号(关于量化变换系数的信息)进行编码，从而以比特流的形式输出编码量化信号。关于量化变换系数的信息可以被称为残差信息。量化器133可以基于系数扫描顺序将具有块形式的量化变换系数重新布置成一维向量形式，还可以基于一维向量形式的量化变换系数来生成关于量化变换系数的信息。熵编码器140可以执行例如诸如指数哥伦布(exponential Golomb)编码、上下文自适应可变长度编码(CAVLC)和上下文自适应二进制算术编码(CABAC)这样的各种编码方法。熵编码器140还可以将视频/图像重构所必需的信息(例如，语法元素的值等)而非量化变换系数一起或单独地编码。编码后的信息(例如，编码后的视频/图像信息)可以以比特流的形式以网络抽象层(NAL)单元为单位发送或存储。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)或视频参数集(VPS)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。在本文献中，从编码设备传送/发信号通知给解码设备的语法元素和/或信息可以被包括在视频/图像信息中。视频/图像信息可以通过利用以上提到的编码过程编码而被包括在比特流中。比特流可以通过网络发送，或者可以被存储在数字存储介质中。本文中，网络可以包括广播网络和/或通信网络等，并且数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD和SSD这样的各种存储介质。用于发送从熵编码器140输出的信号的发送器(未示出)或用于存储该信号的存储器(未示出)可以被配置为编码设备100的内部/外部元件，或者发送器也可以被包括在熵编码器140中。

从量化器133输出的量化变换系数可以用于生成预测信号。例如，反量化器134和逆变换器135可以向量化变换系数应用反量化和逆变换，以恢复残差信号(残差块或残差样本)。加法器150可以将重构后的残差信号与从帧间预测器121或帧内预测器122输出的预测信号相加，以生成重构信号(重构图片、重构块、重构样本阵列)。如在应用跳过模式的情况下，如果待处理块不存在残差，则可以将预测块用作重构块。加法器150可以被称为重构器或重构块生成器。所生成的重构信号可以用于当前图片内待处理的下一个块的帧内预测，并且如随后描述的，还通过滤波用于下一个图片的帧间预测。

此外，在图片编码和/或重构期间，可以应用具有色度缩放的亮度映射(LMCS)。

滤波器160可以通过对重构信号应用滤波来改善主观/客观图像质量。例如，滤波器160可以通过对重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片存储在存储器170(具体地，存储器170的DPB)中。各种滤波方法可包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双边滤波器等。滤波器160可以生成与滤波有关的各种信息，并且将生成的信息发送给熵编码器140，如稍后在各种滤波方法的描述中所述。与滤波有关的信息可以由熵编码器140编码并且以比特流的形式输出。

发送给存储器170的修改后的重构图片可以用作帧间预测器121中的参照图片。当通过编码设备应用帧间预测时，可以避免编码设备100与解码设备之间的预测不匹配，并且可以提高编码效率。

存储器170的DPB可以存储用作帧间预测器121中的参照图片的修改后的重构图片。存储器170可以存储从中推导(或编码)当前图片中的运动信息的块的运动信息和/或图片中已重构的块的运动信息。所存储的运动信息可以发送给帧间预测器121，并且用作空间邻近块的运动信息或时间邻近块的运动信息。存储器170可以存储当前图片中的重构块的重构样本，并且可以将重构样本传送给帧内预测器122。

图2是示意性说明了适用本公开的实施方式的视频/图像解码设备的配置的示图。

参照图2，解码设备200可以包括并配置有熵解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。预测器230可以包括帧间预测器232和帧内预测器231。残差处理器220可以包括反量化器221和逆变换器222。根据实施方式，上面已描述的熵解码器210、残差处理器220、预测器230、加法器240和滤波器250可以由一个或更多个硬件部件(例如，解码器芯片组或处理器)构成。另外，存储器260可以包括解码图片缓冲器(DPB)，并可以由数字存储介质构成。硬件部件还可以包括存储器260作为内部/外部部件。

当输入包括视频/图像信息的比特流时，解码设备200可以响应于在图1中例示的编码设备中处理视频/图像信息的处理而重构图像。例如，解码设备200可以基于与从比特流获取的块分割相关信息来推导单元/块。解码设备200可以使用应用于编码设备的处理单元来执行解码。因此，用于解码的处理单元可以是例如编码单元，并且可以从CTU或LCU根据四叉树结构、二叉树结构和/或三叉树结构对编码单元进行分割。可以从编码单元推导一个或更多个变换单元。另外，可以通过再现设备来再现通过解码设备200解码并输出的重构图像信号。

解码设备200可以以比特流的形式接收从图1中例示的编码设备输出的信号，并可以通过熵解码器210对接收到的信号进行解码。例如，熵解码器210可以通过对比特流进行解析来推导图像重构(或图片重构)所必需的信息(例如，视频/图像信息)。视频/图像信息还可以包括关于诸如适应参数集(APS)、图片参数集(PPS)、序列参数集(SPS)和视频参数集(VPS)这样的各种参数集的信息。另外，视频/图像信息还可以包括常规约束信息。解码设备可以进一步基于关于参数集的信息和/或常规约束信息对图片进行解码。随后将在本文献中描述的将要发信号通知/接收的语法元素和/或信息可以通过解码过程被解码并从比特流获取。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC或CABAC这样的编码方法对比特流内的信息进行解码，并输出图像重构所必需的语法元素的值和残差相关变换系数的量化值。更具体地，CABAC熵解码方法可以从比特流接收与每个语法元素对应的bin，使用待解码的语法元素信息以及邻近块和待解码块的解码信息或在前一级中解码的符号/bin的信息来确定上下文模型，并通过根据所确定的上下文模型预测bin的生成概率以执行bin的算术解码来生成与每个语法元素的值对应的符号。此时，CABAC熵解码方法可以确定上下文模型，然后使用针对下一个符号/bin的上下文模型的解码的符号/bin的信息来更新上下文模型。由熵解码器210解码的信息当中的关于预测的信息可以被提供到预测器(帧间预测器232和帧内预测器231)，并且由熵解码器210执行熵解码的残差值(即，量化变换系数和相关的参数信息)可以被输入到残差处理器220。残差处理器220可以推导出残差信号(残差块、残差样本、残差样本矩阵)。另外，由熵解码器210解码的信息当中的关于滤波的信息可以被提供到滤波器250。此外，用于接收从编码设备输出的信号的接收器(未示出)可以进一步被配置为解码设备200的内部/外部元件，或者接收器也可以是熵解码器210的部件。此外，根据本公开的解码设备可以被称为视频/图像/图片解码设备，并且解码设备也可以被分类为信息解码器(视频/图像/图片信息解码器)和样本解码器(视频/图像/图片样本解码器)。信息解码器可以包括熵解码器210，并且样本解码器可以包括反量化器221、逆变换器222、加法器240、滤波器250、存储器260、帧间预测器232和帧内预测器231中的至少一个。

反量化器221可以对量化变换系数进行反量化，以输出变换系数。反量化器221可以将量化变换系数重新布置为二维块形式。在这种情况下，可以基于由编码设备执行的系数扫描顺序来执行重新布置。反量化器221可以使用量化参数(例如，量化步长信息)对量化变换系数执行反量化，并获取变换系数。

逆变换器222对变换系数进行逆变换，以获取残差信号(残差块、残差样本阵列)。

预测器230可以对当前块执行预测，并生成包括当前块的预测样本的预测块。预测器可以基于关于从熵解码器210输出的预测的信息来确定向当前块应用帧内预测还是应用帧间预测，并且确定特定的帧内/帧间预测模式。

预测器可以基于随后将要描述的各种预测方法来生成预测信号。例如，预测器不仅可以应用帧内预测或帧间预测来预测一个块，而且可以同时应用帧内预测和帧间预测。这可以被称为组合的帧间和帧内预测(CIIP)。另外，预测器可以基于帧内块复制(IBC)预测模式或调色板模式，以便对块执行预测。IBC预测模式或调色板模式可以用于诸如屏幕内容编码(SCC)这样的游戏等的内容图像/视频编码。IBC基本上在当前图片中执行预测，但因在当前图片中推导参考块而与帧间预测类似地执行。即，IBC可以使用本文献中描述的帧间预测技术中的至少一种。调色板模式可以被视为帧内编码或帧内预测的示例。当应用调色板模式时，关于调色板表和调色板索引的信息可以通过被包括在视频/图像信息中而被发信号通知。

帧内预测器231可以参考当前图片内的样本来预测当前块。参考的样本可以根据预测模式与当前块邻近地定位，或者也可以背离当前块定位。帧内预测中的预测模式可以包括多种非定向模式和多种定向模式。帧内预测器231还可以使用应用于邻近块的预测模式来确定应用于当前块的预测模式。

帧间预测器232可以基于参考图片上的运动向量所指定的参考块(参考样本阵列)来推导当前块的预测块。此时，为了减少在帧间预测模式下发送的运动信息的量，可以基于邻近块与当前块之间的运动信息相关性以块、子块或样本为单位来预测运动信息。运动信息可以包括运动向量和参考图片索引。运动信息还可以包括帧间预测方向(L0预测、L1预测、Bi预测等)信息。在帧间预测的情况下，邻近块可以包括当前图片内存在的空间邻近块和参考图片中存在的时间邻近块。例如，帧间预测器232可以基于邻近块来配置运动信息候选列表，并基于接收到的候选选择信息来推导当前块的运动向量和/或参考图片索引。可以基于各种预测模式来执行帧间预测，并且关于预测的信息可以包括指示当前块的帧间预测的模式的信息。

加法器240可以将所获取的残差信号与从预测器(包括帧间预测器232和/或帧内预测器231)输出的预测信号(预测块、预测样本阵列)相加，以生成重构信号(重构图片、重构块、重构样本阵列)。如在应用跳过模式的情况下，如果待处理块不存在残差，则可以将预测块用作重构块。

加法器240可以被称为重构器或重构块生成器。所生成的重构信号可以用于在当前图片中将要处理的下一个块的帧内预测，并且如随后描述的，还可以通过滤波来输出或者还可以用于下一个图片的帧间预测。

此外，具有色度缩放的亮度映射(LMCS)还可以被应用于图片解码处理。

滤波器250可以对重构信号应用滤波，由此改善主观/客观图像质量。例如，滤波器250可以对重构图片应用各种滤波方法来生成修改后的重构图片，并将修改后的重构图片发送到存储器260，具体地，存储器260的DPB。各种滤波方法可以包括例如去块滤波、样本自适应偏移、自适应环路滤波器、双向滤波器等。

存储在存储器260的DPB中的(修改后的)重构图片可以被用作帧间预测器232中的参考图片。存储器260可以存储在其中推导出(或解码)当前图片内的运动信息的块的运动信息和/或先前重构的图片内的块的运动信息。所存储的运动信息可以被传送到帧间预测器260，以被用作空间邻近块的运动信息或时间邻近块的运动信息。存储器260可以存储当前图片内的重构块的重构样本，并将所存储的重构样本传送到帧内预测器231。

在本文献中，在编码设备100的滤波器160、帧间预测器121和帧内预测器122中描述的示例性实施方式可以分别同等地应用于或对应于解码设备200的滤波器250、帧间预测器232和帧内预测器231。

如上所述，执行预测，以便增加执行视频编码时的压缩效率。据此，可以生成包括针对作为编码目标块的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。可以在编码设备和解码设备中相同地推导预测块，并且编码设备可以通过向解码设备发信号通知并非原始块的原始样本值本身而是关于原始块与预测块之间的残差的信息(残差信息)来提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块，通过将残差块与预测块相加来生成包括重构样本的重构块，并且生成包括重构块的重构图片。

可以通过变换过程和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，通过对残差块中所包括的残差样本(残差样本阵列)执行变换过程来推导变换系数，并通过对变换系数执行量化过程来推导量化变换系数，使得它可以(通过比特流)向解码设备发信号通知关联的残差信息。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核、量化参数等。解码设备可以基于残差信息来执行量化/反量化过程并且推导残差样本(或残差样本块)。解码设备可以基于预测块和残差块来生成重构块。编码设备可以通过对量化变换系数进行反量化/逆变换以供下一个图片的帧间预测参考来推导残差块，并且可以基于此来生成重构图片。

此外，在VVC系统中，存在系统级实体可以知晓图片是否被用于某个图片的参考图片的信令机制。通过该信息，系统级实体可以在某个特定情形下去除图片。即，系统级实体可以去除被标记为未用作另一图片的参考的图片。例如，当发生网络拥塞时，媒体识别网络路由器可以丢弃传送被标记为未用作另一图片的参考的图片的编码位的网络分组。

下表1表示内容的标志信息。

[表1]

如表1中表示的，当ph_non_ref_pic_flag的值为1时，这表示与图片头关联的图片不被用作参考图片，并且当该值为0时，这表示与图片头关联的图片可以被用作或者可以不被用作参考图片。

此外，当前，在VVC规范中描述的推导当前图片的POC值的过程如下。

通过该过程，可以推导作为当前图片的POC的变量PicOrderCntVal。

为了推导变量PicOrderCntVal，需要以更高级语法发信号通知的图像信息，如以下详细描述的。

nuh_layer_id在NAL单元头中被发信号通知，并且是用于划分VCL NAL单元所属的层或应用非VCL NAL单元的层的标识符。

图3例示了编码的图像/视频的示例性层级结构。如图3中所示，编码的图像/视频被划分为处理图像/视频的解码处理和图像/视频本身的视频编码层(VCL)、发送并存储编码的信息的下层系统以及发挥网络适配作用并处于VCL和下层系统之间的网络抽象层(NAL)。

VCL可以生成包括压缩的图像数据(切片数据)的VCL数据，或者可以生成包括诸如图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等这样的信息的参数集或图像的解码处理中补充需要的补充增强信息(SEI)消息。

在NAL中，可以通过向在VCL中生成的原始字节序列有效载荷(RBSP)添加头信息(NAL单元头)来生成NAL单元。在这种情况下，RBSP被称为在VCL中生成的切片数据、参数集、SEI消息等。NAL单元头可以包括根据NAL单元中所包括的RBSP数据指定的NAL单元类型信息。

如图3中所示，根据在VCL中生成的RBSP，NAL单元可以划分为VCL NAL单元和非VCLNAL单元。VCL NAL单元可以意指包括图像的信息(切片数据)的NAL单元，并且非VCL NAL单元可以意指包括解码图像所需的信息(参数集或SEI消息)的NAL单元。

上述的VCL NAL单元和非VCLNAL单元可以通过根据下部系统的数据规范附接头信息来通过网络发送。例如，NAL单元可以被变换为诸如H.266/VVC文件格式、RTP(实时传输协议)、TS(传输流)等这样的预定规范的数据格式，并可以通过各种类型的网络发送。

如上所述，对于NAL单元，可以根据NAL单元中所包括的RBSP数据结构来指定NAL单元类型，并且NAL单元类型的信息可以被存储在NAL单元头中并被发信号通知。

例如，根据NAL单元是否包括图像的信息(切片数据)，NAL单元可以分类为VCL NAL单元类型和非VCL NAL单元类型。VCL NAL单元类型可以根据VCL NAL单元中所包括的图片的性质和类型来分类，并且非VCL NAL单元类型可以根据参数集的类型来分类。

上述NAL单元类型可以具有针对NAL单元类型的语法信息，并且语法信息可以被存储在NAL单元头中并发信号通知。例如，语法信息可以是nal_unit_type，并且NAL单元类型可以被指定为nal_unit_type值。

vps_independent_layer_flag[i]是在视频参数集中发信号通知的标志信息。当该值为1时，这表示被索引为i的层不用于层间帧间预测，即，层间预测，并且当该值为0时，这表示被索引为i的层用于层间预测。

sps_log2_max_pic_order_cnt_lsb_minus4是在序列参数集中发信号通知的信号，并表示在POC的解码处理中使用的变量MaxPicOrderCntLsb的值。变量MaxPicOrderCntLsb可以被指定为2

值sps_poc_msb_cycle_len_minus1加1表示语法元素ph_poc_msb_cycle_val的比特长度。

ph_pic_order_cnt_lsb表示当前图片的POC的值除以变量MaxPicOrderCntLsb的值，并且ph_pic_order_cnt_lsb的长度为sps_log2_max_pic_order_cnt_lsb_minus4+4比特。ph_pic_order_cnt_lsb的值存在于0至(MaxPicOrderCntLsb-1)的范围内。

ph_poc_msb_cycle_present_flag是表示语法元素ph_poc_msb_cycle_val是否存在于图片头中的标志信息。当ph_poc_msb_cycle_present_flag的值为1时，这表示语法元素ph_poc_msb_cycle_val存在于图片头中，并且当ph_poc_msb_cycle_present_flag的值为0时，这表示语法元素ph_poc_msb_cycle_val不存在于图片头中。当vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]为0并且图片存在于当前层的参考层中的当前AU中时，ph_poc_msb_cycle_present_flag的值为0。

ph_poc_msb_cycle_val表示当前图片的POC MSB循环值。语法元素ph_poc_msb_cycle_val的长度为sps_poc_msb_cycle_len_minus1+1比特。

如果vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]为1并且在当前层的参考层中的当前AU中存在图片A，则变量PicOrderCntVal被推导为与图片A的PicOrderCntVal相同的值，并且当前AU中的所有VCL NAL单元需要具有相同的ph_pic_order_cnt_lsb值。

否则，即，当当前层不用于层间预测时，可以如下地推导当前图片的变量PicOrderCntVal。

首先，当ph_poc_msb_cycle_present_flag为0并且当前图片不是CLVSS(编码层视频序列开头)时，可以如下地推导变量prevPicOrderCntLsb和变量prevPicOrderCntMsb。

当在当前图片和nuh_layer_id相同时TemporalId为0并且并非RASL(随机访问跳过前导)图片或RADL(随机访问可解码前导)图片的先前图片被设置为prevTid0Pic时，变量prevPicOrderCntLsb与prevTid0Pic的ph_pic_order_cnt_lsb相同，并且变量prevPicOrderCntMsb与prevTid0Pic的PicOrderCntMsb相同。

这里，TemporalId意指基于支持时间分级的比特流(或时间分级比特流)中的时间层的标识信息而推导的变量。

支持时间分级的比特流(或时间分级比特流)包括时间分级的时间层的信息。时间层的信息可以是根据NAL单元的时间分级指定的时间层的标识信息。例如，作为时间层的标识信息，可以使用temporal_id语法信息，并且temporal_id语法信息可以被存储在编码设备中的NAL单元头中并被发信号通知给解码设备。下文中，在本公开中，时间层可以被称为子层、时间子层或时间分级层。

图4例示了支持时间分级的比特流中NAL单元的时间层结构。

如果比特流支持时间分级，则比特流中所包括的NAL单元具有时间层的标识信息(例如，temporal_id)。例如，包括其temporal_id为0的NAL单元的时间层可以提供最低的时间分级，并且包括其temporal_id为2的NAL单元的时间层可以提供最高的时间分级。

在图4中，由I指示的块是I图片，并且由B指示的块是B图片。另外，箭头标记指示关于一个图片是否参考另一图片的参考关系。

如图4中所示，其temporal_id为0的时间层的NAL单元是可以供其temporal_id为0、1或2的时间层的NAL单元参考的参考图片。其temporal_id为1的时间层的NAL单元是可以供其temporal_id为1或2的时间层的NAL单元参考的参考图片。其temporal_id为2的时间层的NAL单元可以是可以供相同时间层(即，其temporal_id为2的时间层)的NAL单元参考的参考图片，或者可以是没有供另一图片参考的非参考图片。

如图4中所示，如果其temporal_id为2的时间层即最高时间层的NAL单元是非参考图片，则可以从比特流中提取(或去除)NAL单元而不影响不同图片。

此外，如下地推导当前层的变量PicOrderCntMsb。

如果ph_poc_msb_cycle_present_flag的值为1，则变量PicOrderCntMsb等于ph_poc_msb_cycle_val乘以MaxPicOrderCntLsb(ph_poc_msb_cycle_val*MaxPicOrderCntLsb)的值。

否则，即，当ph_poc_msb_cycle_present_flag的值为0时，如果当前图片是CVSS图片，则变量PicOrderCntMsb等于0。

如果ph_poc_msb_cycle_present_flag的值为0并且当前图片不是CVSS图片，则可以基于下式来推导变量PicOrderCntMsb。

[式1]

最后，作为当前图片的POC值的变量PicOrderCntVal被推导为先前推导的变量PicOrderCntMsb和ph_pic_order_cnt_lsb的总和。

这里，由于不存在ph_poc_msb_cycle_val值的所有CVSS图片都具有为0的变量PicOrderCntMsb值，因此PicOrderCntVal等于ph_pic_order_cnt_lsb。

PicOrderCntVal值可以在-2

另外，特定AU中的所有图片都应该具有相同的PicOrderCntVal值。

此外，在上述POC解码过程中，存在与非参考图片相关的问题。在POC解码过程中，PicOrderCntMsb的推断可以根据用prevTid0Pic设计的图片的POC值er推迟。由于当前图片的prevTid0Pic在编码处理和解码处理中应该是相同的图片，因此POC值是相同的。

然而，当确定prevTid0Pic时，由于ph_non_ref_pic_flag的值为1，因此不考虑prevTid0Pic是否是可以被系统实体去除的图片。当存在被指定为当前图片的prevTid0Pic的图片时，由于被系统去除，因此解码设备可能无意识地使用另一图片作为用于当前图片的POC解码的prevTid0Pic。结果，解码设备可能推导错误的POC值。

为了解决这个问题，在本公开中可以如下提出各种实施方式。实施方式中的每一个可以被独立地或组合地应用于图像解码和编码过程。

1.在POC解码过程中被选择为prevTid0Pic的图片可以被限制为其ph_non_ref_pic_flag不等于1的图片。

2.其TemporalId为0的图片的ph_non_ref_pic_flag值可以被限制为不等于1。

3.当CLVS(即，编码层视频序列)具有一个或更多个时间子层时，基本时间子层中的任何图片(即，TemporalId为0)可以被限制为不以1作为ph_non_ref_pic_flag的值。

4.当CLVS包含不全是帧内图片(即，intra_only_constraint_flag的值等于1)的图片时，其TemporalId为0的图片可以被限制为不以1作为ph_non_ref_pic_flag的值。

5.在CLVS包含不全是帧内图片(即，intra_only_constraint_flag的值为1)的图片并且在CLVS中存在一个或更多个时间子层的情况下，其TemporalId为0的图片可以被限制为不以1作为ph_non_ref_pic_flag的值。

6.针对其TemporalId为0并且ph_non_ref_pic_flag为0的两个连续的图片对，其可以被限制为使得图片之间的绝对POC差不可以大于MaxPicOrderCntLsb的一半值。

换句话说，为了防止当在POC解码过程中使用非参考图片时错误地推导POC，在本公开中，可以在POC解码过程中不使用其TemporalId为0的非参考图片，并且另外，其TemporalId为0并且ph_non_ref_pic_flag为0的两个连续图片之间的POC值的差值可以被限制为不大于MaxPicOrderCntLsb的一半。

图5是用于描述根据本公开的示例的由编码设备执行的图像信息的编码方法的示图，并且图6是用于描述根据本公开的示例的由解码设备执行的图像信息的解码方法的示图。

编码设备可以推导参考图片的POC值以构造参考图片集，并可以推导当前图片的POC值(步骤S510)。

编码设备可以对推导出的当前图片的POC信息进行编码(步骤S520)，并可以对包括POC信息的图像信息进行编码(步骤S530)。

响应于在编码设备中执行的操作，解码设备可以从比特流获得包括POC信息的图像信息(步骤S610)，并可以基于POC信息来推导参考图片和当前图片的POC值(步骤S620)。

可以基于推导出的POC值来构造参考图片集(步骤S630)，并且可以基于参考图片集来推导参考图片列表(步骤S640)。

基于推导出的参考图片列表，可以执行对当前图片的帧间预测(步骤S650)。

诸如POC信息这样的图像信息可以被包括在HLS(高级语法)中。POC信息可以包括与POC相关的信息和语法元素，并且POC信息可以包括与当前图片相关的POC信息和/或与参考图片相关的POC信息。POC信息可以包括ph_non_reference_picture_flag、ph_non_reference_picture_flag、ph_poc_msb_cycle_present_flag和/或ph_poc_msb_cycle_val中的至少一个。

可以省略如图5和图6中所示地推导的参考图片集或参考图片列表中的任一个。例如，可以省略推导参考图片列表的步骤S640，可以基于参考图片集来执行帧间预测。

另选地，根据另一示例，可以基于POC值来推导参考图片列表，以替代用于推导参考图片集的步骤S630和用于推导参考图片列表的步骤S640。例如，可以基于由与参考图片相关的POC信息指示的POC差值来推导第i参考图片的POC值。在这种情况下，当i为0时，POC信息可以表示当前图片与第i参考图片之间的POC差值，并且当i大于0时，POC信息可以表示第i参考图片与第(i-1)参考图片之间的POC差值。参考图片可以包括具有比当前图片的POC值小的POC值的先前参考图片和/或具有比当前图片的POC值大的POC值的后续参考图片。

下文中，将详细地描述本公开中提出的实施方式。

[实施方式1]

表2对应于实现上述第二示例(其TemporalId为0的图片的ph_non_ref_pic_flag值被限制为不等于1)的示例。在表2中，用下划线标记基于当前VVC规范的根据实施方式添加的部分。

[表2]

[实施方式2]

表3对应于实现上述第三示例(当CLVS具有一个或更多个时间子层时，基本时间子层中的任何图片被限制为不以1作为ph_non_ref_pic_flag的值)的示例。在表3中，用下划线标记基于当前VVC规范的根据实施方式添加的部分。

[表3]

[实施方式3]

表4对应于实现上述第四示例(当CLVS包括不全是帧内图片的图片时，其TemporalId为0的图片被限制为不以1作为ph_non_ref_pic_flag的值)的示例。在表4中，用下划线标记基于当前VVC规范的根据实施方式添加的部分。

[表4]

[实施方式4]

表5对应于实现上述第五示例(在CLVS包含不全是帧内图片(即，intra_only_constraint_flag的值为1)的图片并且在CLVS中存在一个或更多个时间子层的情况下，其TemporalId为0的图片被限制为不以1作为ph_non_ref_pic_flag的值)的示例。在表5中，用下划线标记基于当前VVC规范的根据实施方式添加的部分。

[表5]

[实施方式5]

表6对应于实现上述第六示例(针对其TemporalId为0并且ph_non_ref_pic_flag为0的两个连续图片对，图片之间的绝对POC差值被限制为不大于MaxPicOrderCntLsb的值的一半)的示例。在表6中，用下划线标记基于当前VVC规范的根据实施方式添加的部分。

[表6]

/>

/>

提供以下附图以描述本公开的特定示例。由于示例性提出了附图中示出的特定装置的名称和特定信号/消息/字段的名称，因此本公开的技术特征不受以下附图中使用的特定名称的限制。

图7是例示了根据本公开的实施方式的视频解码设备的操作的流程图。

图7中公开的每个步骤是基于以上在图3至图6中描述的内容中的一些的。相应地，将省略或简要描述与以上在图2至图6中描述的内容重叠的详细描述。

根据实施方式的解码设备200可以从比特流接收POC信息和参考图片的信息，POC信息可以包括POC的最大LSB值，并且参考图片的信息可以包括与图片是否被用作参考图片相关的非参考图片标志(步骤S710)。

非参考图片标志可以是表1中表示的ph_non_ref_pic_flag，并且当值为1时，这表示与图片头相关的图片不可以被用作参考图片，并且当值为0时，这表示与图片头相关的图片可以被用作或可以不被用作参考图片。即，其非参考图片标志值为0的图片不被用作另一图片的参考图片。换句话说，被用作另一图片的参考图片的图片的非参考图片标志值为1。

接收到的POC信息可以包括vps_independent_layer_flag、sps_log2_max_pic_order_cnt_lsb_minus4、sps_poc_msb_cycle_len_minus1、ph_pic_order_cnt_lsb、ph_poc_msb_cycle_present_flag、ph_poc_msb_cycle_val等，并且这些类型的信息可以在图片头或序列参数集中发信号通知。发信号通知的语法信息的描述与上述相同。

解码设备可以基于POC信息来推导当前图片和参考图片的POC值以用于当前图片的帧间预测并用于参考图片列表的生成(步骤S720)。

指示当前图片的POC值的变量PicOrderCntVal可以被推导为指示当前图片的MSB值的变量PicOrderCntMsb(变量POCMsb)与指示在图片头中发信号通知的当前图片的LSB的ph_pic_order_cnt_lsb(POC LSB信息)值之和(变量PicOrderCntMsb+ph_pic_order_cnt_lsb)。

在当前图片的vps_independent_layer_flag值为0并且当前层被用作参考图片的情况下，当前图片具有与参考层中的当前AU中所包括的图片相同的POC值。

否则，在层间预测中不使用当前层的情况下，可以基于以ph_poc_msb_cycle_present_flag值(循环存在标志)为基础发信号通知的POC MSB循环值(ph_poc_msb_cycle_val)和循环存在标志值来推导当前图片的变量PicOrderCntVal。在这种情况下，可以根据循环存在标志值的存在以及当前图片是否是CLVSS(编码层视频序列开始)图片来应用不同的推导处理。

第一种情况对应于ph_poc_msb_cycle_present_flag为0并且当前图片不是CLVSS图片的情况。对于POC推导，可以推导先前图片的变量prevPicOrderCntLsb和变量prevPicOrderCntMsb，并且可以基于先前图片的变量POCMsb来推导当前图片的变量POCMsb。

当在TemporalId为0时当前图片和nuh_layer_id相同并且除了RASL(随机访问跳过前导)图片或RADL(随机访问可解码前导)图片之外的先前图片被设置为prevTid0Pic时，变量prevPicOrderCntLsb被推导为与prevTid0Pic的ph_pic_order_cnt_lsb相同，并且变量prevPicOrderCntMsb被推导为与prevTid0Pic的PicOrderCntMsb相同。

在这种情况下，用于推导当前图片的POC值的先前图片的非参考图片标志的值为0，并且可以存在当前图片与先前图片之间的POC值的差值小于POC的最大LSB值的一半的限制。

另外，用于当前图片和先前图片的层ID相同，并且从用于先前图片的时间层的标识信息推导的时间ID(TemporalId)为0。用于当前图片的POC推导的先前图片不是RASL图片，也不是RADL图片。

此后，可以根据当前图片的ph_pic_order_cnt_lsb和先前图片的变量prevPicOrderCntLsb的大小，如式1中表示地推导变量PicOrderCntVal。

第二种情况对应于ph_poc_msb_cycle_present_flag为0并且当前图片是CLVSS图片的情况。由于PicOrderCntMsb值为0，因此变量PicOrderCntVal可以被推导为ph_pic_order_cnt_lsb值。

第三种情况对应于ph_poc_msb_cycle_present_flag值为1的情况，并且在这种情况下，变量PicOrderCntMsb被推导为通过将ph_poc_msb_cycle_val乘以MaxPicOrderCntLsb(ph_poc_msb_cycle_val*MaxPicOrderCntLsb)而获得的值。结果，变量PicOrderCntVal被推导为推导出的变量PicOrderCntMsb与发信号通知的ph_pic_order_cnt_lsb值之和。

解码设备可以基于当前图片的POC值和参考图片的POC值来构造参考图片列表(步骤S730)，并可以通过执行当前块的帧间预测来推导当前块的预测样本(步骤S740)。

此外，解码设备200可以从比特流中解码当前块的量化变换系数的信息，并可以基于当前块的量化变换系数的信息来推导目标块的量化变换系数。目标块的量化变换系数的信息可以被包括在序列参数集(SPS)或切片头中，并可以包括关于是否应用简化变换(RST)的信息、关于简化因子的信息、应用RST的最小变换大小的信息、应用RST的最大变换大小的信息、简化逆变换大小的信息以及指示变换集中所包括的变换核矩阵中的任一个的变换索引的信息中的至少一个。

解码设备200可以通过对量化变换系数执行反量化来推导当前块的残差信息，即，变换系数，并可以按预定的扫描顺序来排列推导出的变换系数。

基于残差信息推导的变换系数可以是如上所述的反量化变换系数或量化变换系数。即，变换系数可以是可以检查当前块中的非零数据而不考虑是否对其执行量化的数据。

解码设备可以通过对量化变换系数应用逆变换来推导残差样本。

此后，解码设备可以基于残差样本和预测样本来生成重构图片(步骤S750)。

提供以下附图以描述本公开的特定示例。由于示例性提出了附图中示出的特定装置的名称和特定信号/消息/字段的名称，因此本公开的技术特征不受以下附图中使用的特定名称的限制。

图8是例示了根据本公开的实施方式的视频编码设备的操作的流程图。

图8中公开的每个步骤是基于以上在图3至图6中描述的内容中的一些的。相应地，将省略或简要描述与以上在图2至图6中描述的内容重叠的详细描述。

根据实施方式的编码设备100可以推导当前图片和参考图片的POC值(步骤S810)，并可以通过使用推导出的POC值和参考图片来执行当前块的帧间预测(步骤S820)。

编码设备可以编码并输出包括最大LSB值的POC信息以及包括与图片是否不被用作参考图片相关的非参考图片标志的参考图片的信息。用于推导当前图片的POC值的先前图片的非参考图片标志的值可以为0，并且当前图片与先前图片之间的POC值的差值可以被构造为小于最大LSB值的一半(步骤S830)。

当前图片的POC信息、用于推导当前图片的POC的方法、对先前图片的限制以及先前图片的POC值的限制条件与针对参考图7描述的解码设备的内容基本上相同，并且省略重叠的描述。

编码设备可以基于预测样本来推导当前块的残差样本，并可以通过变换来生成残差的信息。残差信息可以包括上述的变换相关信息/语法元素。编码设备可以对包括残差信息的图像/视频信息进行编码，从而以比特流格式输出图像/视频信息。

更具体地，编码设备可以生成关于量化变换系数的信息并对关于所生成的量化变换系数的信息进行编码。

在本公开中，量化/反量化和/或变换/逆变换中的至少一个可以被省略。当量化/反量化被省略时，量化变换系数可以被称为变换系数。当变换/逆变换被省略时，变换系数可以被称为系数或残差系数，或者为了表述的一致性，仍可以被称为变换系数。

在上述实施方式中，借助一系列步骤或块基于流程图来说明方法，但本公开不限于步骤的顺序，并且某个步骤可以以与上述顺序或步骤不同的顺序或步骤执行，或者与另一步骤同时发生。另外，本领域的普通技术人员可以理解，流程图中示出的步骤不是排他性的，并且可以在不影响本公开的范围的情况下，可以并入另一步骤或去除流程图的一个或更多个步骤。

根据本公开的上述方法可以被实现为软件形式，并且根据本公开的编码设备和/或解码设备可以被包括在诸如TV、计算机、智能电话、机顶盒、显示装置等这样的用于图像处理的装置中。

当本公开中的实施方式由软件实施时，上述方法可以被实施为模块(处理、功能等)，以执行上述功能。模块可以被存储在存储器中并且可以由处理器执行。存储器可以在处理器的内部或外部并可以以各种公知方式连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其它存储装置。即，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实施和执行。另外，每幅图中示出的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实施和执行。

另外，应用本公开的解码设备和编码设备可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、摄录机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置和医疗视频装置中，并可以被用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可以包括游戏控制台、蓝光播放器、互联网访问TV、家庭影院系统、智能电话、平板PC、数字视频录像机(DVR)等。

另外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且被存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置。另外，计算机可读记录介质包括以载波(例如，互联网上的传输)的形式实施的介质。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。另外，本公开的实施方式可以通过程序代码被实施为计算机程序产品，并且程序代码可以通过本公开的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。

图9示意性例示了适用本公开的视频/图像编码系统的示例。

参照图9，视频/图像编码系统可以包括第一装置(源装置)和第二装置(接收装置)。源装置可以经由数字存储介质或网络以文件或流传输的形式将编码后的视频/图像信息或数据传递到接收装置。

源装置可以包括视频源、编码设备和发送器。接收装置可以包括接收器、解码设备和渲染器。编码设备可以被称为视频/图像编码设备，并且解码设备可以被称为视频/图像解码设备。发送器可以被包括在编码设备中。接收器可以被包括在解码设备中。渲染器可以包括显示器，并且显示器可以被配置为单独的装置或外部部件。

视频源可以通过捕获、合成或生成视频/图像的处理来获得视频/图像。视频源可以包括视频/图像捕获装置和/或视频/图像生成装置。视频/图像捕获装置可以包括例如一个或更多个相机、包括先前捕获的视频/图像的视频/图像档案等。视频/图像生成装置可以包括例如计算机、平板和智能电话，并且可以(电子地)生成视频/图像。例如，可以通过计算机等生成虚拟视频/图像。在这种情况下，视频/图像捕获处理可以被生成相关数据的处理取代。

编码设备可以对输入视频/图像进行编码。编码设备可以针对压缩和编码效率执行诸如预测、变换和量化这样的一系列过程。编码后的数据(编码后的视频/图像信息)可以以比特流的形式输出。

发送器可以通过数字存储介质或网络以文件或流传输的形式将以比特流的形式输出的编码后的视频/图像信息或数据发送到接收装置的接收器。数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等这样的各种存储介质。发送器可以包括用于通过预定文件格式生成媒体文件的元件，并且可以包括用于通过广播/通信网络传输的元件。接收器可以接收/提取比特流，并将接收/提取的比特流发送到解码设备。

解码设备可以通过执行与编码设备的操作对应的诸如反量化、逆变换、预测等这样的一系列过程来解码视频/图像。

渲染器可以渲染解码后的视频/图像。可以通过显示器显示渲染后的视频/图像。

图10例示了应用本公开的内容流传输系统的结构。

另外，应用本公开的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户装置和多媒体输入装置。

编码服务器用于将从诸如智能电话、照相机、摄录机等这样的多媒体输入装置输入的内容压缩为数字数据，以生成比特流，并将其发送到流传输服务器。作为另一示例，在诸如智能电话、照相机、摄录机等这样的多媒体输入装置直接生成比特流的情况下，可以省略编码服务器。可以通过应用本公开的编码方法或比特流生成方法来生成比特流。并且，流传输服务器可以在发送或接收比特流的处理期间临时存储比特流。

流传输服务器基于用户的请求通过网络服务器将多媒体数据发送到用户装置，网络服务器用作将存在什么服务告知用户的仪器。当用户请求用户想要的服务时，网络服务器将请求传送到流传输服务器，并且流传输服务器将多媒体数据发送到用户。就此而言，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流传输系统中的相应设备之间的命令/响应。

流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，在从编码服务器接收内容的情况下，可以实时地接收内容。在这种情况下，流传输服务器可以将比特流存储预定时间段，以平稳地提供流传输服务。

例如，用户装置可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。内容流传输系统中的服务器中的每一个可以作为分布式服务器操作，并且在这种情况下，每个服务器接收到的数据可以被以分布式方式处理。

本文中公开的权利要求可以以各种方式组合。例如，本公开的方法权利要求中的技术特征可以被组合，以在设备中实现或执行，并且设备权利要求的技术特征可以被组合，以在方法中实现或执行。另外，方法权利要求和设备权利要求的技术特征可以被组合，以在设备中实现或执行，并且方法权利要求和设备权利要求的技术特征可以被组合，以在方法中实现或执行。