用于确定图像编码模式的方法

技术领域

本发明总体上涉及图像处理领域，并且更具体地涉及对数字图像以及对数字图像序列的编码和解码。

对数字图像的编码/解码具体地适用于来自至少一个视频序列的图像，这些图像包括：

-来自同一个相机并且在时间上连续的图像(2D编码/解码)，

-来自以不同视角定向的不同相机的图像(3D编码/解码)，

-对应的纹理分量和深度分量(3D编码/解码)，

-等。

本发明类似地适用于对2D或3D图像的编码/解码。

本发明可以具体地但不排他地适用于在当前AVC、HEVC和VVC视频编码器及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等)中实施的视频编码，并且适用于对应的解码。

背景技术

当前的视频编码器(MPEG，AVC，HEVC，VVC，AV1等)使用视频序列的分块表示。图像被分割成多个块，这些块能够以递归方式再次被分割。然后使用特定编码模式对每个块进行编码，该特定编码模式例如为帧内(Intra)、帧间(Inter)、跳过(Skip)、合并(Merge)等模式。一些图像使用比如帧内编码模式、IBC(代表“帧内块复制”)编码模式等的编码模式、在不参考其他过去或未来图像的情况下进行编码。其他图像使用本领域技术人员公知的运动补偿、相对于一个或多个经编解码的参考图像进行编码。这种时间编码模式称为帧间编码模式。

针对每个块对与通过预测而减少的原始块相对应的残差块(也称为预测残差)进行编码。在跳过编码模式的情况下，残余块为零。

对于待编码的所考虑的块，在编码器处将用于该块的帧内、帧间、跳过、合并等多种编码模式置于竞争中，以便选择最好的编码模式，即根据预定的编码性能标准来优化所考虑的块的编码，该预定的编码性能标准例如是数据速率/失真代价，即原始图像与经编码然后由解码器进行解码的图像之间的失真度量的比较、以及传输解码指令所需的数据速率、或者甚至效率/复杂性折衷，这些是本领域技术人员公知的标准。编码器负责向解码器发送与最优编码模式相关的编码信息，以使解码器能够重构原始块。这种信息通常以二进制表示的形式在流中传输。

所选择的编码模式越精确(例如在像素到像素位置方面)，残差的数据速率就越低。另一方面，这将需要传输更多信息，特别是在形状的轮廓处。

解码是在解码器处基于从流读取然后解码的编码信息并且还基于在解码器处已经可用的(即事先解码的)元素来执行的。

这些已经可用的元素具体地是：

-当前正在解码的图像的元素：然后参考例如帧内或IBC解码模式，

-来自其他先前解码的图像的元素：然后参考帧间解码模式。

根据VVC标准(代表“多功能视频编码”)，可以组合这两种类型的帧内和帧间编码模式。参考CIIP(代表“组合帧间和帧内预测”)。

根据这些预测技术，编码器必须发信号向解码器通知要执行的最优模式类型。该信息会针对每个块被传达。这可能会导致大量信息被插入到流中，并且应该最小化以限制数据速率。因此，可能缺乏精确度，特别是对于包含大量细节的高纹理图像尤其如此。

这种精确度的缺乏导致在给定数据速率下重构图像的质量受到限制。

发明内容

本发明的目的之一是通过提高现有技术的编码模式确定来校正上述现有技术的缺陷，这有利于降低与为当前像素集合的编码确定的编码模式相关的信令信息的成本。

为此，本发明的一个主题涉及一种用于从至少两种编码模式、相应地解码模式中确定至少一种编码模式、相应地解码模式以用于对至少一个当前像素集合进行编码、相应地解码的方法。这种确定方法的特征在于，基于对至少一个参考像素集合的分析，确定所述至少一种编码模式、相应地解码模式。

根据本发明的用于确定至少一种编码模式(相应地解码模式)的这种方法有利地使得可以仅依赖于一个或多个参考像素集合(即，在对当前像素集合进行编码或解码时已经解码的一个或多个像素集合)来从至少两种可能的编码模式(相应地解码模式)中确定要应用于当前像素集合的每个像素的一种和/或多种编码模式(相应地解码模式)。由于这个或这些参考像素集合在对当前像素集合进行编码(相应地解码)时可用，因此与在现有技术中以分块方式操作的编码器(相应地解码器)不同，这个/这些参考像素集合的精确度对于每个像素位置是完全已知的。由此，改进了对要应用于当前像素集合的每个像素的一个或多个编码(相应地解码)模式的确定，因为这与现有技术中实施的基于计算每个块的编码性能标准相比更加直接和空间精确。

因此，要应用于当前像素集合的编码(相应地解码)模式更加精确并且更好地适应于图像的局部属性。

这导致重构图像的质量提高。

根据一个具体实施例，针对该当前像素集合中的至少一个像素从至少两种编码模式、相应地解码模式中确定一种编码模式、相应地解码模式，其中，对模式的该确定根据所述至少一个像素的不同而不同。

这样的实施例有利地使得可以以像素精度重新使用现有技术的编码或解码模式(例如帧内、跳过、帧间等)。

根据另一具体实施例，针对当前像素集合中的至少一个像素，组合地确定该至少两种编码模式、相应地解码模式。

这样的实施例有利地使得可以能够组合至少两种编码模式(跳跃、帧内、帧间等)、相应地解码模式，以便对同一个像素进行编码、相应地解码。该实施例还使得可以逐渐地从一种编码模式、相应地解码模式改变到另一种，而不生成与块效应相当的不连续性。

根据又一具体实施例，通过由对当前像素集合的分析而得到的修改参数来修改对所述至少一种编码模式、相应地解码模式的确定。

在当前像素集合包含一个或多个参考像素集合中不存在/不可预测的元素时，这种实施例有利地使得可以向对所述至少一种编码或解码模式的确定施加校正。

以上所描述的各个实施例或实施方式特征可以被单独或彼此组合地添加到以上所定义的确定方法中。

本发明还涉及一种用于确定至少一种编码模式、相应地解码模式的设备，该设备包括处理器，该处理器被配置为从至少两种编码模式、相应地解码模式中确定至少一种编码模式、相应地解码模式以用于对至少一个当前像素集合进行编码、相应地解码。

这种确定设备的特征在于，基于对至少一个参考像素集合的分析，确定所述至少一种编码模式、相应地解码模式。

在一个具体实施例中，该确定设备是神经网络。

神经网络的使用有利地使得可以优化对所述至少一种编码模式、相应地解码模式的确定的精确度。

这种确定设备具体能够实施上述确定方法。

本发明还涉及一种由编码设备实施的用于对至少一个当前像素集合进行编码的方法，其中，基于对至少一种编码模式的确定来对当前像素集合进行编码。

这种编码方法的特征在于，根据本发明的上述确定方法来确定所述至少一种编码模式。

这种编码方法的优点在于，它不需要对指示用于对当前像素集合进行编码的一个和/或多个编码模式的一个或多个索引进行编码。这意味着：对于当前像素集合，不需要由编码器将这个或这些模式指标发送到解码器，从而使得可以降低在编码器与解码器之间传输信息的信令成本，这有利于更好地选择编码模式，从而得到更好的图像重构质量。

本发明还涉及一种用于对至少一个当前像素集合进行编码的编码设备或编码器，该编码设备或编码器包括处理器，该处理器被配置为基于对至少一种编码模式的确定来对当前像素集合进行编码。

这种编码设备的特征在于，该编码设备包括根据本发明的用于确定至少一种编码模式的上述设备。

这种编码设备具体能够实施根据本发明的上述编码方法。

本发明还涉及一种由解码设备实施的用于对至少一个当前像素集合进行解码的方法，其中，基于对至少一种解码模式的确定来对当前像素集合进行解码。

这种解码方法的特征在于，根据本发明的上述确定方法来确定所述至少一种解码模式。

这种解码方法的优点在于以下事实：对用于对当前像素集合进行解码的至少一种解码模式的确定是由解码器基于一个或多个可用的参考像素集合自主实施的，而解码器不需要从编码器接收到的数据信号中读取特定信息。

本发明还涉及一种用于对至少一个当前像素集合进行解码的解码设备或解码器，该设备包括处理器，该处理器被配置为基于对至少一种解码模式的确定来对当前像素集合进行解码。

这种解码设备的特征在于，该解码设备包括根据本发明的用于确定至少一种解码模式的上述设备。

这种解码设备具体能够实施根据本发明的上述解码方法。

本发明还涉及一种计算机程序，该计算机程序包括指令，这些指令用于当所述程序由处理器执行时实施根据本发明的确定方法、以及集成了根据本发明的根据上述具体实施例中的任何一个的确定方法的编码或解码方法。

这种指令可以永久存储在实施上述确定方法的确定设备、实施上述编码方法的编码器、实施上述解码方法的解码器的非暂态存储介质中。

此程序可以使用任何编程语言，并且可以是源代码、目标代码、或在源代码与目标代码之间的中间代码的形式，比如呈部分编译的形式或呈任何其他令人期望的形式。

本发明还针对一种计算机可读记录介质或信息介质，该计算机可读记录介质或信息介质包括如以上所提及的计算机程序的指令。

所述记录介质可以是能够存储程序的任何实体或设备。例如，该介质可以包括存储装置，比如ROM(例如CD-ROM、DVD-ROM、合成DNA(脱氧核糖核酸)等)、或微电子电路ROM、或磁记录装置(例如USB密钥或硬盘)。

此外，该记录介质可以是可以经由电缆或光缆、通过无线电或通过其他手段输送的可传输介质(比如电信号或光信号)。根据本发明的程序可以尤其是从比如互联网等网络进行下载。

替代性地，记录介质可以是该程序所并入的集成电路，该电路被设计为执行或用于执行根据本发明的上述确定方法、编码方法或解码方法。

附图说明

通过阅读以说明性和非限制性示例的方式给出的本发明的具体实施例以及附图，其他优点和特征将变得明显，在附图中：

[图1]图1示出了根据本发明的用于确定至少一种编码或解码模式的方法的主要步骤，

[图2A]图2A示出了在本发明的第一具体实施例中的在图1的确定方法中分析的一种参考像素集合类型，

[图2B]图2B示出了在本发明的第二具体实施例中的在图1的确定方法中分析的另一种参考像素集合类型，

[图3A]图3A示出了在第一实施例中的实施图1的确定方法的确定设备，

[图3B]图3B示出了在第二实施例中的实施图1的确定方法的确定设备，

[图4]图4示意性地示出了用于训练图3B的确定设备的方法，

[图5A]图5A示出了当前像素集合的预测版本相对于两个参考像素集合的第一示例性位移，

[图5B]图5B示出了当前像素集合的预测版本相对于两个参考像素集合的第二示例性位移，

[图5C]图5C示出了当前像素集合的预测版本相对于两个参考像素集合的第三示例性位移，

[图5D]图5D示出了在本发明的一个具体实施例中的在图5A的位移类型的情况下实施的运动补偿，

[图5E]图5E示出了在本发明的一个具体实施例中的在图5D的运动补偿结束时实施的对至少一种编码模式、相应地解码模式的确定，

[图6]图6更详细地示出了由图3A的确定设备实施的确定方法的某些步骤，

[图7]图7示出了在本发明的一个具体实施例中的实施图1的用于确定至少一种编码模式的方法的图像编码方法的主要步骤，

[图8A]图8A示出了在第一实施例中的实施图7的编码方法的编码器，

[图8B]图8B示出了在第二实施例中的实施图7的编码方法的编码器，

[图9]图9示出了在本发明的一个具体实施例中的实施图1的用于确定至少一种解码模式的方法的图像解码方法的主要步骤，

[图10A]图10A示出了在第一实施例中的实施图9的解码方法的解码器，

[图10B]图10B示出了在第二实施例中的实施图9的解码方法的解码器，

[图11]图11示出了在本发明的一个具体实施例中的对图1的用于确定编码模式的方法实施修改的图像编码方法的步骤，

[图12]图12示出了在本发明的一个具体实施例中的实施图11的编码方法的编码器，

[图13]图13示出了在本发明的一个具体实施例中的对图1的用于确定解码模式的方法实施修改的图像解码方法的步骤，

[图14]图14示出了在本发明的一个具体实施例中的实施图13的解码方法的解码器。

具体实施方式

用于确定至少一种编码或解码模式的方法的示例性实施方式

本发明的一般原理

用于确定至少一种编码或解码模式的方法

下面给出了用于确定至少一种编码或解码模式以对2D或3D图像进行编码、相应地解码的方法的描述，所述确定方法能够在任何类型的视频编码器或解码器中实施，例如符合AVC、HEVC、VVC标准及其扩展(MVC、3D-AVC、MV-HEVC、3D-HEVC等)的视频编码器或解码器等，例如卷积神经网络(或CNN)。

参考图1，根据本发明的用于确定至少一种编码或解码模式的方法使用至少一个参考像素集合BR

在本发明的意义上，当前像素集合B

-原始当前图像；

-原始当前图像的一部分或区域，

-由根据标准化的AVC、HEVC或VVC编码器中执行的操作对当前图像进行划分而得到的该图像的块。

根据本发明，如图2A所示，参考像素集合BR

当然，可以相对于参考像素集合BR

根据本发明，如图2B所示，参考像素集合BR

当然，可以将一个或多个其他参考像素集合与参考像素集合BR

再次参考图1，根据本发明的这种确定方法包括以下步骤：

在P1中，针对当前像素集合B

在P2中，基于对BR

模式MC

在步骤P2结束时，确定了针对所述至少一个当前像素p

然后针对当前像素集合B

当然，在刚才描述的确定方法中可以考虑多于两种编码模式、相应地解码模式。例如，确定时可以考虑以下三种编码或解码模式：

-模式MC

-模式MC

-模式MC

作为步骤P2的一种变体，可以组合地确定至少两种编码/解码模式，以便对所述至少一个当前像素p

用于确定至少一种编码或解码模式的设备的示例性实施方式

图3A示出了根据本发明的第一实施例的适合于实施图1所示的确定方法的用于确定至少一种编码或解码模式的设备DMOD1。

根据该第一实施例，由确定方法执行的动作由计算机程序指令实施。为此，预测设备DMOD1具有常规的计算机架构，并且具体地包括存储器MEM_DM1、处理单元UT_DM1，该处理单元配备有例如处理器PROC_DM1并且由存储在存储器MEM_DM1中的计算机程序PG_DM1驱动。计算机程序PG_DM1包括用于在程序由处理器PROC_DM1执行时实施如上所述的确定方法的动作的指令。

在初始化时，计算机程序PG_DM1的代码指令例如在由处理器PROC_DM1执行之前被加载到RAM存储器(未示出)中。处理单元UT_DM1的处理器PROC_DM1具体地根据计算机程序PG_DM1的指令来实施以上描述的确定方法的动作。

确定设备在输入端E_DM1接收一个或多个参考像素集合BR

图3B示出了根据本发明的第二实施例的适合于实施图1所示的确定方法的用于确定至少一种编码或解码模式的设备DMOD2。

根据该第二实施例，确定设备DMOD2是表示为RNC1的神经网络，例如卷积神经网络、多层感知器、LSTM(代表“长短期记忆”)等，其根据在输入端接收的一个或多个参考像素集合BR

以本身已知的方式，卷积神经网络RNC1相继执行多层滤波、非线性和扩展操作。所使用的每个滤波器由卷积核参数化，并且非线性被参数化(ReLU、leaky ReLU、GDN(代表“广义除法归一化”)等)。神经网络RNC1例如是在D.Sun等人的文档“PWC-Net:CNNs forOptical Flow Using Pyramid,Warping,and Cost Volume[PWC-Net：使用金字塔、扭曲和代价体积的CNN光流]”CVPR 2018中描述的类型。

在这种情况下，可以以图4所示的方式训练神经网络RNC1。

为此，可以训练神经网络RNC1以：

-可能地估计一个或多个位移向量V

-从至少两种编码模式、相应地解码模式中估计编码模式MC

编码模式MC

-帧间模式和跳过模式，

-帧内模式和跳过模式，

-帧间模式和帧内模式，

-等。

在初始阶段，网络RNC1被训练以执行图1的操作P1至P2。例如，网络RNC1被训练为最小化待编码的当前像素集合B

-通过运动补偿获得的当前预测像素集合BP

-以及重构的当前像素集合BD

在训练阶段期间，通过呈现多个相关联的参考像素集合BR

在该初始训练阶段结束时，网络RNC1被固定并且适合于在模式确定设备DMOD2中使用。

由确定设备DEMOD1实施的用于确定至少一种编码/解码模式的方法的实施例

参考图6以及图5A至图5E，现在将描述在图3A的确定设备DEMOD1中确定用于当前像素集合的至少一种编码或解码模式的一个实施例。

在所示的示例中，为确定至少一种编码或解码模式考虑两个参考像素集合BR

为此，如图6所示，分析P1至少一个参考像素集合包括以下步骤：

在P10中，计算BR

图5A至图5C分别示出了在该步骤P10期间可能遇到的当前像素集合B

在P10中已经获得向量V

-根据向量V

-根据向量V

在当前像素集合B

在当前像素集合B

在当前像素集合B

参考图6和图5D，在P12中，使用向量V

通过图5D中的展示，认为向量V

图5D示出：

-经右运动补偿的像素集合BRC

-经左运动补偿的像素集合BRC

相反，ERC

参考图6和图5E，描述了针对当前像素集合B

在位于Z

位于元素E的预测位置(x,y)和背景AP(由阴影线表示)的预测位置(x,y)的像素是已知的，因为这些像素与参考像素集合BR

在P21中，第一编码模式MC

在步骤P21结束时，确定了编码模式MC

作为变体：

-在P20中将位于Z

-在P20中将位于元素E的预测位置的像素与第二编码模式MC

-在P20中将位于背景AP中的像素与第三编码模式MC

在P21中：

-第一编码模式MC

-第二编码模式MC

-第三编码模式MC

在步骤P21结束时，确定了编码模式MC

图像编码方法

一般原理

参考图7，下面描述了实施参考图1描述的实施对至少一种编码模式MC

这种编码方法包括以下步骤：

在C1中，实施图1所示的步骤P1至P2中的对至少一种编码模式MC

在C2中，进行测试以确定哪种编码模式与B

在C20中，进行测试以确定是否确定了编码模式MC

如果响应是肯定的(图7中的是)，则在C30中，以帧内模式对像素子集SE

如果响应是否定的(图7中的否)，则在C21中，进行测试以确定是否确定了编码模式MC

如果响应是肯定的(图7中的是)，则在C31中，以帧间模式对像素子集SE

如果响应是否定的(图7中的否)，则在C22中，进行测试以确定是否确定了编码模式MC

如果响应是肯定的(图7中的是)，则在C32中，以跳过模式对像素子集SE

如果响应是否定的(图7中的否)，则确定是否确定了另一种编码模式MC

在C4中，将经编码的运动向量V

根据本发明，有利地，这一种或多种编码模式本身既不被编码也不被发送到解码器。

像素子集SE

所实施的帧内、帧间和/或跳过编码操作是常规的并且与AVC、HEVC、VVC编码等兼容。

刚刚描述的编码当然也可以向B

编码器示例性实施方式

图8A示出了根据本发明的第一实施例的适合于实施图7所示的编码方法的编码器COD1。编码器COD1包括确定设备DEMOD1。

根据该第一实施例，由编码方法执行的动作由计算机程序指令实施。为此，编码设备COD1具有常规的计算机架构，并且具体地包括存储器MEM_C1、处理单元UT_C1，该处理单元配备有例如处理器PROC_C1并且由存储在存储器MEM_C1中的计算机程序PG_C1驱动。计算机程序PG_C1包括用于在程序由处理器PROC_C1执行时实施如上所述的编码方法的动作的指令。

在初始化时，计算机程序PG_C1的代码指令例如在由处理器PROC_C1执行之前被加载到RAM存储器(未示出)中。处理单元UT_C1的处理器PROC_C1具体地根据计算机程序PG_C1的指令来实施以上描述的编码方法的动作。

编码器COD1在输入端E_C1接收当前像素集合B

图8B示出了根据本发明的第二实施例的适合于实施图7所示的编码方法的编码器COD2。编码器COD2包括上述确定设备DEMOD2，随后是卷积神经网络RNC2，该卷积神经网络结合由确定设备DEMOD2确定的一种和/或多种编码模式MC

图像解码方法

一般原理

参考图9，下面描述了实施如参考图1描述的实施对至少一种解码模式MD

这种解码方法实施了与图7的图像编码相对应的图像解码。具体地，除了对所述至少一种解码模式MD

该解码方法包括以下步骤：

在D1中，以常规方式从接收到的传输流F中提取与B

-经编码的残差像素子集SER

-经编码的残差像素子集SER

-经编码的运动向量V

这些数据对应于经编码的当前像素集合B

在D2中，实施图1所示的步骤P1至P2中的对至少一种解码模式MD

在D3中，进行测试以确定哪种解码模式与B

在D30中，进行测试以确定是否确定了解码模式MD

如果响应是肯定的(图9中的是)，则在D40中，以帧内模式对像素子集SE

如果响应是否定的(图9中的否)，则在D31中，进行测试以确定是否确定了解码模式MD

如果响应是肯定的(图9中的是)，则在D41中，在V

如果响应是否定的(图9中的否)，则在D32中，进行测试以确定是否确定了解码模式MD

如果响应是肯定的(图9中的是)，则在D42中，以跳过模式对像素子集SE

如果响应是否定的(图9中的否)，则确定是否确定了另一种解码模式MD

在D5中，级联经解码的像素子集SE

根据本发明，有利地，这一种或多种解码模式本身在解码器处自主确定。

所实施的帧内、帧间和/或跳过解码操作是常规的并且与AVC、HEVC、VVC解码等兼容。

刚刚描述的编码当然也可以向所考虑的经编码的像素集合(在此为B

以本身已知的方式，重构的当前像素集合B

解码器示例性实施方式

图10A示出了根据本发明的第一实施例的适合于实施图9所示的解码方法的解码器DEC1。解码器DEC1包括确定设备DEMOD1。

根据该第一实施例，由解码方法执行的动作由计算机程序指令实施。为此，解码器DEC1具有常规的计算机架构，并且具体地包括存储器MEM_D1、处理单元UT_D1，该处理单元配备有例如处理器PROC_D1并且由存储在存储器MEM_D1中的计算机程序PG_D1驱动。计算机程序PG_D1包括用于在程序由处理器PROC_D1执行时实施如上所述的解码方法的动作的指令。

在初始化时，计算机程序PG_D1的代码指令例如在由处理器PROC_D1执行之前被加载到RAM存储器(未示出)中。处理单元UT_D1的处理器PROC_D1具体地根据计算机程序PG_D1的指令实施以上结合图9所描述的解码方法的动作。

解码器DEC1在输入端E_D1接收由图8A的编码器COD1发送的传输流F，并在输出端S_D1递送当前经解码的像素集合B

图10B示出了根据本发明的第二实施例的适合于实施图9所示的解码方法的解码器DEC2。解码器DEC2包括上述确定设备DEMOD2，随后是卷积神经网络RNC3，该卷积神经网络结合由确定设备DEMOD2确定的解码模式MD

用于确定至少一种编码或解码模式的方法的变体

参考图11和图12，现在将描述图1所示的用于确定至少一种编码模式的方法的一个变体。这种变体在编码器COD3中实施。

这种变体旨在当所获得的编码或解码模式的精确度/质量不令人满意时改进图1的对至少一种编码或解码模式的确定。

为此，在编码器侧，如图11所示，在C’1中，分析所述至少一个参考像素集合BR

如图12所示，使用卷积神经网络RNC4实施分析C’1，该卷积神经网络根据两个参考像素集合BR

在步骤C’1结束时，以信号U’的形式获得一组潜在变量。

信号U’在C’2中由量化器QUANT1(例如由量化参数控制的均匀量化器或向量量化器)进行量化。然后获得量化信号U’

在C’3中，使用例如算术型的熵编码器CE1以确定的统计量对量化信号U’

在C’4中，将经编码的量化信号

在所示的示例中，经编码的量化信号

为此，网络RNC4已被训练以提供MC

在编码期间，在C’10中，编码器COD3通过执行运动补偿使用参考像素集合BR

在C’11中，使用图12所示的乘法器MU1将B

在C’15中，将经编码的量化信号

参考图13和图14，现在将描述图1所示的用于确定解码模式的方法的一个变体，该变体如在解码器DEC3中实施的。

为此，在解码器侧，如图13所示，在D’1中，分析至少一个参考像素集合BR

在接收到流F’之后，在D’2中，使用与图12的熵编码器CE1相对应的熵解码器DE1，以所确定的相同的统计数据(比如拉普拉斯定律的方差和均值(σ，μ)的建模)对经编码的量化信号

在D’3中，级联经解码的量化信号U’

然后，神经网络RNC1在D’4中以与图1的步骤P2中相同的方式通过各种层处理该级联，以便估计运动信息V

在此描述的实施例中并且根据在图11的编码方法中确定并使用的编码模式MC

上述类型的神经网络RNC5在输入处接收该信息以便重构当前像素集合，从而生成重构的像素集合B

在D’6中，在图14所示的乘法器MU2中将BP

在D’7中，在图14所示的乘法器MU3中将BP

继续参考图13和图14，神经网络RNC5还包括神经网络RNC51，该神经网络在接收到C’14中由编码器COD3生成的流F”之后(参见图11和图12)，在D’8中对经编码的量化信号U”

在步骤D’8结束时，生成表示B

在D’9中，在加法器AD中将信号SIG1和SIG2相加，从而生成重构的当前像素集合B

因此，如果MD

相反，如果MD

在上面参考图3A等公开的实施例中，在用于确定至少一种编码模式的方法中使用了两个参考像素集合BR

这些实施例可以扩展到三个或更多个参考像素集合。为此，参考图3B描述的神经网络RNC1将根据三个参考像素集合BR