用于对视频进行编码或解码的方法和装置

技术领域

本发明实施方案整体涉及一种用于视频编码或解码中的运动信息导出的方法和装置。

背景技术

为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。一般来讲，帧内或帧间预测用于利用图像内或图像间相关性，然后对在原始块与预测块之间的差异(通常表示为预测误差或预测残差)进行变换、量化和熵编码。为了重建视频，通过对应于熵编码、量化、变换和预测的逆过程对压缩数据进行解码。

发明内容

提供了一种用于对视频块进行编码的方法。用于对视频块进行编码的方法包括：针对该块确定预测，其中用于确定该预测的运动信息是从至少两个运动候选的运动信息继承的；以及基于所确定的预测对该块进行编码，其中针对该块确定该预测包括基于该至少两个运动候选的对应指示符的值为对该预测启用或停用纠正的指示符确定值。

根据另一实施方案，提供了一种用于对视频块进行编码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置为：针对该块确定预测，其中用于确定该预测的运动信息是从至少两个运动候选的运动信息继承的；以及基于所确定的预测对该块进行编码，其中针对该块确定该预测包括基于该至少两个运动候选的对应指示符的值为对该预测启用或停用纠正的指示符确定值。

根据另一实施方案，提供了一种用于对视频块进行解码的方法，其中所述方法包括：针对该块确定预测，其中用于确定该预测的运动信息是从至少两个运动候选的运动信息继承的；以及基于所确定的预测对该块进行编码，其中针对该块确定该预测包括基于该至少两个运动候选的对应指示符的值为对该预测启用或停用纠正的指示符确定值。

根据另一实施方案，提供了一种用于对视频块进行解码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置为：针对该块确定预测，其中用于确定该预测的运动信息是从至少两个运动候选的运动信息继承的；以及基于所确定的预测对该块进行解码，其中针对该块确定该预测包括基于该至少两个运动候选的对应指示符的值为对该预测启用或停用纠正的指示符确定值。

一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，这些指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述任一实施方案所述的编码方法或解码方法。本发明实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于根据上述方法对视频数据进行编码或解码的指令。一个或多个本发明实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。一个或多个本发明实施方案还提供了一种用于发送或接收根据上述方法生成的比特流的方法和装置。

附图说明

图1示出了其中可实现本发明实施方案的各方面的系统的框图。

图2示出了视频编码器的实施方案的框图。

图3示出了视频解码器的实施方案的框图。

图4示出了根据实施方案的用于LIC参数导出的方法的示例。

图5示出了根据实施方案的用于导出运动候选列表的运动向量预测因子的空间和时间邻近位置的示例。

图6示出了根据实施方案的基于控制点的仿射运动模型。

图7示出了控制点运动向量继承的示例。

图8示出了根据实施方案的几何帧间预测模式中的角度的示例。

图9示出了几何分割描述的示例。

图10示出了具有角度12和介于0与3之间的距离的几何分区的示例。

图11示出了根据实施方案的用于对视频中的块进行编码的方法的示例。

图12示出了根据实施方案的用于对视频中的块进行解码的方法的示例。

图13示出了具有与块的顶部上的L形模板共用的边缘的几何分区的示例。

图14示出了根据本发明原理的示例的通过通信网络进行通信的两个远程设备。

图15示出了根据本发明原理的示例的信号的语法。

具体实施方式

图1示出了其中可实现各种方面和实施方案的系统的示例的框图。系统100可体现为一种设备，该设备包括下文所述的各种部件，并且被配置为执行本申请所述各方面中的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视接收器、个人视频录制系统、连接的家用电器和服务器。系统100的元件可单独地或组合地体现在单个集成电路、多个IC和/或分立部件中。例如，在至少一个实施方案中，系统100的处理和编码器/解码器元件跨多个IC和/或分立部件分布。在各种实施方案中，系统100经由例如通信总线或通过专用输入和/或输出端口通信地耦接到其他系统或其他电子设备。在各种实施方案中，系统100被配置为实现本申请所述的方面的一个或多个方面。

系统100包括至少一个处理器110，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本申请所述的各个方面。处理器110可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统100包括至少一个存储器120(例如，易失性存储器设备和/或非易失性存储器设备)。系统100包括存储设备140，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于EEPROM、ROM、PROM、RAM、DRAM、SRAM、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备140可包括内部存储设备、附接存储设备和/或网络可访问的存储设备。

系统100包括编码器/解码器模块130，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块130可包括其自身的处理器和存储器。编码器/解码器模块130表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。另外，编码器/解码器模块130可被实现为系统100的独立元件，或可被结合在处理器110内作为本领域技术人员已知的硬件和软件的组合。

要加载到处理器110或编码器/解码器130上以执行本申请中所述的各个方面的程序代码可存储在存储设备140中，并且随后加载到存储器120上以供处理器110执行。根据各种实施方案，处理器110、存储器120、存储设备140和编码器/解码器模块130中的一者或多者可在本申请中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码视频或解码视频的部分、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。

在若干实施方案中，处理器110和/或编码器/解码器模块130内部的存储器用于存储指令并提供工作存储器以用于在编码或解码期间进行需要的处理。然而，在其他实施方案中，在处理设备外部的存储器(例如，处理设备可以是处理器110或编码器/解码器模块130)用于这些功能中的一个或多个功能。外部存储器可以是存储器120和/或存储设备140，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储电视机的操作系统。在至少一个实施方案中，诸如RAM的快速外部动态易失性存储器被用作用于视频编码和解码操作的工作存储器，诸如用于MPEG-2、HEVC或VVC。

如框105中所指示，可通过各种输入设备提供对系统100的元件的输入。此类输入设备包括但不限于：(i)接收例如由广播器通过无线电发射的RF信号的RF部分；(ii)复合输入端子；(iii)USB输入端子和/或(iv)HDMI输入端子。

在各种实施方案中，框105的输入设备具有如本领域中已知的相关联的相应的输入处理元件。例如，RF部分可与适于以下项的元件相关联：(i)选择期望的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次将频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调经下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择期望的数据包流。各种实施方案的RF部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。RF部分可包含执行这些功能中的各种功能的调谐器，这些功能包含例如下变频接收的信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，RF部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的RF信号，并且通过滤波、下变频和再次滤波至期望的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模拟-数字转换器。在各种实施方案中，RF部分包括天线。

另外，USB和/或HDMI端子可包括用于跨USB和/或HDMI连接将系统100连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如，Reed-Solomon纠错)的各个方面可根据需要在单独的输入处理IC内或在处理器110等内实现。类似地，USB或HDMI接口处理的各方面可根据需要在单独的接口IC内或在处理器110内实现。将经解调的、经纠错的和经解复用的流提供给各种处理元件，包括例如处理器110以及编码器/解码器130，该处理元件与存储器和存储元件结合工作以根据需要处理数据流以用于在输出设备上的展示。

系统100的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置115(例如，本领域已知的内部总线，包括I2C总线、布线和印刷电路板)进行互连并在其间发射数据。

系统100包括通信接口150，该通信接口允许经由通信信道190与其他设备通信。通信接口150可包括但不限于被配置为通过通信信道190传输和接收数据的收发器。通信接口150可包括但不限于调制解调器或网卡，并且通信信道190可例如在有线和/或无线介质内实现。

在各种实施方案中，使用Wi-Fi网络诸如IEEE 802.11将数据流式传输到系统100。这些实施方案的Wi-Fi信号是通过适于Wi-Fi通信的通信信道190和通信接口150接收的。这些实施方案中的通信信道190通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以允许流式应用和其他OTT通信。其他实施方案使用机顶盒向系统100提供流式传输的数据，该机顶盒通过输入框105的HDMI连接来递送数据。还有其他实施方案使用输入框105的RF连接向系统100提供流式传输的数据。

系统100可向各种输出设备(包括显示器165、扬声器175和其他外围设备185)提供输出信号。在实施方案的各种示例中，其他外围设备185包括以下中的一者或多者：独立DVR、磁盘播放器、立体音响系统、照明系统和基于系统100的输出提供功能的其他设备。在各种实施方案中，控制信号使用信令(诸如AV.Link、CEC或能够在有或没有用户干预的情况下实现设备到设备控制的其他通信协议)在系统100与显示器165、扬声器175或其他外围设备185之间传达。这些输出设备可通过相应的接口160、170和180经由专用连接通信地耦接到系统100。替代地，输出设备可使用通信信道190经由通信接口150连接到系统100。显示器165和扬声器175可与电子设备(例如，电视机)中的系统100的其他部件集成在单个单元中。在各种实施方案中，显示器接口160包括显示器驱动器，例如定时控制器(TCon)芯片。

替代地，例如，如果输入105的RF部分是单独机顶盒的一部分，则显示器165和扬声器175可与其他部件中的一个或多个部件分开。在显示器165和扬声器175为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如HDMI端口、USB端口或COMP输出)来提供。

图2示出了示例性视频编码器200，如高效视频编码(HEVC)编码器。图2还可示出在其中对HEVC标准进行改进的编码器，或采用类似于HEVC的技术的编码器，诸如由联合视频探索团队(JVET)开发的多功能视频编码(VVC)编码器、或任何视频编码器。

在本申请中，术语“重建”和“解码”可以互换使用，术语“经编码”或“编码”可以互换使用，术语“像素”或“样本”可以互换使用，并且术语“图像”、“图片”和“帧”可以互换使用。通常，但不必然，术语“重建”在编码器侧使用，而“解码”在解码器侧使用。

在进行编码之前，视频序列可经过预编码处理(201)，例如，将颜色变换应用于输入彩色图片(例如，从RGB 4:4:4到YCbCr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对于压缩更弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。

在编码器200中，由编码器元件对图片进行编码，如下所述。在例如CU的单元中对待编码的图片进行分区(202)和处理。根据实施方案，单元可被分区成子单元。

例如，使用帧内模式或帧间模式对每个单元或子单元进行编码。当在帧内模式下对单元进行编码时，该编码器执行帧内预测(260)。帧内预测使用块的相同视频图片/切片中已编码的邻近块的像素(其被称为参考样本)预测当前视频块。空间预测减少了视频信号中固有的空间冗余。

在帧间模式下，通过运动估计(275)和补偿(270)执行帧间预测。帧间预测(也称为“时间预测”)使用来自已编码的视频图像的重建像素预测当前视频块。帧间预测减少了视频信号中固有的时间冗余。

对于每个经帧间预测的CU，使用运动信息生成对当前块的帧间预测。运动信息可包括一个或多个运动向量、一个或多个参考图片索引，该一个或多个运动向量指示当前块与其参考块之间的运动量和运动方向，该一个或多个参考图片索引在参考图片列表中识别参考块所来自的参考图片。运动信息可包括编码器/解码器的特定编码特征所需的附加信息，诸如指示针对当前块启用还是停用LIC工具的LIC指示符。

根据下文进一步描述的实施方案，可使用不同的帧间预测模式生成对当前块的预测。帧间预测模式中的任何一种可单独实现或与其他帧间预测模式中的任何一种组合实现。例如基于速率/失真成本在可用的帧间预测模式当中选择出帧间预测模式，并在比特流中用信号通知选定的帧间预测模式。

编码器决定(205)使用帧内模式或帧间模式中的哪一个模式对该单元进行编码，并且通过例如预测模式标志来指示帧内/帧间决定。编码器还可以混合(263)帧内预测结果和帧间预测结果，或混合来自不同帧内/帧间预测方法的结果。

例如，通过从初始图像块减去(210)经预测的块来计算预测残差。运动修正模块(272)使用已经可用的参考图片，以便在不参考原始块的情况下修正块的运动场。区域的运动场可以被认为是关于该区域的所有像素的运动向量的集合。如果运动向量基于子块，则运动场也可以表示为区域中的所有子块运动向量的集合(子块内的所有像素具有相同的运动向量，并且子块与子块之间的运动向量可能不同)。如果单个运动向量用于该区域，则该区域的运动场也可以由单个运动向量(针对区域中的所有像素的相同运动向量)表示。

然后，对预测残差进行变换(225)和量化(230)。对量化的变换系数以及运动向量和其他语法元素进行熵编码(245)以输出比特流。该编码器可跳过变换，并对未变换的残差信号直接应用量化。该编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。

该编码器对编码块进行解码以提供进一步预测的参考。对量化的变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和经预测的块，重建图像块。将环内滤波器(265)应用于重建的图片以执行例如解块/SAO(样本自适应偏移)滤波，从而减少编码伪影。将滤波的图像存储在参考图片缓冲器(280)处。

图3示出了示例性视频解码器300的框图。在解码器300中，由解码器元件对比特流进行解码，如下所述。视频解码器300一般执行与图2中所述的编码过程相反的解码过程。编码器200通常还执行视频解码作为对视频数据进行编码的一部分。

具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器200生成。首先，对比特流进行熵解码(330)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可根据经解码的图片分区信息来划分(335)图片。对变换系数进行解量化(340)和逆变换(350)以对预测残差进行解码。组合(355)经解码的预测残差和经预测的块，重建图像块。

可从帧内预测(360)或运动补偿预测(即，帧间预测)(375)获得(370)经预测的块。解码器可以混合(373)帧内预测结果和帧间预测结果，或混合来自多个帧内/帧间预测方法的结果。在运动补偿之前，可通过使用已经可用的参考图片来修正(372)运动场。将环内滤波器(365)应用于重建的图像。将滤波的图像存储在参考图片缓冲器(380)处。

经解码的图片可进一步经过解码后处理(385)，例如，逆颜色变换(例如，从YCbCr4:2:0到RGB 4:4:4的转换)，或执行在预编码处理(201)中执行的重新映射过程的逆的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中有信号通知的元数据。

为更易于参考，将在整个上下文中可互换地使用术语“CU”和“块”。

根据实施方案，在上述编码器和解码器中，可显式或隐式方式用信号通知帧间预测模式的运动信息。例如，在也称为合并模式的编码模式下，从运动候选(例如，包括空间和时间候选以及取决于编码器/解码器具体实施而附加的运动候选的当前块的已编码的邻近CU)继承运动信息。合并模式可应用于任何经帧间预测的CU。

运动候选是可用于在帧间预测模式下对块或CU进行预测的经编码的块或CU。

根据实施方案，在合并模式下，通过包括一个或多个运动候选来构建运动候选列表。评估通过使用列表中的运动候选的运动信息分别获得的预测，并选择为块提供最低速率/失真成本的运动候选。接着，在用于当前块的比特流中对识别选定的运动候选的索引进行编码。

根据实施方案，可按顺序用以下类型的运动候选中的任何一个运动候选填充运动候选列表：

1)来自空间邻域CU的空间运动向量预测因子，

2)来自并置的CU的时间运动向量预测因子，

3)来自先进先出表的基于历史的运动向量预测因子，

4)成对平均运动向量预测因子，

5)零运动向量。

运动候选根据该顺序被包括在该列表中，直到达到该列表的最大允许大小。上述运动候选列表是示例，根据编码器/解码器的特定特征导出的任何其他运动候选可包括在列表中的任何位置处。而且，可在不考虑上述运动候选中的一个或多个运动候选的情况下构建列表。此外，上文给出的用于考虑运动候选的顺序是示例，可使用任何其他顺序。因此，应当理解，可使用任何用于运动候选的导出过程来填充运动候选列表，只要在编码器和解码器处使用相同列表构建过程即可。

图5示出了用于导出运动候选列表的运动向量预测因子的空间和时间邻近位置的示例。如果少于4个空间运动候选已添加到列表，那么空间邻域可包括顶部CU(B1)、左侧CU(A1)、右上CU(B0)、左下CU(A0)和左上CU(B2)。可在添加新的运动向量预测因子之前应用冗余检查，以确保具有相同运动信息的候选被排除在列表之外。

时间邻域可包括并置的图片中的右下CU(C0)，或者如果C0不可用，则可包括中心CU C1。从存储先前经编码的块的运动信息的表中获得基于历史的运动候选，该表在编码/解码过程期间被维护。该表存储了固定数量的运动信息，并且使用先进先出过程进行管理。

根据实施方案，通过对预定义的候选对进行求平均来生成成对平均候选。例如，预定义的候选对可以是被包括在合并候选列表中的运动候选。根据另一变型，预定义的候选对可以是任何其他运动候选。因此，必须在编码器和解码器处以相同的方式执行预定义的候选对的导出。

根据示例，可将预定义的候选对定义为{(0,1),(0,2),(1,2),(0,3),(1,3),(2,3)}，其中数字表示对合并候选列表的合并索引。例如，可针对每个参考列表单独地计算经平均的运动向量。如果一个列表中有两个运动向量可用，则即使这两个运动向量指向不同的参考图片，也对这两个运动向量进行求平均；如果仅有一个运动向量可用，则将该运动向量添加到列表中。

根据实施方案，当添加成对平均合并候选之后，合并候选列表未满时，将零MVP(运动向量预测因子)插入末尾，直到达到最大合并候选数量。

根据实施方案，运动候选列表可用于必须从运动候选导出运动信息的任何其他帧间预测模式。这种模式的示例是具有MVD的合并模式(在用于CU的比特流中对运动向量差(MVD)进行编码)、帧间帧内联合预测(在VVC标准中称为CIIP)、几何分区模式、或使用仿射运动模型的仿射模式、对两个空间运动候选和一个时间候选进行求平均的空间-时间运动向量预测因子(STMVP)。

用于对当前CU进行帧间预测的合并模式的替代帧间预测模式可以是在用于CU的比特流中显式地对运动信息进行传输/编码的编码模式。

根据实施方案，帧间预测可包括应用基于块的仿射变换运动补偿预测的仿射编码模式。如图6所示，块的仿射运动场可由两个控制点运动向量(CPMV)(4参数)或三个控制点运动向量(6参数)的运动信息来描述。

对于4参数仿射运动模型，块中的样本位置(x,y)处的运动向量可被导出为：

对于6参数仿射运动模型，块中的样本位置(x,y)处的运动向量可被导出为：

根据实施方案，可基于空间邻近CU的运动信息生成当前CU的CPMV。导出固定数量的CPMVP候选，并用信号通知索引以指示将用于当前CU的候选。在示例中，可使用至多五个运动候选。根据变型，可使用以下三种类型的CPVMP候选来形成仿射合并候选列表：

-继承的空间仿射候选，

-构建的仿射候选CPMVP，

-零CPMV。

继承的空间仿射候选可从邻近块的仿射运动模型导出，例如，一个继承的空间仿射候选来自左侧邻近CU并且一个继承的空间仿射候选来自上方邻近CU。图5中示出了示例。对于左侧预测因子，用于选择左侧预测因子的扫描顺序可以是A1、A0，并且对于上方预测因子，扫描顺序可以是B1、B0、B2。仅选择来自每一侧的第一个继承候选。

当识别出邻近仿射CU时，使用其控制点运动向量来导出当前CU的仿射合并列表中的CPMVP候选。如图7所示，如果使用仿射模型对邻近左下块A进行编码，则获得包含块A的CU的左上角、右上角和左下角的运动向量v

通过组合CU的每个控制点的邻域平移运动信息来构建所构建的仿射候选。可从指定的空间邻域和时间邻域导出控制点的运动信息，如图5所示。CPMV

然后，基于上述四个控制点CPMV

{CPMV

3个CPMV的组合构建6参数仿射合并候选，并且2个CPMV的组合构建4参数仿射合并候选。为了避免运动缩放过程，如果控制点的参考索引不同，则可丢弃控制点MV的相关组合。

在检查继承的仿射合并候选和构建的仿射合并候选之后，如果运动候选列表仍然未满，则可将零CPMV插入列表的末端。

根据实施方案，在仿射编码模式下，可使用例如类似于合并模式的过程来隐式地用信号通知运动信息，或者可显式地用信号通知运动信息。当在也称为仿射合并模式的仿射编码模式下隐式地用信号通知运动信息时，从如上所述确定的运动候选继承每个CPMV的运动信息。针对CU对索引进行编码以指示用于该CU的运动候选。

根据实施方案，帧间预测可包括通过利用角度和距离定义的分割边缘将CU分割成两个分区的几何分区帧间预测模式。几何分区允许帧间预测边界与对象更好地对准。根据实施方案，几何帧间预测模式可具有32个角度和5个距离。当使用几何帧间预测模式时，将CU分割成两个非矩形分区。使用其自身的运动参数来对CU中的每个分区进行帧间预测。根据变型，仅允许单向预测。

从运动候选列表导出几何模式的每个分区的运动信息。例如，可使用上述运动候选列表。每个分区具有一个运动向量和一个参考索引。在对分区中的每一者进行预测之后，可使用具有自适应权重的共混过程来调整沿分割边缘的样本值。

可通过角度

图9中示出了利用角度

根据实施方案，在几何帧间预测模式下，可使用例如类似于合并模式的过程隐式地用信号通知运动信息，或者可显式地用信号通知运动信息。当在也称为几何合并的模式下隐式地用信号通知运动信息时，从运动候选列表的运动候选继承每个分区的运动信息。针对CU的每个分区对索引进行编码以指示用于该分区的运动候选。

在时间预测过程中，局部照明补偿(LIC)是用于解决可能存在于时间邻近图片之间的局部照明变化的问题的编码工具。LIC工具基于线性模型，其中缩放因子α和偏移β中的至少一者应用于参考样本以获得当前块的预测样本。以此方式，LIC参数允许纠正针对当前块获得的预测。具体地，LIC工具可通过以下等式在数学上建模：

P(x，y)＝α·P

其中P(x,y)是当前块在坐标(x,y)处的预测信号；

图4示出了根据实施方案的用于确定LIC参数的方法。在图4中，当将LIC应用于块时，采用最小均方误差(LMSE)方法来通过以下导出LIC参数(即，α和β)的值：最小化如图4所示的L0参考图片和L1参考图片这两个时间参考图片中的当前块的邻近样本(即，图4中的模板T)与其对应的参考样本(T

其中N表示用于导出LIC参数的模板样本的数量；T(x

此外，当将LIC应用于双向块(即，由两个时间预测块进行预测)时，导出LIC参数，并将这些LIC参数单独地应用于每个预测方向(即，L0和L1)。如图4所示，基于两个运动向量MV0和MV1，可获得两个参考模板T0和T1；通过单独地最小化T0与T之间的失真和T1与T之间的失真，可根据上文给出的等式导出两个方向上的对应的LIC参数对。

之后，通过组合两个LIC单向预测块来生成当前块的最终双向预测信号，如下所指示的：

其中α

上述LIC工具可用于上文关于图1至图3所描述的编码/解码视频方案中。

当从运动候选继承用于对CU进行预测的运动信息时，除了运动向量和参考索引之外，在从运动候选继承的运动信息中还包括LIC指示符。

然而，当基于组合的运动信息针对CU确定运动信息时，LIC指示符不能由该CU直接继承。组合的运动信息在CU从至少两个运动候选继承运动信息时出现。例如，在合并模式下，成对运动候选使用至少两个运动候选来导出运动信息。在另一示例中，在几何合并模式下，每个分区具有其自身的运动候选。在又一个示例中，在仿射合并模式下，每个构建的CPMV具有其自身的运动候选。这些示例并非限制性的，并且其他帧间预测模式可能会使用多于一个运动候选供CU继承运动信息。

在CU层级对指示LIC工具是否用于CU的LIC指示符进行编码。也就是说，当多于一个运动候选用于运动信息继承时，CU继承多于一个指示符。当继承的指示符具有不同的值时，这带来关于针对CU启用还是停用工具的模糊性。因此，需要改善情况。

这些原理在此是在LIC特征的情况下描述的，但本发明原理可应用于可从运动候选继承的针对CU发出一次信号的任何特征。

在下文中，其是指与运动候选相关联的指示符。如上文所论述的，该指示符可以是LIC指示符或从运动候选继承的任何指示符。这种指示符可以是可采用布尔值的标志。该指示符也可以是非布尔值，例如指示工具状态诸如启用状态、或停用状态、或启用状态与停用状态之间的任何状态(以特定参数/权重启用的状态)的指示符。

图11示出了根据实施方案的用于对视频中的块进行编码的方法1100的示例。根据实施方案，方法1100可在图2所描述的编码器中实现。

在110处，针对块确定预测。可评估若干种编码模式以确定块在速率/失真意义上的最佳编码模式。在这些编码模式当中，至少一个编码模式使用从至少两个运动候选的运动信息继承的运动信息。

对于这种编码模式，在111处，针对块从两个或更多个运动候选确定包括运动向量和参考帧索引的运动信息。然后，使用参考图片的运动补偿，根据导出的运动向量和参考帧索引，计算预测(即，预测的块)。

在112处，基于至少两个运动候选的对应指示符的值，确定对预测启用或停用纠正的指示符的值。该指示符可以是例如上述LIC工具的指示符。

在113处，基于在112处针对块设定的指示符，确定对预测启用还是停用纠正。如果对预测启用纠正，则例如基于如关于图4所描述的在与待编码的块邻近的模板上确定的速率/失真成本，确定纠正参数。然后，使用所确定的参数对预测进行纠正。

在114处，基于所确定的预测对块进行编码。取决于速率/失真成本，可使用已在110处确定预测的帧间预测模式或使用产生较低速率/失真成本的另一编码模式来对块进行编码。

图12示出了根据实施方案的用于对视频中的块进行解码的方法1200的示例。根据实施方案，方法1200可在图3所描述的解码器中实现。

在120处，针对块确定预测。为了针对块确定预测，从用于该块的比特流中解码得到表示编码模式的至少一个编码参数。根据实施方案，用于对块进行编码的编码模式使用继承至少两个运动候选的运动信息的至少一个运动候选的运动信息。

在121处，针对块从两个或更多个运动候选确定包括运动向量和参考帧索引的运动信息。然后，使用参考图片的运动补偿，根据导出的运动向量和参考帧索引，计算预测(即，预测的块)。

在122处，基于至少两个运动候选的对应指示符的值，确定对预测启用或停用纠正的指示符的值。该指示符可以是例如上述LIC工具的指示符。

在123处，基于在122处针对块设定的指示符，确定对预测启用还是停用纠正。如果对预测启用纠正，则例如基于如关于图4所描述的在与待解码的块邻近的模板上确定的速率/失真成本，确定纠正参数。然后，使用所确定的参数对预测进行纠正。

在124处，基于所确定的预测对块进行解码和重建。

在112或122处，可使用不同的变型来针对块确定指示符的值。

根据变型，为了为指示符确定值，指示符的值基于至少两个运动候选中的至少一个运动候选的重要性。

根据另一变型，当指示符可被表示为布尔值时，为了为指示符确定值，从对至少两个运动候选的指示符的值执行的OR或AND运算获得指示符的值。

根据另一变型，如果所有至少两个运动候选的指示符的值都指示对预测启用纠正，则将指示符的值设定为指示对预测启用纠正的值。

根据另一变型，如果至少两个运动候选中的至少一个运动候选的指示符的值指示对预测启用纠正，则将指示符的值设定为指示对预测启用纠正的值。

成对运动候选的LIC指示符继承

根据实施方案，使用至少两个运动候选的运动信息的编码模式是如上所述的合并模式。根据该实施方案，运动候选列表包括成对运动候选。成对候选被构建为已经存在于运动候选列表中的两个运动候选的平均值。例如，在VVC标准中，所使用的两个运动候选是前2个运动候选。对于每个参考帧列表：

○如果两个运动候选都具有与参考帧相关联的运动向量

■则成对运动候选获得相对于第一运动候选的参考帧的平均运动向量，

○否则

■如果只有一个运动候选具有与参考帧相关联的运动向量

●则成对运动候选获得该运动候选的运动向量和参考帧，

■否则

●成对运动候选对于该参考帧列表是未定义的。

根据变型，如果这两个运动候选保持相同的、LIC指示符的值，则成对运动候选可继承输入运动候选的LIC指示符，这意味着成对运动候选继承该共同LIC指示符，否则LIC指示符被设定为假。该变型可被执行为输入运动候选的LIC指示符之间的“and”运算，即LIC

根据另一变型，如果输入运动候选中的一个输入运动候选具有等于真的LIC值，则成对运动候选可继承该LIC值。该变型可被执行为输入运动候选的LIC指示符值之间的“or”运算，即LIC

在另一变型中，当查看成对构建时，可看出存在朝向第一输入运动候选的参考帧的偏差，如下表1所示。LIC旨在补偿当前帧与参考帧之间的局部照明变化，因此可通过考虑该偏差来调整成对运动候选的LIC指示符继承。

表1：取决于输入运动候选的成对运动候选参考帧继承

表1示出了来自输入运动候选(输入cand0、输入cand1)的成对运动候选的参考帧继承的示例。单元格中的叉字形记号指示对应的输入运动候选使用来自对应的参考图片列表(L0、L1)的参考图片。

如在表1中可看出的，当第一输入运动候选是双向的时，或者当两个输入运动候选在相同参考帧列表上都是单向的时(表1中以灰色突出显示的情况)，成对运动候选仅使用该第一运动候选的(多个)参考帧。在这种情况下，成对运动候选的LIC指示符的值被设定为该第一输入运动候选的LIC指示符的值。

对于所有其他情况，上述两个变型之一可用于为LIC指示符确定值。

该实施方案可通过以下继续：

如果第一输入运动候选是双向的、或者两个输入运动候选在相同参考帧列表上都是单向的：则LIC

否则LIC

相同原理还可应用于挑选一个合并候选的列表0部分与另一合并候选的列表1部分组合而成的类似HEVC的组合候选。同样，相同原理也可应用于对两个空间候选和一个时间候选进行求平均的STMVP(空间-时间运动向量预测因子)。

零运动候选的LIC指示符

当构建运动候选列表(诸如合并列表)时，如果列表中存在小于最大允许数量的运动候选，则用零运动来满足该列表，对于零运动，LIC指示符被设定为指示停用纠正的值。将零运动如下添加到运动候选列表：

-与每个参考帧列表中的每个参考帧相关联的零运动，直到达到每个列表中的可能参考帧的最小数目。例如，如果列表0(L0)包含4个参考帧、并且列表1(L1)仅包含3个参考帧，则零运动为：

-相对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及停用纠正的LIC指示符。

-相对于L0的参考图片1的(0,0)+相对于L1的参考图片1的(0,0)、以及停用纠正的LIC指示符。

-相对于L0的参考图片2的(0,0)+相对于L1的参考图片2的(0,0)、以及停用纠正的LIC指示符。

-然后，如下添加与每个列表的第一参考帧相关联的零运动，直到满足运动候选列表：

-相对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及停用纠正的LIC指示符。

-相对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及停用纠正的LIC指示符。

-…

满足运动候选列表的这种方式总是对预测停用纠正。这会影响编码效率和纠正工具的使用以及其继承机制。

根据实施方案，当从块的至少一个空间邻近块构建运动候选的列表时，如果列表中的运动候选的数量低于最大允许数量、并且如果列表不包括具有零运动向量和指示符的第一值的运动候选，则将具有零运动向量和指示符的第一值的运动候选添加到列表。

根据变型，如果列表中的运动候选的数量低于最大允许数量、并且如果列表包括具有零运动向量和指示符的第一值的运动候选，则将具有零运动向量和指示符的第二值的运动候选添加到列表，指示符的第二值不同于指示符的第一值。

在这些变型的任何一个变型中，可将零运动向量添加到列表，直到达到最大允许数量为止，所添加的每个零运动向量具有指示符的不同值，或者当指示符可采用若干个值时，使与零运动向量相关联的指示符的值交替。

根据实施方案，不修改所有参考帧上的零运动，但由于已将具有第一参考帧的零运动添加到运动候选列表中，因此期望增加列表中的运动候选的多样性。根据实施方案，将如下运动候选添加到运动候选列表：该运动候选的LIC指示符的值不同于与具有运动向量和已经存在于该列表中的参考帧列表中的参考图片的运动候选相关联的LIC指示符的值。

在上述示例中，已将具有第一参考帧和LIC指示符停用值的零运动添加到运动候选列表中，接着将具有第一参考帧、但具有LIC指示符启用值的零运动添加到列表。根据变型，当要添加若干个零运动时，在添加时切换LIC指示符值，以保持列表中的多样性。

上述示例中的零运动候选的添加于是变为如下：

-与每个参考帧列表中的每个参考帧相关联的零运动：

-相对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及停用纠正的LIC指示符。

-相对于L0的参考图片1的(0,0)+相对于L1的参考图片1的(0,0)、以及停用纠正的LIC指示符。

-相对于L0的参考图片2的(0,0)+相对于L1的参考图片2的(0,0)、以及停用纠正的LIC指示符。

-与每个列表的第一参考帧相关联的零运动：

-相对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及启用纠正的LIC指示符。

-对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及停用纠正的LIC指示符，

-相对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及启用纠正的LIC指示符。

-对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及停用纠正的LIC指示符，

-…

在变型中，可检查所有参考帧上的零运动是否已经存在于运动候选列表中。如果零运动候选已经存在，则将该零运动候选添加到具有相反LIC指示符值的运动候选列表中。

例如，在以上示例中，将L0和L1这两个列表的参考图片0的零运动候选如下添加到列表：

-相对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及(在具有停用纠正的LIC指示符的相同运动候选已经存在于列表中的情况下)启用纠正的LIC指示符值，或

-相对于L0的参考图片0的(0,0)+相对于L1的参考图片0的(0,0)、以及(在具有启用纠正的LIC指示符的相同运动候选已经存在于列表中的情况下)停用纠正的LIC指示符值。

根据变型，当向每个列表的第一参考帧添加零运动时，也可应用LIC指示符值的切换过程。

几何运动候选的LIC指示符继承

如上所述，几何模式组合了两个非矩形分区。根据变型，每个分区可具有从运动候选列表中挑选的单向运动信息。

如成对运动候选一样，根据实施方案，在几何合并模式中，通过以下设定从针对分区确定的运动候选继承的LIC指示符的值：对输入运动候选LIC指示符值应用“and”或“or”，即LIC

在变型中，由于几何模式允许一个分区大于另一分区，所以当前块的LIC指示符值被设定为较大分区的LIC指示符值。例如，分区的大小可被评估为分区中的像素数量。

图13示出了具有与块的顶部上的L形模板共用的边缘的几何分区的示例，该模板可用于LIC参数确定。在图13(a)中，分区P0与模板共用的边缘大于分区P1与模板共用的边缘，而在图13(b)中，分区P1与模板共用的边缘大于分区P0与模板共用的边缘。根据变型，当前块的LIC指示符值被设定为如下分区的LIC指示符值：该分区与模板共用的边缘大于另一分区与模板共用的边缘。根据该变型，从与模板共用最大邻域的分区继承LIC指示符值。

根据可与上述变型中的任何一个组合的变型，如果分区的与模板共用的边缘是相等的、或者分区在大小上是相等的，则可根据以下变型定义LIC指示符值：当两个分区都从具有启用纠正的LIC指示符值的运动候选继承时将LIC指示符设定为启用纠正的值的变型；或当至少一个分区从具有启用纠正的LIC指示符值的运动候选继承时将LIC指示符设定为启用纠正的值的变型。

根据另一变型，可将与模板共用的邻域的量与阈值进行比较。例如，如果分区与L形边界共用超过其邻域的90％，则块的LIC指示符值被设定为该分区的LIC指示符值，否则，使用上述变型之一。

构建的仿射运动候选的LIC指示符继承

根据实施方案，使用至少两个运动候选的运动信息的编码模式基于包括从如上所述的块的空间或时间邻域块确定的至少两个运动候选的仿射模型。

如上所述的构建的仿射模型基于来自空间和时间邻近块的运动向量。如果构建的模型是6参数模型，则该模型使用来自3个不同的空间或时间邻域的3个CPMV，并且如果该模型是4参数模型，则该模型仅使用2个CPMV。如图5所描绘的，所考虑的邻域是来自B2、B3或A2位置的左上(TL)；来自B1或B0位置的右上(TR)；来自A1或A0位置的左下(BL)；来自时间C0位置的右下(BR)。

对于每个可能的模型，从输入运动候选中导出对应于TL、TR和(如果需要的话)BL的3个CPMV(对于6参数)或2个CPMV(对于4参数)。例如，从第3个模型(TL,BL,BR)可以导出构建的模型(TL,TR,BL)的3个CPMV，其中TR被定义为TL+BR-BL。

根据变型，以与成对运动候选和几何模式类似的方式，通过应用以下“and”基于所涉及的每个输入运动候选所保持的LIC指示符值来针对每个模型确定LIC指示符值：LIC

根据另一变型，当仿射模型使用至少三个运动候选时，响应于确定出至少三个运动候选中的至少两个运动候选的指示符的值指示对预测启用纠正，针对预测确定的指示符的值指示对预测启用纠正。例如，在涉及3个输入运动候选的6参数模型的情况下，LIC指示符因此可被确定为LIC

根据另一变型，时间BR候选可不具有存储在存储器中的LIC指示符值，可从测试中将其删除，该测试于是可以是：

-如果构建的模型来自第2个、第3个或第4个模型(其中涉及BR)，则LIC

-否则LIC

在另一变型中，因为左上CPMV描述运动的平移部分，其他CPMV描述仿射运动的旋转和缩放部分，所以左上CPMV是最重要的CPMV，因此当前块的LIC指示符值可被设定为左上CPMV运动候选的LIC指示符的值。如果左上CPMV运动候选不存在于输入运动候选中(第4个模型)，则LIC指示符的值可从右上运动候选继承，反而：

-如果TL是输入候选，则LIC

-否则LIC

在另一变型中，可以组合上述变型，使得如果包括第一运动候选的至少两个输入运动候选具有启用纠正的LIC指示符值，则构建的模型从启用纠正的LIC指示符值继承，即LIC

零仿射运动候选的LIC指示符继承

如在合并模式下的运动候选列表构建一样，如果仿射合并列表在末尾不包含最大数量的允许候选，则利用与第一参考帧相关联的零模型来满足该列表。

根据实施方案，如上述合并模式一样，通过在具有启用和停用纠正的LIC指示符值的零模型之间切换来添加零仿射运动候选。如下添加与每个列表的第一参考帧相关联的零模型：

○相对于L0的参考图片0的{(0,0)(0,0)(0,0)}+相对于L1的参考图片0的{(0,0)(0,0)(0,0)}+停用纠正的LIC指示符值，

○相对于L0的参考图片0的{(0,0)(0,0)(0,0)}+相对于L1的参考图片0的{(0,0)(0,0)(0,0)}+启用纠正的LIC指示符值，

○相对于L0的参考图片0的{(0,0)(0,0)(0,0)}+相对于L1的参考图片0的{(0,0)(0,0)(0,0)}+停用纠正的LIC指示符值，

○…

在变型中，检查零模型是否已经存在于列表中，以便开始将LIC指示符值切换成与已经存在的值相反的值。

根据本发明原理的示例，如图14所示，在经通信网络NET的两个远程设备A与B之间的传输上下文中，设备A包括与存储器RAM和ROM相关的处理器，其被配置为实现用于对视频进行编码的方法，如图1至图13所示，并且设备B包括与存储器RAM和ROM相关的处理器，其被配置为实现用于对视频进行解码的方法，如关于图1至图13所述。

根据示例，网络是广播网络，适于将表示视频的经编码的数据从设备A广播/传输到包括设备B的解码设备。

旨在待由设备A发射的信号携带至少一个包括表示视频的经编码的数据的比特流。可从本发明原理的任何实施方案生成比特流。

图15示出了通过基于分组的传输协议发射的这种信号的语法的示例。每个已传输的分组P包括报头H和有效载荷PAYLOAD。根据实施方案，有效载荷PAYLOAD可包括根据上述实施方案中的任何一个编码的经编码的视频数据。

本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。另外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、部件、步骤、操作等，例如“第一解码”和“第二解码”。除非具体要求，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或在重叠的时间段中发生。

本专利申请中所述的各种方法和其他方面可用于修改如图2和图3所示的视频编码器200和解码器300的模块，例如运动补偿模块、运动估计模块和运动修正模块(270,272,275,375,372)。此外，本发明方面不限于VVC或HEVC，并且可应用于例如其他标准和推荐以及任何此类标准和推荐的扩展。除非另外指明或技术上排除在外，否则本申请中所述的方面可单独或组合使用。

在本申请中使用各种数值。具体值是为了示例目的，并且所述方面不限于这些具体值。

各种具体实施参与解码。如本申请中所用，“解码”可涵盖例如对所接收的编码序列执行以便产生适于显示的最终输出的过程的全部或部分。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。短语“解码过程”旨在具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且被认为会被本领域的技术人员很好地理解。

各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本申请中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的过程的全部或部分。

本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的装置(例如，处理器)中实施，该处理器包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于最终用户之间信息通信的其他设备。

提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本申请通篇的各个地方的任何其他变型不一定都是指相同的实施方案。

另外，本申请可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。

此外，本申请可涉及“访问”各种信息。访问信息可包括例如接收信息、(例如，从存储器)检索信息、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。

另外，本申请可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在操作期间“接收”通常以一种方式或另一种方式涉及，例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息。

应当理解，例如，在“A/B”、“A和/或B”以及“A和B中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或选择两个选项(A和B)。作为进一步的示例，在“A、B和/或C”和“A、B和C中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(A)，或仅选择第二列出的选项(B)，或仅选择第三列出的选项(C)，或仅选择第一列出的选项和第二列出的选项(A和B)，或仅选择第一列出的选项和第三列出的选项(A和C)，或仅选择第二列出的选项和第三列出的选项(B和C)，或选择所有三个选项(A和B和C)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。

而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，该编码器发信号通知用于解量化的量化矩阵。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际功能，在各种实施方案中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。

对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可传输的信息的多种信号。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带该实施方案的比特流。此类信号可格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码并且使用经编码的数据流调制载体。信号携带的信息可为例如模拟或数字信息。如已知的，信号可通过多种不同的有线或无线链路传输。信号可存储在处理器可读介质上。