视频编解码模式的编解码和解码

相关申请的交叉引用

根据适用的专利法和/或依据巴黎公约的规则，本申请是为了及时要求于2018年11月20日提交的国际专利申请No.PCT/CN2018/116371、2019年4月2日提交的国际专利申请No.PCT/CN2019/081155以及2019年5月7日提交的国际专利申请No.PCT/CN2019/085796的优先权和利益。出于根据美国法律的所有目的，前述申请的全部公开通过引用而并入，作为本申请的公开的一部分。

技术领域

本文档涉及视频和图像编解码(coding)和解码技术。

背景技术

数字视频占互联网和其他数字通信网络上的最大带宽使用。随着能够接收和显示视频的连接用户设备的数量增加，预计对数字视频使用的带宽需求将继续增长。

发明内容

在一个示例方面，公开了一种处理视频的方法。该方法包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定双向光流(directional optical flow，BIO)技术或解码器侧运动矢量细化(decoder-sidemotion vector refinement，DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且其中，确定使用BIO技术或DMVR技术是基于与当前块相关联的成本准则(costcriterion)的。

在另一示例方面，公开了一种处理视频的方法。该方法包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定解码器侧运动矢量细化(DMVR)技术对当前块所进行的使用被启用还是禁用，并且其中，DMVR技术包括基于除了绝对差平均移除和(mean removed sum of absolute difference，MRSAD)成本准则之外的成本准则来细化当前块的运动信息。

在另一示例方面，公开了一种处理视频的方法。该方法包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定双向光流(BIO)技术或解码器侧运动矢量细化(DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且其中，确定使用BIO技术或DMVR技术是基于计算与当前块相关联的一对参考块的平均值差超过阈值的。

在另一示例方面，公开了一种处理视频的方法。该方法包括：修改第一参考块以生成第一修改参考块，并且修改第二参考块以生成第二修改参考块，其中，第一参考块和第二参考块两者都与可视媒体数据的当前块相关联；确定第一修改参考块和第二修改参考块之间的差，该差包括以下中的一个或多个：绝对变换差和(sum of absolute transformeddifference，SATD)、绝对变换差平均移除和(mean removed sum of absolutetransformed difference，MRSATD)、平方误差和(sum of squares error，SSE)、平方误差平均移除和(mean removed sum of squares error，MRSSE)、平均值差或梯度值；以及执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括使用通过分别修改第一参考块和第二参考块而生成的第一修改参考块和第二修改参考块之间的差。

在另一示例方面，公开了一种处理视频的方法。该方法包括：使用与可视媒体数据的当前块相关联的参考图片来确定时域梯度或修改的时域梯度，该时域梯度或修改的时域梯度指示参考图片之间的差；以及执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括部分地基于时域梯度或修改的时域梯度来使用双向光流(BIO)技术。

在另一示例方面，公开了一种处理视频的方法。该方法包括：使用与第一视频块或其子块相关联的参考图片来确定第一时域梯度；使用与第二视频块或其子块相关联的参考图片来确定第二时域梯度；执行对第一时域梯度的修改和对第二时域梯度的修改，以生成修改的第一时域梯度和修改的第二时域梯度，其中，对与第一视频块相关联的第一时域梯度的修改不同于对与第二视频块相关联的第二时域梯度的修改；以及执行第一视频块和第二视频块到它们的对应编解码表示的转换。

在另一示例方面，公开了一种处理视频的方法。该方法包括：修改与当前块相关联的第一帧间参考块和第二帧间参考块中的一个或两个；根据应用双向光流(BIO)技术，基于使用修改的第一帧间参考块和/或修改的第二帧间参考块中的一个或两个来确定与当前块相关联的空域梯度；以及执行当前块和对应编解码表示之间的转换，其中，该转换包括使用与当前块相关联的空域梯度。

在另一示例方面，公开了一种处理视频的方法。该方法包括：由处理器执行对在块级别信令通知的标志至少部分地指示要对当前块启用解码器侧运动矢量细化(DMVR)技术或双向光流(BIO)技术中的一种或两种的确定；以及执行当前块和对应编解码表示之间的转换，其中，编解码表示包括指示DMVR技术和/或BIO技术中的一种或两种是否被启用的标志。

在另一示例方面，公开了一种处理视频的方法。该方法包括：由处理器执行对要对当前块启用解码器侧运动矢量细化(DMVR)技术的确定，其中，该确定排他地基于当前块的高度；以及执行当前块和对应编解码表示之间的转换。

在另一示例方面，公开了一种处理视频的方法。该方法包括执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括在当前块上使用与解码器侧运动矢量细化(DMVR)技术或双向光流(BIO)技术中的一种或两种相关联的规则，其中，与DMVR技术相关联的规则与BIO技术的应用一致；并且其中，确定BIO技术或DMVR技术中的一种或两种在当前块上的使用被启用还是禁用是基于应用该规则的。

在另一示例方面，上述方法可以由包括处理器的视频解码器装置实施。

在另一示例方面，上述方法可以由包括处理器的视频编码器装置实施。

在又一示例方面，这些方法可以以处理器可执行指令的形式而体现，并被存储在计算机可读程序介质上。

这些以及其他方面在本文档中被进一步描述。

附图说明

图1示出了双边匹配的示例。

图2示出了模板匹配的示例。

图3示出了帧速率上转换(Frame-Rate Up Conversion，FRUC)中的单边运动估计(Motion Estimation，ME)的示例。

图4示出了光流轨迹的示例。

图5A和图5B示出了没有块扩展的双向光流(BIO)的示例。

图6示出了具有6点搜索的双边匹配的示例。

图7示出了自适应整数搜索模式和半样点搜索模式的示例。

图8是视频处理装置的示例的框图。

图9示出了视频编码器的示例实施方式的框图。

图10是视频处理方法的示例的流程图。

图11是视频处理方法的示例的流程图。

图12是视频处理方法的示例的流程图。

图13是视频处理方法的示例的流程图。

图14是视频处理方法的示例的流程图。

图15是视频处理方法的示例的流程图。

图16是视频处理方法的示例的流程图。

图17是可以在其中实施所公开技术的示例视频处理系统的框图。

图18是视频处理方法的示例的流程图。

图19是视频处理方法的示例的流程图。

图20是视频处理方法的示例的流程图。

图21是视频处理方法的示例的流程图。

图22是视频处理方法的示例的流程图。

图23是视频处理方法的示例的流程图。

图24是视频处理方法的示例的流程图。

图25是视频处理方法的示例的流程图。

图26是视频处理方法的示例的流程图。

图27是视频处理方法的示例的流程图。

具体实施方式

为了提高视频的压缩率，研究人员不断寻找通过其编码视频的新技术。本文档提供了可以由视频比特流解码器使用的各种技术，以提高解压缩或解码的数字视频的质量。此外，视频编码器还可以在编码过程期间实施这些技术，以便重建用于进一步编码的解码帧。

在本文档中使用章节标题以用于提高可读性，并且不将每个章节中描述的技术和实施例的范围仅限于该章节。此外，虽然使用了来自各种现有视频编解码器标准的某些术语，但是所公开的技术不仅限于这些视频标准或它们的后继标准，并且适用于其他视频编解码器标准。此外，在一些情况下，使用对应的编解码步骤公开了技术，并且将理解，在解码器处，将以相反的顺序执行对应的解码步骤。另外，编解码还可以用于执行转码，其中将视频从一个编解码表示(例如，一个比特率)表示为另一个编解码表示(例如，不同的比特率)。

1.概述

本专利文档涉及视频编解码技术。具体地，它涉及视频编解码中的运动补偿。它可以应用于现有的视频编解码标准，如HEVC，或即将要定案的标准(例如，多功能视频编解码(Versatile Video Coding，VVC))。它也可以应用于未来的视频编解码标准或视频编解码器。

2.背景

视频编解码标准主要是通过熟知的ITU-T和ISO/IEC标准的发展而演变的。ITU-T制定了H.261和H.263，ISO/IEC制定了MPEG-1和MPEG-4可视化，并且这两个组织联合制定了H.262/MPEG-2视频和H.264/MPEG-4高级视频编解码(Advanced Video Coding，AVC)和H.265/HEVC标准。自H.262以来，视频编解码标准基于混合视频编解码结构，其中利用了时域预测加变换编解码。为了探索HEVC以外的未来视频编解码技术，VCEG和MPEG于2015年联合成立了联合视频探索组(Joint Video Exploration Team，JVET)。此后，JVET采用了许多新方法，并将其放入名为联合探索模型(Joint Exploration Model，JEM)的参考软件中。2018年4月，VCEG(Q6/16)和ISO/IEC JTC1 SC29/WG11(MPEG)之间的联合视频专家组(JVET)成立，以致力于多功能视频编解码(VVC)标准，目标是与HEVC相比比特率降低50％。

VVC草案的最新版本，即多功能视频编解码(草案2)，可以在以下网址找到：

http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K1001-v7.zip

VVC的最新参考软件名为VTM，可以在以下网址找到：

https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-2.1

图9是视频编码器的示例实施方式的框图。图9示出编码器实施方式具有内置的反馈路径，在其中视频编码器还执行视频解码功能(重建视频数据的压缩表示以用于下一视频数据的编码)。

2.1模式匹配运动矢量推导

模式匹配的运动矢量推导(Pattern Matched Motion Vector Derivation，PMMVD)模式是基于帧速率上转换(Frame-Rate Up Conversion，FRUC)技术的特殊Merge模式。利用该模式，在解码器侧推导块的运动信息，而不是信令通知块的运动信息。

当CU的Merge标志为真时，向CU信令通知FRUC标志。当FRUC标志为假时，信令通知Merge索引并使用规则(regular)Merge模式。当FRUC标志为真时，信令通知的额外的FRUC模式标志以指示将使用哪种方法(双边匹配或模板匹配)来推导该块的运动信息。

在编码器侧，关于是否对CU使用FRUC Merge模式的决定是基于对正常Merge候选所做的RD成本选择的。即，通过使用RD成本选择来检查CU的两种匹配模式(双边匹配和模板匹配)两者。导致最小成本的匹配模式与其他CU模式进行进一步比较。如果FRUC匹配模式是最有效的模式，则对于CU将FRUC标志设置为真，并且使用相关的匹配模式。

FRUC Merge模式中的运动推导过程具有两个步骤：首先执行CU级别运动搜索，然后进行子CU级别运动细化。在CU级别，基于双边匹配或模板匹配，推导整个CU的初始运动矢量。首先，生成MV候选列表，并且选择导致最小匹配成本的候选作为进一步CU级别细化的起点。然后，在起点附近执行基于的双边匹配或模板匹配的局部搜索，并且产生最小匹配成本的MV被视作整个CU的MV。随后，以推导出的CU运动矢量作为起点，进一步在子CU级别细化运动信息。

例如，对于W×H CU运动信息推导执行以下推导过程。在第一阶段，推导整个W×HCU的MV。在第二阶段，该CU进一步被划分为M×M个子CU。M的值的计算方法如(1)所示，D是预定义的划分深度，在JEM中默认设置为3。然后每个子CU的MV被推导为：

如图1所示，双边匹配用于通过在两个不同参考图片中沿当前CU的运动轨迹找到两个块之间的最接近匹配来推导当前CU的运动信息。在连续运动轨迹的假设下，指向两个参考块的运动矢量MV0和MV1应当与当前图片和两个参考图片之间的时域距离(即TD0和TD1)成比例。作为特殊情况，当当前图片在时域上位于两个参考图片之间并且从当前图片到两个参考图片的时域距离相同时，双边匹配变成基于镜像的双向MV。

如图2所示，模板匹配用于通过找到当前图片中的模板(当前CU的顶部和/或左边邻近块)与参考图片中的块(与模板的尺寸相同)之间的最接近匹配来推导当前CU的运动信息。除了上述FRUC Merge模式之外，模板匹配也应用于AMVP模式。在JEM中，正如在HEVC中所做的那样，AMVP具有两个候选。通过模板匹配方法，可以推导新的候选。如果由模板匹配新推导的候选与第一现有AMVP候选不同，则将其插入AMVP候选列表的最开始处，然后将列表尺寸设置为2(意味着移除第二现有AMVP候选)。当应用于AMVP模式时，仅应用CU级别搜索。

CU级别MV候选集

CU级别的MV候选集可以包括：

·如果当前CU处于AMVP模式，则为原始AMVP候选，

·所有Merge候选，

·在第2.1.1.3节中介绍的插值MV场中的几个MV，和

·顶部和左边邻近运动矢量，

当使用双边匹配时，将Merge候选的每个有效MV用作输入，以生成假设双边匹配的情况下的MV对。例如，在参考列表A中，Merge候选的一个有效MV是(MVa，refa)。然后，在另一参考列表B中找到其配对的双边MV的参考图片refb，使得refa和refb在时域上位于当前图片的不同侧。如果这种refb在参考列表B中不可用，则refb被确定为与refa不同的参考，并且其到当前图片的时域距离是列表B中最小的。在确定refb之后，通过基于当前图片和refa、refb之间的时域距离来缩放MVa来推导MVb。

来自插值MV场的四个MV也被添加到CU级别候选列表。更具体地，添加当前CU的位置(0,0)、(W/2,0)、(0,H/2)和(W/2,H/2)处的插值MV。

当FRUC应用于AMVP模式时，原始AMVP候选也被添加到CU级别MV候选集中。

在CU级别，对于AMVP CU，最多将15个MV添加到候选列表，对于Merge CU，最多将13个MV添加到候选列表。

子CU级别MV候选集

子CU级别的MV候选集可以包括：

·从CU级别搜索中确定的MV，

·顶部、左边、左上和右上的邻近MV，

·来自参考图片的并置MV的缩放版本，

·最多4个ATMVP候选，和

·最多4个STMVP候选。

来自参考图片的缩放MV如下推导。遍历两个列表中的所有参考图片。参考图片中的子CU的并置位置处的MV被缩放到起始CU级别MV的参考。

ATMVP和STMVP候选限于前四个。

在子CU级别，最多将17个MV添加到候选列表中。

插值MV场的生成

在对帧进行编解码之前，基于单边ME为整个图片生成插值运动场。然后，运动场可以稍后用作CU级别或子CU级别MV候选。

首先，两个参考列表中的每个参考图片的运动场以4×4块级别遍历。对于每个4×4块，如果与块相关联的运动通过当前图片中的4×4块(如图3所示)并且块未被分配任何插值运动，则参考块的运动根据时域距离TD0和TD1(以与HEVC中的TMVP的MV缩放的方式相同的方式)被缩放到当前图片，并且将缩放的运动分配给当前帧中的块。如果没有缩放的MV被分配给4×4块，则在插值运动场中将块的运动标记为不可用。

插值和匹配成本

当运动矢量指向分数样点位置时，可以执行运动补偿插值。为了降低复杂度，替代常规8抽头HEVC插值，将双线性插值用于双边匹配和模板匹配。

匹配成本的计算在不同步骤处有所不同。当从CU级别的候选集中选择候选时，匹配成本是双边匹配或模板匹配的绝对和差(Absolute Sum Difference，SAD)。在确定起始MV之后，子CU级别搜索的双边匹配的匹配成本C计算如下：

其中w是根据经验设置为4的加权因子，MV和MV

在FRUC模式下，仅通过使用亮度样点来推导MV。推导出的运动将用于MC帧间预测的亮度和色度两者。在确定MV之后，使用用于亮度的8抽头插值滤波器和用于色度的4抽头插值滤波器来执行最终MC。

MV细化

MV细化是以双边匹配成本或模板匹配成本为标准的基于模式的MV搜索。在JEM中，支持两种搜索模式—无限制中心偏置菱形搜索(Unrestricted Center-Biased DiamondSearch，UCBDS)和自适应交叉搜索，分别在CU级别和子CU级别进行MV细化。对于CU和子CU级别MV细化两者，以四分之一亮度样点MV精度直接搜索MV，并且接着是八分之一亮度样点MV细化。将用于CU和子CU级(step)的MV细化的搜索范围设置为等于8个亮度样点。

模板匹配FRUC Merge模式中预测方向的选择

在双边匹配Merge模式中，始终应用双向预测，因为CU的运动信息是基于在两个不同的参考图片中沿当前CU的运动轨迹的两个块之间的最近匹配推导的。对于模板匹配Merge模式没有这样的限制。在模板匹配Merge模式下，编码器可以从列表0中的单向预测、列表1中的单向预测或双向预测当中为CU选择。选择基于如下的模板匹配成本：

如果costBi<＝factor*min(cost0,cost1)

则使用双向预测；

否则，如果cost0<＝cost1

则使用列表0中的单向预测；

否则，

使用列表1中的单向预测；

其中cost0是列表0模板匹配的SAD，cost1是列表1模板匹配的SAD，并且costBi是双向预测模板匹配的SAD。factor的值等于1.25，这意味着选择过程偏向于双向预测。

帧间预测方向选择仅应用于CU级别模板匹配过程。

混合帧内和帧间预测

在JVET-L0100中，提出了多假设预测，其中混合帧内和帧间预测是生成多假设的一种方式。

当多假设预测被应用于改进帧内模式时，多假设预测结合一个帧内预测和一个Merge索引预测。在Merge CU中，为Merge模式信令通知一个标志，以当标志为真时从帧内候选列表中选择帧内模式。对于亮度分量，帧内候选列表从包括DC模式、平面模式、水平模式和垂直模式的4种帧内预测模式中推导，并且帧内候选列表的尺寸可以是3或4，这取决于块形状。当CU宽度大于CU高度的两倍时，水平模式不包括帧内模式列表，并且当CU高度大于CU宽度的两倍时，垂直模式从帧内模式列表中移除。使用加权平均来组合由帧内模式索引选择的一个帧内预测模式和由Merge索引选择的一个Merge索引预测。对于色度分量，DM总是在没有额外信令的情况下应用。用于组合预测的权重描述如下。当选择DC模式或平面模式，或CB宽度或高度小于4时，施加相等的权重。对于CB宽度和高度大于或等于4的那些CB，当选择水平/垂直模式时，一个CB首先被垂直/水平划分为四个等面积区域。每个权重集，表示为(w_intra

双向光流

在BIO中，首先执行运动补偿以生成当前块的第一预测(在每个预测方向上)。第一预测用于推导块内的每个子块/像素的空域梯度、时域梯度和光流，其用于生成第二预测，即子块/像素的最终预测。细节描述如下。

双向光流(BIO)是按样点的运动细化，其在用于双向预测的按块的运动补偿的基础上进行。样点级别运动细化不使用信令。

设I

将该光流等式与Hermite插值相结合以获得每个样点的运动轨迹，最终得到与函数值I

这里，τ

通过最小化点A和点B(图9上运动轨迹和参考帧平面的交点)的值之间的差Δ来确定运动矢量场(v

等式5中的所有值都取决于样点位置(i′,j′)，到目前为止从符号中忽略该位置。假设运动在局部周围区域中是一致的，可以最小化在以当前预测点(i,j)为中心的(2M+1)×(2M+1)正方形窗口Ω内部的Δ的值，其中M等于2：

对于这个优化问题，JEM使用简化的方法，首先在垂直方向最小化，然后在水平方向最小化。这得到：

其中，

为了避免除以零或非常小的值，正则化参数r和m被引入等式7和8中。

r＝500·4

m＝700·4

为了保持BIO的存储器访问与规则双向预测运动补偿的相同，所有预测和梯度值I

利用BIO，有可能针对每个样点细化运动场。为了降低计算复杂度，在JEM中使用基于块的BIO设计。基于4×4块来计算运动细化。在基于块的BIO中，聚合4×4块中所有样点的等式9中的s

其中b

在某些情况下，由于噪音或不规则的运动，BIO的MV细化可能不可靠。因此，在BIO中，MV细化的幅度被限幅到阈值thBIO。阈值基于当前图片的参考图片是否都来自一个方向来确定。如果当前图片的所有参考图片都来自一个方向，则阈值被设置为12×2

使用与HEVC运动补偿过程(2D可分离FIR(Finite Impulse Response，有限脉冲响应))一致的操作，与运动补偿插值同时计算BIO的梯度。该2D可分离FIR的输入是与运动补偿过程和根据块运动矢量的分数部分的分数位置(fracX,fracY)相同的参考帧样点。在水平梯度

表1：用于BIO中梯度计算的滤波器

表2：用于BIO中预测信号生成的插值滤波器

在JEM中，当两个预测来自不同的参考图片时，BIO被应用于所有双向预测块。当对于CU启用LIC(Local Illumination Compensation，局部照明补偿)时，BIO被禁用。

在JEM中，OBMC被应用于正常MC过程之后的块。为了降低计算复杂度，BIO没有在OBMC过程期间被应用。这意味着当使用自己的MV时，BIO仅应用于块的MC过程，而当在OBMC过程期间使用邻近块的MV时，BIO不应用于MC过程。

两阶段早期终止方法用于根据两个预测信号之间的相似性有条件地禁用BIO操作。早期终止首先被应用于CU级别，然后被应用于子CU级别。具体地，所提出的方法首先在CU级别计算L0预测信号和L1预测信号之间的SAD。假设BIO仅被应用于亮度，则SAD计算仅可以考虑亮度样点。如果CU级别SAD不大于预定义阈值，则对整个CU完全禁用BIO过程。CU级别阈值设置为每一样点2

2.4VVC中BDOF的规范

(JVET-N1001-v2中)BDOF(Bidirectional optical flow，双向光流)的规范如下：

8.5.7.4双向光流预测过程

该过程的输入是：

-两个变量nCbW和nCbH，指定当前编解码块的宽度和高度，

-两个(nCbW+2)×(nCbH+2)亮度预测样点阵列predSamplesL0和predSamplesL1，

-预测列表利用标志predFlagL0和predFlagL1，

-参考索引refIdxL0和refIdxL1，

-双向光流利用标志bdofUtilizationFlag[xIdx][yIdx]，其中xIdx＝0..(nCbW>>2)–1，yIdx＝0..(nCbH>>2)-1。

该过程的输出是亮度预测样点值的(nCbW)×(nCbH)阵列pbSamples。

变量bitDepth、shift1、shift2、shift3、shift4、offset4和mvRefineThres被推导如下：

-变量bitDepth被设置为等于BitDepth

-变量shift1被设置为等于Max(2,14-bitDepth)。

-变量shift2被设置为等于Max(8,bitDepth-4)。

-变量shift3被设置为等于Max(5,bitDepth-7)。

-变量shift4被设置为等于Max(3,15-bitDepth)，并且变量offset4被设置为等于1<<(shift4-1)。

-变量mvRefineThres被设置为等于Max(2,1<<(13-bitDepth))。

对于xIdx＝0..(nCbW>>2)–1和yIdx＝0..(nCbH>>2)-1，以下适用：

-变量xSb被设置为等于(xIdx<<2)+1，并且ySb被设置为等于(yIdx<<2)+1。

-如果bdofUtilizationFlag[xSbIdx][yIdx]等于FALSE(假)，则对于x＝xSb-1..xSb+2，y＝ySb-1..ySb+2，当前子块的预测样点值被推导如下：

pbSamples[x][y]＝Clip3(0,(2

predSamplesL1[x+1][y+1])>>shift2) (8-852)

-否则(bdofUtilizationFlag[xSbIdx][yIdx]等于TRUE(真))，当前子块的预测样点值被推导如下：

-对于x＝xSb-1..xSb+4，y＝ySb-1..ySb+4，以下有序步骤适用：

1.预测样点阵列内部每个对应样点位置(x,y)的位置(h

推导如下：

h

v

2.变量gradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]和gradientVL1[x][y]被推导如下：

gradientHL0[x][y]＝(predSamplesL0[h

shift1 (8-855)

gradientVL0[x][y]＝(predSampleL0[h

shift1 (8-856)

gradientHL1[x][y]＝(predSamplesL1[h

shift1 (8-857)

gradientVL1[x][y]＝(predSampleL1[h

shift1 (8-858)

3.变量temp[x][y]、tempH[x][y]和tempV[x][y]被推导如下：diff[x][y]＝(predSamplesL0[h

tempH[x][y]＝(gradientHL0[x][y]+gradientHL1[x][y])>>shift3 (8-860)

tempV[x][y]＝(gradientVL0[x][y]+gradientVL1[x][y])>>shift3 (8-861)

-变量sGx2、sGy2、sGxGy、sGxdI和sGydI被推导如下：

sGx2＝Σ

(8-862)

sGy2＝Σ

(8-863)

sGxGy＝Σ

(8-864)

sGxdI＝Σ

(8-865)

sGydI＝Σ

(8-866)

-当前子块的水平和垂直运动偏移被推导如下：

v

-(sGxdI<<3)>>Floor(Log2(sGx2))):0 (8-867)

v

((v

-对于x＝xSb-1..xSb+2，y＝ySb-1..ySb+2，当前子块的预测样点值被推导如下：

bdofOffset＝Round((v

[Ed.(JC)：Round()操作是针对浮点输入定义的。Round()操作在这里似乎是多余的，因为输入是整数值。待由提出者确认]

pbSamples[x][y]＝Clip3(0,(2

predSamplesL1[x+1][y+1]+bdofOffset)>>shift4) (8-870)

空域梯度被计算如下：

gradientHL0[x][y]＝(predSamplesL0[h

另一方面，时域梯度被计算如下：

diff[x][y]＝(predSamplesL0[h

因此，没有对齐空域梯度和时域梯度的计算。

2.5解码器端运动矢量细化

在双向预测操作中，对于一个块区域的预测，分别使用列表0的运动矢量(MotionVector，MV)和列表1的MV形成的两个预测块被组合以形成单个预测信号。在JVET-K0217中，解码器侧运动矢量细化(DMVR)方法，双向预测的两个运动矢量通过双边匹配过程而进一步细化。

在提出的方法中，如果以下条件为真，则仅在Merge和跳过模式下应用DMVR：

(POC-POC0)*(POC-POC1)<0，

其中POC是当前要编码的图片的图片顺序计数，POC0和POC1是当前图片的参考的图片顺序计数。

信令通知的Merge候选对被用作DMVR过程的输入，并且被表示为初始运动矢量(MV0,MV1)。通过DMVR搜索的搜索点遵循运动矢量差镜像条件。换句话说，通过DMVR检查的任何点，由候选运动矢量对(MV0’,MV1’)表示，都遵循以下两个等式：

MV0′＝MV0+MV

MV1′＝MV1-MV

其中MV

在构建搜索空间之后，使用常规8抽头DCTIF插值滤波器来构建单边预测。通过使用两个预测之间的MRSAD(绝对差平均移除和)(图6)来计算双边匹配成本函数，并且产生最小成本的搜索点被选择作为细化MV对。对于MRSAD计算，使用样点的16位精度(其是插值滤波的输出)，并且在MRSAD计算之前不应用削波(clipping)和取整操作。不应用取整和削波的理由是为了降低内部缓冲器要求。

图6示出了具有6点搜索的双边匹配的示例。

在提出的方法中，由自适应模式方法选择整数精度搜索点。首先计算对应于(由初始运动矢量指向的)中心点的成本。其他4个成本(符号形状)通过两个预测而计算，其中该两个预测通过中心点而位于彼此的相反侧。该角度的最后第6个点通过先前的计算成本的梯度而选择(图7)。

图7示出了自适应整数搜索模式和半样点搜索模式的示例。

DMVR过程的输出是对应于最小成本的细化运动矢量对。

如果在一次迭代之后，在搜索空间的中心点实现最小成本，即运动矢量没有改变，并且细化过程被终止。否则，最佳成本进一步被视为中心，并且该过程继续，而最小成本不对应于中心点，并且没有超过搜索范围。

仅当半像素搜索的应用不超过搜索范围时，半样点精度搜索才被应用。在这种情况下，仅执行4次MRSAD计算，对应于中心点周围的加号(plus)形状点，其在整数精度搜索期间被选为最佳。最后，输出对应于最小成本点的细化运动矢量对。

JVET-L0163中进一步提出了一些简化和改进。

参考采样填充

应用参考样点填充，以便扩展由初始运动矢量指向的参考样点块。如果编解码块的尺寸由“w”和“h”给出，则假设从参考图片缓冲器检索到尺寸为w+7和h+7的块。然后，通过使用最近样点的重复样点填充，检索到的缓冲器然后在每个方向上被扩展2个样点。之后，一旦获得细化运动矢量(其可以在每个方向上偏离初始运动矢量2个样点)，扩展的参考样点块用于生成最终预测。

注意，该修改完全消除了DMVR的外部存储器访问要求，而没有任何编解码损失。

代替8抽头DCTIF的双线性插值

根据该提议，双线性插值在DMVR搜索过程期间被应用，这意味着在MRSAD计算中使用的预测是使用双线性插值而生成的。一旦获得最终的细化运动矢量，就应用常规的8抽头DCTIF插值滤波器以生成最终预测。

对小的块禁用DMVR

对块4×4、4×8和8×4禁用DMVR。

基于Merge候选之间的MV差的早期终止

对DMVR施加附加条件，以限制MV细化过程。利用该条件，当满足下面的条件时，DMVR被有条件地禁用。

所选择的Merge候选和相同Merge列表中的任何先前Merge候选之间的MV差小于预定义阈值(即对于具有小于64个像素、小于256个像素和至少256个像素的CU，分别为1/4像素宽间隔、1/2像素宽间隔和1像素宽间隔)。

基于中心搜索坐标处的SAD成本的早期终止

计算使用当前CU的初始运动矢量的两个预测信号(L0和L1预测)之间的绝对差和(SAD)。如果SAD不大于预定义阈值，即每一样点2

DMVR应用条件

DMVR应用条件是(POC–POC1)×(POC-POC2)<0，当它在BMS2.1中被实施时由新条件(POC–POC1)＝＝(POC2–POC)替代。这意味着，只有当参考图片在相反的时间方向上并且与当前图片等距时，才应用DMVR。

使用每个第二行的MRSAD计算

仅针对块的奇数行计算MRSAD成本，不考虑偶数样点行。因此，MRSAD计算的运算数量减半。

2.6相关方法

在由2018年8月4日提交的标题为“Motion Refinement for Visual MediaCoding(可视媒体编解码的运动细化)”的申请No.PCT/CN2018/098691(其通过引用并入本文)标识的专利申请中，提出了MV更新方法和两步帧间预测方法。BIO中参考块0和参考块1之间的推导出的MV被缩放并添加到列表0和列表1的原始运动矢量。同时，更新的MV用于执行运动补偿，并且第二帧间预测被生成作为最终预测。时域梯度通过移除参考块0和参考块1之间的平均差而修改。

2.7DMVR草案4

在JVET-M1001_v7(VVC工作草案4，版本7)中对DMVR的使用被定义如下：

-当所有以下条件都为真时，dmvrFlag被设置为等于1：

-sps_dmvr_enabled_flag等于1

-当前块不以三角形预测模式、AMVR仿射模式、子块模式(包括Merge仿射模式和ATMVP模式)来编解码

-merge_flag[xCb][yCb]等于1

-predFlagL0[0][0]和predFlagL1[0][0]两者都等于1

-mmvd_flag[xCb][yCb]等于0

-DiffPicOrderCnt(currPic,RefPicList[0][refIdxL0])等于DiffPicOrderCnt(RefPicList[1][refIdxL1],currPic)

-cbHeight大于或等于8

-cbHeight*cbWidth大于或等于64

3.实施例解决的问题的示例

在BIO中，在早期终止阶段计算了两个参考块或子块之间的差，同时还计算了时域梯度。因为时域梯度实际上是两个参考像素之间的差(或右移差)，所以计算差和时域梯度两者是没有意义的。

在DMVR中，MRSAD计算用于决定一个块的细化运动矢量。

在BIO中，SAD计算用于使用一个块/一个子块的所有样点来决定是否应该对一个块或一个子块启用/禁用BIO，这增加了计算复杂度。

对于空域梯度和时域梯度，计算方法是不同的。

4.实施例的示例

将SATD表示为绝对变换差和，将MRSATD表示为绝对变换差平均移除和，将SSE表示为平方误差和，并且将MRSSE表示为平方误差平均移除和。

下面的详细技术应该被认为是解释一般概念的示例。这些技术不应该以狭隘的方式而解释。此外，这些发明可以以任何方式而组合。

在下面的讨论中，SatShift(x,n)被定义为

Shift(x,n)被定义为Shift(x,n)＝(x+offset0)>>n。

在一个示例中，offset0和/或offset1被设置为(1<>1或(1<<(n-1))。在另一示例中，offset0和/或offset1被设置为0。

在另一示例中，offset0＝offset1＝((1<>1)-1或((1<<(n-1)))-1。

在BDOF的梯度计算中，可以计算两个邻近(空域邻近或时域邻近)样点和/或非相邻样点之间的差，并且可以在梯度计算期间执行右移。假设两个邻近样点是neig0和neig1，并且右移值是shift1，并且要被计算的梯度是grad。注意，对于空域梯度和时域梯度，shift1可以不同。

1.提出将用于计算空域梯度和时域梯度的方法对齐。

a.在一个示例中，梯度是根据移位样点差而计算的。

i.可选地，梯度是根据修改的样点(例如，经由移位)差而计算的。

b.在一个示例中，在梯度计算中，可以在右移之前执行减法。例如，grad＝(neig0–neig1)>>shift1。

c.在一个示例中，在梯度计算中，可以在右移之后执行减法。例如，grad＝(neig0>>shift1)–(neig1>>shift1)。

d.在一个示例中，在梯度计算中，可以在右移之前执行减法，并且可以在右移之前添加偏移。例如，grad＝(neig0–neig1+offset)>>shift1。偏移可以等于1<<(shift1–1)或1<>1。

e.在一个示例中，在梯度计算中，可以在右移之后执行减法，并且可以在右移之前添加偏移。例如，grad＝((neig0+offset)>>shift1)–((neig1+offset)>>shift1)。偏移可以等于1<<(shift1–1)or 1<>1。

f.在一个示例中，梯度可以被计算为SatShift(neig0–neig1,shift1)。

i.可选地，梯度可以被计算为SatShift(neig0,shift1)-SatShift(neig1,shift1)。

2.提出使用其他准则在早期终止阶段决定启用/禁用BIO或/和DMVR，诸如SATD或MRSATD或SSE或MRSSE或平均值差或梯度值。

a.在一个示例中，块级别和子块级别启用/禁用决定可以选择不同的规则，例如，一个用SAD，而另一个用SATD。

b.在一个示例中，对于块/子块，如果梯度值(水平和/或垂直)或平均梯度值或梯度值的范围满足条件(例如，大于阈值或在给定范围之外)，则可以禁用BIO和/或DMVR。

c.提出可以在VPS/SPS/PPS/条带头/片组头中从编码器向解码器信令通知用于决定启用/禁用BIO/DMVR的准则。

3.提出使用其他准则来决定DMVR过程中的一个块的细化运动矢量，诸如替代MRSAD的SATD或MRSATD或SSE或MRSSE。

a.在一个示例中，DMVR过程中的一个子块的细化运动矢量，诸如替代MRSAD的SATD或MRSATD或SSE或MRSSE。

b.在一个示例中，如果应用了SATD(或MRSATD)，则整个块被划分为M×N个子块，并且针对每个子块计算SATD(或MRSATD)。对所有或一些子块的SATD(或MRSATD)求和，以得到整个块的SATD(或MRSATD)值。

4.当一个块的两个参考块的平均值差大于阈值(T1)时，可以禁用BIO或/和DMVR。

a.当一个子块的两个参考子块的平均值差大于阈值(T2)时，可以禁用BIO。

b.阈值T1和/或T2可以是预定义的。

c.阈值T1和/或T2可以取决于块维度。

5.提出在BIO的早期终止阶段，在计算两个参考块/子块之间的差(例如，SAD/SATD/SSE等)之前，可以首先修改参考块或/和子块。

a.在一个示例中，可以计算参考块或/和子块的均值，然后由参考块或/和子块减去该均值。

b.在一个示例中，在2018年7月20日提交的标题为“Motion Prediction Based onUpdated Motion Vectors(基于更新的运动矢量的运动预测)”的申请No.PCT/CN2018/096384(其通过引用并入本文)中公开的方法可以用于计算参考块或/和子块的平均值，即针对一些代表性位置计算平均值。

6.提出在BIO技术或/和DMVR的早期终止阶段，可以仅针对一些代表性位置计算两个参考块或/和子块之间的差(例如，SAD/SATD/SSE/MRSAD/MRSATD/MRSSE等)。

a.在一个示例中，仅针对块或/和子块计算偶数行的差。

b.在一个示例中，仅针对块或/和子块计算一个块/子块的四个角样点的差。

c.在一个示例中，2018年7月2日提交的标题为“Decoder Side Motion VectorDerivation in Video Coding(视频编解码中的解码器侧运动矢量推导)”的美国临时申请No.62/693,412(其通过引用并入本文)中公开的方法可以用于选择代表性位置。

d.在一个示例中，可以仅针对一些代表性子块计算两个参考块之间的差(例如，SAD/SATD/SSE/MRSAD/MRSATD/MRSSE等)。

e.在一个示例中，对针对代表性位置或子块计算的差(例如，SAD/SATD/SSE/MRSAD/MRSATD/MRSSE等)求和，以得到整个块/子块的差。

7.提出时域梯度(位置(x,y)处的时域梯度被定义为G(x,y)＝P0(x,y)-P1(x,y)，其中P0(x,y)和P1(x,y)表示来自两个不同参考图片的(x,y)处的预测)或修改的时域梯度被用作BIO的早期终止阶段的差(而不是SAD)，并且用于早期终止的阈值可以被相应地调整。

a.在一个示例中，时域梯度的绝对和被计算并用作两个参考块或/和子块的差。

b.在一个示例中，仅在块或/和子块的一些代表性位置上计算时域梯度的绝对和。

c.在一个示例中，2018年7月2日提交的标题为“Decoder Side Motion VectorDerivation in Video Coding(视频编解码中的解码器侧运动矢量推导)”的美国临时申请No.62/693,412(其通过引用并入本文)中公开的方法可以用于选择代表性位置。

8.提出可以针对不同的块/子块自适应执行时域梯度修改过程。

a.在一个示例中，时域梯度仅在两个参数块之间的绝对平均差(或

SAD/SATD/SSE等)大于阈值T时被修改，例如，T＝4。

b.在一个示例中，时域梯度仅在两个参数块之间的绝对平均差(或

SAD/SATD/SSE等)小于阈值T时被修改，例如，T＝20。

c.在一个示例中，时域梯度仅在两个参数块之间的绝对平均差(或

SAD/SATD/SSE等)在范围[T1,T2]中时被修改，例如，T1＝4，T2＝20。

d.在一个示例中，如果两个参数块之间的绝对平均差(或

SAD/SATD/SSE等)大于阈值T(例如，T＝40)，则BIO被禁用。

e.在一个示例中，这些阈值可以被隐式预定义。

f.在一个示例中，这些阈值可以以SPS/PPS/图片/条带/片级别来信令通知。

g.在一个示例中，对于不同的CU、LCU、条带、片或图片，这些阈值可以不同。

i.在一个示例中，可以基于解码/编码的像素值来设计这些阈值。

ii.在一个示例中，对于不同的参考图片，可以不同地设计这些阈值。

h.在一个示例中，时域梯度仅在两个参考块(或两个中的任何一个)的(绝对)均值大于阈值T时被修改，例如，T＝40。

i.在一个示例中，时域梯度仅在两个参考块(或两个中的任何一个)的(绝对)均值小于阈值T时被修改，例如，T＝100。

j.在一个示例中，时域梯度仅在两个参考块(或两个中的任何一个)的(绝对)均值在范围[T1,T2]中时被修改，例如，T1＝40，T2＝100。

k.在一个示例中，时域梯度仅在两个参考块(或两个中的任何一个)的(绝对)均值大于/小于绝对平均差(或SAD/SATD等)乘以T时被修改，在一个示例中，T＝4.5。

l.在一个示例中，时域梯度仅在两个参考块(或两个中的任何一个)的(绝对)均值在绝对平均差(或SAD/SATD等)乘以[T1,T2]的范围中时被修改，在一个示例中，T1＝4.5，T2＝7。

9.提出在混合帧内和帧间预测模式下，当在BIO中计算空域梯度时，可以修改两个帧间参考块，或者可以在执行整个BIO过程之前修改它们。

a.在一个示例中，对每个预测方向上的帧内预测块和帧间预测块进行加权平均(使用与混合帧间和帧间预测中相同的加权方法)，以生成两个新的预测块，表示为wAvgBlkL0和wAvgBlkL1，其用于在BIO中推导空域梯度。

b.在一个示例中，wAvgBlkL0和wAvgBlkL1用于生成当前块的预测块，表示为predBlk。然后，wAvgBlkL0、wAvgBlkL1和predBlk进一步用于BIO过程，并且BIO中生成的细化预测块被用作最终预测块。

10.提出可以在块级别信令通知DMVR或/和BIO标志，以指示是否为该块启用了DMVR或/和BIO。

a.在一个示例中，可以仅针对AMVP模式信令通知这样的标志，并且在Merge模式下，可以从空域或/和时域邻近块继承这样的标志。

b.在一个示例中，可以通过信令通知的标志和动态(on-the-fly)决定(例如，在早期终止阶段基于SAD的决定)来联合决定BIO或/和DMVR是否被启用。信令通知的标志可以指示动态决定是否正确。

c.不为单向预测块信令通知这样的标志。

d.可以不为其两个参考图片在显示顺序上都是在前图片或在后图片的双向预测块信令通知这样的标志。

e.如果POC_diff(curPic,ref0)不等于POC_diff(ref1,curPic)，则可以不为双向预测块信令通知这样的标志，其中，POC_diff()计算两个图片之间的POC差，并且ref0和ref1是当前图片的参考图片。

f.不为帧内编解码块信令通知这样的标志。此外，可选地，不为以混合帧内和帧间预测模式编解码的块信令通知这样的标志。

可选地，不为当前图片参考块信令通知这样的标志，即参考图片是当前图片。

g.是否信令通知标志可以取决于块维度。例如，如果块尺寸小于阈值，则不信令通知这样的标志。可选地，如果块宽度和/或高度等于或大于阈值，则不信令通知这样的标志。

h.是否信令通知标志可以取决于运动矢量精度。例如，如果运动矢量是以整数精度的，则不信令通知这样的标志。

i.如果不信令通知这样的标志，它可以被隐式推导为真或假。

j.可以在条带头/片头/PPS/SPS/VPS处信令通知标志，以指示该方法是否被启用。

k.这样的信令通知方法可以取决于图片的时域层，例如，可以对具有高时域层的图片禁用该方法。

l.这样的信令通知方法可以取决于图片的QP，例如，可以对具有高QP的图片禁用该方法。

11.代替检查块高度和块尺寸两者，提出仅根据块高度来决定是启用还是禁用DMVR。

a.在一个示例中，当块高度大于T1(例如，T1＝4)时，可以启用DMVR。

b.在一个示例中，当块高度等于或大于T1(例如，T1＝8)时，可以启用DMVR。

12.应用于DMVR/BIO的以上方法可能仅适用于其他解码器侧运动矢量推导(Decoder-Side Motion Vector Derivation，DMVD)方法，诸如仿射模式的基于光流的预测细化。

a.在一个示例中，可以对齐用于DMVR和BIO的使用确定的条件检查，诸如块高度是否满足相同的阈值。

i.在一个示例中，当块高度等于或大于T1(例如，T1＝8)时，可以启用DMVR和BIO。

ii.在一个示例中，当块高度大于T1(例如，T1＝4)时，可以启用DMVR和BIO。

5.实施例

5.1实施例#1

在JVET-M1001_v7(VVC工作草案4，版本7)中对DMVR的使用被修改如下：

-当所有以下条件都为真时，dmvrFlag被设置为等于1：

-sps_dmvr_enabled_flag等于1

-当前块不以三角形预测模式、AMVR仿射模式、子块模式(包括Merge仿射模式和ATMVP模式)来编解码

-merge_flag[xCb][yCb]等于1

-predFlagL0[0][0]和predFlagL1[0][0]两者都等于1

-mmvd_flag[xCb][yCb]等于0

-DiffPicOrderCnt(currPic,RefPicList[0][refIdxL0])等于

DiffPicOrderCnt(RefPicList[1][refIdxL1],currPic)

-cbHeight大于或等于8

这意味着，“cbHeight*cbWidth大于或等于64”被删除。

5.2实施例#2

新添加的部分以黑体斜体而突出显示，并且删除的部分以删除线而突出显示。

i.一个示例

8.5.7.4双向光流预测过程

该过程的输入是：

-两个变量nCbW和nCbH，指定当前编解码块的宽度和高度，

-两个(nCbW+2)×(nCbH+2)亮度预测样点阵列predSamplesL0和predSamplesL1，

-预测列表利用标志predFlagL0和predFlagL1，

-参考索引refIdxL0和refIdxL1，

-双向光流利用标志bdofUtilizationFlag[xIdx][yIdx]，其中xIdx＝0..(nCbW>>2)–1，yIdx＝0..(nCbH>>2)-1。

该过程的输出是亮度预测样点值的(nCbW)×(nCbH)阵列pbSamples。

变量bitDepth、shift1、shift2、shift3、shift4、offset4和mvRefineThres被推导如下：

-变量bitDepth被设置为等于BitDepth

-变量shift1被设置为等于Max(2,14-bitDepth)。

-变量shift2被设置为等于Max(8,bitDepth-4)。

-变量shift3被设置为等于Max(5,bitDepth-7)。

-变量shift4被设置为等于Max(3,15-bitDepth)，并且变量offset4被设置为等于1<<(shift4-1)。

-变量mvRefineThres被设置为等于Max(2,1<<(13-bitDepth))。

对于xIdx＝0..(nCbW>>2)–1和yIdx＝0..(nCbH>>2)-1，以下适用：

-变量xSb被设置为等于(xIdx<<2)+1，并且ySb被设置为等于(yIdx<<2)+1。

-如果bdofUtilizationFlag[xSbIdx][yIdx]等于FALSE(假)，则对于x＝xSb-1..xSb+2，y＝ySb-1..ySb+2，当前子块的预测样点值被推导如下：

pbSamples[x][y]＝Clip3(0,(2

predSamplesL1[x+1][y+1])>>shift2) (8-852)

-否则(bdofUtilizationFlag[xSbIdx][yIdx]等于TRUE(真))，当前子块的预测样点值被推导如下：

-对于x＝xSb-1..xSb+4，y＝ySb-1..ySb+4，以下有序步骤适用：

4.预测样点阵列内部每个对应样点位置(x,y)的位置(h

推导如下：

h

v

5.变量gradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]和gradientVL1[x][y]被推导如下：

gradientHL0[x][y]＝(predSamplesL0[h

shift1 (8-855)

gradientVL0[x][y]＝(predSampleL0[h

shift1 (8-856)

gradientHL1[x][y]＝(predSamplesL1[h

shift1 (8-857)

gradientVL1[x][y]＝(predSampleL1[h

shift1 (8-858)

6.变量temp[x][y]、tempH[x][y]和tempV[x][y]被推导如下：

diff[x][y]＝(predSamplesL0[h

tempH[x][y]＝(gradientHL0[x][y]+gradientHL1[x][y])>>shift3 (8-860)

tempV[x][y]＝(gradientVL0[x][y]+gradientVL1[x][y])>>shift3 (8-861)

-变量sGx2、sGy2、sGxGy、sGxdI和sGydI被推导如下：

sGx2＝Σ

(8-862)

sGy2＝Σ

(8-863)

sGxGy＝Σ

(8-864)

sGxdI＝Σ

(8-865)

sGydI＝Σ

(8-866)

-当前子块的水平和垂直运动偏移被推导如下：

v

-(sGxdI<<3)>>Floor(Log2(sGx2))):0 (8-867)

v

((v

-对于x＝xSb-1..xSb+2，y＝ySb-1..ySb+2，当前子块的预测样点值被推导如下：

bdofOffset＝Round((v

[Ed.(JC)：Round()操作是针对浮点输入定义的。Round()操作在这里似乎是多余的，因为输入是整数值。待由提出者确认]

pbSamples[x][y]＝Clip3(0,(2

predSamplesL1[x+1][y+1]+bdofOffset)>>shift4) (8-870)

ii.一个示例

8.5.7.4双向光流预测过程

该过程的输入是：

-两个变量nCbW和nCbH，指定当前编解码块的宽度和高度，

-两个(nCbW+2)×(nCbH+2)亮度预测样点阵列predSamplesL0和predSamplesL1，

-预测列表利用标志predFlagL0和predFlagL1，

-参考索引refIdxL0和refIdxL1，

-双向光流利用标志bdofUtilizationFlag[xIdx][yIdx]，其中xIdx＝0..(nCbW>>2)–1，yIdx＝0..(nCbH>>2)-1。

该过程的输出是亮度预测样点值的(nCbW)×(nCbH)阵列pbSamples。

变量bitDepth、shift1、shift2、shift3、shift4、offset4和mvRefineThres被推导如下：

-变量bitDepth被设置为等于BitDepth

-变量shift1被设置为等于Max(2,14-bitDepth)。

-变量shift2被设置为等于Max(8,bitDepth-4)。

-变量shift3被设置为等于Max(5,bitDepth-7)。

-变量shift4被设置为等于Max(3,15-bitDepth)，并且变量offset4被设置为等于1<<(shift4-1)。

-变量mvRefineThres被设置为等于Max(2,1<<(13-bitDepth))。

对于xIdx＝0..(nCbW>>2)–1和yIdx＝0..(nCbH>>2)-1，以下适用：

-变量xSb被设置为等于(xIdx<<2)+1，并且ySb被设置为等于(yIdx<<2)+1。

-如果bdofUtilizationFlag[xSbIdx][yIdx]等于FALSE(假)，则对于x＝xSb-1..xSb+2，y＝ySb-1..ySb+2，当前子块的预测样点值被推导如下：

pbSamples[x][y]＝Clip3(0,(2

predSamplesL1[x+1][y+1])>>shift2) (8-852)

-否则(bdofUtilizationFlag[xSbIdx][yIdx]等于TRUE(真))，当前子块的预测样点值被推导如下：

-对于x＝xSb-1..xSb+4，y＝ySb-1..ySb+4，以下有序步骤适用：

7.预测样点阵列内部每个对应样点位置(x,y)的位置(h

h

v

8.变量gradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]和gradientVL1[x][y]被推导如下：

gradientHL0[x][y]＝(predSamplesL0[h

1][v

gradientVL0[x][y]＝(predSampleL0[h

v

gradientHL1[x][y]＝(predSamplesL1[h

1][v

gradientVL1[x][y]＝(predSampleL1[h

v

9.变量temp[x][y]、tempH[x][y]和tempV[x][y]被推导如下：

diff[x][y]＝(predSamplesL0[h

tempH[x][y]＝(gradientHL0[x][y]+gradientHL1[x][y])>>shift3 (8-860)

tempV[x][y]＝(gradientVL0[x][y]+gradientVL1[x][y])>>shift3 (8-861)

-变量sGx2、sGy2、sGxGy、sGxdI和sGydI被推导如下：

sGx2＝Σ

(8-862)

sGy2＝Σ

(8-863)

sGxGy＝Σ

(8-864)

sGxdI＝Σ

(8-865)

sGydI＝Σ

(8-866)

-当前子块的水平和垂直运动偏移被推导如下：

v

-(sGxdI<<3)>>Floor(Log2(sGx2))):0 (8-867)

v

((v

-对于x＝xSb-1..xSb+2，y＝ySb-1..ySb+2，当前子块的预测样点值被推导如下：

bdofOffset＝Round((v

[Ed.(JC)：Round()操作是针对浮点输入定义的。Round()操作在这里似乎是多余的，因为输入是整数值。待由提出者确认]

pbSamples[x][y]＝Clip3(0,(2

predSamplesL1[x+1][y+1]+bdofOffset)>>shift4) (8-870)

iii.一个示例

8.5.7.4双向光流预测过程

该过程的输入是：

-两个变量nCbW和nCbH，指定当前编解码块的宽度和高度，

-两个(nCbW+2)×(nCbH+2)亮度预测样点阵列predSamplesL0和predSamplesL1，

-预测列表利用标志predFlagL0和predFlagL1，

-参考索引refIdxL0和refIdxL1，

-双向光流利用标志bdofUtilizationFlag[xIdx][yIdx]，其中xIdx＝0..(nCbW>>2)–1，yIdx＝0..(nCbH>>2)-1。

该过程的输出是亮度预测样点值的(nCbW)×(nCbH)阵列pbSamples。

变量bitDepth、shift1、shift2、shift3、shift4、offset4、offset5、offset6和mvRefineThres被推导如下：

-变量bitDepth被设置为等于BitDepth

-变量shift1被设置为等于Max(2,14-bitDepth)。

-变量shift2被设置为等于Max(8,bitDepth-4)。

-变量shift3被设置为等于Max(5,bitDepth-7)。

-变量shift4被设置为等于Max(3,15-bitDepth)，并且变量offset4被设置为等于1<<(shift4-1)。

-变量mvRefineThres被设置为等于Max(2,1<<(13-bitDepth))。

-变量offset5被设置为等于(1<<(shift1–1))。

-变量offset6被设置为等于(1<<(shift2–1))。

对于xIdx＝0..(nCbW>>2)–1和yIdx＝0..(nCbH>>2)-1，以下适用：

-变量xSb被设置为等于(xIdx<<2)+1，并且ySb被设置为等于(yIdx<<2)+1。

-如果bdofUtilizationFlag[xSbIdx][yIdx]等于FALSE(假)，则对于x＝xSb-1..xSb+2，y＝ySb-1..ySb+2，当前子块的预测样点值被推导如下：

pbSamples[x][y]＝Clip3(0,(2

predSamplesL1[x+1][y+1])>>shift2) (8-852)

-否则(bdofUtilizationFlag[xSbIdx][yIdx]等于TRUE(真))，当前子块的预测样点值被推导如下：

-对于x＝xSb-1..xSb+4，y＝ySb-1..ySb+4，以下有序步骤适用：

10.预测样点阵列内部每个对应样点位置(x,y)的位置(h

h

v

11.变量gradientHL0[x][y]、gradientVL0[x][y]、gradientHL1[x][y]和gradientVL1[x][y]被推导如下：

gradientHL0[x][y]＝(predSamplesL0[h

+offset5)>>shift1 (8-855)

gradientVL0[x][y]＝(predSampleL0[h

+offset5)>>shift1 (8-856)

gradientHL1[x][y]＝(predSamplesL1[h

+offset5)>>shift1 (8-857)

gradientVL1[x][y]＝(predSampleL1[h

+offset5)>>shift1 (8-858)

12.变量temp[x][y]、tempH[x][y]和tempV[x][y]被推导如下：

diff[x][y]＝(predSamplesL0[h

(8-859)

tempH[x][y]＝(gradientHL0[x][y]+gradientHL1[x][y])>>shift3 (8-860)

tempV[x][y]＝(gradientVL0[x][y]+gradientVL1[x][y])>>shift3 (8-861)

-变量sGx2、sGy2、sGxGy、sGxdI和sGydI被推导如下：

sGx2＝Σ

(8-862)

sGy2＝Σ

(8-863)

sGxGy＝Σ

(8-864)

sGxdI＝Σ

(8-865)

sGydI＝Σ

(8-866)

-当前子块的水平和垂直运动偏移被推导如下：

v

-(sGxdI<<3)>>Floor(Log2(sGx2))):0 (8-867)

v

((v

-对于x＝xSb-1..xSb+2，y＝ySb-1..ySb+2，当前子块的预测样点值被推导如下：

bdofOffset＝Round((v

[Ed.(JC)：Round()操作是针对浮点输入定义的。Round()操作在这里似乎是多余的，因为输入是整数值。待由提出者确认]

pbSamples[x][y]＝Clip3(0,(2

predSamplesL1[x+1][y+1]+bdofOffset)>>shift4) (8-870)

图8是视频处理装置800的框图。装置800可以用于实施本文描述的一个或多个方法。装置800可以包含在智能手机、平板电脑、计算机、物联网(IoT)接收器等中。装置800可以包括一个或多个处理器802、一个或多个存储器804和视频处理硬件806。(多个)处理器802可以被配置为实施本文档中描述的一个或多个方法。存储器(多个存储器)804可以用于存储用于实施本文描述的方法和技术的数据和代码。视频处理硬件806可以用于在硬件电路中实施本文档中描述的一些技术。视频处理硬件806可以以专用硬件、图形处理器单元(Graphical Processor Unit，GPU)或专用信号处理块的形式部分或完全地包括在(多个)处理器802内。

图10是处理视频的方法1000的流程图。方法1000包括：执行对第一视频块的特性的确定(1005)，该特性包括与第一视频块相关联的参考块之间的差，该差包括绝对变换差和(SATD)、绝对变换差平均移除和(MRSATD)、平方误差和(SSE)、平方误差平均移除和(MRSSE)、平均值差或梯度值中的一个或多个；基于第一视频块的特性来确定(1010)双向光流(BIO)技术或解码器侧运动矢量细化(DMVR)技术中的一种或两种的操作状态，该操作状态是启用或禁用中的一个；以及按照(consistent with)BIO技术或DMVR技术中的一种或两种的操作状态来执行(1015)对第一视频块的进一步处理。

图11是处理视频的方法1100的流程图。方法1100包括：修改(1105)第一参考块以生成第一修改参考块，并且修改第二参考块以生成第二修改参考块，第一参考块和第二参考块与第一视频块相关联；执行(1110)第一修改参考块和第二修改参考块之间的差，该差包括绝对变换差和(SATD)、绝对变换差平均移除和(MRSATD)、平方误差和(SSE)、平方误差平均移除和(MRSSE)、平均值差或梯度值中的一个或多个；以及基于第一修改参考块和第二修改参考块之间的差来执行(1115)对第一视频块的进一步处理。

图12是处理视频的方法1200的流程图。方法1200包括：确定(1205)与第一视频块相关联的第一参考块的一部分和第二参考块的一部分之间的差，该差包括绝对变换差和(SATD)、绝对变换差平均移除和(MRSATD)、平方误差和(SSE)、平方误差平均移除和(MRSSE)、平均值差或梯度值中的一个或多个；以及基于该差来执行(1210)对第一视频块的进一步处理。

图13是处理视频的方法1300的流程图。方法1300包括：使用与第一视频块相关联的参考图片来确定(1305)时域梯度或修改的时域梯度，该时域梯度或修改的时域梯度指示参考图片之间的差；以及根据该差，使用双向光流(BIO)编解码工具来执行(1310)对第一视频块的进一步处理。

图14是处理视频的方法1400的流程图。方法1400包括：使用与第一视频块相关联的参考图片来确定(1405)时域梯度；修改(1410)时域梯度以生成修改的时域梯度；以及使用修改的时域梯度来执行(1415)对第一视频块的进一步处理。

图15是处理视频的方法1500的流程图。方法1500包括：修改(1505)与第一视频块相关联的第一帧间参考块和第二帧间参考块中的一个或两个；使用修改的第一帧间参考块或修改的第二帧间参考块中的一个或两个，根据双向光流编解码工具(BIO)来确定(1510)空域梯度；以及基于空域梯度来执行(1515)对第一视频块的进一步处理。

图16是处理视频的方法1600的流程图。方法1600包括：执行(1605)对在块级别信令通知的标志指示要对第一视频块启用解码器侧运动矢量细化(DMVR)或双向光流(BIO)中的一种或两种的确定；以及执行(1610)对第一视频块的进一步处理，该处理包括按照该标志来应用DMVR或BIO中的一种或两种。

参考方法1000、1100、1200、1300、1400、1500和1600，在本文档的第4节中描述了确定使用双向光流(BIO)或解码器侧运动矢量细化(DMVR)的一些示例。例如，如第4节所述，可以确定参考块之间的差，并且该差可以用于启用或禁用BIO或DMVR。

参考方法1000、1100、1200、1300、1400、1500和1600，可以在视频比特流中编码视频块，其中可以通过使用与运动信息预测相关的比特流生成规则来实现比特效率。

该方法可以包括其中BIO技术或DMVR技术的操作状态在块级别和子块级别之间不同。

该方法可以包括确定梯度值、梯度值的平均值或梯度值的范围中的一个或多个在阈值范围内，其中，确定操作状态是基于对梯度值、梯度值的平均值或梯度值的范围在阈值范围内的确定的。

该方法可以包括其中确定操作状态还基于在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、片组头或条带头中从编码器信令通知到解码器的信息。

该方法可以包括基于SATD、MRSATD、SSE或MRSSE来确定第一视频块的细化运动矢量，并且其中，执行进一步处理是基于细化运动矢量的。

该方法可以包括其中确定细化运动矢量是基于SATD或MRSATD的，该方法还包括：确定第一视频块的每个子块的SATD或MRSATD；以及基于每个子块的SATD或MRSATD的和来生成第一视频块的SATD或MRSATD，其中，对第一视频块的进一步处理是基于所生成的SATD或MRSATD的。

该方法可以包括确定第一视频块的两个参考块的平均值差大于阈值，并且其中，基于两个参考块的平均值差，BIO或DMVR中的一种或两种处于禁用操作状态。

该方法可以包括确定第一视频块的子块的两个参考子块的平均值差大于阈值，并且其中，基于两个参考子块的平均值差，BIO或DMVR中的一种或两种处于禁用操作状态。

该方法可以包括其中阈值是预定义的。

该方法可以包括确定第一视频块的维度，并且其中，阈值基于第一视频块的维度。

该方法可以包括其中修改第一参考块和第二参考块包括从第一参考块减去第一参考块的均值。

该方法可以包括其中第一参考块和第二参考块的部分包括偶数行。

该方法可以包括其中第一参考块和第二参考块的部分包括角样点。

该方法可以包括其中第一参考块和第二参考块的部分包括代表性子块。

该方法可以包括其中代表性子块之间的差被求和，以生成第一参考块或第二参考块的差。

该方法可以包括其中该差与时域梯度的绝对和相关。

该方法可以包括其中修改时域梯度是基于参考块之间的绝对平均差大于阈值的。

该方法可以包括其中阈值是4。

该方法可以包括其中修改时域梯度是基于参考块之间的绝对平均差小于阈值的。

该方法可以包括其中阈值是20。

该方法可以包括其中修改时域梯度是基于参考块之间的绝对平均差在阈值范围内的。

该方法可以包括其中基于绝对平均差大于阈值，BIO处于禁用操作状态。

该方法可以包括其中阈值或阈值范围是以VPS、SPS、PPS、图片、条带或片级别指示的。

该方法可以包括其中对于不同的编解码单元(CU)、最大编解码单元(LCU)、条带、片或图片，阈值或阈值范围是不同的。

该方法可以包括其中阈值或阈值范围基于解码或编码的像素值。

该方法可以包括其中阈值或阈值范围基于参考图片。

该方法可以包括其中确定空域梯度包括确定每个预测方向上的帧内预测块和帧间预测块的加权平均值。

该方法可以包括其中标志是在高级运动矢量预测(AMVP)模式下提供的，并且在Merge模式下，标志是从空域邻近块或时域邻近块中的一个或两个继承的。

该方法可以包括其中不为单向预测块信令通知标志。

该方法可以包括其中不为具有参考图片的双向预测块信令通知标志，其中该参考图片在显示顺序上是在前图片或在后图片。

该方法可以包括其中不为双向预测块信令通知标志。

该方法可以包括其中不为帧内编解码块信令通知标志。

该方法可以包括其中不为以混合帧内和帧间预测模式编解码的块信令通知标志。

该方法可以包括其中标志是基于第一视频块的维度而信令通知的。

该方法可以包括其中标志是在VPS、SPS或PPS中信令通知的。

该方法可以包括其中标志基于与第一视频块相关联的图片的时域层。

该方法可以包括其中标志基于与第一视频块相关联的图片的量化参数(QP)。

图17是示出可以在其中实施本文公开的各种技术的示例视频处理系统1700的框图。各种实施方式可以包括系统1700的一些或所有组件。系统1700可以包括用于接收视频内容的输入1702。视频内容可以以原始或未压缩格式接收，例如，8或10比特多分量像素值，或者可以是压缩或编码格式。输入1702可以代表网络接口、外围总线接口或存储接口。网络接口的示例包括有线接口(诸如以太网、无源光网络(passive optical network，PON)等)和无线接口(诸如Wi-Fi或蜂窝接口)。

系统1700可以包括可以实施本文档中描述的各种编解码或编码方法的编解码组件1704。编解码组件1704可以将来自输入1702的视频的平均比特率减小到编解码组件1704的输出，以产生视频的编解码表示。编解码技术因此有时被称为视频压缩或视频转码技术。编解码组件1704的输出可以被存储，或者经由如由组件1706表示的连接的通信而发送。在输入1702处接收的视频的存储或通信传送的比特流(或编解码)表示可以由组件1708用于生成像素值或被发送到显示接口1710的可显示视频。从比特流表示生成用户可视视频的过程有时被称为视频解压缩。此外，虽然某些视频处理操作被称为“编解码”操作或工具，但是应当理解，编解码工具或操作在编码器处使用，并且将由解码器执行反转编解码结果的对应的解码工具或操作。

外围总线接口或显示接口的示例可以包括通用串行总线(universal serialbus，USB)或高清多媒体接口(high definition multimedia interface，HDMI)或显示端口等。存储接口的示例包括SATA(serial advanced technology attachmen，串行高级技术附件)、PCI、IDE接口等。本文档中描述的技术可以体现在各种电子设备中，诸如移动电话、膝上型电脑、智能手机或能够执行数字数据处理和/或视频显示的其他设备。

应当理解，所公开的技术可以体现在视频编码器或解码器中，以在被压缩的编解码单元具有与传统方形块或半方形的矩形块显著不同的形状时提高压缩效率。例如，使用长或高编解码单元(诸如4×32或32×4尺寸单元)的新编解码工具可以受益于所公开的技术。

在一些实施方式中，一种视频处理的方法可以如下执行：

在视频块和视频块的比特流表示之间的转换期间，使用用于计算空域梯度和时域梯度的滤波方法，以及

使用该滤波执行该转换。

这里，转换包括从视频块的像素值生成比特流表示或者从比特流表示生成像素值。

在一些实施例中，空域梯度和时域梯度使用移位的样点差来计算。

在一些实施例中，空域梯度和时域梯度使用修改的样点来计算。

在第4节中讨论的第1项中提供了该方法的附加细节。

图18是视频处理方法的示例的流程图。在本文档的第4节的示例2中讨论了该方法的步骤。该方法包括(在步骤1805处)执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定双向光流(BIO)技术或解码器侧运动矢量细化(DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且其中，确定使用BIO技术或DMVR技术是基于与当前块相关联的成本准则的。

图19是视频处理方法的示例的流程图。在本文档的第4节的示例3中讨论了该方法的步骤。该方法包括(在步骤1905处)执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定解码器侧运动矢量细化(DMVR)技术对当前块所进行的使用被启用还是禁用，并且其中，DMVR技术包括基于除了绝对差平均移除和(MRSAD)成本准则之外的成本准则来细化当前块的运动信息。

图20是视频处理方法的示例的流程图。在本文档的第4节的示例4中讨论了该方法的步骤。该方法包括(在步骤2005处)执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，当前块的转换包括确定双向光流(BIO)技术或解码器侧运动矢量细化(DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且其中，确定使用BIO技术或DMVR技术是基于计算与当前块相关联的一对参考块的平均值差超过阈值的。

图21是视频处理方法的示例的流程图。在本文档的第4节的示例6中讨论了该方法的步骤。该方法包括(在步骤2105处)修改第一参考块以生成第一修改参考块，并且修改第二参考块以生成第二修改参考块，其中，第一参考块和第二参考块两者都与可视媒体数据的当前块相关联。该方法还包括(在步骤2110处)确定第一修改参考块和第二修改参考块之间的差，该差包括以下中的一个或多个：绝对变换差和(SATD)、绝对变换差平均移除和(MRSATD)、平方误差和(SSE)、平方误差平均移除和(MRSSE)、平均值差或梯度值。该方法包括(在步骤2115处)执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括使用通过分别修改第一参考块和第二参考块而生成的第一修改参考块和第二修改参考块之间的差。

图22是视频处理方法的示例的流程图。在本文档的第4节的示例7中讨论了该方法的步骤。该方法包括(在步骤2205处)使用与可视媒体数据的当前块相关联的参考图片来确定时域梯度或修改的时域梯度，该时域梯度或修改的时域梯度指示参考图片之间的差。该方法包括(在步骤2210处)执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括部分地基于时域梯度或修改的时域梯度来使用双向光流(BIO)技术。

图23是视频处理方法的示例的流程图。在本文档的第4节的示例8中讨论了该方法的步骤。该方法包括(在步骤2305处)使用与第一视频块或其子块相关联的参考图片来确定第一时域梯度。该方法包括(在步骤2310处)使用与第二视频块或其子块相关联的参考图片来确定第二时域梯度。该方法包括(在步骤2315处)执行对第一时域梯度的修改和对第二时域梯度的修改，以生成修改的第一时域梯度和修改的第二时域梯度，其中，对与第一视频块相关联的第一时域梯度的修改不同于对与第二视频块相关联的第二时域梯度的修改。该方法包括(在步骤2320处)执行第一视频块和第二视频块到它们的对应编解码表示的转换。

图24是视频处理方法的示例的流程图。在本文档的第4节的示例9中讨论了该方法的步骤。该方法包括(在步骤2405处)修改与当前块相关联的第一帧间参考块和第二帧间参考块中的一个或两个。该方法包括(在步骤2410处)根据应用双向光流(BIO)技术，基于使用修改的第一帧间参考块和/或修改的第二帧间参考块中的一个或两个来确定与当前块相关联的空域梯度。该方法包括(在步骤2415处)执行当前块和对应编解码表示之间的转换，其中，该转换包括使用与当前块相关联的空域梯度。

图25是视频处理方法的示例的流程图。在本文档的第4节的示例10中讨论了该方法的步骤。该方法包括(在步骤2505处)由处理器执行对在块级别信令通知的标志至少部分地指示要对当前块启用解码器侧运动矢量细化(DMVR)技术或双向光流(BIO)技术中的一种或两种的确定。该方法包括(在步骤2510处)执行当前块和对应编解码表示之间的转换，其中，编解码表示包括指示DMVR技术和/或BIO技术中的一种或两种是否被启用的标志。

图26是视频处理方法的示例的流程图。在本文档的第4节的示例11中讨论了该方法的步骤。该方法包括(在步骤2605处)由处理器执行对要对当前块启用解码器侧运动矢量细化(DMVR)技术的确定，其中，该确定排他地基于当前块的高度。该方法包括(在步骤2610处)执行当前块和对应编解码表示之间的转换。

图27是视频处理方法的示例的流程图。在本文档的第4节的示例12中讨论了该方法的步骤。该方法包括(在步骤2705处)执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括在当前块上使用与解码器侧运动矢量细化(DMVR)技术或双向光流(BIO)技术中的一种或两种相关联的规则，其中，与DMVR技术相关联的规则与BIO技术的应用一致，并且其中，确定BIO技术或DMVR技术中的一种或两种在当前块上的使用被启用还是禁用是基于应用该规则的。

以基于条款的格式讨论了本技术的一些实施例。

1.一种可视媒体处理的方法，包括：

执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，

其中，当前块的转换包括确定双向光流(BIO)技术或解码器侧运动矢量细化(DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且

其中，确定使用BIO技术或DMVR技术是基于与当前块相关联的成本准则的。

2.根据条款1所述的方法，其中，成本准则基于以下中的一个或多个：绝对变换差和(SATD)、绝对变换差平均移除和(MRSATD)、平方误差和(SSE)、平方误差平均移除和(MRSSE)、平均值差或梯度值。

3.根据条款1-2中任一项或多项所述的方法，其中，成本准则与当前块的子块相关联。

4.根据条款3所述的方法，其中，子块级别成本准则不同于块级别成本准则。

5.根据条款1-4中任一项或多项所述的方法，还包括：

在确定梯度值、梯度值的平均值或梯度值的范围中的一个或多个在阈值范围之外时，禁用对BIO技术和/或DMVR技术的应用。

6.根据条款1所述的方法，其中，与当前块相关联的成本准则在编解码表示中信令通知。

7.根据条款6所述的方法，其中，成本准则在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、片组头或条带头中信令通知。

8.一种可视媒体处理的方法，包括：

执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，

其中，当前块的转换包括确定解码器侧运动矢量细化(DMVR)技术对当前块所进行的使用被启用还是禁用，并且

其中，DMVR技术包括基于除了绝对差平均移除和(MRSAD)成本准则之外的成本准则来细化当前块的运动信息。

9.根据条款8所述的方法，其中，与当前块相关联的成本准则基于以下中的一个或多个：绝对变换差和(SATD)、绝对变换差平均移除和(MRSATD)、平方误差和(SSE)或平方误差平均移除和(MRSSE)。

10.根据条款8-9中任一项或多项所述的方法，其中，成本准则与当前块的子块相关联。

11.根据条款10所述的方法，还包括：

将当前块划分为尺寸为M×N的多个子块，其中，成本准则基于与多个子块中的每一个相关联的运动信息；以及

生成对应于多个子块中的每一个的成本。

12.根据条款11所述的方法，还包括：

对对应于多个子块中的每一个的成本的至少一个子集求和，以生成与当前块相关联的结果成本。

13.一种可视媒体处理的方法，包括：

执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，

其中，当前块的转换包括确定双向光流(BIO)技术或解码器侧运动矢量细化(DMVR)技术中的一种或两种对当前块所进行的使用被启用还是禁用，并且

其中，确定使用BIO技术或DMVR技术是基于计算与当前块相关联的一对参考块的平均值差超过阈值的。

14.根据条款13所述的方法，其中，该阈值是第一阈值，还包括：

在确定与当前块的子块相关联的一对参考子块的平均值差超过第二阈值时，禁用对BIO技术和/或DMVR技术的应用。

15.根据条款14所述的方法，其中，第一阈值和/或第二阈值是预定义的数。

16.根据条款14所述的方法，其中，第一阈值和/或第二阈值基于当前块的维度。

17.一种可视媒体处理的方法，包括：

修改第一参考块以生成第一修改参考块，并且修改第二参考块以生成第二修改参考块，其中，第一参考块和第二参考块两者都与可视媒体数据的当前块相关联；

确定第一修改参考块和第二修改参考块之间的差，该差包括以下中的一个或多个：绝对变换差和(SATD)、绝对变换差平均移除和(MRSATD)、平方误差和(SSE)、平方误差平均移除和(MRSSE)、平均值差或梯度值；以及

执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括使用通过分别修改第一参考块和第二参考块而生成的第一修改参考块和第二修改参考块之间的差。

18.根据条款17所述的方法，其中，修改第一参考块和第二参考块包括：

基于包括在第一参考块中的样点值来计算第一算术均值，并且基于包括在第二参考块中的样点值来计算第二算术均值；

从包括在第一参考块中的样点减去第一算术均值，并且从包括在第二参考块中的样点减去第二算术均值。

19.根据条款18所述的方法，其中，第一算术均值和第二算术均值基于分别包括在第一参考块和第二参考块中的样点的子集。

20.根据条款17-19中任一项或多项所述的方法，其中，第一参考块和/或第二参考块是与当前块相关联的子块。

21.一种可视媒体处理的方法，包括：

使用与可视媒体数据的当前块相关联的参考图片来确定时域梯度或修改的时域梯度，该时域梯度或修改的时域梯度指示参考图片之间的差；以及

执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括部分地基于时域梯度或修改的时域梯度来使用双向光流(BIO)技术。

22.根据条款21所述的方法，还包括：

响应于确定时域梯度或修改的时域梯度小于或等于阈值，提前终止BIO技术。

23.根据条款22所述的方法，还包括：

基于用于计算时域梯度或修改的梯度的绝对和的样点的数量来调整阈值。

24.根据条款21-23中任一项或多项所述的方法，其中，该差与时域梯度的绝对和相关。

25.根据条款21-24中任一项或多项所述的方法，其中，参考图片之间的差对应于第一参考图片的第一部分和第二参考图片的第二部分之间的差。

26.根据条款21-25中任一项或多项所述的方法，其中，参考图片与当前块的子块相关联。

27.一种可视媒体处理的方法，包括：

使用与第一视频块或其子块相关联的参考图片来确定第一时域梯度；

使用与第二视频块或其子块相关联的参考图片来确定第二时域梯度；

执行对第一时域梯度的修改和对第二时域梯度的修改，以生成修改的第一时域梯度和修改的第二时域梯度，其中，对与第一视频块相关联的第一时域梯度的修改不同于对与第二视频块相关联的第二时域梯度的修改；以及

执行第一视频块和第二视频块到它们的对应编解码表示的转换。

28.根据条款27所述的方法，其中，对第一时域梯度的修改和/或对第二时域梯度的修改有条件地基于与第一视频块和/或第二视频块相关联的参考图片之间的绝对平均差大于阈值。

29.根据条款28所述的方法，其中，该阈值是4。

30.根据条款27所述的方法，其中，对第一时域梯度的修改和/或对第二时域梯度的修改有条件地基于与第一视频块和/或第二视频块相关联的参考图片之间的绝对平均差小于阈值。

31.根据条款30所述的方法，其中，该阈值是20。

32.根据条款27所述的方法，其中，对第一时域梯度的修改和/或对第二时域梯度的修改有条件地基于与第一视频块和/或第二视频块相关联的参考图片之间的绝对平均差在阈值范围内。

33.根据条款27-32中任一项所述的方法，还包括：

基于与第一视频块和/或第二视频块相关联的参考图片之间的绝对平均差大于阈值，禁用双向光流(BIO)技术在第一视频块和/或第二视频块上的使用。

34.根据条款27-33中任一项或多项所述的方法，其中，阈值或阈值范围是以与第一视频块和/或第二视频块相关联的VPS、SPS、PPS、图片、条带或片级别指示的。

35.根据条款27-33中任一项或多项所述的方法，其中，阈值或阈值范围是隐式预定义的参数。

36.根据条款27-33中任一项或多项所述的方法，其中，对于与第一视频块和/或第二视频块相关联的不同的编解码单元(CU)、最大编解码单元(LCU)、条带、片或图片，阈值或阈值范围是不同的。

37.根据条款27-33中任一项或多项所述的方法，其中，阈值或阈值范围基于与第一视频块和/或第二视频块相关联的解码或编码的像素值。

38.根据条款27-33中任一项或多项所述的方法，其中，第一参考图片集合的阈值或阈值范围不同于第二参考图片集合的阈值或阈值范围。

39.根据条款27所述的方法，其中，对第一时域梯度的修改和/或对第二时域梯度的修改有条件地基于与第一视频块和/或第二视频块相关联的参考图片的绝对均值大于阈值。

40.根据条款39所述的方法，其中，该阈值是40。

41.根据条款27所述的方法，其中，对第一时域梯度的修改和/或对第二时域梯度的修改有条件地基于与第一视频块和/或第二视频块相关联的参考图片的绝对均值小于阈值。

42.根据条款41所述的方法，其中，该阈值是100。

43.根据条款27所述的方法，其中，对第一时域梯度的修改和/或对第二时域梯度的修改有条件地基于与第一视频块和/或第二视频块相关联的参考图片的绝对均值在阈值范围内。

44.根据条款27所述的方法，其中，对第一时域梯度的修改和/或对第二时域梯度的修改有条件地基于与第一视频块和/或第二视频块相关联的参考图片的绝对均值大于与第一视频块和/或第二视频块相关联的参考图片的绝对平均差乘以乘法因子。

45.根据条款27所述的方法，其中，对第一时域梯度的修改和/或对第二时域梯度的修改有条件地基于与第一视频块和/或第二视频块相关联的参考图片的绝对均值小于与第一视频块和/或第二视频块相关联的参考图片的绝对平均差乘以乘法因子。

46.根据条款44-45中任一项或多项所述的方法，其中，乘法因子是4.5。

47.一种可视媒体处理的方法，包括：

修改与当前块相关联的第一帧间参考块和第二帧间参考块中的一个或两个；

根据应用双向光流(BIO)技术，基于使用修改的第一帧间参考块和/或修改的第二帧间参考块中的一个或两个来确定与当前块相关联的空域梯度；以及

执行当前块和对应编解码表示之间的转换，其中，该转换包括使用与当前块相关联的空域梯度。

48.根据条款47所述的方法，其中，确定空域梯度包括：

基于与当前块相关联的帧内预测块和帧间预测块的加权平均来生成两个预测块；以及

使用两个预测块用于确定与当前块相关联的空域梯度。

49.根据条款48所述的方法，还包括：

使用BIO技术从两个预测块生成细化预测块；以及

使用细化预测块用于预测当前块的子块和/或样点。

50.一种可视媒体处理的方法，包括：

由处理器执行对在块级别信令通知的标志至少部分地指示要对当前块启用解码器侧运动矢量细化(DMVR)技术或双向光流(BIO)技术中的一种或两种的确定；以及

执行当前块和对应编解码表示之间的转换，其中，编解码表示包括指示DMVR技术和/或BIO技术中的一种或两种是否被启用的标志。

51.根据条款50所述的方法，其中，响应于检测到对当前块启用了高级运动矢量预测(AMVP)技术，在编解码表示中信令通知该标志。

52.根据条款50所述的方法，其中，响应于检测到对当前块启用了Merge模式，从与当前块相关联的空域邻近块或时域邻近块中的一种或两种推导该标志。

53.根据条款52所述的方法，其中，如果所选择的Merge候选是空域Merge候选，则从所选择的Merge候选继承该标志。

54.根据条款52所述的方法，其中，如果所选择的Merge候选是时域Merge候选，则从所选择的Merge候选继承该标志。

55.根据条款50所述的方法，其中，与当前块相关联的成本准则用于确定DMVR技术和/或BIO技术中的一种或两种是否被启用，并且在编解码表示中信令通知的标志用于指示这样的确定是否正确。

56.根据条款55所述的方法，其中，与当前块相关联的成本准则是当前块的两个参考块之间的绝对差和(SAD)，并且其中，当成本准则大于阈值时，对DMVR技术和/或BIO技术中的一种或两种被启用的确定适用。

57.根据条款50所述的方法，还包括：

在确定当前块是单向预测块时，跳过在编解码表示中信令通知该标志。

58.根据条款50所述的方法，还包括：

在确定当前块是与一对参考图片相关联的双向预测块时，跳过在编解码表示中信令通知该标志，其中该一对参考图片在显示顺序上都是在前的或在后的。

59.根据条款50所述的方法，还包括：

在确定当前块是与一对参考图片相关联的双向预测块时，跳过在编解码表示中信令通知该标志，其中该一对参考图片具有不同于与当前块相关联的当前图片的图片顺序计数(POC)距离。

60.根据条款50所述的方法，还包括：

在确定当前块是帧内编解码块时，跳过在编解码表示中信令通知该标志。

61.根据条款50所述的方法，还包括：

在确定当前块是混合帧内和帧间预测块时，跳过在编解码表示中信令通知该标志。

62.根据条款50所述的方法，还包括：

在确定当前块与图片中的与参考块相同的至少一个块相关联时，跳过在编解码表示中信令通知该标志。

63.根据条款50所述的方法，还包括：

在确定当前块的维度小于阈值时，跳过在编解码表示中信令通知该标志。

64.根据条款50所述的方法，还包括：

在确定当前块的维度大于或等于阈值时，跳过在编解码表示中信令通知该标志。

65.根据条款50所述的方法，还包括：

在确定与当前块相关联的运动信息的精度是整数精度时，跳过在编解码表示中信令通知该标志。

66.根据条款50所述的方法，还包括：

在确定与包含当前块的图片相关联的时域层超过阈值时，跳过在编解码表示中信令通知该标志。

67.根据条款50所述的方法，还包括：

在确定与当前块相关联的量化参数超过阈值时，跳过在编解码表示中信令通知该标志。

68.根据条款50-67中任一项或多项所述的方法，还包括：

响应于确定跳过了在编解码表示中信令通知该标志，将标志的值推导为布尔(Boolean)真或假。

69.根据条款50-67中任一项或多项所述的方法，还包括：

在确定标志是布尔真时，启用DMVR技术或BIO技术中的一种或两种。

70.根据条款50-67中任一项或多项所述的方法，还包括：

在确定标志是布尔假时，禁用DMVR技术或BIO技术中的一种或两种。

71.根据条款50-67中任一项或多项所述的方法，还包括：

在确定标志是布尔真时，基于至少一个成本准则对启用或禁用DMVR技术或BIO技术中的一种或两种的确定被确定为正确。

72.根据条款50-67中任一项或多项所述的方法，还包括：

在确定标志是布尔假时，基于至少一个成本准则对启用或禁用DMVR技术或BIO技术中的一种或两种的确定被确定为不正确。

73.根据条款50-67中任一项或多项所述的方法，其中，标志是在条带头、片头、视频参数集(VPS)、序列参数集(SPS)或图片参数集(PPS)中信令通知的。

74.根据条款50所述的方法，其中，第一标志被信令通知以指示DMVR技术是否被禁用，并且第二标志被信令通知以指示BIO技术是否被禁用。

75.根据条款64-74中任一项或多项所述的方法，还包括：

在确定对于DMVR技术的标志是布尔真时，对于条带、片、视频、序列或图片禁用DMVR技术。

76.根据条款64-74中任一项或多项所述的方法，还包括：

在确定对于DMVR技术的标志是布尔假时，对于条带、片、视频、序列或图片启用DMVR技术。

77.根据条款64-74中任一项或多项所述的方法，还包括：

在确定对于BIO技术的标志是布尔真时，对于条带、片、视频、序列或图片禁用BIO技术。

78.根据条款64-74中任一项或多项所述的方法，还包括：

在确定对于BIO技术的标志是布尔假时，对于条带、片、视频、序列或图片启用BIO技术。

79.一种可视媒体处理的方法，包括：

由处理器执行对要对当前块启用解码器侧运动矢量细化(DMVR)技术的确定，其中，该确定排他地基于当前块的高度；以及

执行当前块和对应编解码表示之间的转换。

80.根据条款79所述的方法，还包括：

响应于确定DMVR技术被启用，验证当前块的高度大于或超过阈值参数。

81.根据条款80所述的方法，其中，该阈值参数等于4。

82.根据条款80所述的方法，其中，该阈值参数等于8。

83.一种可视媒体处理的方法，包括：

执行可视媒体数据的当前块和可视媒体数据的对应编解码表示之间的转换，其中，该转换包括在当前块上使用与解码器侧运动矢量细化(DMVR)技术或双向光流(BIO)技术中的一种或两种相关联的规则，其中，与DMVR技术相关联的规则与BIO技术的应用一致；并且

其中，确定BIO技术或DMVR技术中的一种或两种被启用在当前块上的使用还是禁用是基于应用该规则。

84.根据条款83所述的方法，其中，确定DMVR技术是否被启用的规则与确定BIO技术是否被启用的规则相同。

85.根据条款84所述的方法，其中，确定BIO技术和/或DMVR技术是否被启用的规则指定验证当前块的高度大于或等于阈值。

86.根据条款84所述的方法，其中，确定BIO技术和/或DMVR技术是否被启用的规则指定验证当前块的宽度和高度都大于或等于阈值。

87.根据条款85或86中任一项或多项所述的方法，其中，该阈值是4或8。

88.根据条款84所述的方法，其中，确定BIO技术和/或DMVR技术是否被启用的规则指定验证当前块的尺寸大于或等于阈值。

89.根据条款86所述的方法，其中，该阈值是64或128。

90.根据条款84所述的方法，其中，确定BIO技术和/或DMVR技术是否被启用的规则指定验证当前块不在CU级别权重双向预测(BCW)模式下被编解码，其中，不相等的权重用于来自两个参考列表的两个参考块。

91.根据条款84所述的方法，其中，确定BIO技术和/或DMVR技术是否被启用的规则指定验证当前块是与一对参考图片相关联的双向预测块，其中该一对参考图片具有与与当前块相关联的当前图片相同的图片顺序计数(POC)距离。

92.根据条款91所述的方法，其中，一对参考图片包括与当前块相关联的当前图片在显示顺序上的在前图片和在后图片。

93.一种视频解码装置，包括处理器，其中该处理器被配置为实施条款1至92中的一项或多项所述的方法。

94.一种视频编码装置，包括处理器，其中该处理器被配置为实施条款1至92中的一项或多项所述的方法。

95.一种其上存储有计算机代码的计算机程序产品，该代码在由处理器执行时使得处理器实施条款1至92中任一项所述的方法。

96.一种本文档中描述的方法、装置或系统。

本文档中描述的所公开的和其它方案、示例、实施例、模块和功能操作可以在数字电子电路中实施，或者在计算机软件、固件或硬件中实施，包括本文档中公开的结构及其结构等同物，或者在它们中的一个或多个的组合中实施。所公开的和其它实施例可以实施为一个或多个计算机程序产品，即编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基底、存储器设备、实现机器可读传播信号的物质组合，或者它们中的一个或多个的组合。术语“数据处理装置”涵盖用于处理数据的所有装置、设备和机器，例如，包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电信号、光信号或电磁信号，其被生成来编码信息以传输到合适的接收器装置。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程或适合在计算环境中使用的其它单元。计算机程序不一定对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协调文件中(例如，存储一个或多个模块、子程序或部分代码的文件)。计算机程序可以被部署为在位于一个站点或分布在多个站点并通过通信网络互连的一个或多个计算机上执行。

本文档中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，该处理器运行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以实施为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用和专用微处理器，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如，磁盘、磁光盘或光盘，或者被可操作地耦合以从一个或多个大容量存储设备接收数据或向其传送数据或两者兼有。然而，计算机不需要这样的设备。适于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，例如，包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充或并入专用逻辑电路。

虽然本专利文档包含许多细节，但这些不应被解释为对任何主题或所要求保护的范围的限制，而是对特定技术的特定实施例所特有的特征的描述。本专利文档中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合实施。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中单独或以任何合适的子组合来实施。此外，尽管上述特征可以被描述为以某些组合起作用，甚至最初被要求这样来保护，但是在某些情况下，可以从所要求保护的组合中删除该组合中的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，尽管在附图中以特定顺序描述了操作，但这不应理解为要求以所示的特定顺序或顺序地执行这些操作，或者要求执行所有所示的操作，以获得期望的结果。此外，在本专利文档中描述的实施例中的各种系统组件的分离不应该理解为在所有实施例中都需要这种分离。

仅描述了几个实施方式和示例，并且可以基于本专利文档中描述和图示的内容进行其它实施、增强和变化。