用于视频编码帧间预测的分像素运动估计方法及装置

技术领域

本发明涉及视频编码领域，尤其涉及一种用于视频编码帧间预测的分像素运动估计方法及装置。

背景技术

运动估计(Motion estimation，ME)是视频编码的帧间预测过程中的一个重要过程。ME通过在参考帧上搜索当前预测单元(Prediction unit，PU)的最优搜索点(Searchpoint，SP)，从而获取通过当前预测单元及其在参考帧对应位置的差别即运动矢量(MotionVector，MV)。通常情况下，ME可以分为整像素运动估计(Integer pixel motionestimation，IME)和分像素运动估计(Fractional pixel motion estimation，FME)。IME过程用于基于当前帧的当前预测单元，对当前预测单元在参考帧对应的预测块中的整像素点进行运动估计，FME过程则基于IME过程确定的预测块中的整像素点，需要经过插值、求绝对变换误差之和(Sum of absolute transformed difference,SATD)以求解率失真代价函数，对当前预测单元在参考帧对应的预测块中分像素点进行分像素运动估计。

但是，由于插值以及求解率失真代价函数的过程较为复杂，因此，现有技术中通常采用误差曲面完全消除插值，误差曲面通过多项式对SP到误差曲面的率失真代价的映射进行建模，并且可以直接获得最佳SP。具体地，可以结合记录在IME的最佳SP及其其周围的多个整数像素点的率失真代价值进行确定误差曲面以及分像素点对应的率失真函数。虽然该方法一定程度上可以减少FME计算过程的复杂度，但是在当前帧的图像内容与参考帧的内容相比具有复杂运动的情况下，容易出现对FME运动矢量的估计的准确率较低的情况。

发明内容

本发明提供一种用于视频编码帧间预测的分像素运动估计方法及装置，用以实现在帧与帧的图像像素点发生较复杂的运动变化情况下，也可以构建较为准确的误差曲面，使当前预测单元对应的原始图像块与预测块之间的相似度较高，从而提高了分像素运动估计的准确性。

本发明提供一种用于视频编码帧间预测的分像素运动估计方法，包括：确定当前预测单元对应的预测块，并将当前预测单元对应的预测块划分为多个子预测块；针对每个子预测块，确定对应的最优子率失真代价值，以及对应的子率失真代价值集；所述最优子率失真代价值为最优整像素子运动矢量对应的率失真代价值；所述子率失真代价值集为最优整像素搜索点周围的多个整像素搜索点对应的子率失真代价值的集合；所述最优整像素搜索点为所述最优整像素子运动矢量对应的搜索点；基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的误差曲面；对多个子预测块的误差曲面求和，得到预测块的混合误差曲面，并基于所述混合误差曲面进行分像素运动估计。

在其中一个实施例中，所述混合误差曲面的公式为：

在其中一个实施例中，所述基于所述混合误差曲面进行分像素运动估计，包括：通过求解所述D

在其中一个实施例中，在M为5时，所述分像素运动矢量的表达式为：

在其中一个实施例中，所述确定当前预测单元对应的预测块，并将当前预测单元对应的预测块划分为多个子预测块，包括：基于整像素运动估计过程确定候选整像素运动矢量；基于所述候选整像素运动矢量，确定当前预测单元在参考帧中对应的预设大小的预测块；将预设大小的预测块分为N个大小为4x4的子预测块，N表示子预测块的个数。

在其中一个实施例中，所述针对每个子预测块，确定对应的最优子率失真代价值，以及对应的子率失真代价值集，包括：针对每个子预测块，计算每个子预测块对应的最优整像素子运动矢量以及最优子率失真代价值；针对每个子预测块，基于最优整像素子运动矢量，确定最优整像素子运动矢量对应的最优整像素搜索点，以及所述最优整像素搜索点周围的多个整像素搜索点；并基于多个整像素搜索点确定对应的子率失真代价值集。

在其中一个实施例中，所述基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的误差曲面，包括：基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的多项式的参数，基于多项式的参数确定各子预测块的误差曲面。

本发明还提供一种用于视频编码帧间预测的分像素运动估计装置，包括：第一确定模块，用于确定当前预测单元对应的预测块，并将当前预测单元对应的预测块划分为多个子预测块；第二确定模块，用于针对每个子预测块，确定对应的最优子率失真代价值，以及对应的子率失真代价值集；所述最优子率失真代价值为最优整像素子运动矢量对应的率失真代价值；所述子率失真代价值集为最优整像素搜索点周围的多个整像素搜索点对应的子率失真代价值的集合；所述最优整像素搜索点为所述最优整像素子运动矢量对应的搜索点；第三确定模块，用于基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的误差曲面；处理模块，用于对多个子预测块的误差曲面求和，得到预测块的混合误差曲面，并基于所述混合误差曲面进行分像素运动估计。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用于视频编码帧间预测的分像素运动估计方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用于视频编码帧间预测的分像素运动估计方法的步骤。

本发明提供的用于视频编码帧间预测的分像素运动估计方法及装置，通过将用于当前预测单元对应的预测块划分为多个子预测块，并基于每个子预测块的率失真代价值以及对应的子率失真代价值集，确定各子预测块分别对应的误差曲面，并对多个子预测块的误差曲面求和，从而得到了当前预测单元对应的预测块对应的混合误差曲面，从而可以基于该预测块对应的混合误差曲面，进行分像素运动估计。该方法采用对多个子预测块的误差曲面求和，从而得到了预测块的混合误差曲面，在增加较少复杂度的同时，由于是将针对预测块划分为多个子预测块，从而考虑了更多细节，因此，即使在帧与帧的图像像素点发生较复杂的运动变化情况下，也可以构建较为准确的误差曲面，使当前预测单元对应的原始图像块与预测块之间的相似度较高，从而提高了分像素运动估计的准确性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是分像素运动估计时对应的整像素和分像素的的关系示意图；

图2是本发明提供的用于分像素运动估计的整像素对应的SP和分像素对应的SP的关系示意图；

图3A是本发明提供的所有分像素SP的计算成本绘制的真实误差曲面的示意图；

图3B是本发明提供的基于现有9参数多项式的D

图3C是本发明提供的基于现有5参数多项式的D

图3D是基于本发明提供的用于视频编码帧间预测的分像素运动估计方法确定的混合误差曲面的示意图；

图4是本发明提供的用于视频编码帧间预测的分像素运动估计方法的流程示意图；

图5是本发明提供的用于视频编码帧间预测的分像素运动估计装置的结构示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解，首先对本发明的发明构思进行解释。

ME是广泛应用于主流编码器中的一个非常重要的编码工具，其已经被证明在消除帧间冗余上具有较高的有效性。ME通过在参考帧上搜索当前PU的最优搜索点SP，从而获取通过当前预测单元及其在参考帧对应位置的差别，即运动矢量MV。ME可以进一步分为整像素运动估计IME和分像素运动估计FME。

具体地，ME的基本步骤可以分为四步。首先，通过某种和算法相关的方式，得到一个候选MV。其次，根据候选MV在参考帧上确定一个位置，从该位置处可以获得一个和当前PU大小相同的块，这个块称为预测块。构造预测块的过程也叫运动补偿(MotionCompensation，MC)。然后，计算预测块和当前PU的失真D(即预测块和当前PU之间的不相似程度)，并计算编码当前候选MV所需要的码率R，从而得到率失真代价(Rate distortionCost，RD cost)：D+λR(MV)，其中，λ为于量化系数相关的拉格朗日乘子。最后，保留和记录最优的运动矢量和其对应的RD cost。

IME通过在一个预先定义好的搜索范围，即搜索窗内的整像素间进行搜索最优MV。为了获取较为精准的搜索结果，往往需要搜索窗尽可能的大。IME中MC过程因为可以直接从参考帧中复制对应的整像素点的像素值，其中的失真D也是较为简单的绝对误差之和(Sumof absolute difference，SAD)，因此其对应的复杂度并不高。FME在IME产生的整像素MV周围，在分像素精度中进行搜索，从而将MV精细化到分像素运动矢量。对于FME，搜索范围和SP都是有限的。然而，计算分像素对应的SP的成本更为复杂。首先，预测块中的每个分像素都是需要通过基于整像素插值计算得到的。具体地，每一个分像素都需要使用8抽头滤波器计算得出，每一个分数像素最多需要16个整像素得到。如图1所示，灰色的为需要进行插值的分像素，黑色为对其进行插值计算所需要的真实存在的整像素，白色为周围的1/4精度的分像素。其次，其失真D则应用更复杂的绝对变换误差之和(Sum of absolute transformeddifference，SATD)计算。绝对变换误差之和中还包含一个额外的Hadamard变换，这对FME的结果有至关重要的影响。插值和SATD的计算，往往占用了FME中的绝大部分复杂度。

因此，虽然FME的SP一般已经大大少于IME，尽管有些工作仍然尝试减少SP，但大多数工作都尝试减少插值的复杂性。通常情况下可以通过采用误差曲面完全消除插值。误差曲面通过多项式对SP到误差曲面的失真的映射进行建模，并且可以直接获得最佳SP。其中较为简单的为五参数的模型，其形式如下，

D

其中，a、b、c、d和e表示未知参数，D

a＝p0，b＝p5-p4，c＝p7-p2，

d＝(p5+p4-2p0)÷2，e＝(p7+p2-2p0)÷2

然而，对于复杂的运动，性能较差。因此，提出了许多更高阶的模型。其中9参数模型的阶数和精度最高。其设立如下：

D

其中f到i表示高阶项的额外参数。然后，利用从p0到p8的所有成本来估计额外参数：

f＝(p8+p1-p6-p3)÷4,

g＝(2p2-2p7+p8+p6-p1-p3)÷4,

h＝(2p3-2p6+p8+p4-p1-p5)÷4,

i＝(4p0-2p4-2p5-2p2-2p7+p3+p6+p1+p8)÷4。

利用误差曲面推导FMV的典型过程包括两个步骤。首先，使用IME中的已知成本来估计上述多项式中的参数。然后，获得表面最小值点处的FMV。×4或÷4的运算通过左移或右移进行，以避免浮点计算。在误差曲面模型的研究中，有两个观察结果值得一提。首先，可以通过引入高阶项来提高准确性。其次，利用误差曲面推导FMV的典型过程只能在IME覆盖最佳SP周围的四个或八个SP时应用。因此，它通常与完整搜索IME一起应用。

但现有模型在某些极端情况下往往会失败。首先，在3A至图3D中给出一个极端情况的示例。图3A是根据所有分像素SP的计算成本绘制的真实误差曲面。图3B是D

结合图3A至图3D，本发明的用于视频编码帧间预测的分像素运动估计方法直接消除了原本FME中复杂的插值和SATD计算过程，大幅降低了FME的复杂度。同时，解决了传统的误差平面模型在复杂运动的情况下，具有较大的不准确性的问题，其准确度大于当前从最简单的5参数到最复杂的9参数的误差平面模型模型。且其所需子块数据和最终FMV的计算过程，均仅仅增加较少的复杂度。

下面结合附图描述本发明的用于视频编码帧间预测的分像素运动估计方法及装置。

图4为本发明提供的用于视频编码帧间预测的分像素运动估计方法的流程示意图。可以理解，所述用于视频编码帧间预测的分像素运动估计方法可以由用于视频编码帧间预测的分像素运动估计装置执行，如图4所示，所述方法包括以下步骤：

步骤410，确定当前预测单元对应的预测块，并将当前预测单元对应的预测块划分为多个子预测块。

其中，当前预测单元为当前帧中待编码的图像块，当前预测单元对应的预测块可以为当前预测单元的候选整像素MV在参考帧中对应的预测块。

具体地，该步骤可以包括：基于整像素运动估计过程确定候选整像素运动矢量；基于所述候选整像素运动矢量，确定当前预测单元在参考帧中对应的预设大小的预测块；将预设大小的预测块分为N个大小为4x4的子预测块，N表示子预测块的个数。

可以理解，如前所述，现有技术中通常基于当前预测单元对应的预测块的整像素的率失真代价值，确定当前预测单元和预测块的误差曲面，并基于误差曲面进行分像素运动估计，但是由于在视频中的帧图像包含复杂运动内容的情况下，基于现有技术构建的误差曲面与真实的误差曲面具有较大偏差，因此，为能够在视频中的帧图像包含负责运动内容的情况下，在增加较少复杂度的基础上，使构建的误差曲面更接近真实的误差曲面，本发明将预测块划分为多个子预测块，以基于多个子预测块更加准确的构建预测块对应的误差曲面，以便后续基于构建的预测块对应的误差曲面进行当前预测单元的分像素运动估计。

步骤420，针对每个子预测块，确定对应的最优子率失真代价值，以及对应的子率失真代价值集。

其中，所述最优子率失真代价值为最优整像素子运动矢量对应的率失真代价值；子率失真代价值集为最优整像素搜索点周围的多个整像素搜索点对应的子率失真代价值的集合；所述最优整像素搜索点为所述最优整像素子运动矢量对应的搜索点。

其中，最优整像素搜索点为每个子预测块对应的最优整像素子运动矢量对应的最优整像素搜索点。最优整像素搜索点周围的多个整像素搜索点可以参考图2，为了简洁，此处不再赘述。

其中，每个子预测块对应的最优整像素搜索点对应的率失真代价对应的公式可以为

在其中一个实施例中，上述步骤420可以包括以下步骤：针对每个子预测块，计算每个子预测块对应的最优整像素子运动矢量以及最优子率失真代价值；针对每个子预测块，基于最优整像素子运动矢量，确定最优整像素子运动矢量对应的最优整像素搜索点，以及所述最优整像素搜索点周围的多个整像素搜索点；并基于多个整像素搜索点确定对应的子率失真代价值集。

步骤430，基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的误差曲面。

在其中一个实施例中，所述该步骤430包括：

基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的多项式的参数，基于多项式的参数确定各子预测块的误差曲面。

具体地，可以将各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集分别，代入前文提到的5阶多项式或9阶多项式中的参数公式，以确定多项式中的参数，从而确定各子预测块的误差曲面

步骤440，对多个子预测块的误差曲面求和，得到预测块的混合误差曲面，并基于所述混合误差曲面进行分像素运动估计。

其中，所述混合误差曲面的公式可以为：

可以理解，由于在IME中用于求解整像素运动矢量的RD cost中的SAD和λR都具有可加性，因此，预测块的SAD可由子预测块的SAD相加得到，同理，预测块的λR可由子预测块的λR相加得到。因此，对多个子预测块的误差曲面求和，得到预测块的混合误差曲面，并基于所述混合误差曲面进行分像素运动估计，并不会引入过多的复杂度，还能使构建的混合误差曲面更接近真实的误差曲面。

在其中一个实施例中，所述基于所述混合误差曲面进行分像素运动估计，包括：通过求解所述D

可以理解，M可以为5或9。由于在M为9时，D

其中，a

本发明提供的用于视频编码帧间预测的分像素运动估计方法，通过将用于当前预测单元对应的预测块划分为多个子预测块，并基于每个子预测块的率失真代价值以及对应的子率失真代价值集，确定各子预测块分别对应的误差曲面，并对多个子预测块的误差曲面求和，从而得到了当前预测单元对应的预测块对应的混合误差曲面，从而可以基于该预测块对应的混合误差曲面，进行分像素运动估计。该方法采用对多个子预测块的误差曲面求和，从而得到了预测块的混合误差曲面，在增加较少复杂度的同时，由于是将针对预测块划分为多个子预测块，从而考虑了更多细节，因此，即使在帧与帧的图像像素点发生较复杂的运动变化情况下，也可以构建较为准确的误差曲面，使当前预测单元对应的原始图像块与预测块之间的相似度较高，从而提高了分像素运动估计的准确性。

下面对本发明提供的用于视频编码帧间预测的分像素运动估计装置进行描述，下文描述的用于视频编码帧间预测的分像素运动估计装置与上文描述的用于视频编码帧间预测的分像素运动估计方法可相互对应参照。

图5是本发明提供的用于视频编码帧间预测的分像素运动估计装置的示意图，如图5所示，本发明实施例提供的用于视频编码帧间预测的分像素运动估计装置，包括：

第一确定模块510，用于确定当前预测单元对应的预测块，并将当前预测单元对应的预测块划分为多个子预测块；

第二确定模块520，用于针对每个子预测块，确定对应的最优子率失真代价值，以及对应的子率失真代价值集；所述最优子率失真代价值为最优整像素子运动矢量对应的率失真代价值；所述子率失真代价值集为最优整像素搜索点周围的多个整像素搜索点对应的子率失真代价值的集合；所述最优整像素搜索点为所述最优整像素子运动矢量对应的搜索点；

第三确定模块530，用于基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的误差曲面；

处理模块540，用于对多个子预测块的误差曲面求和，得到预测块的混合误差曲面，并基于所述混合误差曲面进行分像素运动估计。

本发明提供的用于视频编码帧间预测的分像素运动估计装置，通过将用于当前预测单元对应的预测块划分为多个子预测块，并基于每个子预测块的率失真代价值以及对应的子率失真代价值集，确定各子预测块分别对应的误差曲面，并对多个子预测块的误差曲面求和，从而得到了当前预测单元对应的预测块对应的混合误差曲面，从而可以基于该预测块对应的混合误差曲面，进行分像素运动估计。该方法采用对多个子预测块的误差曲面求和，从而得到了预测块的混合误差曲面，在增加较少复杂度的同时，由于是将针对预测块划分为多个子预测块，从而考虑了更多细节，因此，即使在帧与帧的图像像素点发生较复杂的运动变化情况下，也可以构建较为准确的误差曲面，使当前预测单元对应的原始图像块与预测块之间的相似度较高，从而提高了分像素运动估计的准确性。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行用于视频编码帧间预测的分像素运动估计方法，该方法包括：确定当前预测单元对应的预测块，并将当前预测单元对应的预测块划分为多个子预测块；针对每个子预测块，确定对应的最优子率失真代价值，以及对应的子率失真代价值集；所述最优子率失真代价值为最优整像素子运动矢量对应的率失真代价值；所述子率失真代价值集为最优整像素搜索点周围的多个整像素搜索点对应的子率失真代价值的集合；所述最优整像素搜索点为所述最优整像素子运动矢量对应的搜索点；基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的误差曲面；对多个子预测块的误差曲面求和，得到预测块的混合误差曲面，并基于所述混合误差曲面进行分像素运动估计。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-only memory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行本发明提供的用于视频编码帧间预测的分像素运动估计方法，该方法包括：确定当前预测单元对应的预测块，并将当前预测单元对应的预测块划分为多个子预测块；针对每个子预测块，确定对应的最优子率失真代价值，以及对应的子率失真代价值集；所述最优子率失真代价值为最优整像素子运动矢量对应的率失真代价值；所述子率失真代价值集为最优整像素搜索点周围的多个整像素搜索点对应的子率失真代价值的集合；所述最优整像素搜索点为所述最优整像素子运动矢量对应的搜索点；基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的误差曲面；对多个子预测块的误差曲面求和，得到预测块的混合误差曲面，并基于所述混合误差曲面进行分像素运动估计。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行本发明提供的用于视频编码帧间预测的分像素运动估计方法，该方法包括：确定当前预测单元对应的预测块，并将当前预测单元对应的预测块划分为多个子预测块；针对每个子预测块，确定对应的最优子率失真代价值，以及对应的子率失真代价值集；所述最优子率失真代价值为最优整像素子运动矢量对应的率失真代价值；所述子率失真代价值集为最优整像素搜索点周围的多个整像素搜索点对应的子率失真代价值的集合；所述最优整像素搜索点为所述最优整像素子运动矢量对应的搜索点；基于各子预测块对应的最优子率失真代价值，以及各子预测块对应的子率失真代价值集，确定各子预测块的误差曲面；对多个子预测块的误差曲面求和，得到预测块的混合误差曲面，并基于所述混合误差曲面进行分像素运动估计。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

可以理解，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。