基于粒子滤波的帧间图像编码单元划分方法、装置及介质

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于粒子滤波的帧间图像编码单元划分方法、装置及介质。

背景技术

对于具有高视频同步性，以及高视频传输质量的应用来说，降低VVC（VersatileVideo Coding）的块大小和分区深度的复杂度是一种编码效率的优化策略，可以在一定程度上减少编码和解码过程的计算复杂性。这对于资源有限的设备（如嵌入式设备和移动设备）来说尤为重要，可以实现更高效的视频编解码。主要的方法分为3类：（1）调整块大小：VVC允许使用不同大小的块进行编码，例如4×4、8×8、16×16、32×32等。较小的块大小可以减少编码过程中的计算量，但同时可能会牺牲编码效率。选择合适的块大小需要权衡编码效率和计算复杂性。在资源有限的设备上，可以考虑使用较小的块大小，例如4×4或8×8，来降低计算复杂度。（2）减少分区深度：VVC允许对图像进行递归分割，形成更小的块，这称为分区深度。较深的分区深度会增加编码和解码的计算复杂性。在资源受限的情况下，可以考虑限制分区深度，避免过度细分块。（3）快速模式决策：在编码过程中，通常会进行多种模式的尝试，如预测模式、变换和量化模式等。采用快速模式决策算法，可以在保持一定编码效率的前提下，减少尝试的次数，从而降低计算复杂度。

上述方法和技术可以在一定程度上降低H.266/VVC帧间预测的计算复杂度。然而，需要权衡计算复杂度和视频质量之间的关系，以确保在降低复杂度的同时，仍能保持足够的编码效率和视频质量。

发明内容

为了规避计算复杂度与视频质量之间的考量，更高效的进行编码单元划分，本发明提出了一种基于粒子滤波的帧间图像编码单元划分方法，包括步骤：

S1：提取当前图像组帧内编码帧中各编码块的特征向量集，并根据对应编码块的划分模式进行分类；

S2：为每一类划分模式分类初始化一组数量一致，且初始化权重为平均值的随机采样粒子集；

S3：基于当前帧间图像的特征向量集和上一帧间图像的特征向量集，通过状态转移模型对粒子集进行更新并重采样；

S4：基于各划分模式重采样后的粒子集，选取最大权重粒子所对应的划分模式对当前帧间图像进行编码划分；

S5：判断当前图像组所有帧间图像是否完成编码划分，若是，进入并提取下一帧间图像的特征向量集返回S3步骤，否则，结束；

所述S1步骤中，特征向量集包括：率失真函数、编码深度、梯度信息、运动矢量、纹理复杂度；

所述状态转移模型将当前态特征向量集的改变转换为数据的改变，通过对数据改变的分析来预测未来态。

进一步地，所述S3步骤中，对粒子集的更新并重采样具体包括如下步骤：

S31：基于当前帧间图像的特征向量集和上一帧间图像的特征向量集，获取帧间图像间的状态转移概率；

S32：基于状态转移概率进行高维高斯分布下的似然函数获取；

S33：基于获取的似然函数进行粒子权重的获取和归一化处理；

S34：根据归一化后的粒子权重进行高维高斯分布的估计参数迭代更新。

进一步地，所述S31中，状态转移概率表示为如下公式：

式中，k表示为编码块序号的常数编号，

进一步地，所述S32步骤中，高维高斯分布下似然函数的计算表示为如下公式：

式中，i表示为迭代计数；

进一步地，所述S33步骤中，粒子权重的获取和归一化处理表示为如下公式：

式中，

本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述一种基于粒子滤波的帧间图像编码单元划分方法的步骤。

还包括一种处理数据的装置，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的计算机程序，以实现所述一种基于粒子滤波的帧间图像编码单元划分方法的步骤。

与现有技术相比，本发明至少含有以下有益效果：

本发明所述的一种基于粒子滤波的帧间图像编码单元划分方法、装置及介质，基于物体运动的连贯行特征，指出同一目标物在相邻帧间图像之间往往具有相似编码特性这一特点。基于这一特点，本发明提出通过粒子滤波进行图像块转移概率分析的方法，通过对具有相似特征向量之间的编码块进行运动分析，并结合帧内编码帧含有全部编码信息的特性，实现对编码块划分的判定分析，从而避免了计算复杂度与编码质量之间的平衡考量，在保证编码质量的同时也提高了编码效率。

附图说明

图1为一种基于粒子滤波的帧间图像编码单元划分方法的步骤图；

图2为第一粒子滤波简易示意图；

图3为第二粒子滤波简易示意图；

图4为第三粒子滤波简易示意图；

图5为第四粒子滤波简易示意图。

具体实施方式

以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。

H.266/VVC编码器的架构可以分为几个主要模块，每个模块负责不同的编码任务。一个典型的VVC编码器架构包含：（1）帧预处理：在这个模块中，视频序列的帧会经过预处理，包括去噪、滤波、去隔行等操作，以提高编码效率和视频质量。（2）运动估计与运动补偿：运动估计模块会分析当前帧和参考帧之间的运动信息，找出最佳的运动矢量，用于帧间预测。运动补偿则是将运动矢量应用于当前帧，生成预测帧。（3）帧间预测：在这个模块中，根据运动补偿的预测帧和原始当前帧之间的残差，生成帧间预测图像。（4）变换与量化：帧间预测图像会经过变换（如离散余弦变换，DCT）和量化，将其转换为频域表示，并进行量化以减少数据量。（5）帧内预测：帧内预测模块用于预测当前帧内的像素值，通过利用当前块的周围像素值，生成预测模式。（6）残差编码：经过帧内/帧间预测后，会产生残差数据，表示预测值与原始像素值之间的差异。残差数据将被编码并传输。（7）上下文建模与熵编码：编码器使用上下文建模来建立残差数据的概率模型，然后将其进行熵编码，以进一步压缩数据。（8）重建过程：在解码端，解码器将接收到的编码数据进行解码，重建出预测帧和残差图像。然后，对预测帧进行运动补偿和帧内预测，最终得到重建的视频帧。

不难看出，原始的VVC编码方式需要大量的计算以实现高质量的视频帧编码，这对于当下高实时性需求的编码任务来说显然是难以胜任的，为此，本发明提出了一种基于粒子滤波的帧间图像编码单元划分方法，该方法主要基于粒子滤波，动态地调整编码单元的大小和位置，以适应不同区域的运动和纹理复杂度，通过使用粒子滤波，可以在候选编码单元中搜索最优划分方式，从而降低H.266/VVC压缩计算复杂度，如图1所示，其主要包括如下步骤：

S1：提取当前图像组帧内编码帧中各编码块的特征向量集，并根据对应编码块的划分模式进行分类；

S2：为每一类划分模式分类初始化一组数量一致，且初始化权重为平均值的随机采样粒子集；

S3：基于当前帧间图像的特征向量集和上一帧间图像的特征向量集，通过状态转移模型对粒子集进行更新并重采样；

S4：基于各划分模式重采样后的粒子集，选取最大权重粒子所对应的划分模式对当前帧间图像进行编码划分；

S5：判断当前图像组所有帧间图像是否完成编码划分，若是，进入并提取下一帧间图像的特征向量集返回S3步骤，否则，结束。

细化地，在S3步骤中，对粒子集的更新并重采样具体包括如下步骤：

S31：基于当前帧间图像的特征向量集和上一帧间图像的特征向量集，获取帧间图像间的状态转移概率；

S32：基于状态转移概率进行高维高斯分布下的似然函数获取；

S33：基于获取的似然函数进行粒子权重的获取和归一化处理；

S34：根据归一化后的粒子权重进行高维高斯分布的估计参数迭代更新。

在对本发明方案进行详细解释之前，先简单了解一下粒子滤波。

假设现有情况我们想知道某个目标信息（比如定位信息），而我们此时可以得到的是关于我们想知道信息的测量信息（比如里程计和激光测量），那我们就需要知道测量信息与目标信息之间的关系。如图2所示，在一个峡湾，有一架飞行器，在这里我们，我们可以得到的测量信息有飞行器相对于海平面的海拔高度、相对于地面的距离以及含有高度信息的地图，所要求的目标信息为飞行器的位置，这一目标信息在黑夜或能见度低的情况下是极有必要的。

首先，在这张地图上产生大量的位置假设（对应N个粒子，也即是附图中的黑点），随机分布在整张地图上。结合当前可以得到的测量信息，可以在地图上找到若干符合测量信息的粒子。为了记录这些粒子的可能性，我们会为它分配一个数字，同时对于可能性更高的粒子我们也会分配更大的数字，这个数字也就是我们经常用到的权重信息（如图3所示，权重越大附图中的黑点越大）。

在权重信息的标识下，一些粒子显然比其它粒子更有可能性，那这些不太可能得粒子是没什么作用的，为了在后续分析的时候粒子耗尽，对这些低权重的粒子还要进行重采样操作。这也就意味着生成的N个粒子不再是随机覆盖整个地图，而是基于存在的粒子及其权重。

如图4所示，飞行器继续前进，我们让粒子也一起移动，对于每一个粒子，在飞行器可能得速度范围内选一个随机的数，然后以这个相关的“速度”把每一个粒子移到右边。这是，我们就可以用新的测量信息，也即是速度去更新权重，这样一来，可以发现某些粒子进一步比其它粒子具有更大的可能性，基于此再一次重采样。如图5所示，在基于各种测量信息不断地重采样后，随着飞行器的飞行，我们及时传播我们的粒子，最终获得飞行器的一个较为简单的运动模型。这就是本发明所用到粒子滤波的一个简单原理说明。

不难看出，粒子滤波是基于目标一些特定信息，根据时间上的相似性实现的运动估计。而这些特性信息在帧间图像之间表现的则是：率失真函数、编码深度、梯度信息、运动矢量、纹理复杂度。根据粒子滤波的原理，我们以目标图像组的帧内编码帧为初始信息源，并设采样粒子的数量为N，因为我们所要分析的是每个粒子归属于各划分模式的可能性，所以对每种划分模式均初始化一组随机采样的粒子

首先，我们需要基于当前帧间图像的特征向量集和上一帧间图像的特征向量集，获取帧间图像间的状态转移概率，表示为如下公式：

式中，

而后本发明选用高维高斯分布来计算似然函数，公式如下：

式中，i表示为迭代次数；

在这里，选高维高斯分布是因为其是多变量连续分布，可以适用于具有多个特征的高维数据。它能够灵活地建模数据中的相互关联和相关性，适用于各种不同的数据类型。更重要的是高维高斯分布的参数化表示使得模型更具可解释性。均值向量表示数据的中心位置，而协方差矩阵描述数据在各个维度上的变化和相关性。基于此，粒子集

对每种划分模式的粒子权重进行归一化，使得权重之和等于1，归一化方法为的权重：

式中，

当然，为了避免粒子的耗尽，最后还会根据粒子的权重

最后，根据各划分模式重采样后的粒子集，我们就可以选取最大权重粒子所对应的划分模式对当前帧间图像进行编码划分。

本发明还还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述一种基于粒子滤波的帧间图像编码单元划分方法的步骤。

还包括一种处理数据的装置，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的计算机程序，以实现所述一种基于粒子滤波的帧间图像编码单元划分方法的步骤。

综上所述，本发明所述的一种基于粒子滤波的帧间图像编码单元划分方法、装置及介质，基于物体运动的连贯行特征，指出同一目标物在相邻帧间图像之间往往具有相似编码特性这一特点。基于这一特点，本发明提出通过粒子滤波进行图像块转移概率分析的方法，通过对具有相似特征向量之间的编码块进行运动分析，并结合帧内编码帧含有全部编码信息的特性，实现对编码块划分的判定分析，从而避免了计算复杂度与编码质量之间的平衡考量，在保证编码质量的同时也提高了编码效率。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。