基于特征差异的VVC编码单元加速划分方法及存储介质

技术领域

本发明属于视频编码领域，更具体地说，一种多功能视频编码VVC(VersatileVideo Coding)中编码单元CU(Coding Unit)划分快速决策方法，可应用于实时性要求较高的视频编码场景中。

背景技术

为满足未来视频编码的应用需求，ITU-T和ISO两大视频编码国际组织组建联合视频专家小组共同开发出了新一代视频编码标准，并将其命名为通用视频编码。VVC第一版于2020年7月正式发布。

VVC标准仍采用混合编码框架，但引入了许多新的编码技术，如帧内编码模块中的帧内子块划分、矩阵加权预测、多参考行帧内预测等；帧间编码模块采用了带运动矢量差的merge模式、对称运动矢量差分编码、仿射运动补偿预测等。通过使用这些新的编码技术，相比上一代高效视频编码(High Efficiency Video Coding,HEVC)，VVC的编码性能提高了50％，但编码复杂度大幅度上升，在全帧内配置下就增加了18倍以上。VVC在CU划分过程中引入了多叉树(Multi-type Tree，MTT)划分结构，即在四叉树的基础上加入了水平二叉树、竖直二叉树、水平三叉树和竖直三叉树划分，以更灵活地适应视频不同纹理特征，提高编码效率，但也极大地增加了编码器的计算复杂度。这使得VVC的实际应用受到限制。因此，在不明显降低视频质量和效率的前提下，有效降低编码复杂度，是目前的研究热点。

目前，VVC采用了复杂的混合树划分结构，导致CU划分判决过程复杂，增加了视频的编码时间。如何在不影响VVC的编码效率情况下，找到一种快速CU划分判决的方法，是提高VVC编码速度的有效措施。本发明通过预先判断纹理复杂度，筛选部分不划分的编码单元；然后判断CU的纹理方向选择对应的划分模式，跳过水平/垂直方向多叉树的遍历过程；最后对二叉树划分和三叉树划分进行提前预测。采取以上方法，能大幅度减少划分模式选择候选数量，从而实现CU划分的快速决策，加快了编码器的编码速度。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于特征差异的VVC编码单元加速划分方法及存储介质。本发明的技术方案如下：

一种基于特征差异的VVC编码单元加速划分方法，其包括以下步骤：

101、获取多功能视频编码VVC的编码帧，读取编码帧中当前编码单元CU的划分深度，如果当前CU划分深度等于最大划分深度，停止划分，否则，进行步骤102；

102、读取当前CU每个像素点的亮度值，计算当前CU像素亮度值的均值；

103、利用当前CU像素亮度值的均值与每个像素亮度值之差，计算当前CU像素亮度值的标准差；

104、比较当前CU像素亮度值的标准差与阈值的大小，如果标准差小于阈值，停止当前CU的划分，否则，进入步骤105；

105、将当前CU按水平方向和垂直方向分别划分成4个面积相同的CU子块；

106、计算当前CU水平方向和垂直方向的信息熵；

107、计算当前CU水平方向和垂直方向的信息熵之差的绝对值；如果该绝对值大于阈值，选择信息熵小的方向作为该CU的方向划分模式，跳过另一个方向的多叉树划分过程，否则，按原平台方法进行水平/垂直方向划分模式的判断；进入步骤108；

108、以相邻CU子块之间的邻域差评估子块之间的纹理差异，若中间子块之间的邻域差大于边缘子块之间的邻域差，则跳过三叉树划分模式，否则，按原平台方法进行二叉树和三叉树划分模式的判断；

109、转到101步骤，进行下一编码单元划分。

进一步的，所述步骤102中，计算当前CU像素亮度值的均值，是利用公式(1)计算出当前CU像素亮度值的均值mean；

其中，p(i,j)表示(i,j)位置像素的亮度值；W和H分别表示CU的宽和高。

进一步的，所述步骤103中，利用当前CU像素亮度值的均值与每个像素亮度值之差，计算当前CU像素亮度值的标准差，是利用公式(2)计算出当前CU像素亮度值的标准差SD；

进一步的，所述步骤104中，比较当前CU像素亮度值的标准差与阈值的大小，经实验数据的统计和分析，这里的阈值TH0与视频编码器的量化步长QP相关，TH0的计算如公式(3)所示；

TH0＝QP-4 (3)。

进一步的，所述步骤105中，将当前CU按水平方向和垂直方向分别划分成4个面积相同的CU子块；对于水平方向的CU子块划分，四个子块的长度相同，高度均等，从上至下，CU子块的编号依次为1、2、3和4；对于垂直方向的CU子块划分，四个子块的高度相同，长度均等，从左至右，CU子块编号依次为5、6、7和8。

进一步的，所述步骤106中，计算当前CU水平方向和垂直方向的信息熵，具体包括：将编码帧的灰度值划分成16个等级，比特深度为10的视频，其灰度值范围为0～1023，将像素值为0到63的归为第1灰度级，像素值为64到127的归为第2灰度级，以此类推；通过公式(4)、(5)、(6)和(7)计算出当前CU水平方向和垂直方向的信息熵；

其中，p

进一步的，所述步骤107中，选择信息熵小的方向作为该CU的方向划分模式，跳过另一个方向的多叉树划分过程；若选择垂直方向划分模式，则跳过水平方向的多叉树划分过程；反之，若选择水平方向划分模式，则跳过垂直方向的多叉树划分过程。

进一步的，所述步骤108中，以相邻CU子块之间的邻域差评估子块之间的纹理差异，具体包括：通过公式(8)、(9)、(10)计算相邻子块之间的邻域差值来评估纹理差异；

Ntd

其中，Nt

进一步的，所述步骤108中，若中间子块之间的邻域差大于边缘子块之间的邻域差，则跳过三叉树划分模式，具体包括：

如果当前CU选择的是水平方向划分模式，首先计算子块编号为2和3的中间CU子块间的邻域差值Ntd

R

如果当前CU选择的是垂直方向划分模式，首先计算子块编号为6和7的中间CU子块间的邻域差值Ntd

R

一种存储介质，该存储介质内部存储计算机程序，所述计算机程序被处理器读取时，执行上述任一项所述基于特征差异的VVC编码单元加速划分方法的方法。

本发明的优点及有益效果如下：

本发明针对基于VVC标准的视频编码器复杂度过高，编码时间过长的问题，提出了一种基于特征差异的VVC编码单元加速划分方法。首先计算当前编码单元CU的整体均值，根据均值计算当前CU的标准差，依据标准差的大小，判断是否需要进行下一步深度划分；接着，对于需进一步划分的当前CU，依据其水平和垂直方向信息熵的大小，判断出当前CU水平/垂直纹理方向，跳过某一方向的多叉树划分模式；最后，以相邻CU子块间的邻域差评估子块间的纹理差异，依据中间子块间邻域差与边缘子块间的邻域差的大小，选择跳过三叉树划分模式。通过以上步骤可以实现CU划分快速决策。

本发明的创新主要在于权利4、权利6、权利7。采用权利4的方法，根据图像全局特征纹理标准差与图像复杂度的关系，提前终止部分CU的划分。采用权利6的方法，通过将当前CU按不同方向划分为四个面积相同的CU子块，并计算子块的信息熵值，比较水平和垂直方向之间的信息熵值之差大小，如果水平和垂直方向间的信息熵之差的绝对值大于阈值，则选择信息熵值较小的方向作为划分方向。采用权利8的方法，针对CU多叉树划分过程，以相邻CU子块之间的邻域差评估子块之间的纹理差异，若中间子块之间的邻域差大于边缘子块之间的邻域差，则跳过三叉树划分模式。采用权利4、权利6、权利7的方法，可以有效减少CU划分过程，降低编码复杂度。以上计算过程相较于原平台，计算逻辑较为简单，易于实现。本发明充分利用CU不同特征的差异对划分过程进行加速，在保证视频编码质量的同时，还节省了大量编码时间，因此，本发明中的方法具有较强的创新性和应用价值。

附图说明

图1是本发明提供优选实施例一种基于特征差异的VVC编码单元加速划分方法。

图2是当前CU按水平方向和垂直方向四个CU子块的划分示例，其中，图2(a)表示垂直划分；图2(b)表示水平划分。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

图1为本发明中一种基于特征差异的VVC编码单元加速划分方法及存储介质示意图，本发明所述方法包括以下步骤：

步骤101、获取多功能视频编码(VVC)编码帧，读取编码帧中当前编码单元(CU)的划分深度，如果当前CU划分深度等于最大划分深度，停止划分；否则，进行下一步骤；

步骤102、读取当前CU每个像素点的亮度值，计算当前CU像素亮度值的均值；

步骤103、利用当前CU像素亮度值的均值与每个像素亮度值之差，计算当前CU像素亮度值的标准差；

步骤104、比较当前CU像素亮度值的标准差与阈值的大小，如果标准差小于阈值，停止当前CU的划分，否则，进入下一步骤；

步骤105、将当前CU按水平方向和垂直方向分别划分成4个面积相同的CU子块；

步骤106、计算当前CU水平方向和垂直方向的信息熵；

步骤107、计算当前CU水平方向和垂直方向的信息熵之差的绝对值。如果该绝对值大于阈值，选择信息熵小的方向作为该CU的方向划分模式，跳过另一个方向的多叉树划分过程，否则，按原平台方法进行水平/垂直方向划分模式的判断。进入下一步骤；

步骤108、以相邻CU子块之间的邻域差评估子块之间的纹理差异，若中间子块之间的邻域差大于边缘子块之间的邻域差，则跳过三叉树划分模式，否则，按原平台方法进行二叉树和三叉树划分模式的判断；

步骤109、转到步骤101，进行下一编码单元划分。

优选的，所述步骤102中，计算当前CU像素亮度值的均值，是利用公式(1)计算出当前CU像素亮度值的均值mean。

其中，p(i,j)表示(i,j)位置像素的亮度值；W和H分别表示CU的宽和高。

优选的，所述步骤103中，利用当前CU像素亮度值的均值与每个像素亮度值之差，计算当前CU像素亮度值的标准差，是利用公式(2)计算出当前CU像素亮度值的标准差SD。

优选的，所述步骤104中，比较当前CU像素亮度值的标准差与阈值的大小，经实验数据的统计和分析，这里的阈值TH0与视频编码器的量化步长QP相关，TH0的计算如公式(3)所示。

TH0＝QP-4 (15)

优选的，所述步骤105中，将当前CU按水平方向和垂直方向分别划分成4个面积相同的CU子块。对于水平方向的CU子块划分，四个子块的长度相同，高度均等，从上至下，CU子块的编号依次为1、2、3和4；对于垂直方向的CU子块划分，四个子块的高度相同，长度均等，从左至右，CU子块编号依次为5、6、7和8。

优选的，所述步骤106中，计算当前CU水平方向和垂直方向的信息熵，是指将编码帧的灰度值划分成16个等级，例如比特深度为10的视频，其灰度值范围为0～1023，将像素值为0到63的归为第1灰度级，像素值为64到127的归为第2灰度级，以此类推。通过公式(4)、(5)、(6)和(7)计算出当前CU水平方向和垂直方向的信息熵。

其中，p

优选的，所述步骤107中的阈值，经实验数据的统计和分析得到的一个经验值，该阈值TH1为0.11。

优选的，所述步骤107中，选择信息熵小的方向作为该CU的方向划分模式，跳过另一个方向的多叉树划分过程。若选择垂直方向划分模式，则跳过水平方向的多叉树划分过程。反之，若选择水平方向划分模式，则跳过垂直方向的多叉树划分过程。

优选的，所述步骤108中，以相邻CU子块之间的邻域差评估子块之间的纹理差异，是通过公式(8)、(9)、(10)计算相邻子块之间的邻域差值来评估纹理差异。

Ntd

其中，Nt

优选的，所述步骤108中，若中间子块之间的邻域差大于边缘子块之间的邻域差，则跳过三叉树划分模式，是通过如下方法进行判断的。

如果当前CU选择的是水平方向划分模式，首先计算子块编号为2和3的中间CU子块间的邻域差值Ntd

R

如果当前CU选择的是垂直方向划分模式，首先计算子块编号为6和7的中间CU子块间的邻域差值Ntd

R

为了评估本发明所提方法的编码加速性能，本发明在官方编码器VTM10.0上进行了性能测试。测试标准遵循CTC，并采用全帧内编码模式，对官方提供的测试序列进行编码。以BDBR(

式中T

表1展示了22个视频测试序列的编码性能。表1中的Proposed表示本发明的方法，Ref是对比文献(Q.Zhang,R.Guo,B.Jiang and R.Su.Fast CU Decision-MakingAlgorithm Based on DenseNet Network for VVC[J].in IEEE Access,2021:119289-119297.)中的算法。可以看出，采用本发明的方法能平均减少40.25％的编码时间，BDBR平均增加了1.12％，综合性能达到35.94。本文算法除个别视频序列外，其加速时间基本相差不大，针对超高清视频如A1和A2类序列也是有着不错的加速效果，因此本文算法据有较好的普适性。从对比结果可知，本文算法综合性能优于对比文献算法，对比文献算法在不同类别视频中加速效果差异较大，而本文算法在各类视频中均有着良好的表现。

表1本发明与参考方法性能对比

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。