一种HEVC帧间快速尺寸判决方法、装置及设备

技术领域

本发明涉及于视频编码技术领域，尤其涉及一种HEVC帧间快速尺寸判决方法、装置及设备。

背景技术

HEVC作为新一代视频编码标准，相比上一代视频编码标准H.264/AVC在压缩效率上提升了一倍，但与此同时编码复杂度也大大增加。这主要是由于HEVC中引入了一些新的技术，比如大尺寸的四叉树分割、更高的预测精度、35种帧内预测模式以及RDO技术和SAO技术等。其中RDO过程需要计算每一种编码尺寸和预测单元的编码代价，从中选择代价最小的作为最佳尺寸和预测模式，因此，RDO过程是编码器编码过程中计算量最大的部分。由于HEVC中引入的新技术导致编码的复杂度极高，这对于视频会议等实时应用场景来说，极高的编码复杂度无法实用。

现有的帧间快速尺寸判决方法，主要是从时空域相关性的角度估计当前CTU的深度预测范围、模式选择和提前CU终止，但没有考虑当前CTU块本身的纹理特征和运动静止特征。因此，该方案对于CTU深度判决和降低编码复杂度具有局限性。

发明内容

本发明提供了一种HEVC帧间快速尺寸判决方法及装置，以解决现有帧间快速尺寸判决方法并未从CTU块本身的纹理特征、运动静止特征与时空域相关性多方面估计CTU深度预测范围的技术问题。

为了解决上述技术问题，本发明实施例提供了一种HEVC帧间快速尺寸判决方法，包括：

根据当前CTU块的纹理复杂度和时空域相关性，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围；

根据运动静止特性，结合当前CTU块的预测深度值和第一深度范围，对第一深度范围进行调整；

根据调整后的第一深度范围对当前CTU块的尺寸进行划分，完成帧间快速尺寸判决。

本发明首先通过纹理复杂度和时域相关性多特征判断CTU块的第一深度范围，再根据运动特性对初步判断的第一深度范围进行调整，基于多特征判断第一深度范围提高了预测的精准度，同时加快了第一深度范围的判断速度，根据第一深度范围对当前CTU块进行遍历、划分，完成帧间快速尺寸判决，以降低编码时间复杂度，加速HEVC编码过程。

进一步地，所述根据当前CTU块的纹理复杂度和时空域相关性，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围，具体为：

判断当前CTU块是否符合纹理特性，若符合则确定当前CTU块的纹理复杂度，并根据当前CTU块的预测深度值和初步深度范围，确定第一深度范围；

若不符合，则获取时域同位CTU块，并根据所述时域同位CTU块的深度相关性结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围。

本发明通过纹理特性和时空域相关性共同判断第一深度范围，提升了第一深度范围的判断速度，同时，基于多角度、多个限制条件判断CTU块的第一深度范围，使得预测更加准确，加速后续HEVC的编码过程。

进一步地，所述获取时域同位CTU块，并根据所述时域同位CTU块预测当前CTU块的深度值和初步深度范围，获取第一深度范围，具体为：

获取时域同位CTU的第一平均深度值、时域同位CTU的相邻左侧CTU的第二平均深度值和空域相邻CTU的第三平均深度值；

根据所述第一平均深度、第二平均深度和第三平均深度，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围。

本发明通过时空域相关性确定时空域相邻CTU的深度值，并以此预测当前CTU块的第一深度范围，进一步对CTU块的第一深度范围的限制条件进行细分，提高预测精确性。

进一步地，在所述判断当前CTU块是否符合纹理特性之前，还包括：

根据Roberts梯度算子计算当前CTU块在水平方向的梯度和垂直方向的梯度；

根据所述水平方向的梯度和垂直方向的梯度计算当前CTU块的平均梯度，并根据所述平均梯度确定当前CTU块的纹理复杂度。

进一步地，所述根据所述平均梯度确定当前CTU块的纹理复杂度，具体为：

预设第一纹理复杂度阈值和第二纹理复杂度阈值，若当前CTU块的平均梯度小于第一纹理复杂度阈值，则当前CTU块为纹理平坦块；

若当前CTU块的平均梯度大于第二纹理复杂度阈值，则当前CTU块为纹理复杂块；

若当前CTU的平均梯度大于第一纹理复杂度阈值且小于第二纹理复杂度阈值，则当前CTU块为纹理普通块。

本发明通过Roberts梯度算子计算当前CTU块的平均梯度，并确定CTU块的纹理复杂度，以此对CTU块进行划分，便于后续根据CTU块的纹理复杂度判断第一深度范围。

进一步地，所述根据运动静止特性，结合当前CTU块的预测深度值和第一深度范围，对第一深度范围进行调整，具体为：

确定当前CTU块的运动静止特性，所述运动静止特性包括静止块、运动块和运动剧烈块；

若当前CTU为运动剧烈块，并且第一深度范围的最小深度值小于等于1，则第一深度范围的最小深度值加1；

若当前CTU为静止块，并且第一深度范围的最大深度值大于2，预测深度值小于2，则第一深度范围的最大深度值减1。

进一步地，在所述确定当前CTU块的运动静止特性，所述运动静止特性包括静止块、运动块和运动剧烈块之前，还包括：

根据下采样法和帧差法获取当前CTU下采样块的差值图，并根据OTSU方法计算所述差值图的第一差值阈值；

根据第一差值阈值对所述差值图进行阈值化，获取当前CTU下采样块的运动图像；

根据运动图像获取当前CTU下采样块中的运动像素点个数，并根据所述运动像素点个数和第一运动阈值判断当前CTU块的运动静止特性。

本发明通过帧差法和OTSU方法获取当前CTU块的运动图像，同时根据运动静止特性对CTU块进行分类，进一步精确限制条件，且进一步调整CTU第一深度范围，多角度提高第一深度范围的预测精确性。

进一步地，在所述根据当前CTU块的纹理复杂度和时空域相关性，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围之前，还包括：

根据当前CTU的时空域相邻CTU块预测当前CTU块的预测深度值和初步深度范围，所述时空域相邻CTU块包括时域相邻CTU和空域相邻CTU。

第二方面，本发明实施的一种HEVC帧间快速尺寸判决装置，包括：第一深度范围确定模块、第一深度范围调整模块和尺寸判决模块；

所述第一深度范围确定模块，用于根据当前CTU块的纹理复杂度和时空域相关性，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围；

所述第一深度范围调整模块，用于根据运动静止特性，结合当前CTU块的预测深度值和第一深度范围，对第一深度范围进行调整；

所述尺寸判决模块，用于根据调整后的第一深度范围对当前CTU块的尺寸进行划分，完成帧间快速尺寸判决。

第三方面，本发明实施例提供了一种计算机设备，包括：处理器、通信接口和存储器，所述处理器、所述通信接口和所述存储器相互连接，其中，所述存储器存储有可执行程序代码，所述处理器用于调用所述可执行程序代码，执行所述的HEVC帧间快速尺寸判决方法。

附图说明

图1为本发明实施例提供的HEVC帧间快速尺寸判决方法地一种流程示意图；

图2为本发明实施例提供的HEVC帧间快速尺寸判决方法的一种时空域相邻CTU块的位置示意图；

图3为本发明实施例提供的HEVC帧间快速尺寸判决装置的一种结构示意图；

图4为本发明实施例提供的HEVC帧间快速尺寸判决方法的另一种流程示意图；

图5为本发明实施例提供的HEVC帧间快速尺寸判决装置的另一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参照图1，图1为本发明实施例提供的HEVC帧间快速尺寸判决方法地一种流程示意图，包括步骤101至步骤103，具体如下：

步骤101：根据当前CTU块的纹理复杂度和时空域相关性，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围；

在本实施例中，在所述根据当前CTU块的纹理复杂度和时空域相关性，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围之前，还包括：

根据当前CTU的时空域相邻CTU块预测当前CTU块的预测深度值和初步深度范围，所述时空域相邻CTU块包括时域相邻CTU和空域相邻CTU。

请参照图2，图2为本发明实施例提供的HEVC帧间快速尺寸判决方法的一种时空域相邻CTU块的位置示意图；

在本实施例中，视频中每一帧图像的像素点与像素点间都存在着很强的时空域相关性。利用这种相关性可以使用空域相邻已编码的CTU和时域已编码的同位CTU的编码深度来预测当前CTU的预测深度值。对空域相邻已编码的CTU块按位置关系进行划分，所述空域相邻已编码的CTU块的左侧CTU为CUL，上侧CTU块为CUA，左上CTU块为CULA，右上CTU块为CURA；所述时域已编码的同位CTU块为CUco l。

在本实施例中，将当前CTU块的所有存在的时空域相邻CTU块的最小深度和最大深度作为当前CTU块的初步深度范围，其中，时域相邻CTU是指时域参考帧中的同位CTU即CUcol，空域相邻CTU是指空域相邻的左侧CTU(CUL)和上侧CTU(CUA)。

在本实施例中，所述初步深度范围的划分具体如下：

其中，D

在本实施例中，利用CTU之间的时空域相关性，在利用相邻的CTU对当前CTU进行深度预测时，左边CTU块的深度值采用CUL的右半CTU块的平均深度值；同理上边CTU的深度值采用CUA的下半CTU块的平均深度值；由于左上和右上块与当前块的相关性较小，左上CTU的深度值和右上CTU的深度值采用与当前CTU最相邻的CU(即CULA和CURA)的深度值；在时域上，采用时域同位CTU(即CUcol)的平均深度值进行预测。

在本实施例中，当前CTU的预测深度范围Depth

其中，其中N＝5，ω

在本实施例中，若当前CTU不是运动剧烈块：因为当前CTU与时域同位CTU的时域相关性较强，时域LCU对应的ω

在本实施例中，若当前CTU是运动剧烈块：因为当前CTU与时域同位CTU的时域相关性较弱，则当前CTU的深度预测值不使用时域块。因为左边LCU和上边LCU与当前LCU的相关性大一些，ω

在本实施例中，所述根据当前CTU块的纹理复杂度和时空域相关性，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围，具体为：

判断当前CTU块是否符合纹理特性，若符合则确定当前CTU块的纹理复杂度，并根据当前CTU块的预测深度值和初步深度范围，确定第一深度范围；

若不符合，则获取时域同位CTU块，并根据所述时域同位CTU块的深度相关性结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围。

在本实施例中，本发明通过纹理特性和时空域相关性共同判断第一深度范围，提升了第一深度范围的判断速度，同时，基于多角度、多个限制条件判断CTU块的第一深度范围，使得预测更加准确，加速后续HEVC的编码过程。

在本实施例中，在所述判断当前CTU块是否符合纹理特性之前，还包括：

根据Roberts梯度算子计算当前CTU块在水平方向的梯度和垂直方向的梯度；

根据所述水平方向的梯度和垂直方向的梯度计算当前CTU块的平均梯度，并根据所述平均梯度确定当前CTU块的纹理复杂度。

在本实施例中，采用Roberts梯度算子来衡量CTU块的纹理复杂度，所述根据Roberts梯度算子计算当前CTU块的平均梯度的公式具体如下：

g

g

G(x,y)＝|g

其中，f(x,y)表示位置(x,y)处的像素值，g

在本实施例中，所述根据所述平均梯度确定当前CTU块的纹理复杂度，具体为：

预设第一纹理复杂度阈值和第二纹理复杂度阈值，若当前CTU块的平均梯度小于第一纹理复杂度阈值，则当前CTU块为纹理平坦块；

若当前CTU块的平均梯度大于第二纹理复杂度阈值，则当前CTU块为纹理复杂块；

若当前CTU的平均梯度大于第一纹理复杂度阈值且小于第二纹理复杂度阈值，则当前CTU块为纹理普通块。

在本实施例中，所述纹理复杂度的划分公式具体如下：

其中，TC表示当前CTU块的纹理复杂度，Simple表示当前CTU为纹理平坦块，Common表示当前CTU为纹理普通块，Complex表示当前CTU为纹理复杂块，Thr1表示第一纹理复杂度阈值，Thr2表示第一纹理复杂度阈值。

在本实施例中，Thr1为5，Thr2为10。

在本实施例中，通过Roberts梯度算子计算当前CTU块的平均梯度，并确定CTU块的纹理复杂度，以此对CTU块进行划分，便于后续根据CTU块的纹理复杂度判断第一深度范围。

在本实施例中，所述判断当前CTU块是否符合纹理特性，若符合则确定当前CTU块的纹理复杂度，并根据当前CTU块的预测深度值和初步深度范围，确定第一深度范围，具体为：

若当前CTU为纹理复杂块，并且其预测深度值Depth

若当前CTU为纹理简单块，并且其预测深度值Depth

若当前CTU为纹理复杂块，并且初步深度遍历范围中的最小深度值小于等于1，则进行深度扩展，当前CTU的第一深度范围为[2,3]。

若当前CTU为纹理简单块，并且初步深度遍历范围中的最大深度值大于等于2，则进行深度裁剪，当前CTU的第一深度范围为[0,2]。

在本实施例中，若当前CTU块不符合根据纹理特性判断第一深度范围的任一种情况，则根据深度相关性、预测深度值和初步深度范围DR预测第一深度范围。

在本实施例中，所述获取时域同位CTU块，并根据所述时域同位CTU块预测当前CTU块的深度值和初步深度范围，获取第一深度范围，具体为：

获取时域同位CTU的第一平均深度值、时域同位CTU的相邻左侧CTU的第二平均深度值和空域相邻CTU的第三平均深度值；

根据所述第一平均深度、第二平均深度和第三平均深度，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围。

在本实施例中，本发明通过时空域相关性确定时空域相邻CTU的深度值，并以此预测当前CTU块的第一深度范围，进一步对CTU块的第一深度范围的限制条件进行细分，提高预测精确性。

在本实施例中，获取时域同位CTU的平均深度值Depth

若DepthL

若DepthL

若DepthL

若DepthL

步骤102：根据运动静止特性，结合当前CTU块的预测深度值和第一深度范围，对第一深度范围进行调整；

在本实施例中，所述根据运动静止特性，结合当前CTU块的预测深度值和第一深度范围，对第一深度范围进行调整，具体为：

确定当前CTU块的运动静止特性，所述运动静止特性包括静止块、运动块和运动剧烈块；

若当前CTU为运动剧烈块，并且第一深度范围的最小深度值小于等于1，则第一深度范围的最小深度值加1；

若当前CTU为静止块，并且第一深度范围的最大深度值大于2，预测深度值小于2，则第一深度范围的最大深度值减1。

在本实施例中，在所述确定当前CTU块的运动静止特性，所述运动静止特性包括静止块、运动块和运动剧烈块之前，还包括：

根据下采样法和帧差法获取当前CTU下采样块的差值图，并根据OTSU方法计算所述差值图的第一差值阈值；

根据第一差值阈值对所述差值图进行阈值化，获取当前CTU下采样块的运动图像；

根据运动图像获取当前CTU下采样块中的运动像素点个数，并根据所述运动像素点个数和第一运动阈值判断当前CTU块的运动静止特性。

在本实施例中，采用帧差法和OTSU阈值来检测CTU的运动静止特征，具体包括：

获取当前帧图像和前一帧图像的1/4下采样图像；计算当前帧1/4下采样图像与前一帧1/4下采样图像中每个像素点的差值，并计算绝对值得到差值图；

采用OTSU方法计算差值图的第一差值阈值，记作Thr3；

采用第一差值阈值Thr3针对差值图进行阈值化，当像素值大于等于Thr3的像素点为运动像素点，将其像素值设为255；当像素值小于Thr3的像素点为非运动像素点，将其像素值设为0；并阈值化后的差值图记作运动图像。

在运动图像中获取当前CTU下采样块中含有运动像素点的个数N，则当前CTU的运动静止特征为：

其中MS表示当前CTU的运动静止特征，Static表示CTU为静止块，MotionLess表示当前CTU为运动平缓块，Motion表示当前CTU为运动剧烈块，Thr4表示第一运动阈值。在本实施例中，第一运动阈值Thr4为32。

在本实施例中，本发明通过帧差法和OTSU方法获取当前CTU块的运动图像，同时根据运动静止特性对CTU块进行分类，进一步精确限制条件，且进一步调整CTU第一深度范围，多角度提高第一深度范围的预测精确性。

步骤103：根据调整后的第一深度范围对当前CTU块的尺寸进行划分，完成帧间快速尺寸判决。

在本实施例中，若当前CTU的第一深度范围为[2,3]，跳过深度0和深度1的计算，即当前CTU需要计算16x16和8x8两个尺寸。

若当前CTU的第一深度范围为[0,1]，跳过深度2和深度3的计算，即当前CTU需要计算64x64和32x32两个尺寸。

若当前CTU的第一深度范围为[0,2]，跳过深度3的计算。即当前CTU需要计算64x64、32x32和16x16三个尺寸。

在本实施例中，首先通过纹理复杂度和时域相关性多特征判断CTU块的第一深度范围，再根据运动特性对初步判断的第一深度范围进行调整，基于多特征判断第一深度范围提高了预测的精准度，同时加快了第一深度范围的判断速度，根据第一深度范围对当前CTU块进行遍历、划分，完成帧间快速尺寸判决，以遍历时间和降低编码时间复杂度，加速HEVC编码过程。

请参照图3，图3为本发明实施例提供的HEVC帧间快速尺寸判决装置的一种结构示意图，包括：第一深度范围确定模块301、第一深度范围调整模块302和尺寸判决模块303。

所述第一深度范围确定模块301，用于根据当前CTU块的纹理复杂度和时空域相关性，结合当前CTU块的预测深度值和初步深度范围，确定第一深度范围；

所述第一深度范围调整模块302，用于根据运动静止特性，结合当前CTU块的预测深度值和第一深度范围，对第一深度范围进行调整；

所述尺寸判决模块303，用于根据调整后的第一深度范围对当前CTU块的尺寸进行划分，完成帧间快速尺寸判决。

本发明实施例还提供了一种计算机设备，包括：处理器、通信接口和存储器，所述处理器、所述通信接口和所述存储器相互连接，其中，所述存储器存储有可执行程序代码，所述处理器用于调用所述可执行程序代码，执行所述的HEVC帧间快速尺寸判决方法。

实施例二

请参照图4，图4为本发明实施例提供的HEVC帧间快速尺寸判决方法的另一种流程示意图。

在本实施例中，所述HEVC帧间快速尺寸判决方法，具体包括：

计算当前CTU块的纹理复杂度：采用Roberts梯度算子来计算当前CTU块的纹理复杂度；

进行运动静止检测：采用帧差法和OTSU在1/4下采样分辨率图像上检测运动静止特征。

估计初步深度范围：用于当前CTU的所有存在的时空域相邻CTU的最小深度值和最大深度值作为当前CTU的初步深度遍历范围，若当前CTU的时空域相邻CTU都不存在，则初步深度遍历范围为[0,3]。

估计预测深度值：采用时空域相邻CTU的深度值加权得到当前CTU的预测深度值，其中运动剧烈CTU的预测深度值不采用时域同位CTU块的深度值。

进行多特征融合深度判决：在初步深度范围DR的基础上，根据当前CTU的纹理复杂度、运动静止特征、预测深度值和深度相关性进行多特征融合深度判决，得到精确的第一深度范围，并根据所属第一深度范围进行遍历划分当前CTU块的尺寸。

请参照图5，图5为本发明实施例提供的HEVC帧间快速尺寸判决装置的另一种结构示意图，包括纹理复杂度计算模块、运动静止检测模块、初步深度遍历范围估计模块、预测深度值估计模块和多特征融合深度判决模块；

所述纹理复杂度计算模块，用于采用Roberts梯度算子来衡量当前CTU块的纹理复杂度。

所述运动静止检测模块，用于采用帧差法和OTSU在1/4下采样分辨率图像上检测运动静止特征。

所述初步深度遍历范围估计模块，用于当前CTU的所有存在的时空域相邻CTU的最小深度值和最大深度值作为当前CTU的初步深度遍历范围，若当前CTU的时空域相邻CTU都不存在，则初步深度遍历范围为[0,3]。

所述预测深度值估计模块，用于采用时空域相邻CTU的深度值加权得到当前CTU的预测深度值，其中运动剧烈CTU的预测深度值不采用时域同位CTU块的深度值。

所述多特征融合深度判决模块，用于在初步深度范围DR的基础上，根据当前CTU的纹理复杂度、运动静止特征、预测深度值和深度相关性进行多特征融合深度判决，得到精确的第一深度范围，并根据所属第一深度范围进行遍历划分当前CTU块的尺寸。

在本实施例中，首先利用Roberts梯度算子计算当前CTU的纹理复杂度，并利用帧差法和OTSU计算当前CTU的运动静止特征，然后利用时空域相关性估计当前CTU的初步深度遍历范围和预测深度值，最后基于纹理复杂度、运动静止特征、预测深度值和深度相关性进行CTU多特征融合深度判决，确定精确的深度遍历范围，加速HEVC编码过程。相比开源编码器x265，在低延时P测试条件下，平均率失真性能没有损失的情况下，编码时间复杂度平均降低。

在本实施例中，该方法将当前CTU的时空域相关性、纹理特征、运动静止特征和深度相关性相结合，通过多个限制条件确定精确的深度遍历范围。首先利用Roberts梯度算子计算当前CTU的纹理复杂度，并利用帧差法和OTSU计算当前CTU的运动静止特征，然后利用时空域相关性估计当前CTU的初步深度遍历范围和预测深度值，最后基于纹理复杂度、运动静止特征、预测深度值和深度相关性进行CTU多特征融合深度判决，确定精确的深度遍历范围，从而有效降低四叉树遍历的计算复杂度。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。