一种图像与视频压缩方法

技术领域

本申请属于视频编码技术领域，特别涉及一种图像与视频压缩方法。

背景技术

随着超高清、虚拟现实、3D视频等多媒体技术的快速发展，多媒体数据以指数型方式增长，给数据存储和传输带来了巨大的挑战。为了进一步提高视频的压缩效率以缓解数据存储和传输的压力，新一代视频编码标准出现了，即高效视频编码(High EfficiencyVideo Coding，HEVC)0。在视频编码的标准中，重要的模块之一是比特率控制，用来有效地满足有限的信道带宽。比特率控制的过程可以分为两个步骤，第一步是比特分配，基于给定的目标比特总数来确定图像组(Group of Picture,GOP)，图像和编码树单元(Coding TreeUnit,CTU)级别中的最佳目标比特数；第二步是根据R-Q模型或R-λ模型确定量化参数(Quantization Parameter,QP)的值，并且每个编码单元根据目标比特数,独立地确定量化参数。

在2012年，一种基于R-Q模型的比特率控制算法0被提出。随后，Li等人0使用lambda来建立R-λ模型来确定量化参数，显著的提高了比特率控制精度。Li的工作考虑了非帧内帧的比特分配算法，而没有充分考虑帧内帧的比特分配。因此，提案JCTVC-M02570和JCTVC-M00360改进了Li的工作。在JCTVC-M0257算法中，对于帧内比特分配算法，每个编码单元所分配的比特数由比特数与绝对变换误差和(Sum of Absolute TransformDifference,SATD)的线性相关性所决定。除了上述比特率控制方法之外，还有一些基于感知的方法。高等人0使用结构相似性(SSIM)0和博弈论来指导帧内编码树单元级别的比特分配。杨等人0使用梯度幅度相似度偏差0来执行编码树单元级别比特分配算法。另外，高等人0还提出了一种基于显着性检测的比特分配算法，使用相位一致性来检测边缘显着性，并提出了基于相位一致性的比特率控制算法。

准确的比特分配是整个比特率控制算法的基础。编码树单元级比特分配算法用于改善每帧图像的质量。因为帧内帧(Intra frame)用作后续编码帧的参考帧，帧内帧的编码质量直接影响后续编码帧，因此帧内帧的编码非常重要。目前，基于帧内的编码树单元级别比特分配算法利用同位置的编码树单元的平均绝对差作为比特分配的权重，但是这种计算权重的方法并未充分考虑人类视觉系统的感知特性，因此，所获得的编码图像的主观质量不高。这是因为我们的编码目标是在一定比特率约束的条件下最小化失真，但是当前失真度量是均方误差(MSE)，没有充分考虑人类视觉系统的感知特性。如图1所示，为相同MSE下不同的视觉质量对比图。其中，图1(a)为原始图像，图1(b)为传统失真图像，MSE＝48，图1(c)为感知失真图像，MSE＝48。从图1(b)和图1(c)可以看出，在相同的MSE下，两幅图像的视觉质量不同，图1(c)的视觉质量优于图1(b)。这是因为图1(c)的失真集中在背景树和杂草中，这些区域存在较大的视觉掩蔽效应，因此人眼感知的失真很低。图1(b)的失真集中在前景人和一些具有平坦纹理的区域。这些区域不仅具有弱的掩蔽效应，而且人眼对这些区域的失真较为敏感，因此人眼可以容易地检测到失真。

由此可见，由于掩蔽效应，在相同的MSE下，失真位置的差异使人眼感觉到的视频主观质量不同。因此，根据人类视觉系统的感知特性进行比特分配可以带来更好的视觉质量。

发明内容

本申请提供了一种图像与视频压缩方法，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种图像与视频压缩方法，包括以下步骤：

步骤a：利用人类视觉系统的感知特性计算编码单元的感知失真，其中，所述编码单元包括图像组、图像以及编码树单元；分别建立所述图像组、图像以及编码树单元的感知失真与码率之间的关系模型，并通过所述关系模型计算得到图像组、图像以及编码树单元的感知加权因子；

步骤b：根据所述感知加权因子计算图像组、图像以及编码树单元所分配的最优比特数，并根据所述最优比特数计算结果为待编码的图像组、图像以及编码树单元执行比特分配；

步骤c：在执行图像组、图像以及编码树单元比特分配后，计算得到待编码的图像组、图像以及编码树单元的最佳量化参数，并根据所述最佳量化参数对待编码的图像组、图像以及编码树单元进行编码。

本申请实施例采取的技术方案还包括：所述步骤a中，所述图像组、图像和编码树单元的感知加权因子计算公式分别为：

其中，

本申请实施例采取的技术方案还包括：所述步骤a中，所述图像组、图像以及编码树单元的感知失真与码率之间的关系模型分别为：PWD＝m*e

本申请实施例采取的技术方案还包括：在所述步骤a中，所述通过关系模型计算得到图像组、图像以及编码树单元的感知加权因子进一步包括：

步骤a1：利用人类视觉系统的感知特性分别计算得到每个图像组、图像及编码树单元的感知失真；

步骤a2：分别建立每个图像组、图像及编码树单元的感知失真与码率之间的关系模型R-PWD；

步骤a3：通过所述每个图像组、图像及编码树单元的感知失真与码率之间的关系模型分别计算待编码图像组、图像及编码树单元的感知加权因子，根据所述感知加权因子分别进行图像组、图像及编码树单元的比特分配。

本申请实施例采取的技术方案还包括：所述图像组、图像以及编码树单元的感知失真的计算方式包括融合人眼对比敏感度的感知失真计算方式、融合人眼注意力机制的感知失真计算方式、融合人眼掩蔽效应的感知失真计算方式中的一种或两种以上感知失真计算方式的结合。

本申请实施例采取的技术方案还包括：所述感知权重的计算方法为：使用m个编码单元，编码单元包括图像组、图像以及编码树单元的PWD和R的值进行最小二乘法自适应计算出编码单元感知权重的值，每个编码单元的感知权重约束在[1.0,40.0]之间。

本申请实施例采取的技术方案还包括：所述步骤b中，所述根据感知加权因子计算待编码的图像组、图像以及编码树单元所分配的最优比特数的计算公式为：

上述公式中，R

相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的图像与视频压缩方法考虑到人类视觉系统的对比敏感度、视觉注意力机制、掩蔽效应等感知特性，计算出视频的感知失真，通过比特率和感知失真之间的关系推导出感知加权因子来执行最优比特分配。与现有的编码树单元级别比特分配算法相比，在相同感知质量条件下，本申请实现了7.71％的比特率减少；在相同码率条件下，本申请实现了0.46dB视频感知质量增益，进一步提高了视频压缩性能。此外，本申请基于视觉感知的高效图像与视频压缩方法还保持了99.996％的极好比特率控制精度。

附图说明

图1为相同MSE下不同的视觉质量对比图；其中，图1(a)为原始图像，图1(b)为传统失真图像，图1(c)为感知失真图像；

图2是本申请实施例的图像与视频压缩方法的流程图；

图3为不同算法下KristenAndSara序列的R-PWPSNR曲线图；

图4为不同算法下KristenAndSara序列每一帧图像的感知质量(PWPSNR)；

图5为不同算法下KristenAndSara序列每一帧图像的实际比特数。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

基于现有技术存在的不足，本申请提出了一种基于视觉感知的图像与视频压缩方法，在给定比特率约束条件下最小化每个编码单元的感知失真。首先，为了更好地表示感知失真，利用人类视觉系统的感知特性计算得到每个编码单元的感知失真，建立码率和感知失真之间的关系，采用感知加权均方误差代替均方误差来度量失真。然后，由统计实验计算得到码率(R)和感知加权均方误差(PWD)之间的关系，并记为R-PWD模型。最后，从R-PWD模型推导出感知加权因子，从而指导编码单元的图像组、图像以及编码树单元三个级别的比特分配。

具体的，请参阅图2，是本申请实施例的图像与视频压缩方法的流程图。本申请实施例的图像与视频压缩方法包括以下步骤：

步骤100：获取当前编码单元所在上一级别编码单元的目标比特数R

步骤101：计算所有编码单元的SATD(the Sum of Absolute TransformDifference,哈达玛变换绝对误差和)值；

步骤102：根据SATD值计算所有编码单元的初始比特数；

步骤102中，本申请实施例所述的编码单元包括图像组、图像以及编码树单元，以编码树单元(CodingTreeUnit，CTU)为例，初始比特数计算公式为：

公式(1)中，C

步骤103：使用人类视觉系统的感知特性分别计算得到编码单元的感知失真，建立码率(R)与感知加权均方误差(PWD)之间的关系模型R-PWD，并通过关系模型R-PWD计算每个编码单元的感知加权因子；

步骤103中，本申请实施例采用感知失真的方式分别计算图像组、图像以及编码树单元三个级别的感知加权因子，并根据感知加权因子按照递归顺序依次进行图像组、图像以及编码树单元三个级别的比特分配，具体比特分配方式如下：

步骤1031：利用人类视觉系统的感知特性计算得到每个图像组的感知失真；

步骤1032：建立每个图像组的感知失真与码率之间的关系模型；其中，图像组的感知失真与码率之间的关系模型为R-PWD，PWD与R的关系为PWD＝m*e

步骤1033：通过每个图像组的感知失真与码率之间的关系模型计算待编码图像组的感知权重，根据感知权重进行图像组的比特分配；其中，图像组的感知加权因子计算公式为：

公式(2)中，

步骤1034：利用人类视觉系统的感知特性计算得到每个图像的感知失真；

步骤1035：建立每个图像的感知失真与码率之间的关系模型；其中，每个图像的感知失真与码率之间的关系模型为R-PWD，PWD与R的关系为PWD＝α·R

步骤1036：通过每个图像的感知失真与码率之间的关系模型计算待编码图像的感知权重，根据感知权重进行图像的比特分配；其中，图像的感知加权因子计算公式为：

公式(3)中，

步骤1037：利用人类视觉系统的感知特性计算得到每个编码树单元的感知失真；

步骤1038：建立每个编码树单元的感知失真与码率之间的关系模型；其中，每个编码树单元的感知失真与码率之间的关系模型为R-PWD，PWD与R的关系为

步骤1039：通过所述每个编码树单元的感知失真与码率之间的关系模型计算待编码的编码树单元的感知权重，根据所述感知权重进行待编码的编码树单元的比特分配；其中，编码树单元的感知加权因子计算公式为：

公式(4)中，

上述中，感知权重的值通过拟合m个编码单元的PWD和R的值进行最小二乘法自适应计算得到，m的取值范围可以是1到N(N为待编码帧中编码单元的个数)，本申请实施例优选为m＝16；每个编码单元的感知权重的取值约束在[1.0,40.0]之间，具体取值范围可根据实际操作进行设定。

在本申请其他实施例中，图像组、图像以及编码树单元的感知失真的计算方式包括但不限于融合人眼对比敏感度的感知失真计算方式、融合人眼注意力机制的感知失真计算方式、融合人眼掩蔽效应的感知失真计算方式以及SSIM(structural similarityindex，结构相似性)等感知质量指标中的一种或两种以上感知失真计算方式的结合。可以理解，每个级别的R-PWD模型中，PWD与R的关系也可根据实际操作进行替换或调整。

步骤104：得到编码当前编码单元时，估计剩余的比特数

步骤104中，以编码树单元为例，编码树单元估计的剩余比特数

公式(5)中，C

步骤105：得到编码当前编码单元时实际剩余的比特数，用实际的剩余比特数调整估计的剩余比特数；

步骤105中，以编码树单元为例，编码树单元的调整后剩余比特数计算公式为：

公式(6)中，

步骤106：根据感知加权因子计算每个编码单元所分配的最优比特数R

步骤106中，以编码树单元为例，编码树单元的最优比特数R

公式(7)中，R

步骤107：在执行比特分配后，通过R-λ模型λ＝α·bpp

步骤108：根据QP-λ的关系QP＝c

步骤108中，最佳量化参数(QP)c1的值设置为4.2005，c2的值设置为13.7122，具体可根据实际应用进行设置。视频编码器可以为H.264、H.265或JPEG等图像质量编码器，本申请实施例优选为H.265编码器。

步骤109：判断所有编码单元是否全部编码完毕，如果没有编码完毕，重新执行步骤104；如果所有的编码单元全部编码完毕，执行步骤110；

步骤110：结束待编码帧的编码。

为了验证本申请的可行性和有效性，已在HM-16.7参考软件上进行了实验，实验编码结构为全帧内帧(All Intra)编码，开启码率控制模式，进行CTU级的码率控制。该实验使用11个测试序列，分别为Traffic、BasketballDrive、BQTerrace、Cactus、ParkScene、RaceHorse、BQMall、Vidyo、KristenAndSara、Johnny、Tennis，每个序列编码150帧。使用JCTVC-K0103、JCTVC-M0257、HM-16.7默认算法作为对比实验。与JCTVC-K0103相比，本申请在BD-BR上节省7.71％的比特，在BD-PSNR上获得了0.46dB的增益。在最好的情况下，BD-BR节省11.13％的比特，BD-PWPSNR增加0.64dB。具体实验结果请参阅图3至图5，图3为不同算法下KristenAndSara序列的R-PWPSNR曲线，图4为不同算法下KristenAndSara序列每一帧图像的感知质量(PWPSNR)，图5为不同算法下KristenAndSara序列每一帧图像的实际比特数。从图3中的R-PWD曲线可以清楚地看出，本申请所提算法的R-D性能优于全帧内帧编码结构下的JCTVC-K0103、JCTVC-M0257和HM-16.7默认算法。在相同的比特率下，本申请所提算法的感知加权峰值信噪比(PWPSNR)高于JCTVC-K0103、JCTVC-M0257和HM-16.7默认的算法。在相同的PWPSNR下，本申请所提算法比JCTVC-K0103、JCTVC-M0257和HM-16.7默认的算法使用更少的比特率。从图4中可以看出，本申请所提算法的每帧图像质量明显优于其他算法。从图5可以看出，根据“KristenAndSara”的例子，得到在相同的比特率下，本申请所提算法的比特波动比其他算法更小更稳定。

本申请实施例的图像与视频压缩方法考虑到人类视觉系统的掩蔽效应、对比敏感度、视觉注意力等感知特性，计算出视频的感知失真，通过比特率和感知失真之间的关系推导出感知加权因子来执行最优比特分配，可同时适用于帧内帧及帧间帧的图像与视频压缩。与现有的编码树单元级别比特分配算法相比，在相同感知质量条件下，本申请实现了7.71％的比特率减少；在相同码率条件下，本申请实现了0.46dB视频感知质量增益，进一步提高了视频压缩性能。此外，本申请基于视觉感知的高效图像与视频压缩方法还保持了99.996％的极好比特率控制精度。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。