掌桥专利:专业的专利平台
掌桥专利
首页

视频图像分量的预测方法和装置、及计算机存储介质

文献发布时间:2023-06-19 19:28:50


视频图像分量的预测方法和装置、及计算机存储介质

本申请是申请日为2018年8月9日的中国专利申请号201880096257.8、发明名称为“视频图像分量的预测方法和装置、及计算机存储介质”的分案申请。

技术领域

本申请实施例涉及视频编码领域的帧内预测技术,尤其涉及一种视频图像分量的预测方法和装置、及计算机存储介质。

背景技术

在下一代视频编码标准H.266或多功能视频编码(Versatile Video Coding,VVC)中,可以通过颜色分量间线性模型预测方法(Cross-component Linear ModelPrediction,CCLM)实现亮度值到色度值或者色度值之间的预测,具体地,可以利用线性回归方法对当前编码块对应的相邻亮度参数和色度参数进行线性模型的构建,从而可以根据该线性模型和重建亮度值来计算色度预测值。

然而,在构建线性模型时,目前考虑到的因素不够全面,例如,在以亮度值对色度值进行预测时,大多是考虑相邻参考亮度值和相邻参考色度值的因素;在进行色度值之间的预测时,大多是考虑相邻参考色度分量的因素。因此,一旦相邻参考亮度值与当前编码块对应的参数存在较大偏离,或者,相邻参考色度分量与当前编码块对应的参数存在较大偏离时,均会使计算获得的线性模型与期望模型偏离,从而降低了当前编码块的色度预测值的预测精度,使色度预测值与真实色度值存在较大偏差。

发明内容

为解决上述技术问题,本申请实施例期望提供一种视频图像分量的预测方法和装置、及计算机存储介质,能够有效提高第二图像分量预测值的预测精度,使第二图像分量预测值更加接近真实分量值。

本申请实施例的技术方案是这样实现的:

一种视频图像分量的预测方法,所述方法包括:

获取当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值;其中,所述第一图像分量相邻参考值用于表征所述当前编码块的相邻参考点对应的第一图像分量参数,所述第一图像分量重建值用于表征与所述当前编码块对应的一个或者多个第一图像分量的重建参数;

根据所述第一图像分量相邻参考值和所述第一图像分量重建值,确定相关系数;其中,所述相关系数用于表征所述当前编码块和所述相邻参考点之间的图像分量偏离程度;

将所述相关系数输入至预设权重计算模型中,获得所述相邻参考点对应的权重系数;

根据所述权重系数确定比例因子;

通过所述比例因子,获得所述当前编码块对应的第二图像分量预测值。

本申请实施例提供了一种视频图像分量的预测方法和装置、及计算机存储介质,预测装置获取当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值;其中,第一图像分量相邻参考值用于表征当前编码块的相邻参考点对应的第一图像分量参数,第一图像分量重建值用于表征与当前编码块对应的一个或者多个第一图像分量的重建参数;根据第一图像分量相邻参考值和第一图像分量重建值,确定相关系数;其中,相关系数用于表征当前编码块和相邻参考点之间的图像分量偏离程度;将相关系数输入至预设权重计算模型中,获得相邻参考点对应的权重系数;根据权重系数确定比例因子;通过比例因子,获得当前编码块对应的第二图像分量预测值。由此可见,在本申请的实施例中,预测装置可以基于当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值进行相关系数的确定,从而可以实现根据相邻参考点和当前编码块之间的分量参数的相关性,为不同的相邻参考点分配不同的权重系数,以构建更加符合期望模型的线性模型,从而可以有效地克服第一图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,或者,第三图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,线性模型与期望模型偏离的缺陷,进而在根据该线性模型对当前编码块的分量进行预测时,能够大大提高视频图像分量预测值的预测精度,使视频图像分量预测值更加接近真实的视频图像分量值。

附图说明

图1为视频编码流程示意图;

图2为视频解码流程示意图;

图3为相邻参考采样的位置示意图一;

图4为相邻参考采样的位置示意图二;

图5为现有技术中确定线性模型的示意图一;

图6为现有技术中确定线性模型的示意图二;

图7为本申请实施例提出的一种视频图像分量的预测方法的实现流程示意图;

图8为本申请实施例中剔除干扰点的示意图;

图9为本申请实施例提出的预测装置的组成结构示意图一;

图10为本申请实施例提出的预测装置的组成结构示意图二。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅仅用于解释相关申请,而非对该申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关申请相关的部分。

在视频图像中,一般采用第一图像分量、第二图像分量和第三图像分量来表征编码块;其中,第一图像分量、第二图像分量和第三图像分量可以包括一个亮度分量与两个色度分量。具体地,亮度分量通常使用符号Y表示,色度分量通常使用符号Cb、Cr表示,其中,Cb表示为蓝色色度分量,Cr表示为红色色度分量。

需要说明的是,在本申请的实施例中,第一图像分量、第二图像分量和第三图像分量可以分别为亮度分量Y、蓝色色度分量Cb以及红色色度分量Cr,例如,第一图像分量可以为亮度分量Y,第二图像分量可以为红色色度分量Cr,第三图像分量可以为蓝色色度分量Cb,本申请实施例对此并不作具体限定。

进一步地,在本申请的实施例中,常用的亮度分量和色度分量分开表示的采样格式也称为YCbCr格式,其中,YCbCr格式可以包括4:4:4格式;4:2:2格式以及4:2:0格式。

在视频图像采用YCbCr为4:2:0格式的情况下,若视频图像的亮度分量为2N×2N大小的编码块,则对应的色度分量为N×N大小的编码块,其中N为编码块的边长。在本发明实施例中,将以4:2:0格式为例进行描述,但是本发明实施例的技术方案同样适用于其他采样格式。

在本申请的实施例中,上述视频图像分量的预测方法可以应用于视频编码混合框架中的帧内预测部分,具体地,上述视频图像分量的预测方法可以对编码端和解码端同时作用。例如,图1为视频编码流程示意图,如图1所示,视频编码可以包括帧内估计、帧内预测以及运动补偿等多个具体步骤,其中,本申请提出的视频图像分量的预测方法可以应用于帧内预测部分;图2为视频解码流程示意图,如图2所示,视频解码可以包括滤波、帧内预测以及运动补偿等多个具体步骤,其中,本申请提出的视频图像分量的预测方法可以应用于帧内预测部分。

在H.266中,为了进一步提升了编码性能和编码效率,针对分量间预测(Cross-component Prediction,CCP)进行了扩展改进,提出了分量间计算模型预测(Cross-component Linear Model Prediction,CCLM)。在H.266中,CCLM实现了第一图像分量到第二图像分量、第一图像分量到第三图像分量以及第二图像分量与第三图像分量之间的预测,下面将以第一图像分量到第二图像分量的预测为例进行描述,但是本申请实施例的技术方案同样也可以适用于其他图像分量的预测。

具体地,现有技术中,CCLM方法在实现亮度分量到色度分量的预测时,为了减少亮度分量与色度分量间和不同色度分量之间的冗余,在下一代视频编码标准的解码器,例如H.266/VVC早期测试模型(Joint Exploration Model,JEM)或VVC测试模型(VVC Testmodel,VTM)中使用分量间线性模型预测模式。例如根据公式(1),利用同一编码块的重建亮度值构造色度的预测值:

Pred

其中,i,j表示编码块中采样点的位置坐标,i表示水平方向,j表示竖直方向,Pred

其中,L(n)表示经过下采样的第一图像分量相邻参考值(例如左侧和上侧),C(n)表示第二图像分量相邻参考值(例如左侧和上侧),N为第二图像分量相邻参考值的个数。图3为相邻参考采样的位置示意图一,图4为相邻参考采样的位置示意图二,如图3和图4所示,L(n)和C(n)为相邻参考像素点,N为第二图像分量相邻参考值的个数,其中,对于4:2:0格式的视频图像来说,一个2N×2N大小的第一图像分量编码块,如图3所示,相应的第二图像分量的大小为N×N,如图4所示。对于方形编码块,这两个等式可以直接应用。对于非方形的编码块,较长边缘的邻近采样首先进行下采样,得到与较短边缘采样数量相等的采样数。α和β并不需要传输,在解码器中也通过公式(2)计算得到;在本申请的实施例中,对此不作具体限定。

图5为现有技术中确定线性模型的示意图一,如图5所示,a、b、c为第一图像分量相邻参考值,A、B、C为第二图像分量相邻参考值,e为当前编码块的第一图像分量重建值,E为当前编码块的第二图像分量预测值;其中,利用当前编码块所有的第一图像分量相邻参考值L(n)和第二图像分量相邻参考值C(n),根据式(2)可以计算得出

具体地,现有技术中,CCLM预测模式除包含以亮度分量对色度分量预测的方法之外,即以第一图像分量对第二图像分量进行预测,或者以第一图像分量对第三图像分量进行预测的方法之外,也包含两个色度分量之间的预测,即还包含第二图像分量与第三图像分量之间的预测方法,其中,在本申请的实施例中,既可以从Cb分量预测Cr分量,也可以从Cr分量预测Cb分量。

需要说明的是,在本申请的实施例中中,CCLM中色度分量之间的预测,即第二图像分量与第三图像分量之间的预测可以应用于残差域。以对Cr分量进行预测为例,可以利用Cb残差预测Cr残差。Cr分量的最终预测值通过Cr分量的传统帧内预测值添加一个带权重的重建Cb残差得到,如公式(3)所示:

Pred*

其中,

其中,Cb(n)表示上述当前编码块的相邻参考Cb值,Cr(n)表示上述当前编码块的相邻参考Cr值,λ可以为一个经验值,例如,λ=∑(Cb(n)·Cb(n))>>9。

然而,现有技术在根据第一图像分量预测第二图像分量或第三图像分量计算线性模型时,往往只考虑第一图像分量相邻参考值、第二图像分量相邻参考值或者第三图像分量相邻参考值,例如上述图5所示,利用相邻的全部第一图像分量相邻参考值L(n)和全部第二图像分量相邻参考值C(n)计算获得比例因子α和β。然后将当前编码块的第一图像分量重建值代入至线性模型得到当前编码块的第二图像分量预测值。在这个过程中,并没有考虑当前编码块的第一图像分量重建值和第一图像分量相邻参考值的相关性,若采用偏离当前亮度值较多的第一图像分量相邻参考值构建线性模型,就可能导致当前编码块第二图像分量预测值或者第三图像分量预测值偏离实际图像分量值较远,降低预测精度。例如,图6为现有技术中确定线性模型的示意图二,如图6所示,像素点b、c偏离当前编码块的重建亮度值,它们和对应的色度值之间的对应偏离当前编码块的重建亮度值和对应的色度值之间的线性关系,按照现有技术的计算方法,b、c两个像素点也会被用于计算线性模型的参数,导致推导得到的线性模型偏离我们期望得到的线性模型。

在本申请的实施例中,视频图像分量的预测方法提出基于分量相关性的线性模型计算方法,具体地,在计算线性模型的比例因子时,不仅仅考虑第一图像分量相邻参考值、第二图像分量相邻参考值或者第三图像分量相邻参考值,还考虑当前编码块的第一图像分量重建值和第一图像分量相邻参考值之间的相关性和相似程度,然后根据相似程度对相邻参考像素点进行加权或者筛选,从而使线性模型参数更贴合当前第一图像分量重建值,进一步使当前编码块的第二图像分量预测值或者第三图像分量预测值更精确。

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,其中,在下面的各个实施例中,第一图像分量可以为亮度分量Y,第二图像分量可以为红色色度分量Cr,第三图像分量可以为蓝色色度分量Cb,本申请实施例对此并不作具体限定。

实施例一

本申请实施例提供了一种视频图像分量的预测方法,图7为本申请实施例提出的一种视频图像分量的预测方法的实现流程示意图,如图7所示,在本申请的实施例中,上述预测装置进行视频图像分量预测的方法可以包括以下步骤:

步骤101、获取当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值;其中,第一图像分量相邻参考值用于表征当前编码块的相邻参考点对应的第一图像分量参数,第一图像分量重建值用于表征与当前编码块对应的一个或者多个第一图像分量的重建参数。

在本申请的实施例中,上述预测装置可以先获取当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值。需要说明的是,在本申请的实施例中,上述当前编码块为上述预测装置划分的、包括有至少一个像素点的编码块。

需要说明的是,在本申请的实施例中,上述第一图像分量相邻参考值用于表征与上述当前编码块的相邻参考点对应的第一图像分量参数。其中,对于下采样方式,当上述当前编码块包含有一个像素点时,对应的相邻参考点可以为该一个像素点上侧和左侧的各一个像素点;当上述当前编码块包含有多个像素点时,对应的相邻参考点可以为该多个像素点上侧和左侧的多个像素点。

进一步地,在本申请的实施例中,上述相邻参考点为与上述当前编码块相邻的像素点,具体地,在本申请的实施例中,对于下采样方式,上述相邻参考点可以为位于上述当前编码块左侧和上侧的相邻像素点。

需要说明的是,在本申请的实施例中,上述预测装置在获取上述第一图像分量相邻参考值时,可以获取上述相邻参考点对应的全部第一图像分量相邻参考值。具体地,在本申请的实施例中,一个相邻参考点对应的一个第一图像分量相邻参考值,即当上述相邻参考点为多个像素点时,上述预测装置便可以获取与上述多个像素点对应的多个第一图像分量相邻参考值。

进一步地,在本申请的实施例中,上述第一图像分量重建值用于表征与上述当前编码块对应的一个或者多个第一图像分量的重建参数,具体地,在本申请的实施例中,当上述当前编码块包含有一个像素点时,对应的第一图像分量的重建参数为一个;当上述当前编码块包含有多个像素点时,对应的第一图像分量的重建参数为多个。

需要说明的是,在本申请的实施例中,上述预测装置在获取上述第一图像分量重建值时,可以获取上述当前编码块对应的全部第一图像分量重建值。具体地,在本申请的实施例中,上述当前编码块中的一个像素点对应的一个第一图像分量重建值。

步骤102、根据第一图像分量相邻参考值和第一图像分量重建值,确定相关系数;其中,相关系数用于表征当前编码块和相邻参考点之间的图像分量偏离程度。

在本申请的实施例中,上述预测装置在获取上述当前编码块对应的上述第一图像分量相邻参考值和上述第一图像分量重建值之后,可以根据上述第一图像分量相邻参考值和上述第一图像分量重建值,进一步确定相关系数。

需要说明的是,在本申请的实施例中,上述相关系数可以用于表征上述当前编码块和上述相邻参考点之间的图像分量偏离程度,具体地,上述相关系数可以用于表征上述当前编码块对应的上述第一图像分量重建值和上述相邻参考点对应的上述第一图像分量相邻参考值之间的相关性。

进一步地,在本申请的实施例中,上述预测装置在根据上述第一图像分量相邻参考值和上述第一图像分量重建值进行上述相关系数的确定时,可以对上述第一图像分量相邻参考值和上述第一图像分量重建值进行差值计算,从而根据差值结果进一步确定上述相关系数;同时,上述预测装置在根据上述第一图像分量相邻参考值和上述第一图像分量重建值进行上述相关系数的确定时,也可以对上述第一图像分量相邻参考值对应的矩阵和上述第一图像分量重建值对应的矩阵进行矩阵乘法计算,从而根据乘积结果进一步确定上述相关系数。

步骤103、将相关系数输入至预设权重计算模型中,获得相邻参考点对应的权重系数。

在本申请的实施例中,上述预测装置在根据上述第一图像分量相邻参考值和上述第一图像分量重建值,确定上述相关系数之后,可以将上述相关系数输入至预设权重计算模型中,从而便可以获得上述相邻参考点对应的权重系数。

需要说明的是,在本申请的实施例中,上述预设权重计算模型为上述预测装置预先设定的、用于根据上述相关系数进行权重进行分配的计算模型。

进一步地,在本申请的实施例中,上述权重系数可以为在对上述当前编码块对应的第二图像分量预测值进行预测时,按照上述相邻参考点与上述当前编码块之间的相关性进行计算的权重值。

需要说明的是,在本申请的实施例中,上述相邻参考点中的一个参考点与上述当前编码块之间的相关性越大,那么相应地,上述一个参考点所对应的权重值也就越大。

需要说明的是,在本申请的实施例中,在对上述第二图像分量预测值进行计算时,上述相邻参考点中的任一个参考点都有与其相对应的上述权重系数。

进一步地,在本申请的实施例中,上述预测装置在确定上述权重系数时,可以通过上述预设权重计算模型进行计算,具体地,在本申请的实施例中,上述权重计算模型如下公式(5)所示:

其中,L(n)表示下采样的左侧和上侧第一图像分量相邻参考值,

步骤104、根据权重系数确定比例因子。

在本申请的实施例中,上述预测装置在将上述相关系数输入至预设权重计算模型中,获得上述相邻参考点对应的上述权重系数之后,可以根据上述权重系数确定比例因子。

需要说明的是,在本申请的实施例中,上述比例因子可以为上述预测装置进行视频图像分量预测时获得的线性模型中的系数。

进一步地,在本申请的实施例中,对于不同的预测模式,上述比例因子为不相同的系数,例如,如果上述预设装置通过第一图像分量对第二图像分量或第三图像分量进行预测时,上述比例因子可以为上述公式(1)中的

步骤105、通过比例因子,获得当前编码块对应的第二图像分量预测值。

在本申请的实施例中,上述预测装置在根据上述权重系数确定上述比例因子之后,可以通过上述比例因子进一步获得上述当前编码块对应的第二图像分量预测值。其中,上述第二图像分量预测值即为上述预测装置对上述当前编码块进行第二分量预测所获得的预测结果。

需要说明的是,在本申请的实施例中,上述预测装置在根据上述比例因子获得上述第二图像分量预测值时,可以先根据上述比例因子建立用于视频图像分量预测的线性模型。

进一步地,在本申请的实施例中,对于不同的预测模式,上述预测装置所建立的线性模型也是不同的,即通过第一图像分量对第二图像分量或者第三图像分量进行预测时建立的线性模型,和进行第二图像分量与第三图像分量之间的预测时建立的线性模型并不相同。

需要说明的是,在本申请的实施例中,通过第一图像分量对第二图像分量或者第三图像分量进行预测时获得的上述第二图像分量预测值为上述当前编码块对应的第二图像分量或者第三图像分量,即Cb分量或Cr分量;进行第二图像分量与第三图像分量之间的预测时获得的上述第二图像分量预测值为上述当前编码块对应的第二图像分量或者第三图像分量,即Cb分量或Cr分量。

进一步地,在本申请的实施例中,上述预测装置在根据上述比例因子建立上述线性模型之后,可以根据上述线性模型对上述当前编码块进行视频图像分量预测,从而便可以获得上述第二图像分量预测值。

进一步地,在本申请的实施例中,目前有两种CCLM的预测模式:一种是单模型CCLM的预测模式;另一种是多模型CCLM(Multiple Model CCLM,MMLM)的预测模式,也称为MMLM的预测模式。顾名思义,单一模型CCLM的预测模式则是只有一种线性模型从第一图像分量对第二图像分量或者第三图像分量进行预测;而MMLM的预测模式则是有多种线性模型从第一图像分量对第二图像分量或者第三图像分量进行预测。例如,在MMLM的预测模式中,将当前编码块的第一图像分量相邻参考值和第二图像分量相邻参考值分成两组,每一组均可以单独作为推导线性模型参数的训练集,即每一个分组都能推导出一组比例因子。因此,本申请实施例提出的视频图像分量的预测方法也可以应用于MMLM的预测模式中,同样可以克服第一图像分量相邻参考值与当前编码块对应的参数存在较大偏离时,或者,第三图像分量相邻参考值与当前编码块对应的参数存在较大偏离时,线性模型与期望模型偏离的缺陷,进而在根据该线性模型对当前编码块的第二图像分量进行预测时,能够大大提高第二图像分量预测值的预测精度。

由此可见,在本申请的实施例中,预测装置在本申请的实施例中,预测装置可以基于当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值进行相关系数的确定,从而可以实现根据相邻参考点和当前编码块之间的分量参数的相关性,为不同的相邻参考点分配不同的权重系数,以构建更加符合期望模型的线性模型,从而可以有效地克服第一图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,或者,第三图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,线性模型与期望模型偏离的缺陷,进而在根据该线性模型对当前编码块的分量进行预测时,能够大大提高视频图像分量预测值的预测精度,使视频图像分量预测值更加接近真实的视频图像分量值。

实施例二

基于上述实施例一,在本申请的实施例中,上述预测装置根据所述第一图像分量相邻参考值和所述第一图像分量重建值,确定相关系数的方法可以包括以下步骤:

步骤102a、将第一图像分量相邻参考值中的任一个参考值分别和每一个第一图像分量重建值进行差值运算,获得任一个参考值对应的分量差值;其中,一个第一图像分量相邻参考值和一个第一图像分量重建值对应一个差值。

在本申请的实施例中,上述预测装置在获取上述当前编码块对应的上述第一图像分量相邻参考值和上述第一图像分量重建值之后,可以将上述第一图像分量相邻参考值中的任一个参考值分别和每一个上述第一图像分量重建值进行差值运算,获得上述任一个参考值对应的分量差值。

需要说明的是,在本申请的实施例中,上述第一图像分量相邻参考值中的一个参考值和上述第一图像分量重建值中的一个第一图像分量重建值对应一个差值。

进一步地,在本申请的实施例中,上述预测装置对上述第一图像分量相邻参考值中的任一个参考值分别和每一个上述第一图像分量重建值进行差值运算,可以表征上述相邻参考点和上述当前编码模块之间的视频图像分量相关程度。

需要说明的是,在本申请的实施例中,上述分量差值越大,可以认为上述相邻参考点和上述当前编码模块之间的相关程度越小。

步骤102b、将分量差值中最小的差值确定为相关系数。

在本申请的实施例中,上述预测装置在将上述第一图像分量相邻参考值中的任一个参考值分别和每一个第一图像分量重建值进行差值运算,获得上述任一个参考值对应的上述分量差值之后,可以将上述分量差值中最小的差值确定为上述相关系数。

需要说明的是,在本申请的实施例中,上述预测装置在从上述分量差值中确定出最小的差值之后,可以进一步根据该最小差值确定上述相关系数。

进一步地,在本申请的实施例中,上述分量差值越小,可以认为上述相邻参考点和上述当前编码模块之间的相关程度越大,因此上述预测装置可以根据上述分量差值中最小的差值对上述相关因子进行确定。

进一步地,在本申请的实施例中,上述预测装置在将上述第一图像分量相邻参考值中的任一个参考值分别和每一个上述第一图像分量重建值进行差值运算,获得上述任一个参考值对应的分量差值之后,且上述根据上述权重系数确定比例因子之前,上述预测装置进行视频图像分量预测的方法还可以包括以下步骤:

步骤106、当任一个参考值对应的分量差值均大于预设差值阈值时,将任一个参考值对应的相邻参考点的权重系数设置为零。

在本申请的实施例中,上述预测装置在将上述第一图像分量相邻参考值中的任一个参考值分别和每一个上述第一图像分量重建值进行差值运算,获得上述任一个参考值对应的上述分量差值之后,且在根据上述权重系数确定上述比例因子之前,如果上述任一个参考值对应的上述分量差值均大于预设差值阈值,那么上述预测装置便可以将上述任一个参考值对应的相邻参考点的上述权重系数设置为零。

需要说明的是,在发明的实施例中,上述预测装置在获得上述任一个参考值对应的上述分量差值之后,可以将上述分量差值与上述预设差值阈值进行比较,如果上述任一个参考值对应的上述分量差值全部大于上述预设差值阈值,那么可以认为上述任一个第一图像分量相邻参考值与上述当前编码块之间存在较大偏差,因此上述预测装置便可以将上述任一个第一图像分量相邻参考值对应的相邻参考点剔除,即将上述任一个参考值对应的相邻参考点的上述权重系数设置为零。

进一步地,在发明的实施例中,上述预测装置在计算线性模型之前,可以考虑上述当前编码块的上述第一图像分量重建值和上述第一图像分量相邻参考值的相关性。即根据上述第一图像分量相邻参考值与上述第一图像分量重建值之间的差值对上述第一图像分量相邻参考值进行筛选。

进一步地,在发明的实施例中,上述预测装置可以预先设置一个阈值,即上述预设差值阈值,然后遍历上述第一图像分量相邻参考值中的每一个参考值,分别与上述当前编码块中的每一个上述第一图像分量重建值求差。如果上述第一图像分量相邻参考值中的某个第一图像分量相邻参考值与每一个上述第一图像分量重建值的差的最小值均大于上述预设差值阈值,上述预测装置可以认为该相邻参考点对于计算精确的线性模型是干扰点,因此可以把它剔除出线性模型的训练样本,从而可以使剔除完干扰点后的上述第一图像分量相邻参考值作为线性模型的训练样本来计算模型参数。

在发明的实施例中,图8为本申请实施例中剔除干扰点的示意图,如图8所示,如果当前编码块的第一图像分量相邻参考值有某些第一图像分量值偏离当前编码块的第一图像分量重建值,在计算线性模型时,把该点剔除,不作为线性模型的训练样本,此时计算出来的线性模型更加精确。

由此可见,在本申请的实施例中,在本申请的实施例中,预测装置可以基于当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值进行相关系数的确定,从而可以实现根据相邻参考点和当前编码块之间的分量参数的相关性,为不同的相邻参考点分配不同的权重系数,以构建更加符合期望模型的线性模型,从而可以有效地克服第一图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,或者,第三图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,线性模型与期望模型偏离的缺陷,进而在根据该线性模型对当前编码块的分量进行预测时,能够大大提高视频图像分量预测值的预测精度,使视频图像分量预测值更加接近真实的视频图像分量值。

实施例三

基于上述实施例一,在本申请的实施例中,上述预测装置根据上述权重系数确定比例因子之前,即步骤104之前,上述预测装置进行视频图像分量预测的方法还可以包括以下步骤:

步骤107、获取当前编码块对应的第二图像分量相邻参考值;其中,第二图像分量相邻参考值为相邻参考点对应的、不同于第一图像分量参数的第二分量参数。

在本申请的实施例中,上述预测装置在根据上述权重系数确定上述比例因子之前,可以先获取所述当前编码块对应的第二图像分量相邻参考值。

需要说明的是,在本申请的实施例中,所述第二图像分量相邻参考值为所述相邻参考点对应的、不同于所述第一图像分量参数的第二分量参数。

在本申请的实施例中,所述比例因子包括第一比例参数和第二比例参数,上述预测装置根据所述权重系数确定比例因子的方法可以包括以下步骤:

步骤104a、将权重系数、第一图像分量相邻参考值以及第二图像分量相邻参考值输入至第一预设因子计算模型中,获得第一比例参数。

在本发明的实施例中,上述预测装置在将上述相关系数输入至预设权重计算模型中,获得上述第一图像分量相邻参考值对应的上述权重系数之后,可以将上述权重系数、上述第一图像分量相邻参考值以及上述第二图像分量相邻参考值输入至第一预设因子计算模型中,获得上述第一比例参数。

需要说明的是,在本发明的实施例中,如果上述预设装置通过第一图像分量对第二图像分量进行预测时,上述比例因子可以包括上述第一比例参数和上述第二比例参数,其中,上述第一比例参数和上述第二比例参数用于根据上述第一图像分量重建值对上述第二图像分量预测值进行构建。

进一步地,在本申请的实施例中,如果上述预测装置根据上述第一图像分量相邻参考值和上述第二图像分量相邻参考值进一步确定上述第一比例参数的计算时,可以利用的上述第一预设因子计算模型如下公式(6)所示:

其中,α为第一比例参数,L(n)表示下采样的左侧和上侧第一图像分量相邻参考值,C(n)表示左侧和上侧第二图像分量相邻参考值,w(n)为每个第一图像分量相邻参考值对应的权重系数。

步骤104b、将权重系数、第一比例参数、第一图像分量相邻参考值以及第二图像分量相邻参考值输入至第二预设因子计算模型中,获得第二比例参数。

在本申请的实施例中,上述预测装置在将上述权重系数、上述第一图像分量相邻参考值以及上述第二图像分量相邻参考值输入至上述第一预设因子计算模型中,获得上述第一比例参数之后,可以继续将上述权重系数、上述第一比例参数、上述第一图像分量相邻参考值以及上述第二图像分量相邻参考值输入至第二预设因子计算模型中,从而便可以获得第二比例参数。

进一步地,在本申请的实施例中,如果上述预测装置根据上述第一图像分量相邻参考值和上述第二图像分量相邻参考值进一步确定上述第二比例参数的计算时,可以利用的上述第二预设因子计算模型如下公式(7)所示:

其中,β为第二比例参数,L(n)表示下采样的左侧和上侧第一图像分量相邻参考值,C(n)表示左侧和上侧第二图像分量相邻参考值,w(n)为每个相邻参考点的对应的权重系数。

在本申请的实施例中,进一步地,上述预测装置根据所述权重系数确定比例因子之前,即步骤104之前,上述预测装置进行视频图像分量预测的方法还可以包括以下步骤:

步骤108、获取当前编码块对应的第二图像分量相邻参考值和第三图像分量相邻参考值;其中,第二图像分量相邻参考值和第三图像分量相邻参考值分别表征相邻参考点的第二图像分量参数和第三图像分量参数。

在本申请的实施例中,上述预测装置根据上述权重系数确定上述比例因子之前,可以先获取上述当前编码块对应的第二图像分量相邻参考值和第三图像分量相邻参考值。

需要说明的是,在本申请的实施例中,所述第二图像分量相邻参考值和第三图像分量相邻参考值分别表征所述相邻参考点的第二图像分量参数和第三图像分量参数。具体地,上述第三图像分量相邻参考值和上述第二图像分量相邻参考值可以用于进行相同分量之间的预测。

进一步地,在本申请的实施例中,上述第三图像分量相邻参考值和上述第二图像分量相邻参考值可以分别为上述相邻参考点所对应的相邻参考Cb值和相邻参考Cr值。

在本申请的实施例中,进一步地,上述预测装置通过所述比例因子,获得所述当前编码块对应的第二图像分量预测值之前,即步骤105之前,上述预测装置进行视频图像分量预测的方法还可以包括以下步骤:

步骤109、获取当前编码块对应的第二图像分量估计值和第三图像分量重建残差。

在本申请的实施例中,上述预测装置根据上述比例因子,获得上述当前编码块对应的上述第二图像分量预测值之前,可以先获取上述当前编码块对应的第二图像分量估计值和第三图像分量重建残差。

需要说明的是,在本申请的实施例中,上述第二图像分量估计值为根据上述当前编码块对应的第二图像分量进行传统的分量预测获得的;上述第三图像分量重建残差用于表征上述当前编码块对应的第三图像分量的预测残差。

在本申请的实施例中,进一步地,所述比例因子包括第三比例参数,上述预测装置根据所述权重系数确定比例因子的方法可以包括以下步骤:

步骤104c、将权重系数、第三图像分量相邻参考值以及第二图像分量相邻参考值输入至第三预设因子计算模型中,获得第三比例参数。

在本发明的实施例中,上述预测装置在将上述相关系数输入至预设权重计算模型中,获得上述相邻参考点对应的上述权重系数之后,可以将上述权重系数、上述第三图像分量相邻参考值以及上述第二图像分量相邻参考值输入至第三预设因子计算模型中,获得上述第三比例参数。

需要说明的是,在本发明的实施例中,如果上述预设装置进行第二图像分量与第三图像分量之间的预测时,上述比例因子可以包括上述第三比例参数。

进一步地,在本申请的实施例中,如果上述预测装置根据上述第三图像分量相邻参考值以及上述第二图像分量相邻参考值进一步确定上述第三比例参数的计算时,可以利用的上述第三预设因子计算模型如下公式(8)所示:

其中,γ为第三比例参数,Cb(n)表示所述当前编码块的相邻参考Cb值,即第三图像分量相邻参考值;Cr(n)表示所述当前编码块的相邻参考Cr值,即第二图像分量相邻参考值;λ可以为一个经验值,w(n)为每个相邻参考点的对应的权重系数。

由此可见,在本申请的实施例中,在本申请的实施例中,预测装置可以基于当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值进行相关系数的确定,从而可以实现根据相邻参考点和当前编码块之间的分量参数的相关性,为不同的相邻参考点分配不同的权重系数,以构建更加符合期望模型的线性模型,从而可以有效地克服第一图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,或者,第三图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,线性模型与期望模型偏离的缺陷,进而在根据该线性模型对当前编码块的分量进行预测时,能够大大提高视频图像分量预测值的预测精度,使视频图像分量预测值更加接近真实的视频图像分量值。

实施例四

基于上述实施例三,在本申请的实施例中,上述预测装置通过所述比例因子,获得所述当前编码块对应的第二图像分量预测值的方法可以包括以下步骤:

步骤105a、根据第一比例参数、第二比例参数以及第一图像分量重建值,获得第二图像分量预测值。

在本申请的实施例中,上述预测装置在根据上述权重系数确定上述比例因子之后,可以根据包括有上述第一比例参数、上述第二比例参数的比例因子,以及上述第一图像分量重建值,进一步获得上述第二图像分量预测值。

需要说明的是,在本申请的实施例中,上述预测装置在获得包括上述第一比例参数、上述第二比例参数的比例因子之后,可以根据上述第一比例参数、上述第二比例参数以及上述第一图像分量重建值建立用于进行视频图像分量预测的线性模型,从而便可以根据该线性模型对上述当前编码块的第二图像分量进行构建,获得上述第二图像分量预测值。

进一步地,在本申请的实施例中,上述预测装置可以通过上述公式(1)对上述第二图像分量预测值进行确定,即上述预测装置可以根据上述第一比例参数、上述第二比例参数以及上述第一图像分量重建值,计算获得上述第二图像分量预测值。

在本申请的实施例中,上述预测装置通过所述比例因子,获得所述当前编码块对应的第二图像分量预测值的方法还可以包括以下步骤:

步骤105b、根据第三比例参数、第二图像分量估计值以及第三图像分量重建残差,获得第二图像分量预测值。

在本申请的实施例中,上述预测装置在根据上述权重系数确定上述比例因子之后,可以根据包括有上述第三比例参数的比例因子、上述第二图像分量估计值以及上述第三图像分量重建残差,进一步获得上述第二图像分量预测值。

需要说明的是,在本申请的实施例中,上述预测装置在获得包括上述第三比例参数的比例因子之后,可以根据上述第三比例参数、上述第二图像分量估计值以及上述第三图像分量重建残差,建立用于进行视频图像分量预测的线性模型,从而便可以根据该线性模型对上述当前编码块的第二图像分量进行构建,获得上述第二图像分量预测值。

进一步地,在本申请的实施例中,上述预测装置可以通过上述公式(3)对上述第二图像分量预测值进行确定,即上述预测装置可以根据上述第三比例参数、上述第二图像分量估计值以及上述第三图像分量重建残差,计算获得上述第二图像分量预测值。

由此可见,在本申请的实施例中,在本申请的实施例中,预测装置可以基于当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值进行相关系数的确定,从而可以实现根据相邻参考点和当前编码块之间的分量参数的相关性,为不同的相邻参考点分配不同的权重系数,以构建更加符合期望模型的线性模型,从而可以有效地克服第一图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,或者,第三图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,线性模型与期望模型偏离的缺陷,进而在根据该线性模型对当前编码块的分量进行预测时,能够大大提高视频图像分量预测值的预测精度,使视频图像分量预测值更加接近真实的视频图像分量值。

实施例五

基于上述实施例一至实施例四的同一发明构思下,图9为本申请实施例提出的预测装置的组成结构示意图一,如图9所示,本申请实施例提出的预测装置1可以包括获取部分11、确定部分12以及设置部分13。

获取部分11,配置于获取当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值;其中,所述第一图像分量相邻参考值用于表征所述当前编码块的相邻参考点对应的第一图像分量参数,所述第一图像分量重建值用于表征与所述当前编码块对应的一个或者多个第一图像分量的重建参数。

确定部分12,配置于在获取部分11获取当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值之后,根据所述第一图像分量相邻参考值和所述第一图像分量重建值,确定相关系数;其中,所述相关系数用于表征所述当前编码块和所述相邻参考点之间的图像分量偏离程度。

获取部分11,还配置于在确定部分12根据所述第一图像分量相邻参考值和所述第一图像分量重建值,确定相关系数之后,将所述相关系数输入至预设权重计算模型中,获得所述相邻参考点对应的权重系数。

确定部分12,还配置于在获取部分11将所述相关系数输入至预设权重计算模型中,获得所述相邻参考点对应的权重系数之后,根据所述权重系数确定比例因子。

获取部分11,还配置于在确定部分12根据所述权重系数确定比例因子之后,通过所述比例因子,获得所述当前编码块对应的第二图像分量预测值。

进一步地,在本申请的实施例中,所述确定部分12,具体配置于将所述第一图像分量相邻参考值中的任一个参考值分别和每一个所述第一图像分量重建值进行差值运算,获得所述任一个参考值对应的分量差值;其中,一个第一图像分量相邻参考值和一个第一图像分量重建值对应一个差值;以及将所述分量差值中最小的差值确定为所述相关系数。

进一步地,在本申请的实施例中,所述获取部分11,还配置于根据所述权重系数确定比例因子之前,获取所述当前编码块对应的第二图像分量相邻参考值;其中,所述第二图像分量相邻参考值为所述相邻参考点对应的、不同于所述第一图像分量参数的第二图像分量参数。

进一步地,在本申请的实施例中,所述比例因子包括第一比例参数和第二比例参数,所述确定部分12,还具体配置于将所述权重系数、所述第一图像分量相邻参考值以及所述第二图像分量相邻参考值输入至第一预设因子计算模型中,获得所述第一比例参数;以及将所述权重系数、所述第一比例参数、所述第一图像分量相邻参考值以及所述第二图像分量相邻参考值输入至第二预设因子计算模型中,获得所述第二比例参数。

进一步地,在本申请的实施例中,所述获取部分11,还配置于根据所述权重系数确定比例因子之前,获取所述当前编码块对应的第三图像分量相邻参考值和第二图像分量相邻参考值;其中,所述第二图像分量相邻参考值和第三图像分量相邻参考值分别表征所述相邻参考点的第二图像分量参数和第三图像分量参数。

进一步地,在本申请的实施例中,获取部分11,还配置于通过所述比例因子,获得所述当前编码块对应的第二图像分量预测值之前,获取所述当前编码块对应的第二图像分量估计值和第三图像分量重建残差;其中,所述第二图像分量估计值为根据所述当前编码块对应的第二图像分量进行分量预测获得的;所述第三图像分量重建残差用于表征所述当前编码块对应的预测残差。

进一步地,在本申请的实施例中,所述比例因子包括第三比例参数,确定部分12,还具体配置于将所述权重系数、所述第二图像分量相邻参考值以及所述第三图像分量相邻参考值输入至第三预设因子计算模型中,获得所述第三比例参数。

进一步地,在本申请的实施例中,获取部分11,具体配置于根据所述第一比例参数、所述第二比例参数以及所述第一图像分量重建值,获得所述第二图像分量预测值。

进一步地,在本申请的实施例中,获取部分11,还具体配置于根据所述第三比例参数、所述第二图像分量估计值以及所述第三图像分量重建残差,获得所述第二图像分量预测值。

进一步地,在本申请的实施例中,设置部分13,配置于所述将所述第一图像分量相邻参考值中的任一个参考值分别和每一个所述第一图像分量重建值进行差值运算,获得所述任一个参考值对应的分量差值之后,且所述根据所述权重系数确定比例因子之前,当所述任一个参考值对应的分量差值均大于预设差值阈值时,将所述任一个参考值对应的相邻参考点的权重系数设置为零。

图10为本申请实施例提出的预测装置的组成结构示意图二,如图10所示,本申请实施例提出的预测装置1还可以包括处理器14、存储有处理器14可执行指令的存储器15、通信接口16,和用于连接处理器14、存储器15以及通信接口16的总线17。

在本申请的实施例中,上述处理器14可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgRAMmable Logic Device,PLD)、现场可编程门阵列(Field ProgRAMmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。装置1还可以包括存储器15,该存储器15可以与处理器14连接,其中,存储器15用于存储可执行程序代码,该程序代码包括计算机操作指令,存储器15可能包含高速RAM存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。

在本申请的实施例中,总线17用于连接通信接口16、处理器14以及存储器15以及这些器件之间的相互通信。

在本申请的实施例中,存储器15,用于存储指令和数据。

进一步地,在本申请的实施例中,上述处理器14,用于获取当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值;其中,第一图像分量相邻参考值用于表征当前编码块的相邻参考点对应的第一图像分量参数,第一图像分量重建值用于表征与当前编码块对应的一个或者多个第一图像分量的重建参数;根据第一图像分量相邻参考值和第一图像分量重建值,确定相关系数;其中,相关系数用于表征当前编码块和相邻参考点之间的图像分量偏离程度;将相关系数输入至预设权重计算模型中,获得相邻参考点对应的权重系数;根据权重系数确定比例因子;通过比例因子,获得当前编码块对应的第二图像分量预测值。

在实际应用中,上述存储器15可以是易失性第一存储器(volatile memory),例如随机存取第一存储器(Random-Access Memory,RAM);或者非易失性第一存储器(non-volatile memory),例如只读第一存储器(Read-Only Memory,ROM),快闪第一存储器(flash memory),硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的第一存储器的组合,并向处理器14提供指令和数据。

另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提出的一种装置,该预测装置可以基于当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值进行相关系数的确定,从而可以实现根据相邻参考点和当前编码块之间的分量参数的相关性,为不同的相邻参考点分配不同的权重系数,以构建更加符合期望模型的线性模型,从而可以有效地克服第一图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,或者,第三图像分量相邻参考值与当前编码块对应的分量参数存在较大偏离时,线性模型与期望模型偏离的缺陷,进而在根据该线性模型对当前编码块的分量进行预测时,能够大大提高视频图像分量预测值的预测精度,使视频图像分量预测值更加接近真实的视频图像分量值。

本申请实施例提供第一计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如实施例一至实施例四的方法。

具体来讲,本实施例中的一种视频图像分量的预测方法对应的程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种视频图像分量的预测方法对应的程序指令被一电子设备读取或被执行时,包括如下步骤:

获取当前编码块对应的第一图像分量相邻参考值和第一图像分量重建值;其中,所述第一图像分量相邻参考值用于表征所述当前编码块的相邻参考点对应的第一图像分量参数,所述第一图像分量重建值用于表征与所述当前编码块对应的一个或者多个第一图像分量的重建参数;

根据所述第一图像分量相邻参考值和所述第一图像分量重建值,确定相关系数;其中,所述相关系数用于表征所述当前编码块和所述相邻参考点之间的图像分量偏离程度;

将所述相关系数输入至预设权重计算模型中,获得所述相邻参考点对应的权重系数;

根据所述权重系数确定比例因子;

通过所述比例因子,获得所述当前编码块对应的第二图像分量预测值。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。

技术分类

06120115927889