一种基于可伸缩编码的码率控制方法及系统

技术领域

本发明涉及编码技术领域，特别涉及一种基于可伸缩编码的码率控制方法及系统。

背景技术

当前流媒体服务器端的码率控制机制中，一般通过转码来得到多个码率的视频流，然后根据网络条件选择合适码率的视频流来发送。

然而，实际的转码流程非常复杂，且需要消耗大量CPU/GPU资源，在视频路数较多而服务器资源受限的情况下是不可行的。

鉴于此，目前需要一种更加高效的码率控制方法。

发明内容

本发明提供一种基于可伸缩编码的码率控制方法及系统，能够提高码率控制的效率。

鉴于此，本发明一方面提供一种基于可伸缩编码的码率控制方法，所述方法包括：

获取待编码的目标视频，并识别所述目标视频的基础层和增强层；

将所述增强层的视频画面划分为多个图像块，并检测各个图像块中包含的目标对象，基于目标对象的内容，为所述图像块设置区块标识；

从所述区块标识中识别表征前景图像的目标区块标识，并在所述基础层中为所述目标区块标识对应的图像块匹配基础图像块；

获取所述基础图像块的编码参数，并对所述编码参数进行增强处理，生成增强编码参数，并按照所述增强编码参数对所述目标区块标识对应的图像块进行编码。

在一个实施方式中，基于目标对象的内容，为所述图像块设置区块标识包括：

识别所述增强层的视频画面当前的语义信息，并确定所述语义信息表征的代表对象；

针对任一图像块，判断所述图像块中包含的目标对象是否为所述代表对象，若是，确定所述图像块中包含的代表对象的画面比例，并基于所述画面比例为所述图像块设置区块标识。

在一个实施方式中，从所述区块标识中识别表征前景图像的目标区块标识包括：

识别所述区块标识表征的画面比例，若所述画面比例大于或者等于指定比例阈值，将所述区块标识作为表征前景图像的目标区块标识。

在一个实施方式中，对所述编码参数进行增强处理，生成增强编码参数包括：

识别所述编码参数对应的采样系数，并将所述采样系数对应的采样点作为基准点，在任意相邻的两个基准点之间插入增强点；

统计插入了增强点之后的采样系数，并基于统计的采样系数构建针对所述目标区块标识的增强编码参数。

在一个实施方式中，在任意相邻的两个基准点之间插入增强点包括：

针对任意相邻的两个基准点，在所述基础层中构建包含所述两个基准点的邻域；

对所述邻域中的各个像素点进行平滑处理，并计算平滑处理后的邻域中的像素平均值，并将所述像素平均值对应的像素点作为插入的增强点；

其中，具体步骤包括，

步骤A1：利用公式(1)根据所述邻域中的各个像素点得到进行平滑处理的浮动基准值

其中Δh表示进行平滑处理的浮动基准值；H(a)表示所述邻域中的第a个像素点的像素值；n表示所述邻域中的像素点总个数；

步骤A2：利用公式(2)根据所述平滑处理的浮动基准值对所述邻域中的各个像素点进行平滑处理，得到所述邻域中的各个像素点的新的像素值

其中H′(a)表示所述邻域中的第a个像素点的新的像素值；max{,}表示求取括号内逗号左右两端的最大值；

步骤A3：利用公式(3)根据所述邻域中的各个像素点的新的像素值进行计算得到平滑处理后的邻域中的像素平均值

其中

本发明另一方面提供一种基于可伸缩编码的码率控制系统，所述系统包括：

视频处理单元，用于获取待编码的目标视频，并识别所述目标视频的基础层和增强层；

标识设置单元，用于将所述增强层的视频画面划分为多个图像块，并检测各个图像块中包含的目标对象，基于目标对象的内容，为所述图像块设置区块标识；

匹配单元，用于从所述区块标识中识别表征前景图像的目标区块标识，并在所述基础层中为所述目标区块标识对应的图像块匹配基础图像块；

增强编码单元，用于获取所述基础图像块的编码参数，并对所述编码参数进行增强处理，生成增强编码参数，并按照所述增强编码参数对所述目标区块标识对应的图像块进行编码。

在一个实施方式中，所述标识设置单元具体用于，识别所述增强层的视频画面当前的语义信息，并确定所述语义信息表征的代表对象；针对任一图像块，判断所述图像块中包含的目标对象是否为所述代表对象，若是，确定所述图像块中包含的代表对象的画面比例，并基于所述画面比例为所述图像块设置区块标识。

在一个实施方式中，所述匹配单元具体用于，识别所述区块标识表征的画面比例，若所述画面比例大于或者等于指定比例阈值，将所述区块标识作为表征前景图像的目标区块标识。

在一个实施方式中，所述增强编码单元具体用于，识别所述编码参数对应的采样系数，并将所述采样系数对应的采样点作为基准点，在任意相邻的两个基准点之间插入增强点；统计插入了增强点之后的采样系数，并基于统计的采样系数构建针对所述目标区块标识的增强编码参数。

在一个实施方式中，所述增强编码单元具体用于，针对任意相邻的两个基准点，在所述基础层中构建包含所述两个基准点的邻域；对所述邻域中的各个像素点进行平滑处理，并计算平滑处理后的邻域中的像素平均值，并将所述像素平均值对应的像素点作为插入的增强点。

本发明提供的技术方案，针对基础层和增强层可以采用不同的参数进行编码，并且针对增强层，为了提高编码效率，可以针对表征前景图像的图像块设置独立的增强编码参数。这样，基础层可以具备较低的码率，主要实现视频画面的快速传输；增强层则可以在用户视觉层面比较敏感的图像块中进行增强编码，在其它图像块可以依然采用基础层的参数进行编码，一方面提高了画质感受度，另一方面还提高了编码效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于可伸缩编码的码率控制方法的步骤示意图；

图2为本发明实施例中一种基于可伸缩编码的码率控制系统的功能模块示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

请参阅图1，本申请一个实施方式提供一种基于可伸缩编码的码率控制方法，所述方法包括：

S1：获取待编码的目标视频，并识别所述目标视频的基础层和增强层；

S2：将所述增强层的视频画面划分为多个图像块，并检测各个图像块中包含的目标对象，基于目标对象的内容，为所述图像块设置区块标识；

S3：从所述区块标识中识别表征前景图像的目标区块标识，并在所述基础层中为所述目标区块标识对应的图像块匹配基础图像块；

S4：获取所述基础图像块的编码参数，并对所述编码参数进行增强处理，生成增强编码参数，并按照所述增强编码参数对所述目标区块标识对应的图像块进行编码。

在一个实施方式中，基于目标对象的内容，为所述图像块设置区块标识包括：

识别所述增强层的视频画面当前的语义信息，并确定所述语义信息表征的代表对象；

针对任一图像块，判断所述图像块中包含的目标对象是否为所述代表对象，若是，确定所述图像块中包含的代表对象的画面比例，并基于所述画面比例为所述图像块设置区块标识。

其中，语义信息可以基于完成训练的语义识别模型输出。通过对视频画面进行识别，可以得到视频画面当前所需要表达的视频内容，该视频内容可以通过文本形式的语义信息来表示。通常而言，语义信息往往对应着实体的代表对象，通过逐一地判断图像块中包含的目标对象是否为该代表对象，便可以确定出图像块是否为视觉层面比较重要的图像块。

针对视觉层面比较重要的图像块，可以进一步地判断代表对象在图像块中的画面比例，如果画面比例较高，则可以采用增强的参数对图像块进行编码，以提升画面展示效果。

在一个实施方式中，从所述区块标识中识别表征前景图像的目标区块标识包括：

识别所述区块标识表征的画面比例，若所述画面比例大于或者等于指定比例阈值，将所述区块标识作为表征前景图像的目标区块标识。

画面比例大于或者等于指定比例阈值，表明图像块中绝大多数的画面都是用来展示代表对象，此时可以将该图像块的区块标识作为表征前景图像的目标区块标志。

在一个实施方式中，对所述编码参数进行增强处理，生成增强编码参数包括：

识别所述编码参数对应的采样系数，并将所述采样系数对应的采样点作为基准点，在任意相邻的两个基准点之间插入增强点；

统计插入了增强点之后的采样系数，并基于统计的采样系数构建针对所述目标区块标识的增强编码参数。

其中，采样系数可以限定视频画面中的采样点，采样点越多，视频画面的表现效果越好。通过在基础层的采样点之间插入额外的增强点，可以丰富采样点的数量，从而提高增强层的表现效果。

在一个实施方式中，在任意相邻的两个基准点之间插入增强点包括：

针对任意相邻的两个基准点，在所述基础层中构建包含所述两个基准点的邻域；

对所述邻域中的各个像素点进行平滑处理，并计算平滑处理后的邻域中的像素平均值，并将所述像素平均值对应的像素点作为插入的增强点；

其中，具体步骤包括，

步骤A1：利用公式(1)根据所述邻域中的各个像素点得到进行平滑处理的浮动基准值

其中Δh表示进行平滑处理的浮动基准值；H(a)表示所述邻域中的第a个像素点的像素值；n表示所述邻域中的像素点总个数；

步骤A2：利用公式(2)根据所述平滑处理的浮动基准值对所述邻域中的各个像素点进行平滑处理，得到所述邻域中的各个像素点的新的像素值

其中H′(a)表示所述邻域中的第a个像素点的新的像素值；max{,}表示求取括号内逗号左右两端的最大值；

步骤A3：利用公式(3)根据所述邻域中的各个像素点的新的像素值进行计算得到平滑处理后的邻域中的像素平均值

其中

上述技术方案的有益效果是：利用步骤A1的公式(1)根据所述邻域中的各个像素点得到进行平滑处理的浮动基准值，从而奠定理论基础，为后续的计算铺路；再利用步骤A2的公式(2)根据所述平滑处理的浮动基准值对所述邻域中的各个像素点进行平滑处理，得到所述邻域中的各个像素点的新的像素值，进而以一种新的计算方式进行平滑处理，确保平滑处理的可靠性；然后利用步骤A3的公式(3)根据所述邻域中的各个像素点的新的像素值进行计算得到平滑处理后的邻域中的像素平均值，从而准确可靠的计算出所述平滑处理后的邻域中的像素平均值。

请参阅图2，本发明另一方面提供一种基于可伸缩编码的码率控制系统，所述系统包括：

视频处理单元，用于获取待编码的目标视频，并识别所述目标视频的基础层和增强层；

标识设置单元，用于将所述增强层的视频画面划分为多个图像块，并检测各个图像块中包含的目标对象，基于目标对象的内容，为所述图像块设置区块标识；

匹配单元，用于从所述区块标识中识别表征前景图像的目标区块标识，并在所述基础层中为所述目标区块标识对应的图像块匹配基础图像块；

增强编码单元，用于获取所述基础图像块的编码参数，并对所述编码参数进行增强处理，生成增强编码参数，并按照所述增强编码参数对所述目标区块标识对应的图像块进行编码。

在一个实施方式中，所述标识设置单元具体用于，识别所述增强层的视频画面当前的语义信息，并确定所述语义信息表征的代表对象；针对任一图像块，判断所述图像块中包含的目标对象是否为所述代表对象，若是，确定所述图像块中包含的代表对象的画面比例，并基于所述画面比例为所述图像块设置区块标识。

在一个实施方式中，所述匹配单元具体用于，识别所述区块标识表征的画面比例，若所述画面比例大于或者等于指定比例阈值，将所述区块标识作为表征前景图像的目标区块标识。

在一个实施方式中，所述增强编码单元具体用于，识别所述编码参数对应的采样系数，并将所述采样系数对应的采样点作为基准点，在任意相邻的两个基准点之间插入增强点；统计插入了增强点之后的采样系数，并基于统计的采样系数构建针对所述目标区块标识的增强编码参数。

在一个实施方式中，所述增强编码单元具体用于，针对任意相邻的两个基准点，在所述基础层中构建包含所述两个基准点的邻域；对所述邻域中的各个像素点进行平滑处理，并计算平滑处理后的邻域中的像素平均值，并将所述像素平均值对应的像素点作为插入的增强点。

本发明提供的技术方案，针对基础层和增强层可以采用不同的参数进行编码，并且针对增强层，为了提高编码效率，可以针对表征前景图像的图像块设置独立的增强编码参数。这样，基础层可以具备较低的码率，主要实现视频画面的快速传输；增强层则可以在用户视觉层面比较敏感的图像块中进行增强编码，在其它图像块可以依然采用基础层的参数进行编码，一方面提高了画质感受度，另一方面还提高了编码效率。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。