掌桥专利:专业的专利平台
掌桥专利
首页

视频评估模型训练方法、介质、装置和计算设备

文献发布时间:2023-06-19 19:30:30


视频评估模型训练方法、介质、装置和计算设备

技术领域

本公开的实施方式涉及计算机视觉领域,更具体地,本公开的实施方式涉及一种视频评估模型训练方法、介质、装置和计算设备。

背景技术

本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着多种具有拍摄功能的移动设备的普及以及多种视频平台的出现,降低了用户分享视频的门槛,方便了用户拍摄视频上传在视频平台进行分享,视频平台的用户可以观看其他用户分享的视频。

针对视频平台,会接收到用户上传的大量视频,由于移动设备和用户拍摄水平的不同,视频的质量是参差不齐的。因此需要对用户上传的视频进行视频评估,筛选出高质量的视频,从而提升用户的观看体验。

因此,如何提升视频评估的准确度,是提升用户的观看体验的关键。

发明内容

本公开提供一种视频评估模型训练方法、介质、装置和计算设备,用于提升视频评估的准确度。

在本公开实施方式的第一方面中,提供了一种视频评估模型训练方法,包括:通过失真算子集处理原始视频的图像帧,生成失真图像帧;所述失真算子集用于模拟失真;将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练;将带有人工质量评分的标注视频的标注图像帧输入所述失真特征提取模型,得到标注图像帧的失真特征;将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型。

在本公开的一个实施例中,所述方法还包括:将目标视频的多个图像帧输入失真特征提取模型,输出所述目标视频的多个图像帧的失真特征;将所述目标视频的多个图像帧的失真特征输入所述目标视频评估模型,输出所述目标视频的多个图像帧的模型质量评分;计算所述目标视频的多个图像帧的模型质量评分的算数平均值,作为所述目标视频的模型质量评分。

在本公开的另一个实施例中,所述失真算子集包括多个算子,所述算子对应各失真类别向量;所述通过失真算子集处理原始视频的图像帧,生成失真图像帧,包括:按照模拟参数数值递增或者递减来调节每个算子的模拟参数;其中,所述模拟参数控制模拟失真的强度;通过依次采用调节后的算子处理原始视频的图像帧,得到各失真类别下各失真强度的失真图像帧序列。

在本公开的又一个实施例中,所述将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练,包括:将所述失真图像帧序列中的失真图像帧按顺序输入失真特征提取模型,输出所述失真图像帧序列的失真评分序列以及所述失真图像帧的失真类别标签;通过所述失真评分序列以及预设的相邻失真评分间隔,构建所述失真评分序列的排序损失函数;通过所述失真图像帧的失真类别标签与失真图像帧对应的算子的失真类别向量的二元交叉熵,构建失真类别的损失函数;训练失真特征提取模型,直至所述失真评分序列的损失函数以及所述失真类别的损失函数小于第一阈值,则完成训练。

在本公开的再一个实施例中,所述将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型,包括:获取原始视频评估模型,将所述标注图像帧的失真特征输入所述原始视频评估模型,得到标注图像帧的模型质量评分;将所述标注图像帧的模型质量评分按照递增或者递减排序;通过排序后的标注图像帧的模型质量评分以及预设的相邻质量评分间隔,构建质量评分的排序损失函数;通过所述标注图像帧的模型质量评分以及所述标注图像帧的人工质量评分的误差,构建平均绝对误差的损失函数;训练所述原始视频评估模型,直至所述质量评分的排序损失函数以及所述平均绝对误差的损失函数小于第二阈值,则得到所述目标视频评估模型。

在本公开的再一个实施例中,所述失真类别包括以下至少一项:噪声失真、模糊失真、量化失真、上传失真以及编解码失真。

在本公开实施方式的第二方面中,提供了一种计算机可读存储介质,包括:所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面中任一项所述的视频评估模型训练方法。

在本公开实施方式的第三方面中,提供了一种视频评估模型训练装置,所述装置包括:模拟模块,用于通过失真算子集处理原始视频的图像帧,生成失真图像帧;所述失真算子集用于模拟失真;第一训练模块,用于将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练;提取模块,用于将带有人工质量评分的标注视频的标注图像帧输入所述失真特征提取模型,得到标注图像帧的失真特征;第二训练模块,用于将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型。

在本公开的一个实施例中,所述装置还包括:执行模块,用于将目标视频的多个图像帧输入失真特征提取模型,输出所述目标视频的多个图像帧的失真特征;所述执行模块,还用于将所述目标视频的多个图像帧的失真特征输入所述目标视频评估模型,输出所述目标视频的多个图像帧的模型质量评分;计算模块,用于计算所述目标视频的多个图像帧的模型质量评分的算数平均值,作为所述目标视频的模型质量评分。

在本公开的另一个实施例中,所述失真算子集包括多个算子,所述算子对应各失真类别向量;所述模拟模块,具体用于按照模拟参数数值递增或者递减来调节每个算子的模拟参数;其中,所述模拟参数控制模拟失真的强度;所述模拟模块,具体还用于通过依次采用调节后的算子处理原始视频的图像帧,得到各失真类别下各失真强度的失真图像帧序列。

在本公开的又一个实施例中,所述装置还包括:第一处理模块,用于将所述失真图像帧序列中的失真图像帧按顺序输入失真特征提取模型,输出所述失真图像帧序列的失真评分序列以及所述失真图像帧的失真类别标签;所述第一处理模块,还用于通过所述失真评分序列以及预设的相邻失真评分间隔,构建所述失真评分序列的排序损失函数;所述第一处理模块,还用于通过所述失真图像帧的失真类别标签与失真图像帧对应的算子的失真类别向量的二元交叉熵,构建失真类别的损失函数;所述第一处理模块,还用于训练失真特征提取模型,直至所述失真评分序列的损失函数以及所述失真类别的损失函数小于第一阈值,则完成训练。

在本公开的再一个实施例中,所述装置还包括:第二处理模块,用于获取原始视频评估模型,将所述标注图像帧的失真特征输入所述原始视频评估模型,得到标注图像帧的模型质量评分;将所述标注图像帧的模型质量评分按照递增或者递减排序;所述第二处理模块,还用于通过排序后的标注图像帧的模型质量评分以及预设的相邻质量评分间隔,构建质量评分的排序损失函数;所述第二处理模块,还用于通过所述标注图像帧的模型质量评分以及所述标注图像帧的人工质量评分的误差,构建平均绝对误差的损失函数;所述第二处理模块,还用于训练所述原始视频评估模型,直至所述质量评分的排序损失函数以及所述平均绝对误差的损失函数小于第二阈值,则得到所述目标视频评估模型。

在本公开的再一个实施例中,所述失真类别包括以下至少一项:噪声失真、模糊失真、量化失真、上传失真以及编解码失真。

在本公开实施方式的第四方面中,提供了一种计算设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述计算设备执行如本公开实施方式的第一方面中任一项所述的视频评估模型训练方法。

根据本公开的实施方式,通过失真特征提取模型,可以根据小批量的标注图像帧,生成大批量的标注图像帧的失真特征,以大批量的标注图像帧的失真特征作为训练集,可以提升视频评估模型的训练效果,从而提升视频评估的准确度。

附图说明

通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:

图1示意性地示出了根据本公开实施方式的应用场景的示意图;

图2示意性地示出了根据本公开一实施例的提供的视频评估模型训练方法的流程示意图;

图3示意性地示出了根据本公开一实施例提供的视频评估模型训练方法的流程示意图;

图4示意性地示出了根据本公开一实施例提供的构建失真数据集示例图;

图5示意性地示出了根据本公开一实施例提供的构建平均绝对误差的损失函数示例图;

图6示意性地示出了根据本公开一实施例提供的应用视频评估模型示例图;

图7示意性地示出了根据本公开一实施例提供的存储介质的结构示意图;

图8示意性地示出了根据本公开一实施例提供的视频评估模型训练装置的结构示意图;

图9示意性地示出了根据本公开一实施例提供的视频评估模型训练装置的结构示意图;

图10示意性地示出了根据本公开一实施例提供的计算设备的结构示意图。

在附图中,相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道,本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。本公开所涉及的数据可以为经用户授权或者经过各方充分授权的数据,对数据的采集、传播、使用等,均符合国家相关法律法规要求,本公开实施方式/实施例可以互相组合。

根据本公开的实施方式,提出了一种视频评估模型训练的方法、介质、装置和计算设备。

此外,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。

下面参考本公开的若干代表性实施方式,详细阐释本公开的原理和精神。

发明概述

本发明人发现,在相关技术中,通过人工的方式对训练视频进行打分得到质量标签,通过带质量评分标签的训练视频进行模型训练,得到视频评估模型。然而,受到人工效率的影响,人工打分的过程费时费力,得到的带质量标签的训练视频为小批量的,会导致训练的视频评估模型泛化能力差,影响用户的使用体验。

为了解决以上问题。本发明人训练失真特征提取模型,在不增加人工消耗的前提下,通过失真特征提取模型提取标注图像帧的多个失真特征,从而通过小批量的标注图像帧生成大批量的标注图像帧的失真特征,以大批量的标注图像帧进行视频评估模型训练,提升模型训练效果。

在介绍了本公开的基本原理之后,下面具体介绍本公开的各种非限制性实施方式。

应用场景总览

首先参考图1,图1为本公开实施方式提供的应用场景示意图。

如图1所示,视频评估模型用于自动对视频进行评分,视频输入视频评估模型,输出视频评估模型对视频的评分,评分是视频评估模型根据视频的多种失真情况得到的,评分越高的视频,失真强度越小。

示例性方法

下面结合图1的应用场景,参考图2-6来描述根据本公开示例性实施方式提供的视频评估模型训练方法。需要注意的是,上述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施方式在此方面不受任何限制。相反,本公开的实施方式可以应用于适用的任何场景。

本公开的实施方式的执行主体可以为视频评估模型训练装置,该视频评估模型训练装置的实现有多种。例如,视频评估模型训练装置可以为程序软件;或者,该装置还可以集成或安装或存储在实体设备上,例如,芯片、智能终端、电脑、服务器以及U盘等。

参考图2,图2为本公开一实施例提供的视频评估模型训练方法的流程示意图。如图2所示,视频评估模型训练方法包括:

S201、通过失真算子集处理原始视频的图像帧,生成失真图像帧;所述失真算子集用于模拟失真。

其中,失真算子集中的算子对应多种失真类别以及多种失真强度。失真的产生来源于视频拍摄过程以及视频传播过程等。视频拍摄过程引起的失真包括但不限于噪声失真、模糊失真以及量化失真等。视频传播过程失真包括但不限于上传失真以及编解码失真等。

举例来说,通过噪声失真算子对原始视频的图像帧进行处理,得到失真图像帧的失真类别为噪声失真。可以理解,通过失真算子集中的每个算子分别处理原始视频的图像帧,可以得到多个不同失真类别的失真图像帧。

S202、将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练。

其中,失真图像帧的失真类别以及失真强度为已知的,通过失真图像帧训练的失真特征提取模型用于提取任意图像帧的失真类别以及失真强度。

可选的,通过卷积神经网络训练失真特征提取模型。

S203、将带有人工质量评分的标注视频的标注图像帧输入所述失真特征提取模型,得到标注图像帧的失真特征。

其中,失真特征提取模型对标注图像帧进行处理,得到标注图像帧对应的多个失真特征。可以理解,通过失真特征提取模型,可以通过小批量的标注图像帧生成大批量的标注图像帧的失真特征,从而减少人力投入。

S204、将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到。

其中,原始视频评估模型为通过大批量不带有人工质量评分的图像帧的失真特征进行预训练得到的。在此基础上,通过标注图像帧的失真特征对原始视频评估模型进行训练,可以提升目标视频评估模型的评估准确度。可以理解,通过大批量不带有人工质量评分的视频失真特征进行预训练可以减少人力的投入,提升模型训练的效率。

本实施例提供的视频评估模型训练方法,通过失真特征提取模型,可以根据小批量的标注图像帧,生成大批量的标注图像帧的失真特征,以大批量的标注图像帧的失真特征作为训练集,可以提升视频评估模型的训练效果,从而提升视频评估的准确度。

在上述任意一个实施例的基础上,下面,结合图3,对视频评估模型训练的详细过程进行说明。

图3为本申请实施例提供的一种视频评估模型训练方法的流程示意图。如图3所示,该方法包括:

S301、按照模拟参数数值递增或者递减来调节每个算子的模拟参数;其中,所述模拟参数控制模拟失真的强度。

可选的,拍摄失真和传播失真分别构建算子集。构建包含N个算子的拍摄失真算子集,构建包含M个算子的传播失真算子集,其中N为拍摄失真类别的数量,M为传播失真类别的数量。每个算子均包含对应的模拟参数,通过调节模拟参数,可以调节对应的失真类别所对应的失真强度。

举例来说,构建拍摄失真算子集{F

其中,μ表征噪声均值,通常可设置为0。σ表征噪声的标准差,用于控制噪声的大小,通过对σ赋予不同的值,可以生成不同噪声强度等级的失真图像帧,若给σ分别赋予5个等级的值(2、4、8、12、16),则每个视频经过拍摄失真算法F

其中F

其中,B表征运动模糊后的图像帧,I表征原始图像帧,K表征运动模糊核,其中运动模糊核可以使用函数来模拟,函数有两个参数,其中角度参数随机得到,模拟不同运动的方向,运动模糊核的半径参数分别赋予5个等级的值(1、2、4、6、10),半径越大,运动模糊程度越高,则每个图像帧经过拍摄失真算法F

需要说明的是,本公开的实施方式不限制具体的失真类别以及具体的模拟参数调整方案。

S302、通过依次采用调节后的算子处理原始视频的图像帧,得到各失真类别下各失真强度的失真图像帧序列。

可以理解,通过调整模拟参数的算子分别处理原始视频的图像帧,可以通过小批量的原始视频的图像帧,生成大批量的失真图像帧。

可选的,对原始视频的图像帧先通过拍摄失真算子集进行处理,得到多个拍摄失真图像帧,对多个拍摄失真图像帧分别通过传播失真算子集进行处理,得到多个拍摄和传播失真图像帧,作为失真数据集,通过失真数据集训练失真特征提取模型。

结合图示的示例对构建失真数据集进行举例介绍,参考图4,图4为本公开一示例的构建失真数据集的示例图。获取原始视频的图像帧,原始视频为未经过失真处理的视频。通过拍摄失真算子集的每个调节后的算子依次对原始视频的图像帧进行处理,得到多个拍摄失真图像帧。通过传播失真算子集对的每个调节后的算子依次对多个拍摄失真图像帧进行处理,得到多个拍摄和传播失真图像帧,作为失真数据集。

S303、将所述失真图像帧作为输入,训练失真特征提取模型。

其中,失真特征提取模型包括拍摄失真特征提取模型以及传播失真特征提取模型。

作为一种可选的实施方式,训练失真特征提取模型包括:将所述失真图像帧序列中的失真图像帧按顺序输入失真特征提取模型,输出所述失真图像帧序列的失真评分序列以及所述失真图像帧的失真类别标签;通过所述失真评分序列以及预设的相邻失真评分间隔,构建所述失真评分序列的排序损失函数;通过所述失真图像帧的失真类别标签与失真图像帧对应的算子的失真类别向量的二元交叉熵,构建失真类别的损失函数;训练失真特征提取模型,直至所述失真评分序列的损失函数以及所述失真类别的损失函数小于第一阈值,则完成训练。

其中,由于每个算子的模拟参数是按照模拟参数数值递增或者递减来调节的,因此失真图像帧序列中的失真图像帧是按照失真强度递增或者递减排序的。

举例来说,构建失真评分序列的排序损失函数Loss_S为:

Loss_S=max(0,-(Sx-Sy)+margin)(4)

其中,Sx和Sy表征相邻的两个失真图像帧对应的人工质量评分,margin表征两个评分的预设间隔,例如可以为0.2。

构建失真类别的损失函数Loss_C为:

其中,yi表征失真类别标签的值,yi为1则失真图像帧属于第i类失真,yi为0则失真图像帧不属于第i类失真。p(y

举例来说,失真图像帧是按照失真强度递增或者递减排序的,因此排序损失函数可以验证失真特征提取模型的增减性。基于失真类别标签,失真类别的损失函数可以通过有监督的方式训练失真特征提取模型。

需要说明的是,本公开不限制损失函数的具体形式。

基于以上实施方式,结合失真评分序列的损失函数以及失真类别的损失函数,可以提升失真特征提取模型的准确度。

S304、将带有人工质量评分的标注视频的标注图像帧输入所述失真特征提取模型,得到标注图像帧的失真特征。

可选的,将标注图像帧分别输入拍摄失真特征提取模型以及传播失真特征提取模型,输出标注图像帧的多维度的拍摄失真特征以及多维度的传播失真特征。将拍摄失真特征以及传播失真特征拼接,得到标注图像帧的失真特征。

可以理解,通过拼接得到的失真特征可以从多个维度表征标注图像帧的失真类别以及失真强度。

S305、获取原始视频评估模型,获取预设的相邻质量评分间隔。

其中,原始视频评估模型为通过大批量不带有人工质量评分的图像帧的失真特征进行预训练得到的。可以理解,由于预训练的训练数据集为大批量失真特征,因此预训练得到的原始视频评估模型的泛化能力更好并且减少人力的投入。由于预训练的训练数据集不带有人工质量评分,因此评估准确度较低,通过带有人工质量评分的图像帧的失真特征进行二次训练,可以提升原始视频评估模型的评估准确度。

S306、将所述标注图像帧的失真特征输入所述原始视频评估模型,得到标注图像帧的模型质量评分;将所述标注图像帧的模型质量评分按照递增或者递减排序。

可选的,将标注图像帧的失真特征进行分组,将一组的标注图像帧的失真特征输入原始视频评估模型,得到原始视频评估模型输出的该组标注图像帧的失真特征对应的模型质量评分。

S307、构建质量评分的排序损失函数,构建平均绝对误差的损失函数。

可选的,通过排序后的标注图像帧的模型质量评分以及预设的相邻质量评分间隔,构建质量评分的排序损失函数参考公式(4),此处不再赘述。

再可选的,计算一组的标注图像帧的失真特征的模型质量评分与对应的人工质量评分的绝对误差,计算一组误差的平均绝对误差,根据平均绝对误差构建损失函数。

结合图示的示例对构建平均绝对误差的损失函数进行举例介绍,参考图5,图5为本公开一示例的构建平均绝对误差的损失函数的示例图。将一组5个标注图像帧的失真特征输入原始视频评估模型,得到每个标注图像帧的模型质量评分,计算每个模型质量评分与对应的人工质量评分的绝对误差。举例来说,计算失真特征1对应的人工质量评分1以及对应的模型质量评分1之间的绝对误差1,计算失真特征2对应的人工质量评分2以及对应的模型质量评分2之间的绝对误差2,以此类推。根据一组标注图像帧的失真特征对应的一组绝对误差构建得到平均绝对误差的损失函数。

S308、基于排序损失函数以及平均绝对误差的损失函数得到所述目标视频评估模型。

其中,质量评分的排序损失函数可以验证目标视频评估模型的增减性。平均绝对误差的损失函数可以通过有监督的方式训练目标视频评估模型。

作为一种可选的实施方式,视频评估模型训练方法还包括:将目标视频的多个图像帧输入失真特征提取模型,输出所述目标视频的多个图像帧的失真特征;将所述目标视频的多个图像帧的失真特征输入所述目标视频评估模型,输出所述目标视频的多个图像帧的模型质量评分;计算所述目标视频的多个图像帧的模型质量评分的算数平均值,作为所述目标视频的模型质量评分。

举例来说,针对训练完成的目标视频评估模型的应用场景。目标视频为待评价质量的视频。获取目标视频的多个图像帧,分别评估每个图像帧的模型质量评分,计算每个图像帧的模型质量评分的算数平均值,得到为目标视频的模型质量评分。

可选的,将目标视频按照预设的时间步长获取多个图像帧,对多个图像帧进行模型质量评估。

再可选的,分别对每个图像帧进行裁剪,得到每个图像帧对应的多个图像块,对对应同一个图像帧的多个图像块进行模型质量评估。计算对应同一个图像帧的多个图像块的模型质量评分的算数平均值,确定为对应的图像帧的模型质量评分。

结合图示的示例对应用视频评估模型进行举例介绍,参考图6,图6为本公开一示例的应用视频评估模型的示例图。从目标视频中获取多个图像帧。将多个图像帧分别输入失真特征提取模型,得到每个图像帧的失真特征。将每个失真特征分别输入目标视频评估模型,得到每个失真特征的质量评分,作为对应的图像帧的质量评分,计算质量评分的算数平均值,得到目标视频的模型质量评分。

示例性介质

在介绍了本公开示例性实施方式的方法之后,接下来,参考图9对本公开示例性实施方式的存储介质进行说明。

参考图7所示,存储介质70中存储着根据本公开的实施方式的用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在装置,例如个人电脑上运行。然而,本公开的程序产品不限于此。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备。

示例性装置

在介绍了本公开示例性实施方式的介质之后,接下来,参考图8对本公开示例性实施方式的视频评估模型训练装置进行说明,用于实现上述任一方法实施例中的方法,其实现原理和技术效果类似,在此不再赘述。

参考图8,图8为本公开一实施例提供的视频评估模型训练装置的结构示意图。如图8所示,视频评估模型训练装置,包括:模拟模块81、第一训练模块82、提取模块83以及第二训练模块84,其中,

模拟模块81,用于通过失真算子集处理原始视频的图像帧,生成失真图像帧;所述失真算子集用于模拟失真;

第一训练模块82,用于将所述失真图像帧作为输入,训练失真特征提取模型,直至损失函数小于第一阈值,则完成训练;

提取模块83,用于将带有人工质量评分的标注视频的标注图像帧输入所述失真特征提取模型,得到标注图像帧的失真特征;

第二训练模块84,用于将所述标注图像帧的失真特征作为输入,所述人工质量评分作为标签,对原始视频评估模型进行训练,得到目标视频评估模型。

可选的,模拟模块81可以执行图2实施例中的S201。

可选的,第一训练模块82可以执行图2实施例中的S202。

可选的,提取模块83可以执行图2实施例中的S203。

可选的,第二训练模块84可以执行图2实施例中的S204。

作为一种可选的实施方式,模拟模块81,具体用于:

按照模拟参数数值递增或者递减来调节每个算子的模拟参数;其中,所述模拟参数控制模拟失真的强度;

通过依次采用调节后的算子处理原始视频的图像帧,得到各失真类别下各失真强度的失真图像帧序列。

图9为本申请实施例提供的一种质量评估模型训练装置的结构示意图。在图8所示实施例的基础上,如图9所示,质量评估模型训练装置90还包括:执行模块95、计算模块96、第一处理模块97以及第二处理模块98,其中:

执行模块95,用于将目标视频的多个图像帧输入失真特征提取模型,输出所述目标视频的多个图像帧的失真特征;所述执行模块,还用于将所述目标视频的多个图像帧的失真特征输入所述目标视频评估模型,输出所述目标视频的多个图像帧的模型质量评分。

计算模块96,用于计算所述目标视频的多个图像帧的模型质量评分的算数平均值,作为所述目标视频的模型质量评分。

第一处理模块97,用于将所述失真图像帧序列中的失真图像帧按顺序输入失真特征提取模型,输出所述失真图像帧序列的失真评分序列以及所述失真图像帧的失真类别标签;通过所述失真评分序列以及预设的相邻失真评分间隔,构建所述失真评分序列的排序损失函数;通过所述失真图像帧的失真类别标签与失真图像帧对应的算子的失真类别向量的二元交叉熵,构建失真类别的损失函数;训练失真特征提取模型,直至所述失真评分序列的损失函数以及所述失真类别的损失函数小于第一阈值,则完成训练。

第二处理模块98,用于获取原始视频评估模型,将所述标注图像帧的失真特征输入所述原始视频评估模型,得到标注图像帧的模型质量评分;将所述标注图像帧的模型质量评分按照递增或者递减排序;通过排序后的标注图像帧的模型质量评分以及预设的相邻质量评分间隔,构建质量评分的排序损失函数;通过所述标注图像帧的模型质量评分以及所述标注图像帧的人工质量评分的误差,构建平均绝对误差的损失函数;训练所述原始视频评估模型,直至所述质量评分的排序损失函数以及所述平均绝对误差的损失函数小于第二阈值,则得到所述目标视频评估模型。

示例性计算设备

在介绍了本公开示例性实施方式的方法、介质和装置之后,接下来,参考图10对本公开示例性实施方式的计算设备进行说明。

图10显示的计算设备100仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示,计算设备100以通用计算设备的形式表现。计算设备100的组件可以包括但不限于:上述至少一个处理单元1001、上述至少一个存储单元1002,连接不同系统组件(包括处理单元1001和存储单元1002)的总线1003。

总线1003包括数据总线、控制总线和地址总线。

存储单元1002可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)10021和/或高速缓存存储器10022,可以进一步包括非易失性存储器形式的可读介质,例如只读存储器(ROM)10023。

存储单元1002还可以包括具有一组(至少一个)程序模块10024的程序/实用工具10025,这样的程序模块10024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备100也可以与一个或多个外部设备1004(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口1005进行。并且,计算设备100还可以通过网络适配器1006与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图10所示,网络适配器1006通过总线1003与计算设备100的其它模块通信。应当理解,尽管图中未示出,可以结合计算设备100使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意,尽管在上文详细描述中提及了视频评估模型训练装置的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本公开的精神和原理,但是应该理解,本公开并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

相关技术
  • 机器学习模型训练方法、装置、存储介质和计算机设备
  • 语句输出、模型训练方法、装置、计算机设备及存储介质
  • 声学模型训练方法、装置、设备及计算机可读介质
  • 一种模型训练方法、计算机可读存储介质及计算设备
  • 工作量评估及模型训练方法、电子设备及存储介质
  • 人脸质量评估方法、系统及人脸质量评估模型训练方法、系统、存储介质及计算机设备
  • 模型训练方法、视频质量评估方法、装置、设备及介质
技术分类

06120115933086