掌桥专利:专业的专利平台
掌桥专利
首页

模型训练、图像质量评估方法及装置、电子设备、介质

文献发布时间:2023-06-19 11:22:42


模型训练、图像质量评估方法及装置、电子设备、介质

技术领域

本申请涉及图像处理技术领域,尤其涉及一种模型训练、图像质量评估方法及装置、电子设备、介质。

背景技术

目前,在通过OCR(optical character recognition,光学文字识别)技术进行文字识别时,受到图像质量的影响,导致OCR模型无法准确识别低质量图像中的文本信息。因此,需要预先对待识别图像的质量进行评估。

相关技术中,可以预先训练神经网络模型,通过神经网络模型评估图像质量。然而,该方法需要搜集大量的训练数据,并进行人工标注,导致模型训练的效率较低。并且,缺少一种将低质量图像转换为高质量图像的方法。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种模型训练、图像质量评估方法及装置、电子设备、介质。

根据本申请的第一方面,提供了一种图像质量评估模型训练方法,包括:

获取多个样本清晰图像,对每个所述样本清晰图像进行文字识别,得到所述样本清晰图像对应的第一文本信息;

针对单个所述样本清晰图像,基于多个图像属性变换指标对该样本清晰图像进行变换,得到该样本清晰图像对应的多个样本变换图像;

对各所述样本变换图像进行文字识别得到各所述样本变换图像对应的第二文本信息,并确定该样本清晰图像对应的第一文本信息与所述第二文本信息之间的莱文斯坦距离;

基于所述莱文斯坦距离确定所述样本变换图像对应的坏例值,其中,所述坏例值用于指示所述样本变换图像是否属于坏例;

将各所述样本变换图像作为输入,将各所述样本变换图像对应的图像属性变换指标和坏例值作为标签,训练生成图像质量评估模型。

在一种可选的实施方式中,所述将各所述样本变换图像作为输入,将各所述样本变换图像对应的图像属性变换指标和坏例值作为标签,训练生成图像质量评估模型,包括:

将所述样本变换图像输入初始模型,得到所述样本变换图像对应的图像属性变换预测指标和坏例预测值;

根据所述样本变换图像对应的图像属性变换预测指标,以及所述样本变换图像对应的图像属性变换指标和坏例值,基于预设的损失函数,对所述初始模型进行训练,生成图像质量评估模型。

在一种可选的实施方式中,所述根据所述样本变换图像对应的图像属性变换预测指标,以及所述样本变换图像对应的图像属性变换指标和坏例值,基于预设的损失函数,对所述初始模型进行训练,包括:

根据所述样本变换图像对应的图像属性变换预测指标和所述样本变换图像对应的图像属性变换指标,基于第一损失函数确定第一损失函数值;

根据所述样本变换图像对应的图像属性变换预测指标、图像属性变换指标和坏例值,基于第二损失函数确定第二损失函数值;

根据所述第一损失函数值和第二损失函数值确定所述初始模型的损失函数值,基于所述损失函数值对所述初始模型进行训练。

在一种可选的实施方式中,所述根据所述样本变换图像对应的图像属性变换预测指标、图像属性变换指标和坏例值,基于第二损失函数确定第二损失函数值,包括:

如果所述样本变换图像对应的坏例值为第一数值,获取所述样本变换图像对应的图像可识别边界值;

根据所述样本变换图像对应的图像属性变换指标和所述图像可识别边界值,基于第二损失函数确定所述样本变换图像对应的实际变换程度;

根据所述样本变换图像对应的图像属性变换预测指标和所述图像可识别边界值,基于第二损失函数确定所述样本变换图像对应的预测变换程度;

根据所述实际变换程度和所述预测变换程度,确定第二损失函数值;

如果所述样本变换图像对应的坏例值为第二数值,确定所述第二损失函数值为0。

在一种可选的实施方式中,所述基于所述莱文斯坦距离确定所述样本变换图像对应的坏例值,包括:

如果所述莱文斯坦距离大于预设数值,确定所述样本变换图像对应的坏例值是第一数值;

如果所述莱文斯坦距离不大于所述预设数值,确定所述样本变换图像对应的坏例值是第二数值。

在一种可选的实施方式中,在所述基于多个图像属性变换指标对该样本清晰图像进行变换之前,所述方法还包括:

获取至少一个图像属性中每个图像属性对应的多个变换指标;

根据每个图像属性对应的多个变换指标,生成所述多个图像属性变换指标,其中,所述图像属性变换指标包括每个图像属性对应的一个变换指标。

在一种可选的实施方式中,所述图像质量评估模型的网络结构为ResNet网络结构中除softmax层之外的网络结构。

根据本申请的第二方面,提供了一种图像质量评估方法,所述方法包括:

获取待评估图像,通过图像质量评估模型对所述待评估图像进行处理,得到所述待评估图像对应的图像属性变换指标和坏例值;

基于所述坏例值,确定所述待评估图像是否属于坏例;

其中,所述图像质量评估模型基于第一方面所述的方法训练得到。

在一种可选的实施方式中,在所述基于所述坏例值,确定所述待评估图像是否属于坏例之后,所述方法还包括:

如果所述待评估图像属于坏例,基于所述图像属性变换指标,生成所述待评估图像对应的图像优化指标;

基于所述图像优化指标对所述待评估图像进行图像变换,得到所述待评估图像对应的清晰图像。

根据本申请的第三方面,提供了一种图像质量评估模型训练装置,所述装置包括:

基准数据获取模块,用于获取多个样本清晰图像,对每个所述样本清晰图像进行文字识别,得到所述样本清晰图像对应的第一文本信息;

图像变换模块,用于针对单个所述样本清晰图像,基于多个图像属性变换指标对该样本清晰图像进行变换,得到该样本清晰图像对应的多个样本变换图像;

文字识别模块,用于对各所述样本变换图像进行文字识别得到各所述样本变换图像对应的第二文本信息;

莱文斯坦距离确定模块,用于确定该样本清晰图像对应的第一文本信息与所述第二文本信息之间的莱文斯坦距离;

坏例值确定模块,用于基于所述莱文斯坦距离确定所述样本变换图像对应的坏例值,其中,所述坏例值用于指示所述样本变换图像是否属于坏例;

模型训练模块,用于将各所述样本变换图像作为输入,将各所述样本变换图像对应的图像属性变换指标和坏例值作为标签,训练生成图像质量评估模型。

在一种可选的实施方式中,所述模型训练模块具体用于将所述样本变换图像输入初始模型,得到所述样本变换图像对应的图像属性变换预测指标和坏例预测值;根据所述样本变换图像对应的图像属性变换预测指标,以及所述样本变换图像对应的图像属性变换指标和坏例值,基于预设的损失函数,对所述初始模型进行训练,生成图像质量评估模型。

在一种可选的实施方式中,所述模型训练模块通过下述步骤实现所述根据所述样本变换图像对应的图像属性变换预测指标,以及所述样本变换图像对应的图像属性变换指标和坏例值,基于预设的损失函数,对所述初始模型进行训练:

根据所述样本变换图像对应的图像属性变换预测指标和所述样本变换图像对应的图像属性变换指标,基于第一损失函数确定第一损失函数值;

根据所述样本变换图像对应的图像属性变换预测指标、图像属性变换指标和坏例值,基于第二损失函数确定第二损失函数值;

根据所述第一损失函数值和第二损失函数值确定所述初始模型的损失函数值,基于所述损失函数值对所述初始模型进行训练。

在一种可选的实施方式中,所述模型训练模块通过下述步骤实现所述根据所述样本变换图像对应的图像属性变换预测指标、图像属性变换指标和坏例值,基于第二损失函数确定第二损失函数值:

如果所述样本变换图像对应的坏例值为第一数值,获取所述样本变换图像对应的图像可识别边界值;

根据所述样本变换图像对应的图像属性变换指标和所述图像可识别边界值,基于第二损失函数确定所述样本变换图像对应的实际变换程度;

根据所述样本变换图像对应的图像属性变换预测指标和所述图像可识别边界值,基于第二损失函数确定所述样本变换图像对应的预测变换程度;

根据所述实际变换程度和所述预测变换程度,确定第二损失函数值;

如果所述样本变换图像对应的坏例值为第二数值,确定所述第二损失函数值为0。

在一种可选的实施方式中,所述坏例值确定模块,具体用于如果所述莱文斯坦距离大于预设数值,确定所述样本变换图像对应的坏例值是第一数值;如果所述莱文斯坦距离不大于所述预设数值,确定所述样本变换图像对应的坏例值是第二数值。

在一种可选的实施方式中,所述图像质量评估模型训练装置还包括:

变换指标获取模块,用于获取至少一个图像属性中每个图像属性对应的多个变换指标;

图像属性变换指标生成模块,用于根据每个图像属性对应的多个变换指标,生成所述多个图像属性变换指标,其中,所述图像属性变换指标包括每个图像属性对应的一个变换指标。

在一种可选的实施方式中,所述图像质量评估模型的网络结构为ResNet网络结构中除softmax层之外的网络结构。

根据本申请的第四方面,提供了一种图像质量评估装置,包括:

待评估图像获取模块,用于获取待评估图像,通过图像质量评估模型对所述待评估图像进行处理,得到所述待评估图像对应的图像属性变换指标和坏例值;

图像质量评估模块,用于基于所述坏例值,确定所述待评估图像是否属于坏例;

其中,所述图像质量评估模型基于第一方面所述的方法训练得到。

在一种可选的实施方式中,所述图像质量评估装置还包括:

图像优化指标生成模块,用于如果所述待评估图像属于坏例,基于所述图像属性变换指标,生成所述待评估图像对应的图像优化指标;

清晰图像生成模块,用于基于所述图像优化指标对所述待评估图像进行图像变换,得到所述待评估图像对应的清晰图像。

根据本申请的第五方面,提供了一种电子设备,包括:

处理器;以及

存储器,用于存储所述处理器的可执行指令;

其中,所述处理器配置为经由执行所述可执行指令来执行第一方面或第二方面所述的方法。

根据本申请的第六方面,提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面或第二方面所述的方法。

本申请实施例提供的技术方案与现有技术相比具有如下优点:

通过获取多个样本清晰图像,基于多个图像属性变换指标对样本清晰图像进行变换,得到样本清晰图像对应的多个样本变换图像。对样本清晰图像和对应的样本变换图像分别进行文字识别,得到第一文本信息和第二文本信息。根据第一文本信息与第二文本信息之间的莱文斯坦距离确定样本变换图像是否属于坏例。这样,无需人工标注的方式,即可得到模型训练所需要的数据,提高了模型训练的效率。并且,由于图像质量评估模型的输出包括待评估图像的图像属性变换指标和坏例值,因此,除了可以根据坏例值确定图像质量之外,还可以根据图像属性变换指标为后续输出清晰图像提供参考依据。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1示出了可以应用本申请实施例的图像质量评估模型训练方法及图像质量评估方法的示例性应用环境的系统架构的示意图;

图2为本申请实施例中图像质量评估模型训练方法的一种流程图;

图3为本申请实施例中图像质量评估模型训练方法的一种示意图;

图4为本申请实施例中样本清晰图像的一种示意图;

图5为本申请实施例中图4所示样本清晰图像的文字识别结果的一种示意图;

图6为本申请实施例中样本变换图像的一种示意图;

图7为本申请实施例中图6所示样本变换图像的文字识别结果的一种示意图;

图8为本申请实施例中样本变换图像的又一种示意图;

图9为本申请实施例中图8所示样本变换图像的文字识别结果的一种示意图;

图10为本申请实施例中样本变换图像的又一种示意图;

图11为本申请实施例中图像质量评估模型训练方法的又一种流程图;

图12为本申请实施例中图像质量评估方法的一种流程图;

图13为本申请实施例中图像质量评估模型训练装置的一种结构示意图;

图14为本申请实施例中图像质量评估装置的一种结构示意图;

图15为本申请实施例中电子设备的一种结构示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点,下面将对本申请的方案进行进一步描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请,但本申请还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本申请的一部分实施例,而不是全部的实施例。

图1示出了可以应用本申请实施例的图像质量评估模型训练方法及图像质量评估方法的示例性应用环境的系统架构的示意图。

如图1所示,系统架构100可以包括终端设备101、终端设备102、终端设备103中的一个或多个,网络104和服务器105。网络104用以在终端设备101、终端设备102、终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、终端设备102、终端设备103可以是具有显示屏的各种电子设备,包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本申请实施例所提供的图像质量评估模型训练方法及图像质量评估方法一般由服务器105执行,相应地,图像质量评估模型训练装置及图像质量评估装置可以设置于服务器105中。但本领域技术人员容易理解的是,本申请实施例所提供的图像质量评估模型训练方法及图像质量评估方法也可以由终端设备101、终端设备102、终端设备103执行。举例而言,服务器105可以预先通过本申请实施例所提供的图像质量评估模型训练方法训练生成图像质量评估模型。终端设备101、终端设备102、终端设备103将待评估图像上传至服务器105,服务器105基于该图像质量评估模型对待评估图像进行处理,确定该待评估图像对应的图像属性变换指标和坏例值,并将该图像属性变换指标和坏例值发送至终端设备101、终端设备102、终端设备103。

参见图2,图2为本申请实施例中图像质量评估模型训练方法的一种流程图,可以包括以下步骤:

步骤S210,获取多个样本清晰图像,对每个样本清晰图像进行文字识别,得到样本清晰图像对应的第一文本信息。

本申请实施例中,样本清晰图像指的是可以被正确文字识别的图像,即,将样本清晰图像输入OCR模型,可以得到正确的文本信息。可以通过OCR模型或其他文字识别技术对每个样本清晰图像进行文字识别,得到样本清晰图像对应的第一文本信息。

步骤S220,针对单个样本清晰图像,基于多个图像属性变换指标对该样本清晰图像进行变换,得到该样本清晰图像对应的多个样本变换图像。

具体的,针对每个样本清晰图像,可以通过自动化手段对该样本清晰图像的图像属性进行不同程度的变换,得到样本变换图像。其中,图像属性包括以下至少之一:亮度、饱和度、对比度、噪点和清晰度等。图像属性的变换范围可以为[a,b],a为负向变换的极小值,b为正向变换的极大值,每个图像属性对应的变换范围可以不同。例如,亮度调暗为负值,调亮为正值。图片变换极值a和b对应的文字识别结果均为空。

本申请可以对单个图像属性进行不同程度的变换,也可以对多个图像属性分别进行不同程度的变换,从而可以得到更多种不同的样本变换图像。这样,在训练模型时,更多的训练数据可以提高模型训练的准确性。

步骤S230,对各样本变换图像进行文字识别得到各样本变换图像对应的第二文本信息,并确定该样本清晰图像对应的第一文本信息与第二文本信息之间的莱文斯坦距离。

同样地,对各样本变换图像进行文字识别,可以得到各样本变换图像对应的第二文本信息。可以理解的是,第二文本信息可以是被正确识别的文本信息,也可以是没有被正确识别的文本信息。因此,可以通过计算第一文本信息和第二文本信息之间的莱文斯坦距离来判断第二文本信息的正确性。其中,莱文斯坦距离,是编辑距离,指两个字串之间由一个转成另一个所需的最少编辑操作次数。允许的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。

可见,莱文斯坦距离越小,表示第二文本信息的正确性越高;莱文斯坦距离越大,表示第二文本信息的正确性越低。在莱文斯坦距离为0的情况下,第二文本信息和第一文本信息相同,表示样本变换图像的图像质量较高,可以正确识别出样本变换图像中的文本信息。在莱文斯坦距离大于或等于1的情况下,第二文本信息和第一文本信息不同,表示样本变换图像的图像质量不高,没有正确识别出样本变换图像中的文本信息。

步骤S240,基于莱文斯坦距离确定样本变换图像对应的坏例值,其中,坏例值用于指示样本变换图像是否属于坏例。

本申请实施例中,基于莱文斯坦距离可以确定样本变换图像的图像质量。本申请可以将图像质量分为两类,一类为good case,一类为bad case,即坏例。相应地,可以预先设置两个坏例值,以指示样本变换图像是否属于坏例。例如,good case对应的坏例值可以为0,即不是坏例,bad case对应的坏例值可以为1,即是坏例。

如前所述,莱文斯坦距离越小,样本变换图像的图像质量越高。在一种可选的实施方式中,如果莱文斯坦距离大于预设数值,确定样本变换图像对应的坏例值是第一数值,第一数值可以为1;如果莱文斯坦距离不大于预设数值,确定样本变换图像对应的坏例值是第二数值,第二数值可以为0。其中,预设数值可以是1、2等等。

步骤S250,将各样本变换图像作为输入,将各样本变换图像对应的图像属性变换指标和坏例值作为标签,训练生成图像质量评估模型。

具体的,可以预先设置初始模型,初始模型的网络结构和最后生成的图像质量评估模型的网络结构相同。在训练过程中,通过训练数据(各样本变换图像以及各样本变换图像对应的图像属性变换指标和坏例值)不断对初始模型中的网络参数值进行更新,使初始模型收敛,从而生成图像质量评估模型。

需要说明的是,在得到各样本变换图像以及各样本变换图像对应的图像属性变换指标和坏例值之后,本申请也可以利用其中的部分数据(例如80%的数据)进行模型训练,在训练完成之后,利用剩余的数据验证模型的正确性。在图像质量评估模型的准确率未达到要求的情况下,还可以重新获取新的样本清晰图像,并执行上述步骤S210~步骤S240,得到更多的训练数据,并重新训练生成图像质量评估模型。这样,可以提高图像质量评估模型的正确性。

本申请实施例的图像质量评估模型训练方法,通过获取多个样本清晰图像,基于多个图像属性变换指标对样本清晰图像进行变换,得到样本清晰图像对应的多个样本变换图像。对样本清晰图像和对应的样本变换图像分别进行文字识别,得到第一文本信息和第二文本信息。根据第一文本信息与第二文本信息之间的莱文斯坦距离确定样本变换图像是否属于坏例。这样,无需人工标注的方式,即可得到模型训练所需要的数据,提高了模型训练的效率。并且,由于图像质量评估模型的输出包括待评估图像的图像属性变换指标和坏例值,因此,除了可以根据坏例值确定图像质量之外,还可以根据图像属性变换指标为后续输出清晰图像提供参考依据。

参见图3,图3为本申请实施例中图像质量评估模型训练方法的一种示意图。

首先,可以获取多个样本清晰图像,针对每个样本清晰图像,光学文字识别模型均可以准确识别其中的文本信息,即第一文本信息。可以基于多个图像属性变换指标对每个样本清晰图像分别进行图像属性变换,可以得到多个样本变换图像。同样可以通过光学文字识别模型对每个样本变换图像进行文字识别,得到第二文本信息。通过计算第一文本信息和第二文本信息之间的莱文斯坦距离来判断样本变换图像是否属于坏例。

至此,可以得到训练模型所需要的训练数据,即样本变换图像作为输入,样本变换图像对应的图像属性变换指标和坏例值作为标签。通过上述训练数据对预先设置的初始模型进行训练,最终可以生成图像质量评估模型。

以下一个具体实施例对上述图像质量评估模型的训练方法进行详细介绍。

假设多个样本清晰图像中的一个样本清晰图像如图4所示,图4比较清晰,即图像质量比较高,将该图像输入OCR模型进行文字识别,识别出的文本信息如图5所示。可以看出,针对图4,可以准确识别出其中的文本信息。假设样本清晰图像的亮度、饱和度、对比度、噪点和清晰度分别为0,并且,该图像不是坏例,因此,对应的坏例值为0,图4对应的标签数据为[0,0,0,0,0,0],其中前五个0分别表示亮度、饱和度、对比度、噪点和清晰度,最后一个0表示坏例值。

参见图6,图6为本申请实施例中样本变换图像的一种示意图,在进行图像属性变换时,亮度为-50,对比度为-45,清晰度为-70,饱和度为0,噪点为0。对图6进行文字识别,得到的文本信息可参见图7。图7中的多个字符均未被识别出,例如,字符串“横截面积S=2.0cm2,距地面高度”及字符串“计算时设管口横截面上各处水的速度都”均未被识别出,因此,图7中的文本信息与图5中的文本信息之间的莱文斯坦距离较大,图6对应的坏例值为1。图6对应的标签数据为[-50,-45,-70,0, 0,1]。

参见图8,图8为本申请实施例中样本变换图像的又一种示意图,在进行图像属性变换时,亮度为60,对比度为40,清晰度为-50,饱和度为60,噪点为0。对图8进行文字识别,得到的文本信息可参见图9。可以看出,图9中仅仅识别出少量字符,因此,图8对应的坏例值也为1。图8对应的标签数据为[60,40,-50,60,0,1]。

参见图10,图10为本申请实施例中样本变换图像的又一种示意图,在进行图像属性变换时,亮度为-90,对比度为-45,清晰度为-70,饱和度为0,噪点为0。对图10进行文字识别,识别结果为空,即无法识别出任何一个字符。图10对应的标签数据为[-90,-45,-70,0,1]。

以此类推,按照上述方式,可以进行多种不同的图像属性变换,得到多种样本变换图像,并进行文字识别,通过判断该样本变换图像是否为坏例,从而可以得到对应的标签数据。根据各样本变换图像和各样本变换图像对应的标签数据,即可训练生成图像质量评估模型。

可以看出,本申请通过多维度变换的方式对高质量的样本清晰图像进行变换,通过(亮度、饱和度、对比度、噪点、清晰度五个维度)变换的数据和是否为坏例,作为标注用于图像质量评估模型的训练。该过程无需人工标注,而是通过自动化的方式生成训练数据,可以提高模型训练的效率。图像质量评估模型除了可以输出坏例值用于判断待评估图像的质量之外,还可以输出图像属性变换指标,用于确定待评估图像的图像优化指标,以对待评估图像进行优化,得到对应的清晰图像。

参见图11,图11为本申请实施例中图像质量评估模型训练方法的又一种流程图,可以包括以下步骤:

步骤S1110,获取多个样本清晰图像,对每个样本清晰图像进行文字识别,得到样本清晰图像对应的第一文本信息。

本步骤与图2实施例步骤S210相同,具体参见图2实施例中的描述即可,在此不再赘述。

步骤S1120,获取至少一个图像属性中每个图像属性对应的多个变换指标。

如前所述,图像属性可以包括以下至少之一:亮度、饱和度、对比度、噪点和清晰度等。针对每个图像属性,均可以对应多个变换指标。例如,对于亮度而言,如果样本清晰图像的亮度为0(%),亮度对应的多个变换指标可以是-90、-80、-70、-60、-50、-40、-30、-20、-10、10、20、30、40、50、60、70、80、90(%)等。对于饱和度而言,如果样本清晰图像的饱和度为100(%),饱和度对应的多个变换指标可以是-20、-15、-10、-5、5、10、15、20、25、30、35、40、45、50(%)等。

步骤S1130,根据每个图像属性对应的多个变换指标,生成多个图像属性变换指标,其中,图像属性变换指标包括每个图像属性对应的一个变换指标。

本申请实施例中,可以将每个图像属性对应的多个变换指标进行组合,选取每个图像属性对应的一个变换指标,从而可以得到多个图像属性变换指标。例如,可以选取亮度对应的变换指标-50、饱和度对应的变换指标60、对比度对应的变换指标-30、噪点对应的变换指标0和清晰度对应的变换指标20。如果按照亮度、饱和度、对比度、噪点和清晰度的顺序表示图像属性变换指标,图像属性变换指标可以表示为[-50,60,-30,0,20]。在得到多个图像属性变换指标之后,可以利用图像属性变换指标对样本清晰图像进行变换。

步骤S1140,针对单个样本清晰图像,基于多个图像属性变换指标对该样本清晰图像进行变换,得到该样本清晰图像对应的多个样本变换图像。

步骤S1150,对各样本变换图像进行文字识别得到各样本变换图像对应的第二文本信息,并确定该样本清晰图像对应的第一文本信息与第二文本信息之间的莱文斯坦距离。

步骤S1160,基于莱文斯坦距离确定样本变换图像对应的坏例值,其中,坏例值用于指示样本变换图像是否属于坏例。

上述步骤S1140~步骤S1160与图2实施例中步骤S220~步骤S240相同,具体参见图2实施例中的描述即可,在此不再赘述。

步骤S1170,将样本变换图像输入初始模型,得到样本变换图像对应的图像属性变换预测指标和坏例预测值。

本申请实施例中,初始模型指的是预先设置的、与图像质量评估模型网络结构相同的模型,初始模型中的网络参数值是预先设置的初始值。在一种可选的实施方式中,初始模型和图像质量评估模型的网络结构可以为ResNet网络结构中除softmax层之外的网络结构,即将ResNet网络结构最终的全连接层改为输出,并删除其中的softmax函数。其中,ResNet为残差网络,包括多个残差块,由于ResNet引入了跳跃连接,因此可以使上一个残差块的信息没有阻碍地流入到下一个残差块,提高了信息流通,并且也避免了由与网络过深所引起的消失梯度问题和退化问题,使得在训练更深网络的同时,又能保证良好的性能。

在训练过程中,可以将样本变换图像输入初始模型,得到样本变换图像对应的图像属性变换预测指标和坏例预测值。本申请实施例中,初始模型输出的坏例预测值可以为预设的第一数值或第二数值。可以理解的是,图像属性变换预测指标和实际的图像属性变换指标之间通常存在偏差,坏例预测值和实际的坏例值之间也可以存在偏差,通过训练,可以逐渐减小该误差。

需要说明的是,本申请可以根据样本变换图像对应的图像属性变换预测指标和实际的图像属性变换指标,以及坏例预测值和实际的坏例值计算初始模型的损失函数值。也可以不使用坏例预测值,计算初始模型的损失函数值,即可以按照下述步骤S1180的方式计算初始模型的损失函数值。

步骤S1180,根据样本变换图像对应的图像属性变换预测指标,以及样本变换图像对应的图像属性变换指标和坏例值,基于预设的损失函数,对初始模型进行训练,生成图像质量评估模型。

具体的,可以根据样本变换图像对应的图像属性变换预测指标和图像属性变换指标计算第一损失函数值,以及根据样本变换图像对应的坏例值,确定第二损失函数值。

在一种可选的实施方式中,可以根据样本变换图像对应的图像属性变换预测指标和样本变换图像对应的图像属性变换指标,基于第一损失函数确定第一损失函数值。其中,第一损失函数可以是L1范数损失函数或L2范数损失函数等。其中,L1范数(L1 norm)是指向量中各个元素绝对值之和,L2范数是指向量各元素的平方和然后求平方根。例如向量A=[1,-1,3,-2,-1],那么,A的L1范数为8,A的L2范数为4。

假设样本变换图像对应的图像属性变换指标为[10,70,0,10,10],依次对应于亮度、饱和度、对比度、噪点和清晰度。初始模型输出的样本变换图像的图像属性变换预测指标为[12,75,2,11,13]。其中,各个图像属性对应的权重可以相同,也可以不同。如果对各个图像属性赋予相同的权重a,基于L1范数,确定第一损失函数值=a×((12-10)+(75-70)+(2-0) +(11-10)+(13-10))=13a。

本申请实施例中,还可以根据样本变换图像对应的图像属性变换预测指标、图像属性变换指标和坏例值,基于第二损失函数确定第二损失函数值。其中,第二损失函数也可以是L1范数损失函数或L2范数损失函数等。

对于不同的坏例值,确定第二损失函数值的方式可以不同。可选的,如果样本变换图像对应的坏例值为第一数值,表示该样本变换图像的图像质量较差,可以获取样本变换图像对应的图像可识别边界值。图像可识别边界值包括多个图像属性的可识别边界,每个图像属性对应两个边界,如果样本变换图像的图像属性在对应的边界范围内,表示样本变换图像可以被识别,否则无法被识别。

例如,针对前述的样本变换图像,对应的图像属性变换指标为[10,70,0,10,10],该样本变换图像对应的图像可识别边界值可以表示为[(-7,5),(-20,60),(-10,5),(-10,10),(-10,10)],可以看出,每个图像属性对应两个边界值。

之后,可以根据样本变换图像对应的图像属性变换指标和图像可识别边界值,基于第二损失函数确定样本变换图像对应的实际变换程度。根据样本变换图像对应的图像属性变换预测指标和图像可识别边界值,基于第二损失函数确定样本变换图像对应的预测变换程度。

其中,如果第二损失函数为L1损失函数,实际变换程度和预测变换程度均表示各图像属性的变换指标与边界值的差距。针对图像属性变换指标和图像属性变换预测指标中的每个图像属性,如果该图像属性的变换指标在图像可识别边界值范围内,该图像属性的变换指标与边界值的差距为0;否则,图像属性与边界值的差距为该图像属性的变换指标与该变换指标对应方向的边界值的差值。

举例而言,样本变换图像对应的图像属性变换指标为[10,70,0,10,10],样本变换图像的图像属性变换预测指标为[12,75,2,11,13],该样本变换图像对应的图像可识别边界值为[(-7,5),(-20,60),(-10,5),(-10,10),(-10,10)]。针对第一个变换指标10,对应的边界值为-7和5, 10对应正边界5,该图像属性的变换指标与边界值的差距为10-5;针对第三个变换指标0,在(-10,5)范围内,该图像属性的变换指标与边界值的差距为0。因此,样本变换图像对应的实际变换程度为:(10-5)+(70-60)+0+(10-10)+(10-10)=15。类似地,样本变换图像对应的预测变换程度为:(12-5)+(75-60)+0+(11-10)+(13-10)=26。

在确定实际变换程度和预测变换程度后,可以根据实际变换程度和预测变换程度,确定第二损失函数值。例如,直接将两者的差值的绝对值作为第二损失函数值。

如果样本变换图像对应的坏例值为第二数值,表示样本变换图像的图像质量较好,可以确定第二损失函数值为0。也就是,在坏例值为第二数值的情况下,可以忽略样本变换图像的变换程度。

进一步地,可以根据第一损失函数值和第二损失函数值确定初始模型的损失函数值,基于该损失函数值对初始模型进行训练。例如,可以将第一损失函数值和第二损失函数值的之和作为初始模型的损失函数值,还可以将第一损失函数值和第二损失函数值的加权之和作为初始模型的损失函数值。

在对第一损失函数值和第二损失函数值进行加权求和时,由于第一损失函数值包括多个图像属性的损失函数值,如果图像属性的数量为N,第一损失函数值的权重的数量为N个,如果N个图像属性对应的权重均为a,第二损失函数值的权重为b,则a和b之间可以满足:N×a+b=1。

本申请实施例的图像质量评估模型训练方法,在模型训练过程中,针对不同的坏例值,利用不同的方法确定损失函数值,使训练完成的图像质量评估模型输出的坏例值与输出的图像属性变换指标更具有关联性。例如,图像属性变换指标均为0、坏例值为0表示图像质量较高的情况下,使图像质量评估模型输出的图像属性变换指标均为0时,图像质量评估模型输出的坏例值也为0;在图像质量评估模型输出的图像属性变换指标不为0时,图像质量评估模型输出的坏例值为1,以提高图像质量评估模型输出结果的直观性。并且,本申请除了可以根据坏例值确定图像质量之外,还可以根据图像属性变换指标为后续输出清晰图像提供参考依据。

参见图12,图12为本申请实施例中图像质量评估方法的一种流程图,可以包括以下步骤:

步骤S1210,获取待评估图像,通过图像质量评估模型对待评估图像进行处理,得到待评估图像对应的图像属性变换指标和坏例值;其中,图像质量评估模型基于前述的图像质量评估模型训练方法训练得到。

本申请实施例中,与前述模型训练过程相对应,在模型应用阶段,通过图像质量评估模型对待评估图像进行处理,得到待评估图像对应的图像属性变换指标和坏例值。图像属性变换指标包括各个图像属性对应的变换指标,该变换指标是待评估图像与待评估图像对应的清晰图像之间的变换指标。

步骤S1220,基于坏例值,确定待评估图像是否属于坏例。

其中,坏例值用于指示待评估图像的图像质量,例如,如果坏例值为第一数值,则确定待评估图像属于坏例,如果坏例值为第二数值,则确定待评估图像不属于坏例。

在一种可选的实施方式中,在确定待评估图像是否属于坏例之后,如果待评估图像属于坏例,还可以基于图像属性变换指标,生成待评估图像对应的图像优化指标;基于图像优化指标对待评估图像进行图像变换,得到待评估图像对应的清晰图像。

例如,在训练模型时,清晰图像对应的亮度、饱和度、对比度、噪点和清晰度均为0,那么,在模型应用阶段,如果待评估图像对应的图像属性变换指标为[-30,75,-60, 0,-50],则图像优化指标即为[30, -75,60,0,50]。根据该图像优化指标对待评估图像进行处理,可以得到对应的清晰图像。

本申请实施例的图像质量评估方法,除了可以根据坏例值确定图像质量之外,还可以在图像质量较低的情况下,根据图像属性变换指标生成图像优化指标,以对待评估图像进行优化处理,得到对应的清晰图像。

相应于上述方法实施例,本申请实施例还提供了一种图像质量评估模型训练装置,参见图13,图13为本申请实施例中图像质量评估模型训练装置的一种结构示意图,可以包括:

基准数据获取模块1310,用于获取多个样本清晰图像,对每个样本清晰图像进行文字识别,得到样本清晰图像对应的第一文本信息;

图像变换模块1320,用于针对单个样本清晰图像,基于多个图像属性变换指标对该样本清晰图像进行变换,得到该样本清晰图像对应的多个样本变换图像;

文字识别模块1330,用于对各样本变换图像进行文字识别得到各样本变换图像对应的第二文本信息;

莱文斯坦距离确定模块1340,用于确定该样本清晰图像对应的第一文本信息与第二文本信息之间的莱文斯坦距离;

坏例值确定模块1350,用于基于莱文斯坦距离确定样本变换图像对应的坏例值,其中,坏例值用于指示样本变换图像是否属于坏例;

模型训练模块1360,用于将各样本变换图像作为输入,将各样本变换图像对应的图像属性变换指标和坏例值作为标签,训练生成图像质量评估模型。

在一种可选的实施方式中,模型训练模块1360具体用于将样本变换图像输入初始模型,得到样本变换图像对应的图像属性变换预测指标和坏例预测值;根据样本变换图像对应的图像属性变换预测指标,以及样本变换图像对应的图像属性变换指标和坏例值,基于预设的损失函数,对初始模型进行训练,生成图像质量评估模型。

在一种可选的实施方式中,模型训练模块1360通过下述步骤实现根据样本变换图像对应的图像属性变换预测指标,以及样本变换图像对应的图像属性变换指标和坏例值,基于预设的损失函数,对初始模型进行训练:

根据样本变换图像对应的图像属性变换预测指标和样本变换图像对应的图像属性变换指标,基于第一损失函数确定第一损失函数值;

根据样本变换图像对应的图像属性变换预测指标、图像属性变换指标和坏例值,基于第二损失函数确定第二损失函数值;

根据第一损失函数值和第二损失函数值确定初始模型的损失函数值,基于损失函数值对初始模型进行训练。

在一种可选的实施方式中,模型训练模块1360通过下述步骤实现根据样本变换图像对应的图像属性变换预测指标、图像属性变换指标和坏例值,基于第二损失函数确定第二损失函数值:

如果样本变换图像对应的坏例值为第一数值,获取样本变换图像对应的图像可识别边界值;

根据样本变换图像对应的图像属性变换指标和图像可识别边界值,基于第二损失函数确定样本变换图像对应的实际变换程度;

根据样本变换图像对应的图像属性变换预测指标和图像可识别边界值,基于第二损失函数确定样本变换图像对应的预测变换程度;

根据实际变换程度和预测变换程度,确定第二损失函数值;

如果样本变换图像对应的坏例值为第二数值,确定第二损失函数值为0。

在一种可选的实施方式中,坏例值确定模块1350,具体用于如果莱文斯坦距离大于预设数值,确定样本变换图像对应的坏例值是第一数值;如果莱文斯坦距离不大于预设数值,确定样本变换图像对应的坏例值是第二数值。

在一种可选的实施方式中,图像质量评估模型训练装置还包括:

变换指标获取模块,用于获取至少一个图像属性中每个图像属性对应的多个变换指标;

图像属性变换指标生成模块,用于根据每个图像属性对应的多个变换指标,生成多个图像属性变换指标,其中,图像属性变换指标包括每个图像属性对应的一个变换指标。

在一种可选的实施方式中,图像质量评估模型的网络结构为ResNet网络结构中除softmax层之外的网络结构。

参见图14,图14为本申请实施例中图像质量评估装置的一种结构示意图,可以包括:

待评估图像获取模块1410,用于获取待评估图像,通过图像质量评估模型对待评估图像进行处理,得到待评估图像对应的图像属性变换指标和坏例值;

图像质量评估模块1420,用于基于坏例值,确定待评估图像是否属于坏例;

其中,图像质量评估模型基于上述图像质量评估模型训练方法训练得到。

在一种可选的实施方式中,图像质量评估装置还包括:

图像优化指标生成模块,用于如果待评估图像属于坏例,基于图像属性变换指标,生成待评估图像对应的图像优化指标;

清晰图像生成模块,用于基于图像优化指标对待评估图像进行图像变换,得到待评估图像对应的清晰图像。

上述装置中各模块或单元的具体细节已经在对应的方法中进行了详细的描述,因此,此处不再赘述。

应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本申请实施例还提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行上述图像质量评估模型训练方法或图像质量评估方法的步骤。

图15为本申请实施例中电子设备的一种结构示意图。需要说明的是,图15示出的电子设备1500仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。

如图15所示,电子设备1500包括中央处理单元(CPU)1501,其可以根据存储在只读存储器(ROM)1502中的程序或者从存储部分1508加载到随机访问存储器(RAM)1503中的程序而执行各种适当的动作和处理。在RAM 1503中,还存储有系统操作所需的各种程序和数据。CPU 1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。

以下部件连接至I/O接口1505:包括键盘、鼠标等的输入部分1506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1507;包括硬盘等的存储部分1508;以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分1509。通信部分1509经由诸如因特网的网络执行通信处理。驱动器1510也根据需要连接至I/O接口1505。可拆卸介质1511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1510上,以便于从其上读出的计算机程序根据需要被安装入存储部分1508。

特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1509从网络上被下载和安装,和/或从可拆卸介质1511被安装。在该计算机程序被中央处理单元1501执行时,执行本申请的装置中限定的各种功能。

本申请实施例中,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像质量评估模型训练方法或图像质量评估方法。

需要说明的是,本申请所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、射频等等,或者上述的任意合适的组合。

本申请实施例中,还提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述图像质量评估模型训练方法或图像质量评估方法。

需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式,使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

相关技术
  • 模型训练、图像质量评估方法及装置、电子设备、介质
  • 图像质量检测模型训练方法及装置、电子设备和存储介质
技术分类

06120112899991