掌桥专利:专业的专利平台
掌桥专利
首页

图像质量检测模型训练方法、装置和计算机设备

文献发布时间:2023-06-19 09:41:38


图像质量检测模型训练方法、装置和计算机设备

技术领域

本申请涉及图像处理技术领域,特别是涉及一种图像质量检测模型训练方法、装置和计算机设备。

背景技术

随着计算机技术的发展,深度学习理论在图像处理领域发展迅速,深度学习逐步应用于图像质量检测当中。图像质量检测广泛应在各个领域,如,在智能交通领域、医疗领域等,在智能交通领域通过图像质量检测可以对驾驶行为进行识别和检测。

目前图像质量的检测方法是人工识别的,或者使用设定的检测规则匹配的方法对图像质量进行检测,导致图像质量检测的准确性低。

发明内容

基于此,有必要针对上述技术问题,提供一种能够提高图像质量检测准确性的图像质量检测模型训练方法、装置、计算机设备和存储介质。

一种图像质量检测模型训练方法,所述方法包括:

构建各图像标签对应的图像样本集;所述图像标签用于表征图像质量的等级;

根据图像质量指标提取各所述图像样本集中图像的图像特征向量;

将各所述图像样本集中图像输入至添加CBAM注意力单元的深度卷积神经网络中,得到图像的特征矩阵向量;

根据所述特征矩阵向量训练所述深度卷积神经网络,得到目标深度卷积神经网络;

将所述特征矩阵向量和所述图像特征向量训练所述全连接神经网络,得到目标全连接神经网络;

根据所述目标深度卷积神经网络和所述目标全连接神经网络得到图像质量检测模型。

在其中一个实施例中,所述构建各图像标签对的图像样本集,包括:

获取原始图像集中各图像的下载频次和点击频次;

根据各图像的下载频次和点击频次确定图像质量的等级,得到所述原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

在其中一个实施例中,所述根据各图像的下载频次和点击频次确定图像质量的等级,得到所述原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集,包括:

对各图像的下载频次和点击频次按照从大到小的顺序进行排序;

根据各所述图像在所述原始图像集中的排序位置,确定各图像的图像质量的等级,得到所述原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

在其中一个实施例中,所述CBAM注意力单元包括通道注意力单元和空间注意力单元,所述将各所述图像样本集中图像输入添加CBAM注意力单元的深度卷积神经网络中,得到对应的特征矩阵向量,包括:

将各所述图像样本集中图像进行填充处理,将填充处理后的初始图像特征依次输入到所述通道注意力单元和空间注意力单元中,通过权重系数对所述图像特征进行加权求和处理,得到空间注意图;

对所述空间注意图的图像特征进行卷积处理,得到对应的特征矩阵向量。

在其中一个实施例中,所述将填充处理后的初始图像特征依次输入到所述通道注意力单元和空间注意力单元中,通过权重系数对所述图像特征进行加权求和处理,得到空间注意图的图像特征,包括:

通过通道注意力单元对所述初始图像特征进行全局平均池化和最大池化处理,得到两个第一通道;

将所述两个第一通道输入至共享参数的全连接神经网络中,得到两个中间图像特征;

通过对两个所述中间图像特征的相加结果进行激活处理,得到第一权重系数;

根据所述第一权重系数和所述初始图像特征的相乘结果,得到通道注意图;

通过所述空间注意力单元对所述通道注意图进行全局平均池化和最大池化处理,得到两个第二通道;

通过卷积层和激活函数对两个所述第二通道的通道拼接结果进行处理,得到第二权重系数;

将所述第二权重系数和所述通道注意图相乘,得到空间注意图。

在其中一个实施例中,所述将所述特征矩阵向量和所述图像特征向量训练所述全连接神经网络,得到目标全连接神经网络,包括:

将所述特征矩阵向量和所述图像特征向量进行融合,得到融合图像特征向量;

将所述融合图像特征向量输入至全连接神经网络中,得到表征图像标签类别的类别特征向量;

根据所述类别特征向量和期望类别特征向量,通过梯度反向传播优化所述全连接神经网络,得到目标全连接神经网络。

在其中一个实施例中,所述方法还包括:

获取待检测图像;

提取所述待检测图像的图像特征向量,将所述图像特征向量和所述待检测图像输入至图像质量检测模型中,得到所述待检测图像对应的图像标签。

一种图像质量检测模型训练装置,所述装置包括:

构建模块,用于构建各图像标签对应的图像样本集;所述图像标签用于表征图像质量的等级;

提取模块,用于根据图像质量指标提取各所述图像样本集中图像的图像特征向量;

输入模块,用于将各所述图像样本集中图像输入至包含注意力机制的深度卷积神经网络,得到图像的特征矩阵向量;

第一训练模块,用于根据所述特征矩阵向量训练所述深度卷积神经网络,得到目标深度卷积神经网络;

第二训练模块,用于将所述特征矩阵向量和所述图像特征向量训练所述全连接神经网络,得到目标全连接神经网络;

确定模块,用于根据所述目标深度卷积神经网络和所述目标全连接神经网络得到图像质量检测模型。

一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:

构建各图像标签对应的图像样本集;所述图像标签用于表征图像质量的等级;

根据图像质量指标提取各所述图像样本集中图像的图像特征向量;

将各所述图像样本集中图像输入至添加CBAM注意力单元的深度卷积神经网络中,得到图像的特征矩阵向量;

根据所述特征矩阵向量训练所述深度卷积神经网络,得到目标深度卷积神经网络;

将所述特征矩阵向量和所述图像特征向量训练所述全连接神经网络,得到目标全连接神经网络;

根据所述目标深度卷积神经网络和所述目标全连接神经网络得到图像质量检测模型。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

构建各图像标签对应的图像样本集;所述图像标签用于表征图像质量的等级;

根据图像质量指标提取各所述图像样本集中图像的图像特征向量;

将各所述图像样本集中图像输入至添加CBAM注意力单元的深度卷积神经网络中,得到图像的特征矩阵向量;

根据所述特征矩阵向量训练所述深度卷积神经网络,得到目标深度卷积神经网络;

将所述特征矩阵向量和所述图像特征向量训练所述全连接神经网络,得到目标全连接神经网络;

根据所述目标深度卷积神经网络和所述目标全连接神经网络得到图像质量检测模型。

上述图像质量检测模型训练方法、装置、计算机设备和存储介质,通过构建不同图像质量的图像样本集,提取出各图像样本集中图像的图像特征向量;通过添加CBAM注意力单元的深度卷积神经网络中对图像特征向量进行学习,根据图像的特征矩阵向量对深度卷积神经网络进行优化,得到目标深度卷积神经网络;通过图像特征向量和图像的特征矩阵向量,训练全连接神经网络,得到目标全连接神经网络;根据目标全连接神经网络和目标深度卷积神经网络得到训练好的图像质量检测模型;通过训练好的图像质量检测模型对待检测图像进行检测,得到表征图像质量的图像标签,提高了图像质量检测的准确性。

附图说明

图1为一个实施例中图像质量检测模型训练方法的流程示意图;

图2为一个实施例中图像质量检测模型训练步骤的流程示意图;

图3为另一个实施例中图像质量检测模型训练方法的流程示意图;

图4为一个实施例中图像质量检测模型训练装置的结构框图;

图5为另一个实施例中图像质量检测模型训练装置的结构框图;

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在一个实施例中,如图1所示,提供了一种图像质量检测模型训练方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤102,构建各图像标签对应的图像样本集;图像标签用于表征图像质量的等级。

其中,图像质量指根据图像的下载频次和点击频次来确定的。图像标签包括第一标签、第二标签、第三标签和第四标签;不同的标签代表图像质量的不同等级,第一标签、第二标签、第三标签和第四标签对应的图像质量关系可以表示为:第一标签>第二标签>第三标签>第四标签。第一标签、第二标签、第三标签和第四标签可分别代表图像质量优秀、良好、合格、差。图像标签可以用独热编码one-hot来表示,例如,第一标签可以表示为(0,0,0,1),第二标签可以表示为(0,0,1,0),第三标签可以表示为(0,1,0,0),第四标签可以表示为(1,0,0,0)。

具体地,从服务器中获取大量的原始图像集,根据原始图像集中各图像的点击频次和下载频次确定各图像的等级,得到原始图像集中各图像的图像标签,根据各图像的图像标签对原始图像集进行分类,构建各图像标签对应的图像样本集。

步骤104,根据图像质量指标提取各图像样本集中图像的图像特征向量。

其中,图像质量指标包括图像的分辨率、色彩、色域宽度等。

具体地,对各图像样本集中图像进行灰度化处理,以及根据预设阈值地灰度化处理后的各图像进行二值化处理,得到各图像样本数据集中各图像特征的图像特征向量,图像特征向量可包括分辨率图像特征向量、色彩图像特征向量和色域宽度图像特征向量。

步骤106,将各图像样本集中图像输入至添加CBAM注意力单元的深度卷积神经网络中,得到图像的特征矩阵向量。

其中,深度卷积神经网络中包括7层卷积层,在第1,2,3,5卷积层之后各接入一个池化层,池化层尺寸分别为7*7,5*5,3*3,2*2,各池化层对应步长等于其池化层的尺寸;每个卷积层的步长为1;其中:第1个卷积层使用30个卷积核,卷积核尺寸为16*16,输出特征图尺寸与卷积核尺寸相同;第2个卷积层使用60个卷积核,卷积核尺寸为12*12,输出特征图尺寸与卷积核尺寸相同;第3个卷积层使用120个卷积核,卷积核尺寸为9*9,输出特征图尺寸与卷积核尺寸相同;第4个卷积层使用240个卷积核,卷积核尺寸为7*7,输出特征图尺寸与卷积核尺寸相同;第5个卷积层使用480个卷积核,卷积核尺寸为5*5,输出特征图尺寸与卷积核尺寸相同;第6个卷积层使用960个卷积核,卷积核尺寸为3*3,输出特征图尺寸与卷积核尺寸相同;第7个卷积层使用1024个卷积核,卷积核尺寸为2*2,输出特征图尺寸与卷积核尺寸相同。

在深度卷积神经网络的第1层,2层,4层,7层进行卷积操作之前,增加了CBAM注意力单元(Convolutional Block Attention Module),CBAM注意力单元中包括通道注意力单元和空间注意力单元。

具体地,用0向量对各样本图像集中的各图像进行填充处理,得到1920×1080分辨率的图像,将填充处理后的各样本图像集中的各图像按照图像的RGB颜色分量,得到各图像的初始图像特征,即各图像的R、G、B三个通道。将各图像的R、G、B三个通道以及各图像对应的图像标签输入添加CBAM注意力单元的深度卷积神经网络中,得到各图像对应的特征矩阵向量。即,在将R、G、B三个通道以及各图像对应的图像标签输入深度卷积神经网络的第1层,2层,4层,7层进行卷积操作之前,增加CBAM注意力单元,通过CBAM注意力单元中的通过通道注意力单元对初始图像特征进行全局平均池化和最大池化处理,得到两个第一通道;将两个第一通道输入至共享参数的全连接神经网络中,得到两个中间图像特征;通过对两个中间图像特征的相加结果进行激活处理,得到第一权重系数;根据第一权重系数和初始图像特征的相乘结果,得到通道注意图;通过空间注意力单元对通道注意图进行全局平均池化和最大池化处理,得到两个第二通道;通过卷积层和激活函数对两个第二通道的通道拼接结果进行处理,得到第二权重系数;将第二权重系数和通道注意图相乘,得到空间注意图,对空间注意图的图像特征进行卷积处理,得到对应的特征矩阵向量。

步骤108,根据特征矩阵向量训练深度卷积神经网络,得到目标深度卷积神经网络。

具体地,将各图像的R、G、B三个通道以及各图像对应的图像标签输入添加CBAM注意力单元的深度卷积神经网络中,对深度卷积神经网络进行迭代训练,得到各图像对应的特征矩阵向量,将得到的特征向量矩阵与训练深度卷积神经网络的期望输出向量进行比较,通过反向传播更新深度卷积神经网络的权值,得到目标深度卷积神经网络。

步骤110,将特征矩阵向量和图像特征向量训练全连接神经网络,得到目标全连接神经网络。

其中,全连接神经网络(DNN)包括输入层、隐藏层和输出层,在本实施例中,全连接神经网络的第一层为输入层有1034个神经元,输出层的激活函数为softmax函数;第二层为隐藏层有2048个神经元,第三层为隐藏层有1024个神经元,隐藏层的激活函数为sigmoid函数;第四层为输出层有4个神经元,输出层的激活函数为sigmoid函数,输出层的每个神经对应一种图像标签。

具体地,将特征矩阵向量和图像特征向量进行融合,得到融合图像特征向量;将融合图像特征向量输入至全连接神经网络中,得到表征图像标签类别的类别特征向量;根据类别特征向量和期望类别特征向量进行比较,通过梯度反向传播优化全连接神经网络,即更新全连接神经网络的权值,得到目标全连接神经网络。

步骤112,根据目标深度卷积神经网络和目标全连接神经网络得到图像质量检测模型。

上述图像质量检测模型训练方法中,通过构建不同图像质量的图像样本集,提取出各图像样本集中图像的图像特征向量;通过添加CBAM注意力单元的深度卷积神经网络中对图像特征向量进行学习,根据图像的特征矩阵向量对深度卷积神经网络进行优化,得到目标深度卷积神经网络;通过图像特征向量和图像的特征矩阵向量,训练全连接神经网络,得到目标全连接神经网络;根据目标全连接神经网络和目标深度卷积神经网络得到训练好的图像质量检测模型;通过训练好的图像质量检测模型对待检测图像进行检测,得到表征图像质量的图像标签,提高了图像质量检测的准确性。

在一个实施例中,如图2所示,提供了一种图像质量检测模型训练步骤,本实施例以该步骤应用于终端进行举例说明,本实施例中,该方法包括以下步骤:

步骤202,构建各图像标签对应的图像样本集。

具体地,获取原始图像集中各图像的下载频次和点击频次,对各图像的下载频次和点击频次按照从大到小的顺序进行排序;根据各图像在原始图像集中的排序位置,确定各图像的图像质量的等级,得到原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。例如,获取原始图像集中各图像的下载频次和点击频次,对各图像的下载频次和点击频次按照从大到小的顺序进行排序,确定各图像在原始图像集中的排序位置,确定下载频次和点击频次前10%图像的图像标签为第一标签(如,优秀),下载频次和点击频次在前30%到前10%图像的图像标签为第二标签(如,良好),下载频次和点击频次在前60%到前30%图像的图像标签为第三标签(如,合格),剩下图像的图像标签为第四标签(如,差)。

步骤204,提取各图像样本集中图像的图像特征向量。

步骤206,将各图像样本集中图像输入至添加CBAM注意力单元的深度卷积神经网络中,得到图像的特征矩阵向量。

具体地,将各图像样本集中图像进行填充处理,将填充处理后的初始图像特征依次输入到通道注意力单元和空间注意力单元中,通过通道注意力单元对初始图像特征进行全局平均池化和最大池化处理,得到两个第一通道;将两个第一通道输入至共享参数的全连接神经网络中,得到两个中间图像特征;通过对两个中间图像特征的相加结果进行激活处理,得到第一权重系数;根据第一权重系数和初始图像特征的相乘结果,得到通道注意图;通过空间注意力单元对通道注意图进行全局平均池化和最大池化处理,得到两个第二通道;通过卷积层和激活函数对两个第二通道的通道拼接结果进行处理,得到第二权重系数;将第二权重系数和通道注意图相乘,得到空间注意图,对空间注意图的图像特征进行卷积处理,得到对应的特征矩阵向量。

步骤208,根据特征矩阵向量和图像特征向量,得到图像质量检测模型。

具体地,将各图像的R、G、B三个通道以及各图像对应的图像标签输入添加CBAM注意力单元的深度卷积神经网络中,对深度卷积神经网络进行迭代训练,得到各图像对应的特征矩阵向量,将得到的特征向量矩阵与训练深度卷积神经网络的期望输出向量进行比较,通过反向传播更新深度卷积神经网络的权值,得到目标深度卷积神经网络;将特征矩阵向量和图像特征向量进行融合,得到融合图像特征向量;将融合图像特征向量输入至全连接神经网络中,得到表征图像标签类别的类别特征向量;根据类别特征向量和期望类别特征向量进行比较,通过梯度反向传播优化全连接神经网络,即更新全连接神经网络的权值,得到目标全连接神经网络;根据目标深度卷积神经网络和目标全连接神经网络得到图像质量检测模型。

本实施例中,通过根据图像的点击频次和下载频次确定图像质量的等级,对原始图像集中的图像进行分类,得到各图像标签对应的图像样本集;通过在深度卷积神经网络中指定的卷积层中添加CBAM注意力单元,根据各图像标签对应的图像样本集对包含CBAM注意力单元的深度卷积神经网络以及全连接神经网络进行训练,得到用于检测图像质量的图像质量检测模型;即将深度卷积神经网络和全连接神经网络进行结合,得到稳定的图像质量检测模型,提高了图像质量检测模型的稳定性以及图像质量检测的准确性。

在另一个实施例中,如图3所示,提供了一种图像质量检测模型训练方法,本实施例以该步骤应用于终端进行举例说明,本实施例中,该方法包括以下步骤:

步骤302,获取原始图像集中各图像的下载频次和点击频次。

步骤304,根据各图像的下载频次和点击频次确定图像质量的等级,得到原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

步骤306,将各图像样本集中图像进行填充处理,将填充处理后的初始图像特征依次输入到通道注意力单元和空间注意力单元中,通过权重系数对图像特征进行加权求和处理,得到空间注意图。

具体地,通过通道注意力单元对初始图像特征进行全局平均池化和最大池化处理,得到两个第一通道;将两个第一通道输入至共享参数的全连接神经网络中,得到两个中间图像特征;通过对两个中间图像特征的相加结果进行激活处理,得到第一权重系数;根据第一权重系数和初始图像特征的相乘结果,得到通道注意图;通过空间注意力单元对通道注意图进行全局平均池化和最大池化处理,得到两个第二通道;通过卷积层和激活函数对两个第二通道的通道拼接结果进行处理,得到第二权重系数;将第二权重系数和通道注意图相乘,得到空间注意图。例如,在将R、G、B三个通道以及各图像对应的图像标签输入深度卷积神经网络的第1层,2层,4层,7层进行卷积操作之前,在对应的卷积层输入H×W×C的初始图像特征F,H代表图像的高,W表示图像的宽,C表示通道,例如;1920*1680的图像的H1920为个像素,W为1680个像素,C为3分别为RGB3个通道;通过通道注意力单元对初始图像特征进行全局平均池化和最大池化处理,得到两个1×1×C的通道,将两个第一通道输入至共享参数的全连接神经网络中得到两个中间图像特征,对两个中间特征相加后经过激活函数(如,Sigmoid函数)得到第一权重系数Mc,根据第一权重系数Mc和初始图像特征F的相乘结果,得到通道注意图F1;共享参数的全连接神经网络包括两层,第一层神经元个数为C/r,r是压缩率,此处r的取值可以是2,激活函数为Relu,第二层神经元个数为C。通过空间注意力单元对通道注意图F1进行全局平均池化和最大池化处理,得到两个H×W×1的第二通道;通过5×5卷积层和Sigmoid函数对两个第二通道的通道拼接结果进行处理,得到第二权重系数Ms;将第二权重系数和通道注意图相乘,得到空间注意图F2。

步骤308,对空间注意图的图像特征进行卷积处理,得到对应的特征矩阵向量。

具体地,对空间注意图的图像特征进行卷积处理,得到1*1024的特征矩阵向量。

步骤310,根据特征矩阵向量训练深度卷积神经网络,得到目标深度卷积神经网络。

步骤312,将特征矩阵向量和图像特征向量训练全连接神经网络,得到目标全连接神经网络。

具体地,将特征矩阵向量和图像特征向量进行融合,得到融合图像特征向量;将融合图像特征向量输入至全连接神经网络中,得到表征图像标签类别的类别特征向量;根据类别特征向量和期望类别特征向量,通过梯度反向传播优化全连接神经网络,得到目标全连接神经网络。

步骤314,获取待检测图像。

步骤316,提取待检测图像的图像特征向量,将图像特征向量和待检测图像输入至图像质量检测模型中,得到待检测图像对应的图像标签。

上述像质量检测模型训练方法中,通过根据图像的点击频次和下载频次确定图像质量的等级,对原始图像集中的图像进行分类,得到各图像标签对应的图像样本集,构建各图像标签对应的图像样本集;通过在深度卷积神经网络中指定的卷积层中添加CBAM注意力单元,以及将深度卷积神经网络与全连接神经网络进行拼接,基于各图像标签对应的图像样本集,对拼接后的深度卷积神经网络与全连接神经网络进行训练,得到图像质量检测模型;通过图像质量检测模型对任意输入的待检测图像进行质量检测,不需人工干预,基于图像质量检测模型的稳定性,提高了图像质量检测的准确性。

应该理解的是,虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-3中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图4所示,提供了一种图像质量检测模型训练装置,包括:构建模块402、提取模块404、输入模块406、第一训练模块408、第二训练模块410和确定模块412,其中:

构建模块402,用于构建各图像标签对应的图像样本集;图像标签用于表征图像质量的等级。

提取模块404,用于根据图像质量指标提取各图像样本集中图像的图像特征向量。

输入模块406,用于将各图像样本集中图像输入至包含注意力机制的深度卷积神经网络,得到图像的特征矩阵向量。

第一训练模块408,用于根据特征矩阵向量训练深度卷积神经网络,得到目标深度卷积神经网络。

第二训练模块410,用于将特征矩阵向量和图像特征向量训练全连接神经网络,得到目标全连接神经网络。

确定模块412,用于根据目标深度卷积神经网络和目标全连接神经网络得到图像质量检测模型。

上述图像质量检测模型训练装置,通过构建不同图像质量的图像样本集,提取出各图像样本集中图像的图像特征向量;通过添加CBAM注意力单元的深度卷积神经网络中对图像特征向量进行学习,根据图像的特征矩阵向量对深度卷积神经网络进行优化,得到目标深度卷积神经网络;通过图像特征向量和图像的特征矩阵向量,训练全连接神经网络,得到目标全连接神经网络;根据目标全连接神经网络和目标深度卷积神经网络得到训练好的图像质量检测模型;通过训练好的图像质量检测模型对待检测图像进行检测,得到表征图像质量的图像标签,提高了图像质量检测的准确性。

在另一个实施例中,如图4所示,提供了一种图像质量检测模型训练装置,除包括构建模块402、提取模块404、输入模块406、第一训练模块408、第二训练模块410和确定模块412之外,还包括:获取模块414、排序模块416、卷积处理模块418和检测模块420,其中:

获取模块414,用于获取原始图像集中各图像的下载频次和点击频次。

在一个实施例中,构建模块402还用于根据各图像的下载频次和点击频次确定图像质量的等级,得到原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

排序模块416,用于对各图像的下载频次和点击频次按照从大到小的顺序进行排序。

在一个实施例中,构建模块402还用于根据各图像在原始图像集中的排序位置,确定各图像的图像质量的等级,得到原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

卷积处理模块418,用于将各图像样本集中图像进行填充处理,将填充处理后的初始图像特征依次输入到通道注意力单元和空间注意力单元中,通过权重系数对图像特征进行加权求和处理,得到空间注意图;对空间注意图的图像特征进行卷积处理,得到对应的特征矩阵向量。

卷积处理模块418包括第一处理模块和第二处理模块,其中:第一处理模块,用于通过通道注意力单元对初始图像特征进行全局平均池化和最大池化处理,得到两个第一通道;将两个第一通道输入至共享参数的全连接神经网络中,得到两个中间图像特征;通过对两个中间图像特征的相加结果进行激活处理,得到第一权重系数;根据第一权重系数和初始图像特征的相乘结果,得到通道注意图。

第二处理模块,用于通过空间注意力单元对通道注意图进行全局平均池化和最大池化处理,得到两个第二通道;通过卷积层和激活函数对两个第二通道的通道拼接结果进行处理,得到第二权重系数;将第二权重系数和通道注意图相乘,得到空间注意图。

第二训练模块410还用于将特征矩阵向量和图像特征向量进行融合,得到融合图像特征向量;将融合图像特征向量输入至全连接神经网络中,得到表征图像标签类别的类别特征向量;根据类别特征向量和期望类别特征向量,通过梯度反向传播优化全连接神经网络,得到目标全连接神经网络。

检测模块420,用于获取待检测图像;提取待检测图像的图像特征向量,将图像特征向量和待检测图像输入至图像质量检测模型中,得到待检测图像对应的图像标签。

在一个实施例中,通过对原始图像集中各图像的下载频次和点击频次按照从大到小的顺序进行排序,确定各图像的图像质量的等级,得到原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集;通过在深度卷积神经网络中指定的卷积层中添加CBAM注意力单元,以及将深度卷积神经网络与全连接神经网络进行拼接,基于各图像标签对应的图像样本集,对拼接后的深度卷积神经网络与全连接神经网络进行训练,得到图像质量检测模型;通过图像质量检测模型对任意输入的待检测图像进行质量检测,不需人工干预,基于图像质量检测模型的稳定性,提高了图像质量检测的准确性。

关于图像质量检测模型训练装置的具体限定可以参见上文中对于图像质量检测模型训练方法的限定,在此不再赘述。上述图像质量检测模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像质量检测模型训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:

构建各图像标签对应的图像样本集;图像标签用于表征图像质量的等级;

根据图像质量指标提取各图像样本集中图像的图像特征向量;

将各图像样本集中图像输入至添加CBAM注意力单元的深度卷积神经网络中,得到图像的特征矩阵向量;

根据特征矩阵向量训练深度卷积神经网络,得到目标深度卷积神经网络;

将特征矩阵向量和图像特征向量训练全连接神经网络,得到目标全连接神经网络;

根据目标深度卷积神经网络和目标全连接神经网络得到图像质量检测模型。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取原始图像集中各图像的下载频次和点击频次;

根据各图像的下载频次和点击频次确定图像质量的等级,得到原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

对各图像的下载频次和点击频次按照从大到小的顺序进行排序;

根据各所述图像在所述原始图像集中的排序位置,确定各图像的图像质量的等级,得到所述原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将各图像样本集中图像进行填充处理,将填充处理后的初始图像特征依次输入到通道注意力单元和空间注意力单元中,通过权重系数对图像特征进行加权求和处理,得到空间注意图;

对空间注意图的图像特征进行卷积处理,得到对应的特征矩阵向量。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

通过通道注意力单元对初始图像特征进行全局平均池化和最大池化处理,得到两个第一通道;

将两个第一通道输入至共享参数的全连接神经网络中,得到两个中间图像特征;

通过对两个中间图像特征的相加结果进行激活处理,得到第一权重系数;

根据第一权重系数和初始图像特征的相乘结果,得到通道注意图;

通过空间注意力单元对通道注意图进行全局平均池化和最大池化处理,得到两个第二通道;

通过卷积层和激活函数对两个第二通道的通道拼接结果进行处理,得到第二权重系数;

将第二权重系数和通道注意图相乘,得到空间注意图。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

将特征矩阵向量和图像特征向量进行融合,得到融合图像特征向量;

将融合图像特征向量输入至全连接神经网络中,得到表征图像标签类别的类别特征向量;

根据类别特征向量和期望类别特征向量,通过梯度反向传播优化全连接神经网络,得到目标全连接神经网络。

在一个实施例中,处理器执行计算机程序时还实现以下步骤:

获取待检测图像;

提取待检测图像的图像特征向量,将图像特征向量和待检测图像输入至图像质量检测模型中,得到待检测图像对应的图像标签。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

构建各图像标签对应的图像样本集;图像标签用于表征图像质量的等级;

根据图像质量指标提取各图像样本集中图像的图像特征向量;

将各图像样本集中图像输入至添加CBAM注意力单元的深度卷积神经网络中,得到图像的特征矩阵向量;

根据特征矩阵向量训练深度卷积神经网络,得到目标深度卷积神经网络;

将特征矩阵向量和图像特征向量训练全连接神经网络,得到目标全连接神经网络;

根据目标深度卷积神经网络和目标全连接神经网络得到图像质量检测模型。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取原始图像集中各图像的下载频次和点击频次;

根据各图像的下载频次和点击频次确定图像质量的等级,得到原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

对各图像的下载频次和点击频次按照从大到小的顺序进行排序;

根据各所述图像在所述原始图像集中的排序位置,确定各图像的图像质量的等级,得到所述原始图像集中各图像的图像标签,构建各图像标签对应的图像样本集。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将各图像样本集中图像进行填充处理,将填充处理后的初始图像特征依次输入到通道注意力单元和空间注意力单元中,通过权重系数对图像特征进行加权求和处理,得到空间注意图;

对空间注意图的图像特征进行卷积处理,得到对应的特征矩阵向量。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

通过通道注意力单元对初始图像特征进行全局平均池化和最大池化处理,得到两个第一通道;

将两个第一通道输入至共享参数的全连接神经网络中,得到两个中间图像特征;

通过对两个中间图像特征的相加结果进行激活处理,得到第一权重系数;

根据第一权重系数和初始图像特征的相乘结果,得到通道注意图;

通过空间注意力单元对通道注意图进行全局平均池化和最大池化处理,得到两个第二通道;

通过卷积层和激活函数对两个第二通道的通道拼接结果进行处理,得到第二权重系数;

将第二权重系数和通道注意图相乘,得到空间注意图。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

将特征矩阵向量和图像特征向量进行融合,得到融合图像特征向量;

将融合图像特征向量输入至全连接神经网络中,得到表征图像标签类别的类别特征向量;

根据类别特征向量和期望类别特征向量,通过梯度反向传播优化全连接神经网络,得到目标全连接神经网络。

在一个实施例中,计算机程序被处理器执行时还实现以下步骤:

获取待检测图像;

提取待检测图像的图像特征向量,将图像特征向量和待检测图像输入至图像质量检测模型中,得到待检测图像对应的图像标签。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

相关技术
  • 图像质量检测模型训练方法、装置和计算机设备
  • 图像质量检测模型训练方法及装置、电子设备和存储介质
技术分类

06120112268009