一种基于任务驱动的空间目标图像质量评价方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种基于任务驱动的空间目标图像质量评价方法。

背景技术

图像质量评价(Image Quality Assessment,IQA)，是利用计算机视觉技术实现对应用于下游任务的图像数据进行质量分类的技术。随着空间目标数量的逐渐增多，空间目标图像数据呈现爆发式增长的趋势，空间目标图像的智能存储成为了一个瓶颈问题。而图像质量是衡量空间目标系统整体性能的重要指标，对空间目标图像的质量评价对于空间目标系统的性能评估，目标识别检测等算法的分析比较多个方面都有十分重要的作用。当前真实空间目标图像存在过度曝光，拖影过长，恒星噪声以及运动模糊等问题，导致图像质量不如自然图像，无法直接应用于下游任务算法模型。并且在一些诸如目标检测识别等任务中，单纯的清晰图像往往满足不了任务的全部需求。专家针对下游任务对空间目标进行质量评价是目前可知最精准的一种空间目标图像质量评价方法，然而由于人工评估固有的时效低、成本高的缺点，因此，使用深度神经网络进行学习和建模，达到对于人眼视觉的模拟的效果，实现由深度神经网络模型替代人工进行主观的模拟人眼视觉的雷达图像质量评价。

现有基于计算机视觉的图像质量评价方法使用的训练图像数据集依旧需要人工标注，成本较大。除此之外，在图像质量分类模型中采用可训练的分类器进行图像质量评价，这种分类方式对于数据量充足的任务可以达到较好的效果，但空间目标图像种类较多，但每个类别的图像数量有限，因此需要充分的数据进行训练的分类模块的分类效果欠佳。

发明内容

为了解决相关技术中存在的上述问题，本发明提供了一种基于任务驱动的空间目标图像质量评价方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供一种基于任务驱动的空间目标图像质量评价方法，包括：

获取待评价图像；

采用训练完备的质量评价模型对所述待评价图像进行质量评价，得到所述待评价图像的质量类别；所述质量类别表征图像质量的优劣程度；

其中，所述训练完备的质量评价模型是采用带有质量标签的目标数据集，通过度量学习的方式对初始质量评价模型进行训练得到的；所述目标数据集是根据训练完备的目标识别模型对第一数据集的图像类别的目标识别结果，以及所述第一数据集的真实目标类别之间的欧式距离构建的；所述第一数据集是用于训练所述目标识别模型的数据集的同源数据集；所述评价结果达到预设质量类别的图像用于作为所述目标识别模型或初始目标识别模型的训练样本。

在一些实施例中，所述训练完备的质量评价模型具有与多个质量类别一一对应的多个凸组合协方差矩阵和多个特征表示；所述采用训练完备的质量评价模型对所述待评价图像进行质量评价，得到所述待评价图像的质量类别，包括：

提取所述待评价图像的深层特征；

根据所述待评价图像的深层特征、所述多个凸组合协方差矩阵和所述多个特征表示，计算所述深层特征与所述多个质量类别中每个质量类别之间的马氏距离，得到与所述多个质量类别一一对应的多个马氏距离；

根据所述多个马氏距离确定距离向量，对所述向量进行归一化处理，得到归一化后的向量；

将所述归一化后的向量中的最大值对应的质量类别作为所述待评价图像的质量类别。

在一些实施例中，所述提取所述待评价图像的深层特征，包括：

采用卷积层提取所述待评价图像的局部特征，得到第一特征图；

采用批归一化层对所述第一特征图进行归一化处理和激活处理，得到第二特征图；

采用最大池化层对所述第二特征图进行下采样处理，得到第三特征图；

采用依次串联的多个残差模块提取所述第三特征图的深层语义特征，得到第四特征图；

采用平均池化层对所述第四特征图池化处理，得到所述深层特征。

在一些实施例中，所述根据所述待评价图像的深层特征、所述多个凸组合协方差矩阵和所述多个特征表示，计算所述深层特征与所述多个质量类别中每个质量类别之间的马氏距离，得到与所述多个质量类别一一对应的多个马氏距离，包括：

对于每个质量类别，确定所述待评价图像的深层特征与该质量类别对应的所述特征表示之间的特征差值；

对所述特征差值进行转置处理，得到转置结果；

根据所述特征差值、所述转置结果和该质量类别对应的所述凸组合协方差矩阵，确定所述待评价图像与该质量类别之间的马氏距离，得到与所述多个质量类别一一对应的多个马氏距离。

在一些实施例中，在所述采用训练完备的质量评价模型对所述待评价图像进行质量评价，得到所述待评价图像的质量类别之前，所述方法还包括：

获取第二数据集、与所述第二数据集为同源数据集的所述第一数据集，以及初始目标识别模型；

采用所述第二数据集对所述初始目标识别模型进行训练，得到所述训练完备的目标识别模型；

采用所述训练完备的识别模型预测所述第一数据集中每张图像中的目标的类别，得到每张图像的目标识别结果；

确定所述第一数据集中每张图像的目标识别结果与该图像的真实目标类别之间的欧式距离，根据所述欧式距离构建所述目标数据集；所述目标数据集包括多个质量类别的图像；

获取所述初始质量评价模型，并采用所述目标数据集、度量损失函数和交叉熵损失函数对所述初始质量评价模型进行迭代训练，得到所述训练完备的质量评价模型。

在一些实施例中，所述确定所述第一数据集中每张图像的目标识别结果与该图像的真实目标类别之间的欧式距离，根据所述欧式距离构建所述目标数据集，包括：

确定所述第一数据集中每张图像的目标识别结果与该图像的真实目标类别之间的欧式距离；

根据所述欧式距离和多个预设阈值，将所述第一数据集中的图像划分为所述多个质量类别的图像；每个图像所属的质量类别为该图像的质量标签。

在一些实施例中，所述采用所述目标数据集、度量损失函数和交叉熵损失函数对所述初始质量评价模型进行迭代训练，得到所述训练完备的质量评价模型，包括：

提取所述目标数据集中每张图像的深层特征，并根据所述深层特征得到所述多个质量类别中各个质量类别的特征表示，以及所述多个质量类别共同对应的全图像特征表示；

基于所述目标数据集中的图像的所述深层特征、所述特征表示和所述全图像特征表示，确定所述各个质量类别的凸组合协方差矩阵；

在每次训练时，从所述目标数据集中选取多张图像输入上一次训练得到的质量评价模型，所述上一次训练得到的质量评价模型基于所述各个质量类别的凸组合协方差矩阵，得到当前次训练的模型输出；

根据所述当前次训练的模型输出、所述多张图像的深层特征、所述特征表示和所述多张图像的质量标签，分别确定当前次的度量损失和交叉熵损失；

根据所述当前次的度量损失和交叉熵损失调整所述上一次训练得到的质量评价模型的网络参数，得到当前次训练得到的质量评价模型，如此迭代训练，直至得到所述训练完备的质量评价模型。

在一些实施例中，所述根据所述深层特征得到所述多个质量类别中各个质量类别的特征表示，以及所述多个质量类别共同对应的全图像特征表示，包括：

对所述多个质量类别中每个质量类别的图像的深层特征进行平均池化，得到该质量类别的所述特征表示；

对所述多个质量类别的所述特征表示进行平均池化，得到所述全图像特征表示。

在一些实施例中，所述基于所述目标数据集中的图像的所述深层特征、所述特征表示和所述全图像特征表示，确定所述各个质量类别的凸组合协方差矩阵，包括：

根据所述多个质量类别中每个质量类别的所述特征表示，以及属于该质量类别的所有图像的所述深层特征，确定该质量类别的类内特征协方差矩阵；

根据所述目标数据集中所有图像的所述深层特征，以及所述全图像特征表示，确定所述多个质量类别共同对应的全图像特征协方差矩阵；

根据所述各个质量类别的类内特征协方差矩阵、所述全图像特征协方差矩阵和各个质量类别的预设加权系数，确定所述各个质量类别的凸组合协方差矩阵。

在一些实施例中，当前次的度量损失的表达式为：

其中，L

本发明具有如下有益技术效果：

本发明采用执行上游任务的质量评价模型对图像进行测试，并通过测试结果对图像质量进行评价，可以实现针对特定识别任务的图像的质量评价，从而降低用于训练执行下游任务的目标识别模型的人工图像标注的成本；以及，通过采用度量学习的方式对图像质量进行分类，考虑了特征之间的相关性，可以在训练数据不充足的条件下提高算法鲁棒性，增加图像质量评价的准确率，从而提高与下游任务的匹配度。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1为本发明实施例提供的基于任务驱动的空间目标图像质量评价方法方法的一个流程图；

图2为本发明实施例提供的示例性的基于任务驱动的空间目标图像质量评价方法的总体框架图；

图3为本发明实施例提供的示例性的是本发明实施例提供的BUAA-SID-Share1.0数据集中的空间目标图像；

图4为本发明实施例提供的示例性的在图3的基础上增加噪声构成的空间目标图像；

图5A为本发明实施例提供的示例性的属于“优”类的图像示意图；

图5B为本发明实施例提供的示例性的属于“良”类的图像示意图；

图5C为本发明实施例提供的示例性的属于“中”类的图像示意图；

图5D为本发明实施例提供的示例性的属于“差”类的图像示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

图1是本发明实施例提供的基于任务驱动的空间目标图像质量评价方法的一个流程图，如图1所示，所述方法包括以下步骤：

S101、获取待评价图像。

这里，待评价图像可以是任意目标类别的图像，例如，可以是某个空间目标(例如，卫星)的图像。

S102、采用训练完备的质量评价模型对待评价图像进行质量评价，得到待评价图像的质量类别；质量类别表征图像质量的优劣程度；其中，训练完备的质量评价模型是采用带有质量标签的目标数据集，通过度量学习的方式对初始质量评价模型进行训练得到的；目标数据集是根据训练完备的目标识别模型对第一数据集的图像类别的目标识别结果，以及第一数据集的真实目标类别之间的欧式距离构建的；第一数据集是用于训练目标识别模型的数据集的同源数据集；评价结果达到预设质量类别的图像用于作为目标识别模型或初始目标识别模型的训练样本。

这里，训练完备的目标识别模型可以是用于识别任意目标的模型，例如，可以是用来识别某个空间目标(例如，卫星)的模型。训练完备的目标识别模型的模型结构可以是已有的任意一种目标识别模型的结构。

示例性的，训练完备的质量评价模型可以将每张图像的质量类别分为“优”、“良”、“中”、“差”四类。

这里，第一数据集与用于训练目标识别模型的数据集中的图像的目标类别属于同一类别，例如，第一数据集中包含了一些卫星的图像，用于训练目标识别模型的数据集中则包含了另一些卫星的图像，而且，这两个数据集对应的卫星的种类可以是不同的。

具体的，训练完备的质量评价模型具有与多个质量类别一一对应的多个凸组合协方差矩阵Q

S1021、提取待评价图像的深层特征。

具体的，采用一个卷积核大小为7x7、步长为2、填充为3的卷积层，对待评价图像进行卷积操作，以对该图像的不同局部区域进行处理，从而提取出局部特征，其中，通过卷积操作，该图像从3个通道(RGB)转换为64个特征通道，并且，特征图的尺寸会缩小以提取出该图像的局部特征；在卷积操作完成后，便得到了该图像的第一特征图；之后，采用批归一化层对第一特征图的每个通道进行归一化，使其具有零均值和单位方差后再采用ReLU激活函数进行处理，得到第二特征图，这一步的特征图的尺寸保持不变；之后，采用最大池化层对第二特征图进行下采样处理，得到第三特征图，其中，最大池化层通过最大池化操作将特征图分割成不重叠的矩形区域，并在每个区域中选择最大值作为输出，将特征图尺寸减小一半；之后，将第三特征图通过依次串联的八个残差模块，对第三特征图的深层语义特征进行提取，从而得到第四特征图，其中，八个残差模块中的前两个残差模块均由两个步长为1的3x3卷积层组成，每个卷积层后面跟批归一化层和ReLU激活函数，输入、输出特征图的尺寸相同，随后的六个残差模块同样包括两个卷积层，每个卷积层后面跟批归一化层和ReLU激活函数，但随后的六个残差模块中第二个卷积层的步长为2，使得特征图的尺寸减半；之后，采用平均池化层对第四特征图池化处理，以将第四特征图的空间维度减小到1×1，从而得到深层特征。

S1022、根据待评价图像的深层特征、多个凸组合协方差矩阵和多个特征表示，计算深层特征与多个质量类别中每个质量类别之间的马氏距离，得到与多个质量类别一一对应的多个马氏距离。

具体的，对于每个质量类别，确定待评价图像的深层特征与该质量类别对应的特征表示之间的特征差值；对特征差值进行转置处理，得到转置结果；根据特征差值、转置结果和该质量类别对应的凸组合协方差矩阵，确定待评价图像与该质量类别之间的马氏距离，得到与多个质量类别一一对应的多个马氏距离。

示例性的，待评价图像的深层特征与每个质量类别之间的马氏距离可以通过以下公式计算：

其中，d

S1023、根据多个马氏距离确定距离向量，对向量进行归一化处理，得到归一化后的向量。

示例性的，当n为4时，通过S1022可以计算出四个马氏距离d

其中，i＝1,2,3,4。

S1024、将归一化后的向量中的最大值对应的质量类别作为待评价图像的质量类别。

在一些实施例中，在S102之前，本方法还包括：

S201、获取第二数据集、与第二数据集为同源数据集的第一数据集，以及初始目标识别模型。

这里，初始目标识别模型为初始化得到的目标识别模型。

S202、采用第二数据集对初始目标识别模型进行训练，得到训练完备的目标识别模型。

具体的，训练方法与已有的目标识别模型的训练方法相同，对此不作赘述。

S203、采用训练完备的识别模型预测第一数据集中每张图像中的目标的类别，得到每张图像的目标识别结果。

这里，将第一数据集中的每张图像输入训练完备的识别模型中，可以预测出该图像中的目标的类别，即得到每张图像的目标识别类别。

S204、确定第一数据集中每张图像的目标识别结果与该图像的真实目标类别之间的欧式距离，根据欧式距离构建目标数据集；目标数据集包括多个质量类别的图像。

示例性的，对于第一数据集中的每张图像，可以计算该图像的目标识别结果与该图像的真实目标类别之间的欧式距离，如此，可以得到第一数据集中所有图像对应的欧式距离，之后，采用多个预设阈值将将所述第一数据集中的图像划分为四个质量类别的图像。例如，对于每个目标类别的图像，根据多个阈值，将欧式距离最小的百分之二十五作为“优”，之后的百分之二十五作为“良”，以此类推，将第一数据集中的图像分为“优良中差”四个类，从而便得到了带有质量标签的目标数据集。这多个阈值可根据不同图像任务进行人为修改。

在一些实施例中，在得到带有质量标签的目标数据集之后，可以将目标数据集分为目标训练集和目标测试集，并且，目标训练集和目标测试集中无相同图像，最后将具有质量标签的目标训练集用于训练质量评价模型。

S205、获取初始质量评价模型，并采用目标数据集、度量损失函数和交叉熵损失函数对初始质量评价模型进行迭代训练，得到训练完备的质量评价模型。

具体的，S205可以通过S2051～S2055实现：

S2051、提取目标数据集中每张图像的深层特征，并根据深层特征得到多个质量类别中各个质量类别的特征表示，以及多个质量类别共同对应的全图像特征表示。

具体的，采用与上述S1021相同的原理，提取目标数据集中每张图像的深层特征，之后，对目标数据集中的每个质量类别的所有图像的深层特征进行平均池化，得到该质量类别的特征表示μ

S2052、基于目标数据集中的图像的深层特征、特征表示和全图像特征表示，确定各个质量类别的凸组合协方差矩阵。

具体的，根据多个质量类别中每个质量类别的特征表示μ

示例性的，类内特征协方差矩阵∑

其中，S

示例性的，全图像特征协方差矩阵∑的表达式如下：

其中，S表示目标数据集中的图像的数量，f

示例性的，凸组合协方差矩阵Q

Q

其中，λ

S2053、在每次训练时，从目标数据集中选取多张图像输入上一次训练得到的质量评价模型，上一次训练得到的质量评价模型基于各个质量类别的凸组合协方差矩阵，得到当前次训练的模型输出。

这里，当前次训练的模型输出可以是上一次训练得到的质量评价模型预测出的这多张图像中每张图像的质量类别。

S2054、根据当前次训练的模型输出、多张图像的深层特征、特征表示和多张图像的质量标签，分别确定当前次的度量损失和交叉熵损失。

示例性的，当前次的度量损失的表达式为：

其中，L

示例性的，当前次的交叉熵损失的表达式为：

其中，L

S2055、根据当前次的度量损失和交叉熵损失调整上一次训练得到的质量评价模型的网络参数，得到当前次训练得到的质量评价模型，如此迭代训练，直至得到训练完备的质量评价模型。

这里，在得到当前次的度量损失和当前次的交叉熵损失之后，可以采用权重系数对度量损失和交叉熵损失进行加权，并采用加权后的结果进行反向传播，以调整上一次训练得到的质量评价模型的网络参数，从而获得当前次训练得到的质量评价模型，之后，继续采用此训练原理对当前次训练得到的质量评价模型进行训练，如此迭代训练，直至训练次数达到预设次数，或模型收敛时，得到训练好的质量评价模型，即得到训练完备的质量评价模型。

这里，权重系数可以根据不同的任务特征进行确定，本申请对此不作限定。

本发明通过下游任务对图像质量分类提供数据集，并通过深层特征提取模块获得不同图像质量特征表示，最后根据图像深层特征与各图像质量特征表示之间的度量进行质量分类，结合任务特点提高对数据筛选效率，为下游任务提供数据质量保障。

示例性的，图2为本发明实施实例提供的基于任务驱动的空间目标图像质量评价方法的总体框架图。如图2所示，先构建包含质量类别为“优”的图像库(图2中的“优”质量图像库)，以及质量类别为“差”的图像库(图2中的“差”质量图像库)的数据集，之后，采用编码器提取数据集中每张图像的深层特征，根据数据集中的图像的深层特征分别确定“优”质量图像库对应的“高质量”图像特征表示，以及“差”质量图像库对应的“低质量”图像特征表示，并根据“高质量”图像特征表示和“低质量”图像特征表示确定全图像特征表示，根据数据集中的图像的深层特征、“高质量”图像特征表示、“低质量”图像特征表示和全图像特征表示，确定质量类别“优”对应的凸组合协方差矩阵，质量类别“差”对应的凸组合协方差矩阵。采用该数据集、高质量”图像特征表示、“低质量”图像特征表示、质量类别“优”对应的凸组合协方差矩阵，以及质量类别“差”对应的凸组合协方差矩阵对质量评价模型进行训练，并得到训练好的质量评价模型。在实际应用中，当需要对一张目标图像进行图像质量评价时，可以将目标图像输入训练好的质量评价模型，训练好的质量评价模型先采用编码器提取目标图像的深层特征，得到目标图像的特征分布，之后，根据目标图像的特征分布、高质量”图像特征表示、“低质量”图像特征表示、质量类别“优”对应的凸组合协方差矩阵，以及质量类别“差”对应的凸组合协方差矩阵，在度量空间中进行目标图像的质量类别的分类，最后，输出目标图像的质量类别的分类结果，该分类结果为“差”质量或“优”质量。

本发明采用执行上游任务的质量评价模型对图像进行测试，并通过测试结果对图像质量进行评价，可以实现针对特定识别任务的图像的质量评价，从而降低用于训练执行下游任务的目标识别模型的人工图像标注的成本；本发明采用度量学习的方式对图像质量进行分类，并通过使用马氏距离来确定特征之间的全局和局部协方差，通过使用全局和局部协方差充分考虑特征之间的相关性，可以在训练数据不充足的条件下提高算法鲁棒性，增加图像质量评价的准确率，从而提高与下游任务的匹配度。

下面通过仿真试验，对本发明提供的基于任务驱动的空间目标图像质量评价方法的效果进行验证说明。

试验条件：

本实施例以空间目标识别任务为例，作为本发明的下游任务进行仿真测试。本实施例通过BUAA-SID-Share1.0数据集进行试验，该数据集中含有20类不同类型的空间目标，每类空间目标包含197张训练图像和33张测试图像。为仿真真实空间目标图像，本实例通过增加不同程度噪声对每个类增加200张训练图像和30张测试图像。通过将该数据集图像进行目标识别，并根据目标软分类结果构成“优”、“良”、“中”、“差”四种图像质量的数据集，并将训练集用于对图像质量评价算法模型的训练。

请参见图3、图4、图5A至图5D。图3是本发明实施例提供的BUAA-SID-Share1.0数据集中的空间目标示意图；图4是在图3基础上增加噪声构成的空间目标示意图；图5A至图5D是根据空间目标识别算法模型的软分类结果划分构成的图像质量评价分类示意图，其中，图5A、5B、5C和5D分别表示“优”、“良”、“中”、“差”四个类。根据图5A至图5D，可看出噪声对于空间目标识别结果会造成较大的差异，随着噪声的增加，对结果影响也不断增加。

试验内容：

本实验实例利用BUAA-SID-Share1.0的训练集对空间目标识别算法模型(上述的目标识别模型)进行训练直至收敛，并对数据集全图像进行目标识别，最后，根据识别软分类结果对数据集进行划分得到包含“优”、“良”、“中”、“差”四个图像质量类别的图像质量评价数据集。然后，利用图像质量评价数据集中的训练集对图像质量评价模型进行训练直至收敛，实现基于空间目标识别任务的图像质量分类。并利用“优”、“良”类图像训练集对空间目标识别算法模型进行训练直至收敛，最后使用“优”、“良”类图像测试集进行测试。

实验结果及分析：

请参见表1和表2。表1是对基于空间目标识别任务的图像质量分类结果；表2是本发明实施例提供的基于“优”、“良”类图像进行训练的空间目标识别结果。

表1

表2

由表1可知，未经分类处理的空间目标图像对于空间目标识别任务存在较大质量差异，这导致利用全图像进行训练的空间目标识别模型对空间目标识别结果存在识别准确率较低的现象，此外不仅对低质量空间目标图像无法识别，对高质量图像仍有损害。由表2可知，利用基于空间目标识别任务的质量分类算法模型进行分类得到的高质量图像对空间目标识别模型进行训练，可以提高空间目标识别模型的准确度，鲁棒性并加快模型的收敛速度。

本实施例通过对数据集根据空间目标识别结果进行质量分类得到基于空间目标识别任务的图像质量分类数据集。再利用图像质量分类数据集对图像质量评价模型进行训练。最后利用分类结果中高质量图像对空间目标识别进行训练，提高了空间目标识别的准确度。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。