图像质量模型的生成、评估方法与系统及其设备与介质

技术领域

本发明为图像测试技术领域，尤其涉及一种图像质量模型的生成、评估方法与系统及其设备与介质。

背景技术

随着智能手机市场竞争趋于白热化，智能手机的相机模式很大程度上决定了各厂家竞争胜负的关键。

现在人们在日常生活和旅游中都会拍照，储存在个人相册中的照片数量呈爆炸式的增长，这就决定了在智能手机的相机模式调节中图像测试工程师要有对视觉感知的度量，但是即便是专业摄影师也很难说明哪些特征对图像美学质量影响更大，虽然美学难以描述，但图像测试工程师仍然从自动曝光、白平衡、自动对焦等基本因素来对图像进行评估。

目前图像质量的评估方法主要是依赖图像测试工程师基于个人主观喜好评估相机成像质量的好坏优劣，效率低下，主观性较强，评估结果的可靠性不足。

发明内容

本发明的目的在于提供一种图像质量模型的生成、评估方法与系统及其设备与介质，提高了图像质量评估的效率和评估结果的准确性。

为实现上述目的，第一方面，本发明提供了一种图像质量模型的生成方法，方法包括：构建具有N类图像特征的训练图像样本集合，N为正整数，并向待训练的卷积神经网络模型输入所述训练图像样本集合中的训练图像样本，所述待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，然后利用所述待训练的卷积神经网络模型对所述训练图像样本进行特征提取，得到训练图像特征信息，利用损失函数计算所述训练图像样本的图像特征信息与验证图像样本的图像标准特征信息之间的损失值，根据所述损失值调整所述待训练的卷积神经网络模型中的参数，生成包括所述参数的图像质量模型。

本发明提供的图像质量模型的生成方法的有益效果在于：通过将N类图像特征的训练图像样本集合输入至待训练的卷积神经网络模型中进行训练，利用待训练的卷积神经网络模型对训练图像样本进行特征提取，由于待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，所以得到训练图像特征信息比较全面，通过损失函数计算训练图像特征信息与标准图像特征信息之间的损失值，根据该损失值调整待训练的卷积神经网络模型中的参数，从而生成了所述参数的图像质量模型，由于所述图像质量模型中的参数是根据所述损失值调整后的，采用所述图像质量模型对待测图像进行评估时，可提高评估图像质量准确性。

可选的，所述待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，包括：所述待训练的卷积神经网络模型包括GoogleNet、ResNet、MobileNet和ResMobile，其中，所述ResMobile包括残差网络模块和深度可分离卷积模块。其有益效果在于：该待训练的卷积神经网络模型包括GoogleNet、ResNet、MobileNet和ResMobile，并且ResMobile包括残差网络模块和深度可分离卷积模块，即将ResNet中残差思想运用至MobileNet网络中，具体来说，首先借鉴ResNet做法，在训练时为每一个卷积块添加平行的1×1卷积分支和恒等映射分支，构成一个ResMobileBlock，然后将ResMobileBlock转换为一个卷积，使得架构更加灵活，容易改变各层的宽度，多个单路架构并行度高，可节省内存消耗。

可选的，所述训练图像样本集合包括不同曝光补偿的训练图像样本、不同对焦方式的训练图像样本和不同白平衡的训练图像样本。其有益效果在于：通过将不同曝光补偿的训练图像样本、不同对焦方式的训练图像样本和不同白平衡的训练图像样本输入待训练的卷积神经网络模型中进行训练，采用各种图片特征进行训练，提高了对待训练的卷积神经网络模型训练时的可靠性。

可选的，所述生成包括所述参数的图像质量模型，包括：当所述待训练的卷积神经网络模型的迭代次数达到设定数值时或所述损失函数的损失值达到目标值时，生成包括所述参数的图像质量模型。其有益效果在于：通过预先设置迭代次数，当达到预设的迭代次数时，即停止训练，避免了长时间迭代运算过程中的循环训练。或者根据损失值调整待训练的卷积神经网络模型中的参数，直至利用损失函数计算出的损失值达到预设的目标值时，即得到包括所述参数的图像质量模型，实现快速可靠的生成图像质量模型。

在第二方面，本发明实施例提供一种图像质量模型的评估方法，该方法应用于上述的图像质量模型，该方法包括：

将测试图像输入至所述图像质量模型，获取所述图像质量模型的输出结果，所述输出结果包括所述测试图像的N类图像特征分别对应的参考评分；对所述N类图像特征分别对应的参考评分进行加权求和，得到所述测试图像的图像质量评分。

本发明提供的图像质量模型的评估方法有益效果在于：通过将测试图像输入至图像质量模型中，从而获取图像质量模型中的输出结果，输出结果包括测试图像中的N类图像特征分别对应的参考评分，对N类图像特征分别对应的参考评分进行加权求和，得到测试图像的图像质量评分，提高了对图像质量评估的效率和评估结果的准确性，通过评分的高低，便于测试工程师快速了解对应图像的质量。

在第三方面，本发明提供一种图像质量模型的生成系统，包括：

构建单元，用于构建具有N类图像特征的训练图像样本集合，N为正整数；处理单元，与所述构建单元电连接，所述处理单元用于向待训练的卷积神经网络模型输入所述训练图像样本集合中的训练图像样本，所述待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，并利用所述待训练的卷积神经网络模型对所述训练图像样本进行特征提取，得到训练图像特征信息。获取单元，与所述处理单元电连接，所述获取单元用于获取验证图像样本的标准图像特征信息。计算单元与获取单元电连接，用于利用损失函数计算所述训练图像特征信息与标准图像特征信息之间的损失值，所述处理单元，还用于根据所述损失值调整所述待训练的卷积神经网络模型中的参数，生成包括所述参数的图像质量模型。

本发明提供的图像质量模型的生成系统的有益效果在于：通过处理单元将N类图像特征的训练图像样本集合输入至待训练的卷积神经网络模型中进行训练，利用待训练的卷积神经网络模型对训练图像样本进行特征提取，由于待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，所以得到训练图像特征信息比较全面，然后计算单元通过损失函数计算训练图像样本的图像特征信息与验证图像样本的图像标准特征信息之间的损失值，最后处理单元根据该损失值调整待训练的卷积神经网络模型中的参数，从而生成了所述参数的图像质量模型。

可选的，所述待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，包括：所述待训练的卷积神经网络模型包括GoogleNet、ResNet、MobileNet和ResMobile，其中，ResMobile包括残差网络模块和深度可分离卷积模块。其有益效果在于：处理单元中待训练的卷积神经网络模型包括GoogleNet、ResNet、MobileNet和ResMobile，并且ResMobile包括残差网络模块和深度可分离卷积模块，即将ResNet中残差思想运用至MobileNet网络中，具体来说，首先借鉴ResNet做法，在MobileNet网络训练时为每一个卷积块添加平行的1×1卷积分支和恒等映射分支，构成一个ResMobileBlock，然后将ResMobileBlock转换为一个卷积，使得架构更加灵活，容易改变各层的宽度，多个单路架构并行度高，可节省内存消耗。

可选的，所述构建单元所构建的所述训练图像样本集合包括曝光补偿的训练图像样本、对焦方式的训练图像样本和白平衡的训练图像样本。其有益效果在于：通过将曝光补偿的训练图像样本、对焦方式的训练图像样本和白平衡的训练图像样本输入待训练的卷积神经网络模型中进行训练，采用各种图片特征进行训练，提高了对待训练的卷积神经网络模型训练时的可靠性。

可选的，所述处理单元，用于当所述待训练的卷积神经网络模型的迭代次数达到设定数值时或所述损失函数的损失值达到目标值时，生成包括所述参数的图像质量模型。其有益效果在于：通过预先设置迭代次数，当达到预设的迭代次数时，即停止训练，避免了长时间迭代运算过程中的循环训练。或者根据损失值调整待训练的卷积神经网络模型中的参数，直至利用损失函数计算出的损失值达到预设的目标值时，即得到包括所述参数的图像质量模型，实现快速可靠的生成图像质量模型。

在第四方面，本发明实施例提供一种图像质量模型的评估系统，该系统应用于上述图像质量模型的生成系统，该评估系统包括：

输入单元用于将测试图像输入至所述图像质量模型；获取单元与所述输入单元电连接，用于获取所述图像质量模型的输出结果，所述输出结果包括所述测试图像的N类图像特征分别对应的参考评分。计算单元与所述获取单元电连接，用于对所述N类图像特征分别对应的参考评分进行加权求和，得到所述测试图像的图像质量评分。

本发明提供的图像质量模型的评估系统的有益效果在于：通过输入单元将测试图像输入至上述的图像质量模型对测试图片进行测试，获取单元获取图像质量模型的输出结果，该输出结果包括所述测试图像的N类图像特征分别对应的参考评分，最后计算单元对所述N类图像特征分别对应的参考评分进行加权求和，得到所述测试图像的图像质量评分，可辅助测试工程师对图像质量的测试评估，提高对图像质量评估的效率和评估结果的准确性。

在第五方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面中的方法步骤。

本发明电子设备的有益效果在于：通过处理器执行计算机程序实现上述方法的运行。

在第六方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面中的方法步骤。

本发明计算机可读存储介质的有益效果在于，通过执行计算机程序实现上述方法的运行。

附图说明

图1为本发明实施提供的图像质量模型的生成方法的流程图；

图2为本发明实施提供的MobileNet前三层网络结构示意图；

图3为为本发明实施提供的将残差思想运用至MobileNet其中一层的原理图；

图4为本发明实施例提供的不同曝光补偿的训练图像样本对应不同曝光补偿的验证图像样本的数据集的示意图；

图5为本发明实施例提供的图像质量模型的评估方法的流程图；

图6为本发明实施例提供的图像质量模型的评估方法的示意图；

图7为本发明实施例提供的图像质量模型的评估系统的操作界面和执行显示界面的示意图；

图8为本发明实施例提供的图像质量模型的生成系统结构示意图；

图9为本发明实施例提供的图像质量模型的评估系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

随着智能手机市场的竞争趋于白热化，智能手机的相机模式很大程度上决定了各厂家竞争胜负的关键，所以相机拍出图片质量的好坏决定了市场的大小。但是目前图像质量的评估方法主要是依赖图像测试工程师基于个人主观喜好评估相机成像质量的好坏优劣，效率低下，主观性较强，评估结果的可靠性不足。

针对目前存在的问题，本发明的实施例提供了一种图像质量模型的生成方法，参考图1所示，该方法包括：

S101：构建具有N类图像特征的训练图像样本集合，N为正整数。

该步骤中，构建的N类图像特征的训练集合主要包括不同曝光补偿的训练图像样本、不同对焦方式的训练图像样本和不同白平衡的训练图像样本。

S102：向待训练的卷积神经网络模型输入所述训练图像样本集合中的训练图像样本，所述待训练的卷积神经网络模型包括至少二个深度神经网络基础模型。

该步骤中，通过将包括曝光补偿的训练图像样本、对焦方式的训练图像样本和白平衡的训练图像样本输入至待训练的卷积神经网络模型中进行训练，采用各种图片特征进行训练，提高了对待训练的卷积神经网络模型训练时的可靠性。

另外，所述待训练的卷积神经网络模型包括GoogleNet、ResNet、MobileNet和ResMobile。在本实施例中，所述待训练的卷积神经网络模型由GoogleNet、ResNet、MobileNet和ResMobile组成，其中，所述ResMobile包括残差网络模块和深度可分离卷积模块。结合图2和图3所示，图2为所述MobileNet前三层网络结构示意图，图3为将残差思想运用至MobileNet其中一层的原理图，即所述ResMobile是将ResNet中残差思想运用至MobileNet网络中，具体来说，首先借鉴所述ResNet做法，在训练时为每一个卷积块添加平行的1×1卷积分支和恒等映射分支，构成一个ResMobileBlock，然后将所述ResMobileBlock转换为一个卷积，使得架构更加灵活，容易改变各层的宽度，多个单路架构并行度高，可节省内存消耗。

S103：利用所述待训练的卷积神经网络模型对所述训练图像样本进行特征提取，得到训练图像特征信息。

该步骤中，通过所述待训练的卷积神经网络模型实现对所述训练图像样本进行特征提取，得到训练图像特征信息。因为在本实施例中，所述待训练的卷积神经网络模型由所述GoogleNet、所述ResNet、所述MobileNet和所述ResMobile组成，所以图像特征信息会更加全面详细。

S104：获取验证图像样本的标准图像特征信息。

通过获取验证图像样本的标准图像特征信息，为后续调整待训练的卷积神经网络模型中的参数做基准。

S105：利用损失函数计算所述训练图像特征信息与标准图像特征信息之间的损失值。

该步骤，通过计算所述训练图像特征信息与所述标准图像特征信息之间的损失值，并根据该得到的实际损失值用于后续的参数调整，可提高参数调整的可靠性。

进一步的，结合图4所示，图4为不同曝光补偿的训练图像样本对应不同曝光补偿的验证图像样本的数据集的示意图。其中，训练图像样本和验证图像样本中的数据集均包括“整体过暗、整体较暗、一些区域过暗、一些区域较暗、整体过亮、整体较亮、一些区域过亮、一些区域较亮和正常”共九类图片，比如，先利用损失函数计算所述训练图像样本和所述验证图像样本中的“整体过暗”的图像特征信息，得到相互之间的损失值，按照该方案依次计算训练图像样本和验证图像样本中的数据集。

需要说明的是，不同对焦方式的训练图像样本与不同对焦方式的验证图像样本之间的损失值，和不同白平衡的训练图像样本与不同白平衡的验证图像样本之间的损失值，同样采用上述方式进行计算得到，在此不一样阐述。

S106：根据所述损失值调整所述待训练的卷积神经网络模型中的参数。

该步骤，通过不断调整参数，优化所述待训练的卷积神经网络模型。

S107：生成包括所述参数的图像质量模型。

在本实施例中，通过将N类图像特征的训练图像样本集合输入至待训练的卷积神经网络模型中进行训练，利用待训练的卷积神经网络模型对训练图像样本进行特征提取，由于待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，所以得到训练图像特征信息比较全面，通过损失函数计算训练图像特征信息与标准图像特征信息之间的损失值，根据该损失值调整待训练的卷积神经网络模型中的参数，从而生成了调整后参数的的图像质量模型。

在本发明公开的又一个实施例中，提供一种图像质量模型的评估方法，参考图5所示，该方法应用于上述实施的图像质量模型中，该方法包括：

S501：将测试图像输入至所述图像质量模型。

该步骤中，结合图6所示，图6为图像质量模型的评估方法的示意图，将测试图片输入所述图像质量模型，该图像质量模型包括训练完成的GoogleNet、ResNet、MobileNet和ResMobile，每一个测试图片都需要输入至GoogleNet、ResNet、MobileNet和ResMobile中。

S502：获取所述图像质量模型的输出结果，所述输出结果包括所述测试图像的N类图像特征分别对应的参考评分。

该步骤，获取所述图像质量模型的输出结果，采用统计聚集结构对特征进行聚合，通过逻辑回归模型(softmax)得到的概率表示所述参考评分。

S503：对所述N类图像特征分别对应的参考评分进行加权求和，得到所述测试图像的图像质量评分。

示例性地，N类图像特征分别对应的参考评分包括测试图像中的曝光补偿图像特征对应的参考评分、对焦方式对应的参考评分、白平衡对应的参考评分，对这几类图像特征分别对应的参考评分进行加权求和，可以得到测试图像的图像质量评分。

该步骤，为了使所述参考评分更加直接的便于测试工程师观察，通过对该参考评分进行加权求和，得到所述测试图像的图像质量评分。测试工程师可根据所述测试图像的图像质量评分的大小，直接对测试图像的质量进行评估。

本实施例，通过将测试图像输入至图像质量模型中，从而获取图像质量模型中的输出结果，输出结果包括测试图像中的曝光补偿图像特征对应的参考评分、对焦方式对应的参考评分、白平衡对应的参考评分，然后对这几类图像特征分别对应的参考评分进行加权求和，得到测试图像的图像质量评分，提高了对图像质量评估的效率和准确性，通过评分的高低，便于测试工程师快速了解对应图像的质量。

具体的，结合图7所示，图7为图像质量模型的评估系统的操作界面和执行显示界面。其中，操作界面包括保存到路径1的训练图像样本集合、保存到路径2的验证图像样本集合、保存到路径3中的图像质量模型、选择按钮、训练按钮、训练显示区域、迭代次数(Epoch)输入框、每批样本的大小(Batch-Size)输入框、待训练的卷积神经网络模型和图形处理器(graphicsprocessingunit，GPU)。

进行图像质量模型训练时，通过选择按钮选择训练图像样本集合、验证验证图像样本集合、待训练的卷积神经网络模型，接着在迭代次数输入框和每批样本的大小输入框中分别输入计算次数和图片数量，最后点击选了按钮即可在图像处理器中实现图像质量模型的训练任务，其中，训练显示区域会一直显示训练的具体情况，便于测试工程师的观察，当训练结束后，即将生成的图像质量模型保存到路径3中。

进一步的，执行显示界面包括文件夹显示区域、文件夹或文件显示区域、图片显示区域、与生成的图像质量模型对应的路径4、与测试图像对应的路径5、识别按钮和批量识别按钮。其中，文件夹显示区域用于辅助测试工程师查找测试图像文件所在的位置，准备进行图像质量评估时，选择路径5中对应的测试图像，文件夹或文件显示区域会显示出路径5中对应的测试图像的文件夹以及图像，且从路径4中加载操作界面中生成的图像质量模型，通过点击识别按钮或批量识别按钮进行一张图像或批量图像的质量识别评估，图像显示区域，会将测试图像显示，并且将评估的识别结果显示在对应测试图像的下方。图片显示区域的图片都是可自由放大和缩小的，方便图像测试工程查看具体的图像细节。

在本发明公开的再一个实施例中，提供一种图像质量模型的生成系统，参考图8所示，该系统包括构建单元801、处理单元802、获取单元803和计算单元804，所述构建单元801用于构建具有N类图像特征的训练图像样本集合，N为正整数，所述处理单元802与所述构建单元801电连接，用于向待训练的卷积神经网络模型输入所述训练图像样本集合中的训练图像样本，所述待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，并利用所述待训练的卷积神经网络模型对所述训练图像样本进行特征提取，得到训练图像特征信息，所述获取单元803与所述处理单元802电连接，所述获取单元803用于获取验证图像样本的标准图像特征信息。所述计算单元804用于利用损失函数计算所述训练图像特征信息与标准图像特征信息之间的损失值，所述处理单元802还用于根据所述损失值调整所述待训练的卷积神经网络模型中的参数，生成包括所述参数的图像质量模型。

在本实施例中，通过处理单元802将N类图像特征的训练图像样本集合输入至待训练的卷积神经网络模型中进行训练，利用待训练的卷积神经网络模型对训练图像样本进行特征提取，由于待训练的卷积神经网络模型包括至少二个深度神经网络基础模型，所以得到训练图像特征信息比较全面，然后计算单元804通过损失函数计算训练图像特征信息与标准图像特征信息之间的损失值，最后所述处理单元802根据该损失值调整待训练的卷积神经网络模型中的参数，从而生成了所述参数的图像质量模型，当采用该图像质量模型对测试图片进行测试，可提高对图像质量评估的效率和准确性。

可选的，所述构建单元801构建的所述训练图像样本集合包括曝光补偿的训练图像样本、对焦方式的训练图像样本和白平衡的训练图像样本，通过采用各种图片特征进行训练，提高了对待训练的卷积神经网络模型训练时的可靠性。另外，所述处理单元802还用于当所述待训练的卷积神经网络模型的迭代次数达到设定数值时或所述损失函数的损失值达到目标值时，生成包括所述参数的图像质量模型，通过预先设置迭代次数，当达到预设的迭代次数时，即停止训练，避免了长时间迭代运算过程中的循环训练，或者根据损失值调整待训练的卷积神经网络模型中的参数，直至利用损失函数计算出的损失值达到预设的目标值时，即得到包括所述参数的图像质量模型，实现快速可靠的生成图像质量模型。

在本发明公开的还一个实施例中，提供一种图像质量模型的评估系统，参考图9所示，该系统基于上述图像质量模型的生成系统，该图像质量模型的评估系统包括：输入单元901用于将测试图像输入至所述图像质量模型，获取单元902与所述输入单元901电连接，用于获取所述图像质量模型的输出结果，所述输出结果包括所述测试图像的N类图像特征分别对应的参考评分，计算单元903与所述获取单元902电连接，用于对所述N类图像特征分别对应的参考评分进行加权求和，得到所述测试图像的图像质量评分。

本实施例中，通过输入单元901将测试图像输入至上述的图像质量模型对测试图片进行测试，获取单元902获取图像质量模型的输出结果，该输出结果包括所述测试图像的N类图像特征分别对应的参考评分，最后计算单元903对所述N类图像特征分别对应的参考评分进行加权求和，得到所述测试图像的图像质量评分，可辅助测试工程师对图像质量的测试评估，提高对图像质量评估的效率和评估结果的准确性。

在本发明公开的另一个实施例中，在上述实施例的基础上，本发明提供一种计算机可读存储介质，其上存储有计算机程序计算机程序被处理器执行时实现如上述实施例中图像质量模型的生成方法。

在本申请的另一些实施例中，本申请实施例公开了一种电子设备，该设备可以包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时可以用于执行相应实施例中的各个步骤。

以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。