一种手掌图像质量评估模型构建方法及装置

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种手掌图像质量评估模型构建方法及装置。

背景技术

可见光手掌图像的采集会因为光照、清晰度和遮挡等问题导致质量不一，从而影响各种功能网络模型的图像处理性能，例如分类或者识别等任务，如果图像质量较差，模型的学习泛化能力也较差，导致分类或者识别结果不尽如人意。

通过人工对手掌图像进行质量标注存在质量判断不准确，耗费时间长且标准不统一的问题。

发明内容

本申请提供了一种手掌图像质量评估模型构建方法及装置，用于解决现有人工质量标注存在质量判断缺乏准确性，耗费时间长且标准不统一的技术问题。

有鉴于此，本申请第一方面提供了一种手掌图像质量评估模型构建方法，包括：

构建初始质量评估模型，所述初始质量评估模型包括预置手掌识别网络和质量损失预测分支；

将预置手掌图像输入所述初始质量评估模型中训练所述质量损失预测分支，得到目标质量评估模型，所述预置手掌图像不存在对应的质量标签。

优选地，所述将预置手掌图像输入所述初始质量评估模型中训练所述质量损失预测分支，得到目标质量评估模型，包括：

根据所述预置手掌识别网络对应的预置模型拟合损失函数和所述质量损失预测分支对应的预测质量损失函数构建均方误差损失函数；

根据所述均方误差损失函数，采用预置手掌图像对所述初始质量评估模型中的所述质量损失预测分支的参数进行训练，得到目标质量评估模型。

优选地，所述根据所述预置手掌识别网络对应的预置模型拟合损失函数和所述质量损失预测分支对应的预测质量损失函数构建均方误差损失函数，之前还包括：

获取所述预置手掌识别网络的最后一个特征图提取层的输出，得到目标特征图；

根据所述目标特征图配置所述质量损失预测分支的预测质量损失函数。

优选地，所述预置手掌识别网络的配置过程为：

采用手掌图像训练集训练初始手掌识别网络，得到预置手掌识别网络，所述预置手掌识别网络对应的损失函数为ArcFace损失函数。

优选地，所述预置手掌图像的获取过程为：

将原始手掌图像进行扩增处理，得到增强手掌图像，所述扩增处理包括旋转、缩放、平移、错切和透视扭曲；

将所述增强手掌图像分别进行裁剪和归一化操作，得到预置手掌图像。

优选地，所述将预置手掌图像输入所述初始质量评估模型中训练所述质量损失预测分支，得到目标质量评估模型，之后还包括：

采用手掌图像验证集对所述目标质量评估模型进行验证，得到等错误率；

选取最小的所述等错误率对应的所述目标质量评估模型作为最佳质量评估模型。

本申请第二方面提供了一种手掌图像质量评估模型构建装置，包括：

构建单元，用于构建初始质量评估模型，所述初始质量评估模型包括预置手掌识别网络和质量损失预测分支；

训练单元，用于将预置手掌图像输入所述初始质量评估模型中训练所述质量损失预测分支，得到目标质量评估模型，所述预置手掌图像不存在对应的质量标签。

优选地，所述训练单元，包括：

损失构建单元，用于根据所述预置手掌识别网络对应的预置模型拟合损失函数和所述质量损失预测分支对应的预测质量损失函数构建均方误差损失函数；

参数训练单元，用于根据所述均方误差损失函数，采用预置手掌图像对所述初始质量评估模型中的所述质量损失预测分支的参数进行训练，得到目标质量评估模型。

优选地，所述训练单元，还包括：

分支预测单元，用于获取所述预置手掌识别网络的最后一个特征图提取层的输出，得到目标特征图；

根据所述目标特征图配置所述质量损失预测分支的预测质量损失函数。

优选地，还包括：

验证单元，用于采用手掌图像验证集对所述目标质量评估模型进行验证，得到等错误率；

选取最小的所述等错误率对应的所述目标质量评估模型作为最佳质量评估模型。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了一种手掌图像质量评估模型构建方法，包括：构建初始质量评估模型，初始质量评估模型包括预置手掌识别网络和质量损失预测分支；将预置手掌图像输入初始质量评估模型中训练质量损失预测分支，得到目标质量评估模型，预置手掌图像不存在对应的质量标签。

本申请提供的手掌图像质量评估模型构建方法，虽然是构建手掌图像质量评估模型，但是该模型中加入了预置手掌识别网络作为辅助，根据预置手掌识别网络完成质量损失预测分支的图像质量评估，不需要对训练的预置手掌图像进行标注就能够直接完成评估任务，免去了人工标注相关操作。因此，本申请能够解决现有人工质量标注存在质量判断缺乏准确性，耗费时间长且标准不统一的技术问题。

附图说明

图1为本申请实施例提供的一种手掌图像质量评估模型构建方法的一个流程示意图；

图2为本申请实施例提供的一种手掌图像质量评估模型构建方法的另一个流程示意图；

图3为本申请实施例提供的一种手掌图像质量评估模型构建装置的结构示意图；

图4为本申请实施例提供的EER曲线示意图；

图5为本申请实施例提供的ROC曲线示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种手掌图像质量评估模型构建方法的实施例，包括：

步骤101、构建初始质量评估模型，初始质量评估模型包括预置手掌识别网络和质量损失预测分支。

步骤102、将预置手掌图像输入初始质量评估模型中训练质量损失预测分支，得到目标质量评估模型，预置手掌图像不存在对应的质量标签。

初始质量评估模型包括两个任务模块，一个是用于手掌图像识别的预置手掌识别网络，一个是用于手掌图像质量评估的质量损失预测分支。从训练过程可以发现预置手掌识别网络是不需要通过预置手掌图像训练的，原因是本申请实施例中的预置手掌识别网络为已经训练完成的模型，能较高质量地完成可见光手掌图像的特征提取和识别等任务。

具体的，本申请采用预置手掌图像训练初始质量评估模型的本质是训练质量损失预测分支，采用预置手掌识别网络辅助质量损失预测分支的质量评估，使得预置手掌图像虽然作为训练图像集，却不需要提前准备人工质量标签，直接输入网络模型中训练，就可以得到目标质量评估模型。采用模型对手掌图像进行质量评估速度快，且依据的标准更加统一，所以质量评估的结果也更加可靠准确。

本申请实施例提供的手掌图像质量评估模型构建方法，虽然是构建手掌图像质量评估模型，但是该模型中加入了预置手掌识别网络作为辅助，根据预置手掌识别网络完成质量损失预测分支的图像质量评估，不需要对训练的预置手掌图像进行标注就能够直接完成评估任务，免去了人工标注相关操作。因此，本申请实施例能够解决现有人工质量评估存在缺乏准确性，耗费时间长且标准不统一的技术问题。

以上为本申请提供的一种手掌图像质量评估模型构建方法的一个实施例，以下为本申请提供的一种手掌图像质量评估模型构建方法的另一个实施例。

为了便于理解，请参阅图2，本申请提供一种手掌图像质量评估模型构建方法的另一个实施例，包括：

步骤201、采用手掌图像训练集训练初始手掌识别网络，得到预置手掌识别网络，预置手掌识别网络对应的损失函数为ArcFace损失函数。

手掌图像训练集是经过预处理相关操作后得到的图像，主要训练初始手掌识别网络的识别性能，可以根据需求设定预置手掌识别网络的输入输出形式，例如，设定输入为高224宽192的3通道彩色手掌图像，输出为512维可见光手掌特征向量，即特征提取过程，然后根据特征向量进行手掌识别，得到识别结果，即预测结果。训练过程中选取的损失函数是ArcFace损失函数，具体表示为：

其中，m是需要优化的不同类别特征之间的间隔，其优化的目标是使不同类别之间的特征的余弦夹角大于m即可，同类别的特征的余弦夹角最小化，优选s＝30，m＝0.5；损失函数的输入为手掌图像对应的特征向量和各类别中心的余弦夹角，输出度量学习的分类损失，

具体的训练过程是：随机读取N张对齐后的可见光手掌图像训练样本，这些训练样本包含对应的识别标签，识别网络能够提取图像对应的特征图，根据特征图与样本标签结合ArcFace损失函数可以获取到质量损失预测分支的拟合损失q。

训练过程中采用的迭代优化方法是梯度下降法。训练过程中的预置手掌识别网络可以在手掌图像验证集上进行验证，获取多次验证过程中的模型对应的错误率，保留错误率最小的预置手掌识别网络作为最佳手掌识别模型。

步骤202、构建初始质量评估模型，初始质量评估模型包括预置手掌识别网络和质量损失预测分支。

初始质量评估模型根据任务将网络层划分为主要的两个部分，手掌图像在质量评估的同时也会进行识别，针对目标任务而言，识别为质量评估提供辅助信息。

步骤203、获取预置手掌识别网络的最后一个特征图提取层的输出，得到目标特征图。

步骤204、根据目标特征图配置质量损失预测分支的预测质量损失函数。

预置手掌识别网络可以提取手掌图像的特征图，将质量损失预测分支在最后一个层特征提取层的输出处加入，质量损失预测分支的输入与目标特征图的大小一致，便于接收并处理目标特征图，例如本申请实施例为通道数是512，高为7，宽为6，输出是一个根据预测函数计算得到的标量。

步骤205、根据预置手掌识别网络对应的预置模型拟合损失函数和质量损失预测分支对应的预测质量损失函数构建均方误差损失函数。

预测质量损失函数是质量损失预测分支处理特征图后输出的质量损失预测函数，该函数与质量损失预测分支中的参数密切相关，因此，可以进行分支的拟合优化，但是质量损失预测分支中的手掌特征图不带质量标签，因此，无法明确拟合程度，即需要一个拟合标准。所以需要预置手掌识别网络的预置模型拟合损失函数提供标准。

预置模型拟合损失函数是描述预置手掌识别网络的识别性能的，预置手掌识别网络是已经完成训练过程的识别模型，如果对输入的图像进行处理后得到的预置模型拟合损失仍然偏大，那么其大部分原因为图像的质量较差，此时，由于质量损失预测分支是借助于预置模型拟合损失函数进行拟合优化的，那么预测质量损失函数与预置模型拟合损失函数的变化趋势一致，且尤为接近。在损失偏大时，说明此手掌图像的质量较差，从而建立图像质量与识别训练优劣性之间的正相关关系，而不是依赖于人工判定方法。

将预置模型拟合损失函数与预测质量损失函数构建成均方误差损失函数后可以完成质量损失预测分支的拟合，使得识别训练中的模型损失和质量评估的预测结果一致。具体的可以将均方误差损失函数构建为：

l

其中，σ为预测质量损失函数，q为预置模型拟合损失。

步骤206、将原始手掌图像进行扩增处理，得到增强手掌图像，扩增处理包括旋转、缩放、平移、错切和透视扭曲。

步骤207、将增强手掌图像分别进行裁剪和归一化操作，得到预置手掌图像。

扩增原始手掌图像能够增加训练图像的数量，提升模型的准确度，除了采用以上平面扩增方式，还可以对原始手掌图像进行色彩扩增，即调整对比度、亮度、色调和饱和度等。

预处理操作主要是将增强手掌图像调整为模型能够接收和处理的形式，裁剪可以调整图像大小，将像素值归一化处理可以缩小输入图像值域的变化范围。还可以根据实际情况增加其他的预处理操作，在此不作赘述。

步骤208、根据均方误差损失函数，采用预置手掌图像对初始质量评估模型中的质量损失预测分支的参数进行训练，得到目标质量评估模型。

预置手掌识别网络是训练完成后固定网络参数的模型，在本次训练中不需要再次更新其参数，真实训练的是质量损失预测分支中的参数，q值相对于单副手掌图像而言是一个固定标量值，不同的手掌图像可以直接根据预置模型拟合损失函数计算得到不同的固定q值，而σ则是关于质量损失预测分支权重与偏置值参数的相关函数，所以l

训练完成的目标质量评估模型对应的参数完成调整，所以针对输入的测试图像，可以根据预测质量损失函数计算得到一个标量值，该标量值就可以反映该图像质量的优良情况。

步骤209、采用手掌图像验证集对目标质量评估模型进行验证，得到等错误率。

步骤210、选取最小的等错误率对应的目标质量评估模型作为最佳质量评估模型。

手掌图像验证集是少量的人工标注质量标签的手掌图像，主要用于验证本申请实施例中的目标质量评估模型的评估性能。

上述的初始质量评估模型的训练过程中，可以设置在迭代训练次数达到预置次数的情况下执行模型验证，例如每当迭代训练次数是5000的倍数时就开始进行模型验证，每次验证均可获取模型对应的等错误率，多次验证可以得到不同的等错误率，由于存在过拟合的可能性，所以，等错误率并不一定与随着时序性验证完全呈下降趋势，因此，最终需要在等错误率中选取最小值，其对应的目标质量评估模型才是最佳质量评估模型。

由于本申请实施例中的质量损失预测分支并不会将其预测结果反馈给预置手掌识别模型影响其识别结果，所以不会出现模型“偏爱”质量好的图像的学习，缺乏对质量较差的图像的学习，导致的识别模型准确度较低的情况。同时又能根据识别模型实现手掌图像的质量评估。

根据本申请实施例提供的评估方法设计手掌图像质量评估试验，采用最佳质量评估模型对手掌图像验证集进行处理，手掌图像验证集供21120张，其中人工标注质量好的手掌图像为19271张，质量差的手掌图像为1849张，最终得到了如图4所示的EER曲线图和如图5所示的ROC曲线图。EER的评测结果为模型的FRR与FAR曲线的交点处的等错误率；验证的模型最小等错误率更新为0.09。ROC评测的结果是TPR(正确接受率)作为FPR(错误接受率)的函数；对质量损失取反后评测，质量好的为正例(Positive)，质量差的为负例(Negative)。

以上为本申请提供的一种手掌图像质量评估模型构建方法的一个实施例，以下为本申请提供的一种手掌图像质量评估模型构建装置的一个实施例。

为了便于理解，请参阅图3，本申请还提供了一种手掌图像质量评估模型构建装置的实施例，包括：

构建单元301，用于构建初始质量评估模型，初始质量评估模型包括预置手掌识别网络和质量损失预测分支；

训练单元302，用于将预置手掌图像输入初始质量评估模型中训练质量损失预测分支，得到目标质量评估模型，预置手掌图像不存在对应的质量标签。

进一步地，训练单元302，包括：

损失构建单元，用于根据预置手掌识别网络对应的预置模型拟合损失函数和质量损失预测分支对应的预测质量损失函数构建均方误差损失函数；

参数训练单元，用于根据均方误差损失函数，采用预置手掌图像对初始质量评估模型中的质量损失预测分支的参数进行训练，得到目标质量评估模型。

进一步地，训练单元302，还包括：

分支预测单元，用于获取预置手掌识别网络的最后一个特征图提取层的输出，得到目标特征图；

根据目标特征图配置质量损失预测分支的预测质量损失函数。

进一步地，还包括：

验证单元303，用于采用手掌图像验证集对目标质量评估模型进行验证，得到等错误率；

选取最小的等错误率对应的目标质量评估模型作为最佳质量评估模型。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：RandomAccess Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。