基于区域特征度量学习的小样本模型生成及焊缝检测方法

技术领域

本发明涉及计算机视觉领域，尤其是涉及基于区域特征度量学习的小样本模型生成及焊缝检测方法。

背景技术

焊缝广泛存在于储罐、船舶等工业设备的钢结构中，为了保持这类设备的结构稳定可靠，需要定期进行焊缝探伤作业，及时发现焊缝缺陷并进行维护。现有的焊缝探伤作业通常由人工完成，人工作业精度较为依赖相关人员的操作经验，且易因重复探测或漏测降低作业效率。

因此，使用机器人替代人工进行无人焊缝探伤作业，可以提高作业精度与效率，并可将作业拓展至高空、高温、狭小空间等极端环境。为了实现无人焊缝探伤作业，需使机器人具备对焊缝目标的视觉检测功能。

目前，类似的目标检测任务通常使用基于深度学习的目标检测算法，通过卷积神经网络提取图像特征并对其中的目标进行分类，如Faster R-CNN、SSD等。这类目标检测算法通常需要大规模的训练数据，常见训练深度神经网络的数据集，如PASCAL VOC、COCO等，各类待测目标均有超过1000张训练样本。随着训练数据数量减少，算法的性能也会显著下降。在焊缝检测任务中，存在部分焊缝较为少见、样本不足的现象，且随着设备的日常使用，焊缝表面形态也会发生变化，因此需要使目标检测算法具备基于少量焊缝样本训练并检测待测焊缝的功能。

发明内容

为解决现有技术的不足，实现提升焊缝检测准确率的目的，本发明采用如下的技术方案：

基于区域特征度量学习的小样本模型生成方法，包括如下步骤：

S1：将焊缝样本图像数据集构造为小样本任务集合，包括如下步骤：

S11：从焊缝样本图像数据集中获取基类；

S12：将一组基类图像及其标签输入目标检测模型，作为模板图像；

S13：将剩余的基类图像及其标签输入目标检测模型，作为支持集；

S14：从支持集的各类中，抽取1张图像作为问题集，计算目标检测模型在问题集上的损失函数值；

S2：使用小样本任务集合训练目标检测模型，包括如下步骤：

S21：输入：任务分布，训练步长超参数

S22：开始外循环，根据任务分布，采集任务，初始化问题集，在任务中，输入模板图像和支持集；

S23：开始任务内循环，根据模板图像、支持集和训练步长超参数

S24：基于问题集与训练步长超参数

进一步地，所述S22中，从任务分布

进一步地，所述S23包括如下步骤：

S231：开始任务

S232：开始第一内循环，将

S233：取同一类样本中对应的嵌入向量，平均嵌入向量为标准向量

S234：开始第二内循环，将特征向量

S235：基于

S236：基于损失函数

S237：在任务

S238：结束任务

进一步地，所述S235中，对于任务

进一步地，所述S236中，基于梯度下降法，计算优化后的模型参数

进一步地，所述S24：基于问题集

进一步地，所述S1中的焊缝样本图像数据集，是通过焊缝样本图像，并标注样板图像中的待预测焊缝目标位置，构建的焊缝样本数据集。

进一步地，所述S11，将焊缝样本图像数据集分为基类和新类，基类用于训练，新类用于测试。

进一步地，所述S2中，训练并更新目标检测模型参数，并阶段性保存模型。

基于区域特征度量学习的小样本焊缝检测方法，包括离线阶段和在线阶段，所述离线阶段，包括如下步骤：

S1：将焊缝样本图像数据集构造为小样本任务集合，包括如下步骤：

S11：从焊缝样本图像数据集中获取基类；

S12：将一组基类图像及其标签输入目标检测模型，作为模板图像；

S13：将剩余的基类图像及其标签输入目标检测模型，作为支持集；

S14：从支持集的各类中，抽取1张图像作为问题集，计算目标检测模型在问题集上的损失函数值；

S2：使用小样本任务集合训练目标检测模型，包括如下步骤：

S21：输入：任务分布，训练步长超参数

S22：开始外循环，根据任务分布，采集任务，初始化问题集，在任务中，输入模板图像和支持集；

S23：开始任务内循环，根据模板图像、支持集和训练步长超参数

S24：基于问题集与训练步长超参数

所述在线阶段，包括如下步骤：

S3：加载训练后的目标检测模型；

S4：使用摄像设备将捕捉的待测焊缝画面，并输入目标检测模型；

S5：使用目标检测模型预测画面中的焊缝，并将焊缝位置信息发送至机器人等设备。

本发明的优势和有益效果在于：

本发明在焊缝样本数量较少时，改善基于深度学习的目标检测算法训练效果，以避免自动化设备在焊缝样本不足时检测准确率较低的问题；本发明降低目标检测模型在少量焊缝样本上过拟合的程度，提升在线检测阶段的准确率；本发明有效降低操作人员的任务难度与工作量，人工仅需采集样本并标注焊缝位置标签，程序自动完成离线训练与在线检测任务。

附图说明

图1为本发明的目标检测模型生成方法流程图。

图2为本发明中小样本任务集合构造示意图。

图3a为本发明的小样本焊缝检测效果图（一）。

图3b为本发明的小样本焊缝检测效果图（二）。

图3c为本发明的小样本焊缝检测效果图（三）。

图3d为本发明的小样本焊缝检测效果图（四）。

图3e为本发明的小样本焊缝检测效果图（五）。

图3f为本发明的小样本焊缝检测效果图（六）。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

本发明的基于区域特征度量学习的小样本焊缝检测方法，包括离线训练阶段和在线检测阶段，所述的离线训练阶段包括以下步骤：

S1：利用摄像设备拍摄焊缝图像，并标注图像中的焊缝位置，制作焊缝数据集；

S2：初始化目标检测模型参数，设置学习率；

S3：将焊缝样本构造为小样本任务集合；

S4：使用小样本任务集合训练目标检测模型；

S5：训练模型并更新模型参数，阶段性保存模型；

所述的在线检测阶段包括以下步骤：

S6：加载训练后的目标检测模型；

S7：使用摄像设备捕捉待测焊缝画面，并输入目标检测模型；

S8：使用目标检测模型预测画面中的焊缝，如图3a-图3f所示，并将焊缝位置信息发送至机器人等设备；

具体地，所述的步骤S3包括以下子步骤，如图2所示：

S3-1：区分（焊缝样本）基类与新类，例如，在VOC数据集的20个目标种类中，随机选择5个类别作为新类，将剩下15个类别作为基类；

S3-2：将基类对应的基类数据集按照为15张一批输入目标检测模型，作为模板图像；

S3-3：将剩余的基类图像及其标签作为支持集输入目标检测模型；

S3-4：对支持集的各类抽取1张图像作为问题集，计算目标检测模型在问题集上的损失函数值。

具体地，所述的步骤S4包括以下子步骤，如图1所示：

S4-1：输入：任务分布

S4-2：开始外循环，

S4-3：从任务分布

S4-4：开始任务

S4-5：开始第一内循环，将

S4-6：取同一类样本中对应的嵌入向量平均向量为标准向量

S4-7：开始第二内循环，

S4-8：将

S4-9：对于任务

S4-10：基于梯度下降法计算优化后的模型参数：

S4-11：在任务

S4-12：结束任务

S4-13：基于数据集

S4-14：结束外循环。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。