掌桥专利:专业的专利平台
掌桥专利
首页

基于跨模态注意力机制的焊缝缺陷识别方法

文献发布时间:2023-06-19 13:46:35


基于跨模态注意力机制的焊缝缺陷识别方法

技术领域

本发明涉及焊接技术领域,尤其涉及一种基于跨模态注意力机制的焊缝缺陷识别方法。

背景技术

焊接工艺是装备制造业最主要的工艺之一,焊缝质量的好坏直接影响最终产品的性能与安全,因此,如何提升和保障焊缝质量便成为焊接工艺领域最重要的课题。焊接作业过程中生产的多种模态信息均与焊缝质量息息相关,包括视觉图像、听觉声音、作业电流值与电压值等等,如果能够准确把握和分析这些信息,建立一套高效可靠的焊缝缺陷识别方法,就能够实现焊缝质量自主分析,就能够准确识别焊缝是否存在缺陷问题,存在何种缺陷问题,从而更好的保障焊接作业质量。

焊接作业过程中与质量密切相关的信息较多,包括视觉图像、听觉声音、作业电流值与电压值等,目前通过单一信息很难清晰准确的在线识别焊缝质量情况,即使针对多模态信息分别分析,然后进行决策融合,也很难达到理想效果。因此,如何提供一种根据多模态信息对焊缝缺陷进行识别,提高识别准确率,成为亟待解决的问题。

发明内容

为了解决上述问题,本发明提供一种基于跨模态注意力机制的焊缝缺陷识别方法。

本发明提供一种基于跨模态注意力机制的焊缝缺陷识别方法,包括:

采集焊接过程中与焊接质量密切相关的多模态数据;所述多模态数据包括一个主模态数据和至少一个从模态数据;

将所述多模态数据作为输入,分别建立多层深度学习分支网络,并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数;

根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,并将修正后的中间层输出结果带入下一层进行计算,直至得到所述主模态数据所在的深度学习分支网络最后一层输出结果;

汇总各条多层深度学习分支网络的最后一层输出结果,并输入至融合层进行融合处理,得到焊缝缺陷分类结果。

可选的,其特征在于,所述多模态数据包括:视觉图像、听觉声音、作业电流值、作业电压值、熔池温度场、应力场、光谱、作业速度、焊枪姿态、送丝速度和气体流量中的一种或多种。

可选的,所述融合层由Concatenate层、Dropout层和Softmax层组成;所述焊缝缺陷分类结果包括:质量良好、跑偏、烧穿、未熔合、未焊透、咬边、气孔、夹渣和错边中的一种或多种。

可选的,在所述采集焊接过程中与焊接质量密切相关的多模态数据后,还包括:

将所述多模态数据按时间对齐,选取预设时间间隔内的多模态数据作为输入数据进行焊缝缺陷识别。

可选的,所述深度学习分支网络包括卷积层、池化层和全连接层。

可选的,基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数,包括:

根据下面第一公式基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数,所述第一公式为:

其中,α

可选的,根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,包括:

其中,P′

本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于跨模态注意力机制的焊缝缺陷识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于跨模态注意力机制的焊缝缺陷识别方法的步骤。

本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于跨模态注意力机制的焊缝缺陷识别方法的步骤。

本发明提供的基于跨模态注意力机制的焊缝缺陷识别方法,首先采集焊接过程中与焊接质量密切相关的多模态数据;所述多模态数据包括一个主模态数据和至少一个从模态数据;然后将所述多模态数据作为输入,分别建立多层深度学习分支网络,并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数,从而根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,并将修正后的中间层输出结果带入下一层进行计算,直至得到所述主模态数据所在的深度学习分支网络最后一层输出结果;最后汇总各条多层深度学习分支网络的最后一层输出结果,并输入至融合层进行融合处理,得到焊缝缺陷分类结果。本发明基于焊接过程中与质量密切相关的模态数据,建立了一套基于跨模态注意力机制焊缝质量缺陷识别方法,首先需要对齐多模态数据,其次针对每类多模态数据信息建立分支分析网络,然后基于从模态数据计算注意力系数,增强终点信息的甄别能力,从而可以实现在焊接过程中实时分析焊缝是否存在缺陷问题,存在何种缺陷问题,形成了焊缝质量缺陷自主识别能力,从而可以更好的保障焊缝质量。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明提供的基于跨模态注意力机制的焊缝缺陷识别方法的流程示意图之一;

图2是本发明提供的基于跨模态注意力机制的焊缝缺陷识别方法的流程示意图之二;

图3是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1是本发明提供的基于跨模态注意力机制的焊缝缺陷识别方法的流程示意图之一,图2是本发明提供的基于跨模态注意力机制的焊缝缺陷识别方法的流程示意图之二。下面结合图1和图2描述本发明的基于跨模态注意力机制的焊缝缺陷识别方法法,包括:

步骤101:采集焊接过程中与焊接质量密切相关的多模态数据;所述多模态数据包括一个主模态数据和至少一个从模态数据;

在本步骤中,可选的,采集焊接过程中与质量密切相关的多模态数据,包括但不限于视觉图像、听觉声音、作业电流值与电压值等。需要说明的是,多模态数据需要按照时间对齐。具体的,选取一定时间间隔内的声音数据、电流数据、电压数据以及一张图像数据作为一组多模态数据,共同作为焊缝缺陷识别的基础。一组数据需要以某一时间点对齐,包括此时间点之前的1张图像图像数据、n

步骤102:将所述多模态数据作为输入,分别建立多层深度学习分支网络,并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数;

在本步骤中,首先基于跨模态注意力机制建立深度学习算法模型,用于焊缝缺陷识别,如图2所示,以图像数据、声音数据、电流数据、电压数据为输入,分别建立多层深度学习分支网络,各个多层深度学习分支网络包括但不限于卷积层、池化层、全连接层等,并分别基于声音数据、电流数据、电压数据计算注意力机制系数。

步骤103:根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,并将修正后的中间层输出结果带入下一层进行计算,直至得到所述主模态数据所在的深度学习分支网络最后一层输出结果;

在本步骤中,在依次计算各个从模态数据所在的深度学习分支网络的注意力机制系数后,采用跨模态注意力增强机制对主模态数据所在的深度学习分支网络中间层输出结果进行修正。然后将修正后的输出结果带入其所在深度学习分支网络下一层开展后续计算,最终获得最后一层输出结果。

步骤104:汇总各条多层深度学习分支网络的最后一层输出结果,并输入至融合层进行融合处理,得到焊缝缺陷分类结果。

在本步骤中,汇总各条多层深度学习分支网络的最终特征识别结果,形成深度学习算法模型融合层的总输入,融合层内部包含但不限于Concatenate层、Dropout层、Softmax层等,最终输出焊缝缺陷分类,包括但不限于质量良好、跑偏、烧穿、未熔合、未焊透、咬边、气孔、夹渣、错边等。

需要说明的是,本发明主要围绕图像、声音、作业电流与电压数据建立了新的焊缝缺陷识别方法,并对图像数据进行了跨模态注意力增强,类似的,也可以围绕熔池温度场、应力场、光谱、作业速度、焊枪姿态等信息应用此方法,类似的也可以对其它数据信息进行跨模态注意力增强,从而提升焊缝缺陷识别能力,此处不作具体限制。

本发明提供的基于跨模态注意力机制的焊缝缺陷识别方法,首先采集焊接过程中与焊接质量密切相关的多模态数据;所述多模态数据包括一个主模态数据和至少一个从模态数据;然后将所述多模态数据作为输入,分别建立多层深度学习分支网络,并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数,从而根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,并将修正后的中间层输出结果带入下一层进行计算,直至得到所述主模态数据所在的深度学习分支网络最后一层输出结果;最后汇总各条多层深度学习分支网络的最后一层输出结果,并输入至融合层进行融合处理,得到焊缝缺陷分类结果。本发明基于焊接过程中与质量密切相关的模态数据,建立了一套基于跨模态注意力机制焊缝质量缺陷识别方法,首先需要对齐多模态数据,其次针对每类多模态数据信息建立分支分析网络,然后基于从模态数据计算注意力系数,增强终点信息的甄别能力,从而可以实现在焊接过程中实时分析焊缝是否存在缺陷问题,存在何种缺陷问题,形成了焊缝质量缺陷自主识别能力,从而可以更好的保障焊缝质量。

基于上述实施例的内容,在本实施例中,所述多模态数据包括:视觉图像、听觉声音、作业电流值、作业电压值、熔池温度场、应力场、光谱、作业速度、焊枪姿态、送丝速度和气体流量中的一种或多种。

基于上述实施例的内容,在本实施例中,所述融合层由Concatenate层、Dropout层和Softmax层组成;所述焊缝缺陷分类结果包括:质量良好、跑偏、烧穿、未熔合、未焊透、咬边、气孔、夹渣和错边中的一种或多种。

基于上述实施例的内容,在本实施例中,所述采集焊接过程中与焊接质量密切相关的多模态数据后,还包括:

将所述多模态数据按时间对齐,选取预设时间间隔内的多模态数据作为输入数据进行焊缝缺陷识别。

基于上述实施例的内容,在本实施例中,所述深度学习分支网络包括卷积层、池化层和全连接层。

基于上述实施例的内容,在本实施例中,基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数,包括:

根据下面第一公式基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数,所述第一公式为:

其中,α

基于上述实施例的内容,在本实施例中,根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,包括:

其中,P′

下面通过具体实施例进行说明:

实施例一:

在本实施例中,以电压数据U为输入,建立n

以电流数据I为输入,建立n

以声音数据S为输入,建立n

以图像数据P为输入,建立n

P′

然后,将P′

汇总多条分支网络的输出,形成融合层的总输入O=[P

实施例二:

在本实施例中,基于图像数据建立分支网络,图像数据输入格式为(,200,200,4),第1层和第2层采用卷积层,第3层采用最大池化层,第4层和第5层采用卷积层,第6层采用最大池化层,第7层和第8层采用卷积层,第9层采用最大池化层,第10层和第11层采用卷积层,第12层采用最大池化层,第13层和第14层采用卷积层,第15层,也是最后一层,采用平均池化层,输出数据格式为(,128)。

在本实施例中,基于声音数据建立分支网络,声音数据输入格式为(,1000,1),第1-8层采用卷积层,第9层,也是最后一层,采用平均池化,输出数据格式为(,128)。

在本实施例中,基于电流数据建立分支网络,声音数据输入格式为(,1000,1),第1-8层采用卷积层,第9层,也是最后一层,采用平均池化,输出数据格式为(,128)。

在本实施例中,基于电压数据建立分支网络,声音数据输入格式为(,1000,1),第1-8层采用卷积层,第9层,也是最后一层,采用平均池化,输出数据格式为(,128)。

在本实施例中,融合层输入为[(,128);(,128);(,128);(,128)],先后经过Concatenate层、Dropout层、Softmax层,最终输出结果为(,10),分别代表质量良好、跑偏、烧穿、未熔合、未焊透、咬边、气孔、夹渣、卡丝、错边。

需要说明的是,本发明以焊接作业过程采集的实际数据为基础,已经过仿真实验验证,证明了这种基于跨模态注意力机制的焊缝缺陷识别方法可以具有更高的准确率和可靠性。

图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令,以执行基于跨模态注意力机制的焊缝缺陷识别方法,该方法包括:采集焊接过程中与焊接质量密切相关的多模态数据;所述多模态数据包括一个主模态数据和至少一个从模态数据;将所述多模态数据作为输入,分别建立多层深度学习分支网络,并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数;根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,并将修正后的中间层输出结果带入下一层进行计算,直至得到所述主模态数据所在的深度学习分支网络最后一层输出结果;汇总各条多层深度学习分支网络的最后一层输出结果,并输入至融合层进行融合处理,得到焊缝缺陷分类结果。

此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于跨模态注意力机制的焊缝缺陷识别方法,该方法包括:采集焊接过程中与焊接质量密切相关的多模态数据;所述多模态数据包括一个主模态数据和至少一个从模态数据;将所述多模态数据作为输入,分别建立多层深度学习分支网络,并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数;根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,并将修正后的中间层输出结果带入下一层进行计算,直至得到所述主模态数据所在的深度学习分支网络最后一层输出结果;汇总各条多层深度学习分支网络的最后一层输出结果,并输入至融合层进行融合处理,得到焊缝缺陷分类结果。

又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于跨模态注意力机制的焊缝缺陷识别方法,该方法包括:采集焊接过程中与焊接质量密切相关的多模态数据;所述多模态数据包括一个主模态数据和至少一个从模态数据;将所述多模态数据作为输入,分别建立多层深度学习分支网络,并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数;根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数,对所述主模态数据所在的深度学习分支网络中间层输出结果进行修正,并将修正后的中间层输出结果带入下一层进行计算,直至得到所述主模态数据所在的深度学习分支网络最后一层输出结果;汇总各条多层深度学习分支网络的最后一层输出结果,并输入至融合层进行融合处理,得到焊缝缺陷分类结果。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术分类

06120113807261