用于复杂工件分拣的复合无损检测方法及系统、存储介质

技术领域

本发明涉及无损检测技术领域，具体涉及一种用于复杂工件分拣的复合无损检测方法、一种用于复杂工件分拣的复合无损检测系统、一种存储介质。

背景技术

无损检测（Non Destructive Testing，NDT）是指在不损坏试件的前提下，借助精密仪器设备和先进技术，利用物理或化学方法对试件的表面及内部结构，理化性质和状态等进行检查。因此在工业中具有重要的作用，例如在分拣中辨别并剔除残次品，提高产品优良率等。依据无损检测设备市场报告给出的统计与预测数据显示，2021年，全球与中国无损检测设备市场规模达到187.99亿元与52.17亿元。在2021-2027预测期间内，预计全球无损检测设备市场将以9.1%的复合年增长率增长，并预测至2027年全球无损检测设备市场总规模将会达到318.51亿元，具备广阔的市场前景。

现有的无损检测方案，例如传统的超声波无损检测技术在检测复杂工件时，仍然存在以下不足：1.传统的超声波无损检测技术大多需要耦合液作为介质从而对被检测物体进行检测，耦合液可能会对工件材质造成破坏；2.传统的超声波无损检测技术多为接触式探头，需要紧密贴合被检测物体，势必在工业应用中，降低分拣效率；3.传统的超声波无损检测技术多为单一的检测方法，面对复杂工件的检测时，会造成检测误差，影响检测准确度。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种用于复杂工件分拣的复合无损检测方法、一种用于复杂工件分拣的复合无损检测系统、一种存储介质，能够实现对复杂工件的有效检测，提高分拣系统的效率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种用于复杂工件分拣的复合无损检测方法，所述方法包括：

对进入检测区域的工件采集工件图像，并对工件图像进行图像识别以判断待工件是否存在表面损伤；

在所述工件不存在表面损伤时，利用内部检测装置对所述工件进行工件内部检测，以判断所述工件是否存在内部损伤；

在识别所述工件不存在内部损伤时，为所述工件配置良品标记，根据所述工件的位姿对机械臂进行运动规划，以控制机械臂对所述工件进行分拣。

根据本公开的第二方面，提供一种用于复杂工件分拣的复合无损检测系统，包括：

图像采集组件，用于对进入检测区域的工件采集工件图像，并对工件图像进行图像识别以判断待工件是否存在表面损伤，并将工件标记结果上传至上位机；

内部检测装置，设置于检测区域外侧，用于对所述工件进行工件内部检测，以判断所述工件是否存在内部损伤，并将工件标记结果上传至上位机；

机械臂，设置于检测区域的外侧，用于对检测区域内的工件进行分拣；

控制器，与内部检测装置、机械臂连接，用于向所述图像采集组件、内部检测装置、机械臂发送控制指令；

上位机，与所述控制器、图像采集组件连接，用于接收图像采集组件上传的图像数据，并向控制器发送指令信息。

根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例所述的用于复杂工件分拣的复合无损检测方法。

本公开的一种实施例所提供的用于复杂工件分拣的复合无损检测方法，对进图检测区域的工件首先进行图像识别，来判断是否存在表面损伤；并在判断不存在表面损伤时，利用内部检测装置对工件进行内部检测，来判断是否存在内部损伤；并在判断工件不存在表面损伤，也不存在内部损伤时，将其标记为良品；并根据工件的位姿对机械臂进行运动路径规划，利用机械臂对工件进行分拣。通过对工件的表面损伤、内部损伤进行分别进行检测，从而可以提高对复杂工件的无损检测的准确性，进而提高分拣系统的分拣效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开示例性实施例中一种自动化智能分拣系统架构的示意图；

图2中示意性示出本公开示例性实施例中一种自动化智能分拣系统的模块示意图；

图3中示意性示出本公开示例性实施例中一种空气耦合超声波检测模型的组成示意图；

图4中示意性示出本公开示例性实施例中一种空气耦合超声波检测模块的工作流程的示意图；

图5中示意性示出本公开示例性实施例中一种激光超声波检测模块的组成示意图；

图6中示意性示出本公开示例性实施例中一种激光超声波检测模块的工作流程的示意图；

图7中示意性示出本公开示例性实施例中一种用于复杂工件分拣的复合无损检测方法的示意图；

图8中示意性示出本公开示例性实施例中一种检测区域的分布示意图；

图9中示意性示出本公开示例性实施例中一种检测流程的示意图；

图10中示意性示出本公开示例性实施例中一种用于复杂工件分拣的复合无损检测方法的流程示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在相关技术中，传统的超声波无损检测技术在检测复杂工件时，仍然存在以下不足：1. 传统的超声波无损检测技术大多需要耦合液作为介质从而对被检测物体进行检测，耦合液可能会对工件材质造成破坏；2. 传统的超声波无损检测技术多为接触式探头，需要紧密贴合被检测物体，势必在工业应用中，降低分拣效率；3. 传统的超声波无损检测技术多为单一的检测方法，面对复杂工件的检测时，会造成检测误差，影响检测准确度。

针对现有技术的缺点和不足，本示例实施方式中提供了一种用于复杂工件分拣的复合无损检测系统。参考图2所示，检测系统可以包括：检测模块21、传送带模块22、分拣抓取模块23、控制模块24。具体的，检测模块21可以包括：图像采集组件、内部检测装置；其中，图像采集组件可以是相机211，内部检测装置可以包括：检测装置A212、检测装置B213。控制模块24包括上位机241、控制器242。分拣抓取模块23可以包括机械臂231（机械臂A、机械臂B）。传送带模块22可以包括：入料传送带221，出料传送带222、检测传送带223、废料传送带224。

其中，图像采集组件可以用于对进入检测区域的工件采集工件图像，并对工件图像进行图像识别以判断待工件是否存在表面损伤，并将工件标记结果上传至上位机。内部检测装置设置于检测区域外侧，可以用于对所述工件进行工件内部检测，以判断所述工件是否存在内部损伤，并将工件标记结果上传至上位机。机械臂，设置于检测区域的外侧，可以用于对检测区域内的工件进行分拣。控制器，与内部检测装置、机械臂连接，用于向所述图像采集组件、内部检测装置、机械臂发送控制指令。上位机，与所述控制器、图像采集组件连接，用于接收图像采集组件上传的图像数据，并向控制器发送指令信息。

具体而言，参考图1所示，用于复杂工件分拣的复合无损检测系统，包括入料传送带221，入料传送带221用于将待检测的工件11传递至检测传送带223。在入料传送带221下游设置有检测传送带223，检测传送带223用于将所述工件11运送至检测区域12。检测区域12可以是检测传送带223上的一段确定大小的区域。在检测区域12两侧分别设置机械臂A、机械臂B。在检测区域12两侧分别设置检测装置A212、检测装置B213。在检测传送带223的下游设置出料传送带222，用于传输配置有良品标记的所述工件。在检测传送带223的一端，例如与入料传送带相对的另一侧，可以设置有废料传送带224，用于传输配置有废品标记的所述工件。在检测区域的上方，可以设置有相机211，用于采集工件的图像。

其中，内部检测装置包括：空气耦合超声波无损检测模块、激光超声波无损检测模块。

本示例实施方式中，参考图3所示，所述空气耦合超声波无损检测模块，包括：第一模块上位机，即上位机31；第一模块工控机，即工控机32；优化模块33；检测模块34。其中，第一模块上位机可以用于向第一模块工控机收发控制命令。第一模块工控机可以用于向检测模块发送控制命令； 所述第一模块工控机包括：第一子控制器（即控制器321）、激励发射器322、数据采集器323及信号处理器324；所述第一子控制器用于控制检测模块34运动；所述激励发射器322用于向检测模块34发送脉冲信号；所述数据采集器323用于实现A/D采样；所述信号处理器324用于接收换能器的信号。优化模块33可以用于对检测模块34的数据进行优化，包括滤波器331以及放大器332；所述滤波器331对激励发射器322发出的信号滤波传递给激励换能器341；所述放大器332将接收到的数据放大给信号处理器324。检测模块34可以用于对工件的内部损伤进行检测，包括激励换能器341及接收换能器342；所述激励换能器341用于向被检测工件发射声波；所述接收换能器342用于接收被检测工件的声波。参考图4所示，空气耦合超声波无损检测模块的工作流程，包括：S40，开始；S41，激励发生器发生高频脉冲；S42，利用滤波器对高频脉冲进行滤波处理后发送至激励换能器；S43，激励换能器发出超声波；S44，接收换能器接收穿透工件后的超声波；S45，利用放大器对超声波进行信号放大；S46，信号处理器接收放大后的信号；S47，结束。

本示例实施方式中，参考图5所示，所述激光超声波检测模块，包括：第二模块上位机（即上位机51）可以用于向第二模块工控机收发控制命令；第二模块工控机（即工控机52），包括第二子控制器（即控制器521）、数据采集器522；所述第二子控制器用于控制脉冲激光器发射脉冲以及控制阵镜偏转器运动；数据采集器522，用于对采集的信号进行A/D采样；同步发生器53，用于控制脉冲激光器发出的脉冲与数据采集器接收的信号同步；脉冲激光器54，用于发出激光脉冲；检测模块56可以包括阵镜偏转器561和超声传感器562，其中，阵镜偏转器561可以用于对激光脉冲偏转；超声传感器可以用于接收被检测的所述工件上的热激发超声波；放大/滤波器55，可以用于对超声传感器接收的信号优化。参考图6所示，激光超声波检测模块的工作流程，包括：S60，开始；S61，脉冲激光器发射激光脉冲；S62，阵镜偏转器折射激光；S63，超声传感器接收热激光超声波；S64，对接收的信号滤波并放大；S65，利用数据采集器采集信号，用于完成一次激光超声波无损检测流程。

本示例实施方式中，提供了一种用于复杂工件分拣的复合无损检测方法，参考图7所示，方法可以包括：

步骤S71，对进入检测区域的工件采集工件图像，并对工件图像进行图像识别以判断待工件是否存在表面损伤；

步骤S72，在所述工件不存在表面损伤时，利用内部检测装置对所述工件进行工件内部检测，以判断所述工件是否存在内部损伤；

步骤S73，在识别所述工件不存在内部损伤时，为所述工件配置良品标记，根据所述工件的位姿对机械臂进行运动规划，以控制机械臂对所述工件进行分拣。

本示例实施方式中，所述方法还包括：对检测区域和/或检测传送带进行图像采集，并对采集的图像进行识别；在根据图像识别结果确定检测区域或检测传送带无工件时，生成第一入料传送带控制指令，以控制入料传送带将待检测的所述工件投入检测传送带；

在识别到所述工件落入所述检测传送带后，生成第二入料带控制指令，以控制所述入料传送带停止。

本示例实施方式中，所述方法还包括：在识别到检测区域存在所述工件时，生成检测传送带控制指令，以控制检测传送带停止。

具体来说，无损检测方法可以应用于上述的系统。参考图1、图8所示，在检测区域的两侧可以分别布置检测装置。可以通过相机进行扫射来采集图像并上传至上位机，上位机可以对采集的图像转换为点云数据，再利用点云数据进行三维重建，使上位机获得整个分拣系统的三维视觉信息，进而对整个分拣系统建图。可以利用相机采集检测传送带的图像并上传至上位机；若识别到检测传送带无工件，则上位机向控制器发送指令，控制器向入料传送带发送指令，使入料传送带将工件投入至检测传送带。在利用相机实时采集的图像识别到工件落入检测传送带后，上位机向控制器发送指令，控制器向入料传送带发送指令，入料传送带停止运动。入料传送带停止入料后，控制器向检测传送带发送指令，使检测传送带将工件移动至检测区域。识别到检测区域的工件后，上位机向控制器发送指令，控制器向检测传送带发送指令，检测传送带停止运动。

本示例实施方式中，在上述的步骤S71中，首先利用相机对检测区域内的工件进行检测；相机获得工件位姿，并判断工件外表是否缺损，若有工件表面有缺损，则标记为废品，并将数据发送至上位机；

其中，

本示例实施方式中，所述方法还包括：在识别所述工件存在表面损伤时，为所述工件配置废品标记。

本示例实施方式中，所述内部检测装置包括：空气耦合超声波无损检测模块、激光超声波无损检测模块。

所述方法还包括：利用空气耦合超声波无损检测模块对所述工件进行内部检测，若检测到所述工件存在内部损伤，则对所述工件配置废品标记；或者

在检测到所述工件不存在内部损伤时，利用激光超声波无损检测模块对所述工件进行内部检测，若检测到所述工件存在内部损伤，则对所述工件配置废品标记；或者，在检测到所述工件不存在内部损伤时，对所述工件配置良品标记。

具体来说，在上述的步骤S72中，在利用相机采集的图像检测工件不存在表面损伤后，可以进行空气耦合超声波无损检测。检测装置A及检测装置B的空气耦合超声波检测模块对检测区域内的工件进行检测。若工件内部有缺损，则将工件标记为废品，并将数据发送至上位机；

其中，

再次，在空气耦合超声波无损检测到工件内部无损伤时，进行激光超声波无损检测。检测装置A及检测装置B的激光超声波检测模块对检测区域内的工件进行检测。若工件内部有缺损，则将工件标记为废品，并将数据发送至上位机。

其中，

参考图9所示，若相机、检测装置A及检测装置B的空气耦合超声波检测模块及激光超声波检测模块均检测到工件内部无缺损，则将工件标记为良品，并将工件数据发送至上位机；

其中，

也即，可以是在相机检测、空气耦合超声波检测、激光超声波检测均为良品时，确定工件为良品，若任一项检测不通过，则工件为废品。具体的，相机对检测区域内的工件进行图像采集，并对采集的图像进行识别，来实现对工件外表的检测。激光超声波检测，可以弥补空气耦合超声波检测距离不足的缺陷，提高检测效率和检测的准确度。

本示例实施方式中，所述方法还包括：根据所述废品标记，控制机械臂将所述工件分拣至废料传送带；或者，根据所述良品标记，控制机械臂将所述工件分拣至出料传送带。

本示例实施方式中，所述方法还包括：

采集机械臂及周围环境的系统图像，并利用系统图像对应的点云数据进行三维重建以获取对应的系统环境模型；

基于所述系统环境模型，结合所述工件的位姿、所述工件的标记信息对所述机械臂进行机械臂运动路径规划，以根据路径规划结果控制机械臂对所述工件分拣至废料传送带或出料传送带。

本示例实施方式中，所述方法还包括：

采集机械臂及周围环境的系统图像，并利用系统图像对应的点云数据进行三维重建以获取对应的系统环境模型；

基于所述系统环境模型，结合所述工件的位姿、所述工件的标记信息对所述机械臂进行机械臂运动路径规划，以根据路径规划结果控制机械臂对所述工件分拣至废料传送带或出料传送带。

具体而言，机械臂在分拣时，若检测区域有良品工件，机械臂A负责将标记为良品的工件分拣至出料传送带；若检测区域有废品工件，机械臂B负责将标记为废品的工件分拣至废料传送带；若检测区域无废品工件，机械臂B负责将标记为良品的工件分拣至出料传送带。

本公开提供的方法，可以应用于图1所示的系统，参考图10所示，在初始化后，可以利用相机采集检测传送带的图像上传至上位机，并对采集的图像进行识别，判断检测传送带上是有工件；若识别没有工件，则可以生成控制指令，由入料带传输入料至检测传送带；检测传送带将工件移动至检测区域，相机采集检测区域内工件的图像上传至上位机，计算工件的位姿信息；并识别工件是否存在表面损伤；若存在表面损伤，判断为废品，生成控制指令，由机械臂B分拣废品至废品传送带。或者，若识别不存在表面损伤，由空气耦合超声波检测模块进行内部检测，判断是否存在内部损伤，若存在内部损伤，则判断为废品，生成控制指令，由机械臂B分拣废品至废品传送带。或者，若不存在内部损伤，由激光超声波检测模块再次检测是否存在内部损伤，若存在内部损伤，则判断为废品，生成控制指令，由机械臂B分拣废品至废品传送带；或者，在不存在内部损伤时，判断为良品，生成控制指令，由机械臂A分拣废品至出料传送带，完成一次完整的检测过程。实现自动化的分拣和随工件的无损检测。相对于传统分拣系统，本发明的双机械臂协同分工的自动化智能分拣系统，可以大大提高分拣效率。同时，相对于传统无损检测系统，利用相机视觉结合空气耦合超声波及激光超声波的复合检测方法，极大的提高了无损检测的准确性。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。