图像-激光协作式核电阀门密封面自动检测系统及方法

技术领域

本发明属于计算机视觉及核电检修领域，特别是涉及一种图像-激光协作式核电阀门密封面自动检测系统及方法。

背景技术

核电阀门密封面的完好程度对核电站的安全运行至关重要。目前，对核电阀门密封面的检测主要依靠人工目视检查，存在效率低下、准确性不高的问题。因此，需要一种自动检测系统及方法来提高核电阀门密封面检测的效率和准确性。

针对核电阀门密封面检测问题，除了目前应用的需要耗费人力的目视检查外，利用超声波、磁粉、涡流等探测技术对核电阀门密封面进行检测；通过对核电阀门密封面施加一定的压力，观察是否有泄漏现象来判断密封面是否存在缺陷；利用红外热像仪对核电阀门密封面进行扫描，通过观察热图来检测密封面是否存在异常情况也常用于对于密封面损伤的检测。由于核电的工况的复杂性，人工检测具有高昂的人力成本和危险性，并且无法保证检测的精度和准度；运用红外热像仪对核电阀门密封面进行检测对环境有着苛刻的要求，且安装布置繁琐导致了操作不便。

因此如何在减少人力成本的情况下对阀门密封面损伤进行高精度、高准度、高速度检测成为当前急需解决的问题。

发明内容

本发明的目的是提供一种图像-激光协作式核电阀门密封面自动检测系统及方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种图像-激光协作式核电阀门密封面自动检测系统，包括：

图像采集单元，用于采集核电阀门密封面的图像数据，生成图片数据集；

激光扫描单元，用于基于激光对核电阀门密封面进行扫描，获得扫描数据集；

损伤识别单元，与所述图像采集单元和所述激光扫描单元连接，用于构建深度学习网络模型，基于所述深度学习模型对所述图片数据集和所述扫描数据集进行计算，获得损伤识别数据集；

信息提取单元，与所述损伤识别单元连接，用于对所述损伤识别数据集进行处理并进行信息提取，获得检测结果。

优选的，所述图像采集单元采用基于不同照明模式对所述核电阀门密封面进行图像采集，将采集的图像进行合成，获得所述图片数据集。

优选的，所述激光扫描单元包括扫描子单元和直线子单元；所述扫描子单元用于对所述核电阀门密封面的静止状态进行扫描，获得静止状态数据集；所述直线子单元用于对所述核电阀门密封面的运动状态进行扫描，获得运动状态数据集。

优选的，所述激光扫描单元通过识别核电阀门密封面中指定点的高度获取两点之间的高度差，基于所述两点之间的高度差获取扫描数据后与所述静止状态数据集和所述运动状态数据集进行整合，获得所述扫描数据集。

优选的，所述损伤识别单元采用ABUNet++网络构建所述深度学习网络模型，通过NEU-CLS数据集和KolektorSDD数据集对所述深度学习网络模型进行训练，获得损伤检测模型，将所述扫描数据集输入至所述损伤检测模型中进行计算，获得所述损伤识别数据集。

优选的，所述信息提取单元采用数字图像处理算法对所述损伤识别数据集的信息进行提取后进行综合分析，基于综合分析结果进行损伤程度的评估，获得所述检测结果。

优选的，所述损伤识别数据集包括：介质冲刷引起的化学电离腐蚀数据、介质中的流体侵蚀影数据、阀门之间的操作挤压数据、冷热变化引起的阀门结构损坏数据。

为实现上述目的，本发明还提供了一种图像-激光协作式核电阀门密封面自动检测方法，包括：

基于图像采集单元采集核电阀门密封面的图像数据，生成图片数据集；

基于激光对核电阀门密封面进行扫描，获得扫描数据集；

构建深度学习网络模型，基于所述深度学习模型对所述图片数据集和所述扫描数据集进行计算，获得损伤识别数据集；

对所述损伤识别数据集进行处理并进行信息提取，获得检测结果。

优选的，所述获得损伤识别数据集的过程包括：

采用ABUNet++网络和注意力机制构建所述深度学习网络模型；

通过NEU-CLS数据集和KolektorSDD数据集对所述深度学习网络模型进行训练，获得损伤检测模型；

将所述扫描数据集输入至所述损伤检测模型中进行计算，获得所述损伤识别数据集。

优选的，所述注意力机制的表达式为：

其中，F是输入张量特征，

本发明的技术效果为：

通过本发明，可以实现对核电阀门密封面缺陷的自动检测，提高了检测效率和准确性。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的系统建模与实物图；

图2为本发明实施例中的深度学习网络结构图；

图3为本发明实施例中的注意力机制图；

图4为本发明实施例中的损伤信息提取算法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种图像-激光协作式核电阀门密封面自动检测系统，包括：

该系统搭载于核电检修设备上，由图像-激光传感器为其提供数字图像和深度信息，包括：

图像采集单元，包括图像传感器。所述图像传感器基准距离：55mm；测量距离：45-65mm；检测范围：测量距离45mm：27.5×20.5mm以上，测量距离55mm：32.5×24.5mm以上，测量距离65mm：37.5×28.5mm(X方向)×(Y方向)*1；采样周期：120ms以上；图像接收元件：CMOS图像传感器；重量：190g。

激光扫描单元，包括激光发生器和接收器。所述激光扫描装置使用红色半导体激光，波长660nm(可见光)，采样周期：120ms以上。

损伤识别单元，包括深度学习网络模型和数据集，所述网络模型使用深度学习的方式在上位机中对核电阀门密封面采集图片数据集进行集中训练，得到可以分割识别损伤区域和背景区域的权重系数。

信息提取单元，包括图像预处理算法和信息计算算法，所述图像预处理算法和信息计算算法使用数字图像处理的方式在损伤识别的基础上对分割后的图片进行增强并将损伤的大小、位置、数量、深度信息进行对应记录以指导之后的检修工作。

进一步优化方案，所述图像采集单元具有内置照明功能，能够拍摄出清晰的图像。通过将4种照明模式下拍摄的图像合成为一张图像，可以减少光晕现象。该图像采集单元适用于不同的安装环境，并且方便后续的加装。传感头外壳的防护级别符合IP67标准，能够实现防尘和防水功能。此外，连接电缆连接部的连接器可以进行330°的旋转，以便自由调整装配位置。该图像采集单元还配备FTP客户端功能，具有可追溯性。使用FTP客户端功能，可以将图像数据传输到FTP服务器(例如电脑、NAS、PLC)。同时，用户还可以通过该功能确认测量结果和拍摄时间。此外，根据运行的详细结果，每个文件可以自动分配到相应的文件夹中。

进一步优化方案，所述激光扫描单元具有扫描模式和直线模式两种工作模式。在扫描模式下，激光扫描单元用于在区域内检测静止的目标物。而在直线模式下，激光扫描单元使用线状激光来检测目标物，即使目标物处于运动状态下也能进行有效检测。

进一步优化方案，所述激光扫描单元可以识别指定点的高度，也可以识别指定两点之间的高度差。这种高度差的检测方式可以实现稳定的检测结果，即使目标物整体高度发生变化也能进行有效跟踪。此外，该激光扫描单元还能识别指定区域的平均高度。即使目标物非常细小或具有复杂的形状，该扫描单元仍能稳定地进行高度检测。

进一步优化方案，所述损伤识别单元通过使用ABUNet++网络对损伤图片数据集进行深度学习。所使用的数据集由NEU-CLS和KolektorSDD组成。为了提高网络在不同条件和不同表面下识别不同损伤的自适应能力，需要对这些图片进行多种类别的部分训练。这样可以确保网络在实际应用中能够准确识别各种不同类型的损伤。

ABUNet++网络基于U-net网络结构，对其下采样部分进行改进(加入注意力机制)并综合各下采样次数对于训练效果的影响进行考虑，属于自研网络。

进一步优化方案，所述数据集包含四种不同类型的损伤：化学电离腐蚀引起的介质冲刷、介质中的流体侵蚀影响、阀门之间的操作挤压、以及冷热变化引起的阀门结构损坏。为了训练ABUNet++网络以识别这些不同类型的损伤，从数据集中选择了50张能够充分代表每种损伤的图像，并将这些图像输入到网络中进行循环训练，以更新网络的每个参数权重。然后，我们从每种类型中选择了10张图片作为测试集，以评估网络在不同损伤类型的准确性。

进一步优化方案，所述ABUNet++网络结构的左半部分负责进行特征提取，即提取图像中损伤位置的高级语义信息。而网络结构的右半部分则负责图像恢复，它将提取的高级语义信息进行组合和恢复。这种名为ABUNet++的网络结构通过“跳连接”和“串联”来连接不同语义层次的信息，从而更有效地恢复图像并在下采样过程中保留高级语义信息。所述ABUNet++的下采样部分还引入了通道注意力机制和空间注意力机制，以考虑不同通道对最终检测结果的影响，从而提高检测结果的准确性。

进一步优化方案，所述数字图像处理算法通过对识别后的图像进行灰度化、二值化和形态学处理等预处理操作，以获取可识别的连通域。所述信息计算算法利用regionprops函数获取损伤的位置、数量和面积信息，实现对光伏积灰的自动化、高速和高精度检测。通过量化反馈损伤程度，可以对研磨设备的研磨位置、力度、时间和研磨盘进行调整。构建损伤程度评估体系，建立损伤程度与研磨作业的量化联系。

实施例二

一种图像-激光协作式核电阀门密封面自动检测系统及方法，该系统应用于核电阀门检修机器人的图像采集设备和中央处理单元上，由核电检修机器人作为载体完成相应检测项目，包括：

图像采集单元，使用图像传感器对阀门密封面损伤进行图像采集用以检测。

激光扫描单元，使用激光发生器和接收器。所述激光扫描装置使用红色半导体激光，波长660nm(可见光)，采样周期：120ms以上。

损伤识别单元，使用深度学习的方式在上位机中对核电阀门密封面采集图片进行集中训练，得到可以分割识别损伤区域和背景区域的权重系数。

信息提取单元，使用数字图像处理的方式在损伤识别的基础上对分割后的图片进行增强并将损伤的大小、位置、数量、深度信息进行对应记录以指导之后的检修工作。

进一步优化方案，所述图像采集单元仅靠内置照明就可拍摄出清晰的图像，将4种照明模式下拍摄的图像合成为1张，减少光晕。适用于不同安装环境，便于后续加装，传感头的外壳防护级采用IP67标准，实现防尘防水。此外，电缆连接部的连接器可330°旋转，能够自由调整装配。配备FTP客户端功能，具有可追溯性,使用FTP客户端功能，可向FTP服务器(电脑、NAS、PLC)传输图像数据。还可确认测量结果和拍摄时间。也可根据运行的详细结果，将每个文件-动分配到相应的文件夹中。

进一步优化方案，所述激光扫描单元分为扫描模式和直线模式。扫描模式在区域内检测目标物，对静止的目标物使用。直线模式用线激光检测目标物，即使目标物在运动也可检测。

进一步优化方案，所述激光扫描单元可以识别指定点的高度；识别指定两点间的高度差。始终以高度差进行检测，即使目标物的整体高度发生变化也能进行跟踪，实现稳定检测；识别指定区域的平均高度。即使目标物细小或形状复杂，也可稳定检测。

进一步优化方案，所述损伤识别单元使用ABUNet++网络对损伤图片数据集进行深度学习，所使用的数据集由NEU-CLS和KolektorSDD组成。KolektorSDD是一个由金属表面损失图像组成的数据集，通常用于缺陷检测。该数据集由Kolektor Group d.o.o.提供和注释的有缺陷的生产项目的图像构建而成。NEU-CLS是一个金属损失图像数据集，包括1800个灰度图像的典型表面缺陷样本。为了使网络更自适应地识别不同条件下和不同表面下的不同损伤，需要使用这些图片的不同种类部分进行网络训练。

进一步优化方案，所述数据集分为四种不同地类型。分别是介质冲刷引起的化学电离腐蚀数据、介质中的流体侵蚀影数据、阀门之间的操作挤压数据、冷热变化引起的阀门结构损坏数据。

进一步优化方案，所述ABUNet++网络在选择50张可以表征数据集中每个损伤的图像后，将图像输入到网络中进行循环训练以更新每个参数权重。然后从每种类型中选择10张图片作为测试集。最后，我们得到了四种不同类型的图片的不同检测难度。

进一步优化方案，所述ABUNet++网络结构左半部分的作用是特征提取，即是对图像中损伤位置的高级语义提取。网络结构右半部分的功能是图像恢复，它组合和恢复提取的高级语义。这种称为ABUNet++的网络结构通过“跳越连接”和“串联”进行不同语义间的拼接，这能更有效地恢复图像并在下采样中赋予高级语义信息。

进一步优化方案，所述ABUNet++的下采样部分引入了通道注意力机制和空间注意力机制，这样可以在下采样过程中考虑不同通道对最终检测结果的影响，使检测结果更加准确。

进一步优化方案，所述信息提取单元使用数字图像处理技术，将图像中的阀门密封面损伤大小、位置、数量进行提取并与激光扫描单元所采集到的深度信息进行相应地组合记录。

进一步优化方案，所述数字图像处理技术通过对识别后图像进行灰度化、二值化和形态学处理等图像预处理操作以得到可以识别的联通域，接下来通过regionprops函数获得损伤的位置信息、数量信息和面积信息以达到自动化、高速、高精度检测光伏积灰的目的。

进一步优化方案，所述信息提取单元将阀门密封面损伤大小、位置、深度、数量进行提取，以上述信息为基础对损伤程度进行综合分析，通过损伤程度的量化反馈作用于研磨设备研磨位置、研磨力度、研磨时间和研磨盘选择。构建损伤程度评估体系，建立损伤程度与研磨作业的量化联系。

进一步优化方案，在损伤程度检测中，主要包括：缺陷分类检测；损伤程度评估；损伤程度判定。通过损伤程度检测，可以有效评估阀门密封面上缺陷的严重程度，为后续的维修和维护工作提供参考。

实施例三

本实施例中提供一种图像-激光协作式核电阀门密封面自动检测方法，包括：

基于图像采集单元采集核电阀门密封面的图像数据，生成图片数据集；

基于激光对核电阀门密封面进行扫描，获得扫描数据集；

构建深度学习网络模型，基于所述深度学习模型对所述图片数据集和所述扫描数据集进行计算，获得损伤识别数据集；

对所述损伤识别数据集进行处理并进行信息提取，获得检测结果。

参见图2所示，所述ABUNet++网络输入RGB图像的大小为256×256以便进行下一次数据处理。在提取高级语义信息的过程中，它将经历四个与注意力机制相结合的下采样。在下采样的过程中，表示图像特征的张量将被汇集或卷积，以达到压缩待测目标语义的目的，这将使张量的长度和宽度变小。每次下采样后，执行卷积核大小为3的卷积操作，这将增加张量的通道数。可以看出，在图像增强部分，通道数会不断增加，图像大小会不断减小，这样图像的语义信息就会被压缩成16×16×1024的长张量。相反，在图像恢复部分，张量的大小以相反的方式改变，这意味着张量将通过这部分带有高级语义标注信息恢复到原来的大小和通道数。

进一步优化方案，所述获得损伤识别数据集的过程包括：

采用ABUNet++网络和注意力机制构建所述深度学习网络模型；

通过NEU-CLS数据集和KolektorSDD数据集对所述深度学习网络模型进行训练，获得损伤检测模型；

将所述扫描数据集输入至所述损伤检测模型中进行计算，获得所述损伤识别数据集。

参见图3所示，在网络结构中引入注意力机制可以更好地保留有效的语义信息，丢弃无效的语义信息。注意机制应用于每个缩减采样，每个下采样都是一个卷积块注意力模块，包括通道下采样和空间下采样。通道注意力模块可以表示为公式：

式中对注意力机制的输入F进行平均池化和最大池化以获得不同的输出张量，然后执行两个全连接的多层感知器，最后将两个不同的张量相加并通过sigmoid函数归一化。在公式中，F是输入张量特征，

式中输入F经过平均池化和最大池化后输出为两层张量，然后进行n阶全连接，最后通过sigmoid函数对结果进行归一化。

参见图4所示，获得识别后的图片后，在进行正式图像处理之前对颗粒图像进行预处理。包括：灰度化、二值化、腐蚀、填充、膨胀、损伤信息计算。

所述灰度化将RGB空间三维矩阵的信息进行均值压缩，每个像素点分为由0至255共256级亮度。

所述二值化将256级亮度的灰度图以一个固定的阈值大小一分为二，其中小于此阈值的就变为0，大于此阈值的就变为1。

所述腐蚀将白色连通域面积缩小，填充将白色小连通域变黑，碰撞将白色连通域面积增加。这样的操作可有效减少过小的连通域与被小连通域分割的大连通域。

所述损伤信息计算，用函数STATS＝regionprops(L，properties)测量图像各个区域中像素总个数和包含相应区域的最小矩形。测量标注矩阵L中每一个标注区域的一系列属性。L中不同的正整数元素对应不同的区域，例如L中等于整数1的元素对应区域1，L中等于整数2的元素对应区域2，以此类推。返回值STATS是一个长度为L的结构数组,结构数组的相应域定义了每一个区域相应属性下的度量。properties可以是由逗号分割的字符串列表，包含字符串的单元数组，单个字符串all或者basic。如果properties等于字符串all，则所有下述字串列表中的度量数据都将被计算，如果properties没有指定或者等于basic，则属性Area、Centroid和BoundingBox将被计算。

然后用cat函数将矩形四角信息重新划分数组。用函数for循环矩形个数次，每次循环中用函数rectangle画出边界颜色为红色的以矩形信息为出发点与长和宽的矩形。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。