一种基于深度学习的多模态工业缺陷分析方法及系统

技术领域

本发明涉及工业缺陷分析技术领域，具体是一种基于深度学习的多模态工业缺陷分析方法及系统。

背景技术

多模态工业缺陷分析是指在工业生产中，通过利用多种不同的传感器或模态来获取和处理工业产品缺陷信息的分析方法，通过结合多种传感器的数据，可以获得更全面、准确的缺陷信息，从而更好地理解和解决工业产品的缺陷问题，例如在机械零件的缺陷检测方面，多模态工业缺陷分析变得越来越常见；

在现有技术中，对于机械零件的缺陷检测虽然有着多种检测方法，却没能有效的将各种检测结果结合到一起，因此并不便于工作人员对其进行查看，且现有技术中，也缺乏基于机械零件的缺陷数据对其性能指标进行预测的有效方法，针对现有技术的不足，本发明提供了一种基于深度学习的多模态工业缺陷分析方法及系统。

发明内容

本发明的目的在于提供一种基于深度学习的多模态工业缺陷分析方法及系统。

本发明的目的可以通过以下技术方案实现：一种基于深度学习的多模态工业缺陷分析系统，包括主控中心，所述主控中心通信连接有模型构建模块、视觉检测模块、声波检测模块、结构力学检测模块、模型对比模块、缺陷预测模块；

所述模型构建模块用于对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；

所述视觉检测模块用于对机械零件进行视觉检测以获得机械零件的表面缺陷；

所述声波检测模块用于对机械零件进行声波检测以获得机械零件的内部缺陷；

所述结构力学检测模块用于对机械零件进行性能测试以获得机械零件的性能指标；

所述模型对比模块用于对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库；

所述缺陷预测模块用于根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。

进一步的，所述模型构建模块对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型的过程包括：

设置模型构建单元，通过所述模型构建单元对机械零件的基本信息进行采集，根据所采集的机械零件的基本信息构建机械零件的虚拟模型，工作人员可通过移动终端对所构建的虚拟模型进行查看，此时所构建的虚拟模型为机械零件的理论模型，仅包括机械零件的基本信息，不包括机械零件的表面缺陷、内部缺陷以及性能指标。

进一步的，所述视觉检测模块对机械零件进行视觉检测以获得机械零件的表面缺陷的过程包括：

设置视觉检测单元，通过所述视觉检测单元对机械零件的图像数据进行采集，并对所采集的图像数据进行预处理，并对所处理的图像数据进行特征提取以获得相应的特征信息；

根据所获得的特征信息，采用图像分割技术对机械零件的图像数据进行缺陷检测以获得机械零件的表面缺陷，并将所获得的表面缺陷映射至机械零件的理论模型进行同步以获得相应的实际模型。

进一步的，所述声波检测模块对机械零件进行声波检测以获得机械零件的内部缺陷的过程包括：

获得机械零件的声波检测点，在声波检测点上设置声波检测单元，通过所述声波检测单元利用超声波对机械零件进行缺陷检测，以顶点指向球心的方向为检测方向，通过所述声波检测单元向机械零件发射超声波，并对所产生的超声波回波进行接收，对所接收的超声波回波进行分析以获得机械零件的内部缺陷，并将所获得的内部缺陷与其相应的机械零件的实际模型进行绑定。

进一步的，所述结构力学检测模块对机械零件进行性能测试以获得机械零件的性能指标的过程包括：

设置结构力学检测单元，通过所述结构力学检测单元对存在表面缺陷和内部缺陷的机械零件进行性能测试以获得相应的性能指标，本发明选择采取压力测试方法对机械零件进行性能测试以获得相应的性能指标；

根据机械零件的基本信息确定在压力测试过程中的压力标准和持续时间，通过压力测试设备根据压力标准和持续时间对机械零件施加压力，获得机械零件在压力施加过程中的压力、位移、温度，在压力测试结束后检查机械零件是否发生泄漏、变形、破裂，根据压力测试过程生成相应的压力测试结果，对压力测试结果进行数据分析以获得机械零件的耐久度、可靠度、安全度，并将所获得的耐久度、可靠度、安全度与其相应的机械零件的实际模型进行绑定。

进一步的，所述模型对比模块对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库的过程包括：

设置缺陷数据库，获得机械零件的理论模型和实际模型，将所获得的理论模型和实际模型进行比较，并根据比较结果获得机械零件的缺陷数据，将所获得的缺陷数据与其相应的机械零件进行绑定，并将所获得的缺陷数据上传至缺陷数据库进行保存；

获得两个机械零件的实际模型，并将所获得的两个实际模型进行比较，根据比较结果获得两个机械零件之间的性能差异数据，将所获得的性能差异数据与其相应的两个机械零件进行绑定，并将所获得的性能差异数据上传至缺陷数据库进行保存。

进一步的，所述缺陷预测模块根据缺陷数据库构建缺陷预测模型的过程包括：

设置数据处理单元，通过所述数据处理单元对缺陷数据库内所存储的缺陷数据和性能差异数据进行预处理以获得相应的可用数据，所述预处理包括离群点处理、缺失值处理、规范化处理；

对所获得的可用数据进行特征提取以获得相应的特征信息，选择深度学习模型作为初始的缺陷预测模型，并将所获得的可用数据划分为训练集和测试集，使用训练集对初始的缺陷预测模型进行训练，对可用数据中的缺陷数据与性能差异数据之间的对应关系进行学习以获得训练的缺陷预测模型，使用测试集对训练的缺陷预测模型进行评估，并根据评估结果对训练的缺陷预测模型进行调优以获得调优的缺陷预测模型，利用所获得的可用数据不断对缺陷预测模型进行训练以及调优以获得最新的缺陷预测模型。

进一步的，所述缺陷预测模块根据缺陷预测模型对机械零件的性能指标进行预测的过程包括：

获得后续的机械零件的表面缺陷或内部缺陷，并将所获得的表面缺陷或内部缺陷输入至最新的缺陷预测模型，通过所述缺陷预测模型根据所输入的表面缺陷或内部缺陷对机械零件的性能指标进行预测，并输出相应的预测结果，所输出的预测结果即为机械零件的性能指标范围，并将所获得的性能指标范围反馈给工作人员。

一种基于深度学习的多模态工业缺陷分析方法，包括以下步骤：

步骤一：对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；

步骤二：对机械零件进行视觉检测以获得机械零件的表面缺陷，对机械零件进行声波检测以获得机械零件的内部缺陷，对机械零件进行性能测试以获得机械零件的性能指标；

步骤三：对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库，根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。

与现有技术相比，本发明的有益效果是：

1、通过构建机械零件的虚拟模型，对机械零件进行视觉检测、声波检测、性能测试以获得机械零件的表面缺陷、内部缺陷、性能指标，并将所获得的表面缺陷、内部缺陷、性能指标与其相应的机械零件的虚拟模型进行绑定，能够对机械零件实现多模态的缺陷检测，有利于工作人员直观地对机械零件的虚拟模型进行查看；

2、通过对机械零件的虚拟模型互相进行比较以获得相应的缺陷数据库，根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测，有利于根据缺陷数据获得相应的性能指标，能够对机械零件实现有效的缺陷预测。

附图说明

图1为本发明的原理图；

图2为本发明的流程图。

实施方式

如图1所示，一种基于深度学习的多模态工业缺陷分析系统，包括主控中心，所述主控中心通信连接有模型构建模块、视觉检测模块、声波检测模块、结构力学检测模块、模型对比模块、缺陷预测模块；

所述模型构建模块用于对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；

所述视觉检测模块用于对机械零件进行视觉检测以获得机械零件的表面缺陷；

所述声波检测模块用于对机械零件进行声波检测以获得机械零件的内部缺陷；

所述结构力学检测模块用于对机械零件进行性能测试以获得机械零件的性能指标；

所述模型对比模块用于对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库；

所述缺陷预测模块用于根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。

需要进一步说明的是，在具体实施过程中，所述模型构建模块对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型的过程包括：

设置模型构建单元，通过所述模型构建单元对机械零件的基本信息进行采集，所述机械零件的基本信息包括但不限于规格和尺寸、材质和物理属性、制造工艺和加工精度、功能和用途、承载能力和耐久性；

根据所采集的机械零件的基本信息构建机械零件的虚拟模型，工作人员可通过移动终端对所构建的虚拟模型进行查看，此时所构建的虚拟模型为机械零件的理论模型，仅包括机械零件的基本信息，不包括机械零件的表面缺陷、内部缺陷以及性能指标。

需要进一步说明的是，在具体实施过程中，所述视觉检测模块对机械零件进行视觉检测以获得机械零件的表面缺陷的过程包括：

设置视觉检测单元，通过所述视觉检测单元对机械零件的图像数据进行采集，并对所采集的图像数据进行预处理，所述预处理包括图像去噪、增强对比、边缘检测、颜色校正，并对所处理的图像数据进行特征提取以获得相应的特征信息，所述特征信息包括颜色特征、纹理特征、形状特征、边缘特征；

根据所获得的特征信息，采用图像分割技术对机械零件的图像数据进行缺陷检测以获得机械零件的表面缺陷，所述表面缺陷包括但不限于划痕、气泡、毛边、色差、变形、漆膜开裂、氧化斑点，并将所获得的表面缺陷映射至机械零件的理论模型进行同步以获得相应的实际模型。

需要进一步说明的是，在具体实施过程中，所述声波检测模块对机械零件进行声波检测以获得机械零件的内部缺陷的过程包括：

获得机械零件的重心，以机械零件的重心为球心，构建一个刚好能将机械零件完全容纳的球体，在所构建的球体内部构建一个正四面体，所构建的正四面体的四个顶点均处于该球体的表面上，获得该正四面体的四个顶点，并将所获得的顶点作为机械零件的声波检测点；

在声波检测点上分别设置声波检测单元，通过所述声波检测单元利用超声波对机械零件依次进行缺陷检测，以顶点指向球心的方向为检测方向，通过所述声波检测单元向机械零件发射超声波，并对所产生的超声波回波进行接收，对所接收的超声波回波进行分析以获得机械零件的内部缺陷，所述内部缺陷包括但不限于气孔、夹杂物、裂纹、疏松区域、异常组织，并将所获得的内部缺陷与其相应的机械零件的实际模型进行绑定。

需要进一步说明的是，在具体实施过程中，所述结构力学检测模块对机械零件进行性能测试以获得机械零件的性能指标的过程包括：

设置结构力学检测单元，通过所述结构力学检测单元对存在表面缺陷和内部缺陷的机械零件进行性能测试以获得相应的性能指标，由于机械零件具有多种性能指标，因此所采取的性能测试方法也不尽相同，本发明选择采取压力测试方法对机械零件进行性能测试以获得相应的性能指标；

根据机械零件的基本信息确定在压力测试过程中的压力标准和持续时间，通过压力测试设备根据压力标准和持续时间对机械零件施加压力，获得机械零件在压力施加过程中的压力、位移、温度，在压力测试结束后检查机械零件是否发生泄漏、变形、破裂，根据压力测试过程生成相应的压力测试结果，对压力测试结果进行数据分析以获得机械零件的耐久度、可靠度、安全度，并将所获得的耐久度、可靠度、安全度与其相应的机械零件的实际模型进行绑定。

需要进一步说明的是，在具体实施过程中，所述模型对比模块对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库的过程包括：

设置缺陷数据库，以某一机械零件为例，获得该机械零件的理论模型和实际模型，将所获得的理论模型和实际模型进行比较，并根据比较结果获得该机械零件的缺陷数据，所述缺陷数据包括表面缺陷以及内部缺陷，以此类推，获得各个机械零件的缺陷数据，将所获得的缺陷数据与其相应的机械零件进行绑定，并将所获得的缺陷数据上传至缺陷数据库进行保存；

以任意两个机械零件为例，获得两个机械零件的实际模型，并将所获得的两个实际模型进行比较，根据比较结果获得两个机械零件之间的性能差异数据，所述性能差异数据是指两个机械零件的性能指标的数值差异，以此类推，获得各个机械零件之间的性能差异数据，将所获得的性能差异数据与其相应的两个机械零件进行绑定，并将所获得的性能差异数据上传至缺陷数据库进行保存。

需要进一步说明的是，在具体实施过程中，所述缺陷预测模块根据缺陷数据库构建缺陷预测模型的过程包括：

设置数据处理单元，通过所述数据处理单元对缺陷数据库内所存储的缺陷数据和性能差异数据进行预处理以获得相应的可用数据，所述预处理包括离群点处理、缺失值处理、规范化处理，所述离群点处理用于对异常数据进行清理，采用绝对中位差离群值处理方法，所述缺失值处理用于对缺失数据进行填充，采用统计量填充方法，所述规范化处理用于对数据的格式进行统一，采用Z-Score标准化方法；

对所获得的可用数据进行特征提取以获得相应的特征信息，选择深度学习模型作为初始的缺陷预测模型，并将所获得的可用数据划分为训练集和测试集，使用训练集对初始的缺陷预测模型进行训练，对可用数据中的缺陷数据与性能差异数据之间的对应关系进行学习以获得训练的缺陷预测模型，使用测试集对训练的缺陷预测模型进行评估，并根据评估结果对训练的缺陷预测模型进行调优以获得调优的缺陷预测模型，利用所获得的可用数据不断对缺陷预测模型进行训练以及调优以获得最新的缺陷预测模型。

需要进一步说明的是，在具体实施过程中，所述缺陷预测模块根据缺陷预测模型对机械零件的性能指标进行预测的过程包括：

获得后续的机械零件的表面缺陷或内部缺陷，并将所获得的表面缺陷或内部缺陷输入至最新的缺陷预测模型，通过所述缺陷预测模型根据所输入的表面缺陷或内部缺陷对机械零件的性能指标进行预测，并输出相应的预测结果，所输出的预测结果即为机械零件的性能指标范围，并将所获得的性能指标范围反馈给工作人员。

如图2所示，一种基于深度学习的多模态工业缺陷分析方法，包括以下步骤：

步骤一：对机械零件的基本信息进行采集，并根据基本信息构建机械零件的虚拟模型；

步骤二：对机械零件进行视觉检测以获得机械零件的表面缺陷，对机械零件进行声波检测以获得机械零件的内部缺陷，对机械零件进行性能测试以获得机械零件的性能指标；

步骤三：对机械零件的虚拟模型进行比较，并根据比较结果获得相应的缺陷数据库，根据缺陷数据库构建缺陷预测模型，并根据缺陷预测模型对机械零件的性能指标进行预测。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。