一种基于三维模型和探伤图像的铸件缺陷检测方法及系统

技术领域

本发明属于铸件产品质量检测领域，更具体地，涉及一种基于三维模型和探伤图像的铸件缺陷检测方法及系统。

背景技术

航空、航天、汽车、轨道交通、工程机械等行业重大装备用复杂铸件制造过程存在“关键质量点超差、质量波动大”等共性难题。

目前，铸造行业进行铸件质量检测主要依赖对铸件X射线探伤图像进行人工或计算机自动检测。又因为各铸造企业的实际工艺的差异导致缺陷问题影响因素纷繁复杂，无论是人工还是计算机检测，对铸件的缺陷检测容易出现漏检和误检的情况，这将极大的影响铸件的实际使用或铸件后续的工艺优化。由于铸件结构的重叠和部分缺陷在探伤图像上的表现形式相似，计算机自动检测对这些部分的缺陷误检漏检率高，容易产生较大的误差，导致铸件质量检测的可信度较低，实用性较差，导致工艺寻因上会存在困难，铸件产品质量难以得到有效控制。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于三维模型和探伤图像的铸件缺陷检测方法及系统，旨在解决现有铸件射线探伤方式检测缺陷的容易出现漏检和误检的情况，影响铸件的实际使用或铸件后续的工艺优化问题。

为实现上述目的，第一方面，本发明提供了一种基于三维模型和探伤图像的铸件缺陷检测方法，包括如下步骤：

基于虚拟射线成像系统对铸件的三维模型进行射线仿真成像，得到铸件的仿真探伤图像；

基于射线探伤系统对铸件进行射线成像，得到铸件的真实探伤图像；所述虚拟射线成像系统与射线探伤系统的成像参数相同，所述成像参数包括：铸件角度、射线角度及成像参数；

对仿真探伤图像和真实探伤图像进行对比，确定铸件的缺陷信息；所述缺陷信息包括缺陷的形貌和位置；

基于铸件的缺陷信息对缺陷进行分类。

需要说明的是，铸件三维模型为无缺陷的铸件模型。

在一个可选的示例中，所述虚拟射线成像系统包括：光源面板、成像面板以及转盘；

所述光源面板以仿真的射线光源出射点为几何中心，以几何中心为原点建立光源的坐标系，以模拟射线成像过程；

所述光源面板和成像面板之间设置有铸件三维模型；所述铸件三维模型由多个三角面片组成，根据真实的待探测铸件结构搭建而成；

所述转盘设置在铸件三维模型底部，用于对三维模型进行旋转，以调整三维模型相对光源面板的角度；

所述成像面板用于对仿真射线穿透铸件三维模型后情况进行成像。

在一个可选的示例中，基于虚拟射线成像系统对铸件的三维模型进行射线仿真成像，得到铸件的仿真探伤图像，具体为：

基于射线的出射方向和射线的传播距离确定射线与任意平面的交点；

将三维模型的每个三角面片内任意一点理解为沿着三角面片的两条边移动得到，并基于三角面片内任意一点在两条边方向的长度与两条边边长的比例、三角面片三个顶点的坐标确定三角面片上任意一点的坐标；

结合射线与任意平面交点和三角面片上任意一点的坐标确定每条射线与三维模型的多个交点，并根据每条射线与三维模型的多个交点信息确定射线穿透三维模型的厚度；

根据射线传播介质衰减原理和每条射线穿透三维模型的厚度确定每天射线穿透三维模型后的强度；

基于每条射线穿透三维模型后的强度得到铸件的仿真探伤图像。

在一个可选的示例中，所述射线与任意平面的交点P

在一个可选的示例中，设三角面片的三个顶点分别为A、B及C；则所述三角面片上任意一点的坐标P

P

其中，u为该点在AC方向上的长度与AC线段长度的比值，v为该点在 AB方向上的长度与AB线段长度的比值；V

当P

在一个可选的示例中，根据每条射线与三维模型的多个交点信息确定射线穿透三维模型的厚度，具体为：

根据三维模型的参数和射线与三角面片的交点信息确定射线与三维模型各个面的交点；

沿着射线出射方向对射线与三维模型各个面的交点进行奇偶数编号，奇数交点为射线入射到三维模型，偶数交点为射线从三维模型出射，根据奇偶数交点之间的坐标差确定射线穿透三维模型的厚度。

在一个可选的示例中，对仿真探伤图像和真实探伤图像进行对比之前，还包括如下步骤：

选用最小二乘法对仿真探伤图像上像素点的灰度信息进行拟合，以将仿真探伤图像和真实探伤图像匹配。

在一个可选的示例中，该方法还包括如下步骤：

基于对比求出的缺陷信息和铸件三维模型的参数反求缺陷在三维模型中的位置，并将缺陷在三维模型中显示出来，实现缺陷的三维直观化和可视化。

第二方面，本发明提供了一种基于三维模型和探伤图像的铸件缺陷检测系统，包括：

仿真探伤单元，用于基于虚拟射线成像系统对铸件的三维模型进行射线仿真成像，得到铸件的仿真探伤图像；

真实探伤单元，用于基于射线探伤系统对铸件进行射线成像，得到铸件的真实探伤图像；所述虚拟射线成像系统与射线探伤系统的成像参数相同，所述成像参数包括：铸件角度、射线角度及成像参数；

缺陷定位单元，用于对仿真探伤图像和真实探伤图像进行对比，确定铸件的缺陷信息；所述缺陷信息包括缺陷的形貌和位置；

缺陷分类单元，用于基于铸件的缺陷信息对缺陷进行分类。

在一个可选的示例中，所述仿真探伤单元所用到的虚拟射线成像系统包括：光源面板、成像面板以及转盘；所述光源面板以仿真的射线光源出射点为几何中心，以几何中心为原点建立光源的坐标系，以模拟射线成像过程；所述光源面板和成像面板之间设置有铸件三维模型；所述铸件三维模型由多个三角面片组成，根据真实的待探测铸件结构搭建而成；所述转盘设置在铸件三维模型底部，用于对三维模型进行旋转，以调整三维模型相对光源面板的角度；所述成像面板用于对仿真射线穿透铸件三维模型后情况进行成像。

第三方面，本发明提供了另一种基于三维模型和探伤图像的铸件缺陷检测系统，包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现如权利要求1-7任一项所述的方法。

第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述第一方面提供的方法。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

本发明提供一种基于三维模型和探伤图像的铸件缺陷检测方法及系统，区别于之前的计算机深度学习目标检测的算法，使用无缺陷的仿真探伤图像和实际的探伤图像进行对比找到其差异区域，与目标检测算法形成对照和互补。本发明改变了以往通过工艺专家试验寻优的模式，减少了生产成本，提高了铸件生产效率。本发明通过无缺陷仿真探伤图像与真实铸件探伤图像的对比法能很好的对图像中铸件结构和铸件缺陷的区域进行区分，不易将铸件结构纳入误检的范围，对于后续无论是人工还是计算机检测，大大提高了铸件缺陷检测的准确率。本发明通过虚拟射线成像系统，一定程度上指导了探伤仪器拍摄参数的设置，并将最后的结果反求于铸件模型之上，为工艺的优化提供了帮助。

附图说明

图1是本发明实施例提供的基于三维模型和探伤图像的铸件缺陷检测方法流程图；

图2a是本发明实施例提供的虚拟射线成像系统模型示意图；

图2b是本发明实施例提供的射线穿过铸件三维模型三角面片的示意图；

图2c是本发明实施例提供的铸件三维模型上的三角面片示意图；

图2d是本发明实施例提供的三角面片上任意一点的示意图；

图3是本发明实施例提供的实行铸件缺陷检测功能的应用流程图；

图4是本发明实施例提供的仿真图像和实际探伤图像的对比图；

图5是本发明实施例提供的对铸件缺陷标定的效果图；

图6是本发明实施例提供的基于三维模型和探伤图像的铸件缺陷检测系统架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

针对铸件缺陷标定问题，本发明的目的在于提供一种基于三维模型和探伤图像的铸件缺陷检测方法及系统。铸件产品在设计均有三维模型数据，其数据对应了一个无缺陷的铸件的空间信息，本发明从对无缺陷的三维模型数据入手，生成对该铸件的仿真探伤图像，再以此依据与铸件实际的探伤图像进行对比，获得实际生产生活中铸件的缺陷的位置信息，且对于铸件缺陷与铸件结构重叠情况的区分有着很好的效果，为解决计算机自动标定铸件缺陷位置不够准确的问题提供了新的思路和参考。

为解决以上问题，本发明采用以下技术方案：

1、构建基于多维信息的虚拟射线成像系统，模拟射线照射铸件在成像板上成像的过程，基于铸件的三维模型制作仿真探伤图像。

2、基于虚拟射线成像系统提供的位置和照射参数信息，找到更加适合铸件的角度和成像参数，指导射线探伤系统对铸件进行拍摄和成像，得到与第一步中同一照射角度和参数的铸件探伤图像。

3、根据仿真探伤图像可以构建灰度拟合曲线，将仿真图像和真实图像自动匹配，使两者的灰度值成像算法达到一致，减少两者之间的差距。

4、基于仿真图像和真实图像，使用对比检测的方法暴露出真实图像中缺陷的位置，获得缺陷区域的轮廓和位置信息。

5、根据缺陷区域的形貌特征和灰度差值信息，对缺陷的类别进行区分，达到缺陷检测的目的。

6、通过虚拟光源系统和缺陷的位置信息反求铸件缺陷的三维定位。

图1为本发明实施例提供的基于三维模型和探伤图像的铸件缺陷检测方法流程图，如图1所示，包括如下步骤：

S101，基于虚拟射线成像系统对铸件的三维模型进行射线仿真成像，得到铸件的仿真探伤图像；

S102，基于射线探伤系统对铸件进行射线成像，得到铸件的真实探伤图像；所述虚拟射线成像系统与射线探伤系统的成像参数相同，所述成像参数包括：铸件角度、射线角度及成像参数；

S103，对仿真探伤图像和真实探伤图像进行对比，确定铸件的缺陷信息；所述缺陷信息包括缺陷的形貌和位置；

S104，基于铸件的缺陷信息对缺陷进行分类。

需要说明的是，铸件三维模型为无缺陷的铸件模型。

可选地，虚拟射线成像系统包括：光源面板、成像面板以及转盘；

光源面板以仿真的射线光源出射点为几何中心，以几何中心为原点建立光源的坐标系，以模拟射线成像过程；

光源面板和成像面板之间设置有铸件三维模型；所述铸件三维模型由多个三角面片组成，根据真实的待探测铸件结构搭建而成；

转盘设置在铸件三维模型底部，用于对三维模型进行旋转，以调整三维模型相对光源面板的角度；

成像面板用于对仿真射线穿透铸件三维模型后情况进行成像。

在一个具体实施例中，本发明步骤具体描述如下：

1、构建虚拟射线成像系统，如图2a所示，结合生产车间的实际铸件探伤仪器模型，分别建立以光源为核心的笛卡尔坐标系O

2、在虚拟成像系统中模拟出射线由成像面板发出，根据射线的参数方程，如图2b所示，射线与任意一平面的交点P

P

其中，起点坐标为O(位于光源面板上)，方向为D(即光源面板的法向量)，将射线与由三角面片(.stl)组成的三维模型求交，即对三维模型的每一个三角面片求交。如图2c所示，三角形内任意一点都可以理解为从顶点A开始，沿着边AB移动一段距离，然后再沿着边AC移动一段距离，然后他们的和向量即为点A到该点的向量。其中，铸件三维模型为STL格式文件，STL格式文件由多个三角形面片的定义组成，每个三角形面片的定义包括三角形各个定点的三维坐标及三角形面片的法矢量。

则空间中三角形上任意一点P

P

其中，如图2d所示，u，v分别是点在AC方向上的距离与AC线段长度的比和点在AB方向上的距离与AB线段长度的比，V

根据X射线传播介质衰减原理，对于铸件这类单介质物体，有：

I＝I

其中，I

3、对模拟探伤图像上的灰度信息进行采样，制作灰度直方图，此为x 轴。提取实际探伤仪器获得的图像的灰度直方图，在实际探伤图像上相同位置的灰度数据列为y轴数据，同一x值可能会在不同y值上产生较多的点，剔除离大部分y值较远的点，可避免缺陷对曲线拟合的影响。选用最小二乘法对模拟探伤图像上的像素点的灰度信息进行拟合，可得到高度仿真的对三维模型生成的无缺陷探伤图像。对不同的仪器，不同的处理模式，此方法均有效。

4、将仿真探伤图像和实际探伤图像进行中值滤波进行3×3像素窗口的预处理操作，去除图像上的噪点，对两张图像使用subtract函数进行灰度值相减操作，对相减后的图像，使用全局二值化threshold函数，设置阈值(10， 255)，形成灰度值相减后的二值化图像，使用canny函数获取二值化图像上缺陷区域进行标定，对应实际探伤图像的位置，即获得铸件上缺陷的位置。

5、基于获取到的铸件缺陷区域的轮廓将缺陷分类并编号，如：雾状，团状(即标定结果中多个区域相隔5像素以内)，且缺陷区域灰度值低于实际探伤图像，即定为缩孔缩松，并将多个缺陷区域合并成为单独一个缩孔缩松缺陷。

可以理解的是，铸件缺陷的分类可以借助各种分类网络或者人工分类，本发明对此不作任何限定，本领域技术人员可根据实际需要进行选择。

在一个示例中，以缺陷轮廓中两像素的最长和最短边之比作为评判依据，比值大于4，且灰度值低于实际探伤图像的定为裂纹，灰度值高于实际探伤图像的定为偏析，比值低于4且灰度值高于实际探伤图像的定为高密度夹杂。灰度值低于实际探伤图像的再做区分。

确定缺陷轮廓的形心坐标。取缺陷轮廓的最小外接圆和最大内接圆，将两者面积的平均数与缺陷面积相比，比值为k，若k>＝2或k<＝0.5，则判定缺陷类型为低密度夹杂，否则则判定缺陷为气孔。

其他类型缺陷分类方式可参见现有技术，本发明不再做赘述。

以上处理和操作将识别到的缺陷区域自动分类，完成对铸件探伤图像的缺陷检测工作。

6、根据所求得的二维图像上缺陷区域的位置，以及铸件、光源、成像板的位置信息，获得缺陷区域所对应的射线的参数方程，并将此部分参数方程于铸件的三维模型上再次求交，对所得区域于铸件的三维模型上以不同颜色渲染，以提示缺陷存在的可能位置，并可在三维模型的预览窗口中旋转查看。

图4是本发明实施例提供的仿真图像和实际探伤图像的对比图；其中， (a)-(d)分别为三维模型局部图、仪器生成的铸件真实探伤图像、图像增强后的真实探伤图片以及本发明生成的仿真探伤图像；由图4知，本发明能够生成铸件仿真探伤图像，且仿真探伤图像与真实探伤图像具有很高的匹配度，可见本发明方案具备较强的可实施性。

图5是本发明实施例提供的对铸件缺陷标定的效果图，其中，(a)-(d)分别为完整零件三维模型示意图、“缺陷”位置示意图、在三维模型上模拟的探伤图像以及缺陷标定结果图；由图5可知，本发明使用灰度值相减方法可以有效识别铸件上的缺陷。

本发明构建融合模拟射线源照射的位置信息(与铸件的角度与距离)、铸件的角度信息、成像板位置信息、模拟光源强度等参数的虚拟射线成像系统，开展模拟X射线探伤装备生成仿真图像研究，突破了现有模拟成像难以量化三者(射线源、铸件、成像板)相对位置关系的局限；基于虚拟光源成像系统及三维模型结构形貌特征输出成像位置信息，开展X射线探伤装备成像参数自动录入研究，突破了根据成像视觉效果人工调参成像质量不稳定的局限。

本发明构建灰度拟合曲线进行灰度校正，开展仿真图像与真实图像自动匹配研究，突破现有仿真图像成像理想化脱离实际的局限；基于三维铸件模型生成的仿真探伤图像与实际探伤图像，开展缺陷自动检测定位研究，突破了现有深度学习自动检测仅根据数据集提取缺陷形貌特征，而导致形似缺陷的铸件本体与缺陷难以区分的局限。

本发明基于仿真图像与探伤图像的灰度差值，缺陷区域的形貌特征，开展铸件缺陷自动分类研究，突破了现有缺陷分类方法仅考虑真实探伤图像易受铸件本体结构灰度值干扰的局限。基于虚拟光源成像系统和缺陷位置信息，开展三维铸件缺陷自动定位研究，突破了现有探伤二维图像缺陷难以定位于三维铸件上的局限。

图6是本发明实施例提供的基于三维模型和探伤图像的铸件缺陷检测系统架构图，如图6所示，包括：

仿真探伤单元610，用于基于虚拟射线成像系统对铸件的三维模型进行射线仿真成像，得到铸件的仿真探伤图像；

真实探伤单元620，用于基于射线探伤系统对铸件进行射线成像，得到铸件的真实探伤图像；所述虚拟射线成像系统与射线探伤系统的成像参数相同，所述成像参数包括：铸件角度、射线角度及成像参数；

缺陷定位单元630，用于对仿真探伤图像和真实探伤图像进行对比，确定铸件的缺陷信息；所述缺陷信息包括缺陷的形貌和位置；

缺陷分类单元640，用于基于铸件的缺陷信息对缺陷进行分类。

可以理解的是，上述各个单元的详细功能实现可参见前述方法实施例中的介绍，在此不做赘述。

另外，本发明实施例提供了另一种铸件缺陷检测系统，其包括：存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于当执行所述计算机程序时，实现上述实施例中的方法。

此外，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述实施例中的方法。

基于上述实施例中的方法，本发明实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。

基于上述实施例中的方法，本发明实施例还提供了一种芯片，包括一个或多个处理器以及接口电路。可选的，芯片还可以包含总线。其中：

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字通信器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤。通用处理器可以是微处理器或者该理器也可以是任何常规的处理器等。

接口电路可以用于数据、指令或者信息的发送或者接收，处理器可以利用接口电路接收的数据、指令或者其它信息，进行加工，可以将加工完成信息通过接口电路发送出去。

可选的，芯片还包括存储器，存储器可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(NVRAM)。

可选的，存储器存储了可执行软件模块或者数据结构，处理器可以通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。

可选的，接口电路可用于输出处理器的执行结果。

需要说明的，处理器、接口电路各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。

应理解，上述方法实施例的各步骤可以通过处理器中的硬件形式的逻辑电路或者软件形式的指令完成。

可以理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。此外，在一些可能的实现方式中，上述实施例中的各步骤可以根据实际情况选择性执行，可以部分执行，也可以全部执行，此处不做限定。

可以理解的是，本申请的实施例中的处理器可以是中央处理单元(cen tralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit， ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件，硬件部件或者其任意组合。通用处理器可以是微处理器，也可以是任何常规的处理器。

本申请的实施例中的方法步骤可以通过硬件的方式来实现，也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于随机存取存储器(random access memory，RAM)、闪存、只读存储器(read-only memory，ROM)、可编程只读存储器(programmable rom， PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)、寄存器、硬盘、移动硬盘、 CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk， SSD))等。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。