基于数字孪生的混凝土3D打印成形质量检测方法及装置

技术领域

本发明属于混凝土3D打印相关技术领域，更具体地，涉及一种基于数字孪生的混凝土3D打印成形质量检测方法及装置。

背景技术

随着增材制造技术的发展，3D打印已开始应用在建筑行业，混凝土3D打印成为目前智能建造领域的热点研究方向，通过结合人工智能、计算机科学、机械、自动化和土木等多学科知识，具有不需要模板、成形速度快、施工精度高和可建造复杂非线性建筑结构的特点。

在打印过程中，在线获取结构的打印状态并检测打印结构的几何缺陷，从而及时修正打印工艺参数和进度安排，能有效提升混凝土3D打印结构的质量。然而，目前的检测装置和方法都是在打印场景周围布置相机和传感器，通过分析收集到的数据来检测和计算打印误差，并显示在固定的计算机终端上，因此亟需设计一种可以实时显示打印过程和误差的方法和便携装置。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于数字孪生的混凝土3D打印成形质量检测方法及装置，可以实现打印构建的数字孪生模型，进而可以与打印预设模型进行实时比对，实现及时矫正。

为实现上述目的，按照本发明的一个方面，提供了一种基于数字孪生的混凝土3D打印成形质量检测方法，所述方法包括：S1：固定TOF深度相机和RGB相机两者的位置，并进行标定获取TOF深度相机和RGB相机的内外参数；S2：不断的移动所述TOF深度相机和RGB相机获取不同位置视角下打印结构的深度点云数据和关键帧图像，对所述深度点云数据和关键帧图像进行增量式SfM处理获取全局三维结构的点云数据；S3：通过相邻两帧的关键帧图像获取相机位姿，基于所述相机位姿、全局三维结构的点云数据以及相机的内外参数采用OpenMVS技术进行稠密重建获得3D打印的点云网格模型，对所述点云网格模型进行后处理得到打印过程中的包含三维重建虚拟模型的数字孪生场景；S4：将打印结构的STL模型导入所述数字孪生场景中并计算STL模型和三维重建虚拟模型的几何误差，基于所述几何误差对打印过程进行调整。

优选地，步骤S4中采用Diffusion Model对三维重建虚拟模型进行语义分割，识别并提取三维重建虚拟模型的层间特征和全局轮廓，进而与所述STL模型中对应特征进行比较获得两者的几何误差。

优选地，所述几何误差Q的计算公式为：

其中，n

优选地，步骤S2还包括对所述全局三维结构的点云数据进行时刻更新，具体方法为：对后一时刻的相邻两关键帧的关键点进行匹配计算当前时刻的相机的实时位姿，同时记录当前相机位姿下新的点云数据，将所述新的深度点云数据融入上一时刻的全局三维结构的点云数据获得更新的全局三维结构的点云数据，其中，所述关键帧通过每隔固定帧数选择一个关键帧的方式进行生成。

优选地，步骤S2中新的深度点云数据融入上一时刻的全局三维结构的点云数据之前还包括对所述新的深度点云数据进行配准和直通滤波处理，以去除冗余的点云数据。

优选地，步骤S1中采用张正友标定法进行标定。

本申请另一方面提供了一种实现上述基于数字孪生的混凝土3D打印成形质量检测方法的装置，所述装置包括：视频显示模块，用于可视化显示数字孪生场景和STL模型；图像采集模块，包括所述TOF深度相机、RGB相机和照明装置；计算机处理模块，用于执行以上步骤S1～S3；算法封装模块，用于执行以上步骤S4；通讯模块，用于与外部设备进行信息交互。

优选地，所述装置为可穿戴头盔。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的一种基于数字孪生的混凝土3D打印成形质量检测方法及装置主要具有以下有益效果：

1.本申请通过将深度相机采集的深度点云数据和关键帧图像进行结合采用增量式SfM构建全局三维结构的点云数据进行获得包含三维重构虚拟模型的数字孪生场景，将该三维重构虚拟模型与STL模型进行比对即可直观看出打印误差进而可以及时进行纠正。

2.本申请的几何误差考虑了一维的打印层高误差、二维的打印层积误差和三维的打印几何体积误差，更加全面具体，为混凝土的打印质量检测的评断提供重要参考。

3.本申请将数字孪生技术与混凝土3D打印技术相结合，基于三维重建的虚拟模型，添加打印进度、打印时间、打印速度、打印误差等信息，构建混凝土3D打印结构的数字孪生模型，并直接呈现在使用者的视野中，使用者可以直观的了解打印结构的质量好坏。

4.本申请将混凝土3D打印的质量检测装置集成化、微型化、轻量化为一个可穿戴式头盔，便于移动和携带，能够应用于复杂或者极端施工环境中。

附图说明

图1是本申请基于数字孪生的混凝土3D打印成形质量检测方法的步骤图；

图2是实现本申请图1中方法的可穿戴头盔的结构示意图；

图3是本申请3D打印的场景图；

图4中的a是现实打印的结构，b是基于数字孪生的混凝土3D打印成形质量检测装置显示界面示意图。

在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：

1—视频显示模块；2—图像采集模块；3—计算机处理模块；4—通信模块；5—照明装置。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种基于数字孪生的混凝土3D打印成形质量检测方法，如图1所示，该方法包括以下步骤S1～S4。

S1：固定TOF深度相机和RGB相机两者的位置，并进行标定获取TOF深度相机和RGB相机的内外参数。

具体方法为将棋盘标定板放置在打印原点，在多角度、不同距离下采用TOF深度相机和RGB相机拍摄边长一直的棋盘格标定板，优选采用张正友标定法，通过检测多个图像中的棋盘格角点，计算TOF深度相机和RGB相机的内外参数矩阵和畸变系数，获取世界坐标系到图像坐标系的对应关系。

S2：不断的移动所述TOF深度相机和RGB相机获取不同位置视角下打印结构的深度点云数据和关键帧图像，对所述深度点云数据和关键帧图像进行增量式SfM处理获取全局三维结构的点云数据。

完成相机的标定工作后，即可开始混凝土3D打印工作，并进行混凝土3D打印结构的三维重建。不断的移动TOF深度相机和RGB相机获取不同位置视角下打印结构的深度点云数据和关键帧图像，对所述深度点云数据和关键帧图像进行增量式SfM处理获取全局三维结构的点云数据。

该步骤需要对全局三维结构的点云数据进行时刻更新，具体方法为：

对后一时刻的相邻两关键帧的关键点进行匹配获得当前时刻的相机的实时位姿，根据获取的位姿获得新的深度点云数据，将所述新的深度点云数据融入上一时刻的全局三维结构的点云数据获得更新的全局三维结构的点云数据，其中，所述关键帧通过每隔固定帧数选择一个关键帧的方式进行生成。

进一步优选的方案中，步骤S2中新的深度点云数据融入上一时刻的全局三维结构的点云数据之前还包括对所述新的深度点云数据进行配准和直通滤波处理，去除图像的噪声和差异过大的点，以去除冗余的点云数据。

S3：通过相邻两帧的关键帧图像获取相机位姿，基于所述相机位姿、全局三维结构的点云数据以及相机的内外参数采用OpenMVS技术进行稠密重建获得3D打印的点云网格模型，对所述点云网格模型进行后处理得到打印过程中的包含三维重建虚拟模型的数字孪生场景。

对点云网格模型进行纹理贴图，形成3D打印结构的表面色彩及纹理，即可得到打印过程中的包含三维重建虚拟模型的数字孪生场景。

S4：将打印结构的STL模型导入所述数字孪生场景中并计算STL模型和三维重建虚拟模型的几何误差，基于所述几何误差对打印过程进行调整。

将打印结构的STL模型导入到基于增强现实的数字孪生场景，获取STL模型的面、顶点和边界信息，比较导入的STL模型和三维重建虚拟模型，计算混凝土打印结构的几何误差，并实时显示在穿戴式智能检测装置的可视化界面上，根据打印的几何误差大小调整打印参数和施工进度。

该步骤中优选采用Diffusion Model对三维重建虚拟模型进行语义分割，识别并提取三维重建虚拟模型的层间特征和全局轮廓，进而与所述STL模型中对应特征进行比较获得两者的几何误差。

所述几何误差Q的计算公式为：

其中，n

本申请另一方面提供了一种实现上述基于数字孪生的混凝土3D打印成形质量检测方法的装置，如图2所示，该装置优选为可穿戴头盔，所述装置包括视频显示模块1、图像采集模块2、计算机处理模块3、算法封装模块以及通讯模块4。

视频显示模块1用于可视化显示数字孪生场景和STL模型，对应头盔前方的AR眼镜，能够将操作系统的软件界面以全息影像的方式投影到使用者的视野范围内。

图像采集模块2包括所述TOF深度相机、RGB相机和照明装置5。TOF深度相机可以获取打印场景的深度信息，RGB相机能打印场景的视频数据和图像数据，两者可组合形成类似RGB-D相机系统，照明装置能提供明亮的光源，使收集的图像和视频信息更加清晰。

计算机处理模块3用于执行以上步骤S1～S3，对应头盔内部的计算机处理系统，包括硬件系统和软件系统。

算法封装模块，用于执行以上步骤S4，包括用于混凝土3D打印结构的三维重建和对重建前后的结构的特征提取、误差检测的视觉分析算法执行程序。

通讯模块4用于与外部设备进行信息交互，用于与其他计算机系统和混凝土3D打印装置建立通讯连接。

该可穿戴头盔的工作方法流程如下：

首先，在使用机械臂进行混凝土3D打印工作前，对可穿戴式智能检测装置的相机进行标定。将棋盘格标定板放置在打印原点，在多角度、不同距离下佩戴质量检测装置拍摄边长已知的棋盘格标定板，采用张定友标定法，通过检测多个图像中的棋盘格角点，计算相机的内外参数矩阵和畸变系数，获取世界坐标系到图像坐标系的对应关系。

接着，机械臂运行打印路径代码，如图3所示，开始进行3D打印工作，在进行打印过程时，使用者穿戴检测装置正向面对打印的混凝土结构，隔一段时间绕着混凝土3D打印结构移动一圈，获取不同位置视角下的点云数据，进行增量式处理，同时系统不断计算相机的实时位姿，并将每一帧深度数据对应位姿信息进行计算，同时通过不断配准和滤波处理，去除全局冗余的点云数据，在移动的过程中，不断刷新全局三维结构的点云数据。

然后，获取到深度重建的点云数据、关键帧图像的相机位姿和外参数据以及通过标定获得的内参数据后，基于OpenMVS框架进行稠密重建，通过两阶段点云融合和后处理过程，获取精确的混凝土打印结构的三维重建虚拟模型，得到打印过程中的数字孪生场景，如图4中的a和b所示，包括实时更新的打印进度、打印时间、打印速度等信息。

最后，将打印结构的STL模型导入到基于增强现实的数字孪生场景，获取STL模型的面、顶点和边界信息，比较导入的STL模型和三维重建虚拟模型，计算混凝土打印结构的几何误差，并实时显示在穿戴式智能检测装置的可视化界面上，使用者可以根据打印的几何误差大小调整打印参数和施工进度。

综上所述，本发明所提出的3D打印成形质量可穿戴式智能检测装置是一个集成化、微型化、轻量化的装置，便于移动和携带，所提出的智能检测工作方法能够应用到各类复杂的混凝土3D打印场景中，让使用者更直观的了解当前的混凝土3D打印工作状态。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。