一种基于深度特征融合的索膜结构数字孪生模型重构方法

技术领域

本发明涉及索膜建筑结构健康监测和人工智能三维点云技术领域，具体涉及一种基于深度特征融合的索膜结构数字孪生模型重构方法。

背景技术

膜结构是20世纪中后期出现的新型轻质柔性空间结构体系，具有跨度大、自重轻、造型艺术设计多样、环保节能、力学性能好、自洁能力强、工期短且经济性佳等诸多优点，长期以来得到设计建设人员与高校研究学者的关注与青睐。国内索膜结构的研究始于20世纪90年代后期，过去近30年来，研究人员围绕膜结构的材料性能、计算理论、计算软件开发、设计方法、结构体系创新与应用、施工成形方法等进行了一系列的研究，取得了很多成果。但索膜结构设计理论与建造技术的飞速发展应用相比，在役索膜空间结构的检测、检查、评估、鉴定技术相对落后，难以为此类工程结构的安全运营提供长期有效的技术保障。

如今，基于数字孪生技术实现在虚拟数字空间和真实物理空间二者之间形态与性能的精准模拟与映射，已经成为建筑结构健康监测和预测维护的热点研究方法。而数字孪生落地应用的首要任务是创建应用对象的准确数字孪生体重构模型，此外，精确的建筑结构孪生模型已经成为了整个结构在役期间结构承载力、安全性以及维修评估必不可少的工具。而对索膜空间结构进行安全性检测及评估鉴定关键在于建立符合真实服役索膜结构空间形态的精确实体结构逆向建模的数字孪生模型，以便开展荷载效应评估和安全检测。

但当前国内索膜空间结构的设计和建设中存在一个普遍的问题：索膜空间结构建造和结构设计存在脱节，导致索膜空间结构建造过程中施工误差累积严重。此外，在役阶段的索膜结构由于外在环境荷载等原因发生环境侵蚀、材料老化、荷载疲劳效应、突发事件过载效应等，导致索膜结构产生损伤积累和抗力衰减从而显著影响索膜结构的空间结构形态。因此，对于实体索膜空间结构进行结构性能分析与安全检测评价时，索膜结构理论设计模型已经难以反映真实空间形态，基于理论设计模型开展的数字化仿真结果与实际索膜空间结构存在较大差异，难以构建高保真模型，无法实现“虚实相映”。因此，有必要对实体索膜空间结构进行精细化重构模型，用以实现索膜结构的数字孪生监测与安全检测。

目前对于建筑结构外形检测往往通过肉眼观测、传统尺量和激光全站仪进行测量，不仅效率低，而且工作量大、成本高和覆盖面小，无法满足实体索膜空间结构的外形检测精度要求。此外，传统使用的BIM逆向建模软件无法较好对索膜空间结构的异型曲面进行建模。对于三维点云数据对目标结构进行建模时，需要对点云数据进行配准，传统对其处理的方法主要为ICP及其改进算法，但该类方法涉及较多经验参数选择，操作繁琐且难以通用。

发明内容

针对上述存在的技术不足，本发明的目的是提供一种基于深度特征融合的索膜结构数字孪生模型重构方法，其提出使用具有高精度、高分辨率特点的三维激光扫描仪以非接触的方式采集索膜空间结构的三维点云数据。采用深度学习三维点云配准RPMNet网络架构对采集的索膜空间结构三维点云模型智能配准，该算法具有端到端的特点，需要人工计算涉及的特征参数和迭代均由神经网络迭代计算完成。此外，利用GeomagicStudio软件实现对索膜空间结构配准点云模型进行数字模型重构，进一步，利用GeomagicControl软件对索膜空间结构数字模型重构和理论计算模型进行三维计量和检测。从而构建实体索膜空间结构精细化重构模型，为索膜空间结构的数字孪生监测与安全检测提供保障。

为解决上述技术问题，本发明采用如下技术方案：

本发明提供一种基于深度特征融合的索膜结构数字孪生模型重构方法，包括以下步骤：

步骤1：勘察实体索膜空间结构，布置三维激光扫描仪采集站点，并依次采集索膜空间结构三维点云数据；

步骤2：对索膜空间结构三维点云进行预处理并构建数据集；

步骤3：对RPMNet网络架构进行改进，将空间注意力机制方法应用于RPMNet网络架构的点云特征提取层；

步骤4：基于改进RPMNet网络模型对索膜空间结构三维点云进行训练并完成精细化配准；

步骤5：基于索膜空间结构三维配准点云进行精细化模型重构；

步骤6：对索膜空间结构精细化模型重构与理论设计模型二者进行偏差分析。

优选地，步骤1中，对索膜空间结构的张拉膜面与支撑构件进行采集时需要围绕索膜结构环状一圈并且每间隔20°-30°角度分批次对索膜空间结构进行三维点云扫描。

优选地，步骤1中，对索膜结构进行采集扫描时需要全程让设备保持水平固定放置，不能发生晃动或移动，保证采集到的索膜空间结构点云数据形状大小完全一样，只是坐标位置不同，避免扫描采集得到的点云数据间出现非刚性变换，影响深度学习改进RPMNet模型对点云数据进行刚性变换配准效果。

优选地，步骤2中预处理并构建数据集的方法为：

步骤21：利用三维点云处理软件对索膜空间结构的张拉膜面与支撑构件三维点云数据的噪声点进行手动删除，包括非观测索膜结构目标点云、结构材料反射不佳噪声点云和检测环境中移动目标噪声点云；

步骤22：利用三维点云处理软件对处理后的索膜空间结构的张拉膜面与支撑构件点云数据进行二次采样，在保留原有采集特征的基础上，降低初始采集文本的数据量，从而降低改进RPMNet模型计算量，加快模型训练收敛速度；

对数据预处理完成的索膜空间结构不同角度的三维点云数据分别保存为包含点云三维坐标位置信息(x,y,z)、三维法向量信息(N

步骤23：基于预处理后的索膜结构张拉膜面与支撑构件点云数据构建索膜结构三维点云配准数据集，并按照9：1分配比例将数据集划分为训练集和测试集。

优选地，步骤3中，RPMNet点云配准模型中特征提取层采用PointNet++特征提取模块；通过引入SAM注意力模块对RPMNet点云配准模型中的特征提取层进行改进，采用多角度池化的方法生成自适应的注意力权重以产生点云数据中局部点云空间特征的空间注意力，实现自适应的集成局部点特征，强化该网络架构在应用来自局部空间区域的逐点信息来加强特征之间的连接，实现对索膜空间结构三维点云数据的精确配准。

优选地，引入SAM注意力模块对RPMNet点云配准模型中的特征提取层进行改进的方法为：在PointNet网络结构通过引入最大池化操作将点云映射高维特征所有通道上只保留最大值，从而得到通道为1的点云高维特征，进一步引入SAM注意力模块对前期获得的通道为1的点云高维特征分别使用并行的最大池化和平均池化对点云输入通道特征进行特征融合，从而生成两种通道特征表述；利用卷积进行权重训练，并使用共享参数的MLP对聚合特征的通道特征维度进行训练，用以生成注意力权重；然后使用激活函数激活权重，并与原始通道为1的点云高维特征进行点积从而生成新的通道为1的点云高维特征。

优选地，步骤4中，基于索膜空间结构三维点云数据训练集对改进RPMNet网络模型进行训练，得到索膜空间结构的三维点云配准预训练模型，进一步输入需要配准的索膜空间结构两站点云完成精细化点云配准。

优选地，步骤5中，将处理好的膜结构点云模型导入Geomagic Studio软件，手动删除非连接点和体外孤点后进行封装操作，查看封装好的模型并进行快速平滑处理、剔除边缘毛刺点，将Geomagic Studio软件重构的索膜空间结构模型导出为.stl格式文件。

优选地，步骤6中，将索膜空间结构重构模型.stl文件和理论设计模型.dwg文件分别导入Geomagic Control软件同一坐标系内，分析实体索膜空间结构与理论设计模型间的形状偏差，并对基于理论设计模型的索膜空间结构进行修正，从而构建实体索膜空间结构精细化重构模型。

本发明的有益效果在于：

(1)本发明针对索膜空间结构三维点云配准问题提出了将SAM空间注意力机制嵌入NPMNet网络架构的特征提取层，能够实现对局部点云提取显著空间特征，从而增强了点云特征的语义信息，实现对索膜空间结构三维点云数据的精确配准；

(2)通过改进RPMNet深度学习模型架构能够实现对三维点云数据端到端精确配准，与传统人工尺量、全站仪测量手段相比，可以节省大量人力、物力和财力，提高了实体索膜空间结构数字孪生模型重构效率；

(3)通过基于精确配准的索膜空间结构三维点云模型、Geomagic Studio和Geomagic Control软件模型重构和三维监测，可以实现高效、准确的获得实体索膜结构的空间几何尺寸，利用模型重构方法创建精准实体模型，通过与理论计算模型进行比对，实现对实体索膜空间结构与理论设计模型二者的偏差分析；

(4)本发明首次将三维激光扫描点云、改进深度学习特征融合RPMNet网络模型、Geomagic Studio逆向建模和Geomagic Control三维检测技术相结合，具有高效、低成本和覆盖面广的特点，对索膜空间结构具有较好的适用性，可广泛应用于工程实践。

(5)本发明提出的基于深度学习特征融合的索膜空间结构数字孪生模型重构方法对实体索膜空间结构全寿命周期模型重构均可适用，创新性地为实现实体索膜空间结构全寿命健康监测与检测提供模型重构基础。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于深度特征融合的索膜结构数字孪生模型重构方法的流程示意图；

图2为本发明实施例提供的基于NPMNet模型添加SAM注意力机制的网络模型架构；

图3为本发明实施例提供的基于局部点云空间维度特征的SAM注意力机制的模型架构；

图4为本发明实施例提供的基于深度学习特征融合的索膜空间结构数字孪生模型重构方法实际效果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对实际施工中误差积累及服役期间持续外在环境荷载对索膜空间结构形态影响而导致索膜结构理论设计模型已经难以反映真实空间形态，无法实现实体结构性能分析和安全检测评价问题，本实施例提供一种基于深度特征融合的索膜结构数字孪生模型重构方法，具体步骤包括：

步骤1：勘察实体索膜空间结构，布置三维激光扫描仪采集站点，并依次采集索膜空间结构三维点云数据；

步骤2：对索膜空间结构三维点云进行预处理并构建数据集；

步骤3：对RPMNet网络架构进行改进，将空间注意力机制方法应用于RPMNet网络架构的点云特征提取层；

步骤4：基于改进RPMNet网络模型对索膜空间结构三维点云进行精细化配准；

步骤5：基于索膜空间结构三维配准点云进行精细化模型重构；

步骤6：对索膜空间结构精细化模型重构与理论设计模型二者进行偏差分析。

本发明实现对索膜空间结构三维点云数据精确配准，完成对实体索膜结构空间形态的高保真数字孪生模型重构，进一步为实现索膜空间结构的数字孪生“虚实相映”监测与安全检测高保真模型提供基础。此外，本发明将三维激光扫描点云、深度学习模型、Geomagic Studio逆向建模和Geomagic Control三维检测技术相结合，具有高效、低成本和覆盖面广的特点，对索膜空间结构具有较好的适用性，可广泛应用于工程实践。

如图1，为本发明实施例提供的一种基于深度特征融合的索膜结构数字孪生模型重构方法的流程图。

所述勘察实体索膜空间结构，布置三维激光扫描仪采集点具体实施过程为：

在实际工程应用的索膜空间结构一般具有跨度大、造型艺术设计多样特点，呈现出不规则的形状，对其进行三维扫描仪设备对索膜空间结构的张拉膜面与支撑构件(钢框架、钢柱或钢索等)进行采集时会因为视角、遮挡问题无法一次扫描获得完整的结构信息，因此需要围绕索膜结构环状一圈并且每间隔一定角度分批次对索膜空间结构进行三维点云扫描。进一步的，利用三维扫描仪设备对索膜结构进行采集扫描时需要全程让设备保持水平固定放置，不能发生晃动或移动，保证采集到的索膜空间结构点云数据形状大小完全一样，只是坐标位置不同，避免扫描采集得到的点云数据间出现非刚性变换，影响深度学习改进RPMNet模型对点云数据进行刚性变换配准效果。

具体的，勘察实验室的伞形张拉膜结构，围绕伞形膜结构支撑框架一圈并且每间隔约20°角位置布设徕卡三维激光扫描仪设备测量站点，利用徕卡三维激光扫描仪对伞形张拉膜结构分批次进行三维点云扫描，扫描完毕后分别导出伞形膜结构的三维点云.txt文本，共计18个.txt文本。

对索膜空间结构三维点云进行预处理并构建数据集具体实施过程为：

步骤1：利用三维点云处理软件对索膜空间结构的张拉膜面与支撑构件(钢框架、钢柱或钢索等)三维点云数据的噪声点进行手动删除，主要包括非观测索膜结构目标点云(如树、地面和其他建筑物等)、结构材料反射不佳噪声点云和检测环境中移动目标(如行人、车辆等)等其他噪声点云；

具体的，基于CloudCompare软件对徕卡三维激光扫描仪采集的伞形张拉膜结构三维点云数据噪声点进行手动删除，因为测量环境是在实验室环境，存在的噪声点云主要为地面、其他建筑物等；

步骤2：利用三维点云处理软件对处理后的索膜空间结构的张拉膜面与支撑构件点云数据进行二次采样，在保留原有采集特征的基础上，降低初始采集文本的数据量，从而降低改进RPMNet模型计算量，加快模型训练收敛速度。对数据预处理完成的索膜空间结构不同角度的三维点云数据分别保存为包含点云三维坐标位置信息(x,y,z)、三维法向量信息(N

具体的，利用CloudCompare软件对去噪后伞形膜结构膜面点云进行二次采样，采样距离设置为0.0015，二次采样后显示膜面点云文本数据量由300多万降为9万多。对预处理后的伞形膜结构膜面点云数据分别保存包含点云三维坐标位置信息(x,y,z)、三维法向量信息(N

步骤3：基于预处理后的索膜结构张拉膜面与支撑构件点云数据构建索膜结构三维点云配准数据集，并按照一定分配比例将数据集划分为训练集和测试集。

具体的，基于预处理后的伞形张拉膜结构的膜面点云数据构建伞形张拉膜结构三维点云配准数据集，按照训练集：测试集为9：1进行划分。

所述的对RPMNet网络架构进行改进，将空间注意力机制方法应用于RPMNet网络架构的点云特征提取层具体实施过程为：

RPMNet点云配准模型中特征提取层主要是采用PointNet++特征提取模块，而PointNet++网络对局部特征提取效果还有待提升。如图2所示，通过引入SAM注意力模块对RPMNet点云配准模型中的特征提取层进行改进，采用多角度池化的方法生成自适应的注意力权重以产生点云数据中局部点云空间特征的空间注意力，实现自适应的集成局部点特征，强化该网络架构在应用来自局部空间区域的逐点信息来加强特征之间的连接，实现对索膜空间结构三维点云数据的精确配准。

所述的对RPMNet网络架构进行改进，引入SAM注意力模块对RPMNet点云配准模型中的特征提取层进行改进，具体实施过程为：

如图3所示，在PointNet网络结构通过引入最大池化操作将点云映射高维特征所有通道上只保留最大值，从而得到通道为1的点云高维特征，进一步引入SAM注意力模块对前期获得的通道为1的点云高维特征分别使用并行的最大池化和平均池化对点云输入通道特征进行特征融合，从而生成两种通道特征表述。利用卷积进行权重训练，并使用共享参数的MLP对聚合特征的通道特征维度进行训练，用以生成注意力权重。然后使用激活函数激活权重，并与原始通道为1的点云高维特征进行点积从而生成新的通道为1的点云高维特征。

所述基于改进RPMNet网络模型对索膜空间结构三维点云进行训练并完成精细化配准，具体实施过程为：

基于索膜空间结构三维点云数据训练集对改进RPMNet网络模型进行训练，得到索膜空间结构的三维点云配准预训练模型，进一步输入需要配准的索膜空间结构两站点云完成精细化点云配准。

所述基于索膜空间结构三维配准点云进行精细化模型重构，具体实施过程为：

如图4所示，将处理好的膜结构点云模型导入Geomagic Studio软件，手动删除非连接点和体外孤点后进行封装操作，查看封装好的模型并进行快速平滑处理、剔除边缘毛刺点，将Geomagic Studio软件重构的索膜空间结构模型导出为.stl格式文件；

所述的对索膜空间结构精细化模型重构与理论设计模型二者进行偏差分析，具体实施过程为：

如图4所示，将索膜空间结构重构模型.stl文件和理论设计模型.dwg文件分别导入Geomagic Control软件同一坐标系内，分析实体索膜空间结构与理论设计模型间的形状偏差，并对基于理论设计模型的索膜空间结构进行修正，从而构建实体索膜空间结构精细化重构模型。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。