基于合成模拟器和桥联神经网络的拱桥点云分割方法

技术领域

本发明涉及三维点云分割技术领域，具体涉及一种基于合成模拟器和桥联神经网络的拱桥点云分割方法。

背景技术

欧洲大约60％的铁路桥梁是用砖石建造的。这些桥梁建于19世纪和20世纪初，至今仍在铁路网中发挥着重要作用。在英国，大约有18000座运营的砌体铁路桥。这些桥梁材料老化，交通需求不断增加。因此，有必要定期检查和评估其安全性。这些活动需要详细了解结构的几何形状。然而，砖石拱桥往往无法获得施工图纸。

激光扫描是一种高效的非接触技术，可利用点云捕捉大型土木工程基础设施的现场三维几何结构。获得的点云可以通过提供有关桥梁几何结构的信息来帮助评估，例如曲率半径和拱的母线方向，这些信息在现场很难测量。点云组件的参数和非参数形状拟合方法可用于自动识别此类几何参数。

点云还可用于检查结构部件中的几何变形和缺陷。Ye等人开发了算法，用理想的3D圆柱体和2D平面拟合分段拱门和桥墩点云，以揭示过去沉降引起的几何变形。其他研究使用表面法向量、粗糙度和颜色中的不规则性来识别和分类缺陷，如裂纹和材料损失。另外，点云已用于量化结构缺陷的大小和跟踪随时间发生的变形。

之前的这些研究表明，点云有助于评估、检查和监测砌石拱桥。然而，典型点云的大尺寸通常需要大量时间来对组成组件进行语义和实例分割。为了认识到激光扫描在结构工程实践中的潜力，有必要开发可供执业工程师和资产管理人员使用的自动分割算法。

文献中采用的语义和实例分割方法大致可以分为三类，即基于特征的方法、机器学习方法和深度学习方法。基于特征的方法将基础设施组件视为根据理想拓扑结构组织的原始形状。然后根据这些假设进行分割。机器学习方法包括无监督方法，该方法对具有相似几何特征的点进行聚类，然后是对聚类点进行分类的监督学习方法。虽然这些方法可以实现显著的分割精度，但这些算法是针对具有手工制作的几何特征的特定拓扑而设计的，很难推广到其他情况。相比之下，基于深度学习的分割技术不需要事先定义特征，因为它们可以通过神经网络进行潜在学习。DL以前在遗产建筑分割和桥点云中的应用证明了其相对于已建立的机器学习方法的竞争力。

使用DL技术分割砖石拱桥点云有两个重大障碍：(i)缺乏足够大的标记点云数据集，这通常是实现良好分割精度所必需的；(ii)缺乏神经网络，无法对大规模点云进行有效的语义分割。

为了应对挑战(i)，自主驾驶领域的研究人员使用从激光雷达模拟器获得的合成数据来扩充真实数据集。与仅在真实数据集上训练神经网络相比，混合(真实+合成)训练数据集可以显著提高性能。在基础设施领域，Ma等人和Morbidoni等人使用合成数据训练网络，并展示其解决数据稀缺问题的潜力。

最近使用基于点的DL架构的研究工作表明，在应对挑战方面有一些希望(ii)。体素和基于图形的神经网络内存效率低下，因为原始点云被转换为其他数据表示。相反，基于点的方法可以将原始点云作为直接输入。然而，由于局部特征提取器的复杂设计，诸如PointNet++等开创性的基于点的体系结构占用大量内存，不适合大规模点云。最近提出的RandLA Net通过采用轻量级架构，可以在数百万个点上实时执行语义分割。然而，这种网络在分割任务中表现出较差的性能，这需要神经网络知道复杂的局部特征。FG Net采用特征压缩机制来减少内存消耗，同时设法保留局部信息。因此，FG网络在公共数据集形状网络上优于其他语义分割神经网络。为了解决DL框架内的实例分割问题，提出了相似矩阵和自顶向下的层次结构。然而，这些方法需要大量计算，不适用于大规模点云。

发明内容

本发明的目的在于提供一种基于合成模拟器和桥联神经网络的拱桥点云分割方法，先创建一个合成数据集来训练桥联网络，随后在真实点云上测试了BridgeNet，以实现先进的性能，证明合成训练数据的效用和新网络设计的优势。然后，通过使用基于随机样本一致性的算法来表征关键几何参数，用原始形状拟合分段部件，以协助评估和检查。

为了达到上述目的，在本发明提供如下的技术方案：

一种基于合成模拟器和桥联神经网络的拱桥点云分割方法，其包括如下步骤：

步骤1、将输入点云输入到1×1卷积层，提取每个点的特征表示；

步骤2、通过四个残差特征编码器层来学习不同分辨率下的局部特征；

步骤3、随机采样应用于比例为4的下采样点云，实现大规模点云的时间效率；

步骤4、下采样率采用PointNet++，每一步保留25％的点；

步骤5、下采样特征被发送到全局特征提取器，全局特征提取器根据FG Net进行修改，增强全局逐点关系；

步骤6、使用最近插值方法，使用四个解码器层将点数缩放回输入点云输入；

步骤7、四个解码器层的输出特征通过共享的多层感知器传递，然后通过丢弃层来缓解过度拟合；

步骤8、使用1×1卷积层学习语义标签。

进一步地，所述输入点云具有维度(N，3)，其中N表示点编号，3表示x、y、z坐标。

进一步地，所述全局特征提取器包括局部特征聚合模块。

进一步地，所述局部特征聚合模块包括四个组件；

所述组件包括特征分组和下采样、几何分组和特征平衡、局部卷积和选择性注意。

进一步地，对于属于所述点云P的所有点，首先通过1×1卷积将特征从C

进一步地，所述几何分组和特征平衡的具体步骤为应用相对点位置编码来明确提供几何特征，帮助网络实现更好的性能，通过在特征分组和下采样模块中降阶特征向量来补偿丢失的信息，通过从10到C

进一步地，所述局部卷积的具体步骤为将特征分组、下采样、几何分组和特征平衡层中的分组特征串联起来后，

进一步地，所述选择性注意的具体步骤为应用自注意机制来增加

其中

进一步地，所述全局特征提取在FG网络的烧蚀测试中被证明是有效的。

本发明的有益技术效果至少在于以下几点：

(1)本发明提供的基于合成模拟器和桥联神经网络的大型砖石拱桥点云分割，将点云分割成其组成部分，以提取关键的几何参数，提出了一种三维深度学习神经网络，可以自动进行分割；

(2)本发明为了解决标记点云数据的稀缺性，创建了一个合成数据集来训练桥联网络。随后在真实点云上测试了BridgeNet，并实现了最先进的性能，证明了合成训练数据的效用和新网络设计的优势；

(3)本发明在真实点云上测试了BridgeNet，并实现了最先进的性能，证明了合成训练数据的效用和新网络设计的优势。然后，通过使用基于随机样本一致性的算法来表征关键几何参数，用原始形状拟合分段部件，以协助评估和检查。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明实施例基于自动分割砌体拱桥点云以进行几何参数化示意图。

图2为本发明实施例BridgeNet概述示意图。

图3为本发明实施例剩余特征编码(剩余FE)层中的模块图。

图4为本发明实施例全局特征提取器的图形示意图。

图5为本发明实施例真实点云处理的图形表示示意图。

图6为本发明实施例测试数据集中七座砖石桥的真实点云示意图。

图7为本发明实施例从原始几何到完整桥梁的分层合成桥梁的生成示意图。

图8为本发明实施例英国Stanway大桥桥墩孔示例图。

图9为本发明实施例定义桥台的几何参数俯视图。

图10为本发明实施例用于在合成数据中定义翼墙的几何参数示意图。

图11为本发明实施例合成桥梁模型中的数据截断示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

实施例

如图1所示，本发明提供的基于合成模拟器和桥联神经网络的拱桥点云分割方法，其包括如下步骤：

步骤1、将输入点云输入到1×1卷积层，提取每个点的特征表示；

步骤2、通过四个残差特征编码器层来学习不同分辨率下的局部特征；

步骤3、随机采样应用于比例为4的下采样点云，实现大规模点云的时间效率；

步骤4、下采样率采用PointNet++，每一步保留25％的点；

步骤5、下采样特征被发送到全局特征提取器，全局特征提取器根据FG Net进行修改，增强全局逐点关系；

步骤6、使用最近插值方法，使用四个解码器层将点数缩放回输入点云输入；

步骤7、四个解码器层的输出特征通过共享的多层感知器传递，然后通过丢弃层来缓解过度拟合；

步骤8、使用1×1卷积层学习语义标签。

如图2所示，BridgeNet的架构采用了流行的编码器-解码器结构，以有效地提取不同分辨率的点云特征。我们的神经网络的输入大小为N×Cinput，其中N是点数，Cinput是输入通道大小；Cinput＝3，因为我们只提供原始x、y和z点坐标作为输入。

该输入首先发送到1×1卷积层，以提取每个点的特征表示。

然后通过四个残差特征编码器(残差FE)层来学习不同分辨率下的局部特征。

我们将随机采样(RS)应用于比例为4的下采样点云，以实现大规模点云的时间效率。下采样率采用PointNet++，每一步保留25％的点。RS优于更常用的最远点采样，因为它可以防止过度拟合。

下采样特征被发送到全局特征提取器，该提取器进行了修改，以增强全局逐点关系。通过使用最近插值方法，使用四个解码器层将点数缩放回原始输入。对于解码器中的每个上采样层，插值特征与橙色箭头所示的相应编码层特征串联。这是为了增强特征模式的表示。

然后，解码器的输出特征通过共享的多层感知器(MLP)传递，然后通过丢弃层来缓解过度拟合。测试了三种不同的下降率(0.2、0.5和0.8)，其中0.5的测试精度略优于0.2，而0.8则会导致拟合不足。因此，使用了0.5的下降率，与其他神经网络(如RandLA网络)一致。

最后，使用1×1卷积层学习语义标签。

输入点云具有维度(N，3)，其中N是点编号，3表示x、y、z坐标。特征由包含四个残差特征编码器(残差FE)层的编码器提取，并在每个残差FE层后使用RS进行下采样。然后使用全局特征提取器关联成对全局关系。最后，解码器使用内极和卷积层将点云采样回原始点大小，以提供维度(N，ncls)的输出，其中ncls表示语义标签。

剩余特征编码器

该模块包含四个基本组件：

特征分组和下采样，(2)几何分组和特征平衡，(3)局部卷积和(4)选择性注意，解释如下：

(1)特征分组和下采样：设pi为点云P内给定点的x、y和z坐标，其中

对于属于点云P的所有点，首先通过1×1卷积将特征从C

图3剩余特征编码(剩余FE)层中的模块。为了节省特征分组和下采样模块的内存，在应用ball查询之前，对学习到的潜在特征进行下采样。几何分组和特征平衡明确编码和平衡特征维度中的分组几何特征。

(2)几何分组和特征平衡：应用相对点位置编码来明确提供几何特征，以帮助网络实现更好的性能。该过程还通过在特征分组和下采样模块中降阶特征向量来补偿丢失的信息。通过从10到C

(3)局部卷积：与FG网络不同，将特征分组、下采样、几何分组和特征平衡层中的分组特征串联起来后，

(4)选择性注意：应用自注意机制来增加

其中

全局特征提取在FG网络的烧蚀测试中被证明是有效的。我们的网络也采用了相同的结构，以利用和增强密切相关点的关系。如图4所示，编码器层的输入特征

全局成对点关系由归一化注意矩阵学习和表示。

数据集由真实组件和合成组件组成，分别用于测试和训练目的。

真实数据集包括来自英国的七座多跨砌体拱桥的点云。在分割之前，需要对这些点云进行预处理，以删除合成数据集未建模的部分，例如桥梁周围的地面和环境。一些桥梁构件，如女儿墙，不受关注，也被拆除。也删除了未用于详细分析的扫描不良区域。最后，手动将桥梁构件分为5类，即拱肩墙、桥墩和桥台、拱门、孔(仅在Marsh Lane高架桥中)和翼墙(仅在Stapleton Road高架桥中)。图5演示了该过程。真实数据集包含7座砌体铁路桥的点云，如图6所示。Marsh Lane和Stapleton Road高架桥数据没有颜色信息，因此在图6中用黑点可视化。每个点被归类为以下5个类别之一的成员：包括预处理(例如，去除不相关的环境和组件)和手动分割。

拱肩墙：桥梁上部结构的两个侧面称为拱肩墙。下部拱肩墙边界定义在拱“弹簧”处桥墩顶部。此类中的点在图5中以蓝色显示。

桥墩和桥台：桥墩是桥梁上部结构下方的立柱。它们可以是锥形的(参见图6中的Digswell高架桥)，并且由于轨道曲率，也可以具有非矩形形状(参见Marsh Lane和Chelmsford高架桥)。带有锥形桥墩的桥梁列于表1中。桥台位于桥梁末端。它们与桥墩具有相似的几何特征，因此属于同一类别。桥墩和桥台在图5中以绿色显示。

拱门：拱门以红点显示，其形状通常可以近似于部分圆柱体。椭圆拱门存在。本研究仅考虑方跨。

孔：桥墩上存在孔，以尽量减少材料的使用。这些孔沿桥梁纵向穿过桥墩，通常与桥墩的垂直中心线对称。这些孔洞仅存在于Marsh Lane高架桥的扫描中，如图6所示。

翼墙：翼墙附着在桥台的侧面。如图6所示，斯台普顿路高架桥的翼墙一侧为三角形，另一侧为五边形。根据路堤的局部地形，翼墙的形状变化很大。

表1总结了每座桥梁的基本几何信息和等级。表一表示真实点云数据集的特征：

合成数据集旨在近似两种类型的实际砌石拱桥的几何特性：直桥和曲桥(见表1)。开发了一种自下而上的方法，通过从两个原始形状组装整个桥梁来自动生成合成桥梁几何体。如图7所示，(1)级别1中的两个基本形状是四边形和部分圆柱体；(2)四个子组件，即跨度、桥台、桥墩和翼墙，然后从原始几何体的组合中导出；(3)通过基于桥梁拓扑迭代生成这些组件，可以生成不同的三维砌体桥梁。然后随机破坏以这种方式生成的无噪合成点云，以模拟实践中常见的几何畸变和激光扫描误差。

由于第1级和第3级(图7)中涉及的数学运算已建立，以下各节将讨论子部件数据的定义、用于指定部件尺寸的参数范围以及由此产生的几何图形的损坏。

组件生成器：跨度、桥墩、桥台和翼墙子组件的三维图纸如图7的标高2所示。

跨度部件：跨度部件可以视为一个拱面和两个拱肩墙面的组合。拱由分段圆柱体表示，其范围由最小和最大圆角定义。可以通过首先生成四边形，然后过滤拱下的部分来定义拱肩墙。

桥墩组件：桥墩组件包括连接相邻跨度的上部结构的一部分。其定义方式与在跨距子部件中相同，但无需过滤。桥墩下部由四个四边形表面组成。两个表面与拱肩墙共面，其他两个表面相对于地面具有锥角α。桥墩有时具有一个孔，可以通过过滤桥墩内部与夹在矩形棱柱中的两个部分圆柱体相交的区域来构建。

桥台子部件：桥台子部件可以由稍微修改的桥墩子部件表示。

翼墙部件：翼墙部件具有多种形状。为简单起见，本研究采用三维直角梯形表示翼墙。由于与土壤接触的后表面不可见，因此只有前、顶和外侧表面由四边形生成。

桥参数定义：用于描述铁路圬工拱桥的参数范围参考了在意大利[58]和英国[59]收集的统计数据。由于可用信息有限，一些参数必须根据经验确定。根据图7，定义了参数来描述四个子组件：

(1)跨距子部件：假设跨距数在5到20之间。俯视图和前视图显示了定义每个跨距子部件的参数。参数包括跨度净长度lspan、桥梁宽度wspan、拱高s和填土深度hfillu。合成电桥生成器使用跨度lspan长度的指定范围，并根据比率相应地确定s和hfill_深度。所有值均在指定参数范围内均匀采样。假设单线铁路桥的宽度在3.5m到5m之间，双线桥的宽度在7m到10m之间。两种情况中的任何一种都有50％的可能性被抽样。

(2)桥墩组件：需要参数来描述整体桥墩几何形状以及孔的位置和尺寸。规定了桥墩的厚度tpier、高度hpier和宽度wpier。孔顶至桥墩htop上边界的垂直距离、相应的底距hbottom、锥角α、孔宽度m、孔s1和s2的上下拱的高度是用于确定孔几何形状的参数。根据示例桥梁经验对其进行了定义(见图8)。

(3)桥台组件：为了几何一致性，假设桥台宽度与wspan相同。文献中也未定义桥台的长度。因此，根据经验定义了高度和长度。桥台长度的范围由[0.2*lspan，0.5*lspan]定义，该范围比桥墩厚，因为它负责将荷载分散到支撑土上。桥台高度定义在0.3*hpier到hpier的范围内(见图9)。

(4)翼墙：4个翼墙附着在桥台的侧面。假设这些是三维梯形。从图10中可以看出，需要确定上线hupper的长度、下线hlower、翼墙缠绕的厚度和翼墙hwing的高度。由于翼墙几何形状的信息有限，合成模拟器中使用的参数范围基于作者的经验。hupper从均匀分布中采样，范围为[2m，4m]，hlower为[4m，8m]。hwing从0.3*(hpier+hspan)到(hpier+hspan)采样。翼墙和桥台侧面之间的角度从[-60°,60°].缠绕定义为在0.25m到0.75m的范围内。

数据损坏和截断：几何不规则在砌石拱桥中很常见。跨度可能具有不同的长度，由于地形原因，桥墩顶部高程可能在整个桥梁上有所不同，并且由于支架沉降，桥墩和孔可能具有扭曲的几何形状。为了模拟这些方面，需要随机化子组件的几何特性。例如，根据第一行，为桥梁指定的跨度长度将在该范围内均匀变化[-0.2m，0.2m]。

由于测量误差和遮挡，点云中出现测量缺陷。通过将标准偏差为0.005m的零均值高斯噪声分布添加到所有x、y和z坐标，可以简单地近似激光扫描测量噪声。真实点云中的遮挡是特定于具体情况的，如果没有扫描几何体和周围环境的详细模型，则无法捕捉。为了近似捕获由于遮挡而可能出现的不完整信息，执行了数据截断。如图11a中的平面图所示，从两端截断合成点云。左右部分的截断比不超过桥梁长度的50％。由于测试数据集中使用的Marsh Lane高架桥包含截断孔，一些桥墩也被截断，如图11b所示。这涉及首先设置从均匀分布中采样的阈值，范围为[0.15*hpier，0.5*hpier]，然后过滤出z坐标低于阈值的点。

图11第一个示例(a)显示了桥梁的平面图，其点云从两侧截断(见锯齿形红线)，而第二个示例(b)显示了桥墩的侧视图，其沿其高度截断。

综上所述，本专利提出了基于合成模拟器和桥联神经网络的拱桥点云分割方法，将点云分割成其组成部分，以提取关键的几何参数。为了提高效率，提出了三维深度学习神经网络，可以自动进行分割。为了解决标记点云数据的稀缺性，创建了一个合成数据集来训练桥联网络。随后在真实点云上测试，并实现了最先进的性能，证明了合成训练数据的效用和新网络设计的优势。然后，通过使用基于随机样本一致性的算法来表征关键几何参数，用原始形状拟合分段部件，以协助评估和检查。

尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。