一种结构病害检测方法及装置

技术领域

本发明涉及结构病害检测领域，特别涉及一种结构病害检测方法及装置。

背景技术

现有技术方案虽然也实现了病害的检测，但是，目前仅仅是进行病害信息的识别，不能进行病害空间分布的检测，致使工程管理人员不能依据病害信息准确的进行结构养护的决策。

发明内容

本发明提供了一种结构病害检测方法及装置，以解决如何针对结构的具体位置进行病害空间分布的检测的问题，以达到方便工程管理人员准确的做出对于结构养护的决策的目的。

为了达到上述目的，本发明提供了一种结构病害检测方法，包括：

获取对目标结构采集的多张图像；

根据所述多张图像，生成针对所述目标结构的三维点云模型；

根据不同病害特征对应的图像滤波算法，筛选目标结构的三维点云模型的病害特征，结合病害特征及所述三维点云模型的空间信息建立病害三维空间表达；

利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息；

根据所述多个图片，训练病害检测模型；

将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息。

可选地，在所述根据所述多张图像，生成针对所述目标结构的三维点云模型之后，还包括：

根据所述目标结构的三维点云模型的关键几何特征，生成所述目标结构的建筑信息模型BIM；

对BIM各个区域进行构件实体化，设置GUID信息；

将标注GUID信息的BIM反向映射回三维点云模型，将三维点云模型各点素赋予GUID信息。

可选地，所述对BIM各个区域进行构件实体化，设置GUID信息，包括：

将BIM进行缩放、投影处理；

根据进行缩放、投影处理后的BIM与二维平面资料进行对比的结果，对BIM各个区域进行构件实体化，赋予GUID信息。

可选地，所述病害分布信息包括目标病害标识，在所述将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息之后，还包括以下一项：

在所述BIM中，确定目标病害标识对应的GUID信息是否存在目标病害标识；若不存在，则创建所述目标病害标识对应的GUID信息与所述目标病害标识之间对应的映射关系；

在所述BIM中，若确定所述目标病害标识对应的GUID信息对应的病害标识中存在除所述目标病害标识以外的其它病害标识，则利用所述目标病害标识更新所述目标病害标识对应的GUID信息对应的病害标识。

可选地，在所述根据所述多张图像，生成针对所述目标结构的三维点云模型之后，还包括：

根据所述三维点云模型，生成模拟无人机航线，获取模拟镜头轨迹参数以及模拟镜头视角参数，建立无人机航线和模拟镜头视角参数与视角下GUID分布的映射关系。

本发明的又一实施例提供了一种结构病害检测装置，包括：

第一获取模块，用于获取对目标结构采集的多张图像；

第一生成模块，用于根据所述多张图像，生成针对所述目标结构的三维点云模型；

第一建立模块，用于根据不同病害特征对应的图像滤波算法，筛选目标结构的三维点云模型的病害特征，结合病害特征及所述三维点云模型的空间信息建立病害三维空间表达；

第二建立模块，用于利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息；

训练模块，用于根据所述多个图片，训练病害检测模型；

第二获取模块，用于将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息。

本发明的又一实施例提供了一种结构病害检测装置，包括收发机和处理器；

所述处理器，用于：获取对目标结构采集的多张图像；

根据所述多张图像，生成针对所述目标结构的三维点云模型；

根据不同病害特征对应的图像滤波算法，筛选目标结构的三维点云模型的病害特征，结合病害特征及所述三维点云模型的空间信息建立病害三维空间表达；

利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息；

根据所述多个图片，训练病害检测模型；

将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息。

本发明的又一实施例提供了一种结构病害检测装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的结构病害检测方法的步骤。

本发明的又一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时，实现上述的结构病害检测方法的步骤。

本发明的上述技术方案至少有如下有益效果：

本发明实施例的结构病害检测方法，通过根据不同病害特征对应的图像滤波算法，筛选病害特征，结合病害特征及三维点云模型的空间信息建立病害三维空间表达，利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息，根据所述多个图片，训练病害检测模型，将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同GUID下的病害分布信息，以此能够快速、精确的实现病害的定位，辅助用户快速了解结构物在构件层面、结构体系层面可能存在的问题，达到方便工程管理人员准确的做出对于结构养护的决策的目的。

附图说明

图1为本发明实施例提供的一种结构病害检测方法的流程示意图；

图2为本发明实施例提供的一种BIM建立及病害更新的流程示意图；

图3为本发明实施例提供的一种利用BIM建立方式创建的BIM示意图；

图4为图3中的BIM的横截面几何关键点特征示意图；

图5为本发明实施例提供的一种实例类继承关系示意图；

图6为本发明实施例提供的一种结构病害检测装置的模块示意图；

图7是本申请实施例的结构病害检测装置的结构图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

参见图1，本发明的一实施例提供了一种结构病害检测方法，包括以下步骤：

步骤11，获取对目标结构采集的多张图像；

需要说明的是，该目标结构例如可以是桥梁，也可以是公路，也可以是其它结构物。

需要说明的是，本申请实施例中所说的采集的多张图像，可以利用手机、相机或者平板电脑进行拍摄。优选的，也可以利用无人机进行拍摄，相比于手机、相机或者平板电脑等拍摄方式，无人机拍摄的图像角度可以更加全面。由于无人机的机动性强、灵活性高的特点，无人机可以拍摄到人员不便拍摄或者无法拍摄到的图像。

还需要说明的是，因多张图像需覆盖目标结构表面所有可能部位，并且所拍摄图像时间和距离间隔应保持较小，使拍摄照片之间重合度较小，也就是说，所述多张图像中的任一相邻两张图像之间的重合度应当小于或等于预设值，即任一相邻两张图像的重合度小于或等于预设值，预设值可以为5％或10％或者根据需求设定，以保证三维点云模型的生成质量。例如，在拍摄多张图像时，需要在3小时内拍摄完成，且每次拍摄当前图像时拍摄设备的第二位置与上一次拍摄图像时拍摄设备的第一位置的距离偏差应处于预设距离范围内，如此，可以保证对目标结构拍摄的多张图像是连贯性的。

步骤12，根据所述多张图像，生成针对所述目标结构的三维点云模型。

需要说明的是，在生成三维点云模型之后，还需要对三维点云模型进行数据清理工作，以清除无关的数据信息，例如周围场地、人流等环境信息，避免影响后续BIM以及病害检测模型的生成质量。

需要说明的是，本发明实施例中生成的三维点云模型可以作为结构管理信息库，可以基于该信息库生成不同类型、不同特征、不同关注点的样本信息，以实现病害检测模型的多元特征功能的集成。

步骤13，根据不同病害特征对应的图像滤波算法，筛选目标结构的三维点云模型的病害特征，结合病害特征及所述三维点云模型的空间信息建立病害三维空间表达；

需要说明的是，所采用的基于不同病害特征设计的图像滤波算法的基本原理是，首先记录步骤12中各个图像在所生成三维点云模型中的视角参数，其次将步骤12中的图像转换到CIELAB空间，通过建立基于不同病害特征的特征提取方法，将病害特征像素信息与背景信息剥离，然后针对不同特征的病害，建立不同的病害表达识别方法(比如对于混凝土裂缝，建立平面多段线段的表达式，对于混凝土麻面，建立近似平面圆形的表达式)，并基于所识别的病害特征像素信息通过Hough Transform算法识别边缘信息建立平面表达式，最后结合病害特征平面表达式以及视角参数，建立病害信息的三维空间表达，所述三维空间表达包括病害信息在三维点云模型中的尺寸、位置等信息。

步骤14，利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息；

需要说明的是，该模型视角是在生成三维点云模型之后，从不同角度观察该模型的视角。该目标视角可以包括左视角、右视角、仰视角和俯视角中的至少一项；可选地，所述目标视角，可以按照预设位置进行设定。可选地，所述目标视角的数量一般设置有多个。在每一目标视角下，均可以生成一个图片。

需要说明的是，本申请所说的病害可以理解为损坏情况或者安全隐患情况；该二维病害信息可以包括病害的病害类别以及病害空间坐标，可选地，病害类别可以理解为病害所属的种类，例如裂缝、虫蛀。

在一种示例中，可以沿三维点云模型四周固定位置范围内布置一系列的目标视角，基于目标视角，正视目标结构的三维点云模型局部画面，并跟踪目标视角参数化变化的过程，记录目标视角对应正视三维点云模型中点的几何空间位置，建立两者的映射关系目标视角参数化变化的过程可以理解为不同空间位置的目标视角的位置变化的过程。

步骤15，根据所述多个图片，训练病害检测模型；

需要说明的是，通过基于包含二维病害信息的图片进行病害检测模型的训练，最终可以训练得到能够用于后续病害检测的模型。

步骤16，将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息；

需要说明的是，巡检图像可以是在目标结构的病害检测模型完成之后，在预设时间段内的任一时间拍摄完成的，其中，该预设时间段的最大值例如可以为1个月、3个月或6个月。

需要说明的是，全局唯一标识符(GUID)信息，可以理解为对目标结构的某类结构部位(该结构部件是构成结构的最小传力单位)进行编号。例如，在目标结构为桥梁时，桥面和桥墩可以用不同的GUID表示，如此，在后续桥梁的某个部位发生病害时，则可以通过搜索GUID，快速的找到该部位，从而可以较为方便的将对应的病害添加至该部位。

需要说明的是，此种方式能够得到不同的GUID下具体有哪些病害信息，例如，该病害信息可以为病害类别以及病害空间坐标，可选地，病害类别可以理解为病害所属的种类，例如裂缝、虫蛀。

需要说明的是，通过基于GUID进行病害信息分布的确定，能够将病害检测与空间定位一体化，能够快速、精确的实现病害的定位，辅助用户快速了解结构在构件层面、结构体系层面可能存在的问题。

可选地，为了能够准确的获取不同GUID下的病害分布信息，需要对目标结构进行GUID的布置，具体的，在获取到目标结构的三维点云模型之后，本申请的实施例，还包括以下过程：

步骤21，根据所述目标结构的三维点云模型的关键几何特征，生成所述目标结构的建筑信息模型(BIM)；

需要说明的是，此过程是先需要提取目标结构的三维点云模型中的关键几何特征，然后根据所述关键几何特征，生成基于工业基础类(Industry Foundation Class，IFC)中性交换格式的目标结构的BIM。

具体地，该关键几何特征包括以下至少一项：所述目标结构的目标部位的关键点坐标、所述目标结构的宽度、所述目标结构的长度、所述目标结构的长宽向方向向量。

需要说明的是，该目标部位可以为构成目标结构的关键部位，例如，当目标结构为桥梁的情况下，该目标部位可以为桥梁节段、挡土墙(IfcRetainingWall)、箱梁(IfcBoxGirder)、桥墩(IfcPier)等；该关键几何特征信息例如可以是结构某个点的信息，也可以是目标结构某个局部的特征。例如，在目标结构为桥梁时，该关键几何特征信息可以包括桥梁节段外形关键点坐标、桥梁横向宽度、桥梁跨度以及桥梁纵横向方向向量。

示例的，根据所述关键几何特征，生成基于IFC中性交换格式的目标结构的BIM，包括：

利用关键几何特征，创建IFC文件关键字段；

根据所述IFC文件关键字段，建立IFC中性文件；

根据所述IFC中性文件，生成目标结构的BIM。

需要说明的是，IFC文件关键字段可以包括结构所包含的各部分(也可以称为部件)的名称。例如，若结构为桥梁时，关键字段可以为桥面、桥墩、桥身等。关键字段也可以是结构的病害类别或者具体的病害名称，此处不做限定。

步骤22，对BIM各个区域进行构件实体化，设置GUID信息；

需要说明的是，此步骤是基于BIM对目标结构进行区域划分得到多个GUID，并将GUID标注在BIM上。

可选地，本申请实施例中设置GUID信息的具体实现方式为：将BIM进行缩放、投影处理，根据进行缩放、投影处理后的BIM与二维平面资料进行对比的结果，对BIM各个区域进行构件实体化，赋予GUID信息。

步骤23，将标注GUID信息的BIM反向映射回三维点云模型，将三维点云模型各点素赋予GUID信息；

此过程是，基于设置GUID的BIM，在三维点云模型中进行GUID的标注，以此能够得到携带GUID信息的三维点云模型，也就是说，在利用该三维点云模型进行病害检测模型训练时，最终得到的也是携带GUID信息的病害检测模型。

可选地，病害检测模型可以依据巡检图像定期维护更新，即可以依据每次巡检得到的图像执行步骤11至步骤15得到新的病害检测模型，以实现对病害检测模型的更新。需要说明的是，该维护周期可为3周、1个月或3个月，也就是说，病害检测模型并不是一成不变的，而是定期训练，定期更新的。

需要说明的是，本申请实施例的上述实现方式，能够快速、精确的实现病害的定位，辅助用户快速了解结构在构件层面、结构体系层面可能存在的问题。

还需要说明的是，在获取到携带GUID信息的三维点云模型后，为了保证巡检图像视角与生成病害检测模型的视角一致，本申请实施例中还包括：根据所述三维点云模型，生成模拟无人机航线，获取模拟镜头轨迹参数以及模拟镜头视角参数，建立无人机航线和模拟镜头视角参数与视角下GUID分布的映射关系。

需要说明的是，通过利用三维点云模型模拟无人机航线，能够保证得到用于进行病害检测模型训练的图像是与无人机航线一致的，能够保证准确的识别巡检图像，提高病害检测的准确性。

可选地，需要说明的是，在得到病害分布信息(该病害分布信息中包括目标病害标识)之后，可以依据该病害分布信息对BIM模型进行更新，可选地实现方式包括以下一项：

A11、在所述BIM中，确定目标病害标识对应的GUID信息是否存在目标病害标识；若不存在，则创建所述目标病害标识对应的GUID信息与所述目标病害标识之间对应的映射关系；

例如，该目标病害标识对应的GUID信息为GUID1，在BIM中，已经存在该GUID1与病害标识1的映射关系，也存在该GUID1与病害标识2的映射关系。目标病害标识为病害标识3，由于不存在GUID1与病害标识3的映射关系，则可以创建病害标识3与GUID1的映射关系。

A12、在所述BIM中，若确定所述目标病害标识对应的GUID信息对应的病害标识中存在除所述目标病害标识以外的其它病害标识，则利用所述目标病害标识更新所述目标病害标识对应的GUID信息对应的病害标识；

例如，该目标病害标识对应的GUID信息为GUID1，在BIM中，已经存在该GUID1与病害标识1的映射关系，也存在该GUID1与病害标识2的映射关系。目标病害标识为病害标识2和病害标识3。可以将病害标识1替换为病害标识3，保留该GUID1与病害标识2的映射关系，这样BIM中包括GUID1与病害标识2的映射关系和GUID1与病害标识3的映射关系。

进一步还需要说明的是，在实际中，随着时间的延长或者周围环境的变化，结构可能会发生一些变化，原始BIM已无法准确反映出结构的状态。如此，利用原始BIM对结构进行管理，已无法满足要求。本申请实施例中还提供了一种BIM的更新方式，具体的，在每次进行病害检测模型的更新时也利用三维点云模型进行BIM的更新。

需要说明的是，实时获取的图像所反映出的目标结构的形态，相比于建造初始时目标结构的形态，距离当前时间更近，也就是说获取的图像更能反映出目标结构的当前真实状态。因此，基于获取的图像所生成的目标结构的三维点云模型，也更加能反映出目标结构的真实状态。

本发明实施例提供的BIM更新方式，由于基于多张图像生成的三维点云模型能够反映出目标结构的真实状态，通过在三维点云模型中提取几何特征信息，基于此几何特征信息生成的BIM，同样也能够反映目标结构的真实状态。通过建立能够反映目标结构真实状态的BIM，便于后续对目标结构进行管理。

基于IFC中性交换格式的BIM，也可以理解为BIM基于IFC中性交换格式生成。所述BIM基于IFC中性交换格式生成，可以实现数据的共享及交互。在目标结构的整个生命周期中，还可以提升数据交换的效率和质量。

示例的，在所述提取所述三维点云模型中关键几何特征之后，还包括：将所述关键几何特征与结构设计信息进行比对；若所述关键几何特征与所述结构设计信息中对应的信息的偏差大于预设偏差值，则重建所述关键几何特征对应的三维点云模型。此处，重建所述关键几何特征对应的三维点云模型，也可以理解为在三维点云模型中重建所述关键几何特征。

需要说明的是，结构设计信息可以是目标结构的原始BIM。通过将关键几何特征与结构设计信息进行比对，可以判断关键几何特征是否准确。只有在判断出关键几何特征准确的情况下，生成的BIM才可以准确的反映出目标结构的真实状态。

可选地，考虑到目标结构存在变形的情况，因此，在关键几何特征与结构设计信息中对应的信息的偏差只要小于或等于预设偏差值，则认为关键几何特征是准确的，无需对关键几何特征对应的三维点云模型进行重建。但是，当关键几何特征与结构设计信息中对应的信息的偏差大于预设偏差值时，则确定是构建三维点云模型过程中出现了偏差，因此需要对关键几何特征对应的三维点云模型进行重建。

基于三维点云模型生成的BIM，由于输入至三维点云模型中的多张图像是不断更新的，因此得到的BIM也是不断更新的，相比于初始BIM，更新后的BIM更能体现出结构可能随时间的推移产生的形变；并且，在基于病害检测模型获取到病害信息之后，在形态上进行更新的BIM上再更新病害信息，也可以使更新的目标病害信息的位置更加准确。

由上述介绍，在目标结构为桥梁，并且采用无人机进行桥梁图像拍摄时，可以看出本申请基于无人机生成桥梁项目的三维点云模型，通过以IFC标准为基础的数据接口生成三维实体模型(即BIM)作为管养基准模型。随后基于三维点云模型参数化生成合成图片作为基于元学习方法的深度神经网络结构的训练集，形成可端对端输出的无人机空间位置信息库。最终在实际的巡检过程中，通过将拍摄图片传输到服务器端识别出病害空间信息之后，进行病害分布的判别。并将病害特征信息集成处理，基于IFC中性交换格式添加病害关键字段，实现对桥梁BIM管养基准模型的病害更新；具体地，实现过程如图2所示。

具体包括以下步骤：

步骤201：获取桥梁的三维点云模型；

针对待巡检项目，制定无人机巡航规划，在规划路线上无人机按距离或者频率拍摄图像。利用泊松重建技术生成桥梁的三维点云模型。基于三维点云模型，按照桥梁关键节段提取几何特征关键信息，比如桥梁节段外形关键点坐标、桥梁横向宽度、桥梁跨度、桥梁纵横向方向向量等信息，将之与桥梁设计信息进行比对，对误差较大的部位进行照片补拍、模型局部重建、局部模型与整体模型的对准工作，也就是在三维点云模型中对误差较大的几何特征部分进行重建。

需要说明的是，以上所制定的无人机巡航规划路线需覆盖桥梁表面所有可能部位，同时所拍摄照片时间和距离间隔应保持较小，使拍摄图像之间重合度较小，以保证三维点云模型的生成质量。同时，需要对三维点云模型进行数据清理工作，以清除无关的数据信息，例如周围场地、人流等环境信息，影响后续三维BIM的生成质量。

步骤202：赋予三维点云模型病害特征信息；

基于IFC交换格式，在三维点云模型的基础上生成三维BIM，参照结构物的设计资料，通过将BIM缩放，投影与二维平面资料进行对比，自动对BIM各个区域进行构件实体化，赋予GUID信息，将带有GUID信息的BIM模型反向映射回三维点云模型，基于ICP算法将点云模型各点素赋予GUID信息；

需要说明的是，基于IFC交换格式对于几何表达的要求，采用SweptSolid(实体拉伸)方法，通过依次描述实体几何形状二维截面ExtrudedAreaSolid(拉伸界面)顶点的三维坐标，并沿路径方向ExtrudedDirection(拉伸方向)长度值ExtrudedLength(拉伸长度)拉伸或旋转得到三维实体。

具体到不同的桥梁项目，提取特定桥梁的三维点云模型中的桥梁节段外形关键点坐标作为ExtrudedAreaSolid(笛卡尔坐标点)顶点的三维坐标，对每一个三维坐标建立全局坐标系下的Cartesianpoint(笛卡尔点)，连接Cartesianpoint(笛卡尔点)形成Polyline(多线段)构成桥梁节段的横截面外形线形特征，以桥梁节段纵向方向向量作为路径方向ExtrudedDirection(拉伸方向)，单跨跨度为ExtrudedLength(拉伸长度)。由上至下，对应创建IFC文件关键字段，建立IFC中性文件。

以上说明仅针对桥梁模型几何特征的重建，掌握了此部分的参数化转换规则之后，其余标准性的桥梁模型信息，例如桥梁结构的修建时间、修建单位、桥梁节段的材料参数等可以直接以文本化的形式作为关键字段添加到IFC中性文件之中。最后基于综合生成的完整的IFC中性文件生成BIM。

可选地，在桥梁为箱梁时，通过提取几何特征得到的BIM如图3所示，箱梁BIM横截面的几何关键点特征如图4所示。每个关键点分别表示的x坐标和y坐标的值，该值的单位为毫米。

步骤S203：根据不同病害特征设计的图像滤波算法，筛选三维点云模型的病害特征，结合病害特征及所述三维点云模型的空间信息建立病害三维空间表达；

步骤S204：基于三维点云模型，生成模拟无人机航线，记录模拟镜头轨迹参数以及模拟镜头视角参数。建立无人机航线+视角参数与视野中GUID分布的映射关系；

也就是说，在给定模拟镜头的空间位置以及镜头参数的情况下，可以知道当前视角拍照所得到的照片中GUID分布的情况。

步骤S205：利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息；

需要说明的是，此过程是利用三维点云模型软件的应用程序编程接口(Application Programming Interface，API)接口并基于脚本语言沿模型四周固定参数范围内布置一系列模型视角。基于模型视角，正视桥梁三维点云模型局部画面，跟踪模型视角参数化变化的过程，记录视角对应正视三维点云模型中点的几何空间位置以及对应桥梁结构构件GUID信息，生成包含有以上信息的合成图片，最终在参数化的过程后得到合成图片训练集。

在以上步骤中，参数化布置的模型视角应尽量覆盖三维点云模型表面，保证合成图片训练建数据的完备性。另外要考虑到真实巡检过程中无人机与桥梁表面距离的变化，在设置模型视角时同样将此距离作为变化参数。对于标注信息，采用规格化的XML格式文件进行记录，方便后续卷积神经网络(Convolutional Neural Networks，CNN)结构的巡检。

步骤S206：基于步骤S205得到的图片训练集，训练病害检测模型；

需要说明的是，此过程首先基于树结构CNN(T-CNN)、VGG-A模型作为基线网络寻找一组适合元学习搜索空间和神经结构训练的超参数，例如学习率、批量大小。随后基于MetaQNN算法，使用基于强化学习的元建模过程(meta-modeling procedure)来自动化CNN结构搭建过程。MetaQNN算法首先搭建一个全新的Q-learning代理，学习如何发现性能好的CNN结构，发现过程先按顺序选择网络每层的参数，然后对搜索到的网络进行训练和测试，并将测试准确率作为回报(reward)，在学习过程中使用经验回放(experience replay)进行加速。

需要说明的是，训练病害检测模型主要包括两阶段数据训练，第一阶段训练指在初始学习率一定的情况下，数轮迭代保证训练集和验证集的损失(Loss)曲线同步下降，趋于收敛的训练阶段；为了进一步减小Loss；在第二阶段训练中加载第一阶段表现最佳的模型继续训练，通过学习率衰减的方式使得训练得到的模型在验证集上表现最好。最后进行超参调整优化，即在两阶段预训练的基础上，调整优化模型的超参，包括冻结层数、优化器、学习率、预测模型的最低分数(Score)阈值、输入尺寸等，通过计算在验证集上的平均精度均值(mAP)与运算时间，以此为标准比较其模型准确性与运行效率。

需要说明的是，基于三维点云模型参数化生成的合成图片训练集的CNN结构训练方法，可以避免传统深度神经网络结构样本需求量大、标注工作繁琐等缺陷，可通过不同空间参数的具备物理材质特征的、带有自动生成的标注信息的图片以保证CNN结构的综合性能。

步骤S207：在真实巡检任务，沿用步骤S204的模拟航线，基于步骤S204所生成的映射关系，得知真实巡航任务过程中视野范围内GUID的分布情况，再结合步骤S206的病害检测模型，了解视野中病害分布情况，从而可以得到不同GUID的病害分布情况。

步骤S208：在得到不同GUID的病害分布情况之后，可以基于该病害分布情况对步骤202中得到的BIM基于IFC中性交换格式进行病害的更新。

此步骤的主要实现包括以下过程：

步骤S2081:创建病害对应新类

基于IFC既定的继承关系，在IfcPropertyDefinition(属性定义)中创建桥梁病害对应子类。首先创建IfcPropertyDefect(病害属性)母类，子类继承自IfcPropertyDefect(病害属性)母类，具体病害的空间信息作为基本属性实例化于子类实体中。

对于此步骤，应根据待检桥梁实际情况针对性的设计桥梁病害母类下的子类，比如对于混凝土桥梁而言，其混凝土表观病害对于桥梁管养而言至关重要，因此可以建立IfcDefectConcreteCrack(混凝土裂缝病害)、IfcDefectConcreteSpalling(混凝土面层剥落病害)、IfcDefectConcreteErosion(混凝土风化病害)、IfcDefectConcreteExposedBars(混凝土钢筋外露病害)以及IfcDefectConcreteRusty(混凝土表面锈斑病害)。而对于钢桥，钢结构之间的有效连接以及钢材本身的强度性能是影响桥梁运营的关键因素，因此可以建立IfcDefectSteelConnectionFail(钢连接失效病害)、IfcDefectSteelCorrosion(钢材腐蚀病害),IfcDefectSteelFatigueDamage(钢材疲劳损伤病害)。

步骤S2082：创建面向对象的映射关系

针对IFC标准现有实体库扩充IFC类，使其能满足桥梁结构基本信息的表达，这类新创建的实体可创建继承自IfcBuildingElement(建筑构件)母类的关系。对IfcBuildingElement(建筑构件)与IfcPropertyDefect(病害属性)之间建立HasProperty(所属)的映射关系，使前者可以直接调用后者的信息。

现行IFC标准中很多关键字段多是针对建筑项目，但是其面向对象的本质可以使其基于根类(IfcRoot)创建子类，并以此扩充针对桥梁项目的语义性。比如桥梁特有结构：挡土墙(IfcRetainingWall)、箱梁(IfcBoxGirder)、桥墩(IfcPier)等。扩充了基于桥梁项目的语义性之后，就可以针对桥梁特定结构与其对应出现病害建立映射关系。可选地，参见图5，提供了一种实例类继承关系图。

步骤S2083:基于GUID的对象信息更新

基于CNN结构输出的信息，检索对应GUID的桥梁结构部位是否有病害信息，若已有病害信息，则在此基础上进行更新；若没有病害信息，则创建病害信息，并与桥梁结构创建映射关系。

需要说明的是，此过程中基于IFC中性交互格式的底层组合规律提出BIM的病害更新方式是基于病害特征信息实现BIM内相关关键部件、关键字段的准确定位，从底层而不是从表层实现BIM病害信息的更新。并且，该方法具备良好的工程适应性，能够直观的、端对端的在桥梁BIM上对桥梁病害特征信息进行更新，体现BIM项目管理的全生命周期价值，有效提高桥梁管养运维单位对在役桥梁的病害养护管理效率。

本发明提出的上述方法，还具有如下好处：

1)本发明的技术方法相较于现有技术方案，在工程项目上更具备适应性。本发明提出了一种通过大量参数化生成的、覆盖全结构的所有表面位置的合成图片以建立无人机巡检空间信息库的方法，支持在巡检过程中快速解析图片得到无人机拍摄照片的实时、准确的空间位置信息，以待后续病害位置信息的更新。

2)本发明的技术方案相较于现有技术方案，在病害更新、展示上更具有直观性。本发明的技术方案拟采用基于BIM的IFC中性交换格式的方法，直接对BIM病害关键字段进行更新。更新后的BIM可以以更统一、准确的方法存储病害信息，使用者可以通过对关键字段的操作影响BIM的最终表达，整个流程更能体现整个BIM的全生命周期价值。

3)本发明的技术方案相较于现有技术方案，能更好的控制误差。现有技术基于初始BIM对病害信息进行更新及展示，实际上对于一般的混凝土结构(例如，混凝土桥梁)而言，其由于混凝土徐变和结构刚度衰减等因素会有较大变形。将已变形结构的病害更新到未反映此变形的初始BIM上显然是不合理的，会在一定程度上引起误差。而如果为了消除此误差，将BIM进行针对性的更新则需要较多的资源投入。针对此不足，本发明的技术方案可以通过定期的无人机三维建模来反映结构在运营过程中产生的各类变形，并基于流程化的方式更新无人机空间位置信息库。

接下来，参见图6，为本发明实施例提供的一种结构病害检测装置，所述装置与上述方法基于相同的技术构思，能够起到相似的作用，在此不再赘述。

具体地，所述结构病害检测装置，包括：

第一获取模块601，用于获取对目标结构采集的多张图像；

第一生成模块602，用于根据所述多张图像，生成针对所述目标结构的三维点云模型；

第一建立模块603，用于根据不同病害特征对应的图像滤波算法，筛选目标结构的三维点云模型的病害特征，结合病害特征及所述三维点云模型的空间信息建立病害三维空间表达；

第二建立模块604，用于利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息；

训练模块605，用于根据所述多个图片，训练病害检测模型；

第二获取模块606，用于将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息。

可选地，在所述第一生成模块602根据所述多张图像，生成针对所述目标结构的三维点云模型之后，还包括：

第二生成模块，用于根据所述目标结构的三维点云模型的关键几何特征，生成所述目标结构的建筑信息模型BIM；

设置模块，用于对BIM各个区域进行构件实体化，设置GUID信息；

映射模块，用于将标注GUID信息的BIM反向映射回三维点云模型，将三维点云模型各点素赋予GUID信息。

可选地，所述设置模块，包括：

处理单元，用于将BIM进行缩放、投影处理；

设置单元，用于根据进行缩放、投影处理后的BIM与二维平面资料进行对比的结果，对BIM各个区域进行构件实体化，赋予GUID信息。

可选地，所述病害分布信息包括目标病害标识，在所述第二获取模块606将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息之后，还包括以下一项：

第一更新模块，用于在所述BIM中，确定目标病害标识对应的GUID信息是否存在目标病害标识；若不存在，则创建所述目标病害标识对应的GUID信息与所述目标病害标识之间对应的映射关系；

第二更新模块，用于在所述BIM中，若确定所述目标病害标识对应的GUID信息对应的病害标识中存在除所述目标病害标识以外的其它病害标识，则利用所述目标病害标识更新所述目标病害标识对应的GUID信息对应的病害标识。

可选地，在所述第一生成模块602根据所述多张图像，生成针对所述目标结构的三维点云模型之后，还包括：

第三建立模块，用于根据所述三维点云模型，生成模拟无人机航线，获取模拟镜头轨迹参数以及模拟镜头视角参数，建立无人机航线和模拟镜头视角参数与视角下GUID分布的映射关系。

本申请的至少一个实施例还提供一种结构病害检测装置，所述结构病害检测装置包括收发机和处理器；

所述处理器，用于：获取对目标结构采集的多张图像；

根据所述多张图像，生成针对所述目标结构的三维点云模型；

根据不同病害特征对应的图像滤波算法，筛选目标结构的三维点云模型的病害特征，结合病害特征及所述三维点云模型的空间信息建立病害三维空间表达；

利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息；

根据所述多个图片，训练病害检测模型；

将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息。

可选地，所述处理器，还用于：

根据所述目标结构的三维点云模型的关键几何特征，生成所述目标结构的建筑信息模型BIM；

对BIM各个区域进行构件实体化，设置GUID信息；

将标注GUID信息的BIM反向映射回三维点云模型，将三维点云模型各点素赋予GUID信息。

可选地，所述处理器，还用于：

将BIM进行缩放、投影处理；

根据进行缩放、投影处理后的BIM与二维平面资料进行对比的结果，对BIM各个区域进行构件实体化，赋予GUID信息。

可选地，所述病害分布信息包括目标病害标识，所述处理器，还用于：

在所述BIM中，确定目标病害标识对应的GUID信息是否存在目标病害标识；若不存在，则创建所述目标病害标识对应的GUID信息与所述目标病害标识之间对应的映射关系；

在所述BIM中，若确定所述目标病害标识对应的GUID信息对应的病害标识中存在除所述目标病害标识以外的其它病害标识，则利用所述目标病害标识更新所述目标病害标识对应的GUID信息对应的病害标识。

可选地，所述处理器，还用于：

根据所述三维点云模型，生成模拟无人机航线，获取模拟镜头轨迹参数以及模拟镜头视角参数，建立无人机航线和模拟镜头视角参数与视角下GUID分布的映射关系。

如图7所示，本发明实施例还提供一种结构病害检测装置，包括处理器700、收发机710、存储器720及存储在所述存储器720上并可在所述处理器700上运行的程序；其中，收发机710通过总线接口与处理器700和存储器720连接，其中，所述处理器700用于读取存储器中的程序，执行下列过程：

获取对目标结构采集的多张图像；

根据所述多张图像，生成针对所述目标结构的三维点云模型；

根据不同病害特征对应的图像滤波算法，筛选目标结构的三维点云模型的病害特征，结合病害特征及所述三维点云模型的空间信息建立病害三维空间表达；

利用模型视角，生成所述三维点云模型在目标视角下的多个图片，并基于三维投影变化将所述三维点云模型中的病害三维空间表达转化为所述图片中的二维病害信息；

根据所述多个图片，训练病害检测模型；

将沿模拟无人机航线拍摄的巡检图像输入至所述病害检测模型，获取不同全局唯一标识符GUID下的病害分布信息。

收发机710，用于在处理器700的控制下接收和发送数据。

其中，在图7中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器700代表的一个或多个处理器和存储器720代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机710可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器700负责管理总线架构和通常的处理，存储器700可以存储处理器700在执行操作时所使用的数据。

处理器700可以是中央处理器(CPU)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，处理器也可以采用多核架构。

可选地，所述处理器700用于读取存储器中的程序，还执行下列过程：

根据所述目标结构的三维点云模型的关键几何特征，生成所述目标结构的建筑信息模型BIM；

对BIM各个区域进行构件实体化，设置GUID信息；

将标注GUID信息的BIM反向映射回三维点云模型，将三维点云模型各点素赋予GUID信息。

可选地，所述处理器700用于读取存储器中的程序，还执行下列过程：

将BIM进行缩放、投影处理；

根据进行缩放、投影处理后的BIM与二维平面资料进行对比的结果，对BIM各个区域进行构件实体化，赋予GUID信息。

可选地，所述病害分布信息包括目标病害标识，所述处理器700用于读取存储器中的程序，还执行下列过程中的一项：

在所述BIM中，确定目标病害标识对应的GUID信息是否存在目标病害标识；若不存在，则创建所述目标病害标识对应的GUID信息与所述目标病害标识之间对应的映射关系；

在所述BIM中，若确定所述目标病害标识对应的GUID信息对应的病害标识中存在除所述目标病害标识以外的其它病害标识，则利用所述目标病害标识更新所述目标病害标识对应的GUID信息对应的病害标识。

可选地，所述处理器700用于读取存储器中的程序，还执行下列过程：

根据所述三维点云模型，生成模拟无人机航线，获取模拟镜头轨迹参数以及模拟镜头视角参数，建立无人机航线和模拟镜头视角参数与视角下GUID分布的映射关系。

本发明的又一优选实施例还提供了一种结构病害检测装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上项所述的结构病害检测方法的步骤。

本发明的另一优选实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时，实现如上所述的结构病害检测方法的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。