基于计算机视觉的桥梁施工变形监测方法、装置及介质

技术领域

本发明涉及桥梁结构变形监测领域，尤其是涉及一种基于计算机视觉的桥梁施工变形监测方法、装置及介质。

背景技术

现阶段，施工过程桥梁变形监测方法主要是使用水准仪、全站仪等光学设备进行测量。由于桥梁结构施工工期长，变形监测任务非常繁重。监测时间长、数据多、依靠人工记录、施工环境复杂等因素，导致目前施工过程结构变形监测存在人工工作量大、测量误差普遍、数据不连续、监测滞后于施工、施工分析软件自动化程度低等问题。随着中国桥梁跨度的不断增大，施工过程变形监测的问题也逐渐凸显，亟需对桥梁施工变形监测提出一种高效、准确、便捷的测量方法。

经过对现有技术的文献检索发现，目前使用计算机视觉技术进行结构变形监测，有一定研究基础，但研究目标大多宽泛，针对性不强。尤其是没有成熟的针对桥梁结构施工变形的视觉监测方法。在中国专利“基于视觉测量的变形监测方法(公开号CN106441138A)”中，邢磊和戴吾蛟设计了一种带有四个黑色圆片形状的标志板，建立不同分辨率的特征轮廓模型；采集不同时间点的图像，提取图像上椭圆的中心坐标，得到标志点的实际位移。该基于视觉测量的变形监测方法，具有操作简单、自动化程度高、成本低、精度高、数据处理简单、效率高等优点。在中国专利“一种基于二维码的结构变形空间位移实时测量方法和系统(公开号CN112179283A)”中，赵前进等人提出了一种基于机器视觉和二维码实现结构空间三维位移实时监测的方法。在被测物体表面贴附二维码，即可实现水平和竖直三个方向上的位移变化的实时计算测量。系统仅由摄像机计算装置和二维码组成。结合物联网系统，可实现现场及网络远程监测及报警等扩展应用。

目前，已有相关研究中对桥梁施工变形视觉测量算法缺少研究。桥梁施工工况复杂，目前基于人工的变形测量方法工作量大，数据不连续，急需针对桥梁施工变形提出视觉监测方法。

发明内容

本发明的目的是为了提供一种基于计算机视觉的桥梁施工变形监测方法、装置及介质。

本发明的目的可以通过以下技术方案来实现：

一种基于计算机视觉的桥梁施工变形监测方法，包括以下步骤：

步骤1)获取桥梁施工背景图像和棋盘格靶标图像，并使用图像融合技术制作棋盘格靶标目标检测数据集；

步骤2)构建基于YOLOv5目标检测框架的棋盘格靶标目标检测模型，对棋盘格靶标目标检测数据集进行训练，定位输入图像中的棋盘格靶标位置；

步骤3)根据棋盘格靶标位置，基于PnP算法求解相机外参矩阵，得到相机位姿参数，并根据相机位姿参数求解靶标在相机坐标系下的空间坐标，对视频逐帧分析，得到靶标的实时坐标变化，根据靶标坐标变化实现桥梁施工变形监测。

所述步骤1)包括以下步骤：

步骤11)获取涵盖多种桥型、多种施工工况、多种桥梁构件的桥梁施工背景图像；

步骤12)设计标准棋盘格靶标图像，并利用进行数据扩充；

步骤13)使用图像融合方法，融合棋盘格靶标图像和背景图像，合成训练用棋盘格靶标目标检测数据集。

所述数据扩充的方法包括图像旋转、透视、加噪、亮度调整、裁剪操作。

所述步骤13)具体为：

读取背景图像文件，获取背景图像尺寸信息；

按照不同的背景图像尺寸，分级设定不同的棋盘格靶标图像缩放尺寸和每张背景图像中实例数量；

假设目标中心在整张图像中的位置分布符合正态分布，生成符合正态分布的图像中心点坐标；

根据缩放尺寸缩小棋盘格靶标图像，并基于图像中心点坐标，利用图像融合将缩小后的棋盘格靶标图像与背景图像进行融合，作为数据集图像，同时，记录缩小后的棋盘格靶标图像在整张图像中的位置，即标注框参数，作为图像标签。

所述棋盘格靶标目标检测模型基于YOLOv5s构建。

所述步骤3)包括以下步骤：

步骤31)根据棋盘格靶标目标检测模型输出的棋盘格靶标位置坐标，提取棋盘格图像对应的ROI区域，并在ROI区域中进行棋盘格内角点特征检测，得到棋盘格内角点像素坐标，结合相机内参确定棋盘格内角点像素坐标和相机坐标的转换关系，从而求解世界坐标系和相机坐标系之间的位姿变换关系；

步骤32)根据已知靶标角点的世界坐标、世界坐标系和相机坐标系之间的位姿变换关系确定靶标角点的相机坐标系坐标，确定靶标图像中心位置坐标，对连续图像序列进行分析得到靶标图像中心位置坐标随时间的变化，确定靶标位移，根据靶标位移监测桥梁施工变形。

所述步骤31)具体为：

设棋盘格靶标目标检测模型输出的棋盘格靶标检测框的中心坐标为(X

将棋盘格图像作为ROI区域，从整幅图像中提取出来，构成一幅尺度为W×H的新图像，在ROI图像中进行棋盘格内角点特征检测；

设检测到的角点在ROI图像中的像素坐标为P

其对应的世界坐标为P

根据相机成像原理，已知相机内参，得到棋盘格内角点像素坐标和相机坐标的转换关系为：

P

其中，z是比例因子，描述相机坐标系和图像坐标系之间的转化关系。

K是相机内参矩阵，

f——相机镜头的焦距；

dx、dy——分别为像素在x方向和y方向的宽度，单位：像素；

u

θ——像原尺寸歪斜角度。

由以上转换关系，得到n个三维参考点的坐标及其对应的相机坐标系的2D投影点坐标，称为n个点对；

世界坐标系和相机坐标系之间的位姿变换关系为：

上述方程中共有12个未知数，通过至少6个已知点对，利用直接线性变换算法结合随机抽样一致性算法对上述方程进行求解，得到世界坐标系与相机坐标系之间的位姿变换关系[R|T]。

所述步骤32)中，靶标图像中心位置坐标采用累加法计算得到：

其中，P

一种基于计算机视觉的桥梁施工变形监测装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。

一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。

与现有技术相比，本发明具有以下有益效果：

(1)本发明使用图像融合技术，人工合成目标检测数据集。具有数据集制作方便，无需手动标注，模型检测效果好等优点。解决了实际工程应用中，由于缺少带有靶标的施工图像，带来的数据集制作困难，目标检测模型训练复杂等问题。

(2)本发明基于YOLOv5目标检测框架，训练了棋盘格靶标目标检测模型，能够实现多种环境下的棋盘格检测和定位，有利于解决在桥梁工程施工中应用视觉测量技术靶标定位困难的问题。

(3)本发明先使用YOLO目标检测算法，从图像中获得棋盘格初步位置。将棋盘格图像从整幅图像中提取得到ROI，然后基于PnP算法，求得相机外参矩阵，获得相机位姿。相比于直接从整幅图像中提取棋盘格的角点计算相机位姿，本发明对于棋盘格在整幅图像中占比较小的情况更具优势。先使用YOLOv5进行初步定位，也能提高计算相机位姿估计的精度。

附图说明

图1为本发明的方法流程图；

图2为本发明实施例中获取的桥梁施工过程图像示意；

图3为本发明实施例中的标准棋盘格靶标图像；

图4为本发明实施例中的棋盘格靶标图像数据扩充示意图；

图5为本发明实施例中构建的棋盘格靶标目标检测数据集中的图像示例；

图6为本发明实施例中采用的YOLOv5s网络架构示意图；

图7为本发明实施例中的训练集定位损失和置信度损失曲线；

图8为本发明实施例中的验证集定位损失和置信度损失曲线；

图9为本发明实施例中模型训练的精确率和召回率曲线；

图10为本发明实施例中模型训练的mAP曲线；

图11为本发明实施例中的棋盘格图案位置分布；

图12为本发明实施例中手机相机进行棋盘格靶标运动测量示意图；

图13为本发明实施例中使用手机相机拍摄的棋盘格图案；

图14为本发明实施例中使用YOLOv5对棋盘格进行检测的检测结果；

图15为本发明实施例中YOLOv5提取的棋盘格图案；

图16为本发明实施例中棋盘格内角点检测结果示意图；

图17为本发明实施例中棋盘格内角点三维重建结果图；

图18为本发明实施例中的位移测量结果和误差图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种基于计算机视觉的桥梁施工变形监测方法，如图1所示，包括以下步骤：

步骤1)获取桥梁施工背景图像和棋盘格靶标图像，并使用图像融合技术制作棋盘格靶标目标检测数据集。

步骤11)获取涵盖多种桥型、多种施工工况、多种桥梁构件的桥梁施工背景图像。

本发明提出的方法使用场景是桥梁施工过程，所以先使用Python爬虫技术，从网络下载大量桥梁施工过程相关图像作为数据集的背景图像。背景图像数量与数据集图片数量直接相关，一般应不小于2000张。背景图像应涉及多种桥型，多种施工工况，多种桥梁的构件，如图2所示。场景多样，保证数据集图像形式的多样性，有利于提高检测模型的准确性和鲁棒性。

步骤12)设计标准棋盘格靶标图像，并利用进行数据扩充。

本实施例设计一种标准的棋盘格图案作为目标检测的对象。棋盘格的数量布置为12列×9行。每个棋盘格尺寸为5×5mm，棋盘格图案总面积为60×45mm，图像总大小为70×70mm。标准棋盘格图像如图3所示。

实际上，在棋盘格靶标使用过程中，棋盘格图像会出现旋转，透视等变换情况，由于光线等原因靶标图像会出现噪声，实际工程应用中的靶标图像情况可能更加复杂。为了应对不确定的工程应用情况，有必要对数据集进行扩充。

对标准的靶标图像进行旋转、透视、加噪、亮度和裁剪等操作，模拟实际场景中靶标各种位姿和光影变化。处理后的靶标图像如图4所示。

步骤13)使用图像融合方法，融合棋盘格靶标图像和背景图像，合成训练用棋盘格靶标目标检测数据集。

具体的，步骤13)包括以下步骤：

步骤131)读取背景图像文件，获取背景图像尺寸信息；

步骤132)实际检测中，目标图像在整张图像中所占比例不会很大，假设背景图像与目标图像的大小比例为10：1，按照不同的背景图像尺寸，分级设定不同的棋盘格靶标图像缩放尺寸和每张背景图像中实例数量，如表1所示。

表1背景图像和目标图像对应关系

步骤133)获取目标中心坐标。

在实际检测中，一般会将检测靶标放在整张待检图像中心位置。因此假设目标中心在整张图像中的位置分布符合正态分布，生成符合正态分布的检测图像中心点坐标。

步骤134)根据缩放尺寸缩小棋盘格靶标图像，并基于图像中心点坐标，利用图像融合将缩小后的棋盘格靶标图像与背景图像进行融合，作为数据集图像，同时，记录缩小后的棋盘格靶标图像在整张图像中的位置，即标注框参数，作为图像标签，写入数据集标签文件。

本实施例构建的数据集包括图像和标签两部分，图像和标签一一对应，其中，构建的数据集图像示例如图5所示。

本实施例从网络上爬取桥梁施工图像作为数据集背景图像总计3047张。考虑棋盘格靶标图案的旋转、透视、加噪、亮度变化等，共计生成8种棋盘格图案。按照背景图像分辨率不同，将棋盘格图案缩放不同比例，融合到背景图像中，生成棋盘格靶标目标检测数据集。

步骤2)构建基于YOLOv5目标检测框架的棋盘格靶标目标检测模型，对棋盘格靶标目标检测数据集进行训练，定位输入图像中的棋盘格靶标位置。

YOLO是一种基于CNN的实时目标检测算法。算法核心思想是将目标检测视为一个回归问题，通过CNN将输入图像映射到一个固定大小的特征图，并在该特征图上进行目标检测。YOLO算法自2016年问世以来，经历了多个版本的迭代和改进。在算法灵活性与检测速度上，YOLOv5远超于前代版本，在模型的快速部署上也具有极强优势。

本实施例使用YOLOv5中最轻量的YOLOv5s结构，YOLOv5s的网络结构如图6所示，YOLOv5的网络结构可以分为四个部分：输入端(Input)、主干网络(Backbone)、颈部网络(Neck模块)和输出端(Head)。

基于上述YOLOv5s网络，利用步骤1)中得到的数据集，进行目标检测的训练。目标检测模型在训练完成之后，可以准确地从图像中识别到棋盘格靶标的位置。

本实施例使用Pytorch深度学习框架，搭建YOLOv5模型，进行目标检测模型的训练。训练所使用的配置信息如表2所示。

表2训练环境配置

数据集准备完成后，设定Yolov5权重文件为yolov5s，训练次数(epoch)为100代，batch-size为32，进行模型训练。训练的部分结果如图7到图10所示。经过100代训练，模型定位损失曲线和置信度损失曲线均有明显下降，在训练集上定位损失达到0.003，置信度损失达到0.001，均达到较小的范围，表明检测框定位准确度和目标检测准确度均在提升，并最终达到较为精准的阶段。精度和和召回率曲线波动小，说明训练集上模型训练结果较好。PR曲线面积较大，也说明模型训练结果较好。

步骤3)根据棋盘格靶标位置，基于PnP算法求解相机外参矩阵，得到相机位姿参数，并根据相机位姿参数求解靶标在相机坐标系下的空间坐标，对视频逐帧分析，得到靶标的实时坐标变化，根据靶标坐标变化实现桥梁施工变形监测。

步骤31)根据棋盘格靶标目标检测模型输出的棋盘格靶标位置坐标，提取棋盘格图像对应的ROI区域，并在ROI区域中进行棋盘格内角点特征检测，得到棋盘格内角点像素坐标，结合相机内参确定棋盘格内角点像素坐标和相机坐标的转换关系，从而求解世界坐标系和相机坐标系之间的位姿变换关系。

具体的，设棋盘格靶标目标检测模型输出的棋盘格靶标检测框的中心坐标为(X

将棋盘格图像作为ROI区域，从整幅图像中提取出来，构成一幅尺度为W×H的新图像，在ROI图像中进行棋盘格内角点特征检测；

设检测到的角点在ROI图像中的像素坐标为P

其对应的世界坐标为P

根据相机成像原理，已知相机内参，得到棋盘格内角点像素坐标和相机坐标的转换关系为：

P

其中，z是比例因子，描述相机坐标系和图像坐标系之间的转化关系。

K是相机内参矩阵，

f——相机镜头的焦距；

dx、dy——分别为像素在x方向和y方向的宽度，单位：像素；

u

θ——像原尺寸歪斜角度。

由以上转换关系，得到n个三维参考点的坐标及其对应的相机坐标系的2D投影点坐标，称为n个点对；

世界坐标系和相机坐标系之间的位姿变换关系为：

上述方程中共有12个未知数，通过至少6个已知点对对上述方程进行求解，得到世界坐标系与相机坐标系之间的位姿变换关系[R|T]。对上述方程的求解可以使用直接线性变换算法(DLT)，同时结合随机抽样一致性算法(RANSAC)来提高相机的位姿估计的鲁棒性。

步骤32)根据已知靶标角点的世界坐标、世界坐标系和相机坐标系之间的位姿变换关系确定靶标角点的相机坐标系坐标，确定靶标图像中心位置坐标，对视频(连续图像序列)进行分析得到靶标图像中心位置坐标随时间的变化，确定靶标位移，根据靶标位移监测桥梁施工变形。

得到相机位姿参数[R|T]后，即可根据已知靶标角点的世界坐标P

靶标图像中心位置坐标采用累加法计算得到：

其中，P

本实施例使用智能手机相机和棋盘格靶标，进行靶标位移计算测试。

通过在固定平面上，打印纵横分布的棋盘格图案，来模拟靶标的平面内运动。棋盘格尺寸为12×9@5mm，外轮廓为70×70mm。平面内棋盘格图案位置分布如图11所示，横向两个图案中心距离为150mm，纵向两个图案中心距离为100mm。

拍摄时采用后置镜头固定焦距视频拍摄，分辨率采用1080P，帧率为每秒30张图像。手机镜头光轴与靶标平面近似垂直，距离为750mm。使用手机相机进行棋盘格靶标运动测量如图12和图13所示。

使用YOLOv5棋盘格检测模型，对棋盘格进行初步检测。图14表示第10帧图像中，检测到的棋盘格图案类别和置信度。图中三个棋盘格图案均被检测到，并且分类正确(CB：Checkerboard)，置信度为0.98，0.98，0.97，接近1，说明检测结果准确。

三个检测框在图像中的像素坐标如表3所示：

表3检测框像素坐标

根据棋盘格检测框的像素坐标，将棋盘格图案从整幅图像中提取出来，进行棋盘格角点检测。提取的棋盘格图案如图15所示。

检测棋盘格内角点的像素坐标，如图16所示。

根据PnP算法，求解相机位姿，得到棋盘格内角点在相机坐标系下的坐标，如图17所示。

最后得到靶标中心点在相机坐标系下的坐标。如表4所示。

表4相机坐标系下第10帧图像靶标中心坐标(mm)

以第10帧图像为例，从横向距离，竖向距离和纵向距离三个方面分析，理论值和实测值及误差结果如表5和图18所示。

表5位移测量误差(单位mm)

可以发现，视觉测量结果三向百分比误差均较小，不足0.3％，精度较高。其中，横向位移和竖向位移测量绝对误差不超过0.3mm，百分比误差不超过0.3％，视觉测量算法在平面内测量结果精度达到亚毫米级。纵向位移绝对误差为1.73mm，百分比误差为0.23％，这是因为试验布置时存在相机倾斜，靶标倾斜，相机光轴不垂直测量平面导致。考虑到上述因素影响，可以认为在沿相机光轴方向位移测量精度达到毫米级。实际工程应用中，往往只关注横向和竖向的位移，对于沿相机光轴方向位移并不要求。上述距离测量精度能够满足实际工程需要。

总体而言，基于本实施例所述的单目视觉结构变形测量算法，能够达到亚毫米级的二维位移测量和毫米级的三维位移测量，可以满足实际工程应用需要。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。