一种基于单目位姿估计的隧道变形巡检系统及方法

技术领域

本发明属于土木工程监测领域，尤其涉及一种基于单目位姿估计的隧道变形巡检系统及方法。

背景技术

现行的隧道变形监测方法可分为传统人工监测和自动化监测两大类。传统人工监测方法依靠工作人员借助百分表、收敛计等工具沿线路对各个监测断面依次巡查，或在隧道中设置变形观测站，采用经纬仪、水准仪、测距仪等精密测量设备进行测量及内业计算以掌握隧道变形情况。上述方法对人工依赖性高，效率低下，并且无法避免人为误差。常见的隧道变形自动化监测方法中静力水准仪和巴塞特收敛系统存在变形信息获取不够全面的问题，只能监测收敛或沉降中的一项，不能实现三向位移监测；三维激光扫描、光纤传感测量系统、测量机器人虽然能够获取更为丰富的变形信息，但是价格昂贵，想要实现地铁全线路巡检，资金投入很大。

发明内容

针对现有技术存在的问题，本申请实施例的目的是提供一种基于单目位姿估计的隧道变形巡检系统及方法。

根据本申请实施例的第一方面，提供一种基于单目位姿估计的隧道变形巡检系统，包括：

移动监测平台，用于提供巡检系统沿隧道方向的运动；

图像采集装置，通过云台安装于所述移动监测平台上部，包括T形刚性连接的三个相机，第一相机、第二相机分别用于采集隧道各断面两侧的测点A和测点B处棋盘格靶标的图像，第三相机用于采集隧道各断面拱顶的测点C处棋盘格靶标的图像，其中测点A、测点B、测点C处的棋盘格靶标为预先设置；

里程计，用于获取所述移动监测平台进入隧道后的里程数据，并确定移动监测平台的采集位置；

微机终端，用于操控所述移动检测平台进入隧道；接收所述里程计提供的里程数据并根据所述里程数据控制所述图像采集装置进行图像采集，根据采集的图像进行各断面收敛变形和拱顶沉降的计算。

进一步地，所述棋盘格靶标的形成过程包括:

采用ArUco标记内嵌入棋盘格白色格子内，形成嵌入有ArUco标记与棋盘格相结合的棋盘格靶标，其中每个棋盘格靶标上的ArUco标记记录该棋盘格靶标所在断面的里程信息。

根据本申请实施例的第二方面，提供一种基于单目位姿估计的隧道变形巡检方法，通过第一方面所述的系统中的微机终端实现，该方法包括：

步骤S1：控制所述移动监测平台运动至第一断面，利用所述图像采集装置采集的图像标定所述第一相机、第二相机和第三相机的内部参数以及相机之间的外部参数；

步骤S2：控制图像采集装置采集测点A、测点B、测点C处的含靶标图像，通过所述含靶标图像计算第一断面处的隧道收敛变形和拱顶沉降；

步骤S3：控制所述移动监测平台运动至第二断面，采用步骤S2的过程计算所述第二断面处的隧道收敛变形和拱顶沉降；

步骤S4：重复步骤S3直至计算完所有断面处的隧道收敛变形和拱顶沉降，控制所述移动监测平台返回。

进一步地，所述步骤S1中，控制所述移动监测平台运动至第一断面，利用所述图像采集装置采集的图像标定所述第一相机、第二相机和第三相机的内部参数，包括：

步骤S11：根据里程计传输的即时里程数据操纵移动监测平台运动，当所述里程计传输的里程数据与预定测量的第一断面的里程信息匹配时，控制所述移动监测平台停止移动，此时所述移动监测平台到达第一断面处；

步骤S12：控制所述第一相机、第二相机和第三相机分别对该断面对应的测点A、测点B和测点C上的靶标采集若干图像；

步骤S13：根据各相机传输的三组图像，提取特征点，采用张正友标定法分别求解第一相机、第二相机和第三相机的内参矩阵M

进一步地，所述步骤S1中，标定相机之间的外部参数，包括：

步骤S14：控制第一相机和第二相机分别对所述第一断面对应的测点A、测点B的棋盘格靶标采集得到标定图像a1、标定图像b1；

步骤S15：根据所述标定图像a1、标定图像b1，提取特征点，利用各相机的内部参数，采用PnP算法求解在该位姿下，所述第一断面对应的测点A和测点B的靶标分别到第一相机和第二相机之间位姿变换矩阵

步骤S16：控制云台使各相机改变位姿后，重复步骤S14和步骤S15；

步骤S17：重复步骤S16若干次，以得到多组位姿变换矩阵，从而求解第一相机到第二相机的外部参数矩阵H

步骤S18：采用步骤S14～S17的方法，求解第一相机到第三相机的外部参数矩阵H

步骤S19：采用步骤S14～S17的方法，求解第二相机到第三相机的外部参数矩阵H

进一步地，求解第一相机到第二相机的外部参数矩阵，包括：

步骤S171：将测点A、测点B和第一相机、第二相机的坐标系分别记作O

式中H

H

步骤S172：利用所得到的多组位姿变换矩阵，得下组式：

……

式中上标(j)表示为第j次位姿改变后的数据，0≤j≤n，n为位姿改变的次数，

H

步骤S173：采用手眼标定求解方法求解步骤S172中的方程组，得到第一相机到第二相机的外部参数矩阵H

进一步地，所述步骤S2包括：

步骤S21：控制所述第一相机、第二相机和第三相机分别对该断面对应的测点A、测点B和测点C上的棋盘格靶标采集图像，得到靶标图像a、靶标图像b和靶标图像c；

步骤S22：利用所述靶标图像a、靶标图像b，提取特征点，选定测点A所处的靶标世界坐标系作为主坐标系，利用所述相机之间的外部参数，按照如下公式求得测点B在主坐标系中的坐标(x

式中M

步骤S23：利用所述靶标图像a、靶标图像c，提取特征点，选定测点A处的靶标世界坐标系作为主坐标系，利用所述相机之间的外部参数，按照如下公式求得测点C在主坐标系中的坐标(x

式M

步骤S24：利用测点B和测点C在主坐标系中的坐标，按照如下公式求解测线三角形ABC中边AB的长度以及底边AB上的高h：

p＝(AB+AC+BC)/2

步骤S25：根据所述边AB的长度以及底边AB上的高h，计算所述第一断面隧道收敛变形Δd和隧道拱顶沉降ΔH：

Δd＝AB-A′B′

ΔH＝h-h′

式中A′B′为上次巡检测得的测点A和测点B之间的长度，h′为上次巡检测得到的三角形ABC底边AB上的高。

根据本申请实施例的第三方面，提供一种基于单目位姿估计的隧道变形巡检装置，通过第一方面所述的系统中的微机终端实现，该方法包括：

标定模块，用于控制所述移动监测平台运动至第一断面，利用所述图像采集装置采集的图像标定所述第一相机、第二相机和第三相机的内部参数以及相机之间的外部参数；

第一计算模块，用于控制图像采集装置采集测点A、测点B、测点C处的含靶标图像，通过所述含靶标图像计算第一断面处的隧道收敛变形和拱顶沉降；

第二计算模块，用于控制所述移动监测平台运动至第二断面，采用第一计算模块的过程计算所述第二断面处的隧道收敛变形和拱顶沉降；

返回模块，用于重复第二计算模块的过程直至计算完所有断面处的隧道收敛变形和拱顶沉降，控制所述移动监测平台返回。

根据本申请实施例的第四方面，提供一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第二方面所述的方法。

根据本申请实施例的第五方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第二方面所述方法的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请采用新型隧道变形巡检系统进行监测，相较于现有监测系统，本申请硬件设备的现场条件适应性好，准备工作较为简单，部署方便灵活，成本较低，性能稳定，不易损坏。

本申请采用新型隧道变形巡检系统进行监测，相较于现有监测方法，本申请的监测方法提高了数据采集效率和测量精度，降低了人工依赖性，获取断面变形信息更加全面，同时能够监测隧道断面的收敛和拱顶沉降变形，应用于测量领域具有很大优势。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是一种基于单目位姿估计的隧道变形巡检系统的结构示意图。

图2是隧道变形巡检系统底部的示意图。

图3是ArUco标记与棋盘格相结合的自识别阵列ChArUco平板示意图。

图4是巡检流程示意图。

图5是变形计算原理图。

图6是根据一示例性实施例示出的一种基于单目位姿估计的隧道变形巡检装置框图。

图7是根据一示例性实施例示出的一种电子设备的示意图。

图中：1、移动监测平台；2、图像采集装置；21、第一相机；22、第二相机、23、第三相机；3、云台；4、里程计；5、棋盘格靶标。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

坐标系说明：

第一相机21、第二相机22和第三相机23的坐标系原点分别是各相机光心O

实施例1

本申请提供一种基于单目位姿估计的隧道变形巡检系统，如图1和图2所示，该系统可以包括：移动监测平台1，用于提供巡检系统沿隧道方向的运动；图像采集装置2，通过云台3安装于所述移动监测平台1上部，高精度的云台3可使上部装置在三维方向旋转一定角度，所述图像采集装置2包括T形刚性连接的三个相机，第一相机21、第二相机22分别用于采集隧道各断面两侧的测点A和测点B处棋盘格靶标5的图像，第三相机23用于采集隧道各断面拱顶的测点C处棋盘格靶标5的图像，其中测点A、测点B、测点C处的棋盘格靶标5为预先设置；里程计4，用于获取所述移动监测平台1进入隧道后的里程数据，并确定移动监测平台1的采集位置；微机终端，用于操控所述移动检测平台进入隧道；接收所述里程计4提供的里程数据并根据所述里程数据控制所述图像采集装置2进行图像采集，根据采集的图像进行各断面收敛变形和拱顶沉降的计算。

具体地，如图3所示，所述棋盘格靶标5的形成过程包括:

采用ArUco标记内嵌入棋盘格白色格子内，形成嵌入有ArUco标记与棋盘格相结合的自识别阵列ChArUco平板，其中每个棋盘格靶标5上的ArUco标记记录该棋盘格靶标5所在断面的里程信息。

由上述实施例可知，本系统采用嵌入有ArUco标记与棋盘格相结合的自识别阵列ChArUco平板，既有利于靶标上特征角点的快速检测和识别，同时ArUco标记记录所在断面的里程信息可便于移动监测平台1的精准定位。

实施例2

本申请提供一种基于单目位姿估计的隧道变形巡检方法的流程图，如图4所示，该方法通过上述系统中的微机终端实现，将非共视场相机和单目位姿估计相结合，可以包括以下步骤：

步骤S1：控制所述移动监测平台1运动至第一断面，利用所述图像采集装置2采集的图像标定所述第一相机21、第二相机22和第三相机23的内部参数以及相机之间的外部参数；

步骤S2：控制图像采集装置2采集测点A、测点B、测点C处的含靶标图像，通过所述含靶标图像计算第一断面处的隧道收敛变形和拱顶沉降；

步骤S3：控制所述移动监测平台1运动至第二断面，采用步骤S2的过程计算所述第二断面处的隧道收敛变形和拱顶沉降；

步骤S4：重复步骤S3直至计算完所有断面处的隧道收敛变形和拱顶沉降，控制所述移动监测平台1返回。

在步骤S1的具体实施中，控制所述移动监测平台1运动至第一断面，利用所述图像采集装置2采集的图像标定所述第一相机21、第二相机22和第三相机23的内部参数以及相机之间的外部参数；

具体地，标定所述第一相机21、第二相机22和第三相机23的内部参数的过程可以包括：

步骤S11：根据里程计4传输的即时里程数据操纵移动监测平台1运动，当所述里程计4传输的里程数据与预定测量的第一断面的里程信息匹配时，控制所述移动监测平台1停止移动，此时所述移动监测平台1到达第一断面处；

具体地，通过使里程计4传输的里程数据与预定测量的第一断面的里程信息匹配，确保移动监测平台1在该断面的工作位置与上次巡检中在该断面的工作位置重合，减小测量误差。

步骤S12：控制所述第一相机21、第二相机22和第三相机23分别对该断面对应的测点A、测点B和测点C上的靶标采集若干图像。

步骤S13：根据各相机传输的三组图像，提取特征点，采用张正友标定法分别求解第一相机21、第二相机22和第三相机23的内参矩阵M

具体地，标定相机之间的外部参数的过程可以包括：

步骤S14：控制第一相机21和第二相机22分别对所述第一断面对应的测点A、测点B的棋盘格靶标5采集得到标定图像a1、标定图像b1；

步骤S15：根据所述标定图像a1、标定图像b1，采用OpenCV的findChessboradComersSB()函数提取标定图像中特征点的二维坐标，再结合各相机的内部参数，代入PnP算法求解在该位姿下，所述第一断面对应的测点A和测点B的靶标分别到第一相机21和第二相机22之间位姿变换矩阵

步骤S16：控制云台3使各相机改变位姿后，重复步骤S14和步骤S15；

步骤S17：重复步骤S16若干次，以得到多组位姿变换矩阵，从而求解第一相机21到第二相机22的外部参数矩阵H

具体地，求解第一相机21到第二相机22的外部参数矩阵的过程可以包括：

步骤S171：将测点A、测点B和第一相机21、第二相机22的坐标系分别记作O

式中H

H

步骤S172：利用所得到的多组位姿变换矩阵，得下组式：

……

式中上标(j)表示为第j次位姿改变后的数据，0≤j≤n，n为位姿改变的次数，

H

步骤S173：采用手眼标定求解方法求解步骤S172中的方程组，得到第一相机21到第二相机22的外部参数矩阵H

具体地，采用手眼标定求解方法求解步骤S172推得的方程，该方法具体采用基于四元数的分步求解方法求解H

步骤S18：采用步骤S14～S17的方法，求解第一相机21到第三相机23的外部参数矩阵H

步骤S19：采用步骤S14～S17的方法，求解第二相机22到第三相机23的外部参数矩阵H

在步骤S2的具体实施中，控制图像采集装置2采集测点A、测点B、测点C处的含靶标图像，通过所述含靶标图像计算第一断面处的隧道收敛变形和拱顶沉降；可以包括以下子步骤：

步骤S21：控制所述第一相机21、第二相机22和第三相机23分别对该断面对应的测点A、测点B和测点C上的棋盘格靶标5采集图像，得到靶标图像a、靶标图像b和靶标图像c。

步骤S22：利用所述靶标图像a、靶标图像b，提取特征点，选定测点A所处的靶标世界坐标系作为主坐标系，利用所述相机之间的外部参数，按照如下公式求得测点B在主坐标系中的坐标(x

式中M

步骤S23：利用所述靶标图像a、靶标图像c，提取特征点，选定测点A处的靶标世界坐标系作为主坐标系，利用所述相机之间的外部参数，按照如下公式求得测点C在主坐标系中的坐标(x

式M

具体地，步骤S23的具体实施和步骤S22同理，此处不作赘述。

步骤S24：利用测点B和测点C在主坐标系中的坐标，按照如下公式求解测线三角形ABC中边AB的长度以及底边AB上的高h：

p＝(AB+AC+BC)/2

步骤S25：根据所述边AB的长度以及底边AB上的高h，计算所述第一断面隧道收敛变形Δd和隧道拱顶沉降ΔH：

Δd＝AB-A′B′

ΔH＝h-h’

式中A′B′为上次巡检测得的测点A和测点B之间的长度，h′为上次巡检测得到的三角形ABC底边AB上的高。

在步骤S3的具体实施中，控制所述移动监测平台1运动至第二断面，采用步骤S2的过程计算所述第二断面处的隧道收敛变形和拱顶沉降；

具体地，判断移动检测平台是否运动至第二断面的方法与步骤S1中同理，此处不作赘述。

在步骤S4的具体实施中，重复步骤S3直至计算完所有断面处的隧道收敛变形和拱顶沉降，控制所述移动监测平台1返回。

由上述实施例可知，本方法提高了数据采集效率和测量精度，降低了人工依赖性，获取断面变形信息更加全面，同时能够监测隧道断面的收敛和拱顶沉降变形，应用于测量领域具有很大优势。

与前述的基于单目位姿估计的隧道变形巡检方法的实施例相对应，本申请还提供了基于单目位姿估计的隧道变形巡检装置的实施例。

图6是根据一示例性实施例示出的一种基于单目位姿估计的隧道变形巡检装置框图。参照图6，该装置可以包括：

标定模块100，用于控制所述移动监测平台1运动至第一断面，利用所述图像采集装置2采集的图像标定所述第一相机21、第二相机22和第三相机23的内部参数以及相机之间的外部参数；

第一计算模块200，用于控制图像采集装置2采集测点A、测点B、测点C处的含靶标图像，通过所述含靶标图像计算第一断面处的隧道收敛变形和拱顶沉降；

第二计算模块300，用于控制所述移动监测平台1运动至第二断面，采用第一计算模块的过程计算所述第二断面处的隧道收敛变形和拱顶沉降；

返回模块400，用于重复第二计算模块的过程直至计算完所有断面处的隧道收敛变形和拱顶沉降，控制所述移动监测平台1返回。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于单目位姿估计的隧道变形巡检方法。如图7所示，为本发明实施例提供的一种基于单目位姿估计的隧道变形巡检方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图7所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。

相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于单目位姿估计的隧道变形巡检方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。