基于机器视觉和时序模式的强夯夯锤运动状态判别方法

技术领域

本发明涉及机器视觉技术与土木工程施工技术及工程管理、建设技术领域，具体涉及基于机器视觉和模式识别的强夯夯锤运动状态判别方法。

背景技术

强力夯实法(简称强夯法，又称动力固结法)是将8～30t的钢或钢筋混凝土重锤，起吊到高6～30m的空中，让其自由落下冲击地面，用巨大的冲击能量使地基土产生强烈的振动和很高的应力，进而促使地基土壤固结压密，提高地基基础的承载能力。强夯法作为一种处理软弱地基土的基础处理工艺，由法国工程师梅那于1969年首创，自1979年潘千里著文介绍这项新技术后，国内开始推广使用。由于具有的设备简单、适用面广、快速、经济、效果好等优点，强夯法现今已广泛的应用于水利水电等大型土建工程的地基加固。

根据《强夯地基处理技术规程》等相关技术规程，强夯施工过程质量控制指标主要为夯沉量、夯击次数、夯坑位置。其中，夯击次数主要由现场施工人员进行人工记录，人力成本较高，且强夯施工现场环境复杂，从业人员劳动保障程度低。同时在缺乏有效监管的情况下，人工计次方式的可信度取决于施工人员自身素质，往往会带来施工记录不可信，施工质量失控的风险。目前，虽有一些学者对夯次计量自动化做了一些研究，但是仍存在需对强夯机械设备进行改造且改造难度大或方案布设复杂等问题。

故提出一种普适性更强的强夯施工夯次自动计量方法，有效降低强夯施工的人力成本，提高从业人员劳动保障水平及强夯施工夯次数据的可靠性，其中对夯锤运动状态的判断是实现强夯施工夯次自动计量的关键。

发明内容

为解决当前强夯施工夯次计量监测方法的不足，智能判断夯锤运动状态进而实现实时夯次计量的目的。因此，本发明提出一种基于机器视觉和时序模式的强夯夯锤运动状态判别方法，利用机器视觉领域中的目标检测算法高精度地提取出夯锤位置，并结合强夯施工的施工过程，分析强夯施工过程中夯锤运动的时空规律，根据连续的夯锤位置信息变化趋势实时判断夯锤运动状态，为强夯施工智能化监控提供了更加便捷且稳定可靠的技术方法。

本发明提供一种基于机器视觉和时序模式的强夯夯锤运动状态判别方法，通过进行夯锤运动状态的智能判断实现强夯施工自动化夯次计量。该方法基于成像原理，利用目标检测技术，通过实现对夯锤目标的实时捕捉，跟踪，从而完成无接触式的强夯施工夯次自动化计量。为实现上述目的，本发明提供如下技术方案：

一种基于机器视觉和时序模式的强夯夯锤运动状态判别方法，包括以下步骤：

步骤S1，在强夯施工现场布设图像或视频采集设备以获取连续的强夯施工影像序列，

步骤S2，利用训练好的强夯夯锤检测模型对连续的强夯施工影像序列进行夯锤目标检测处理，自动识别框选出每帧影像中的夯锤；

步骤S3，提取连续的强夯施工影像序列中夯锤识别框的中心点像素坐标，并将得到的中心点坐标按时间顺序记录到夯锤位置信息序列中；

步骤S4，基于影像采集点与夯锤的相对空间关系和S3得到夯锤位置信息序列数据，分析得到每帧影像上夯锤的运动状态，基于影像序列夯锤的运动轨迹和变化过程，匹配相应的夯锤运动时序模式，判断夯锤当前时段的运动状态。

进一步的，所述图像或影像采集设备设置在强夯机驾驶室顶部。

进一步的，步骤S2中，利用训练好的YOLO-tiny模型进行夯锤目标检测处理。

进一步的，训练YOLO-tiny模型的具体实现方式如下；

(21)利用yolo_mark软件对强夯施工图像进行夯锤目标标注，生成包含标注信息的txt文件，然后转换为YOLO-tiny模型训练所需数据格式，由强夯施工图像和目标类别与位置信息构成训练所需数据集；

(22)利用深度学习框架darknet搭建YOLO-tiny神经网络模型；

(23)将数据集输入YOLO-tiny模型进行训练，在模型loss值收敛后得到对应的权值文件，基于OpenCv机器视觉库载入YOLO-tiny模型训练得到的权值文件，即可对强夯夯锤目标进行识别。

进一步的，步骤S3中，设立一个空的时序队列，将强夯施工影像时序数据中夯锤目标识别框的中心点像素坐标按时间顺序存储到时序队列中，若影像数据中无夯锤目标，则存储坐标缺省值，坐标缺省值为双负值坐标。

进一步的，步骤S4中，所述强夯施工过程中夯锤的运动可分为夯锤上升、夯锤下降、夯锤稳定、夯锤平移。

进一步的，步骤S4中得到每帧影像上夯锤的运动状态的具体实现方式如下：

首先，建立长度为n的状态判别值队列S＝[S

(1)夯锤静止状态：若连续两帧图像中夯锤目标中心点变化距离L小于等于距离阈值T，则状态判别结果S

(2)夯锤上升状态：若连续两帧图像中夯锤目标中心点变化距离L大于距离阈值T，且当前帧图像中的C

(3)夯锤下降状态：若连续两帧图像中夯锤目标中心点变化距离L大于距离阈值T，且当前帧图像中的C

(4)夯锤平移状态：若连续两帧图像中夯锤目标中心点变化距离L大于距离阈值T，且当前帧图像中的C

(5)夯锤不在相机视野范围内：此时影像中无夯锤目标，夯锤位置信息为缺省值；根据夯锤位置队列数据变化情况，分为两大类情况：一是夯锤上升至超出视野导致相机视野范围内无夯锤目标，此时状态判别结果为S

进一步的，步骤S4中夯锤运动时序模式的定义如下；

设夯锤静止为S、夯锤上升为R、夯锤下降为F、夯锤平移为M、夯锤移出相机视野范围为O，其中夯锤移出相机视野范围细分为由夯锤上升引起的超出相机视野范围为RO、由夯锤平移引起的超出相机视野范围为MO；

(41)夯锤静止的时序模式：夯锤静止时，连续两帧图像检测到夯锤目标且夯锤目标中心点像素坐标不变，夯锤静止时序模式下的连续的强夯施工影像序列中夯锤状态变化情况为[…F,S,S,S…]；

(42)夯锤上升的时序模式：连续的强夯施工影像序列中，夯锤目标检测结果的中心点像素坐标呈现上升变化，直至夯锤运动出相机视野范围之外且长时间持续地不在相机视野范围内，夯锤上升时序模式下的连续的强夯施工影像序列中夯锤状态变化情况为[…R,R,RO,RO,RO…]，其中，RO状态的前置触发条件为R或RO；

(43)夯锤下落的时序模式：夯锤下落速度快，下落时间短，影像采集设备很难拍摄到多张夯锤下落的影像数据，故连续的强夯施工影像序列中，会在长时间内影像中无夯锤目标之后突然检测到带有夯锤目标的影像数据，夯锤下落时序模式下的连续的强夯施工影像序列中夯锤状态变化情况为[…RO,RO,RO,F,S…]，其中因为夯锤下落速度很快，故F状态持续时间短，甚至捕捉不到；

(44)夯锤平移的时序模式：夯机转场触发夯锤平移运动状态，夯锤在相机视野范围内会发生大的水平向位移，且频繁超出视野，夯锤目标中心点像素坐标会出现水平方向的变化且在短时间内出现正值坐标和双负值坐标的频繁切换；夯锤平移时序模式下的连续的强夯施工影像序列中夯锤状态变化情况为[…M,M,MO,MO,M…]，其中，MO状态的前置触发条件为M或MO。

进一步的，距离阈值T和水平距离阈值T

与现有技术相比，本发明具有如下优点：

(1)本发明提出强夯施工过程中不同夯锤运动状态的空间位置变化的时序模式。根据强夯施工过程的施工状态持续时长和夯锤运动状态空间位置变化规律，对夯锤运动各状态下的夯锤位置时序模式进行了阐述。

(2)本发明基于机器视觉领域的目标检测技术，主要利用影像采集设备和车载工控机硬件设备完成，只需对成套的硬件设备进行固定布设即可，不需对强夯机械的设备结构进行改造。该方法的装备布设简单、改造难度和维护成本低，具有良好的费效比。

(3)本发明所设计的算法，经试验验证，解算结果稳定，且保存了每个夯次过程的影像序列，便于施工监管人员复查审核。

附图说明

为了更清楚地说明本发明实例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要用到的附图作简要的介绍，显而易见地，下面描述的附图是本发明的一些实例，对于本领域的普通技术人员来说，在不付出创造性劳动的前提下，还可以依据这些附图获得其他的附图。

图1为基于机器视觉和时序模式的强夯夯锤运动状态判别方法流程图；

图2为本发明中夯锤目标检测效果图；

图3为本发明实施例中夯锤运动状态智能判断结果，(a)夯锤稳定状态结果图(Stable)，(b)夯锤上升状态结果图(Rising)，(c)夯锤下降状态结果图(Falling)，(d)夯锤平移状态结果图(Moving)。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本发明普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提供一种基于机器视觉和时序模式的强夯夯锤运动状态判别方法，利用强夯施工过程中夯锤运动的时空变化规律，智能判断夯锤运动状态进而实现强夯施工夯次自动化计量，本发明的主要构思如下：

提供一种基于机器视觉和时序模式的强夯夯锤运动状态判别方法。该方法利用经过专门训练的目标检测网络提取出强夯施工影像中的夯锤目标，再分析夯锤位置变化过程，匹配相应的时序模式，进行夯锤运动状态判断。下面具体阐述本发明提供的基于机器视觉和时序模式的强夯夯锤运动状态判别方法的具体实现流程。

本实例提供了一种基于机器视觉和时序模式的强夯夯锤运动状态判别方法的应用实例；该方法具体包括：

步骤S1：在强夯施工现场布设图像或视频采集设备以获取连续的强夯施工影像序列，一般设置在强夯机顶部以获得稳定的影像采集点。

具体来说，影像采集设备一般布设在强夯机驾驶室顶部，强夯机驾驶室顶部较为平坦，方便固定影像采集设备，使得影像采集设备与夯机保持相对稳定。同时，影像采集设备固定在驾驶室顶部，不易被干扰物(如夯机吊具钢绳、夯机吊臂)遮挡，视野开阔。

步骤S2：利用专门训练的强夯夯锤检测模型对连续的强夯施工影像序列进行夯锤目标检测处理，识别框选出每帧影像数据中的夯锤目标。

具体来说，目前基于不同基础模型的目标检测深度学习模型在模型精度、训练速度和识别速度等方面各有侧重，强夯夯锤目标检测模型可根据现场施工需求和实际应用情况及硬件设备情况灵活选择。本实例采用YOLO-tiny模型作为基础训练模型。强夯夯锤目标识别模型的具体训练过程为：

(1)利用yolo_mark软件对对强夯施工照片进行夯锤目标标注，生成包含标注信息的txt文件，然后转换为YOLO模型训练所需数据格式，由强夯施工照片和目标类别与位置信息构成训练所需数据集；

(2)利用深度学习框架darknet搭建YOLO神经网络模型；

(3)将数据集输入YOLO模型进行训练，在模型loss值收敛后得到对应的权值文件。基于OpenCv机器视觉库载入YOLO模型训练得到的权值文件即可对强夯夯锤目标进行识别。

利用训练好的YOLO模型对连续的强夯施工影像序列进行强夯夯锤目标识别，效果见图2，本具体实施例中强夯施工影像数据采集频率为0.5Hz。

步骤S3：提取连续的强夯施工影像序列中夯锤识别框的中心点像素坐标，并将得到的中心点坐标按时间顺序记录到夯锤位置信息队列中。

具体来说，在S2中利用夯锤目标检测模型对连续的强夯施工影像序列进行夯锤目标检测。建立长度为n的夯锤位置信息队列P＝[P

步骤S4：基于影像采集点与夯锤的相对空间关系和S3得到夯锤位置信息队列，分析得到每帧影像上夯锤的运动状态，基于影像序列夯锤的运动轨迹和变化过程，匹配相应的夯锤运动时序模式，判断夯锤当前时段的运动状态，包括夯锤上升、夯锤下降、夯锤静止、夯锤平移。

本发明中要求影像采集设备测站点与夯机尽可能保持相对稳定，即把夯锤运动相对于强夯机的空间关系转化为夯锤相对于测站点的空间关系，通过成像原理，夯锤与测站点的三维空间关系转化到二维像素空间关系。分析强夯施工过程中夯锤识别框中心点像素坐标运动变化情况，匹配相应的时序模式，对夯锤运动状态进行判断。所述时序模式是强夯施工过程中处在不同运动状态下的夯锤空间位置随时间变化的变化规律，夯锤运动的时序模式根据强夯施工过程建立。强夯施工过程中夯锤运动状态可分为由强夯机在不同夯点间转场触发的夯锤平移状态以及在单个夯点施工过程中的夯锤运动状态，具体包括夯锤上升、夯锤下降、夯锤平稳。强夯施工过程中，单次夯击的周期约为1-2分钟，其中夯锤上升至指定夯程高度的时长约为30s，夯锤下落时长约为2-3s，夯锤下落稳定至下一次夯锤提升的时间间隔约为1分钟(包含现场施工人员进行夯沉量测量时间)。不同运动状态下的夯锤运动持续时长及空间位置变化规律结合形成的时空关系即夯锤运动的时序模式。

下面简述夯锤运动时序模式规则如下：

根据成像原理，夯锤运动反映到连续两帧的施工影像中的变化结果可归纳为夯锤静止(S)、夯锤上升(R)、夯锤下降(F)、夯锤平移(M)、夯锤移出相机视野范围(O)，其中夯锤移出相机视野范围可细分为由夯锤上升引起的超出相机视野范围(RO)、由夯锤平移引起的超出相机视野范围(MO)。

(1)夯锤静止的时序模式：夯锤静止时，连续两帧图像可检测到夯锤目标且夯锤目标中心点像素坐标基本不变。一般情况下，夯锤静止时序模式下的连续的强夯施工影像序列中夯锤状态变化情况为[…F,S,S,S…]。

(2)夯锤上升的时序模式：连续的强夯施工影像序列中，夯锤目标检测结果的中心点像素坐标呈现上升变化(主要为竖直方向上的变化，水平方向上坐标变化幅度较小)，直至夯锤运动出相机视野范围之外且较长时间持续地不在相机视野范围内(由S3知，此时夯锤目标中心点像素坐标为双负值)。一般情况下，夯锤上升时序模式下的连续的强夯施工影像序列中夯锤状态变化情况为[…R,R,RO,RO,RO…]，其中，RO状态的前置触发条件为R或RO。

(3)夯锤下落的时序模式：夯锤下落速度快，下落时间短，影像采集设备往往很难拍摄到多张夯锤下落的影像数据。故连续的强夯施工影像序列中，会在较长一段时间内影像中无夯锤目标之后突然检测到带有夯锤目标的影像数据。一般情况下，夯锤下落时序模式下的连续的强夯施工影像序列中夯锤状态变化情况为[…RO,RO,RO,F,S…]，其中因为夯锤下落速度很快，故F状态持续时间较短，甚至可能捕捉不到。

(4)夯锤平移的时序模式：夯机转场触发夯锤平移运动状态，夯锤在相机视野范围内会发生较大的水平向位移，且可能频繁超出视野。夯锤目标中心点像素坐标会出现水平向的较大变化且在短时间内可能出现正值坐标和双负值坐标的频繁切换。一般情况下，夯锤平移时序模式下的连续的强夯施工影像序列中夯锤状态变化情况为[…M,M,MO,MO,M…]，其中，MO状态的前置触发条件为M或MO。夯锤平移状态下，夯锤移动规律更加复杂，除上诉一般举例外还存在更多的状态变化情况，在此不一一列举。

不同运动状态下的夯锤运动时序模式，在前文发明内容中已有阐述。具体来说，基于采集频率为0.5Hz的强夯施工影像数据，S3建立了长度为n的夯锤位置信息队列，即2n秒内的夯锤目标位置信息序列。通过分析2n秒内的夯锤位置变化过程，匹配夯锤运动时序模式，进行夯锤运动状态判断进而实现强夯夯次自动化计量。

在本具体实施例中，取n＝10，研究20s内的夯锤运动变化情况。首先，建立长度n＝10的状态判别值队列S＝[S

(1)夯锤静止状态：若连续两帧图像中夯锤目标中心点变化距离L小于等于距离阈值T，则状态判别结果S

(2)夯锤上升状态：若连续两帧图像中夯锤目标中心点变化距离L大于距离阈值T，且当前帧图像中的C

(3)夯锤下降状态：若连续两帧图像中夯锤目标中心点变化距离L大于距离阈值T，且当前帧图像中的C

(4)夯锤平移状态：若连续两帧图像中夯锤目标中心点变化距离L大于距离阈值T，且当前帧图像中的C

(5)夯锤不在相机视野范围内：由S3知，此时影像中无夯锤目标，夯锤位置信息为P

其中，距离阈值T和水平距离阈值T

根据前文所述的夯锤运动时序模式，进行夯锤运动状态智能判断结果如图3。本实例中，当[…,S

尽管已描述了本发明的优选实例，但本领域的技术人员一旦得知了基本的创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围所有的变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其同等技术的范围之类，则本发明也意图包含这些改动和变型在内。

其它未详细说明的部分均为现有技术。