一种输水隧洞挖掘机作业状态的识别方法及系统

技术领域

本发明涉及机械动作识别技术领域，尤其涉及一种输水隧洞挖掘机作业状态的识别方法及系统。

背景技术

挖掘机的自身作业状态是造成输水隧洞施工现场存在安全隐患的主要原因之一，传统情况下是由现场安全管理人员在室外时刻关注挖掘机与人员的位置变化轨迹来判断现场安全风险情况。近年来，主要是通过在施工现场安装监控摄像头以及在挖掘机上装设传感器，以帮助现场安全管理人员在室内完成安全检查，但此方案面临以下两类问题：其一，当挖掘机在执行现场施工作业时，经常是底部行走装置固定不动，而中部转动装置与顶部挖掘装置发生位置与姿态的变化，此方法无法满足于对挖掘机整体的动态监视；其二，主要依赖于现场安全管理人员的主观判断和专业知识水平，且长时间地查看监控视频十分消耗时间和精力，容易因疲劳导致人工评估结果出现错误，从而引发安全事故。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种输水隧洞挖掘机作业状态的识别方法及系统，结合GRU循环神经网络模型可实现对挖掘机整体作业状态的在线识别，有效提升对输水隧洞施工现场的安全管理。

为了解决上述问题，本发明提出了一种输水隧洞挖掘机作业状态的识别方法，所述方法包括：

对挖掘机在t时刻下的实际关节点位置数据l

基于GRU循环神经网络模型对所述实际关节点位置数据l

结合所述实际关节点位置数据l

可选的实施方式，所述对挖掘机在t时刻下的实际关节点位置数据l

基于输水隧洞内部面向所述挖掘机的作业区域架设有摄像头，采集所述挖掘机在t时刻下的图像数据；

在所述图像数据中标注出所述挖掘机的五个关节点位置，统计所述挖掘机在t时刻下的实际关节点位置数据l

可选的实施方式，所述在所述图像数据中标注出所述挖掘机的五个关节点位置包括：

在所述图像数据中标注出所述挖掘机的机体重心位置为关节点0、所述挖掘机的机体尾部位置为关节点1、所述挖掘机的斗杆起始位置为关节点2、所述挖掘机的斗杆尾部位置为关节点3以及所述挖掘机的铲斗尾部位置为关节点4。

可选的实施方式，所述基于GRU循环神经网络模型对所述实际关节点位置数据l

获取基于所述GRU循环神经网络模型所预测得到的所述挖掘机在t时刻下的预测关节点位置数据h

将所述预测关节点位置数据h

将所述预测关节点位置数据h

将所述预测关节点位置数据h

对所述预测关节点位置数据h

可选的实施方式，在获取基于所述GRU循环神经网络模型所预测得到的所述挖掘机在t时刻下的预测关节点位置数据h

基于所述挖掘机在历史时刻下的若干组预测关节点位置数据和若干组实际关节点位置数据，确定所述GRU循环神经网络模型使用到的损失函数。

可选的实施方式，所述结合所述实际关节点位置数据l

从所述实际关节点位置数据l

从所述预测关节点位置数据

将所述欧式距离ED

基于所述一阶差分集合DF中所包含的所有一阶差分值，识别出所述挖掘机在t时刻下的作业状态。

可选的实施方式，所述基于所述一阶差分集合DF中所包含的所有一阶差分值，识别出所述挖掘机在t时刻下的作业状态包括：

基于所述一阶差分集合DF中所包含的所有一阶差分值均为零值，识别所述挖掘机在t时刻下处于空闲未作业状态；

基于所述一阶差分集合DF中所包含的一阶差分值DF

基于所述一阶差分集合DF中所包含的一阶差分值DF

另外，本发明实施例还提供了一种输水隧洞挖掘机作业状态的识别系统，所述系统包括：

采集模块，用于对挖掘机在t时刻下的实际关节点位置数据l

预测模块，用于基于GRU循环神经网络模型对所述实际关节点位置数据l

识别模块，用于结合所述实际关节点位置数据l

在本发明实施例中，以挖掘机的各个关键关节点的当前位置数据为参照信息，通过搭建GRU循环神经网络模型并结合一阶差分法可实现对挖掘机整体作业状态的在线识别，将有效提升对施工现场的安全管理，相比于原有的监控方法，在降低人力与时间成本的同时，可克服其它不相关因素(如光线、遮挡物)的影响，保证输出监测结果的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的输水隧洞挖掘机作业状态的识别方法的流程示意图；

图2是本发明实施例中的挖掘机各个关节点的具体位置标注示意图；

图3是本发明实施例中的输水隧洞挖掘机作业状态的识别系统的组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

请参阅图1，图1示出了本发明实施例中的输水隧洞挖掘机作业状态的识别方法的流程示意图。

如图1所示，一种输水隧洞挖掘机作业状态的识别方法，所述方法包括：

S101、对挖掘机在t时刻下的实际关节点位置数据l

本发明实施过程包括：

(1)基于输水隧洞内部面向所述挖掘机的作业区域架设有摄像头，采集所述挖掘机在t时刻下的图像数据；

(2)在所述图像数据中标注出所述挖掘机的五个关节点位置，统计所述挖掘机在t时刻下的实际关节点位置数据l

具体的，首先在所述图像数据中标注出所述挖掘机的机体重心位置为关节点0、所述挖掘机的机体尾部位置为关节点1、所述挖掘机的斗杆起始位置为关节点2、所述挖掘机的斗杆尾部位置为关节点3以及所述挖掘机的铲斗尾部位置为关节点4，如图2所示，且关节点0和关节点1在同一水平线上；其次，在所述图像数据中建立二维平面坐标系：以关节点0为坐标原点，以关节点0处自左往右的方向为坐标X轴正方向，以关节点0处自上往下的方向为坐标Y轴正方向；最后，记录所述五个关节点位置中的每一个关节点位置所对应的实际关节点位置信息P

S102、基于GRU循环神经网络模型对所述实际关节点位置数据l

在本发明实施例中，由于所述挖掘机的作业状态是由时间连续的一系列动作所组成的，仅通过单张图像数据并采用卷积神经网络模型来进行学习以判断其工作状态的方式是存在一定局限性的，此处选择应用GRU(Gate Recurrent Unit，门循环单元)循环神经网络模型来实现对所述挖掘机的关节点位姿信息的估计预测，具体实施过程包括：

(1)基于所述挖掘机在历史时刻下的若干组预测关节点位置数据和若干组实际关节点位置数据，确定所述GRU循环神经网络模型使用到的损失函数为：

其中，M为测试数据集的样本数量，基于所述若干组预测关节点位置数据和所述若干组实际关节点位置数据存在时间对应关系，此处的M可记录为所述若干组预测关节点位置数据的组数、或者所述若干组实际关节点位置数据的组数；K为所述挖掘机的关节点数量(此处K＝5)，d

(2)获取基于所述GRU循环神经网络模型所预测得到的所述挖掘机在t时刻下的预测关节点位置数据h

(3)将所述预测关节点位置数据h

R

其中，W

(4)将所述预测关节点位置数据h

其中，W为所述隐藏层的权值参数矩阵，tanh(x)函数为激活函数；

(5)将所述预测关节点位置数据h

Z

其中，W

(6)对所述预测关节点位置数据h

需要说明的是，所述预测关节点位置数据

S103、结合所述实际关节点位置数据l

本发明实施过程包括：

(1)从所述实际关节点位置数据l

其中，x

(2)从所述预测关节点位置数据

其中，

(3)将所述欧式距离ED

需要说明的是，由于DF

(5)基于所述一阶差分集合DF中所包含的所有一阶差分值，识别出所述挖掘机在t时刻下的作业状态，具体表现为：

A.基于所述一阶差分集合DF中所包含的所有一阶差分值均为零值，识别所述挖掘机在t时刻下处于空闲未作业状态；

B.基于所述一阶差分集合DF中所包含的一阶差分值DF

C.基于所述一阶差分集合DF中所包含的一阶差分值DF

在本发明实施例中，以挖掘机的各个关键关节点的当前位置数据为参照信息，通过搭建GRU循环神经网络模型并结合一阶差分法可实现对挖掘机整体作业状态的在线识别，将有效提升对施工现场的安全管理，相比于原有的监控方法，在降低人力与时间成本的同时，可克服其它不相关因素(如光线、遮挡物)的影响，保证输出监测结果的准确度。

实施例

请参阅图3，图3示出了本发明实施例中的输水隧洞挖掘机作业状态的识别系统的组成示意图。

如图3所示，一种输水隧洞挖掘机作业状态的识别系统，所述系统包括：

采集模块201，用于对挖掘机在t时刻下的实际关节点位置数据l

具体实施过程包括：

(1)基于输水隧洞内部面向所述挖掘机的作业区域架设有摄像头，采集所述挖掘机在t时刻下的图像数据；

(2)在所述图像数据中标注出所述挖掘机的五个关节点位置，统计所述挖掘机在t时刻下的实际关节点位置数据l

具体的，首先在所述图像数据中标注出所述挖掘机的机体重心位置为关节点0、所述挖掘机的机体尾部位置为关节点1、所述挖掘机的斗杆起始位置为关节点2、所述挖掘机的斗杆尾部位置为关节点3以及所述挖掘机的铲斗尾部位置为关节点4，如图2所示，且关节点0和关节点1在同一水平线上；其次，在所述图像数据中建立二维平面坐标系：以关节点0为坐标原点，以关节点0处自左往右的方向为坐标X轴正方向，以关节点0处自上往下的方向为坐标Y轴正方向；最后，记录所述五个关节点位置中的每一个关节点位置所对应的实际关节点位置信息P

预测模块202，基于GRU循环神经网络模型对所述实际关节点位置数据l

在本发明实施例中，由于所述挖掘机的作业状态是由时间连续的一系列动作所组成的，仅通过单张图像数据并采用卷积神经网络模型来进行学习以判断其工作状态的方式是存在一定局限性的，此处选择应用GRU(Gate Recurrent Unit，门循环单元)循环神经网络模型来实现对所述挖掘机的关节点位姿信息的估计预测，具体实施过程包括：

(1)基于所述挖掘机在历史时刻下的若干组预测关节点位置数据和若干组实际关节点位置数据，确定所述GRU循环神经网络模型使用到的损失函数为：

其中，M为测试数据集的样本数量，基于所述若干组预测关节点位置数据和所述若干组实际关节点位置数据存在时间对应关系，此处的M可记录为所述若干组预测关节点位置数据的组数、或者所述若干组实际关节点位置数据的组数；K为所述挖掘机的关节点数量(此处K＝5)，d

(2)获取基于所述GRU循环神经网络模型所预测得到的所述挖掘机在t时刻下的预测关节点位置数据h

(3)将所述预测关节点位置数据h

R

其中，W

(4)将所述预测关节点位置数据h

其中，W为所述隐藏层的权值参数矩阵，tanh(x)函数为激活函数；

(5)将所述预测关节点位置数据h

Z

其中，W

(6)对所述预测关节点位置数据h

需要说明的是，所述预测关节点位置数据

识别模块203，用于结合所述实际关节点位置数据l

具体实施过程包括：

(1)从所述实际关节点位置数据l

其中，x

(2)从所述预测关节点位置数据

其中，

(3)将所述欧式距离ED

需要说明的是，由于DF

(5)基于所述一阶差分集合DF中所包含的所有一阶差分值，识别出所述挖掘机在t时刻下的作业状态，具体表现为：

A.基于所述一阶差分集合DF中所包含的所有一阶差分值均为零值，识别所述挖掘机在t时刻下处于空闲未作业状态；

B.基于所述一阶差分集合DF中所包含的一阶差分值DF

C.基于所述一阶差分集合DF中所包含的一阶差分值DF

在本发明实施例中，以挖掘机的各个关键关节点的当前位置数据为参照信息，通过搭建GRU循环神经网络模型并结合一阶差分法可实现对挖掘机整体作业状态的在线识别，将有效提升对施工现场的安全管理，相比于原有的监控方法，在降低人力与时间成本的同时，可克服其它不相关因素(如光线、遮挡物)的影响，保证输出监测结果的准确度。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可存储于一计算机可读存储介质中，存储介质可包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

以上对本发明实施例所提供的一种输水隧洞挖掘机作业状态的识别方法及系统进行了详细介绍，本文中采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。