基于混合神经网络的盾构掘进速度智能预测方法

技术领域

本发明涉及一种基于Attention-ResNet-LSTM混合神经网络的盾构掘进速度智能预测方法，旨在利用盾构施工参数及地层参数对盾构掘进时的速度进行实时预测，辅助匹配最优盾构施工参数，并针对性做出掘进策略调整。

背景技术

近年来，随着我国沿江沿海经济圈的大规模开发利用，隧道工程的发展越来越迅速。在各类施工方法中，盾构法凭借其机械化程度高、快速、对环境扰动小等诸多优点，得到了广泛的应用。然而，由于盾构机和地层之间存在复杂的相互作用，掘进过程中盾构机的行为性能会不断波动，为确保盾构施工安全高效，对盾构机的工作性能进行预测就显得尤为重要。其中，掘进速度反映了盾构与土体相互作用状态，且与建设工期和总成本关联密切，是隧道建设中人们最为关注的指标之一。

传统方法大多通过一些经验和理论模型对土压或泥水盾构的性能进行预测，这些方法往往只适用于特定地层，花费较高成本的同时，难以模拟盾构和地层之间的复杂相互作用情况，与实际工况相差较大，因此难以对盾构掘进速度等关键参数进行精准预测和反馈施工参数匹配的合理性。

发明内容

基于背景技术，本发明提出一种新的基于Attention-ResNet-LSTM混合神经网络的盾构掘进速度智能预测方法，选取输入神经网络的特征向量，同时通过在LSTM网络结构的基础上引入了ResNet结构，增强了盾构掘进过程中数据网络的特征提取能力，同时引入Attention机制，使神经网络可自适应更新数据权重矩阵，利用健康安全工程中积累的已有正样本策略以保障安全，积累更多广泛工程样本使得神经网络鲁棒性、泛化性强，是一种更为智能、精准的预测方法。

本发明的目的在于：以盾构机掘进过程中采集的时空施工参数及地层参数作为输入，将这些数据输入至训练好的Attention-ResNet-LSTM混合神经网络模型中，得到未来时刻盾构掘进速度的实时预测值，为实际盾构施工中的安全提供参考和保障。本发明使用的盾构施工数据源来自安全、可靠且正常施工的盾构工程，要求在盾构施工过程中未发生过明显安全事故，保证了大数据源训练出的模型能够反映盾构机安全掘进下的“机—土”相互关系。随着盾构安全掘进数据库大数据的完善，模型对各类地层的适应性将越来越好，鲁棒性亦不断增强，会为预测模型的安全应用提供更高保障。

为了实现发明目的，采用技术方案如下：

一种基于Attention-ResNet-LSTM混合神经网络的盾构掘进速度智能预测方法，其特征在于，具体包括以下步骤：

S1、采集数据：

在盾构掘进过程中，按固定采样频率f实时记录盾构操作参数，同时记录盾构掘进过程中的土质参数；

S2、数据预处理：

1)空数据检测

2)异常值检测

使用马氏距离(Mahalanobis Distance)作为异常值判别的标准；对于一个均值为μ＝(μ

公式二：

上式中的x指输入变量刀盘转速RS、刀盘扭矩TOR、总推进力TH、承载力特征值F

3)数据归一化

将数据进行归一化，映射至[0,1]区间；

S4、数据集分割：

将预处理之后的数据划分为训练集、验证集和测试集；

S5、构建Attention-ResNet-LSTM混合神经网络模型：

归一化后的输入数据被送入ResNet结构进行特征提取，并通过通道注意力机制对ResNet结构提取后的各通道特征图(feature map)赋予不同权重，将加权后的特征图(feature map)输入LSTM网络，在LSTM结构的最后一层加入时序注意力机制，为不同时刻的隐藏层输出赋予权重值，将加权求和后的时序向量与最后一个时间步的输出拼接，作为注意力机制处理后的最终输出；

S6、模型训练和效果评估：

基于上述S5神经网络模型，将选取的各特征过去p个历史时刻的序列数据作为模型输入，输出则是t时刻的掘进速度，输入和输出参数之间的关系为：

公式六：AR|

其中，函数f即为深度学习模型要拟合的映射关系，p是历史时间序列数据的长度，可由数值实验确定最优取值；

对模型预测效果进行评估，选取平均绝对百分误差MAPE和均方根误差RMSE作为评价指标，两者的结合评估模型的性能，其计算方式如下：

公式八：

公式九：

MAPE和RMSE两个指标的值越小，则说明预测值与真实值之间的偏差越小，模型拟合精度越高；

使用训练好的最优模型在测试集上对掘进速度进行预测，若预测精度符合要求，则该模型应用于实际工程中实时预测盾构掘进速度；若模型的预测精度不符合要求，则重新进行上述步骤，直至预测精度满足实际应用需求。

本申请是一种基于Attention-ResNet-LSTM混合神经网络的盾构掘进速度智能预测方法，主要适用于盾构施工场景，面向盾构机操作人员和施工管理人员。通过对掘进过程施工参数的采集提取及处理，训练Attention-ResNet-LSTM混合神经网络模型，并以此为基础预测盾构掘进速度，从而辅助相关操作人员进行盾构施工参数的匹配与选择，有利于盾构施工的安全高效。

有益效果：

1、能够解决盾构掘进过程中因盾构与地层相互作用关系复杂而导致的掘进速度难以精准、高效预测的问题。

2、充分考虑盾构掘进过程中可能影响掘进速度的重要因素，并给出简明清晰的模型训练和预测方法，有助于相关操作人员和管理人员进行盾构施工参数的匹配与选择，确保盾构隧道能够安全快速掘进。

附图说明

图1为常见的卷积神经网络架构

图2为残差神经网络(ResNet)基本单元示意图

图3为LSTM单元的基本结构

图4为探究过程中EPR算法的拟合结果

图5为Attention-ResNet-LSTM混合神经网络模型结构图

图6盾构掘进速度智能控制系统示意图

图7为实施例1中Attention-ResNet-LSTM混合神经网络模型预测效果

图8为实施例2中AR与RS、AR与TH、AR与TOR间的关系曲线

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一通识简介以及在本发明网络结构设计中的应用：

1)卷积神经网络和残差神经网络

卷积神经网络(CNN)的基本组成结构为：卷积层、池化层、全连接层以及输出层。卷积层是构建CNN的核心层，它的每一个神经元通过卷积核与上一层输入数据进行局部连接(局部感知)，经由不断的卷积操作提取输入的不同特征。且同一深度切片共享同一组权重及偏置，大大减少了网络中的参数数量。池化层一般位于卷积层之后，其作用是降低数据体的空间尺寸，起到二次提取特征的作用，使用较多的有最大池化(max pooling)和均值池化(mean pooling)方法。CNN中的全连接层与传统神经网络类似，每个神经元与前一层的所有神经元进行全连接，从而整合卷积层或池化层中的局部信息，最后的输出值被传递给一个输出层。一个常见的卷积神经网络架构如图1所示。

随着网络深度的增加，CNN的特征提取能力不断增强，但深度卷积神经网络的训练往往面临性能退化的问题：模型在训练集上的准确率随着网络层数的增加反而下降。本发明搭建网络时，采用在残差神经网络(ResNet)引入残差学习的思想，通过学习更容易拟合的残差映射，解决了深层网络的性能退化问题，其基本单元如图2所示。本发明使用ResNet模块从输入数据中提取特征。

2)长短期记忆神经网络

长短期记忆神经网络(LSTM)是一种具有长期记忆能力的递归神经网络，常用于自然语言处理领域，其结构中的门控机制对储存在单元中的信息进行删除和写入，解决了RNN在长时间序列问题中容易出现的梯度消失和梯度爆炸问题。LSTM单元的基本结构如图3所示(图中x

3)注意力机制

传统的神经网络在训练之后会得到一个固定的权重矩阵，即使网络接收到完全不同的输入，该矩阵也会保持不变。在引入注意力机制之后，网络会对不同的输入特征分配相应的权值，使神经网络有机会关注到任务中更为重要的信息。

二与本发明预测网络结构相适配参数组合和应用：

选取输入参数：

预处理之后的数据集包含大量参数，如果将它们全部作为特征输入预测模型，会使得模型的复杂度过高，大大增加计算时间。而如果选择的输入参数太少，则不足以使模型学习到特征之间的相互关系，无法保证预测的准确率。因此，选对并选取合适的输入参数对深度学习模型的应用具有重要意义。

本发明探究过程：

本发明使用进化多项式回归算法(EPR)选取预测模型的最佳输入参数组合。EPR是一种结合了传统数值回归和基因编码技术的混合回归方法，可用于描述多个输入变量与输出变量之间的相关性。EPR算法可以归纳为两个步骤：

第一步，使用优化算法(如遗传算法、粒子群算法等)搜索多项式的符号表达式，转换后的变量可表示为：

公式四：

第二步，通过最小二乘线性回归估计多项式中各项的回归系数。最终的EPR表达式如下：

公式五：

研究阶段，从盾构机操作参数中选取刀盘转速RS、刀盘扭矩TOR、总推进力TH(这些参数可以由操作人员进行调节)，从土质参数中选取承载力特征值F

基于上述EPR算法的拟合结果(如图4所示)，可获得最优的组合参数集，即刀盘转速RS、刀盘扭矩TOR、总推进力TH、承载力特征值F

需要说明的是，探究过程本身不是本发明技术方案的组成部分，经由探究过程所确立的五项参数选取是本发明技术方案的必要组成部分和技术贡献。

三本发明技术方案公开如下：

一种基于Attention-ResNet-LSTM混合神经网络的盾构掘进速度智能预测方法，其特征在于，具体包括以下步骤：

S1、采集数据：

在盾构掘进过程中，按固定采样频率f实时记录盾构操作参数，同时记录盾构掘进过程中的土质参数。为了保障施工安全即保证数据样本的安全，为此必经S2步骤。

S2、数据预处理：

4)空数据检测

原始数据中包含大量无效的空推数据，需要删除这些空数据，提取出其余有价值的数据构成数据集。空数据的检测算法如下：

公式一：f

其中TH

5)异常值检测

盾构掘进过程中收集到的数据并非都是可靠的，受外界干扰或传感器自身影响，往往会产生一些异常值。这里使用马氏距离(Mahalanobis Distance)作为异常值判别的标准，马氏距离不受量纲的影响，且相比于人们更熟悉的欧氏距离(Euclidean Distance)，马氏距离排除了变量之间相关性的干扰，使其适用于多变量时间序列的异常值处理。本申请中，对于一个均值为μ＝(μ

公式二：

上式中的x指输入变量刀盘转速RS、刀盘扭矩TOR、总推进力TH、承载力特征值F

由公式二可知，当各变量不相关时，协方差矩阵S为单位矩阵，马氏距离与欧氏距离相等。将D

6)数据归一化

为了增强模型的收敛速度，消除输入参数之间的数量级差异，将数据全部进行归一化，映射至[0,1]区间。对于输入参数x(本发明的输入参数是刀盘转速RS、刀盘扭矩TOR、总推进力TH、承载力特征值F

公式三：

注：利用归一化数据训练的神经网络，最终从神经网络输出的预测的盾构掘进速度值应从归一化的[0,1]区间还原至初始样本空间中的数值。

S4、数据集分割：

将预处理之后的数据按8:1:1的比例划分为训练集、验证集和测试集，训练集用于模型的训练，验证集用于模型超参数的优化，测试集用于对最终的模型性能进行评估。

S5、构建Attention-ResNet-LSTM混合神经网络模型：

归一化后的输入数据被送入ResNet结构进行特征提取，并通过通道注意力机制对ResNet结构提取后的各通道特征图(feature map)赋予不同权重，将加权后的特征图(feature map)输入LSTM网络，在LSTM结构的最后一层加入时序注意力机制，为不同时刻的隐藏层输出赋予权重值，将加权求和后的时序向量与最后一个时间步的输出拼接，作为注意力机制处理后的最终输出。图5中m、n均为模型超参数，可藉由数值试验确定最优值。

如图5所示的Attention-ResNet-LSTM混合神经网络模型，给出了所发明的预测模型3大模块的构建方法和实施策略：

首先，输入p个历史时刻的样本数据

然后，构建LSTM模块包括n层LSTM单元；以及注意力机制包括通道注意力模块和时序注意力模块；

其中，所述通道注意力模块Channel Attention由全局平均池化层和两个全连接层构成，所述ResNet模块提取的特征图先经过一个全局平均池化层得到各通道的全局信息，再通过两个全连接层得到各通道的权重值，将加权之后的特征图输入LSTM模块；

其中，所述时序注意力模块Temporal Attention中先由全连接层计算最后时刻隐藏状态与各时刻隐藏状态相似度得分

图5中的时序注意力模块可根据实际情况灵活设计，如Bahdanau Attention、Luong Attention等。

S6、模型训练和效果评估：

基于上述S5神经网络模型，将选取的各特征(包括要预测输出的掘进速度)过去p个历史时刻的序列数据作为模型输入，输出则是t时刻的掘进速度，输入和输出参数之间的关系为：

公式六：AR|

其中，函数f即为深度学习模型要拟合的映射关系，p是历史时间序列数据的长度，可由数值实验确定最优取值。

初始化Attention-ResNet-LSTM混合神经网络模型中的参数，损失函数选用均方误差(MSE)，并采用Adam优化算法来训练模型。

公式七：

同时，使用随机搜索算法进行超参数寻优，选取在验证集上误差最小的组合作为模型的最优超参数(m、n、学习率、卷积核个数、LSTM隐层神经元个数等)组合。

为了防止模型出现过拟合现象，在训练中采用早停策略：当模型在验证集上的损失经过一定的迭代次数后不再降低时，中止模型的训练。

为了对模型预测效果进行评估，选取平均绝对百分误差MAPE和均方根误差RMSE作为评价指标，两者的结合可以有效的评估模型的性能，其计算方式如下：

公式八：

公式九：

MAPE和RMSE两个指标的值越小，则说明预测值与真实值之间的偏差越小，模型拟合精度越高。使用训练好的最优模型在测试集上对掘进速度进行预测，若预测精度符合要求，则该模型可应用于实际工程中实时预测盾构掘进速度；若模型的预测精度不符合要求，则重新进行上述步骤，直至预测精度满足实际应用需求。

S7、掘进应用和智能进化

基于S6得到的最优网络模型开展参数敏感性分析，分别得到AR与刀盘转速RS，AR与总推进力TH，AR与刀盘扭矩TOR之间的三个关系曲线，用于提供给PLC控制系统，因此作为应用根据AR预测值可实现盾构掘进系统自动匹配最优掘进参数。

以安全样本喂入“Attention-ResNet-LSTM混合神经网络模型”下的高度安全保障，实现高效掘进的施工应用。随着安全施工项目逐步积累从而样本多样化，神经网络进而得到演进，“Attention-ResNet-LSTM混合神经网络模型”具有极强的网络鲁棒性、泛化性。因此，本发明是一种更为智能、精准的预测方法。

进一步给出实施例：

实施例1

如图6所示，在某盾构隧道在掘进过程中，通过传感器实时对关键施工参数及地层参数进行监测，参数包括：刀盘转速RS、刀盘扭矩TOR、总推进力TH、承载力特征值F

将采集到的数据按公式一和公式二进行空数据和异常值检测：

公式一：f

公式二：

将检测出的空数据和异常值从原始数据当中剔除，并通过公式三对数据进行归一化。

公式三：

通过公式四和公式五藉由EPR算法选取最优输入参数组合：

公式四：

公式五：

将新的数据集按8:1:1的比例划分为训练集、验证集和测试集。按图4所示的结构图搭建Attention-ResNet-LSTM混合神经网络模型，初始化权重参数并通过训练集中的数据对模型进行训练，直至误差趋于稳定。使用随机搜索算法进行超参数(m、n、学习率、卷积核个数、LSTM隐层神经元个数等)寻优，选取在验证集上误差最小的组合作为模型的最优超参数组合，将此时的最优模型记为M

使用M

需要说明的是，本发明的预测模型，即M′

图7为本实施例中Attention-ResNet-LSTM模型预测效果，从图中可以观测到，模型对掘进速度的预测效果很好，预测值整体上与实测值基本一致，模型的均方根误差RMSE为1.308mm/min，平均绝对百分比误差为1.529％，表现出了很高的预测精度。在实际工程中，盾构操作人员和管理人员可应用该智能预测方法对盾构掘进速度开展实时精准预测，提前知悉盾构掘进工作性能的变化趋势，以便匹配与选择最佳的盾构施工参数，保障盾构隧道的安全快速掘进。

实施例2：

如图6所示，进一步公开一种盾构法隧道掘进速度智能控制系统，包括

传感系统包括转速传感器、力传感器，分别布设于主驱动轴的盾构机大齿轮内以及推进油缸分组的总阀块上，用于输出刀盘转速RS和总推进力TH。刀盘扭矩TOR由盾构机主驱动电机的变频柜提供，承载力特征值F

计算机预测系统，包括数据预处理模块、网络模块；由样本库输入参数组合，通过网络模块输出预测掘进速度AR，并通过参数敏感性分析得到AR与刀盘转速RS，AR与总推进力TH，AR与刀盘扭矩TOR之间的关系曲线(如图8所示)，提供给PLC控制系统；

PLC控制系统，依据图8中预测掘进速度AR及AR与上述盾构操作参数之间的关系曲线(可由网络模块进行参数相关性分析获得)，自动调整相关的盾构操作参数，即刀盘转速RS、刀盘扭矩TOR、总推进力TH，PLC控制系统在该三个曲线下用于在安全前提下控制和实时匹配掘进设备处于最佳的掘进速度AR，使之达到预期值，即安全且高效。

需要说明的是，图8曲线仅源于中俄东线天然气管道(永清—上海)长江盾构穿越工程，地层类型以砂黏土为主，随着未来数据集的进一步扩充，相关性曲线可以扩展至各类不同地层，其鲁棒性和准确性都将进一步提升。

图6为本实施例2中介绍的盾构掘进速度智能控制系统逻辑框图，依靠该系统可实现对盾构掘进速度的自动控制，智能匹配最优掘进参数，从而保证盾构施工的安全高效。