一种配电站房运维人员的行为轨迹预测系统和方法

技术领域

本发明涉及配电网运行技术领域，尤其涉及一种配电站房运维人员的行为轨迹预测系统和方法。

背景技术

配电站房作为给用户供配电的核心环节，其运行是否安全可靠直接影响民生用电和生命财产安全。近年来，光伏、储能、新能源电车等分布式资源快速发展，暴风雨等极端天气增加，导致配电站房运维人员-设备-环境等安全问题频发，亟待解决。

配电站房的安全管理一直以来都是重点问题，对设备、环境和运维人员的安全隐患预防是有效保障配电站房安全稳定运行的重要手段，影响配电站房正常运行的安全隐患主要包括设备锈蚀、裂纹、烟火、积水、异物入侵及运维人员不规范着装、违规操作等情况。其中，人体行为识别和轨迹预测可以帮助辨识运维人员安全隐患，但对运维人员的行为辨识和轨迹预测颇具难度，很难准确识别人体行为和预测行为轨迹。

发明内容

本发明的目的是提供一种配电站房运维人员的行为轨迹预测系统和方法，以解决现有技术难以准确地对运维人员进行行为识别和轨迹预测的技术问题。

本发明的目的，可以通过如下技术方案实现：

方案一，一种配电站房运维人员的行为轨迹预测系统，包括：

通信连接的数据处理模块、行为识别模块和轨迹预测模块；

其中，所述数据处理模块获取配电站房的不同模态的视频数据，对所述视频数据进行特征提取、模态对齐和特征融合得到多模态融合特征，所述模态表示所述视频数据的类型；

所述行为识别模块提取所述多模态融合特征中的人体行为语义信息，根据所述人体行为语义信息对所述配电站房的运维人员进行人体行为识别得到行为识别结果；所述行为识别模块为基于注意力机制的图卷积神经网络；

所述轨迹预测模块根据所述行为识别结果对所述运维人员进行行为轨迹预测，得到所述运维人员的行为轨迹预测结果；所述轨迹预测模块为基于视觉注意力网络的长短期记忆网络。

可选地，所述数据处理模块包括：

第一数据处理单元、第二数据处理单元和特征融合单元；

其中，所述第一数据处理单元对所述视频数据中的音频数据、二维图像进行特征提取，得到第一视频特征；

所述第二数据处理单元对所述视频数据中的点云数据、三维图像进行位置编码、模态标记和特征降维，得到第二视频特征；

所述特征融合单元对所述第一视频特征和所述第二视频特征进行特征融合，得到多模态融合特征。

可选地，所述第一数据处理单元包括：

通信连接的策略神经网络和改进的轻量级目标检测网络；

其中，所述策略神经网络获取所述视频数据中的音频数据和二维图像数据并进行特征提取；

所述轻量级目标检测网络进行目标检测，对检测到的运维人员赋予自适应的注意力权重，并进行特征增强，得到第一视频特征；所述轻量级目标检测网络是在YOLOv5的基础上进行改进的。

可选地，所述轨迹预测模块包括：

通信连接的注意力估计单元、编码器LSTM、交互网络和解码器LSTM，LSTM表示长短期记忆网络；

其中，所述注意力估计单元用于估计每个运维人员的估计注意力权重并进行视野约束；

所述编码器LSTM随时间推移处理运维人员的位置序列得到对应的运动模式特征；

所述交互网络根据所述运动模式特征和社会背景特征估计运维人员的社会互动特征；所述社会背景特征是根据所有运维人员的相对位移得到的；

所述解码器LSTM根据所述社会互动特征预测运维人员的行为轨迹。

可选地，所述注意力估计单元包括：

通信连接的注意力网络和视野过滤器；

其中，所述注意力网络根据运维人员相对于特定人员的位置和当前速度，给所述运维人员分配注意力权重；

所述视野过滤器根据现实世界的视野来调节所述注意力权重，得到相应的估计注意力权重。

方案二，一种配电站房运维人员的行为轨迹预测方法，包括：

获取配电站房的不同模态的视频数据，利用预设的数据处理模块对所述视频数据进行特征提取、模态对齐和特征融合得到多模态融合特征，所述模态表示所述视频数据的类型；

利用预设的行为识别模块提取所述多模态融合特征中的人体行为语义信息，根据所述人体行为语义信息对所述配电站房的运维人员进行人体行为识别得到行为识别结果；所述行为识别模块为基于注意力机制的图卷积神经网络；

利用预设的轨迹预测模块根据所述行为识别结果对所述运维人员进行行为轨迹预测，得到所述运维人员的行为轨迹预测结果；所述轨迹预测模块为基于视觉注意力网络的长短期记忆网络。

可选地，所述数据处理模块包括第一数据处理单元、第二数据处理单元和特征融合单元，所述利用预设的数据处理模块对所述视频数据进行特征提取、模态对齐和特征融合得到多模态融合特征包括：

利用所述第一数据处理单元对所述视频数据中的音频数据、二维图像进行特征提取，得到第一视频特征；

利用所述第二数据处理单元对所述视频数据中的点云数据、三维图像进行位置编码、模态标记和特征降维，得到第二视频特征；

利用所述特征融合单元对所述第一视频特征和所述第二视频特征进行特征融合，得到多模态融合特征。

可选地，所述第一数据处理单元包括通信连接的策略神经网络和改进的轻量级目标检测网络，所述利用所述第一数据处理单元对所述视频数据中的音频数据、二维图像进行特征提取，得到第一视频特征包括：

获取所述视频数据中的音频数据、二维图像，利用所述策略神经网络对所述音频数据、二维图像中进行特征提取；

利用所述轻量级目标检测网络进行目标检测，对检测到的运维人员赋予自适应的注意力权重，并进行特征增强，得到第一视频特征；所述轻量级目标检测网络是在YOLOv5的基础上进行改进的。

方案三，一种电子设备，包括：处理器和存储器；

其中，所述存储器存储计算机程序，所述处理器执行所述计算机程序时实现方案一的步骤。

方案四，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现方案一的步骤。

本发明提供了一种配电站房运维人员的行为轨迹预测系统和方法，其中系统包括：通信连接的数据处理模块、行为识别模块和轨迹预测模块；其中，所述数据处理模块获取配电站房的不同模态的视频数据，对所述视频数据进行特征提取、模态对齐和特征融合得到多模态融合特征，所述模态表示所述视频数据的类型；所述行为识别模块提取所述多模态融合特征中的人体行为语义信息，根据所述人体行为语义信息对所述配电站房的运维人员进行人体行为识别得到行为识别结果；所述行为识别模块为基于注意力机制的图卷积神经网络；所述轨迹预测模块根据所述行为识别结果对所述运维人员进行行为轨迹预测，得到所述运维人员的行为轨迹预测结果；所述轨迹预测模块为基于视觉注意力网络的长短期记忆网络。

基于上述技术方案，本发明带来的有益效果是：

利用数据处理模块获取配电站房的不同模态的视频数据，并进行特征提取、模态对齐和特征融合得到多模态融合特征，能根据配电站房的具体场景异构和同构模态的差异融合不同模态的视频数据，以通过视频数据理解分析运维人员的行为语义信息；利用行为识别模块提取多模态融合特征中的人体行为语义信息，同时引入注意力机制来约束运维人员的视野，通过语义理解来识别视频中人员的动作和行为，进而判断人员是否发生意外、存在危险行为等隐患；最后，利用轨迹预测模块对运维人员进行行为轨迹预测，能自动、高效地预测重点运维人员的行动轨迹，提前预防降低安全隐患发生的概率，实现配电站房的高效运维和安全管理，保障电力系统的安全稳定运行。

本发明可以有效识别配电站房运维人员的行为，预测运维人员的行动轨迹，通过建立人员-设备-环境统筹兼顾的配电站房状态检测和人员轨迹预测体系，降低了配电站房运维人员发生安全隐患的概率，对实现配电站房的高效运维、无人值守具有重要的意义。

附图说明

图1为本发明系统实施例的结构示意图；

图2为本发明系统实施例中数据处理模块的结构示意图；

图3为本发明系统实施例中轻量级目标检测网络的结构示意图；

图4为本发明系统实施例中轻量级目标检测网络的自适应注意力模块示意图；

图5为本发明系统实施例中增大目标检测任务的感受野和参数数量的过程示意图；

图6为本发明系统实施例中轨迹预测模块的结构示意图；

图7为本发明系统实施例中编码器LSTM的结构示意图；

图8为本发明系统实施例中解码器LSTM的结构示意图；

图9为本发明系统实施例中注意力估计单元的结构示意图；

图10为本发明方法实施例的流程示意图；

图11为本发明方法实施例的整体框架示意图。

具体实施方式

本发明实施例提供了一种配电站房运维人员的行为轨迹预测系统和方法，以解决现有技术难以准确地对运维人员进行行为识别和轨迹预测的技术问题。

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的首选实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

如今在大数据驱动以及建设“智慧城市”的时代背景下，对配电站房视频数据进行有效分析理解，在创新型建设、智慧电厂安全综合治理等方面都有重要意义。其中，人体行为识别和轨迹预测是众多视频理解任务中最具代表性的任务之一。

请参阅图1，本发明提供了一种配电站房运维人员的行为轨迹预测系统的实施例，包括：

通信连接的数据处理模块11、行为识别模块22和轨迹预测模块33；

其中，所述数据处理模块11获取配电站房的不同模态的视频数据，对所述视频数据进行特征提取、模态对齐和特征融合得到多模态融合特征，所述模态表示所述视频数据的类型；

所述行为识别模块22提取所述多模态融合特征中的人体行为语义信息，根据所述人体行为语义信息对所述配电站房的运维人员进行人体行为识别得到行为识别结果；所述行为识别模块为基于注意力机制的图卷积神经网络；

所述轨迹预测模块33根据所述行为识别结果对所述运维人员进行行为轨迹预测，得到所述运维人员的行为轨迹预测结果；所述轨迹预测模块为基于视觉注意力网络的长短期记忆网络。

在本发明实施例中，模态表示视频数据的类型，模态数据是指视频数据中某种类型的数据，视频数据中具有代表性的一类数据都可选作模态数据，多模态即是对不同类型的视频数据的融合。例如：对声音敏感则关注音频数据；在夜间则关注红外图像数据；对空间敏感则关注点云数据，这种代表性数据是根据配电站房所处环境来体现的，数据处理模块选取视频数据的不同片段中最合适的模态数据作为输入数据并进行融合。

在一个实施例中，数据处理模块可以包括：第一数据处理单元、第二数据处理单元和特征融合单元；

其中，第一数据处理单元对视频数据中的音频数据、二维图像进行特征提取，得到第一视频特征；

第二数据处理单元对视频数据中的点云数据、三维图像进行位置编码、模态标记和特征降维，得到第二视频特征；

特征融合单元对第一视频特征和第二视频特征进行特征融合，得到多模态融合特征。

具体的，根据模态的差异将视频数据中的数据分为两部分：包含音频数据、二维图像的部分由第一数据处理单元进行处理；包含点云数据、三维图像的部分由第二数据处理单元进行处理，通过多模态标记融合(TokenFusion)动态检测无信息的标记。

可以理解的是，数据处理模块是一种自适应的多模态融合结构。

在一个实施例中，第一数据处理单元可以包括：通信连接的策略神经网络和改进的轻量级目标检测网络；

其中，策略神经网络获取视频数据中的音频数据和二维图像数据并进行特征提取；轻量级目标检测网络进行目标检测，对检测到的运维人员赋予自适应的注意力权重，并进行特征增强，得到第一视频特征；轻量级目标检测网络是在YOLOv5的基础上进行改进的。

轻量级目标检测网络Nano-YOLOv5是在YOLOv5基础上进行改进操作，如图3所示，包括优化检测头，设计新的轻量FPN Neck网络替代原始的PAN，并使用SIOU损失提高收敛速度。自适应注意力模块如图4所示，特征层C5大小为h×w，通过自适应池化层(AdaptivePooling Layer)获得三个尺寸的上下文特征，然后通过1×1卷积使得通道维度相同。空间注意力机制通过Concat层合并三个上下文特征通道，随后依次通过1×1卷积层、ReLU层、3×3卷积层和Sigmoid层生成对应空间权重。生成的权重和合并通道后的特征进行Hadamard乘积运算，分离后加入M5特征层，将上下文特征聚合到M6中。最终获得具有多尺度上下文信息，缓解了通道数减少造成的信息丢失。具体的，轻量级目标检测网络Nano-YOLOv5在YOLOv5的基础上优化检测头，通过引入不对称的多级通道压缩解耦头避免次优误差反向传播，并将网络划分三条路径完成相应任务，深化用于目标评分任务的网络路径，并使用3个卷积来增大目标检测任务的感受野和参数数量，如上图5所示。利用空洞卷积学习每个特征图，通过三个不同尺寸空洞卷积获得不同大小感受野。同时，设计新的轻量FPN Neck网络替代原始的PAN，PAN是一种类似FPN的方法，二者主要区别在于特征融合方式不同，PAN比FPN多了一条自底向上的路径，PAN可以保留更多细节但是增加计算量，FPN Neck通过在FPN基础上增加自适应注意力机制和特征增强，前部分减少通道，减少了上下文信息丢失，后部分增强特征表示，加快推理速度。并且，使用SIOU损失函数提高收敛速度，SIOU损失函数是一种边界框回归学习的损失函数，在IOU基础上，考虑到所需回归之间的向量角度，重新定义了惩罚指标，能够提高训练的速度和推理的准确性。与原算法相比，mAP提升2.8％，参数量减少28.3％，计算量减少20.2％，快2～3倍。

请参阅图2，将视频数据中不同模态的数据分为两部分，第一部分数据主要包括RGB图像、深度图像、骨骼图像等二维图像数据，以及音频数据；将RGB图像、深度图像、骨骼图像进行差分操作后与音频数据一并输入到策略神经网络中，通过特征提取和长短期记忆网络后进入全连接层，得到相应的特征图并输入轻量级目标检测网络，通过轻量级目标检测网络进行目标检测即检测运维人员，对检测到的运维人员赋予自适应的注意力权重，得到第一视频特征并输入特征融合单元。第二部分数据主要包括点云数据和三维图像，对点云数据进行采样得到采样后的点云数据，将采样后的点云数据及三维图像输入第二数据处理单元，第二数据处理单元对采样后的点云数据和三维图像进行位置编码后，输入多头注意力Transformer块得到多模态的标记，最后经过前馈神经网络进行特征降维后输出第二视频特征；将两个单元输出的特征即第一视频特征和第二视频特征输入特征融合单元，利用特征融合单元对第一、第二视频特征进行融合得到多模态融合特征，并将多模态融合特征输入行为识别模块。

行为识别模块22提取多模态融合特征中的人体行为语义信息，根据人体行为语义信息对配电站房的运维人员进行人体行为识别，得到行为识别结果。

具体的，人体行为可以使用RGB、骨骼、深度、红外、点云、事件流、音频等数据模态来表示，配电站房场景下主流的有RGB、深度和骨骼模态，这些数据模态各有优缺点。其中，RGB数据易采集、外观信息丰富，但是受环境影响较大；深度数据对光照不敏感，但是缺少颜色纹理信息，有距离限制且易受遮挡物影响；骨骼数据对动作的描述更加准确，对环境不敏感，但是缺少外观和形状信息，信息比较嘈杂。

需要说明的是，视频数据中的深度数据，也称为深度图像(depth image)、距离影像(range image)，是指将从图像采集器到配电站房具体场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。

行为识别是指通过对人或物体的行为进行观察和分析，从而确定其身份、意图或状态的过程。目前存在的行为识别方法主要分两种类型：一种是基于单一数据源的单模态方法，另一种是基于多数据源的多模态方法。针对单模态在行为识别任务中始终存在一些问题，多模态方法可以综合各模态数据优势，得到更准确的行为识别结果，但实现较为困难。

人体行为识别可以帮助辨识运维人员安全隐患，但配电站房场景下不同数据模态各有优缺点。现有技术中，针对不同人群规模场景中的人员轨迹跟踪没有考虑不同邻居的重要性，导致得到的人员轨迹预测结果不够准确。

轨迹预测任务是指根据已观测到的人体行为数据，对未来的人员移动路径进行预测。在轨迹预测任务中考虑不同邻居的重要性是非常重要的，特别是在不同人群规模的场景中。在此背景下，本发明借鉴人类以多种认知方式感知环境，让机器处理关联多个模态信息进行多模态学习和融合，基于多模态的视频数据进行运维人员的行为语义理解。

本发明实施例基于配电站房视频数据进行运维人员的行为轨迹智能预测，通过视频数据理解分析人体的行为语义信息、识别人体动作、判断人体行为、预测未来轨迹，在此基础上可应用于开展安全隐患辨识任务，对实现基于视频数据的人员安全隐患预测及辨识具有重要意义。

所述轨迹预测模块33根据所述行为识别结果对所述运维人员进行行为轨迹预测，得到所述运维人员的行为轨迹预测结果；所述轨迹预测模块为基于视觉注意力网络的长短期记忆网络。

综合考虑移动设备有限的计算能力和空间，提出了较高密度人群问题解决方法，首先，利用一个图形结构表示人群状态；其次，使用执行鸟瞰导航任务的人类操纵者的凝视数据来学习一个注意力网络，该网络根据注意力测量的重要性为人群中不同的个体分配不同的权重，并利用每个个体的视野约束来对权重进行约束；最后，利用变分推理来模拟轨迹的随机性。基于此，本发明实施例提出了利用人类注意力引导的带视野约束的图神经网络ALVGCN来进行轨迹预测，该模型目标是生成配电站房场景中特定/所有人员未来可能的行为轨迹，轨迹预测的整体网络模型如图3所示。

需要说明的是，本实施例中的轨迹预测模块为利用人类注意力引导的带视野约束的图神经网络ALVGCN，图神经网络ALVGCN作为基于GCN的编解码器，包括两个长短期记忆网络LSTM，即包括一个编码器LSTM和一个解码器LSTM。

在一个实施例中，轨迹预测模块可以包括：通信连接的注意力估计单元、编码器LSTM、交互网络和解码器LSTM，LSTM表示长短期记忆网络；

其中，注意力估计单元用于估计每个运维人员的估计注意力权重并进行视野约束；

编码器LSTM随时间推移处理运维人员的位置序列得到对应的运动模式特征；

交互网络根据运动模式特征和社会背景特征估计运维人员的社会互动特征；社会背景特征是根据所有运维人员的相对位移得到的；

解码器LSTM根据社会互动特征预测运维人员的行为轨迹。

在一个实施例中，注意力估计单元可以包括：通信连接的注意力网络和视野过滤器；

其中，注意力网络根据运维人员相对于特定人员的位置和当前速度，给运维人员分配注意力权重；视野过滤器根据现实世界的视野来调节所述注意力权重，得到相应的估计注意力权重。

请参阅图3，轨迹预测模块包含一个基于GCN的变异编码器-解码器主干(编码器LSTM和解码器LSTM)，用于序列到序列的轨迹预测。对于每个行人，利用一个注意力网络根据他们相对于特定行人如行人i的位置和他们的速度，将注意力分配给邻近的行人；然后，利用一个视野过滤器根据现实世界的视野限制来调节注意力，得到相应的注意力权重。由此产生的注意力权重被应用于注意力集合和调制GCN的邻接矩阵。序列对序列的预测是由两个LSTM即编码器LSTM和解码器LSTM实现的。在图4和图5中，能清楚地显示从编码器LSTM、解码器LSTM中数据输入到数据输出的映射情况。

请参阅图3，图3中显示了运维人员i的轨迹预测过程，轨迹预测模块中包含有一个基于GCN的变异编码器-解码器主干，用来进行序列到序列的轨迹预测。定义人员的轨迹i如式(1)所示，表示运维人员i在t

在k～k-1时间戳内的位置变化如式(2)所示：

时间步长t

时间步长t＝1，...t

将个体轨迹用一个固定长度的矢量表示，首先将单层MLP(FC)应用于每个相对位置，然后使用LSTM随时间推移处理序列，如式(4)所示：

其中，W

FC层首先接受所有人员的相对位移，然后通过注意力共享模块MLP

将运动模式特征e

每个人员对应图中一个节点，邻接矩阵A

由GCN层计算的社会互动特征估计使用一对MLP的轨迹特征分布的平均值和方差，如式(7)所示：

μ

其中，W

对于每个个体，注意力网络根据他们相对于人员i的位置和当前速度，分配注意力给邻近的人员。然后，一个视野过滤器根据现实世界的视野限制来调节注意力，产生的注意力权重被用于注意力集合和调控GCN的邻接矩阵。而序列到序列的预测由两个LSTM实现。图4和图5将LSTM展开清楚地显示了从输入到输出的映射情况。

请参阅图6，为了进一步优化在运动预测任务中的表现，引入了网络估计注意力结构，对注意力权重进行学习。

现有技术中，都是通过最小化基于注视数据定义的注意力估计误差直接学习注意力，本发明实施例中将运动预测误差和注意力估计误差结合起来进行学习。

前面已经介绍过通过一个两层GCN来估计每个行人的注意力权重，预测的注意力权重用来汇总第一个GCN层的输出；利用混合输出特征，使用完全连通的单层神经对如人员运动进行预测。注意力网络的输入是人群中人员相对人员i的位置和在时间t

让j∈{1，...，N}，将这些特征嵌入一个两层MLP的高维空间得到高维特征b

嵌入的数据b

W

定义注意力网络的权值最小化损失函数，公式(12)计算的是运动预测误差和真实凝视的偏差，a

通过在t

为了计算式(12)中的第一项，对人员i的下一帧运动

由于估计真实注意力的注视数据是从人类操作者那收集的，他们在人群中执行机器人导航任务，基于对环境的自上而下的观察。因此，操作者可以获得与现实世界中的人员不同的视角，而人员的视野只限于他们面前的区域。为了弥补这种不匹配，本发明实施例在估计的注意力权重中加入了一个视野约束，即假设每个人员只注意位于人员i正面方向一定视觉角度内的人员，通过验证120°视野效果最好。

本发明首先通过数据处理模块多模态视频数据进行模态对齐和网络融合，模态是指视频中某种类型的数据，多模态即是研究不同类型数据的融合，视频中具有代表性的一类数据都可选作模态数据，例如：对声音敏感则关注音频数据；在夜间则关注红外图像数据；对空间敏感则点云数据，这种代表性是根据所处环境来体现的，选取不同片段中最合适的模态作为输入并融合，根据模态的差异分为两部分，学习数据中包含音频信息的部分由一个策略网络和一个轻量级检测网络Nano-YOLOv5构成，学习数据中包含点云信息的部分通过多模态标记融合(TokenFusion)动态检测无信息的标记，其中Nano-YOLOv5是在YOLOv5基础上进行改进操作，包括优化检测头，设计新的轻量FPN Neck网络替代原始的PAN，并使用SIOU损失提高收敛速度；然后提出了利用人类注意力引导的带视野约束的处理图数据的神经网络来对人体轨迹进行预测。

为了进一步优化在运动预测任务中的表现，引入了网络估计注意力结构，对注意力权重进行学习；最后通过改变输入形式，覆盖目标检测、轨迹预测、行为识别等功能，并经过训练及测试证明，本发明实施例所提出的方法可以更好的相互作用进行建模，生成更有效准确的预测轨迹。

本发明实施例提供的配电站房运维人员的行为轨迹预测系统，利用数据处理模块获取配电站房的不同模态的视频数据，并进行特征提取、模态对齐和特征融合得到多模态融合特征，能根据配电站房的具体场景异构和同构模态的差异融合不同模态的视频数据，以通过视频数据理解分析运维人员的行为语义信息；利用行为识别模块提取多模态融合特征中的人体行为语义信息，同时引入注意力机制来约束运维人员的视野，通过语义理解来识别视频中人员的动作和行为，进而判断人员是否发生意外、存在危险行为等隐患；最后，利用轨迹预测模块对运维人员进行行为轨迹预测，能自动、高效地预测重点运维人员的行动轨迹，提前预防降低安全隐患发生的概率，实现配电站房的高效运维和安全管理，保障电力系统的安全稳定运行。

本发明实施例可以有效识别配电站房运维人员的行为，预测运维人员的行动轨迹，通过建立人员-设备-环境统筹兼顾的配电站房状态检测和人员轨迹预测体系，降低了配电站房运维人员发生安全隐患的概率，对实现配电站房的高效运维、无人值守具有重要的意义。

请参阅图7，本发明提供了一种配电站房运维人员的行为轨迹预测方法的实施例，包括：

S100：获取配电站房的不同模态的视频数据，利用预设的数据处理模块对所述视频数据进行特征提取、模态对齐和特征融合得到多模态融合特征，所述模态表示所述视频数据的类型；

S200：利用预设的行为识别模块提取所述多模态融合特征中的人体行为语义信息，根据所述人体行为语义信息对所述配电站房的运维人员进行人体行为识别得到行为识别结果；所述行为识别模块为基于注意力机制的图卷积神经网络；

S300：利用预设的轨迹预测模块根据所述行为识别结果对所述运维人员进行行为轨迹预测，得到所述运维人员的行为轨迹预测结果；所述轨迹预测模块为基于视觉注意力网络的长短期记忆网络。

本发明实施例基于视频数据进行人体行为语义理解，进而预测配电站房运维人员的行为轨迹，通过语义理解对视频中人员的行为、轨迹进行识别和预测，进而判断人员是否发生意外、存在危险行为等隐患，并对重点人员的轨迹进行预测，提前预防降低安全隐患发生的概率。

本发明所提出方法可以有效预测人员行为和轨迹，降低安全隐患发生的概率，对建立人员-设备-环境统筹兼顾的配电站房状态检测和人员轨迹预测体系，实现配电站房高效运维、无人值守具有重要的意义。根据配电站房具体场景异构和同构模态的差异融合不同数据模态构建模型，同时引入注意力机制来约束行人视野，并基于图神经网络进行轨迹预测。

本发明实施例提供的配电站房运维人员的行为轨迹预测方法，利用数据处理模块获取配电站房的不同模态的视频数据，并进行特征提取、模态对齐和特征融合得到多模态融合特征，能根据配电站房的具体场景异构和同构模态的差异融合不同模态的视频数据，以通过视频数据理解分析运维人员的行为语义信息；利用行为识别模块提取多模态融合特征中的人体行为语义信息，同时引入注意力机制来约束运维人员的视野，通过语义理解来识别视频中人员的动作和行为，进而判断人员是否发生意外、存在危险行为等隐患；最后，利用轨迹预测模块对运维人员进行行为轨迹预测，能自动、高效地预测重点运维人员的行动轨迹，提前预防降低安全隐患发生的概率，实现配电站房的高效运维和安全管理，保障电力系统的安全稳定运行。

本发明实施例可以有效识别配电站房运维人员的行为，预测运维人员的行动轨迹，通过建立人员-设备-环境统筹兼顾的配电站房状态检测和人员轨迹预测体系，降低了配电站房运维人员发生安全隐患的概率，对实现配电站房的高效运维、无人值守具有重要的意义。

请参阅图8，基于配电站房视频数据的运维人员行为轨迹智能预测方法，通过视频理解分析人体的行为语义信息，识别人体动作，判断人类行为，预测未来轨迹。整体框架由三部分组成，分别为数据处理模块(采集输入模块)、行为识别模块、轨迹预测模块(功能输出模块)。

其中，采集输入模块主要由模态对齐模块和网络融合模块构成，通过对齐不同模态补偿静态空间信息的RGB数据，消除不同模态间的差异。然后，将对齐好的模态数据输入到网络融合模块，同时进行特征学习和特征融合，融合好的多模态特征输入行为识别模块。

其中，行为识别模块是通过轻量化高精度目标检测算法尽可能地提取更丰富深层的人体行为语义信息，得到更加准确的人体动作和轨迹。轨迹预测模块可以通过输入相应模态的数据，能够覆盖目标检测、行为识别、轨迹预测等功能。轨迹预测模块可以改变输入数据的形式，进行相关操作得到相应的功能。例如，仅输入图像数据时，能检测到图像中的人员、识别图像中人员的行为和动作；输入具有一定时长(如20s)的视频数据时，能预测视频中人员的运行轨迹。

通过受试者引导一个“虚拟行人”根据场景得自上而下得试图穿过人群。人群是由用于训练行人轨迹预测网络的真实行人轨迹构建的，当执行这项任务是，检测受试者的目光，由凝视数据构成只用来训练注意力网络模型。

采用留一法对轨迹预测和注意力网络进行评估，将6个时间步长的轨迹作为观察对象，评估接下来10个时间步长的轨迹预测。通过平均位移误差(ADE)和最终位移误差(FDE)来衡量效果。

通过计算5个不同测试数据集上运动预测的平均绝对误差，对注意力的学习平均提高了6.8％的预测准确性。还和一些先进优秀的基线模型(S-GAN、CoMoGCN、STGAT、NMMP等)进行了定量评估，ALVGCN取得了最小的平均ADE/FDE，在ADE方面平均提高了11.1％，在FDE方面平均提高了13.6％。最后还进行了几个消融实验，验证使用GCN和注意力机制的有效性。比对了AGCN、GCN和ALVGCN、VGCN两对模型，嵌入人类凝视的注意力对ADE和FDE都有一定的提升。综上，通过这些实验，ALVGCN模型通过更好的相互作用进行建模，更有效准确的生成行为轨迹。

本发明还提供了一种电子设备，包括：处理器和存储器；

其中，所述存储器存储计算机程序，所述处理器执行所述计算机程序时实现所述的方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或者光盘等各种可以存储程序代码的介质。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。