基于构建人员邻接关系图异常行为建模及检测方法及系统

技术领域

本发明涉及数字视频处理技术领域，具体地，涉及一种视频异常行为检测方法，更为具体地，涉及一种基于构建人员邻接关系图异常行为建模及检测方法及系统。

背景技术

视频异常行为检测是一类对监控视频中出现的可能威胁社会秩序、公众安全的行为进行识别检测的任务。随着社会治安水平要求的提高，越来越多的公共场所安装了监控摄像头，可以在监控室内对当下各监控场景进行实时审查，也可以对过去一段时间内发生的事件进行记录与追溯。但无论是对监控屏幕可能发生的异常行为进行实时监测，还是对监控录像进行追溯搜查，都需要耗费大量的人力与时间。视频异常行为检测旨在通过计算机视觉方法，将异常行为的检测看作一类特殊的分类任务，提取特征进行建模，运用深度网络对特征进行学习，从而将由监控视频得到异常分析结果的过程自动化，节省人力资源，并且保证检测的准确性和高效性。

异常行为检测任务的研究经过了多年发展，已形成了一定的体系。按照技术路线分类，可分为分类模型和重构模型两种；按照监督方式分类，可分为监督、无监督、有无监督混合、弱监督(Weakly Supervised)与自监督(Self-Supervised)学习；按照使用的特征分类，可分为使用外观特征和运动信息结合、使用骨骼特征等。

“异常”是相对的没有固定语义的概念，其定义往往依赖于上下文，具有歧义性。同样的事件可能会因为发生场景的不同而在异常检测任务中被赋予不同的标签，这就导致虽然异常检测看似是一个动作分类任务，但又与动作分类有着千差万别。正是事件异常与否依赖于发生场景这一特点使得当前业界应用的方法存在较难突破的瓶颈，且很难兼顾准确率与速度。另外，业界应用的方法大多只定位异常发生的时间片段，而未具体识别异常在画面中的位置。

专利文献CN114913599A公开了一种基于自动编码器的视频异常行为检测方法及系统，包括视频的下采样预处理、结合背景提取算法与图像分割网络对预处理后的视频图像序列进行前景背景分离、将前景与背景分别输入到双通道自编码器的不同通道提取特征，并在其隐含层进行特征融合，最终将融合特征送入解码器训练的方法。但该发明直接提取RGB画面的特征，没有将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点。

专利CN113313037A公开了一种一种基于自注意力机制的生成对抗网络视频异常检测方法，包括视频预处理、使用liteFlownet网络对运动信息进行建模、引入自注意力机制的生成器和马尔科夫判别器组成的生成对抗网络。但该发明没有采用人员邻接关系图对运动信息进行建模，没有引入Sub-GCN网络进行训练与检测。

论文Semi-Supervised Classification With Graph Convolutional Networks提出了如今被广泛运用的GCN模型，其在传播过程中采用邻域聚合的方式，使用邻居节点的特征聚合表征当前节点，结合拓扑图的连接特性，可实现多种任务，包括但不限于社交网络预测、交通预测等。但在异常检测任务中，各节点之间的差异正是区分节点异常性的关键，因此，需要对特征的表征方式加以深入研究，该发明没有采用新型的聚合表征方式，没有关注同一张图中当前节点与其邻接节点的差异性。

专利CN109543539A公开了一种人群异常行为检测方法，其主要特征，包括：第一步：采集监控区域的视频数据并进行预处理；第二步：利用混合高斯模型进行背景建模，从原始图像分离出背景像素；第三步：从监控视频图像中提取运动目标；

第四步：记录运动目标的轨迹信息，并进行标记；第五步：对标记的运动目标进行跟踪和统计，从而计算人流量；第六步：当运动目标的运动轨迹超出设定的阈值时，发出报警信息。但该发明没有引入Sub-GCN网络进行训练与检测。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于构建人员邻接关系图异常行为建模及检测方法及系统。

根据本发明提供的一种基于构建人员邻接关系图异常行为建模及检测方法，包括：

步骤S1：对人员进行目标跟踪，得到人员编号、人员出现的帧序号以及在每一帧中的位置区域坐标信息；

步骤S2：以每个人员目标为节点建立节点邻接矩阵，计算节点之间的邻接关系，以当前节点和邻接节点的坐标距离作为邻接边权重，构建人员邻接关系图结构；

步骤S3：计算每个节点位置区域坐标变化，设置节点特征；

步骤S4：构建网络结构，输入图数据，输出每帧检测结果，检测每个图中是否包含异常节点，若存在则认为该帧中存在异常行为，计算损失更新网络参数。。

优选地，在所述步骤S1中：

运用目标跟踪器对原始视频数据进行处理，得到每个视频对应的跟踪信息序列，序列中每一条信息由帧编号f、人员身份编号p、人员识别框左上角坐标(x

对信息序列中的每条信息，计算当前人员中心所在的坐标(x，y)

其中，x，x

优选地，在所述步骤S2中：

对于每个视频的跟踪信息序列，每帧中包含的所有人员身份编号p的集合为每帧所需要构建的拓扑图中节点的集合，集合大小为n；

对于每个视频，包含帧总数为m，以计算的人员中心坐标(x，y)为数据，建立维度为m×n×2的矩阵d；

对于每一对f，p：

d

对于上述计算后仍未被赋值的矩阵中元素：

其中：

其中，db为从当前帧向后寻找最近的出现当前人员的帧，取其中该人员的位置数据，f

对于每一帧中的每两个节点，计算节点中心位置的距离，以距离的倒数作为边权重为这两个节点建立无向边：

其中f为当前帧，a，b为节点，dis

建立节点并赋予边连接，为每一帧视频构建了一张人员关系拓扑图。

优选地，在所述步骤S3中：

计算每个节点在前后相邻帧中的位置区域坐标变化，将当前节点和其他节点的坐标距离变化量、节点下一时刻运动速度变化量和运动方向变化量作为每个节点特征；

对于帧f对应的人员关系拓扑图G

F

对于帧f对应的人员关系拓扑图G

/>

其中，loc为包含横坐标和纵坐标的位置信息(x，y)；

对于帧f对应的人员关系拓扑图G

其中，

将运动特征组合成为节点特征F：

优选地，在所述步骤S4中：

构建Sub-GCN网络结构，将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点，训练过程监督标注每一帧中是否包含异常行为，输入图数据，输出每帧检测结果，计算损失更新网络参数；

Sub-GCN的邻接矩阵计算方法：

其中，

采用加权的二元交叉熵损失函数：

其中，

采用2层Sub-GCN结构，层与层之间采用Relu激活函数，最后一层卷积后应用Softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型；

将划分出的测试集按同样的预处理步骤、特征提取步骤、建模步骤构建人员关系拓扑图，将构建的图数据传入训练好的Sub-GCN网络中，获得识别结果。

根据本发明提供的一种基于构建人员邻接关系图异常行为建模及检测系统，包括：

模块M1：对人员进行目标跟踪，得到人员编号、人员出现的帧序号以及在每一帧中的位置区域坐标信息；

模块M2：以每个人员目标为节点建立节点邻接矩阵，计算节点之间的邻接关系，以当前节点和邻接节点的坐标距离作为邻接边权重，构建人员邻接关系图结构；

模块M3：计算每个节点位置区域坐标变化，设置节点特征；

模块M4：构建网络结构，输入图数据，输出每帧检测结果，检测每个图中是否包含异常节点，若存在则认为该帧中存在异常行为，计算损失更新网络参数。。

优选地，在所述模块M1中：

运用目标跟踪器对原始视频数据进行处理，得到每个视频对应的跟踪信息序列，序列中每一条信息由帧编号f、人员身份编号p、人员识别框左上角坐标(x

对信息序列中的每条信息，计算当前人员中心所在的坐标(x，y)

其中，x，x

优选地，在所述模块M2中：

对于每个视频的跟踪信息序列，每帧中包含的所有人员身份编号p的集合为每帧所需要构建的拓扑图中节点的集合，集合大小为n；

对于每个视频，包含帧总数为m，以计算的人员中心坐标(x，y)为数据，建立维度为m×n×2的矩阵d；

对于每一对f，p：

d

对于上述计算后仍未被赋值的矩阵中元素：

其中：

其中，db为从当前帧向后寻找最近的出现当前人员的帧，取其中该人员的位置数据，f

对于每一帧中的每两个节点，计算节点中心位置的距离，以距离的倒数作为边权重为这两个节点建立无向边：

其中f为当前帧，a，b为节点，dis

建立节点并赋予边连接，为每一帧视频构建了一张人员关系拓扑图。

优选地，在所述模块M3中：

计算每个节点在前后相邻帧中的位置区域坐标变化，将当前节点和其他节点的坐标距离变化量、节点下一时刻运动速度变化量和运动方向变化量作为每个节点特征；

对于帧f对应的人员关系拓扑图G

F

对于帧f对应的人员关系拓扑图G

其中，loc为包含横坐标和纵坐标的位置信息(x，y)；

对于帧f对应的人员关系拓扑图G

其中，

将运动特征组合成为节点特征F：

优选地，在所述模块M4中：

构建Sub-GCN网络结构，将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点，训练过程监督标注每一帧中是否包含异常行为，输入图数据，输出每帧检测结果，计算损失更新网络参数；

Sub-GCN的邻接矩阵计算方法：

其中，

采用加权的二元交叉熵损失函数：

其中，

采用2层Sub-GCN结构，层与层之间采用Relu激活函数，最后一层卷积后应用Softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型；

将划分出的测试集按同样的预处理步骤、特征提取步骤、建模步骤构建人员关系拓扑图，将构建的图数据传入训练好的Sub-GCN网络中，获得识别结果。

与现有技术相比，本发明具有如下的有益效果：

1、本发明提出“人员邻接关系图”概念，将不同人员空间上的位置关联性和同一人员在运动过程的时间关联性嵌入到图结构中，以清晰简洁的拓扑图结构表征繁杂的图像信息，剔除背景噪声对检测的干扰，同时关注场景中人员自身特征和其他人员的关系特征；

2、本发明提出的Sub-GCN网络旨在关注同一张图中不同节点之间的差异性，相较于其它网络更适配人员邻接关系图模型；

3、本发明是一种既能够检测出监控视频中异常行为存在也能够定位异常帧位置的方法，采用新型建模方法，以较少计算量完成异常检测任务，具有高检测准确性和高检测效率的优点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明方法的训练与检测逻辑流程图；

图2为本发明方法的Sub-GCN网络结构图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例1；

本发明提出的基于构建人员邻接关系图的异常行为建模及检测方法，旨在提升检测准确率的同时降低计算量，提高检测效率，并能够识别异常在画面中的位置。

本发明提供一种基于构建人员邻接关系图的视频异常行为建模及检测方法，首先对视频中的人员进行目标跟踪，得到视频中的人员编号、每个人员在视频中出现的帧序号以及在每一帧中的位置区域坐标信息；随后对于视频中的每一帧分别构建人员邻接关系图，以每个人员目标为节点，建立节点邻接矩阵计算节点之间的邻接关系，以当前节点和邻接节点的坐标距离作为邻接边权重，构建人员邻接关系图结构；进而计算每个节点在前后相邻帧中的位置区域坐标变化，将当前节点和其他节点的坐标距离变化量、节点下一时刻运动速度变化量和运动方向变化量作为每个节点特征；设计Sub-GCN网络结构对构建好的图结构数据进行训练和检测，将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点，练过程需有监督标注每一帧中是否包含异常行为；检测过程对未知视频进行目标跟踪、特征提取、建立每一帧的人员邻接关系图，将图数据输入Sub-GCN网络中，识别每一个图中是否存在异常节点，若存在则认为该帧中存在异常行为。

本发明提出的“人员邻接关系图”概念，将视频中的每一帧建模为以节点和边构成的拓扑图，将不同人员空间上的位置关联性和同一人员在运动过程的时间关联性嵌入到图结构中，以清晰简洁的拓扑图结构表征繁杂的图像信息，剔除背景噪声对检测的干扰，同时关注场景中人员自身特征和其他人员的关系特征。提出的局部图卷积网络(Sub-GCN)旨在关注同一张图中不同节点之间的差异性，相较于其它网络更适配人员关系图模型。通过这两种设计能够检测出监控视频中异常的存在也能够定位异常帧位置，检测准确性高、检测效率高。

根据本发明提供的一种基于构建人员邻接关系图异常行为建模及检测方法，如图1-图2所示，包括：

步骤S1：对人员进行目标跟踪，得到人员编号、人员出现的帧序号以及在每一帧中的位置区域坐标信息；

具体地，在所述步骤S1中：

运用目标跟踪器对原始视频数据进行处理，得到每个视频对应的跟踪信息序列，序列中每一条信息由帧编号f、人员身份编号p、人员识别框左上角坐标(x

对信息序列中的每条信息，计算当前人员中心所在的坐标(x，y)

其中，x，x

步骤S2：以每个人员目标为节点建立节点邻接矩阵，计算节点之间的邻接关系，以当前节点和邻接节点的坐标距离作为邻接边权重，构建人员邻接关系图结构；

具体地，在所述步骤S2中：

对于每个视频的跟踪信息序列，每帧中包含的所有人员身份编号p的集合为每帧所需要构建的拓扑图中节点的集合，集合大小为n；

对于每个视频，包含帧总数为m，以计算的人员中心坐标(x，y)为数据，建立维度为m×n×2的矩阵d；

对于每一对f，p：

d

对于上述计算后仍未被赋值的矩阵中元素：

其中：

其中，db为从当前帧向后寻找最近的出现当前人员的帧，取其中该人员的位置数据，f

对于每一帧中的每两个节点，计算节点中心位置的距离，以距离的倒数作为边权重为这两个节点建立无向边：

其中f为当前帧，a，b为节点，dis

建立节点并赋予边连接，为每一帧视频构建了一张人员关系拓扑图。

步骤S3：计算每个节点位置区域坐标变化，设置节点特征；

具体地，在所述步骤S3中：

计算每个节点在前后相邻帧中的位置区域坐标变化，将当前节点和其他节点的坐标距离变化量、节点下一时刻运动速度变化量和运动方向变化量作为每个节点特征；

对于帧f对应的人员关系拓扑图G

F

对于帧f对应的人员关系拓扑图G

其中，l0c为包含横坐标和纵坐标的位置信息(x，y)；

对于帧f对应的人员关系拓扑图G

其中，

将运动特征组合成为节点特征F：

步骤S4：构建网络结构，输入图数据，输出每帧检测结果，检测每个图中是否包含异常节点，若存在则认为该帧中存在异常行为，计算损失更新网络参数。。

具体地，在所述步骤S4中：

构建Sub-GCN网络结构，将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点，训练过程监督标注每一帧中是否包含异常行为，输入图数据，输出每帧检测结果，计算损失更新网络参数；

Sub-GCN的邻接矩阵计算方法：

其中，

采用加权的二元交叉熵损失函数：

其中，

采用2层Sub-GCN结构，层与层之间采用Relu激活函数，最后一层卷积后应用Softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型；

将划分出的测试集按同样的预处理步骤、特征提取步骤、建模步骤构建人员关系拓扑图，将构建的图数据传入训练好的Sub-GCN网络中，获得识别结果。

实施例2：

实施例2为实施例1的优选例，以更为具体地对本发明进行说明。

本发明还提供一种基于构建人员邻接关系图异常行为建模及检测系统，所述基于构建人员邻接关系图异常行为建模及检测系统可以通过执行所述基于构建人员邻接关系图异常行为建模及检测方法的流程步骤予以实现，即本领域技术人员可以将所述基于构建人员邻接关系图异常行为建模及检测方法理解为所述基于构建人员邻接关系图异常行为建模及检测系统的优选实施方式。

根据本发明提供的一种基于构建人员邻接关系图异常行为建模及检测系统，包括：

模块M1：对人员进行目标跟踪，得到人员编号、人员出现的帧序号以及在每一帧中的位置区域坐标信息；

具体地，在所述模块M1中：

运用目标跟踪器对原始视频数据进行处理，得到每个视频对应的跟踪信息序列，序列中每一条信息由帧编号f、人员身份编号p、人员识别框左上角坐标(x

对信息序列中的每条信息，计算当前人员中心所在的坐标(x，y)

其中，x，x

模块M2：以每个人员目标为节点建立节点邻接矩阵，计算节点之间的邻接关系，以当前节点和邻接节点的坐标距离作为邻接边权重，构建人员邻接关系图结构；

具体地，在所述模块M2中：

对于每个视频的跟踪信息序列，每帧中包含的所有人员身份编号p的集合为每帧所需要构建的拓扑图中节点的集合，集合大小为n；

对于每个视频，包含帧总数为m，以计算的人员中心坐标(x，y)为数据，建立维度为m×n×2的矩阵d；

对于每一对f，p：

d

对于上述计算后仍未被赋值的矩阵中元素：

其中：

其中，db为从当前帧向后寻找最近的出现当前人员的帧，取其中该人员的位置数据，f

对于每一帧中的每两个节点，计算节点中心位置的距离，以距离的倒数作为边权重为这两个节点建立无向边：

/>

其中f为当前帧，a，b为节点，dis

建立节点并赋予边连接，为每一帧视频构建了一张人员关系拓扑图。

模块M3：计算每个节点位置区域坐标变化，设置节点特征；

具体地，在所述模块M3中：

计算每个节点在前后相邻帧中的位置区域坐标变化，将当前节点和其他节点的坐标距离变化量、节点下一时刻运动速度变化量和运动方向变化量作为每个节点特征；

对于帧f对应的人员关系拓扑图G

F

对于帧f对应的人员关系拓扑图G

其中，loc为包含横坐标和纵坐标的位置信息(x，y)；

对于帧f对应的人员关系拓扑图G

其中，

将运动特征组合成为节点特征F：

模块M4：构建网络结构，输入图数据，输出每帧检测结果，检测每个图中是否包含异常节点，若存在则认为该帧中存在异常行为，计算损失更新网络参数。。

具体地，在所述模块M4中：

构建Sub-GCN网络结构，将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点，训练过程监督标注每一帧中是否包含异常行为，输入图数据，输出每帧检测结果，计算损失更新网络参数；

Sub-GCN的邻接矩阵计算方法：

其中，

采用加权的二元交叉熵损失函数：

其中，

采用2层Sub-GCN结构，层与层之间采用Relu激活函数，最后一层卷积后应用Softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型；

将划分出的测试集按同样的预处理步骤、特征提取步骤、建模步骤构建人员关系拓扑图，将构建的图数据传入训练好的Sub-GCN网络中，获得识别结果。

实施例3：

实施例3为实施例1的优选例，以更为具体地对本发明进行说明。

本发明针对视频数据如监控摄像，通过提取目标人员特征及与周围人员的关联信息，设计一种基于计算机视觉的建模方法，从视频帧中建立该场景下的拓扑图结构——人员邻接关系图，设计Sub-GCN网络结构进行训练，从而可以对视频帧的异常性进行判断，另外还可以得到异常帧中异常人员在场景中的位置。

根据本发明提供的一种基于构建人员邻接关系图的异常行为建模及检测方法，包括：

跟踪信息提取步骤：对视频中的人员进行目标跟踪，得到视频中的人员编号、每个人员在视频中出现的帧序号以及在每一帧中的位置区域坐标信息；

构建人员邻接关系图步骤：以每个人员目标为节点，建立节点邻接矩阵，计算节点之间的邻接关系，以当前节点和邻接节点的坐标距离作为邻接边权重，构建人员邻接关系图结构；

节点特征提取步骤：计算每个节点在前后相邻帧中的位置区域坐标变化，将当前节点和其他节点的坐标距离变化量、节点下一时刻运动速度变化量和运动方向变化量作为每个节点特征；

局部图卷积网络(Sub-GCN)训练步骤：构建Sub-GCN网络结构，将检测每帧中是否包含异常行为转化为检测每个图中是否包含异常节点，训练过程需要有监督的标注每一帧中是否包含异常行为，输入图数据，输出每帧检测结果，计算损失更新网络参数；

异常行为检测步骤：检测过程对未知视频进行目标跟踪、特征提取、建立每一帧的人员邻接关系图，将图数据输入Sub-GCN网络中，识别每一个图中是否存在异常节点，若存在则认为该帧中存在异常行为；

具体地，所述跟踪信息提取步骤包括：

目标跟踪步骤：运用目标跟踪器(如DeepSort，SiamFC等)对原始视频数据进行处理，得到每个视频对应的跟踪信息序列，序列中每一条信息由帧编号f、人员身份编号p、人员识别框左上角坐标(x

位置计算步骤：对上述信息序列中的每条信息，计算当前人员中心所在的坐标(x，y)

其中，x，x

具体地，所述构建人员邻接关系图步骤包括：

构建节点集合：对于每个视频的跟踪信息序列，每帧中包含的所有人员身份编号p的集合即为每帧所需要构建的拓扑图中节点的集合，集合大小为n。

每帧节点补齐：对于每个视频，包含帧总数为m，以上述计算的人员中心坐标(x，y)为数据，建立维度为m×n×2的矩阵d。

对于每一对f，p：

d

对于上述计算后仍未被赋值的矩阵中元素：

其中：

其中，db为从当前帧向后寻找最近的出现当前人员的帧，取其中该人员的位置数据，f

建立边：对于每一帧中的每两个节点，计算节点中心位置的距离，以其倒数作为边权重为这两个节点建立无向边：

其中f为当前帧，a，b为节点，dis

构建图：以上述方法建立节点，并赋予边连接，即为每一帧视频构建了一张人员关系拓扑图。

具体地，所述节点特征提取步骤包括：

计算邻接矩阵变化步骤：对于帧f对应的人员关系拓扑图G

F

计算运动速度变化步骤：对于帧f对应的人员关系拓扑图G

其中，loc为包含横坐标和纵坐标的位置信息，即(x，y)；

计算运动方向变化步骤：对于帧f对应的人员关系拓扑图G

其中

添加节点特征步骤：将上述三种运动特征组合成为节点特征F：

具体地，所述Sub-GCN网络训练步骤包括：

构建卷积层：相较于传统GCN，Sub-GCN着手于关注同一张图中不同节点之间的差异。因此，Sub-GCN相较于传统GCN有不同的邻接矩阵计算方法：

其中：

设置损失函数：采用加权的二元交叉熵损失函数。

其中，

构建网络并训练最优模型：采用2层Sub-GCN结构，层与层之间采用Relu激活函数，最后一层卷积后应用Softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型。

具体地，所述异常行为检测步骤包括：检测过程对未知视频进行目标跟踪、特征提取、建立每一帧的人员邻接关系图，将图数据输入Sub-GCN网络中，识别每一个图中是否存在异常节点，若存在则认为该帧中存在异常行为；

实施例4：

实施例4为实施例1的优选例，以更为具体地对本发明进行说明。

本发明提供的基于构建人员邻接关系图的异常行为建模及检测系统，可以通过基于构建人员邻接关系图的异常行为建模及检测方法的步骤流程实现。本领域技术人员可以将基于构建人员邻接关系图的异常行为建模及检测方法理解为所述基于构建人员邻接关系图的异常行为建模及检测系统的优选例。

以下针对一优选例做进一步阐述。

如图1、图2所示，一种基于构建人员邻接关系图的异常行为建模及检测方法，主要包括Sl-S6六个步骤：

S1：选取公开数据库ShanghaiTech中的正常行为视频和异常行为视频进行模型训练和测试。以随机划分的方式将获得的视频按7：3比例划分为训练集和测试集，对训练集视频进行目标跟踪，得到每个视频中出现的人员专属的身份编号、每个人员在此视频中出现的帧编号与在场景中的位置区域信息。具体实施方法为：

(1-1)应用Deep-Sort目标跟踪器对原始视频数据进行处理，得到每个视频对应的跟踪信息序列，序列中每一条信息由帧编号f、人员身份编号p、人员识别框左上角坐标(x

(1-2)位置计算步骤：对上述信息序列中的每条信息，计算当前人员中心所在的坐标(x，y)

其中，x，x

S2：对于视频中的每一帧，以每个具有专属身份编号的人员目标为节点，以提取的运动信息为节点特征，对于每个人员目标之间给予边连接，构建人员关系拓扑图。具体实现方法为：

(2-1)：对于每个视频的跟踪信息序列，包含的所有人员身份编号p的集合即为每帧所需要构建的拓扑图中节点的集合，集合大小为n。

(2-2)：对于每个视频，包含帧总数为m，以上述计算的人员中心坐标(x，y)为数据，建立维度为m×n×2的矩阵d。

对于每一对f，p：

d

对于上述计算后仍未被赋值的矩阵中元素：

其中：

其中，db为从当前帧向后寻找最近的出现当前人员的帧，取其中该人员的位置数据，f

其中f为当前帧，a，b为节点，dis

(2-4)：以上述方法建立节点，并赋予边连接，即为每一帧视频构建了一张人员关系拓扑图。

S3：针对每个视频中的每一帧，从每个具有专属身份编号的人员目标在前后相邻帧中的位置区域信息中提取运动信息，并将运动信息作为节点特征添加到人员关系拓扑图中。具体实施方法为：

(3-1)：对于帧f对应的人员关系拓扑图G

F

(3-2)：对于帧f对应的人员关系拓扑图G

/>

其中，loc为包含横坐标和纵坐标的位置信息，即(x，y)。

(3-3)：对于帧f对应的人员关系拓扑图G

其中

添加节点特征步骤：将上述三种运动特征组合成为节点特征F：

S4：用构建好的图数据对改进的GCN网络Sub-GCN进行训练；

(4-1)：相较于传统GCN，Sub-GCN着手于关注同一张图中不同节点之间的差异。因此，Sub-GCN相较于传统GCN有不同的邻接矩阵计算方法：

其中：

(4-2)：设置损失函数：采用加权的二元交叉熵损失函数。

其中，

构建网络并训练最优模型：采用2层Sub-GCN结构，层与层之间采用Relu激活函数，最后一层卷积后应用Softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型。

(4-3)：构建网络并训练最优模型：采用2层Sub-GCN结构，其中采用Relu激活函数，最后一层卷积后应用Softmax函数获取输出概率，在不同超参数的情况下进行迭代训练，得到最优模型。

S5：将划分出的测试集按同样的预处理步骤、特征提取步骤、建模步骤构建人员关系拓扑图，将构建的图数据传入训练好的Sub-GCN网络中，获得识别结果；

S6：将识别结果可视化展示在原视频帧上。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。