基于联邦学习的人员异常逗留检测方法、装置及相关介质

技术领域

本发明涉及人员检测领域，特别涉及基于联邦学习的人员异常逗留检测方法、装置及相关介质。

背景技术

目前在许多公共区域的入口会安置高清摄像头，并通过AI算法对摄像头捕获的画面进行检测，如检测监控画面中活动的人员或物体，但是现有的检测技术只能对单一摄像头的单一帧进行检测，不能同时将多个摄像头的结果进行复合逻辑判断。另外，当需要采集一个小区的多个公共区域内的画面时，涉及多个位于不同地理位置的边端设备，同时计算多个边端设备产生的数据全部上传至云端也不够安全。

发明内容

本发明实施例提供了基于联邦学习的人员异常逗留检测方法、装置及相关介质，旨在解决现有技术中不能同时将多个摄像头的结果进行复合逻辑判断以及数据传输不安全的问题。

第一方面，本发明实施例提供了一种基于联邦学习的人员异常逗留检测方法，包括：

获取多个边端设备的数据视频，对所述数据视频抽帧，得到数据图片；

各所述边端设备从云端下载主干网络模型的模型参数，并利用所述模型参数以及所述数据图片对所述主干网络模型进行本地训练，得到目标检测分类结果和ID重识别分类结果；

利用多目标跟踪模型中的目标检测分支网络对所述目标检测分类结果进行目标检测，得到第一识别结果；以及利用所述多目标跟踪模型中的ID重识别分支网络对所述ID重识别分类结果进行重识别处理，得到第二识别结果；其中，所述第一识别结果包括：中心位置结果、识别框大小和中心位置偏移量；所述第二识别结果用于优化所述多目标跟踪模型中的ID重识分支网络：

对所述ID重识别分支网络的模型参数进行同态加密，并将所述加密结果上传至云端，使所述云端对所述加密结果进行解密，并更新全局模型。

第二方面，本发明实施例提供了一种基于联邦学习的人员异常逗留检测装置，包括：

数据获取单元，用于获取多个边端设备的数据视频，对所述数据视频抽帧，得到数据图片；

第一处理单元，用于各所述边端设备从云端下载主干网络模型的模型参数，并利用所述模型参数以及所述数据图片对所述主干网络模型进行本地训练，得到目标检测分类结果和ID重识别分类结果；

第二处理单元，用于利用多目标跟踪模型中的目标检测分支网络对所述目标检测分类结果进行目标检测，得到第一识别结果；以及利用所述多目标跟踪模型中的ID重识别分支网络对所述ID重识别分类结果进行重识别处理，得到第二识别结果；其中，所述第一识别结果包括：中心位置结果、识别框大小和中心位置偏移量；所述第二识别结果用于优化所述多目标跟踪模型中的ID重识分支网络：

数据更新单元，用于对所述ID重识别分支网络的模型参数进行同态加密，并将所述加密结果上传至云端，使所述云端对所述加密结果进行解密，并更新全局模型。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述第一方面的基于联邦学习的人员异常逗留检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述第一方面的基于联邦学习的人员异常逗留检测方法。

本发明实施例提供一种基于联邦学习的人员异常逗留检测方法，获取多个边端设备的数据视频并抽帧得到数据图片；各所述边端设备从云端下载主干网络模型的模型参数并进行本地训练，得到目标检测分类结果和ID重识别分类结果；利用目标检测分支网络对所述目标检测分类结果进行目标检测，得到第一识别结果；以及利用ID重识别分支网络对所述ID重识别分类结果进行重识别处理，得到第二识别结果；对所述ID重识别分支网络的模型参数进行同态加密，并将所述加密结果上传至云端，进行解密后更新全局模型。本发明通过联邦学习算法对多个场景图片进行复合逻辑判断，并应用同态加密技术将模型参数上传到云端，如此，提高了对场景图片检测的能力，同时增强数据安全性。

本发明实施例还提供一种基于联邦学习的人员异常逗留检测装置、计算机设备和存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于联邦学习的人员异常逗留检测方法的流程示意图；

图2为本发明实施例提供的联邦多目标跟踪模型算法的网络架构图；

图3为本发明实施例提供的主干网络模型本地训练的流程示意图；

图4为本发明实施例提供的中心位置结果的示意图；

图5为本发明实施例提供的第二识别结果的流程示意图；

图6为本发明实施例提供的多目标跟踪模型的算法流程图；

图7为本发明实施例提供的人员异常逗留检测的流程示意图；

图8为本发明实施例提供的人员异常逗留检测的判断流程图；

图9为本发明实施例提供的一种基于联邦学习的人员异常逗留检测装置的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

下面请参见图1，图1为本发明实施例提供的一种基于联邦学习的人员异常逗留检测方法的流程示意图，具体包括：步骤S101～S104。

S101、获取多个边端设备的数据视频，对所述数据视频抽帧，得到数据图片；

S102、各所述边端设备从云端下载主干网络模型的模型参数，并利用所述模型参数以及所述数据图片对所述主干网络模型进行本地训练，得到目标检测分类结果和ID重识别分类结果；

S103、利用多目标跟踪模型中的目标检测分支网络对所述目标检测分类结果进行目标检测，得到第一识别结果；以及利用所述多目标跟踪模型中的ID重识别分支网络对所述ID重识别分类结果进行重识别处理，得到第二识别结果；其中，所述第一识别结果包括：中心位置结果、识别框大小和中心位置偏移量；所述第二识别结果用于优化所述多目标跟踪模型中的ID重识分支网络：

S104、对所述ID重识别分支网络的模型参数进行同态加密，并将所述加密结果上传至云端，使所述云端对所述加密结果进行解密，并更新全局模型。

结合图1和图2所示，在步骤S101中，在本实施例中采用小区内固定监控系统以及巡逻车监控系统互相配合获取数据视频，如图2中小区内固定监控系统分为a摄像机和b摄像机；a摄像机摄像机对应获取本地数据集A，b摄像机摄像机对应获取本地数据集B；而巡逻车监控系统则有c摄像机来对应获取本地数据集C，此时有三个本地数据集，分别对三个本地数据集进行抽帧(即对所述数据视频抽帧)，得到对应的数据图片。需要注意的是，小区内固定监控系统以及巡逻车监控系统的摄像机数量不作限制，采用越多摄像机则检测越精准；如可以采用五个固定摄像机配合两个巡逻车摄像机等，具体结合使用场地进行摄像机分布设置。

结合图3所示，在步骤S102中，各所述边端设备(即各摄像机)从云端下载主干网络模型的模型参数，这里所述主干网络模型采用DLA-34，DLA-34是基础残差网络ResNet-34与DLA(Deep Layer Aggregation)网络融合实现特征提取的一种算法变体，可以更好地实现不同尺度的检测并输出多个分支的特征图。下载好所述模型参数后，利用所述模型参数以及所述数据图片对所述主干网络模型进行本地训练，从而得到目标检测分类结果和ID重识别分类结果。本实施例中，所述主干网络模型中输入所述数据图片后，经过卷积网络层输出特征图谱，然后在经过池化层输出特征向量，最后经过全连接层输出分类结果，即对应目标检测分类结果(三个分支特征图，下同)和ID重识别分类结果(一个分支特征图，下同)。

另外的，在所述数据图片进行本地训练前，还需要进行所述数据图片的尺寸调整处理，将所述数据图片格式由H

其中(H,W)为所述数据图片的像素，C为所述数据图片的通道数量；

只有保证图片格式统一才能进行训练，若不统一图片格式可能会导致训练出错、图片无法识别等兼容性问题。

在步骤S103中，利用多目标跟踪模型中的目标检测分支网络对所述目标检测分类结果进行目标检测，得到第一识别结果(中心位置结果、识别框大小和中心位置偏移量)；利用所述多目标跟踪模型中的ID重识别分支网络对所述ID重识别分类结果进行重识别处理，得到第二识别结果；所述第二识别结果用于优化所述多目标跟踪模型中的ID重识分支网络。这里的所述多目标跟踪模型采用FairMOT算法模型，FairMOT算法模型是一款短小精干模型,它的单镜头跟踪功能包括行人跟踪、车辆跟踪、多类别跟踪、小目标跟踪以及流量统计，是一款实用性非常广的AI模型。

结合图4所示，在一实施例中，所述步骤S103，包括：

标注所述数据图片的检测框，并根据标注结果计算所述检测框的平均中心点；根据所述目标检测分类结果计算得到特征位置坐标；按如下公式计算所述特征位置坐标与所述检测框的平均中心点之间的距离：

其中，N表示所述数据图片中的对象数量；σ

进一步的，按如下公式计算所述识别框大小：

其中，

进一步的，按如下公式计算所述中心位置偏移量：

/>

其中，

在本实施例中，标注所述数据图片的检测框，将矩形检测框上对角(左上方、右下方)的点坐标作为集合

进一步的，利用所述检测框的高度和宽度可计算所述识别框大小，而所述识别框的精度将影响检测性能的评估；因此，越精准的坐标点，则越有利于性能的评估。

在本实施例中，利用所述多目标跟踪模型中的目标检测分支网络(CenterNet网络)对所述目标检测分类结果进行目标检测(即使用多平行头模块进行多次目标估计)，得到第一识别结果；所述目标检测分类结果有三个特征图分支分别对应中心位置结果、识别框大小和中心位置偏移量。

结合图5所示，在一实施例中，所述步骤S103，还包括：

对所述ID重识别分类结果预处理后进行图像分类，得到特征图像；将所述特征图像聚合成特征向量；根据所述特征向量构建转换编码，利用所述转换编码构建损失函数；通过余弦距离计算得到度量矩阵，其中，所述度量矩阵用于测试特征与特征之间的距离，以评估ID重识别分支网络的算法性能；利用K-近邻方法选取前K个最为匹配的图像，得到排序列表，以评估ID重识别分支网络的算法性能。

在本实施例中，将经所述主干网络模型中生成的1个分支特征图(所述ID重识别分类结果)输入所述多目标跟踪模型中的ID重识别分支网络进行重识别处理，得到第二识别结果；具体的，对所述ID重识别分类结果预处理后(调整至统一大小)，以残差网络为特征提取网络进行图像分类，得到特征图像；再将所述特征图像聚合成一个特征向量，所述特征向量通过一层或多层全连接层转换为可以构建损失函数的one-hot编码，然后使用交叉熵的方法构建损失函数。另外的，通过余弦距离计算度量矩阵，测试特征与特征之间的距离，以评估ID重识别分支网络的算法性能；还利用K-近邻方法选取前K个最为匹配的图像，得到排序列表，便于后续对所述多目标跟踪模型进行准确性评估。

在步骤S104中，对所述ID重识别分支网络的模型参数进行同态加密，并将所述加密结果上传至云端；这里采用联邦学习算法，旨在不需要交换本地边端数据的前提下，仅通过交换模型参数的方式，构建基于虚拟融合数据下的全局模型，从而实现数据隐私保护和数据共享计算的平衡。因此，在此步骤中完成完整的一轮所述多目标跟踪模型训练后，针对所述多目标跟踪模型中所述ID重识别分支网络的所述主干网络模型进行同态加密并上传至云端进行后续联邦学习计算。

具体的，所述ID重识别分支网络中会使用预训练过的模型(如ResNet-34、DLA-34)来作为主干网络模型，本实施例中采用DLA-34作为所述主干网络模型，然后根据不同的重识别任务添加相应的分类器，随机初始化分类器参数；因此，对于联邦学习的所述多目标跟踪模型的所述ID重识别分支网络来说，每个本地边端模型的分类器和云端全局模型的分类器都会有差异，分类器保留于本地中按如下公式进行迭代：

其中，

所述多目标跟踪模型中的所述主干网络模型是一种残差网络，在不同的边端场景下可能会训练出不同深度的残差网络，而深度不同的残差网络会产生不同的分类器(classifier)；为了完成云端全局模型联邦学习训练，将所述主干网络模型与分类器分开，仅仅向云端上传所述主干网络模型的参数；同理，边端从云端下载新全局模型的时候，也仅仅下载所述主干网络模型的参数，然后与未上传云端且在本地更新的分类器组合。

进一步的，使所述云端对所述加密结果进行解密，在本实施例中对本地三个摄像机上传的所述主干网络模型的参数在云端进行同态解密；使用的同态加密解密方法为RSA同态加密解密方法，此方法是公钥密码体制中的一种部分同态方法，它只能做无限次同态加密加法或者只能做无限次同态加密乘法；最后解密完成后根据解密的参数来更新全局模型，并开始下一轮训练，直至能适用于当前的使用场景，或者达到期望的阈值。

在一实施例中，所述步骤S104，包括：

按如下公式计算所述全局模型：

其中，

在本实施例中，基于所有本地模型的参数进行加权平均然后生成新的全局模型，按照所述全局模型的计算公式可以得到经过第s+1轮训练后的全局模型；需要注意的是，第s轮的全局模型可以是第1轮开始训练的空白全局模型，也可以是使用已经经过多轮训练的全局模型作为基础；如s＝5时，则说明使用已经经过5轮训练的全局模型作为基础，然后开始训练第6轮的全局模型。

结合图6至图8所示，在一实施例中，所述基于联邦学习的人员异常逗留检测方法，还包括：

各所述边端设备对实时拍摄的数据视频进行抽帧，得到数据图片，并根据对应的所述第一识别结果和所述第二识别结果对逗留人员标注异常等级。

在本实施例中，当完成全局模型的训练后即可投入使用，对于数据视频的处理，如图6所示，将预处理完成的图片进行解码，并将对应的特征图传入目标检测分支以及ID重识别分支，最后得到结果输出；完成结果输出后需要进行算法识别，如图7所示，经过相关数据算法识别模块后进入异常逗留检测系统进行标注判断。

具体的，根据对应的所述第一识别结果和所述第二识别结果对逗留人员标注异常等级；如图8所示，举个例子，统计超30分钟异常逗留于小区内的人员关注名单，标注为第一异常等级，并将结果发送至物业管理中心；若人员关注名单上人员异常逗留超60分钟，标注为第二异常等级，并将结果发送至物业管理人员，通知物业人员到达现场进行安保巡查；若小区内的人员逗留无异常则直接判断结束，再开始新一轮的检测判断。

结合图9所示，图9为本发明实施例提供的一种基于联邦学习的人员异常逗留检测装置的示意性框图，基于联邦学习的人员异常逗留检测装置900包括：

数据获取单元901，用于获取多个边端设备的数据视频，对所述数据视频抽帧，得到数据图片；

第一处理单元902，用于各所述边端设备从云端下载主干网络模型的模型参数，并利用所述模型参数以及所述数据图片对所述主干网络模型进行本地训练，得到目标检测分类结果和ID重识别分类结果；

第二处理单元903，用于利用多目标跟踪模型中的目标检测分支网络对所述目标检测分类结果进行目标检测，得到第一识别结果；以及利用所述多目标跟踪模型中的ID重识别分支网络对所述ID重识别分类结果进行重识别处理，得到第二识别结果；其中，所述第一识别结果包括：中心位置结果、识别框大小和中心位置偏移量；所述第二识别结果用于优化所述多目标跟踪模型中的ID重识分支网络：

数据更新单元904，用于对所述ID重识别分支网络的模型参数进行同态加密，并将所述加密结果上传至云端，使所述云端对所述加密结果进行解密，并更新全局模型。

在本实施例中，首先数据获取单元901获取多个边端设备的数据视频，对所述数据视频抽帧，得到数据图片；第一处理单元902用于各所述边端设备从云端下载主干网络模型的模型参数，并利用所述模型参数以及所述数据图片对所述主干网络模型进行本地训练，得到目标检测分类结果和ID重识别分类结果；第二处理单元903，用于利用多目标跟踪模型中的目标检测分支网络对所述目标检测分类结果进行目标检测，得到第一识别结果；以及利用所述多目标跟踪模型中的ID重识别分支网络对所述ID重识别分类结果进行重识别处理，得到第二识别结果；最后，数据更新单元904对所述ID重识别分支网络的模型参数进行同态加密，并将所述加密结果上传至云端，使所述云端对所述加密结果进行解密，并更新全局模型。

在一实施例中，所述第二处理单元903，包括：

标注单元，用于标注所述数据图片的检测框，并根据标注结果计算所述检测框的平均中心点；

计算单元，用于根据所述目标检测分类结果计算得到特征位置坐标；

处理单元，用于按如下公式计算所述特征位置坐标与所述检测框的平均中心点之间的距离：

其中，N表示所述数据图片中的对象数量；σ

进一步的，用于按如下公式计算所述识别框大小：

其中，

进一步的，用于按如下公式计算所述中心位置偏移量：

其中，

在一实施例中，所述第二处理单元903，还包括：

图像单元，用于对所述ID重识别分类结果预处理后进行图像分类，得到特征图像；

合成单元，用于将所述特征图像聚合成特征向量；

编码单元，用于根据所述特征向量构建转换编码，利用所述转换编码构建损失函数；

余弦单元，用于通过余弦距离计算得到度量矩阵，其中，所述度量矩阵用于测试特征与特征之间的距离，以评估ID重识别分支网络的算法性能；

匹配单元，用于利用K-近邻方法选取前K个最为匹配的图像，得到排序列表，以评估ID重识别分支网络的算法性能。

在一实施例中，所述数据更新单元904，用于：

按如下公式计算所述全局模型：

其中，

在一实施例中，所述基于联邦学习的人员异常逗留检测装置，还用于：

各所述边端设备对实时拍摄的数据视频进行抽帧，得到数据图片，并根据对应的所述第一识别结果和所述第二识别结果对逗留人员标注异常等级。

由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。