多任务的行为识别模型训练方法、装置、设备及存储介质

技术领域

本申请实施例涉及行为识别领域，涉及但不限于一种多任务的行为识别模型训练方法、装置、设备及存储介质。

背景技术

在多任务异常行为识别实际应用中，在不同任务之间域差异大的情况下，多任务并行学习，结果相互抑制，使得多任务学习的准确性有限。训练多任务异常行为识别模型对于训练任务集中数据量的需求极大，任务之间需要足够的数据量支持，且类间数据量需要平衡，不然无法训练出一个鲁棒的判别器，目前的异常任务数据集获取方式有限，数量无法满足训练要求。

发明内容

有鉴于此，本申请实施例提供一种多任务的行为识别模型训练方法、装置、设备及存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种多任务的行为识别模型训练方法，包括：获取N个待识别任务的样本数据集，其中，所述样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，N为大于等于1的整数；利用所述N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型，其中，所述搭建的行为识别模型包括第一主干网络和N个第一分类网络，所述多任务的行为识别模型包括多任务主干网络和N个第二分类网络，所述多任务主干网络是通过训练所述第一主干网络而得到，所述N个第二分类网络是与所述N个待识别任务一一对应的，通过训练N个所述第一分类网络得到。

在一些实施例中，所述搭建的行为识别模型是采用如下方法得到的：获取所述第一主干网络，其中所述第一主干网络是通过预设数据集训练得到的主干网络；在所述第一主干网络的基础上增加所述N个第一分类网络，得到所述搭建的行为识别模型。

这样，首先获取通过预设数据集训练得到的第一主干网络，然后在所述第一主干网络的基础上增加所述N个第一分类网络，得到所述搭建的行为识别模型。这样，以一个主干网络与多个分类网络组和得到的行为识别模型，可以使用样本数据集进行训练，以得到可以进行多任务识别的行为识别模型。这样模型架构可以实现单个模型上进行多个任务，大大减少了增加识别任务带来的显存消耗。

在一些实施例中，所述利用所述N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型，包括：利用所述N个待识别任务的样本数据集训练所述搭建的行为识别模型中的第一主干网络，得到所述多任务主干网络；利用所述N个待识别任务的样本数据集训练第一行为识别模型，得到所述多任务的行为识别模型，其中，所述第一行为识别模型包括所述多任务主干网络和所述N个第一分类网络。

这样，先训练固定主干网络，在分别训练不同待识别任务对应的分类网络，可以得到适用于多任务的行为识别模型。

在一些实施例中，所述利用所述N个待识别任务的样本数据集训练所述搭建的行为识别模型中的第一主干网络，得到所述多任务主干网络，包括：利用所述N个待识别任务中的每一待识别任务的样本数据集，分别训练N个第一教师模型，得到与所述N个待识别任务一一对应的N个第二教师模型，其中，每一所述第一教师模型包括所述第一主干网络、一个第一分类网络、变分自编码器和判别器；利用N个所述第二教师模型训练所述第一主干网络，得到所述多任务主干网络。

这样，使用N个不同待识别任务对应得到的N个第二教师模型训练第一主干网络，通过知识蒸馏得到的多任务主干网络，可以实现在一个主干网络上提取不同待识别任务的特征，有效提升主干网络的特征提取精度。

在一些实施例中，所述利用N个所述第二教师模型训练所述第一主干网络，得到所述多任务主干网络，包括：调整所述第一主干网络中的批归一化层数量，得到包括N个批归一化层的第二主干网络，其中，所述每一批归一化层对应一个待识别任务；获取N个所述第二教师模型中每一所述第二教师模型中所有的样本提取的特征向量；将每一所述第二教师模型中所有的样本提取的特征向量作为目标特征训练所述第二主干网络，得到所述多任务主干网络。

这样，将每一第二教师模型中所有的样本提取的特征向量作为目标特征训练第二主干网络，可以使得完成训练的多任务主干网络提升特征提取的精度。

在一些实施例中，所述方法还包括：将所述多任务主干网络中的N个批归一化层融合，得到第三主干网络；利用所述N个待识别任务的样本数据集训练所述第三主干网络，以调整所述第三主干网络中的批归一化层的参数，得到完成调整的多任务主干网络。

这样，通过不同的批归一化层解决不同任务的分布不一致的问题，设置批量归一化层可以解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度。固定第二主干网络中除了批归一化层之外的参数，将N个批归一化层融合成一个批归一化层，进一步调整第二主干网络；最后通过各个任务的输入，固定多任务主干网络其余参数，单独调整批归一化层解决数据分布不一致的问题。

在一些实施例中，在所述多任务的行为识别模型上新增一个待识别任务的情况下，所述方法还包括：获取新增任务的行为识别模型，其中，所述新增任务的行为识别模型是在所述多任务的行为识别模型上增加一个所述第一分类网络得到的，增加的所述第一分类网络用于分类新增的待识别任务；获取与所述新增的待识别任务对应的新增数据集；利用所述新增数据集训练所述新增任务的行为识别模型，得到完成训练的新增任务的行为识别模型。

这样，基本的网络结构为多个任务共享一个多任务主干网络，通过新增一个任务新增一个全连接层或头网络，无需新增多任务主干网络，通过各个任务共享参数多任务主干网络大大减少了网络的参数。

在一些实施例中，所述多任务的行为识别模型用于识别单人和/或多人的异常行为；所述N个待识别任务包括以下至少之一：单人的危害自身安全的行为、违法行为；多人的危害自身安全的行为、违法行为。所述方法还包括：获取待识别图像；将所述待识别图像输入至所述多任务的行为识别模型，得到异常行为识别结果；输出所述异常行为识别结果。

这样，由于在智慧城市管理的场景中，城市安全和谐一直是十分重要的方面。所以发生异常事件，譬如打架斗殴，电梯摔倒以及踢踹等危险的动作，往往都需要第一时间能够报警至管理人员。本申请实施例可以实时的识别城市情况，当发生危险动作的时候导致产生城市危害，如斗殴等情况，系统可以第一时间产生报警，无需管理人员二十四小时对着摄像装置拍摄的录像，大大节省了人力物力，且保障了城市安全。

第二方面，本申请实施例提供一种多任务的行为识别模型训练装置，包括：第一获取模块，用于获取N个待识别任务的样本数据集，其中，所述样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，N为大于等于1的整数；第一训练模块，用于利用所述N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型，其中，所述搭建的行为识别模型包括第一主干网络和N个第一分类网络，所述多任务的行为识别模型包括多任务主干网络和N个第二分类网络，所述多任务主干网络是通过训练所述第一主干网络而得到，所述N个第二分类网络是与所述N个待识别任务一一对应的，通过训练N个所述第一分类网络得到。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

第四方面，本申请实施例提供一种存储介质，存储有可执行指令，用于引起处理器执行时，实现上述方法。

本申请实施例提供一种多任务的行为识别模型训练方法、装置、设备及存储介质，首先，获取样本数据集的方式是多源的，即，样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，这样，极大的丰富了数据集的样本量，多源头，多域数据的采集训练，有助于异常行为算法实战验证，提高行为算法的泛化能力。然后，利用N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型，这样，可以在单个模型上完成多种待识别任务的识别，不仅可以提升多任务识别的准确性还大大减少了增加识别任务带来的显存消耗。

附图说明

图1A为本申请实施例提供一种摄像装置的采集数据的示意图；

图1B为本申请实施例提供另一种摄像装置的采集数据的示意图；

图1C为本申请实施例提供一种互联网的爬取数据的示意图；

图1D为本申请实施例提供的一种基于虚拟游戏的生成数据的示意图；

图1E为本申请实施例提供的另一种基于虚拟游戏的生成数据的示意图；

图1F为本申请实施例提供的一种多任务的识别模型训练实现流程示意图；

图2A为本申请实施例提供的搭建的行为识别模型的示意图；

图2B为本申请实施例提供的经过训练得到的每一异常任务对应的教师模型示意图；

图2C为本申请实施例提供的一种图像处理装置的组成结构示意图；

图2D为本申请实施例提供的另一种图像处理装置的组成结构示意图；

图3A为本申请实施例提供的一种在多任务的行为识别模型上新增一个待识别任务的训练流程示意图；

图3B为本申请实施例提供的一种多任务的行为识别模型架构图；

图3C为本申请实施例提供的一种在所述多任务的行为识别模型上新增一个待识别任务的实现流程示意图；

图4为本申请实施例提供的一种多任务的行为识别模型训练实现流程示意图；

图5为本申请实施例提供的一种多任务的行为识别模型装置结构组成示意图；

图6为本申请实施例提供的一种设备的一种硬件实体示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对发明的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

应当理解，此处所描述的一些实施例仅仅用以解释本申请的技术方案，并不用于限定本申请的技术范围。

本实施例提出一种多任务的行为识别模型训练方法，应用于计算机设备，该方法所实现的功能可以通过计算机设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算机设备至少包括处理器和存储介质。

本申请实施例提供的一种多任务的识别模型训练实现流程示意图，如图1F所示，该方法包括：

步骤S101、获取N个待识别任务的样本数据集，其中，所述样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，N为大于等于1的整数；

在一些实施例中，摄像装置的采集数据可以是指从摄像装置采集到的视频或图像，如图1A所示，图像中采集到的数据显示多人正在参与打架；如图1B所示，图像显示两个人正在翻越座椅。

在一些实施例中，互联网的爬取数据可以是指从互联网上获取到的数据，如图1C所示，图像显示两人正在打架。在实施的过程中，爬取数据的方法可以为爬虫算法，即，针对关键字去网上全自动找对应的数据。

在一些实施例中，虚拟数据可以是从虚拟游戏的界面获取到的数据，也可以是指利用虚拟游戏引擎制作的数据，如图1D所示，图像显示一人正在攀爬墙壁；如图1E所示，图像显示一人正在做跳跃。这样，从不同数据源获取样本数据集极大的增加了数据集的样本量。

步骤S102、利用所述N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型，其中，所述搭建的行为识别模型包括第一主干网络和N个第一分类网络，所述多任务的行为识别模型包括通过训练所述第一主干网络而得到的多任务主干网络和通过训练N个所述第一分类网络得到与所述N个待识别任务一一对应的N个第二分类网络。

在一些实施例中，搭建的行为识别模型可以是包括一个第一主干网络和N个第一分类网络的的行为识别模型。其中：

主干网络(backbone，BB)是用来对输入数据做特征提取的网络，代表网络的一部分，一般是用于前端提取图像信息，供后面的网络使用。通常用VGGNet、残差网络(ResidualNeural Network，ResNet)、inception网络模型，其中，VGGNet是一种深度卷积神经网络，这些BB特征提取能力是很强，并且可以加载官方在大型数据集上训练好的模型参数，然后接自己的网络，进行微调即可。

第一分类网络可以由全连接层(Fully connected layers，FC)或头网络实现，全连接层在整个卷积神经网络中起到“分类器”的作用，头网络与全连接层的作用类似，也是实现对各个类别的分类。在实施过程中，头网络可以是轻量级网络，根据实际需求轻量级网络可以包括向量卷积运算层和全连接层。全连接层起到将学到的“分布式特征表示”映射到样本标记空间的作用。

在实际使用中，全连接层可由卷积操作实现。利用N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型。

这里，多任务的行为识别模型包括通过训练所述第一主干网络而得到的多任务主干网络和通过训练N个所述第一分类网络得到与所述N个待识别任务一一对应的N个第二分类网络。这里第二分类网络，是在完成多任务主干网络训练之后，再次利用N个待识别任务的样本数据集分别训练对应的第一分类网络得到的。

本申请实施例中，首先，获取样本数据集的方式是多源的，即，样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，这样，极大的丰富了数据集的样本量，多源头，多域数据的采集训练，有助于异常行为算法实战验证，提高行为算法的泛化能力。然后，利用N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型，这样，可以在单个模型上完成多种待识别任务的识别，不仅可以提升多任务识别的准确性还大大减少了增加识别任务带来的显存消耗。

本申请实施例提供一种获取搭建的行为识别模型的方法，该方法包括：

步骤S111、获取所述第一主干网络，其中所述第一主干网络是通过预设数据集训练得到的主干网络；

在一些实施例中，现有数据集可以采用kinetics-400数据集，该数据集包括了四百种的人体动作类别，每一种类别都至少有400个视频片段，个片段都取自不同的Youtube视频，持续大概十秒。数据集的动作类别包括人和物体的交互，人与人的交互。

在一些实施例中，现有的数据集还包括mageNet，mageNet是一个用于视觉对象识别软件研究的大型可视化数据库，包括超过1400万的图像统一资源定位器被ImageNet手动注释，以指示图像中的对象；在至少一百万个图像中，还提供了边界框。ImageNet包含2万多个类别。

一般来说，视频数据集kinetics-400比二维图像数据集大得多，而且数据输入输出也比图像高很多。举个例子，ImageNet有128万张训练图像，而视频数据集Kinetics-400有6300万训练帧，大约是前者的50倍。使用现有数据集例如Kinetics-400可以完成预训练主干网络，得到第一主干网络。

步骤S112、在所述第一主干网络的基础上增加所述N个第一分类网络，得到所述搭建的行为识别模型。

这里，增加的N个第一分类网络，可以是结构相同，参数相同，且具有分类作用的网络，也可以是根据不同的待识别任务经过预训练得到的分类网络。

本申请实施例中，首先获取通过预设数据集训练得到的第一主干网络，然后在所述第一主干网络的基础上增加所述N个第一分类网络，得到所述搭建的行为识别模型。这样，包括一个主干网络与多个分类网络的行为识别模型，可以使用样本数据集进行训练，以得到可以进行多任务识别的行为识别模型。这样模型架构可以实现单个模型上完成多种待识别任务的识别，大大减少了增加识别任务带来的显存消耗。

图2A为本申请实施例提供的搭建的行为识别模型的示意图，其中，如图2A所示，搭建的行为识别模型包括第一主干网络、全连接层1或头网络1、全连接层2或头网络2，以及全连接层3或头网络3。

在一些实施例中，按照不同的待识别任务，可以分为第一类异常行为T1、第二类异常行为T2和第一类异常行为T3。例如：3类异常行为可以分别对应打架、攀爬和跌倒。

第一主干网络(BB Share)是用于识别不同待识别任务的通用主干网络，即，在初始阶段，可以随机初始化获取如图2A所示的T1类待识别任务对应的主干网络1，T2类待识别任务对应的主干网络2和T3类待识别任务对应的主干网络3；然后，将主干网络1、主干网络2和主干网络3融合实现的一个通用主干网络，即，将主干网络1、主干网络2和主干网络3的网络参数进行平均，得到通用主干网络的网络参数；最后，控制通用主干网络的网络参数中除了批归一化层(batch-normalization，BN)的网络参数之外的其他网络的参数不变，可以只调整通用主干网络中的批归一化层的网络参数，以得到适用于T1、T2和T3类任务的通用主干网络。批归一化层中的batch就是批量数据，即每一次优化时的样本数目，通常批归一化层用在卷积层后，用于重新调整数据分布。设置批量归一化层可以解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度。

全连接层1为T1类待识别任务对应的全连接层，全连接层2为T2类待识别任务对应的全连接层，全连接层3为T3类待识别任务对应的全连接层。

头网络1为T1类待识别任务对应的头网络，用于分类T1待识别任务；头网络2为T2类待识别任务对应的头网络，用于分类T2类待识别任务；头网络3为T3类待识别任务对应的头网络，用于分类T3类待识别任务。

这里，搭建的行为识别模型中起到分类作用的网络，每一待识别任务可以选择使用全连接层或头网络之一即可。

本申请实施例提供一种多任务的识别模型训练实现方法，该方法包括：

步骤S201、获取N个待识别任务的样本数据集，其中，所述样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，N为大于等于1的整数；

步骤S202、利用所述N个待识别任务的样本数据集训练所述搭建的行为识别模型中的第一主干网络，得到所述多任务主干网络；

这里的多任务主干网络可以是适用于多个不同待识别任务的主干网络，所以需要利用所述N个待识别任务的样本数据集训练所述搭建的行为识别模型中的第一主干网络，以得到一个通用的，固定的，可以识别不同待识别任务的主干网络。

在一些实施例中，如图2A所示，第一主干网络(BB Share)为搭建的行为识别模型中的第一主干网络，是用于识别不同待识别任务的通用主干网络。

步骤S203、利用所述N个待识别任务的样本数据集训练第一行为识别模型，得到所述多任务的行为识别模型，其中，所述第一行为识别模型包括所述多任务主干网络和所述N个第一分类网络。

首先，在训练好的多任务主干网络基础上搭建N个第一分类网络，得到第一行为识别模型。然后，利用N个待识别任务的样本数据集训练第一行为识别模型中与待识别任务一一对应的N个第一分类网络，得到多任务的行为识别模型。

这里，多任务的行为识别模型包括通过训练所述第一主干网络而得到的多任务主干网络，和通过训练N个所述第一分类网络得到与所述N个待识别任务一一对应的N个第二分类网络。

在一些实施例中，如图2A所示，N取3，即，3个待识别任务。这里，第一分类网络可以对应为以下3个分类网络，包括全连接层1或头网络1、全连接层2或头网络2、全连接层3或头网络3。

本申请实施例中，首先获取多源头的样本数据集，然后对搭建的行为识别模型中的第一主干网络进行训练得到多任务主干网络，最后训练包括多任务主干网络和N个第一分类网络的第一行为识别模型，得到多任务的行为识别模型，这样，先训练固定主干网络，在分别训练不同待识别任务对应的分类网络，可以得到适用于多任务的行为识别模型，多任务的行为识别模型大大减少了增加识别任务带来的显存消耗。

图2B为本申请实施例提供的经过训练得到的每一异常任务对应的教师模型示意图，如图2B所示，每一异常任务对应的教师模型包括预处理模块(preprocess)201，增强处理模块(augmentation)202，主干网络203，头网络H

预处理模块201，是在图像分析中，对输入图像进行特征抽取、分割和匹配前所进行的处理。预处理模块201的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而改进特征抽取、图像分割、匹配和识别的可靠性。

增强处理模块202，可以用于增强图像中的有用信息。这里，可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合。有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。

头网络H

本申请实施例提供的一种多任务的识别模型训练实现流程示意图，该方法包括：

步骤S211、获取N个待识别任务的样本数据集，其中，所述样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，N为大于等于1的整数；

步骤212、利用所述N个待识别任务中的每一待识别任务的样本数据集，分别训练N个第一教师模型，得到与所述N个待识别任务一一对应的N个第二教师模型，其中，每一所述第一教师模型包括所述第一主干网络、一个第一分类网络、变分自编码器和判别器；

利用各类多源数据(摄像装置的采集数据、互联网的爬取数据和基于虚拟游戏的生成数据)训练第一教师模型，得到第二教师模型。

这里，在训练第一教师模型的情况下，因为考虑实际应用数据源较为丰富，所以着重考虑跨域(室外数据，室内数据)的训练方式。通过域适应，使得摄像装置的采集数据、互联网的爬取数据和基于虚拟游戏的生成数据学习一致的行为表征。

如图2B所示，主干网络203用于提取图像特征，头网络204用于对图像特征进行分类，变分自编码器205用于利用该图像特征进一步提取域的信息，判别器206用于通过获取头网络的分类结果和域的信息进行判别，以调整网络参数，网络参数调整后可以获得各个域数据不变的表示，以使得第一教师模型通过对抗学习不同数据分布进一步对齐两个不同域之间的特征空间。

步骤S213、利用N个所述第二教师模型训练所述第一主干网络，得到所述多任务主干网络；

这里，是利用N个不同的待识别任务对应训练好的第二教师模型，训练第一主干网络，即，使用使用多个教师模型训练一个学生模型。这样，可以保持住各个类别(待识别任务)在各个模型上最好的精度，使得产生的新模型(第一主干网络)在各个待识别任务上都有较好的表征能力。

步骤S214、利用所述N个待识别任务的样本数据集训练第一行为识别模型，得到所述多任务的行为识别模型，其中，所述第一行为识别模型包括所述多任务主干网络和所述N个第一分类网络。

本申请实施例中，首先在训练每一待识别任务的第一教师模型时，利用变分编码器通过网络调整后可以获得各个域数据不变的表示。通过对抗学习不同数据分布进一步对齐两个不同域之间的特征空间。其次使用N个不同待识别任务对应得到的N个第二教师模型训练第一主干网络，通过知识蒸馏得到的多任务主干网络，可以实现在一个主干网络上提取不同待识别任务的特征，有效提升主干网络的特征提取精度。这样的模型，可以在单个模型上进行多个待识别任务的识别，大大减少了增加识别任务带来的显存消耗。

图2C为本申请实施例提供的一种图像处理装置的组成结构示意图，如图2C所示，该图像处理装置包括预处理模块201，增强处理模块202和第二主干网络(N个批归一化层207)，其中，N个批归一化层207是利用第二教师模型的分类结果(分类i：教师特征)进行调整(Finetune)的。

图2D为本申请实施例提供的另一种图像处理装置的组成结构示意图，如图2D所示，该图像处理装置包括预处理模块201，增强处理模块202和多任务主干网络，其中，多任务主干网络是融合了N个批归一化层208，其中，融合了N个批归一化层208是利用第二教师模型的分类结果(分类i：教师特征)进行调整的。

在实施过程中，图2D中所示的多任务主干网络是利用图2C中所示的第二主干网络得到的，即，融合N个批归一化层得到多任务主干网络。融合方法可以是对N个批归一化层的参数进行平均，然后再微调参数得到多任务主干网络。

本申请实施例提供的一种多任务的识别模型训练实现方法，该方法包括：

步骤S221、获取N个待识别任务的样本数据集，其中，所述样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，N为大于等于1的整数；

步骤S222、利用所述N个待识别任务中的每一待识别任务的样本数据集，分别训练N个第一教师模型，得到与所述N个待识别任务一一对应的N个第二教师模型，其中，每一所述第一教师模型包括所述第一主干网络、一个第一分类网络、变分自编码器和判别器；

步骤S223、调整所述第一主干网络中的批归一化层数量，得到包括N个批归一化层的第二主干网络，其中，所述每一批归一化层对应一个待识别任务；

由于各个类别的数据分布不一致，所以可以调整多任务主干网络具有N个批归一化层，即，每个任务具有各自的批归一化层层，通过不同的批归一化层解决不同任务的分布不一致的问题。

步骤S224、获取N个所述第二教师模型中每一所述第二教师模型中所有的样本提取的特征向量；

这里，获取N个所述第二教师模型中每一所述第二教师模型中所有的样本特征向量，是为了通过知识蒸馏得到更好的多任务主干网络。

步骤S225、将每一所述第二教师模型中所有的样本提取的特征向量作为目标特征训练所述第二主干网络，得到所述多任务主干网络；

在实施的过程中，通过知识蒸馏的方法，将多合一模型的特征与单个模型的特征对齐获得较好的主干网络，即将单个模型的特征作为目标特征指导多合一模型训练主干网络，以获得一致特征的需求。即，将每一所述第二教师模型中所有的样本特征向量作为目标特征训练所述搭建的行为识别模型中的第一主干网络。可以通过每一待识别任务对应的第二教师模型获得每个类别中所有样本的特征。

知识蒸馏的方法可以获得让目标更容易学习且更全面的知识，譬如特征或更‘软’的输出，通过知识蒸馏的方法分离不同的特征方案。知识蒸馏的核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。

如图2C所示，图像先经过预处理模块201和增强处理模块202处理得到完成预处理和增强处理的图像，然后利用N个批归一化层207对该图像进行归一化处理，最后利用第二教师模型的分类结果对N个批归一化层207进行调整。

步骤S226、将所述多任务主干网络中的N个批归一化层融合，得到第三主干网络；

固定多任务主干网络中除了批归一化层之外的参数，可将N个批归一化层融合成一个批归一化层或者将N个批归一化层融合成M批归一化层，其中，M小于N。在实施的过程中，融合的方法可以是先对N个批归一化层的参数进行平均，然后再微调参数。

步骤S227、利用所述N个待识别任务的样本数据集训练所述第三主干网络，以调整所述第三主干网络中的批归一化层的参数，得到完成调整的多任务主干网络；

如图2D所示，图像先经过预处理模块201和增强处理模块202处理得到完成预处理和增强处理的图像，然后利用融合了N个批归一化层的多任务主干网络211对该图像进行归一化处理，最后利用第二教师模型的分类结果对第三主干网络中的批归一化层的参数进行调整，得到完成调整的多任务主干网络。

步骤S228、利用所述N个待识别任务的样本数据集训练第一行为识别模型，得到所述多任务的行为识别模型，其中，所述第一行为识别模型包括所述多任务主干网络和所述N个第一分类网络。

本申请实施例中，首先调整多任务主干网络具有N个批归一化层，每个任务具有各自的批归一化层层，通过不同的批归一化层解决不同任务的分布不一致的问题，设置批量归一化层可以解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度；然后固定第二主干网络中除了批归一化层之外的参数，将N个批归一化层融合成一个批归一化层，进一步调整第二主干网络；最后通过各个任务的输入，固定多任务主干网络其余参数，单独调整批归一化层解决数据分布不一致的问题。

图3A为本申请实施例提供的一种在多任务的行为识别模型上新增一个待识别任务的训练流程示意图，如图3A所示，在多任务的行为识别模型上新增一个待识别任务的模型包括图像经过预处理模块201和增强处理模块202，多任务主干网络209和新增头网络H

图3B为本申请实施例提供的一种多任务的行为识别模型架构图，如图3B所示，多任务的行为识别模型包括一个固定的多任务主干网络209和与所述N个待识别任务一一对应的N个第二分类网络，即全连接层211或头网络212。

本申请实施例提供的一种在所述多任务的行为识别模型上新增一个待识别任务的实现流程示意图，如图3C所示，该方法包括：

步骤S301、获取新增任务的行为识别模型，其中，所述新增任务的行为识别模型是在所述多任务的行为识别模型上增加一个分类网络得到的，增加的分类网络用于分类新增的待识别任务；

这里，新增一个异常识别的任务，只需要固定多任务主干网络不动，训练各自新增的全连接层或头网络即可。

步骤S302、获取与所述新增的待识别任务对应的新增数据集；

在实施的过程中，获取新增数据集可以包括摄像装置的采集数据、互联网的爬取数据和基于虚拟游戏的生成数据。

步骤S303、利用所述新增数据集训练所述新增任务的行为识别模型，得到完成训练的新增任务的行为识别模型。

在一些实施例中，如图3A所示，图像经过预处理和增强处理，输入多任务主干网络209，利用新增待识别对象训练教师模型的分类结果，即教师目标(分类i)对新增分类网络，即全连接层(F

在一些实施例中，如图3B所示，完成训练的多任务的行为识别模型包括一个固定的多任务主干网络209和与所述N个待识别任务一一对应的N个第二分类网络，即全连接层211或头网络212。

本申请实施例中，基本的网络结构为多个任务共享一个多任务主干网络，通过新增一个任务新增一个全连接层或头网络，无需新增多任务主干网络，通过各个任务共享参数多任务主干网络大大减少了网络的参数。

本申请实施例提供的一种多任务的识别模型训练方法，该方法包括：

步骤S311、获取N个待识别任务的样本数据集，其中，所述样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，N为大于等于1的整数；

步骤S312、利用所述N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型，其中，所述多任务的行为识别模型用于识别单人和/或多人的异常行为；所述N个待识别任务包括以下至少之一：单人的危害自身安全的行为、违法行为；多人的危害自身安全的行为、违法行为。

在实施的过程中，单人的行为包括攀爬、跌倒、偷盗、损坏财物行为；多人的行为包括的攀爬、打架、跌倒、偷盗、损坏财物行为。

步骤S312、获取待识别图像；

在实施的过程中，可以获取视频流中的待识别图像，视频流可以是从摄像装置获取的在线视频流，即，在特定环境安装的摄像装置拍摄的在线视频流。例如，在电梯或超市按照的摄像装置获取到的视频流。

步骤S312、将所述待识别图像输入至所述多任务的行为识别模型，得到所述异常行为识别结果；

这里异常行为识别结果，包括发送异常行为的时间、地点等。

步骤S312、输出所述异常行为识别结果。

在利用所述多任务的行为识别模型识别在线视频流中存在攀爬、打架、跌倒至少之一事件的情况下，根据所述事件和所述事件所处的地点和时间，确定所述事件告警对应的内容；将所述事件告警对应的内容发送给告警处理平台。跟据所述事件所处的位置确定对应的终端；将所述事件告警发送给所述终端，以使得持有所述终端的管理人员及时处理所述事件。

本申请实施例中，所述多任务的行为识别模型用于识别单人和多人的异常行为；所述N个待识别任务包括以下至少之一：单人的危害自身安全的行为、违法行为；多人的危害自身安全的行为、违法行为。首先，获取视频流中的待识别图像；然后，将待识别图像输入至所述多任务的行为识别模型，得到异常行为的属性信息；最后，输出所述异常行为的属性信息。这样，由于在智慧城市管理的场景中，城市安全和谐一直是十分重要的方面。所以发生异常事件，譬如打架斗殴，电梯摔倒以及踢踹等危险的动作，往往都需要第一时间能够报警至管理人员。本申请实施例可以实时的掌握城市情况，当发生危险动作的时候导致产生城市危害，如斗殴等情况，系统可以第一时间产生报警，无需管理人员二十四小时对着摄像装置拍摄的录像，大大节省了人力物力，且保障了城市安全。

在多任务异常行为识别实际应用中，不同任务不同光照/背景/相机条件下获取的视频与通常在同一个任务相同条件下获取的视频之间的差异非常大。业界较为常用的方法有很多种形式，如联合学习(joint-learning)，带有辅助任务的学习(learning withauxiliary tasks)和自主学习(learning to learn)等，经实战证明不同任务之间共享参数可以挖掘不同任务之间共同的特征特性，关注学习更强更具泛化性的目标函数。

但是，在这些方法中存在以下几点重要缺陷：

缺陷一、这些方法对于模型中任务相似性，任务间的关系，任务间的层次，以及多任务学习的准确性仍然有限。多任务的学习会导致模型更倾向于具有共同特征特性的类别，而会影响具有正交特征类别的性能。任务之间在相同域下具有包含特性的，具有相似的优化目标，可以通过多任务来有效求解提高泛化性，而不同任务之间域差异大时，多任务并行学习，会使得学习结果相互抑制，学习准确性差。

缺陷二、多任务异常行为识别对于训练使用的任务样本数量需求大，任务之间需要足够的数据支持，且类间数量需要平衡。如果没有大量的任务样本支持无法训练出一个鲁棒的判别器。通常方法都会有类别均衡来缓解，但是不能真正的解决，原因在于数据复杂度有限，模型会偏向于学习复杂度更高的类别。

缺陷三、相关技术识别进行多任务异常行为识别都是基于视频全图的处理，但是实际落地的预处理是针对单人或多人具有不同的处理模式，若直接训练往往会容易相互影响精度。

图4为本申请实施例提供的一种多任务的行为识别模型训练实现流程示意图，其中，如图4所示，工作流程描述如下：

步骤S401、获取N个待识别任务的样本数据集，其中，N为大于等于1的整数；

获取的样本数据集分为三类：(a)如图1A和1B所示的摄像装置的采集数据；(b)如图1C所示的互联网的爬取数据；(c)如图1D和1E所示的基于虚拟游戏引擎生成异常行为数据。

以上三方面的数据构成N个待识别任务的样本数据集。

步骤S402、利用所述N个待识别任务中的每一待识别任务的样本数据集，分别训练N个第一教师模型，得到与所述N个待识别任务一一对应的N个第二教师模型；

这里待识别任务可以是打架，跌倒，攀爬等。实际应用数据源较为丰富，可以重点使用跨域(室外数据，室内数据)的训练方式。通过域适应，使得采集数据、生成数据和网络数据学习一致的行为表征。变分编码器通过不同数据分布，通过网络调整后可以获得各个域数据不变的表示。通过对抗学习进一步对齐两个不同域之间的特征空间。通过域空间融合训练获得各类(采集数据、生成数据和网络数据)数据最好的模型，并存下作为每个类别的教师模型，为后续的知识蒸馏作准备。

步骤S403、获取所述第一主干网络，其中所述第一主干网络是通过预设数据集训练得到的主干网络；

步骤S404、调整第一主干网络中的批归一化层数量，得到包括N个批归一化层的第二主干网络，其中，所述每一批归一化层对应一个待识别任务；

由于各个类别的数据分布不一致，调整第一主干网络，得到具有N个批归一化层的第二主干网络，每个任务具有各自的批归一化层，通过不同的批归一化层解决不同任务的分布不一致的问题。

这里，批量归一化层可以解决在训练过程中，中间层数据分布发生改变的问题，以防止梯度消失或爆炸、加快训练速度。

由于各个类别的数据分布不一致，调整得到的第二主干网络具有N个批归一化层，每个任务具有各自的批归一化层，通过不同的批归一化层解决不同任务的分布不一致的问题。

步骤S405、根据所述第二教师模型获得对应每一类别中所有样本提取的特征向量；

步骤S406、将每一所述第二教师模型中所有的样本提取的特征向量作为目标特征训练所述搭建的行为识别模型中的第二主干网络，得到所述多任务主干网络；

通过每个类别训练获得的第二教师模型，可以通过每一第二教师模型获得每个类别中所有样本的特征。通过知识蒸馏的方法，将多任务的特征与单个模型的特征对齐获得较好的主干网络，即将单个模型的特征作为目标特征指导多任务的行为识别模型训练主干网络，以获得一致特征的需求。

知识蒸馏：相比于独热的这种硬性的输出，知识蒸馏可以获得让目标更容易学习且更全面的知识，譬如特征或更“软”的输出，通过蒸馏的方法分离不同的特征方案。核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。

步骤S407、将所述多任务主干网络中的N个批归一化层融合，得到第三主干网络；

固定多任务主干网络中除了批归一化层之外的参数，将N个批归一化层融合成一个批归一化层，可以先对N个批归一化层的参数进行平均，然后再微调参数，得到第三主干网络。

步骤S408、利用所述N个待识别任务的样本数据集训练所述第三主干网络，以调整所述第三主干网络中的批归一化层的参数，得到完成调整的多任务主干网络；

如图2D所示，图像经过预处理和增强，输入融合了N个批归一化层的多任务主干网络，利用第二教师模型的分类结果对第三主干网络中的批归一化层的参数进行调整，得到完成调整的的多任务主干网络。

步骤S409、利用所述N个待识别任务的样本数据集训练第一行为识别模型，得到所述多任务的行为识别模型，其中，所述第一行为识别模型包括所述多任务主干网络和所述N个第一分类网络。

首先，在训练好的多任务主干网络上增加N个第一分类网络，得到第一行为识别模型。然后，利用N个待识别任务的样本数据集训练第一行为识别模型，得到的多任务的行为识别模型。其中，所任务的行为识别模型包括通过训练所述第一主干网络而得到的多任务主干网络和通过训练N个所述第一分类网络得到与所述N个待识别任务一一对应的N个第二分类网络。

如图2A所示，在N取3的情况下，第一分类网络为全连接层1、全连接层2、全连接层3或头网络1、头网络2、头网络3。

训练得到的多任务的行为识别模型如图3B所示，包括一个固定的多任务主干网络和与所述N个待识别任务一一对应的N个第二分类网络。

本申请实施例中，互联网数据据爬取算法开发，针对不同的类别爬取对应的异常类别，极大的扩充了异常数据集；基于游戏的虚拟数据生成对应的异常类别，之前的相关技术不具备针对类别生成能力；算法支持多种场景下，多种预处理下的不同任务融合进统一模型，且不低于单个模型的精度算法开发解决各个类别数量不均衡问题，之前技术没有采用挖掘视频以及生成视频解决数据较少的问题。能做到以下有益效果：1、多源头，多域数据的采集训练，有助于异常行为算法实战验证，提高行为算法的泛化能力；2、通过单模型的蒸馏，能够保持住各个类别在各个模型上最好的精度，产生的模型在各个任务上都有较好的表征能力；3、可以在单个模型上进行多个任务，大大减少了增加任务带来的显存消耗(一个任务一个单独的模型)。

基于前述的实施例，本申请实施例提供一种多任务的行为识别模型训练装置，该装置包括各模块、各模块所包括的各子模块、各子模块所包括的单元，以及各单元包括的子单元，可以通过电子设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

本申请实施例提供一种多任务的行为识别模型装置，图5为本申请实施例多任务的行为识别模型训练装置结构组成示意图，如图5所示，所述装置500包括：

第一获取模块501，用于获取N个待识别任务的样本数据集，其中，所述样本数据集包括虚拟数据、摄像装置的采集数据和互联网的爬取数据至少之一，N为大于等于1的整数；

第一训练模块502，用于利用所述N个待识别任务的样本数据集训练搭建的行为识别模型，得到多任务的行为识别模型，其中，所述搭建的行为识别模型包括第一主干网络和N个第一分类网络，所述多任务的行为识别模型包括多任务主干网络和N个第二分类网络，所述多任务主干网络是通过训练所述第一主干网络而得到，所述N个第二分类网络是与所述N个待识别任务一一对应的，通过训练N个所述第一分类网络得到。

基于前述的实施例，搭建的行为识别模型的装置还包括：第二获取模块，用于获取所述第一主干网络，其中所述第一主干网络是通过预设数据集训练得到的主干网络；增加模型，用于在所述第一主干网络的基础上增加所述N个第一分类网络，得到所述搭建的行为识别模型。

基于前述的实施例，所述第一训练模块包括第一训练子模块和第二训练子模块，其中，所述第一训练子模块，用于利用所述N个待识别任务的样本数据集训练所述搭建的行为识别模型中的第一主干网络，得到所述多任务主干网络；所述第二训练子模块，用于利用所述N个待识别任务的样本数据集训练第一行为识别模型，得到所述多任务的行为识别模型，其中，所述第一行为识别模型包括所述多任务主干网络和所述N个第一分类网络。

基于前述的实施例，所述第一训练子模块包括第一训练单元和第二训练单元，其中，所述第一训练单元用于利用所述N个待识别任务中的每一待识别任务的样本数据集，分别训练N个第一教师模型，得到与所述N个待识别任务一一对应的N个第二教师模型，其中，每一所述第一教师模型包括所述第一主干网络、一个第一分类网络、变分自编码器和判别器；第二训练单元，用于利用N个所述第二教师模型训练所述第一主干网络，得到所述多任务主干网络。

基于前述的实施例，所述第二训练单元包括调整子单元、获取子单元和第一训练子单元，其中，所述调整子单元用于调整所述第一干网络中的批归一化层数量，得到包括N个批归一化层的第二主干网络，其中，所述每一批归一化层对应一个待识别任务；所述获取子单元用于获取N个所述第二教师模型中每一所述第二教师模型中所有的样本提取的特征向量；训练子单元，用于将每一所述第二教师模型中所有的样本提取的特征向量作为目标特征训练所述搭建的行为识别模型中的第二主干网络，得到所述多任务主干网络。

基于前述的实施例，所述第二训练单元还包括融合子单元，第二训练子单元，其中，所述融合子单元，用于将所述多任务主干网络中的N个批归一化层融合，得到第三主干网络；所述第二训练子单元，用于利用所述N个待识别任务的样本数据集训练所述第三主干网络，以调整所述第三主干网络中的批归一化层的参数，得到完成调整的多任务主干网络。

基于前述的实施例，在所述多任务的行为识别模型上新增一个待识别任务的情况下，所述装置还包括第三获取模块，第四获取模块和第二训练模块，其中，所述第三获取模块，用于获取新增任务的行为识别模型，其中，所述新增任务的行为识别模型是在所述多任务的行为识别模型上增加一个所述第一分类网络得到的，增加的所述第一分类网络用于分类新增的待识别任务；所述第四获取模块，用于获取与所述新增的待识别任务对应的新增数据集；所述第二训练模块，用于利用所述新增数据集训练所述新增任务的行为识别模型，得到完成训练的新增任务的行为识别模型。

基于前述的实施例，所述多任务的行为识别模型用于识别单人和/或多人的异常行为；所述N个待识别任务包括以下至少之一：单人的危害自身安全的行为、违法行为；多人的危害自身安全的行为、违法行为。所述装置还包括第五获取模块、输入模块和输出模块，其中，所述第五获取模块用于获取待识别图像；输入模块，用于将所述待识别图像输入至所述多任务的行为识别模型，得到所述异常行为识别结果；输出模块，用于输出所述异常行为识别结果。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述多任务的行为模型训练方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

对应地，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的多任务的行为识别模型训练方法中的步骤。

对应地，本申请实施例提供一种计算机设备，图6为本申请实施例的一种硬件实体示意图，如图6所示，该设备600的硬件实体包括：包括存储器601和处理器602，所述存储器601存储有可在处理器602上运行的计算机程序，所述处理器602执行所述程序时实现上述实施例中提供的方法中的步骤。

存储器601配置为存储由处理器602可执行的指令和应用，还可以缓存待处理器602以及计算机设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得计算机设备(可以是手机、平板电脑、笔记本电脑、台式计算机、机器人、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。