行为识别方法、行为识别装置、视频检测方法及存储介质

技术领域

本发明涉及人工智能领域，具体而言，涉及一种行为识别方法、行为识别装置、视频检测方法及存储介质。

背景技术

在人工智能领域中，经常使用由大量标记样本训练得到的行为识别模型进行行为识别。当出现待识别行为的新增类别时，需要基于该新增类别重新收集大量的标记样本并重新训练行为识别模型，成本较高。对此，相关领域的技术人员不断尝试各种小样本行为识别方法，以求使用少量标记样本即可识别新增的行为类别。

与基于大量标记样本进行行为识别的方法相比，相关技术提供的小样本行为识别方法取得了显著的行为识别性能提升。然而，相关技术提供的小样本行为识别方法存在如下缺陷：学习能力较差，无法推广到不可见的域，进而难以自动识别新增类别的行为。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种行为识别方法、行为识别装置、视频检测方法及存储介质，以至少解决相关技术中依赖大样本的行为识别方式易造成识别成本较高，而依赖小样本的行为识别方式则缺乏可扩展性的技术问题。

根据本发明实施例的一个方面，提供了一种行为识别方法，包括：获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

根据本发明实施例的另一方面，还提供了一种行为识别方法，包括：接收来自于客户端的待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别；将目标类别反馈至客户端。

根据本发明实施例的另一方面，还提供了一种行为识别装置，包括：获取模块，用于获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；识别模块，用于对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在上述程序运行时控制上述计算机可读存储介质所在设备执行任意一项上述的行为识别方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

根据本发明实施例的另一方面，还提供了一种视频检测方法，其特征在于，包括：获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

在本发明实施例中，通过获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频，采用对支持集和查询集进行时序分析的方式，从多个候选类别中确定查询集所属的目标类别，达到了通过对待识别任务中的支持集样本和查询集样本进行时序分析以确定该待识别任务对应的行为类别的目的，从而实现了提高小样本行为识别方法的学习能力和可扩展性的技术效果，进而解决了相关技术中依赖大样本的行为识别方式易造成识别成本较高，而依赖小样本的行为识别方式则缺乏可扩展性的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了一种用于实现行为识别方法的计算机终端(或移动设备)的硬件结构框图；

图2是根据本发明实施例的一种行为识别方法的流程图；

图3是根据本发明实施例的一种可选的小样本行为识别过程的示意图；

图4是根据本发明实施例的另一种行为识别方法的流程图；

图5是根据本发明实施例的一种在云端服务器进行行为识别的示意图；

图6是根据本发明实施例的一种视频检测方法的流程图；

图7是根据本发明实施例的一种行为识别装置的结构示意图；

图8是根据本发明实施例的一种可选的行为识别装置的结构示意图；

图9是根据本发明实施例的另一种计算机终端的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本发明实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

行为识别：是指分析图像中目标对象的行为类别的过程。

小样本行为识别：是指仅通过极少数标记样本即可进行准确的新增类别行为识别的过程。在小样本行为识别中，通常假设基础训练集(base data set)和无标注目标集(target data set)来自于相同的域(domain)。

跨域小样本行为识别：是指当基础训练集和无标注目标集之间存在域偏差(domain shift)时，通过减小域偏差进行更准确的小样本行为识别的过程。

自注意力：是指在输入的两个相同的序列时，用于计算其中一个序列中的每个单元和另一个序列中的全部单元的关系，并将该关系进行聚合以提高特征学习效果的机制。例如：对于一个句子，该句子中每个单词都应当与该句子中其他单词相关。

回合测试(Episodic testing)：是指在小样本行为识别任务中，基于由测试样本拆分的多个回合(Episode)进行测试的过程，其中，该多个Episode对应多个任务，每个任务中均包含支持集(support set，指有标记的类别样本集合)和查询集(query set，指待测试的样本集合)。通过Episodic testing可以提高模型在小样本行为识别场景中的性能。

N-way-K-shot任务：是指支持集中包含N个行为类别，N个行为类别的每个行为类别对应K个样本(即支持集包含N×K个样本)的小样本行为识别任务。

实施例1

根据本发明实施例，还提供了一种行为识别方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现行为识别方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a，102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、键盘、光标控制设备(如鼠标)、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本发明实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的行为识别方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的行为识别方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。

在上述运行环境下，本发明提供了如图2所示的一种行为识别方法。图2是根据本发明实施例的一种行为识别方法的流程图，如图2所示，该行为识别方法包括：

步骤S21，获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；

步骤S22，对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

在本发明实施例中，上述待识别任务可以是小样本行为识别任务。该待识别任务可以是Episodic testing中多个Episode中其中一个Episode对应的任务。该待识别任务可以包括上述支持集和上述查询集。

上述支持集可以是有标记的类别样本集合，该支持集可以用于为待查询视频的行为识别提供多个候选类别。该待查询视频的显示内容可以包含目标对象的行为动作，该多个候选类别可以是该目标对象的行为动作可能所属的多个行为类别。

上述查询集可以是待测试的样本集合，该查询集可以用于确定待查询视频。例如：该查询集中包含的多个待测试的样本可以是待查询视频包含的多个视频帧。

对上述待识别任务中的支持集和查询集进行时序分析，可以从支持集对应的多个候选类别中确定查询集所属的目标类别。该目标类别可以是查询集中的多个待测试样本的每个待测试样本对应的行为动作所属的行为类别。

具体地，对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别，还可以包括其他方法步骤，可以参照下文中对于本发明实施例的进一步介绍，此处不予赘述。

在本发明实施例中，通过获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频，采用对支持集和查询集进行时序分析的方式，从多个候选类别中确定查询集所属的目标类别，达到了通过对待识别任务中的支持集样本和查询集样本进行时序分析以确定该待识别任务对应的行为类别的目的，从而实现了提高小样本行为识别方法的学习能力和可扩展性的技术效果，进而解决了相关技术中依赖大样本的行为识别方式易造成识别成本较高，而依赖小样本的行为识别方式则缺乏可扩展性的技术问题。

下面对本发明实施例的上述方法进行进一步介绍。

在一种可选的实施例中，在步骤S22中，对支持集和查询集进行时序分析，从多个候选类别中确定目标类别，包括如下方法步骤：

步骤S221，采用目标分类模型对支持集进行时序建模，得到第一时序动态关系；

步骤S222，基于第一时序动态关系确定多个候选类别；

步骤S223，采用目标分类模型对查询集进行时序建模，得到第二时序动态关系；

步骤S224，基于第一时序动态关系和第二时序动态关系，从多个候选类别中确定目标类别；

其中，目标分类模型利用样本数据集训练得到，样本数据集包括：基础训练集和无标注目标集，并且基础训练集与无标注目标集来自不同的数据域。

在上述可选的实施例中，采用目标分类模型对支持集和查询集进行时序分析。该目标分类模型可以是利用样本数据集通过机器学习训练得到的神经网络模型。该样本数据集可以包括来自不同数据域的基础训练集和无标注目标集。

通过采用上述目标分类模型对待识别任务的支持集进行时序建模，可以得到上述第一时序动态关系。该第一时序动态关系可以包括该支持集中包含的多个有标记的类别样本之间的时序关系和动态关系。

例如：某两个有标记的类别样本之间的时序关系可以是该两个有标记的类别样本的先后次序关系、时差信息等；某两个有标记的类别样本之间的动态关系可以是该两个有标记的类别样本对应的目标对象的行为动作间的动态变化类别、动态变化路径等。

基于上述第一时序动态关系，可以确定上述多个候选类别。该多个候选类别可以是待查询视频中显示的目标对象的行为动作可能所属的多个行为类别。

通过采用上述目标分类模型对待识别任务的查询集进行时序建模，可以得到上述第二时序动态关系。该第二时序动态关系可以包括该查询集中包含的多个待测试的样本之间的时序关系和动态关系。

例如：某两个待测试的样本之间的时序关系可以是该两个待测试的样本的先后次序关系、时差信息等；某两个待测试的样本之间的动态关系可以是该两个待测试的样本对应的目标对象的行为动作间的动态变化类别、动态变化路径等。

基于上述第一时序动态关系和上述第二时序动态关系，从上述多个候选类别中确定上述目标类别。该目标类别可以是查询集中的多个待测试样本的每个待测试样本对应的行为动作所属的行为类别。

例如：可以将第一时序动态关系和对应的第二时序动态关系进行比较，得到第一时序动态关系与第二时序动态关系的差异结果，进而通过分析该差异结果从支持集对应的多个候选类别中确定查询集所属的目标类别。

在一种可选的实施例中，在步骤S224中，基于第一时序动态关系和第二时序动态关系，从多个候选类别中确定目标类别，包括如下方法步骤：

步骤S2241，基于第一时序动态关系，对多个候选类别中每个候选类别进行均值计算，得到多个计算结果，其中，多个计算结果用于表示多个候选类别对应的样本均值；

步骤S2242，基于多个计算结果，对第二时序动态关系进行差异分析，得到多个分析结果，其中，多个分析结果用于表示多个计算结果与查询集的差异信息；

步骤S2243，根据多个分析结果，从多个候选类别中确定目标类别。

在上述可选的实施例中，上述第一时序动态关系可以包括该支持集中包含的多个有标记的类别样本之间的时序关系和动态关系。上述第二时序动态关系可以包括该查询集中包含的多个待测试的样本之间的时序关系和动态关系。上述多个候选类别可以是待查询视频中显示的目标对象的行为动作可能所属的多个行为类别。

基于第一时序动态关系，对多个候选类别中每个候选类别进行均值计算，可以是根据上述支持集中包含的多个有标记的类别样本之间的时序关系和动态关系，计算多个候选类别中每个候选类别对应的至少一个有标记的类别样本的样本均值。

基于多个计算结果，对第二时序动态关系进行差异分析，可以是在第二时序动态关系下，计算多个候选类别中每个候选类别对应的至少一个有标记的类别样本的样本均值与上述查询集中包含的多个待测试的样本的每个待测试的样本之间的距离，并根据该计算所得的距离进行差异分析以得到多个分析结果。

根据多个分析结果，可以从多个候选类别中确定目标类别。该目标类别可以是根据多个分析结果中差异数据的最小值对应的候选类别。在一种可选的实施例中，行为识别方法还包括如下方法步骤：

步骤S23，采用初始分类模型对基础训练集与无标注目标集进行时序建模，分别确定第一损失和第二损失；

步骤S24，基于第一损失与第二损失对初始分类模型进行联合优化，得到目标分类模型。

在上述可选的实施例中，初始分类模型可以是用于根据样本数据集训练目标分类模型的初始神经网络模型。该样本数据集包括基础训练集和无标注目标集。该基础训练集和该无标注目标集来自不同的数据域。

采用该初始分类模型对上述基础训练集进行时序建模，可以确定上述第一损失；采用该初始分类模型对上述无标注目标集进行时序建模，可以确定上述第二损失。该第一损失和该第二损失用于优化神经网络模型。

基于上述第一损失和上述第二损失对上述初始分类模型进行联合优化，可以得到上述目标分类模型。该目标分类模型可以用于对支持集和查询集进行时序分析，从支持集对应的多个候选类别中确定查询集所属的目标类别。

例如：基于初始分类模型、基础训练集和无标注目标集，可以获得第一损失Loss

Loss＝Loss

在上述公式(1)中，α表示平衡系数。

在一种可选的实施例中，在步骤S23中，采用初始分类模型对基础训练集与无标注目标集进行时序建模，分别确定第一损失和第二损失，包括如下方法步骤：

步骤S231，采用初始分类模型对基础训练集进行时序建模，得到第三时序动态关系；

步骤S232，基于第三时序动态关系进行分类训练，确定第一损失；

步骤S233，采用初始分类模型对无标注目标集进行时序建模，得到第四时序动态关系；

步骤S234，基于第三时序动态关系和第四时序动态关系进行对比学习，确定第二损失。

在上述可选的实施例中，初始分类模型可以是用于根据样本数据集训练目标分类模型的初始神经网络模型。该样本数据集包括基础训练集和无标注目标集。该基础训练集和该无标注目标集来自不同的数据域。

采用上述初始分类模型对上述基础训练集进行时序建模，可以得到上述第三时序动态关系。该第三时序动态关系可以包括该基础训练集中包含的多个有标记的基础样本之间的时序关系和动态关系。基于该第三时序动态关系进行分类训练，可以确定上述第一损失。该第一损失可以是分类训练损失。

采用上述初始分类模型对上述无标注目标集进行时序建模，可以得到上述第四时序动态关系。该第四时序动态关系可以包括该无标注目标集中包含的多个无标记的目标样本之间的时序关系和动态关系。基于上述第三时序动态关系和该第四时序动态关系进行对比学习，可以确定上述第二损失。该第二损失可以是对比学习损失。

在一种可选的实施例中，在步骤S231中，初始分类模型包括：特征提取阶段、时序建模阶段，采用初始分类模型对基础训练集进行时序建模，得到第三时序动态关系，包括如下方法步骤：

步骤S2311，在特征提取阶段对基础训练集进行特征提取，得到第一特征序列；

步骤S2312，在时序建模阶段对第一特征序列进行时序建模，得到第三时序动态关系。

在上述可选的实施例中，初始分类模型可以是用于根据样本数据集训练目标分类模型的初始神经网络模型。该样本数据集包括基础训练集，该基础训练集可以是多个有标记的基础样本的集合。该初始分类模型可以包括：特征提取阶段和时序建模阶段。

具体地，在初始分类模型的特征提取阶段，可以对基础训练集进行特征提取，进而得到该基础训练集对应的第一特征序列。该第一特征序列可以包括该基础训练集包含的多个有标记的基础样本对应的特征。

具体地，在初始分类模型的时序建模阶段，可以对上述第一特征序列进行时序建模，进而得到上述第三时序动态关系。该第三时序动态关系可以包括基础训练集中包含的多个有标记的基础样本之间的时序关系和动态关系。

图3是根据本发明实施例的一种可选的小样本行为识别过程的示意图。如图3所示，用于训练小样本行为识别模型(相当于上述目标分类模型)的样本数据集包括有标记的基础样本(相当于上述基础训练集)。

例如：基于视频帧数量为T的采样视频Video0，可以确定一个有标记的视频基础样本集

仍然以基于采样视频Video0训练小样本行为识别模型为例，如图3所示，将上述特征序列F

在一种可选的实施例中，在步骤S232中，初始分类模型还包括：有监督分类阶段，基于第三时序动态关系进行分类训练，确定第一损失，包括如下方法步骤：

步骤S2321，在有监督分类阶段对第三时序动态关系进行有监督分类训练，确定第一损失。

在上述可选的实施例中，初始分类模型可以是用于根据样本数据集训练目标分类模型的初始神经网络模型。该初始分类模型可以包括：有监督分类阶段。

上述第三时序动态关系可以包括基础训练集中包含的多个有标记的基础样本之间的时序关系和动态关系。

上述第一损失可以是分类训练损失。在初始分类模型中的有监督分类阶段，对上述第三时序动态关系进行有监督分类训练，可以确定上述分类训练损失。

仍然以基于采样视频Video0训练小样本行为识别模型为例，如图3所示，训练小样本行为识别模型时，在初始神经网络模型的有监督分类阶段，接收时序建模子阶段1输出的时序动态关系TM03(相当于上述第三时序动态关系)；基于该时序动态关系TM03，采用多个多层感知机(Multi-LayerPerceptron，简称MLP)对有标记的视频基础样本集V

具体地，上述基于时序动态关系TM03进行有监督分类训练的方法可以如下述公式(2)至公式(4)所示：

在上述公式(2)至公式(4)中，y表示真实的行为类别，

在一种可选的实施例中，在步骤S233中，采用初始分类模型对无标注目标集进行时序建模，得到第四时序动态关系，包括如下方法步骤：

步骤S2331，对无标注目标集进行数据增广处理，得到处理结果；

步骤S2332，在特征提取阶段对处理结果进行特征提取，得到第二特征序列；

步骤S2333，在时序建模阶段对第二特征序列进行时序建模，得到第四时序动态关系。

在上述可选的实施例中，初始分类模型可以是用于根据样本数据集训练目标分类模型的初始神经网络模型。该样本数据集包括无标注目标集，该无标注目标集可以是多个无标记的目标样本的集合。该初始分类模型可以包括：特征提取阶段和时序建模阶段。

多上述无标注目标集进行数据增广处理得到处理结果可以是：对无标注目标集分别进行至少一次数据增广处理，得到至少一个处理结果。

具体地，在初始分类模型的特征提取阶段，可以对上述处理结果进行特征提取，进而得到该无标注目标集对应的第二特征序列。该第二特征序列可以包括该无标注目标集包含的多个无标记的目标样本对应的特征。

具体地，在初始分类模型的特征提取阶段，还可以对上述至少一个处理结果分别进行特征提取，进而得到该无标注目标集对应的至少一个第二特征序列。该至少一个第二特征序列中每个第二特征序列可以包括该无标注目标集包含的多个无标记的目标样本对应的特征。

具体地，在初始分类模型的时序建模阶段，可以对上述第二特征序列进行时序建模，进而得到上述第四时序动态关系。该第四时序动态关系可以包括无标注目标集中包含的多个无标记的目标样本之间的时序关系和动态关系。

仍然以基于采样视频Video0训练小样本行为识别模型为例，如图3所示，用于训练小样本行为识别模型(相当于上述目标分类模型)的样本数据集还包括无标记的目标样本(相当于上述无标注目标集)。上述有标记的基础样本和该无标记的目标样本存在显著的域差异。基于视频帧数量为T的采样视频Video0，可以确定一个无标记的视频目标样本集

仍然如图3所示，将无标记的视频目标样本集V

仍然如图3所示，将上述特征序列F

容易注意到的是，在时序建模阶段，采用多头自注意力机制(Multi-head Self-Attention，简称MSA)进行时序建模。具体地，将特征序列F

具体地，上述采用多头自注意力机制进行时序建模的方法可以如下述公式(5)至公式(8)所示：

X′＝Norm(F) 公式(5)

H

在上述公式(5)至公式(8)中，Q

容易注意到的是，通过使用无标注的目标样本进行小样本行为识别模型的训练，可以减小样本数据集间的域差异，进而使训练得到的小样本行为识别模型具有更好的可扩展性。

容易注意到的是，通过在时序建模阶段中使用多头自注意力机制进行时序建模，减少多个特征中每两个特征之间的距离，便于特征之间非局部关系的建模，可以允许模型在不同表示的子空间中学习到不同的信息，增加模型可关注的关系数量，进而提升模型的鲁棒性和表达能力；还可以提高模型对长程时序依赖关系的学习能力，进而使模型能够更加充分地挖掘多个视频样本之间的关联关系。

容易注意到的是，在采用多头自注意力机制进行时序建模时，通过使用缩放参数，可以控制所得特征的值处于合适的范围(不至于过大)，进而提高模型训练的稳定性和收敛速度。

在一种可选的实施例中，在步骤S234中，初始分类模型还包括：自监督对比学习阶段，基于第三时序动态关系和第四时序动态关系进行对比学习，确定第二损失，包括如下方法步骤：

步骤S2341，在自监督对比学习阶段对第三时序动态关系和第四时序动态关系进行自监督对比学习，确定第二损失。

在上述可选的实施例中，初始分类模型可以是用于根据样本数据集训练目标分类模型的初始神经网络模型。该初始分类模型可以包括：自监督对比学习阶段。

上述第三时序动态关系可以包括基础训练集中包含的多个有标记的基础样本之间的时序关系和动态关系。上述第四时序动态关系可以包括无标注目标集中包含的多个无标记的目标样本之间的时序关系和动态关系。

上述第一损失可以是对比学习损失。在初始分类模型中的自监督对比学习阶段，对上述第三时序动态关系和上述和第四时序动态关系进行自监督对比学习，可以确定上述对比学习损失。

仍然以基于采样视频Video0训练小样本行为识别模型为例，如图3所示，训练小样本行为识别模型时，在初始神经网络模型的自监督对比学习阶段，接收时序建模阶段输出的时序动态关系TM03和时序动态关系TM04(相当于上述第四时序动态关系)；基于该时序动态关系TM03和时序动态关系TM04，对有标记的视频基础样本集V

对比学习方法是自监督学习中的直观学习方法之一，类似于人类通过比较猫的同类不同个体之间的相同特征和猫与异类个体之间的不同特征，在猫的概念未知的情况下(甚至没有猫的语言定义的情况下)也可以识别猫的方法。

对比学习的过程中，通过在特征空间中拉进正样本对的操作和推远负样本对的操作，增强实例的可判别性。

仍然以基于采样视频Video0训练小样本行为识别模型为例，如图3所示，在初始神经网络模型的自监督对比学习阶段，对有标记的视频基础样本集V

在上述公式(9)至公式(10)中，τ表示温度系数，N表示一个训练批次中采样视频的个数，

容易注意到的是，通过自监督对比学习，可以提高模型所学习到的表征的泛化性，进而可以使训练得到的小样本行为识别模型具备更有效的域迁移能力，提高该小样本行为识别模型在目标域上的识别性能。

容易注意到的是，通过本发明实施例提供的方法，可以在小样本行为识别场景下提高跨域行为识别的效率和准确度；还可以利用时序建模过程提取待查询视频中的时序动态关系，并结合自监督对比学习提高模型的泛化性能，进而降低行为识别过程中从训练数据域到目标测试域的迁移难度。

需要说明的是，本发明提供的方法的重点在于：基于自注意力机制设计时序建模过程，更充分地挖掘样本之间的时序动态关系，进而提高样本表达内容的有效性；以及通过自监督对比学习过程，更充分地挖掘无标记数据样本的表征以增强模型行为识别过程中的迁移能力，实现跨域场景下的有效泛化。然而，本发明并不对其他非重点的实现方法做出限定。

本发明其中一实施例还提供了一种行为识别方法，该行为识别方法在云端服务器上运行，图4是根据本发明实施例的另一种行为识别方法的流程图，如图4所示，该行为识别方法，包括：

步骤S41，接收来自于客户端的待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；

步骤S42，对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别；

步骤S43，将目标类别反馈至客户端。

可选地，图5是根据本发明实施例的一种在云端服务器进行行为识别的示意图，如图5所示，客户端将待识别任务上传至云端服务器，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；云端服务器对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。然后，云端服务器会向上述客户端反馈目标类别，最终的目标类别会通过客户端的图形用户界面提供给用户。

需要说明的是，本发明实施例所提供的上述行为识别方法，可以但不限于适用于任何涉及行为识别的实际应用场景，通过SaaS服务端和客户端进行交互的方式，采用通过对待识别任务中的支持集样本和查询集样本进行时序分析的方式确定该待识别任务对应的目标类别，并将返回的目标类别通过客户端提供给用户。

本发明其中一实施例还提供了一种视频检测方法，图6是根据本发明实施例的一种的流程图，如图6所示，该视频检测方法包括：

步骤S61，获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；

步骤S62，对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

在上述视频检测方法中，上述待识别任务可以是基于待查询视频的小样本行为识别任务。该基于待查询视频的待识别任务可以是Episodic testing中多个Episode中其中一个Episode对应的任务。该基于待查询视频的待识别任务可以包括上述支持集和上述查询集。

上述支持集可以是有标记的视频样本集合，该支持集可以用于为待查询视频的行为识别提供多个候选类别。该待查询视频的显示内容可以包含目标对象的行为动作，该多个候选类别可以是该目标对象的行为动作可能所属的多个行为类别。

上述查询集可以是待测试的视频样本集合，该查询集可以用于确定待查询视频。例如：该查询集中包含的多个待测试的视频样本可以是待查询视频包含的多个视频帧。

对上述基于待查询视频的待识别任务中的支持集和查询集进行时序分析，可以从支持集对应的多个候选类别中确定查询集所属的目标类别。该目标类别可以是查询集中的多个待测试视频样本的每个待测试视频样本对应的行为动作所属的行为类别。

具体地，对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别，还可以包括其他方法步骤，可以参照上文中对于行为识别方法中对应内容的介绍，此处不予赘述。

在本发明实施例中，通过获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频，采用对支持集和查询集进行时序分析的方式，从多个候选类别中确定查询集所属的目标类别，达到了通过对待识别任务中的支持集样本和查询集样本进行时序分析以确定该待识别任务对应的行为类别的目的，从而实现了提高基于待查询视频的小样本行为识别方法的学习能力和可扩展性的技术效果，进而解决了相关技术中依赖大样本的视频识别方式易造成视频识别成本较高，而依赖小样本的视频识别方式则缺乏可扩展性的技术问题。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述行为识别方法的装置，图7是根据本发明实施例的一种行为识别装置的结构示意图，如图7所示，该装置包括：获取模块71、识别模块72，其中，

获取模块71，用于获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；识别模块72，用于对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

可选地，上述识别模块72还用于：采用目标分类模型对支持集进行时序建模，得到第一时序动态关系；基于第一时序动态关系确定多个候选类别；采用目标分类模型对查询集进行时序建模，得到第二时序动态关系；基于第一时序动态关系和第二时序动态关系，从多个候选类别中确定目标类别；其中，目标分类模型利用样本数据集训练得到，样本数据集包括：基础训练集和无标注目标集，并且基础训练集与无标注目标集来自不同的数据域。

可选地，上述识别模块72还用于：基于第一时序动态关系，对多个候选类别中每个候选类别进行均值计算，得到多个计算结果，其中，多个计算结果用于表示多个候选类别对应的样本均值；基于多个计算结果，对第二时序动态关系进行差异分析，得到多个分析结果，其中，多个分析结果用于表示多个计算结果与查询集的差异信息；根据多个分析结果，从多个候选类别中确定目标类别。

可选地，图8是根据本发明实施例的一种可选的行为识别装置的结构示意图，如图8所示，该装置除包括图7所示的所有模块外，还包括：建模模块73，用于采用初始分类模型对基础训练集与无标注目标集进行时序建模，分别确定第一损失和第二损失；优化模块74，用于基于第一损失与第二损失对初始分类模型进行联合优化，得到目标分类模型。

可选地，上述建模模块73还用于：采用初始分类模型对基础训练集进行时序建模，得到第三时序动态关系；基于第三时序动态关系进行分类训练，确定第一损失；采用初始分类模型对无标注目标集进行时序建模，得到第四时序动态关系；基于第三时序动态关系和第四时序动态关系进行对比学习，确定第二损失。

可选地，初始分类模型包括：特征提取阶段、时序建模阶段，上述建模模块73还用于：在特征提取阶段对基础训练集进行特征提取，得到第一特征序列；在时序建模阶段对第一特征序列进行时序建模，得到第三时序动态关系。

可选地，初始分类模型还包括：有监督分类阶段，上述建模模块73还用于：在有监督分类阶段对第三时序动态关系进行有监督分类训练，确定第一损失。

可选地，上述建模模块73还用于：对无标注目标集进行数据增广处理，得到处理结果；在特征提取阶段对处理结果进行特征提取，得到第二特征序列；在时序建模阶段对第二特征序列进行时序建模，得到第四时序动态关系。

可选地，初始分类模型还包括：自监督对比学习阶段，上述建模模块73还用于：在自监督对比学习阶段对第三时序动态关系和第四时序动态关系进行自监督对比学习，确定第二损失。

此处需要说明的是，上述获取模块71、识别模块72对应于实施例1中的步骤S21至步骤S22，两个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。

在本发明实施例中，通过获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频，采用对支持集和查询集进行时序分析的方式，从多个候选类别中确定查询集所属的目标类别，达到了通过对待识别任务中的支持集样本和查询集样本进行时序分析以确定该待识别任务对应的行为类别的目的，从而实现了提高小样本行为识别方法的学习能力和可扩展性的技术效果，进而解决了相关技术中依赖大样本的行为识别方式易造成识别成本较高，而依赖小样本的行为识别方式则缺乏可扩展性的技术问题。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例3

根据本发明实施例，还提供了一种电子装置的实施例，该电子装置可以是计算装置群中的任意一个计算装置。该电子装置包括：处理器和存储器，其中：

存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

在本发明实施例中，通过获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频，采用对支持集和查询集进行时序分析的方式，从多个候选类别中确定查询集所属的目标类别，达到了通过对待识别任务中的支持集样本和查询集样本进行时序分析以确定该待识别任务对应的行为类别的目的，从而实现了提高小样本行为识别方法的学习能力和可扩展性的技术效果，进而解决了相关技术中依赖大样本的行为识别方式易造成识别成本较高，而依赖小样本的行为识别方式则缺乏可扩展性的技术问题。

需要说明的是，本实施例的优选实施方式可以参见实施例1中的相关描述，此处不再赘述。

实施例4

本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。

可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。

在本实施例中，上述计算机终端可以执行行为识别方法中以下步骤的程序代码：获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

可选地，图9是根据本发明实施例的另一种计算机终端的结构框图，如图9所示，该计算机终端可以包括：一个或多个(图中仅示出一个)处理器122、存储器124、以及外设接口126。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的行为识别方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的行为识别方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

可选地，上述处理器还可以执行如下步骤的程序代码：采用目标分类模型对支持集进行时序建模，得到第一时序动态关系；基于第一时序动态关系确定多个候选类别；采用目标分类模型对查询集进行时序建模，得到第二时序动态关系；基于第一时序动态关系和第二时序动态关系，从多个候选类别中确定目标类别；其中，目标分类模型利用样本数据集训练得到，样本数据集包括：基础训练集和无标注目标集，并且基础训练集与无标注目标集来自不同的数据域。

可选地，上述处理器还可以执行如下步骤的程序代码：基于第一时序动态关系，对多个候选类别中每个候选类别进行均值计算，得到多个计算结果，其中，多个计算结果用于表示多个候选类别对应的样本均值；基于多个计算结果，对第二时序动态关系进行差异分析，得到多个分析结果，其中，多个分析结果用于表示多个计算结果与查询集的差异信息；根据多个分析结果，从多个候选类别中确定目标类别。

可选地，上述处理器还可以执行如下步骤的程序代码：采用初始分类模型对基础训练集与无标注目标集进行时序建模，分别确定第一损失和第二损失；基于第一损失与第二损失对初始分类模型进行联合优化，得到目标分类模型。

可选地，上述处理器还可以执行如下步骤的程序代码：采用初始分类模型对基础训练集进行时序建模，得到第三时序动态关系；基于第三时序动态关系进行分类训练，确定第一损失；采用初始分类模型对无标注目标集进行时序建模，得到第四时序动态关系；基于第三时序动态关系和第四时序动态关系进行对比学习，确定第二损失。

可选地，上述处理器还可以执行如下步骤的程序代码：在特征提取阶段对基础训练集进行特征提取，得到第一特征序列；在时序建模阶段对第一特征序列进行时序建模，得到第三时序动态关系。

可选地，上述处理器还可以执行如下步骤的程序代码：在有监督分类阶段对第三时序动态关系进行有监督分类训练，确定第一损失。

可选地，上述处理器还可以执行如下步骤的程序代码：对无标注目标集进行数据增广处理，得到处理结果；在特征提取阶段对处理结果进行特征提取，得到第二特征序列；在时序建模阶段对第二特征序列进行时序建模，得到第四时序动态关系。

可选地，上述处理器还可以执行如下步骤的程序代码：在自监督对比学习阶段对第三时序动态关系和第四时序动态关系进行自监督对比学习，确定第二损失。

处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：接收来自于客户端的待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别；将目标类别反馈至客户端。

在本发明实施例中，通过获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频，采用对支持集和查询集进行时序分析的方式，从多个候选类别中确定查询集所属的目标类别，达到了通过对待识别任务中的支持集样本和查询集样本进行时序分析以确定该待识别任务对应的行为类别的目的，从而实现了提高小样本行为识别方法的学习能力和可扩展性的技术效果，进而解决了相关技术中依赖大样本的行为识别方式易造成识别成本较高，而依赖小样本的行为识别方式则缺乏可扩展性的技术问题。

本领域普通技术人员可以理解，图9所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图9并不对上述电子装置的结构造成限定。例如，计算机终端还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图9所示不同的配置。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。

根据本发明实施例，还提供了一种存储介质的实施例。可选地，在本实施例中，上述存储介质可以用于保存上述实施例1所提供的行为识别方法所执行的程序代码。

可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用目标分类模型对支持集进行时序建模，得到第一时序动态关系；基于第一时序动态关系确定多个候选类别；采用目标分类模型对查询集进行时序建模，得到第二时序动态关系；基于第一时序动态关系和第二时序动态关系，从多个候选类别中确定目标类别；其中，目标分类模型利用样本数据集训练得到，样本数据集包括：基础训练集和无标注目标集，并且基础训练集与无标注目标集来自不同的数据域。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：基于第一时序动态关系，对多个候选类别中每个候选类别进行均值计算，得到多个计算结果，其中，多个计算结果用于表示多个候选类别对应的样本均值；基于多个计算结果，对第二时序动态关系进行差异分析，得到多个分析结果，其中，多个分析结果用于表示多个计算结果与查询集的差异信息；根据多个分析结果，从多个候选类别中确定目标类别。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用初始分类模型对基础训练集与无标注目标集进行时序建模，分别确定第一损失和第二损失；基于第一损失与第二损失对初始分类模型进行联合优化，得到目标分类模型。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：采用初始分类模型对基础训练集进行时序建模，得到第三时序动态关系；基于第三时序动态关系进行分类训练，确定第一损失；采用初始分类模型对无标注目标集进行时序建模，得到第四时序动态关系；基于第三时序动态关系和第四时序动态关系进行对比学习，确定第二损失。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在特征提取阶段对基础训练集进行特征提取，得到第一特征序列；在时序建模阶段对第一特征序列进行时序建模，得到第三时序动态关系。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在有监督分类阶段对第三时序动态关系进行有监督分类训练，确定第一损失。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：对无标注目标集进行数据增广处理，得到处理结果；在特征提取阶段对处理结果进行特征提取，得到第二特征序列；在时序建模阶段对第二特征序列进行时序建模，得到第四时序动态关系。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：在自监督对比学习阶段对第三时序动态关系和第四时序动态关系进行自监督对比学习，确定第二损失。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：接收来自于客户端的待识别任务，其中，待识别任务包括：支持集和查询集，支持集用于为待查询视频的行为识别提供多个候选类别，查询集用于确定待查询视频；对支持集和查询集进行时序分析，从多个候选类别中确定查询集所属的目标类别；将目标类别反馈至客户端。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。