一种样本生成方法、训练方法、识别方法及装置

技术领域

本申请涉及样本生成技术领域，特别地涉及一种样本生成方法、训练方法、识别方法及装置。

背景技术

作业风险监测领域中，传统方法是通过管理人员巡检以及查看现场视频的方法来检查是否存在安全风险，这些检查方法虽有一定的安全管理效果，但也存在工作效率较低、数据不准确的问题。随着深度学习的快速发展，采用深度学习的智能监测方法在作业风险监测领域得到广泛运用，但基于深度学习的方法需要大量的数据训练检测模型才能达到理想的检测识别效果，因此方便快捷的构建数据集对作业风险监测具有重大的安全和经济意义。相关技术中，虚拟人物训练样本得到的虚拟人物特征与真实人物训练样本得到真实人物特征之间存在差异，影响检测模型训练效果。

发明内容

针对上述问题，本申请提供一种样本生成方法、训练方法、识别方法及装置。

本申请提供了一种样本生成方法，所述方法包括：

获取存在目标行为的第一人物图像、不存在目标行为的第二人物图像和目标环境图像；

提取所述第一人物图像、所述第二人物图像的姿态信息；

将所述姿态信息和符合正态分布的随机噪声输入人体生成网络，生成符合所述姿态信息的虚拟人体图像；

将所述虚拟人体图像、所述目标环境图像和人体坐标信息输入背景融合网络，生成虚拟人物工作图像；

为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像；

基于带有标注信息的所述虚拟人物工作图像，生成样本训练集。

在一些实施例中，所述人体生成网络包括第一生成器和第一判断器，所述方法包括：

获取存在目标行为的第一样本人物图像和不存在目标行为的第二样本人物图像；

提取所述第一样本人物图像、所述第二样本人物图像的样本真实人体图像和样本人体姿态信息；

将所述样本人体姿态信息和符合正态分布的样本随机噪声输入所述第一生成器，生成符合所述样本姿态信息的样本虚拟人体图像；

将所述样本真实人体图像或所述样本虚拟人体图像输入第一判别器，输出第一概率；

根据所述样本虚拟人体图像与对应的所述第一样本人物图像或所述第二样本人物图像的对比结果通过反向梯度计算更新所述第一生成器的权重，根据所述第一概率通过反向梯度计算更新所述第一判别器的权重；

重复上述步骤，直到所述人体生成网络收敛。

在一些实施例中，所述背景融合网络包括第二生成器和第二判断器，所述方法包括：

获取样本目标环境图像、样本真实人物工作图像、样本人体坐标信息和样本虚拟人体图像，其中，所述样本虚拟人体图像为所述人体生成网络所生成；

将所述样本目标环境图像、所述样本虚拟人体图像和所述样本人体坐标信息输入所述第二生成器，生成样本虚拟人物工作图像；

将所述样本虚拟人物工作图像或所述样本真实人物工作图像输入到所述第二判断器，输出第二概率；

根据所述样本虚拟人物工作图像与对应的样本真实人物工作图像的对比结果通过反向梯度计算更新所述第二生成器，根据所述第二概率通过反向梯度计算更新所述第二判别器的权重；

重复上述步骤，直到所述背景融合网络收敛。

在一些实施例中，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像之前，所述方法包括：

对所述虚拟人物工作图像进行预处理，所述预处理包括随机旋转、平移、明暗变化或/和加噪。

在一些实施例中，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像，包括：

获取所述虚拟人物工作图像中所述虚拟人体图像的人体坐标信息和行为信息，其中，所述人体坐标信息包括所述虚拟人体图像位于所述目标环境图像中的人体坐标位置和所述虚拟人体图像的宽度值和高度值，所述行为信息为所述虚拟人体图像存在的目标行为；

基于所述人体坐标信息和行为信息，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像。

本申请实施例提供一种训练方法，应用上述所述样本训练集，检测模型包括人体检测模型和行为识别模型，所述方法包括：

统计所述样本训练集中所有所述虚拟人物工作图像的标注信息，根据所述标注信息获得标注的目标框的宽度值和高度值；

对所述目标框的宽度值和高度值进行K-Means聚类分析，得到多个锚框的宽度值和高度值；

将所述样本训练集中所述虚拟人物工作图像输入所述人体检测模型，基于多个所述锚框的宽度和高度值，得到不同尺度下人体的预测框和置信度；

计算所述预测框损失值和置信度损失值，根据所述预测框损失值和置信度损失值进行梯度计算更新所述人体检测模型权重；

重复以上训练步骤，直到所述预测框损失值和置信度损失值收敛或达到指定训练次数；

将存在目标行为的所述虚拟人物工作图像输入所述人体检测模型，输出人体图像；

将所述人体图像输入所述行为识别模型，输出第三概率；

计算所述第三概率的第三损失值，根据所述第三损失值进行梯度计算更新行为识别模型权重；

重复以上训练步骤，直到所述第三损失值收敛或达到指定训练次数。

本申请实施例提供一种识别方法，应用上述所述检测模型，所述方法包括：

获取目标环境的监控视频并进行解码，获取单帧图像；

对单帧图像进行自适应图片缩放、像素归一化的预处理；

将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率。

在一些实施例中，所述将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率之后，所述方法包括：

将所述概率与预设阈值比较；

若所述概率大于所述预设阈值，则生成报警信息。

本申请实施例提供一种样本生成装置，包括：

第一获取模块，用于获取存在目标行为的第一人物图像、不存在目标行为的第二人物图像和目标环境图像；

提取模块，用于提取所述第一人物图像、所述第二人物图像的姿态信息；

第一生成模块，用于将所述姿态信息和符合正态分布的随机噪声输入人体生成网络，生成符合所述姿态信息的虚拟人体图像；

第二生成模块，用于将所述虚拟人体图像、所述目标环境图像和人体坐标信息输入背景融合网络，生成虚拟人物工作图像；

标注模块，用于为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像；

第三生成模块，用于基于带有标注信息的所述虚拟人物工作图像，生成样本训练集。

本申请实施例提供一种训练装置，应用上述所述样本训练集，检测模型包括人体检测模型和行为识别模型，包括：

统计模块，用于统计所述样本训练集中所有所述虚拟人物工作图像的标注信息，根据所述标注信息获得用于标注的目标框的宽度和高度值；

聚类分析模块，用于对所述目标框的宽度和高度值进行K-Means聚类分析，得到多个锚框的宽度和高度值；

第一输入模块，用于将所述样本训练集中所述虚拟人物工作图像输入所述人体检测模型，根据多个所述锚框的宽度和高度值，得到不同尺度下人体的预测框和置信度；

第一计算模块，用于计算所述预测框损失值和置信度损失值，根据所述预测框损失值和置信度损失值进行梯度计算更新所述人体检测模型权重；

第一重复模块，用于重复以上训练步骤，直到所述预测框损失值和置信度损失值收敛或达到指定训练次数；

第二输入模块，用于将存在目标行为的所述虚拟人物工作图像输入所述人体检测模型，输出人体图像；

第三输入模块，用于将所述人体图像输入所述行为识别模型，输出存在目标行为的第三概率；

第二计算模块，用于根据所述第三概率计算得到第三损失值，根据所述第三损失值进行梯度计算更新行为识别模型权重；

第二重复模块，用于重复以上训练步骤，直到所述第三损失值收敛或达到指定训练次数。

本申请实施例提供一种识别装置，应用上述所述检测模型，包括：

第二获取模块，用于获取目标环境的监控视频并进行解码，获取单帧图像；

预处理模块，用于对单帧图像进行自适应图片缩放、像素归一化的预处理；

第四输入模块，用于将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率。

本申请实施例提供一种电子设备，包括：存储器和处理器，所述存储器上存储有计算机程序，该计算机程序被所述处理器执行时，执行上述任意一项所述的方法。

本申请实施例提供一种存储介质，该存储介质存储的计算机程序，能够被一个或多个处理器执行，能够用来实现上述任意一项所述的方法。

本申请实施例提供一种样本生成方法、训练方法、识别方法及装置，获取存在目标行为的第一人物图像、不存在目标行为的第二人物图像和目标环境图像；提取所述第一人物图像、所述第二人物图像的姿态信息；将姿态信息和符合正态分布的随机噪声输入人体生成网络，生成符合所述姿态信息的虚拟人体图像，使得虚拟人体图像的特征具有多样性，能够减小虚拟人体图像与真实人体图像存在的差异；将虚拟人体图像、目标环境图像和人体坐标信息输入背景融合网络，生成虚拟人物工作图像，能够减小虚拟人物工作图像与真实人物工作图像的差异；为虚拟人物工作图像生成标注信息，得到带有标注信息的虚拟人物工作图像；基于带有标注信息的虚拟人物工作图像，生成样本训练集，避免人工标注样本训练集。

附图说明

在下文中将基于实施例并参考附图来对本申请进行更详细的描述。

图1为本申请实施例提供的样本生成方法的流程示意图；

图2为本申请实施例提供的人体生成网络训练的流程示意图；

图3为本申请实施例提供的人体生成网络训练示意图；

图4为本申请实施例提供的背景融合网络训练的流程示意图；

图5为本申请实施例提供的背景融合网络训练示意图；

图6为本申请实施例提供的生成标注的流程示意图；

图7为本申请实施例提供的训练方法的流程示意图；

图8为本申请实施例提供的识别方法的流程示意图；

图9为本申请实施例提供的识别方法的另一流程示意图；

图10为本申请实施例提供的样本生成装置的结构示意图；

图11为本申请实施例提供的训练装置的结构示意图；

图12为本申请实施例提供的识别装置的结构示意图；

图13为本申请实施例提供的电子设备的组成结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

如果申请文件中出现“第一第二第三”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一第二第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

基于相关技术中存在的问题，本申请实施例提供一种样本生成方法，所述方法应用于电子设备，电子设备可以是手机、电脑等设备等。本申请实施例提供的样本生成方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质。

本申请实施例提供一种样本生成方法，如图1所示，图1为本申请实施例提供的样本生成方法的流程示意图，所述方法包括：

步骤S1：获取存在目标行为的第一人物图像、不存在目标行为的第二人物图像和目标环境图像；

本申请的实施例中，可以通过网络收集获取存在目标行为的第一人物图像、不存在目标行为的第二人物图像和目标环境图像。可以通过拍照设备拍摄获取存在目标行为的第一人物图像、不存在目标行为的第二人物图像和目标环境图像。可以通过网络和拍照设备结合的方式获取存在目标行为的第一人物图像、不存在目标行为的第二人物图像和目标环境图像。其中，目标行为可以根据用户的需求进行设定，例如目标行为可以是抽烟、打电话等。目标行为可以是一个也可以是多个，本申请的实施例不做限定。

步骤S2：提取所述第一人物图像、所述第二人物图像的姿态信息；

本申请的实施例中，可以通过人体图像分割工具提取第一人物图像、第二人物图像的姿态信息。

步骤S3：将所述姿态信息和符合正态分布的随机噪声输入人体生成网络，生成符合所述姿态信息的虚拟人体图像；

本申请的实施例中，可以理解的是，符合正态分布的随机噪声是除了姿态信息以外的构成虚拟人体图像的特征信息，例如性别、年龄、皮肤颜色、衣服颜色等。通过符合正态分布的随机噪声使得合成的虚拟人体图像的特征具有多样性，且虚拟人体图像与真实人体图像不会存在差异。

步骤S4：将所述虚拟人体图像、所述目标环境图像和人体坐标信息输入背景融合网络，生成虚拟人物工作图像；

本申请的实施例中，目标环境图像指的是环境背景，示例性的，如港口、加油站、图书馆等。人体坐标信息包含预设的虚拟人体图像在目标环境图像的人体坐标位置和人体图像的宽度和高度。便于根据预设的人体坐标位置和人体图像的宽度和高度将虚拟人体图像融合到目标环境图像中。使得虚拟人物工作图像与真实人物工作图像不存在差异。

步骤S5：为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像；

本申请的实施例中，可以理解的是，标注信息指的是虚拟人物工作图像中的虚拟人体图像对应的人体坐标信息和行为信息，人体坐标信息包括虚拟人体图像在目标环境图像的人体坐标位置和人体图像的宽度和高度，行为信息包括虚拟人体图像存在目标行为和不存在目标行为，其中存在目标行为可以体现具体存在哪些目标行为，例如抽烟、打电话等，目标行为可以是一个也可以是多个，本申请的实施例不做限定。

步骤S6：基于带有标注信息的所述虚拟人物工作图像，生成样本训练集。

本申请的实施例中，基于带有标注信息的虚拟人物工作图像，生成样本训练集，避免人工标注样本训练集。

在一些实施例中，如图2所示，图2为本申请实施例提供的人体生成网络训练的流程示意图，所述人体生成网络包括第一生成器和第一判断器，所述方法包括：

步骤S11：获取存在目标行为的第一样本人物图像和不存在目标行为的第二样本人物图像；

步骤S12：提取所述第一样本人物图像、所述第二样本人物图像的样本真实人体图像和样本人体姿态信息；

步骤S13：将所述样本人体姿态信息和符合正态分布的样本随机噪声输入所述第一生成器，生成符合所述样本姿态信息的样本虚拟人体图像；

步骤S14：将所述样本真实人体图像或所述样本虚拟人体图像输入第一判别器，输出第一概率；

步骤S15：根据所述样本虚拟人体图像与对应的所述第一样本人物图像或所述第二样本人物图像的对比结果通过反向梯度计算更新所述第一生成器的权重，根据所述第一概率通过反向梯度计算更新所述第一判别器的权重；

步骤S16：重复上述步骤，直到所述人体生成网络收敛。

本申请的实施例中，如图3所示，通过网络获取样本人物图像I

在一些实施例中，如图4所示，图4为本申请实施例提供的背景融合网络训练的流程示意图，所述背景融合网络包括第二生成器和第二判断器，所述方法包括：

步骤S21：获取样本目标环境图像、样本真实人物工作图像、样本人体坐标信息和样本虚拟人体图像，其中，所述样本虚拟人体图像为所述人体生成网络所生成；

步骤S22：将所述样本目标环境图像、所述样本虚拟人体图像和所述样本人体坐标信息输入所述第二生成器，生成样本虚拟人物工作图像；

步骤S23：将所述样本虚拟人物工作图像或所述样本真实人物工作图像输入到所述第二判断器，输出第二概率；

步骤S24：根据所述样本虚拟人物工作图像与对应的样本真实人物工作图像的对比结果通过反向梯度计算更新所述第二生成器，根据所述第二概率通过反向梯度计算更新所述第二判别器的权重；

步骤S25：重复上述步骤，直到所述背景融合网络收敛。

本申请的实施例中，如图5所示，通过网络获取样本真实人物工作图像I

在一些实施例中，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像之前，所述方法包括：

步骤S7：对所述虚拟人物工作图像进行预处理，所述预处理包括随机旋转、平移、明暗变化或/和加噪。

本申请的实施例中，通过对虚拟人物工作图像进行随机旋转、平移、明暗变化或/和加噪的图像增强处理，便于后期使用。

在一些实施例中，如图6所示，图6为本申请实施例提供的生成标注的流程示意图，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像，包括：

步骤S31：获取所述虚拟人物工作图像中所述虚拟人体图像的人体坐标信息和行为信息，其中，所述人体坐标信息包括所述虚拟人体图像位于所述目标环境图像中的人体坐标位置和所述虚拟人体图像的宽度值和高度值，所述行为信息为所述虚拟人体图像存在的目标行为；

步骤S32：基于所述人体坐标信息和行为信息，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像。

本申请的实施例中，标注信息指的是虚拟人物工作图像中的虚拟人体图像对应的人体坐标信息和行为信息，人体坐标信息包括虚拟人体图像在目标环境图像的人体坐标位置和人体图像的宽度和高度，行为信息包括虚拟人体图像存在的目标行为，存在的目标行为可以是无目标行为和存在目标行为，其中，存在目标行为可以体现具体存在哪些目标行为，例如抽烟、打电话等，目标行为可以是一个也可以是多个，本申请的实施例不做限定。为虚拟人物工作图像生成标注信息时只需要提取虚拟人物工作图像的人体坐标信息和行为信息即可生成标注信息，无需人工标注。

基于相关技术中存在的问题，本申请实施例提供一种训练方法，所述方法应用于电子设备，电子设备可以是手机、电脑等设备等。本申请实施例提供的训练方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质。

本申请实施例提供一种训练方法，如图7所示，图7为本申请实施例提供的训练方法的流程示意图，应用上述所述样本训练集，检测模型包括人体检测模型和行为识别模型，所述方法包括：

步骤S41：统计所述样本训练集中所有所述虚拟人物工作图像的标注信息，根据所述标注信息获得标注的目标框的宽度值和高度值；

步骤S42：对所述目标框的宽度值和高度值进行K-Means聚类分析，得到多个锚框的宽度值和高度值；

步骤S43：将所述样本训练集中所述虚拟人物工作图像输入所述人体检测模型，基于多个所述锚框的宽度和高度值，得到不同尺度下人体的预测框和置信度；

步骤S44：计算所述预测框损失值和置信度损失值，根据所述预测框损失值和置信度损失值进行梯度计算更新所述人体检测模型权重；

步骤S45：重复以上训练步骤，直到所述预测框损失值和置信度损失值收敛或达到指定训练次数；

步骤S46：将存在目标行为的所述虚拟人物工作图像输入所述人体检测模型，输出人体图像；

步骤S47：将所述人体图像输入所述行为识别模型，输出第三概率；

步骤S48：计算所述第三概率的第三损失值，根据所述第三损失值进行梯度计算更新行为识别模型权重；

步骤S49：重复以上训练步骤，直到所述第三损失值收敛或达到指定训练次数。

本申请的实施例中，检测模型为二阶检测模型，由人体检测模型和行为识别模型构成。其中，人体检测模型采用yolov5目标检测模型，行为识别模型为采用VisionTransformer构建的多标签分类模型。统计样本训练集中所有的虚拟人物工作图像的标注信息，标注信息中包括虚拟人物工作图像中虚拟人体图像的人体坐标位置和人体图像的宽度和高度，根据人体坐标位置和人体图像的宽度和高度获得标注的目标框的宽度值和高度值。对目标框的宽度值和高度值进行K-Means聚类分析，从而根据样本训练集中所有的虚拟人物工作图像的标注框的宽度值和高度值进行分类，一个类别与一个锚框对应，锚框的宽度值和高度值根据标注框的宽度值和高度值得到。将训练数据集中的虚拟人物工作图像输入人体检测模型，通过卷积、池化计算提取图像特征，从而的得到不通过尺度下的人体的预测框及置信度，其中，不同尺度指的是图像特征属于不同倍数的情况，例如2倍、4倍8倍、16倍等。预测框损失值通过预测框与对应的目标框进行比较得到，置信度损失值通过置信度与预设的置信度比较得到。重复以上训练步骤，直到预测框损失值和置信度损失值收敛或达到指定训练次数，则认为人体检测模型训练完成。将样本训练集中标注信息存在目标行为的虚拟人物工作图像作为训练好的人体检测模型的输入，输出人体图像。行为识别模型对人体图像进行编码，提取人体特征，最终输出人体图像存在目标行为的第三概率。根据第三概率与预设概率进行比较计算第三损失值，然后根据第三损失值进行梯度计算更新行为识别模型权重。重复以上训练步骤，直到所述第三损失值收敛或达到指定训练次数，则认为行为识别模型训练完毕。

基于相关技术中存在的问题，本申请实施例提供一种训练方法，所述方法应用于电子设备，电子设备可以是手机、电脑等设备等。本申请实施例提供的训练方法所实现的功能可以通过电子设备的处理器调用程序代码来实现，其中，程序代码可以保存在计算机存储介质。

本申请实施例提供一种识别方法，如图8所示，图8为本申请实施例提供的识别方法的流程示意图，应用上述所述检测模型，所述方法包括：

步骤S51：获取目标环境的监控视频并进行解码，获取单帧图像；

步骤S52：对单帧图像进行自适应图片缩放、像素归一化的预处理；

步骤S53：将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率。

本申请的实施例中，以港口为例，港口是水陆交通的集结点和枢纽处，是工农业产品和外贸进出口物资的集散地，也是船舶停泊、装卸货物、上下旅客、补充给养的场所，同时港口对于安全管理也有着严格的要求，尤其对于工作人员的人身安全尤为关注。例如抽烟、打电话的行为违反了港口的安全管理，可以将抽烟、打电话的行为作为目标行为。实施时，在港口布设监控系统，通过监控系统采集港口的监控视频，对监控视频进行解码，获取单帧图像，对单帧图像进行预处理。将预处理后的单帧图像输入到检测模型中，第一阶段使用人体检测模型检测预处理后的单帧图像中的人体的位置并裁剪出人体图像，若存在人体图像则进入第二阶段。第二阶段使用行为识别模型识别人体图像，输出人体存在抽烟、打电话的概率，若不存在人体图像直接输出人体图像存在抽烟、打电话的概率均为0。综上所述，将检测模型应用到港口作业风险监测，可以及时检测相关人员是否存在目标行为，降低作业风险，检测效率高，检测数据准确。

在一些实施例中，如图9所示，图9为本申请实施例提供的识别方法的另一流程示意图，所述将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率之后，所述方法包括：

步骤S54：将所述概率与预设阈值比较；

步骤S55：若所述概率大于所述预设阈值，则生成报警信息。

本申请的实施例中，若检测到相关人员存在目标行为的概率大于对应的阈值则认为存在作业风险，进行对应的报警；若概率均小于对应的阈值则不进行报警。从而实现主动预警，降低作业风险。

本申请实施例提供一种样本生成装置，如图10所示，图10为本申请实施例提供的样本生成装置的结构示意图，包括：

第一获取模块，用于获取存在目标行为的第一人物图像、不存在目标行为的第二人物图像和目标环境图像；

提取模块，用于提取所述第一人物图像、所述第二人物图像的姿态信息；

第一生成模块，用于将所述姿态信息和符合正态分布的随机噪声输入人体生成网络，生成符合所述姿态信息的虚拟人体图像；

第二生成模块，用于将所述虚拟人体图像、所述目标环境图像和人体坐标信息输入背景融合网络，生成虚拟人物工作图像；

标注模块，用于为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像；

第三生成模块，用于基于带有标注信息的所述虚拟人物工作图像，生成样本训练集。

在一些实施例中，所述人体生成网络包括第一生成器和第一判断器，所述样本生成装置包括：

第三获取模块，用于获取存在目标行为的第一样本人物图像和不存在目标行为的第二样本人物图像；

第二提取模块，用于提取所述第一样本人物图像、所述第二样本人物图像的样本真实人体图像和样本人体姿态信息；

第四生成模块，用于将所述样本人体姿态信息和符合正态分布的样本随机噪声输入所述第一生成器，生成符合所述样本姿态信息的样本虚拟人体图像；

第五输入模块，用于将所述样本真实人体图像或所述样本虚拟人体图像输入第一判别器，输出第一概率；

第一更新模块，用于根据所述样本虚拟人体图像与对应的所述第一样本人物图像或所述第二样本人物图像的对比结果通过反向梯度计算更新所述第一生成器的权重，根据所述第一概率通过反向梯度计算更新所述第一判别器的权重；

第三重复模块，用于重复上述步骤，直到所述人体生成网络收敛。

在一些实施例中，所述背景融合网络包括第二生成器和第二判断器，所述样本生成装置包括：

第四获取模块，用于获取样本目标环境图像、样本真实人物工作图像、样本人体坐标信息和样本虚拟人体图像，其中，所述样本虚拟人体图像为所述人体生成网络所生成；

第五生成模块，用于将所述样本目标环境图像、所述样本虚拟人体图像和所述样本人体坐标信息输入所述第二生成器，生成样本虚拟人物工作图像；

第六输入模块，用于将所述样本虚拟人物工作图像或所述样本真实人物工作图像输入到所述第二判断器，输出第二概率；

第二更新模块，用于根据所述样本虚拟人物工作图像与对应的样本真实人物工作图像的对比结果通过反向梯度计算更新所述第二生成器，根据所述第二概率通过反向梯度计算更新所述第二判别器的权重；

第四重复模块，用于重复上述步骤，直到所述背景融合网络收敛。

在一些实施例中，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像之前，所述样本生成装置包括：

第一预处理模块，用于对所述虚拟人物工作图像进行预处理，所述预处理包括随机旋转、平移、明暗变化或/和加噪。

在一些实施例中，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像，所述样本生成装置包括：

获取单元，用于获取所述虚拟人物工作图像中所述虚拟人体图像的人体坐标信息和行为信息，其中，所述人体坐标信息包括所述虚拟人体图像位于所述目标环境图像中的人体坐标位置和所述虚拟人体图像的宽度值和高度值，所述行为信息为所述虚拟人体图像存在的目标行为；

标注单元，用于基于所述人体坐标信息和行为信息，为所述虚拟人物工作图像生成标注信息，得到带有标注信息的所述虚拟人物工作图像。

本申请实施例提供一种训练装置，如图11所示，图11为本申请实施例提供的训练装置的结构示意图，应用上述所述样本训练集，检测模型包括人体检测模型和行为识别模型，包括：

统计模块，用于统计所述样本训练集中所有所述虚拟人物工作图像的标注信息，根据所述标注信息获得用于标注的目标框的宽度和高度值；

聚类分析模块，用于对所述目标框的宽度和高度值进行K-Means聚类分析，得到多个锚框的宽度和高度值；

第一输入模块，用于将所述样本训练集中所述虚拟人物工作图像输入所述人体检测模型，根据多个所述锚框的宽度和高度值，得到不同尺度下人体的预测框和置信度；

第一计算模块，用于计算所述预测框损失值和置信度损失值，根据所述预测框损失值和置信度损失值进行梯度计算更新所述人体检测模型权重；

第一重复模块，用于重复以上训练步骤，直到所述预测框损失值和置信度损失值收敛或达到指定训练次数；

第二输入模块，用于将存在目标行为的所述虚拟人物工作图像输入所述人体检测模型，输出人体图像；

第三输入模块，用于将所述人体图像输入所述行为识别模型，输出存在目标行为的第三概率；

第二计算模块，用于根据所述第三概率计算得到第三损失值，根据所述第三损失值进行梯度计算更新行为识别模型权重；

第二重复模块，用于重复以上训练步骤，直到所述第三损失值收敛或达到指定训练次数。

本申请实施例提供一种识别装置，如图12所示，图12为本申请实施例提供的识别装置的结构示意图，应用上述所述检测模型，包括：

第二获取模块，用于获取目标环境的监控视频并进行解码，获取单帧图像；

预处理模块，用于对单帧图像进行自适应图片缩放、像素归一化的预处理；

第四输入模块，用于将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率。

在一些实施例中，所述将预处理后的单帧图像输入所述检测模型，输出存在目标行为的概率之后，所述识别装置：

比较模块，用于将所述概率与预设阈值比较；

报警模块，用于若所述概率大于所述预设阈值，则生成报警信息。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的虚拟物品的查找方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

相应地，本申请实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的样本生成方法、训练方法、识别方法中的步骤。

本申请实施例提供一种电子设备；图13为本申请实施例提供的电子设备的组成结构示意图，如图13所示，所述电子设备100包括：一个处理器101、至少一个通信总线102、用户接口103、至少一个外部通信接口104、存储器105。其中，通信总线102配置为实现这些组件之间的连接通信。其中，用户接口103可以包括显示屏，外部通信接口104可以包括标准的有线接口和无线接口。所述处理器101配置为执行存储器中存储的样本生成方法、训练方法、识别方法的程序，以实现以上述实施例提供的样本生成方法、训练方法、识别方法中的步骤。

这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台控制器执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。