三维人体姿态的估计方法、装置、设备及存储介质

技术领域

本申请涉及到人工智能技术领域，特别是涉及到一种三维人体姿态的估计方法、装置、设备及存储介质。

背景技术

三维人体姿态检测是计算机视觉领域中的一个重要的研究领域，这一研究领域对于人体动作判别、意图识别、行为检测、运动教学等都有着重要的应用价值和实际意义。

目前三维人体姿态检测主要采用的方法有两种：其中一种方法是通过先进行二维关节点预测，在二维关节点预测的基础上进行三维深度关节点回归预测，但这种方式在从二维预测结果进行三维回归时普遍存在对空间信息提取利用不足，导致三维预测部分性能较低的问题；另一种方法是直接进行三维关节点的端到端的预测，但这种方法难度很高，实际预测效果不好，性能指标普遍较低。此外，这两种方法无法在存在干扰遮挡时正确预测人体关节点、以及常出现不正常姿态的预测结果的问题。

发明内容

本申请的主要目的为提供一种三维人体姿态的估计方法、装置、设备及存储介质，旨在解决现有技术中的三维人体姿态检测无法在存在干扰遮挡时正确预测人体关节点、以及常出现不正常姿态的预测结果的技术问题。

为了实现上述发明目的，本申请提出一种三维人体姿态的估计方法，所述方法包括：

获取待估计的图像；

将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，其中，所述目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型；

根据所述目标三维人体姿态估计模型输出的三维人体姿态数据，得到所述待估计的图像对应的目标三维人体姿态数据。

进一步的，所述将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计的步骤之前，还包括：

获取多个二维关节点训练样本、多个三维关节点训练样本；

采用所述多个二维关节点训练样本对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练，得到待优化的生成网络和待优化的判别网络；

根据所述人体姿态强几何约束模型，得到惩罚函数；

采用所述惩罚函数和所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型。

进一步的，所述采用所述多个二维关节点训练样本对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练，得到待优化的生成网络和待优化的判别网络的步骤，包括：

从所述多个二维关节点训练样本中获取一个二维关节点训练样本，作为目标二维关节点训练样本，所述目标二维关节点训练样本包括：第一图像样本数据、人体二维关节点标定值；

将所述目标二维关节点训练样本的所述第一图像样本数据输入所述待训练的生成网络进行人体二维关节点预测，得到人体二维关节点样本预测值；

将所述目标二维关节点训练样本的所述人体二维关节点标定值和所述人体二维关节点样本预测值进行判别，得到第一置信结果；

采用所述目标二维关节点训练样本的所述人体二维关节点标定值、所述人体二维关节点样本预测值、所述第一置信结果对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练；

重复执行所述从所述多个二维关节点训练样本中获取一个二维关节点训练样本，作为目标二维关节点训练样本的步骤，直至初步对抗训练达到收敛条件，将初步对抗训练达到收敛条件的所述待训练的生成网络作为所述待优化的生成网络，将初步对抗训练达到收敛条件的所述待训练的判别网络作为所述待优化的判别网络。

进一步的，所述采用所述目标二维关节点训练样本的所述人体二维关节点标定值、所述人体二维关节点样本预测值、所述第一置信结果对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练的步骤，包括：

将所述目标二维关节点训练样本的所述人体二维关节点标定值和所述人体二维关节点样本预测值输入所述待训练的生成网络的损失函数进行计算，得到所述待训练的生成网络的第一损失值，根据所述第一损失值更新所述待训练的生成网络的参数；

将所述第一置信结果输入所述待训练的判别网络的损失函数进行计算，得到所述待训练的判别网络的第二损失值，根据所述第二损失值更新所述待训练的判别网络的参数；

其中，所述待训练的生成网络的损失函数采用MSE损失函数，所述待训练的判别网络的损失函数采用交叉熵损失函数。

进一步的，所述根据所述人体姿态强几何约束模型，得到惩罚函数的步骤，包括：

根据所述人体姿态强几何约束模型进行关节点位置约束，得到关节点位置惩罚项；

根据所述人体姿态强几何约束模型进行关节角度约束，得到关节角度惩罚项；

根据所述人体姿态强几何约束模型进行骨骼长度约束，得到骨骼长度惩罚项；

根据所述关节点位置惩罚项、所述关节角度惩罚项和所述骨骼长度约束，得到所述惩罚函数。

进一步的，所述采用所述惩罚函数和所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型的步骤，包括：

获取所述待训练的生成网络的损失函数和所述待训练的判别网络的损失函数；

将所述待训练的判别网络的损失函数作为所述待优化的判别网络的损失函数；

将所述惩罚函数作为惩罚项添加到所述待训练的生成网络的损失函数中，得到所述待优化的生成网络的损失函数；

采用所述待优化的生成网络的损失函数、所述待优化的判别网络的损失函数和所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型。

进一步的，所述采用所述待优化的生成网络的损失函数、所述待优化的判别网络的损失函数和所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型的步骤，包括：

从所述多个三维关节点训练样本中获取一个三维关节点训练样本，作为目标三维关节点训练样本，所述目标三维关节点训练样本包括：第二图像样本数据、人体三维关节点标定值；

将所述目标三维关节点训练样本的所述第二图像样本数据输入所述待优化的生成网络进行人体三维关节点预测，得到人体三维关节点样本预测值；

将所述目标三维关节点训练样本的所述人体三维关节点标定值和所述人体三维关节点样本预测值进行判别，得到第二置信结果；

采用所述待优化的生成网络的损失函数、所述待优化的判别网络的损失函数、所述目标三维关节点训练样本的所述人体三维关节点标定值、所述人体三维关节点样本预测值、所述第二置信结果对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练；

重复执行所述从所述多个三维关节点训练样本中获取一个三维关节点训练样本，作为目标三维关节点训练样本的步骤，直至优化对抗训练达到收敛条件，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型。

本申请还提出了一种三维人体姿态的估计装置，所述装置包括：

数据获取模块，用于获取待估计的图像；

三维人体姿态估计模块，用于将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，其中，所述目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型；

目标三维人体姿态数据确定模块，用于根据所述目标三维人体姿态估计模型输出的三维人体姿态数据，得到所述待估计的图像对应的目标三维人体姿态数据。

本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本申请的三维人体姿态的估计方法、装置、设备及存储介质，通过将待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，根据目标三维人体姿态估计模型输出的三维人体姿态数据，得到待估计的图像对应的目标三维人体姿态数据，目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型，对抗训练有效解决了训练样本较少的问题，引入人体姿态强几何约束模型提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

附图说明

图1为本申请一实施例的三维人体姿态的估计方法的流程示意图；

图2为本申请一实施例的三维人体姿态的估计装置的结构示意框图；

图3为本申请一实施例的计算机设备的结构示意框图。

本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

为了解决现有技术中的三维人体姿态检测无法在存在干扰遮挡时正确预测人体关节点、以及常出现不正常姿态的预测结果的技术问题，本申请提出了一种三维人体姿态的估计方法，所述方法应用于人工智能技术领域。所述三维人体姿态的估计方法采用首先采用二维数据进行初步对抗训练，然后采用三维数据进行优化对抗训练后得到三维人体姿态估计模型，优化对抗训练时采用人体姿态强几何约束模型作为干扰遮挡和不正常姿态的惩罚项，对抗训练有效解决了训练样本较少的问题，引入人体姿态强几何约束模型提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

参照图1，本申请实施例中提供一种三维人体姿态的估计方法，所述方法包括：

S1：获取待估计的图像；

S2：将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，其中，所述目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型；

S3：根据所述目标三维人体姿态估计模型输出的三维人体姿态数据，得到所述待估计的图像对应的目标三维人体姿态数据。

本实施例通过将待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，根据目标三维人体姿态估计模型输出的三维人体姿态数据，得到待估计的图像对应的目标三维人体姿态数据，目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型，对抗训练有效解决了训练样本较少的问题，引入人体姿态强几何约束模型提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

对于S1，可以获取用户输入的待估计的图像，也可以从数据库中获取待估计的图像，还可以是第三方应用系统发送的待估计的图像。

待估计的图像，是指需要估计三维人体姿态的包含人体的数字图像。

对于S2，将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，得到所述目标三维人体姿态估计模型输出的三维人体姿态数据。

三维人体姿态数据，是人体16个关节的三维坐标数据。三维坐标数据表述为(x，y，z)，x是图像中的横坐标、y是图像中的纵坐标、z是深度值坐标。

其中，先采用多个二维关节点训练样本对待训练的生成网络和待训练的判别网络进行初步对抗训练，初步对抗训练达到收敛条件后再采用三维关节点训练样本继续进行优化对抗训练，在优化对抗训练时，将人体姿态强几何约束模型对人体姿态进行约束应用于生成网络的损失函数中，最后将优化对抗训练达到收敛条件的生成网络作为所述目标三维人体姿态估计模型，提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

人体姿态强几何约束模型用于根据三维人体姿态数据对人体姿态是否正确进行预测，人体姿态强几何约束模型的实现方法可以从现有技术中选择，在此不做赘述。

对于S3，将所述目标三维人体姿态估计模型输出的三维人体姿态数据作为所述待估计的图像对应的目标三维人体姿态数据。

在一个实施例中，上述将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计的步骤之前，还包括：

S021：获取多个二维关节点训练样本、多个三维关节点训练样本；

S022：采用所述多个二维关节点训练样本对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练，得到待优化的生成网络和待优化的判别网络；

S023：根据所述人体姿态强几何约束模型，得到惩罚函数；

S024：采用所述惩罚函数和所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型。

本实施例实现了基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到目标三维人体姿态估计模型，对抗训练有效解决了训练样本较少的问题，引入人体姿态强几何约束模型提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

对于S021，可以获取用户输入的多个二维关节点训练样本，也可以从数据库中获取多个二维关节点训练样本，还可以是第三方应用系统发送的多个二维关节点训练样本。

可以获取用户输入的多个三维关节点训练样本，也可以从数据库中获取多个三维关节点训练样本，还可以是第三方应用系统发送的多个三维关节点训练样本。

二维关节点训练样本中包括一个第一图像样本数据和一个人体二维关节点标定值。在二维关节点训练样本中，人体二维关节点标定值是对第一图像样本数据中的人体的二维姿态的位置数据进行标定的结果。

第一图像样本数据，是包含人体的数字图像。

三维关节点训练样本中包括一个第二图像样本数据和一个人体三维关节点标定值。在三维关节点训练样本中，人体三维关节点标定值是对第二图像样本数据中的人体的三维姿态的位置数据进行标定的结果。

第二图像样本数据，是包含人体的数字图像。

对于S022，采用所述多个二维关节点训练样本对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练，将初步对抗训练达到收敛条件的所述待训练的生成网络作为所述待优化的生成网络，将初步对抗训练达到收敛条件的所述待训练的判别网络作为所述待优化的判别网络，从而使所述待优化的生成网络和所述待优化的判别网络预先学习到一部分的二维关节点信息，有利于解决三维关节点训练样本较少导致训练得到的模型预测性能差的问题。

对于S023，所述人体姿态强几何约束模型进行关节点位置、关节角度、骨骼长度三方面进行人体姿态的几何约束，所述人体姿态强几何约束模型的输出结果出现不正常时，将人体姿态的几何约束作为惩罚函数。

对于S024，采用所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，优化对抗训练时将所述惩罚函数作为所述待优化的生成网络的损失函数的惩罚项，加强了目标三维人体姿态估计模型对图像更深层空间特性的捕捉，实现了捕捉多个尺度下图像空间特性的重新校验关节点是否被预测正确，从而提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

在一个实施例中，上述采用所述多个二维关节点训练样本对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练，得到待优化的生成网络和待优化的判别网络的步骤，包括：

S0221：从所述多个二维关节点训练样本中获取一个二维关节点训练样本，作为目标二维关节点训练样本，所述目标二维关节点训练样本包括：第一图像样本数据、人体二维关节点标定值；

S0222：将所述目标二维关节点训练样本的所述第一图像样本数据输入所述待训练的生成网络进行人体二维关节点预测，得到人体二维关节点样本预测值；

S0223：将所述目标二维关节点训练样本的所述人体二维关节点标定值和所述人体二维关节点样本预测值进行判别，得到第一置信结果；

S0224：采用所述目标二维关节点训练样本的所述人体二维关节点标定值、所述人体二维关节点样本预测值、所述第一置信结果对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练；

S0225：重复执行所述从所述多个二维关节点训练样本中获取一个二维关节点训练样本，作为目标二维关节点训练样本的步骤，直至初步对抗训练达到收敛条件，将初步对抗训练达到收敛条件的所述待训练的生成网络作为所述待优化的生成网络，将初步对抗训练达到收敛条件的所述待训练的判别网络作为所述待优化的判别网络。

本实施例使所述待优化的生成网络和所述待优化的判别网络预先学习到一部分的二维关节点信息，有利于解决三维关节点训练样本较少导致训练得到的模型预测性能差的问题。

对于S0221，从所述多个二维关节点训练样本中获取一个二维关节点训练样本，将获取的二维关节点训练样本作为目标二维关节点训练样本。

对于S0222，将所述目标二维关节点训练样本的所述第一图像样本数据输入所述待训练的生成网络进行人体二维关节点预测，将人体二维关节点预测结果作为所述目标二维关节点训练样本对应的人体二维关节点样本预测值。

人体二维关节点样本预测值，是对所述目标二维关节点训练样本的所述第一图像样本数据的人体二维关节点位置数据的预测结果。

对于S0223，将所述目标二维关节点训练样本的所述人体二维关节点标定值和所述人体二维关节点样本预测值进行判别，将判别得到的置信结果作为所述人体二维关节点样本预测值对应的第一置信结果。

对于S0224，采用所述目标二维关节点训练样本的所述人体二维关节点标定值、所述人体二维关节点样本预测值对所述待训练的生成网络进行损失值计算和参数更新，采用所述第一置信结果对所述待训练的判别网络进行损失值计算和参数更新。

对于S0225，重复执行步骤S0221至步骤S0225，直至初步对抗训练达到收敛条件，将初步对抗训练达到收敛条件的所述待训练的生成网络作为所述待优化的生成网络，将初步对抗训练达到收敛条件的所述待训练的判别网络作为所述待优化的判别网络，从而使生成网络和判别网络预先学习到一部分二维关节点信息。

其中，初步对抗训练达到收敛条件包括：所述待训练的生成网络的损失值、所述待训练的判别网络的损失值均达到第一收敛条件，或者，初步对抗训练的训练次数达到第二收敛条件。

其中，所述待训练的生成网络的损失值、所述待训练的判别网络的损失值，是指，初步对抗训练的所述待训练的生成网络的损失值、所述待训练的判别网络的损失值全部达到第一收敛条件。

第一收敛条件，是指同一个网络(也就是待训练的生成网络和待训练的判别网络中的一个)相邻两次计算的损失值的大小满足lipschitz条件(利普希茨连续条件)。

初步对抗训练的训练次数达到第二收敛条件，是指待训练的生成网络和待训练的判别网络被用于初步对抗训练的次数，也就是说，初步对抗训练一次，初步对抗训练的训练次数增加1。

在一个实施例中，上述采用所述目标二维关节点训练样本的所述人体二维关节点标定值、所述人体二维关节点样本预测值、所述第一置信结果对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练的步骤，包括：

S02241：将所述目标二维关节点训练样本的所述人体二维关节点标定值和所述人体二维关节点样本预测值输入所述待训练的生成网络的损失函数进行计算，得到所述待训练的生成网络的第一损失值，根据所述第一损失值更新所述待训练的生成网络的参数；

S02242：将所述第一置信结果输入所述待训练的判别网络的损失函数进行计算，得到所述待训练的判别网络的第二损失值，根据所述第二损失值更新所述待训练的判别网络的参数；

其中，所述待训练的生成网络的损失函数采用MSE损失函数，所述待训练的判别网络的损失函数采用交叉熵损失函数。

本实施例采用所述目标二维关节点训练样本的所述人体二维关节点标定值、所述人体二维关节点样本预测值、所述第一置信结果对所述待训练的生成网络和所述待训练的判别网络进行初步对抗训练，使所述待优化的生成网络和所述待优化的判别网络预先学习到一部分的二维关节点信息，有利于解决三维关节点训练样本较少导致训练得到的模型预测性能差的问题。

对于S02241，将所述目标二维关节点训练样本的所述人体二维关节点标定值和所述人体二维关节点样本预测值输入所述待训练的生成网络的损失函数(也就是MSE损失函数)进行损失值计算，将计算得到的损失值作为所述待训练的生成网络的第一损失值。

根据所述第一损失值更新所述待训练的生成网络的参数的方法可以从现有技术中选择，在此不做赘述。

MSE损失函数的实现方式可以从现有技术中选择，在此不做赘述。

对于S02242，将所述第一置信结果输入所述待训练的判别网络的损失函数进行损失值计算，将计算得到的损失值作为所述待训练的判别网络的第二损失值。

根据所述第二损失值更新所述待训练的判别网络的参数的方法可以从现有技术中选择，在此不做赘述。

交叉熵损失函数的实现方式可以从现有技术中选择，在此不做赘述。

在一个实施例中，上述根据所述人体姿态强几何约束模型，得到惩罚函数的步骤，包括：

S0231：根据所述人体姿态强几何约束模型进行关节点位置约束，得到关节点位置惩罚项；

S0232：根据所述人体姿态强几何约束模型进行关节角度约束，得到关节角度惩罚项；

S0233：根据所述人体姿态强几何约束模型进行骨骼长度约束，得到骨骼长度惩罚项；

S0234：根据所述关节点位置惩罚项、所述关节角度惩罚项和所述骨骼长度约束，得到所述惩罚函数。

本实施例引入人体姿态强几何约束模型提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

对于S0231，关节点位置的几何约束，主要体现在不同关节点在人体中的位置之间存在相对位置关系。

其中，将人体三维关节点位置数据输入人体姿态强几何约束模型，人体姿态强几何约束模型预测结果是关节点相对位置关系偏差，将关节点相对位置关系偏差的平方损失作为关节点位置惩罚项。

对于S0232，关节角度的几何约束，主要考虑人体关节活动、骨骼弯曲时存在一定几何约束，不会出现非正常几何形态。

其中，将人体三维关节点位置数据输入人体姿态强几何约束模型，人体姿态强几何约束模型预测结果是骨骼出现不正常弯曲时，将不正常弯曲的平方损失作为关节角度惩罚项。比如，人体中A骨骼与B骨骼的正常关节角度是C

比如，人体的关节角度有C

对于S0233，骨骼长度的几何约束，主要体现在人体骨骼存在一定比例关系。

在对人体姿态强几何约束模型训练时，先从训练数据集中进行骨骼比例关系统计，将正确的骨骼比例关系作为人体姿态强几何约束模型的对比阈值。

其中，将人体三维关节点位置数据输入人体姿态强几何约束模型，人体姿态强几何约束模型预测结果是与已有骨骼比例关系出现偏差时，将骨骼比例关系出现偏差的平方损失作为骨骼长度惩罚项。

对于S0234，将所述关节点位置惩罚项、所述关节角度惩罚项和所述骨骼长度约束进行相加关联成一个函数，将关联得到的函数作为所述惩罚函数。

可选的，关节点位置惩罚项为P

在一个实施例中，上述采用所述惩罚函数和所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型的步骤，包括：

S0241：获取所述待训练的生成网络的损失函数和所述待训练的判别网络的损失函数；

S0242：将所述待训练的判别网络的损失函数作为所述待优化的判别网络的损失函数；

S0243：将所述惩罚函数作为惩罚项添加到所述待训练的生成网络的损失函数中，得到所述待优化的生成网络的损失函数；

S0244：采用所述待优化的生成网络的损失函数、所述待优化的判别网络的损失函数和所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型。

本实施例引入人体姿态强几何约束模型得到的所述惩罚函数作为惩罚项添加到所述待训练的生成网络的损失函数，加强了目标三维人体姿态估计模型对图像更深层空间特性的捕捉，实现了捕捉多个尺度下图像空间特性的重新校验关节点是否被预测正确，提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

对于S0241，可以获取用户输入的所述待训练的生成网络的损失函数和所述待训练的判别网络的损失函数，也可以从数据库中获取的所述待训练的生成网络的损失函数和所述待训练的判别网络的损失函数，还可以是第三方应用系统发送的所述待训练的生成网络的损失函数和所述待训练的判别网络的损失函数。可以理解的是，也可以将所述待训练的生成网络的损失函数和所述待训练的判别网络的损失函数写入实现本申请的程序文件中。

对于S0242，可选的，将所述待训练的判别网络的损失函数，也就是交叉熵损失函数作为所述待优化的判别网络的损失函数。

对于S0243，所述待训练的生成网络的损失函数与所述惩罚函数进行相减关联，将关联后的函数作为所述待优化的生成网络的损失函数。也就是说，将惩罚函数作为减项，以达到对惩罚的目的。

比如，所述待训练的生成网络的损失函数是L

对于S0244，采用所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，优化对抗训练时采用所述待优化的生成网络的损失函数和所述待优化的判别网络的损失函数计算损失值，优化对抗训练后，所述待优化的生成网络已经学习到二维信息和三维的深度信息，此时可以将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型。

在一个实施例中，上述采用所述待优化的生成网络的损失函数、所述待优化的判别网络的损失函数和所述多个三维关节点训练样本对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型的步骤，包括：

S02441：从所述多个三维关节点训练样本中获取一个三维关节点训练样本，作为目标三维关节点训练样本，所述目标三维关节点训练样本包括：第二图像样本数据、人体三维关节点标定值；

S02442：将所述目标三维关节点训练样本的所述第二图像样本数据输入所述待优化的生成网络进行人体三维关节点预测，得到人体三维关节点样本预测值；

S02443：将所述目标三维关节点训练样本的所述人体三维关节点标定值和所述人体三维关节点样本预测值进行判别，得到第二置信结果；

S02444：采用所述待优化的生成网络的损失函数、所述待优化的判别网络的损失函数、所述目标三维关节点训练样本的所述人体三维关节点标定值、所述人体三维关节点样本预测值、所述第二置信结果对所述待优化的生成网络和所述待优化的判别网络进行优化对抗训练；

S02445：重复执行所述从所述多个三维关节点训练样本中获取一个三维关节点训练样本，作为目标三维关节点训练样本的步骤，直至优化对抗训练达到收敛条件，将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型。

本实施例引入人体姿态强几何约束模型得到的所述惩罚函数作为惩罚项添加到所述待训练的生成网络的损失函数，加强了目标三维人体姿态估计模型对图像更深层空间特性的捕捉，实现了捕捉多个尺度下图像空间特性的重新校验关节点是否被预测正确，从而提高了训练得到的模型对干扰遮挡的预测性能，提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率；采用三维数据回归，从而使模型学习到三维的深度值的信息。

对于S02441，从所述多个三维关节点训练样本中获取一个三维关节点训练样本，将获取的三维关节点训练样本作为目标三维关节点训练样本。

对于S02442，将所述目标三维关节点训练样本的所述第二图像样本数据输入所述待训练的生成网络进行人体三维关节点预测，将人体三维关节点预测结果作为所述目标三维关节点训练样本对应的人体三维关节点样本预测值。

人体三维关节点样本预测值，是对所述目标三维关节点训练样本的所述第二图像样本数据的人体三维关节点位置数据的预测结果。

对于S02443，将所述目标三维关节点训练样本的所述人体三维关节点标定值和所述人体三维关节点样本预测值进行判别，将判别得到的置信结果作为所述人体三维关节点样本预测值对应的第二置信结果。

对于S02444，采用所述目标三维关节点训练样本的所述人体三维关节点标定值、所述人体三维关节点样本预测值对所述待训练的生成网络进行损失值计算和参数更新，采用所述第二置信结果对所述待训练的判别网络进行损失值计算和参数更新。

对于S02445，重复执行步骤S02441至步骤S02445，直至优化对抗训练达到收敛条件，优化对抗训练后，所述待优化的生成网络已经学习到二维信息和三维的深度信息，此时可以将优化对抗训练达到收敛条件的所述待优化的生成网络作为所述目标三维人体姿态估计模型。

其中，优化对抗训练达到收敛条件包括：所述待优化的生成网络的损失值、所述待优化的判别网络的损失值均达到第三收敛条件，或者，优化对抗训练的训练次数达到第四收敛条件。

其中，所述待优化的生成网络的损失值、所述待优化的判别网络的损失值，是指，优化对抗训练的所述待优化的生成网络的损失值、所述待优化的判别网络的损失值全部达到第三收敛条件。

第三收敛条件，是指同一个网络(也就是所述待优化的生成网络、所述待优化的判别网络中的一个)的相邻两次计算的损失值的大小满足lipschitz条件(利普希茨连续条件)。

优化对抗训练的训练次数达到第四收敛条件，是指待优化的生成网络和待优化的判别网络被用于优化对抗训练的次数，也就是说，优化对抗训练一次，优化对抗训练的训练次数增加1。

参照图2，本申请还提出了一种三维人体姿态的估计装置，所述装置包括：

数据获取模块100，用于获取待估计的图像；

三维人体姿态估计模块200，用于将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，其中，所述目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型；

目标三维人体姿态数据确定模块300，用于根据所述目标三维人体姿态估计模型输出的三维人体姿态数据，得到所述待估计的图像对应的目标三维人体姿态数据。

参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存三维人体姿态的估计方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种三维人体姿态的估计方法。所述三维人体姿态的估计方法，包括：获取待估计的图像；将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，其中，所述目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型；根据所述目标三维人体姿态估计模型输出的三维人体姿态数据，得到所述待估计的图像对应的目标三维人体姿态数据。

本实施例通过将待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，根据目标三维人体姿态估计模型输出的三维人体姿态数据，得到待估计的图像对应的目标三维人体姿态数据，目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型，对抗训练有效解决了训练样本较少的问题，引入人体姿态强几何约束模型提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种三维人体姿态的估计方法，包括步骤：获取待估计的图像；将所述待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，其中，所述目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型；根据所述目标三维人体姿态估计模型输出的三维人体姿态数据，得到所述待估计的图像对应的目标三维人体姿态数据。

上述执行的三维人体姿态的估计方法，通过将待估计的图像输入目标三维人体姿态估计模型进行三维人体姿态估计，根据目标三维人体姿态估计模型输出的三维人体姿态数据，得到待估计的图像对应的目标三维人体姿态数据，目标三维人体姿态估计模型是基于待训练的生成网络、待训练的判别网络和人体姿态强几何约束模型进行对抗训练得到的模型，对抗训练有效解决了训练样本较少的问题，引入人体姿态强几何约束模型提高了训练得到的模型对干扰遮挡的预测性能，降低了不正常姿态预测出现的概率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。