数据集生成方法及装置、介质、电子设备

技术领域

本公开实施例涉及数据处理技术领域，具体而言，涉及一种数据集生成方法、数据集生成装置、计算机可读存储介质以及电子设备。

背景技术

针对人体运动的计算机视觉算法模型训练与验证，亟缺大量的视频形式的人体运动数据集。

相关技术中，数据集构建环节中，多数仅仅支持视频采集功能，剩余的环节需要人工拼接整合完成。需要的人工成本较高且构建效率较低。并且，采集的数据集具有一定的局限性、数据集的质量较低，因此可靠性较差。除此之外，由于是单系统执行，因此构建数据集的效率较低。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据集生成方法、数据集生成装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据集不准确的问题。

根据本公开的一个方面，提供一种数据集生成方法，包括：

通过与边缘设备绑定的多个视频采集设备，对目标对象进行视频采集获取多路视频数据；

对所述多路视频数据进行抽帧，确定多路视频数据对应的多组图像；

对多组图像进行多重类别标注，得到多组图像对应的标注结果；

将所述多路视频数据、多组图像以及标注结果传输至云端，以使云端根据各图像进行人体姿态估计，获取对应的骨骼关键点坐标数据；

获取云端根据所述骨骼关键点坐标数据、多路视频数据以及标注结果生成的数据集。

在本公开的一种示例性实施例中，所述对多组图像进行多重类别标注，得到多组图像对应的标注结果，包括：

对多组图像中的每组图像分别进行多次类别标注，得到多个标注结果；

将所述多个标注结果进行一致性评估，根据一致性评估结果确定每组图像的所述标注结果。

在本公开的一种示例性实施例中，所述将所述多个标注结果进行一致性评估，根据一致性评估结果确定每组图像的所述标注结果，包括：

获取每组图像中标注结果一致的图像数量，与需要标注的图像数量之间的比值；

若所述比值大于预设阈值，将每组图像对应的每帧图像的多个标注结果中，数量最多的标注结果确定为每帧图像的标注结果；

若所述比值小于预设阈值，重新进行多重标注以获取每帧图像的标注结果。

在本公开的一种示例性实施例中，所述对所述多路视频数据进行抽帧，确定多路视频数据对应的多组图像，包括：

对所述多路视频数据进行同步抽帧并进行压缩，得到大小一致的多组图像，且每组图像与每路视频数据对应。

根据本公开的一个方面，提供一种数据集生成方法，包括：

接收边缘设备发送的多路视频数据、多组图像以及多组图像的标注结果；

对多组图像进行人体姿态估计，获取对应的骨骼关键点坐标数据；

根据所述骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，生成对应的数据集。

在本公开的一种示例性实施例中，所述根据所述骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，生成对应的数据集，包括：

根据所述骨骼关键点坐标数据确定动作类别；

结合所述动作类别对应的骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，确定所述动作类别对应的数据集。

在本公开的一种示例性实施例中，所述结合所述动作类别对应的骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，确定所述动作类别对应的数据集，包括：

将所述动作类别划分为多个类别；

结合各类别对应的骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，确定各类别对应的数据集。

在本公开的一种示例性实施例中，所述将所述动作类别划分为多个类别，包括：

根据所述动作类别对应的标准动作参数，将所述动作类别划分为标准类别和非标准类别。

根据本公开的一个方面，提供一种数据集生成装置，包括：

视频数据获取模块，用于通过与边缘设备绑定的多个视频采集设备，对目标对象进行视频采集获取多路视频数据；

抽帧模块，用于对所述多路视频数据进行抽帧，确定多路视频数据对应的多组图像；

标注模块，用于对多组图像进行多重类别标注，得到多组图像对应的标注结果；

坐标获取模块，用于将所述多路视频数据、多组图像以及标注结果传输至云端，以使云端根据各图像进行人体姿态估计，获取对应的骨骼关键点坐标数据；

数据集构建模块，用于获取云端根据所述骨骼关键点坐标数据、多路视频数据以及标注结果生成的数据集。

根据本公开的一个方面，提供一种数据集生成装置，包括：

数据接收模块，用于接收边缘设备发送的多路视频数据、多组图像以及多组图像的标注结果；

姿态估计模块，用于对多组图像进行人体姿态估计，获取对应的骨骼关键点坐标数据；

数据集构建模块，用于根据所述骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，生成对应的数据集。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据集生成方法及其可能的实现方式。

根据本公开的第七方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的数据集生成方法及其可能的实现方式。

本公开实施例中提供的数据集生成方法、数据集生成装置、计算机可读存储介质以及电子设备中，一方面，由于在采集数据时，可以根据多个视频采集设备来获取多路视频数据，避免了数据集的局限性，提高了数据集的多样性。另一方面，由于可以对抽帧得到的多组图像进行多重类别标注，并结合多种类别的标注结果从而得到标注结果，能够提高标注结果的准确性，进而提高基于标注结果构建的数据集的准确性和可靠性，提高了数据集的质量。再一方面，由于可以通过边缘设备以及云端共同来构建数据集，通过边缘设备获取数据，通过云端生成数据集，能够实现协同构建数据集的功能，降低了云端的处理压力，将传统的需要人工拼接的多个零散步骤整合成一个完整的自动化步骤，简化了操作，提高了操作效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出本公开实施例的一种数据集生成方法的流程图。

图2示意性示出本公开实施例的确定标注结果的流程图。

图3示意性示出本公开实施例的确定骨骼关键点坐标数据的示意图。

图4示意性示出本公开实施例的生成数据集的具体示意图。

图5示意性示出本公开实施例的另一种数据集生成方法的流程的示意图。

图6示意性示出本公开实施例的获取数据集的示意图。

图7示意性示出本公开实施例数据集生成系统的框图示意图。

图8示意性示出本公开实施例数据集构建的整体流程示意图。

图9示意性示出本公开实施例一种数据集生成装置的框图。

图10示意性示出本公开实施例另一种数据集生成装置的框图。

图11示意性示出本公开实施例的电子设备的框图示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

相关技术中，在构建数据集时，未完全涵盖数据集构建的所有环节，多数仅仅能支持视频采集功能，剩余的环节需要人工拼接整合完成，如此依然会消耗很高的人工成本，限制了整体的构建效率。并且无法支持多种类型的视频输入来源，限制了数据集样本的多样性。除此之外，没有考虑数据集的生成质量控制，如此标注质量无法得到有效保障；且多为单体系统架构，未涉及到边云协同架构。

为了解决相关技术中的问题，本公开实施例中，提供了一种数据集生成方法，可以用于生成数据集的应用场景。参考图1中所示，该数据集生成方法可以通过边缘设备端执行，主要包括以下步骤：

步骤S110，通过与边缘设备绑定的多个视频采集设备，对目标对象进行视频采集获取多路视频数据；

步骤S120，对所述多路视频数据进行抽帧，确定多路视频数据对应的多组图像；

步骤S130，对多组图像进行多重类别标注，得到多组图像对应的标注结果；

步骤S140，将所述多路视频数据、多组图像以及标注结果传输至云端，以使云端根据各图像进行人体姿态估计，获取对应的骨骼关键点坐标数据；

步骤S150，获取云端根据所述骨骼关键点坐标数据、多路视频数据以及标注结果生成的数据集。

本公开实施例中，一方面，由于在采集数据时，可以根据多个视频采集设备来获取多路视频数据，避免了数据集的局限性，提高了数据集的多样性。另一方面，由于可以对抽帧得到的多组图像进行多重类别标注，并结合多种类别的标注结果从而得到标注结果，能够提高标注结果的准确性，进而提高基于标注结果构建的数据集的准确性和可靠性，提高了数据集的质量。再一方面，由于可以通过边缘设备以及云端共同来构建数据集，通过边缘设备获取数据，通过云端生成数据集，能够实现协同构建数据集的功能，降低了云端的处理压力，将传统的需要人工拼接的多个零散步骤整合成一个完整的自动化步骤，简化了操作，提高了操作效率。

接下来，参考图1中所示，对数据集生成方法的各个步骤进行详细说明。

在步骤S110中，通过与边缘设备绑定的多个视频采集设备，对目标对象进行视频采集获取多路视频数据。

本公开实施例中，视频采集设备可以为各种类型、各种型号的能够用于实现视频采集的设备，例如可以为摄像头、门禁或者是智能音箱、智能手机等等。视频采集设备可以支持多来源，例如USB、Onvif、RTSP等等。目标对象可以为用户，也可以为机器人或者其他能够执行动作的对象等等，只要能够执行一些动作即可。视频采集设备可以部署在视频采集现场，例如可以部署在视频采集现场的任意合适的位置。

边缘设备可以为与视频采集设备连接的设备。多路视频采集设备可以通过有线方式或者是无线方式接入边缘设备，使得操作人员能够在边缘设备的图形化界面上进行跨平台的多路视频采集设备的视频查看。边缘设备可用于接收来自于视频采集设备的数据，并将数据发送至云端进行处理。边缘设备可以为服务器或者是电脑等等，且可以具有显示界面或图形化界面，以便于操作人员查看信息，具体根据实际需求进行确定。

首先可以将视频采集设备接入边缘设备，并且设置各视频采集设备的设备类型，以及绑定视角信息，例如视角编号。例如可以通过图形化界面来将多路(9-25路)视频采集设备接入边缘设备。视角信息可以为多个，且可以根据视频采集设备安装的位置和方向等来确定，不同视角信息的编号可以不同。边缘设备可以支持多种类型的视频采集设备接入，例如支持Onvif标准协议的网络摄像机、支持USB3.0标准的USB摄像头以及智能手机/iPad等等。

与此同时，可通过作用于边缘设备的操作启动多路视频同步录制，以通过多个视频采集设备对目标对象执行的动作进行同时录制，得到每个视频采集设备所对应的视频数据，以得到多路视频数据。该视频数据可以为目标对象执行的所有动作的数据，且一个视频采集设备对应一路视频数据。获取的视频数据可以为H.264协议的MPEG4文件。

接下来，在步骤S120中，对所述多路视频数据进行抽帧，确定多路视频数据对应的多组图像。

本公开实施例中，视频抽帧就是在一段视频中，通过间隔一定帧抽取若干帧的方式。示例性地，可以将每组图像抽帧为一帧一帧的图像，例如可以将每一个视频数据抽帧为m帧，以对每帧图像进行标注。即，可以将每个视频采集设备获取的每路视频数据抽帧为m帧图像，因此每组图像中可以包括m帧图像。

在边缘设备自动对多路视频数据进行同步抽帧，并对抽帧后的图像进行压缩后，可以得到大小一致的多组图像，且每一组图像对应一路视频采集设备采集的视频数据。

基于上述方式，可以对每路视频数据使用同样的方式进行抽帧，从而得到每路视频数据对应的抽帧后的图像(即m帧图像)作为每组图像，且可以将抽帧后的图像存储为1920*1080JPEG文件格式。

在步骤S130中，对多组图像进行多重类别标注，得到多组图像对应的标注结果。

本公开实施例中，操作人员可以在图形化界面上进行关键帧分类设定，以发出分类请求。基于此，响应于分类请求，多个标注人员分别对多组图像进行标注，以实现多重类别标注，确定每组图像的标注结果。具体可以对每组图像中的每帧图像进行类别标注。标注结果可以为用于表示每帧图像对应的动作类别的标签。并且，每个标注人员可以进行标注得到一个标注结果，不同标注人员对应的标注结果可以相同或不同，具体根据实际需求而确定。

在一些实施例中，在对多组图像进行多重类别标注时，参考图2中所示，具体包括以下步骤：

在步骤S210中，对多组图像中每组图像的每帧图像分别进行多次类别标注，得到多个标注结果。

本步骤中，每个标注人员均可以对每组图像中的每帧图像进行一次类别标注，以得到每帧图像的标注结果。不同标注人员对相同图像对应的标注结果可以相同或不同。例如，对于图像1，标注人员1的标注结果为标签A；标注人员2的标注结果为标签B；标注人员3的标注结果为标签C等等。

在步骤S220中，将所述多个标注结果进行一致性评估，根据一致性评估结果确定每组图像中每帧图像的标注结果。

本步骤中，可以将对于每组图像中每帧图像的多个标注结果进行一致性评估。一致性评估用于评估每组图像中每帧图像的多个标注结果是否相同，一致性评估结果可以为评估结果一致或者是评估结果不一致。

示例性地，步骤S220可以包括以下步骤：

在步骤S221中，获取每组图像中标注结果一致的图像数量，与需要标注的图像数量之间的比值。

其中，需要标注的图像数量可以为每组图像中需要进行标注的所有帧图像的数量。标注结果一致的图像数量指的是，多个标注人员对相同图像进行标注得到的标注结果相同的所有帧图像的数量。标注结果一致的图像数量可以为需要标注的图像数量中的部分或全部。

具体地，可统计每组图像对应的所有标注结果中的标注结果一致的图像的数量L

在步骤S222中，若所述比值大于预设阈值，将每组图像对应的每帧图像的多个标注结果中，数量最多的标注结果确定为每帧图像的标注结果。

在步骤S221的基础上，可以根据比值与预设阈值之间的对比结果，选择不同的方式来确定每组图像中每帧图像的标注结果。预设阈值可以为任意数值，例如可以设置为70％或者是其它数值等等，具体根据实际需求而确定。当二者之间的比值大于预设阈值时，可确定一致性评估通过。在这种情况下，可根据每帧图像对应的数量最多的标注结果确定该每帧图像的标注结果，即以少数服从多数的原则，根据数量多的标注结果确定每个样本表示的图像的最终标签。例如，对于图像1而言，标注结果1为标签A，标注结果2为标签B，标注结果3为标签A，则可以将标签A确定为图像1的标注结果。

在步骤S223中，若所述比值小于预设阈值，重新进行多重标注以获取每帧图像的标注结果。

本步骤中，如果每组图像中，标注结果一致的图像的数量L

本公开实施例中，通过标注结果一致的图像数量所占的比值，以及预设阈值之间的对比结果，根据数量最多的标注结果来确定每组图像中每帧图像的标注结果，通过对多重标注机制获取的多个标注结果进行一致性评估，从而准确地确定每帧图像的标注结果，能够提高标注质量。

接下来，在步骤S140中，将所述多路视频数据、多组图像以及标注结果传输至云端，以使云端根据各图像进行人体姿态估计，获取对应的骨骼关键点坐标数据。

本公开实施例中，边缘设备可以将获取到的多路视频数据、抽帧获取的多组图像以及标注结果(最终标签)、设置好的各路视频采集设备型号、视角编号代表的视角信息以及采集的动作类别名称建立起关联，并将上述信息传输至云端。边缘设备和云端通过网络通信连接。

云端接收由边缘设备传输的多路视频数据、抽帧获取的多组图像以及标注结果(最终标签)，并根据抽帧获取的多组图像中，每组图像的每帧图像进行人体姿态估计，获取对应的骨骼关键点坐标数据。

人体姿态估计用于确定图像人体关键点位置坐标。骨骼关键点坐标数据主要检测人体的一些关键点，如关节，五官等，通过关键点描述人体骨骼信息。示例性地，可以对每组图像中的每帧图像进行人体姿态估计，得到多个骨骼关键点坐标数据。多个骨骼关键点可以为14个关键点，也可以为17个关键点等等，此处以多个关键点为14个关键点为例进行说明。如图3中所示，14个关键点的序号依次为1-14，序号1-14分别对应头部中心、左肩、颈部、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝。

示例性地，可以使用自顶向下的方式来进行人体姿态估计。例如先使用一个人体检测器，然后再估计检测器检出的每个人的关节，进而恢复每个人的姿态。也可以使用自底向上的方式，首先检测出图像中所有人的关节(关键点)，然后将检出的关键点分配给每个对应的人。除此之外，也可以使用机器学习模型来进行人体姿态估计。例如，使用网络层从图像中提取特征，通过提取的特征描述各关节之间的连接程度，以进行人体姿态估计。

云端可以对每组图像中的每帧图像进行姿态估计，得到的姿态估计结果均为14个人体关键点的XYZ三维空间坐标，记为M

在步骤S150中，获取云端根据所述骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果生成的数据集。

本公开实施例中，云端可以根据边缘设备发送的骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果生成数据集。在得到述骨骼关键点坐标数据之后，可根据骨骼关键点坐标数据进行动作评判，以确定动作类别。例如可以根据骨骼关键点坐标数据确定动作类别属于跑、跳、走中的任意一种。

基于此，云端在生成数据集时，首先可以根据动作类别来确定该动作类别对应的数据集，以生成粗粒度的数据集。进一步可以根据动作类别对应的多个类别，确定多个类别对应的数据集，以生成细粒度的数据集。多个类别可以为动作类别对应的子类别，多个类别可以用于描述动作类别对应的具体表现类型，也可以用于描述动作类别的标准程度。此处以多个类别用于描述动作类别的标准程度为例进行说明。

在进行粗粒度划分时，构建数据集的过程可以包括：结合所述动作类别对应的骨骼关键点坐标数据、多路视频数据、多组图像、标注结果以及视频采集设备的视角信息，确定所述动作类别对应的数据集。示例性地，根据视频采集设备的视角信息确定多路视频数据，并根据多路视频数据的数量以及每个视频数据对应的抽帧后的图像的数量确定图像文件的数量，并确定与图像文件对应的标签的数量(边缘设备获取的标注结果的数量)以及与图像文件对应的人体姿态估计结果。

举例而言，对于其中某个动作类别c来说，假设视角信息的数量为n，则可存在n个视频文件。每一个视频文件抽帧为m帧，则每个视频文件可以包括m个图像文件，每个图像文件都存在一个标签，且每个图像文件均存在一个人体姿态估计结果。基于此，该动作类别对应的数据集将由以下几个部分构成：动作类别名称c；n个视频文件；n*m个图像文件；n*m个标签(与图像文件一一对应)；n*m个姿态估计结果M

参考图4中所示，每个动作类别构建的数据集可以表示为以下形式：

...

其中，XYZ为人体关键点的各个坐标轴的三维空间坐标，Q为置信度，用于表示准确性。

当多个类别用于描述标准程度时，每种动作类别可以根据每种动作类别对应的标准动作参数划分为标准类别和非标准类别。基于此，构建数据集的过程可以包括：结合各类别对应的骨骼关键点坐标数据、多路视频数据、多组图像、标注结果，确定各类别对应的数据集。在这种情况下，数据集可以包括标准类别对应的数据集以及非标准类别对应的数据集，只要将不同类别的数据进行区分即可。

本公开实施例中，通过先粗粒度来构建某个动作类别的数据集，进一步构建每个动作类别对应的数据集，通过因此能够提高数据集的准确性。

本公开实施例中，还提供了一种数据集生成方法，可应用于云端，参考图5中所示，具体包括以下步骤：

在步骤S510中，接收边缘设备发送的多路视频数据、多组图像以及多组图像的标注结果。

本公开实施例中，边缘设备可以与多路视频采集设备连接，将多路视频采集设备获取的视频数据发送至云端。与此同时，还可以将对视频数据进行抽帧得到的多组图像发送至云端，并且可以将每组图像中的每帧图像的标注结果发送至云端。云端可以接收边缘设备发送的多个视频采集设备采集的多路视频数据，对多路视频数据进行抽帧得到的多组图像，以及对每组图像中的每帧图像进行多重标注得到的标注结果。

在步骤S520中，对多组图像进行人体姿态估计，获取对应的骨骼关键点坐标数据。

本公开实施例中，云端可以对多组图像中每组图像的每帧图像进行人体姿态估计，从而获取每帧图像对应的骨骼关键点坐标数据。

人体姿态估计用于确定图像人体关键点位置坐标。骨骼关键点坐标数据主要检测人体的一些关键点，如关节，五官等，通过关键点描述人体骨骼信息。示例性地，可以对每组图像中的每帧图像进行人体姿态估计，得到每帧图像对应的多个骨骼关键点坐标数据。多个骨骼关键点可以为14个关键点，也可以为17个关键点等等，此处以多个关键点为14个关键点为例进行说明。如图3中所示，14个关键点的序号依次为1-14，序号分别对应头部中心、左肩、颈部、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝。

示例性地，可以使用自顶向下的方式来进行人体姿态估计。例如先使用一个人体检测器，然后再估计检测器检出的每个人的关节，进而恢复每个人的姿态。也可以使用自底向上的方式，首先检测出图像中所有人的关节(关键点)，然后将检出的关键点分配给每个对应的人。除此之外，也可以使用机器学习模型来进行人体姿态估计，此处不作具体限定。

在此基础上，云端可以对每组图像中的每帧图像进行人体姿态估计，得到姿态估计的结果均为14个人体关键点的XYZ三维空间坐标，记为M

通过对每组图像中的每帧图像进行人体姿态估计，得到对应的骨骼关键点坐标数据，进而可以根据骨骼关键点坐标数据来确定动作类别，能够准确识别动作类别。

在步骤S530中，根据所述骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，生成对应的数据集。

本公开实施例中，在确定出骨骼关键点坐标数据之后，可以根据骨骼关键点坐标数据以及动作标准坐标数据来确定动作类别，例如确定出动作类别为跑、跳、走等等。

在确定出动作类别后，可以将所有动作类别对应的所有数据进行存储。基于此，可以根据动作类别来确定该动作类别对应的数据集，以粗粒度构建数据集。进一步可以根据动作类别对应的多个类别，确定多个类别对应的数据集，以生成细粒度的数据集。多个类别可以为动作类别对应的子类别，多个类别可以用于描述动作类别对应的具体表现类型，也可以用于描述动作类别的标准程度。此处以多个类别用于描述动作类别的标准程度为例进行说明。

在进行粗粒度划分时，构建数据集的过程可以包括：结合所述动作类别对应的骨骼关键点坐标数据、多路视频数据、多组图像、标注结果，确定所述动作类别对应的数据集。示例性地，可根据边缘设备发送的根据视频采集设备的视角信息确定多路视频数据，并根据多路视频数据的数量以及每个视频数据对应的抽帧后的图像的数量确定图像文件的数量，并确定与图像文件对应的标签(标注结果)的数量以及与图像文件对应的人体姿态估计结果。

对于每个动作类别而言，均可以通过上述方式来确定对应的数据集，从而得到目标对象的所有动作类别的数据集。

当多个类别用于描述标准程度时，可以根据每个动作类别对应的标准动作参数，将动作类别划分为标准类别和非标准类别。基于此，构建数据集的过程可以包括：结合各类别对应的骨骼关键点坐标数据、多路视频数据、多组图像、标注结果，确定各类别对应的数据集。在这种情况下，数据集可以包括标准类别对应的数据集以及非标准类别对应的数据集，只要将不同类别的数据进行区分即可。

本公开实施例中，通过先粗粒度来构建某个动作类别的数据集，进一步构建每个动作类别对应的数据集，通过因此能够提高数据集的准确性。并且，边缘设备支持来自于不同视频采集设备、多种视角的多路视频数据同时接入，同步完成视频采集、并进行抽帧以及采用多重标注方式获得标注结果，进而根据标注结果来构建数据集，提升数据集样本丰富性的同时，极大提高数据集的构建效率。标注环节采取多重标注一致性评估机制，之后对相同图像的所有标注结果进行一致性评估，以此保证数据集生成质量，提高生成的数据集的质量。

进一步地，若检测到作用于边缘设备的数据生成触发操作，可根据数据生成触发操作对应的配置需求，确定该配置需求对应的数据集。数据生成触发操作可以为在边缘设备的图形化界面上输入的文字信息等触发，例如参考图6中所示。配置需求中可包括视频采集设备、视角信息以及动作类别，例如可以在边缘设备的图形化界面上输入视频采集设备的编号、视角信息的编号以及动作类别(例如跳)等信息。在接收到该配置需求后，云端可从所有动作类别的数据集中，筛选出与配置需求对应的目标数据集。例如，配置需求中的视频采集设备为设备1、设备2，视角信息为1和视角2，动作类别可以为跳。因此，筛选出的目标数据集可以为动作类别名称“跳”；2个视频文件；2*m个图像文件；2*m个标签(与图像文件一一对应)；2*m个姿态估计结果M

本公开实施例中，还提供了一种数据集生成系统700，参考图7中所示，主要包括以下部分：

多个视频采集设备701，用于对目标对象进行视频采集获取多路视频数据；

边缘设备702，用于接收所述多路视频数据，对多路视频数据进行抽帧得到多组图像，并获取多组图像的标注结果；

云端703，用于根据边缘设备发送的多路视频数据、多组图像以及标注结果进行人体姿态估计，以生成对应的数据集。

参考图7中所示，多个视频采集设备可以为任意类型的能够用于获取视频的设备，例如摄像头或者是手机等等。目标对象执行动作，操作人员控制边缘设备启动多路视频同步录制，录制结束后同时得到多个视频；且每个视频采集设备对应一路视频数据。

边缘设备可以将多个视频采集设备发送的多路视频数据进行抽帧处理，得到对应的多组图像。并且，可以对每组图像中的每帧图像进行类别标注，得到代表每帧图像的动作类别的标注结果。其中，可以将每个标注人员对每帧图像的标注结果进行一致性评估，从而得到准确的标注结果。进一步地，边缘设备可以将多路视频数据、多组图像以及标注结果发送至云端。

云端部署的自动脚本接收上述多路视频数据、多组图像以及标注结果。可以根据接收到的多组图像进行人体姿态估计，得到对应的骨骼关键点坐标数据。并且，可以根据骨骼关键点坐标数据、多路视频数据以及标注结果，生成对应的数据集。

图8中示意性示出了构建数据集的流程图，参考图8中所示，主要包括以下步骤：

在步骤S801中，操作人员操作图形化界面，将多路(9～25路)视频采集设备接入边缘设备，并设置各自的设备类型，绑定视角编号信息。

在步骤S802中，目标对象执行待采集动作，同时操作人员控制边缘设备启动多路视频同步录制，录制结束后同时得到多个视频数据。

在步骤S803中，边缘设备自动对得到的多路视频数据进行同步抽帧并压缩，得到大小一致的多组图像，每一组图像对应一路视频。

在步骤S804中，操作人员在图形化界面进行动作关键帧分类设定，多名标注人员对多组图像分别进行多路同步关键帧类别标注，分别得到标注结果。

在步骤S805中，通过标注结果一致的图像数量与需要标注的图像数量的比值确定一致性评估结果，以进行多重标注的一致性评估。

其中，如果二者之间的比值大于预设阈值，表明一致性评估结果为通过，以“少数服从多数”原则决定每个图像的最终标签作为标注结果。例如，将标注结果数量最多的标注结果作为标注结果。如果二者之间的比值小于预设阈值，表明一致性评估结果为未通过，则标注无效，需要重新进行多重标注，以获取标注结果。

在步骤S806中，边缘设备将得到的多路视频数据、多组图像、标注结果以及设置好的各路视频采集设备的类型、视角信息对应的视角编号、动作类别名称建立起关联，一并传输到云端。

在步骤S807中，云端自动脚本接收边缘设备传输的数据，并对各帧图像执行人体姿态估计，得到对应的人体骨骼关键点坐标数据。

在步骤S808中，对所有需要采集的其他动作重复执行上述步骤，直到所有动作的数据收录完成，云端对得到的所有数据进行存储。

在步骤S809中，操作人员操作图形化界面，根据实际需要配置数据集所需涵盖的设备采集设备、视角信息编号以及动作类别，云端从存储的数据中抽取满足配置需求的部分数据生成目标数据集。

本公开实施例中的技术方案，引入了边缘设备，将部分前置任务处理放置在边缘设备，大幅降低云端的处理压力，充分发挥边缘设备和云端特点和资源优势，将传统需要人工完成拼接的零散步骤统一整合成一个自动化的一站式流程，简化操作，且提高了操作效率。支持多种来源的多路视频接入，并且多路任务能同步完成处理，实现“一次采集、多种构建”，提升数据集构建效率，降低人工成本。除此之外，由于可接入多种类型的视频采集设备，提高了数据集的丰富性。多重标注一致性验证机制，能有效减少误标情况，降低了确定标注结果的复杂性，保障数据集质量，从而提高了后续人体行为识别、运动状态分析的准确性与鲁棒性，提高了数据集的准确性，提高了数据集的质量。

本公开还提供了一种数据集生成装置。参考图9所示，该数据集生成方法900主要包括以下模块：

视频数据获取模块901，用于通过与边缘设备绑定的多个视频采集设备，对目标对象进行视频采集获取多路视频数据；

抽帧模块902，用于对所述多路视频数据进行抽帧，确定多路视频数据对应的多组图像；

标注模块903，用于对多组图像进行多重类别标注，得到多组图像对应的标注结果；

坐标获取模块904，用于将所述多路视频数据、多组图像以及标注结果传输至云端，以使云端根据各图像进行人体姿态估计，获取对应的骨骼关键点坐标数据；

数据集构建模块905，用于获取云端根据所述骨骼关键点坐标数据、多路视频数据以及标注结果生成的数据集。

在本公开的一种示例性实施例中，所述对多组图像进行多重类别标注，得到多组图像对应的标注结果，包括：

对多组图像中的每组图像分别进行多次类别标注，得到多个标注结果；

将所述多个标注结果进行一致性评估，根据一致性评估结果确定每组图像的所述标注结果。

在本公开的一种示例性实施例中，所述将所述多个标注结果进行一致性评估，根据一致性评估结果确定每组图像的所述标注结果，包括：

获取每组图像中标注结果一致的图像数量，与需要标注的图像数量之间的比值；

若所述比值大于预设阈值，将每组图像对应的每帧图像的多个标注结果中，数量最多的标注结果确定为每帧图像的标注结果；

若所述比值小于预设阈值，重新进行多重标注以获取每帧图像的标注结果。

在本公开的一种示例性实施例中，所述对所述多路视频数据进行抽帧，确定多路视频数据对应的多组图像，包括：

对所述多路视频数据进行同步抽帧并进行压缩，得到大小一致的多组图像，且每组图像与每路视频数据对应。

本公开还提供了一种数据集生成装置。参考图10所示，该数据集生成方法1000主要包括以下模块：

数据接收模块1001，用于接收边缘设备发送的多路视频数据、多组图像以及多组图像的标注结果；

姿态估计模块1002，用于对多组图像进行人体姿态估计，获取对应的骨骼关键点坐标数据；

数据集构建模块1003，用于根据所述骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，生成对应的数据集。

在本公开的一种示例性实施例中，所述根据所述骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，生成对应的数据集，包括：

根据所述骨骼关键点坐标数据确定动作类别；

结合所述动作类别对应的骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，确定所述动作类别对应的数据集。

在本公开的一种示例性实施例中，所述结合所述动作类别对应的骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，确定所述动作类别对应的数据集，包括：

将所述动作类别划分为多个类别；

结合各类别对应的骨骼关键点坐标数据、多路视频数据、多组图像以及标注结果，确定各类别对应的数据集。

在本公开的一种示例性实施例中，所述将所述动作类别划分为多个类别，包括：

根据所述动作类别对应的标准动作参数，将所述动作类别划分为标准类别和非标准类别。

需要说明的是，上述数据集生成装置中各模块的具体细节已经在对应的数据集生成方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图11来描述根据本公开的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130以及显示单元1140。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1110执行，使得所述处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元1110可以执行如图1中所示的步骤。

存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(ROM)11203。

存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者电子设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

根据本公开的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。