掌桥专利:专业的专利平台
掌桥专利
首页

图像标注方法、关键点识别模型训练方法及相关产品

文献发布时间:2024-04-18 19:59:31


图像标注方法、关键点识别模型训练方法及相关产品

技术领域

本申请涉及计算机技术领域,尤其涉及一种图像标注方法、关键点识别模型训练方法及相关产品。

背景技术

在诸如视频动作捕捉等应用场景中,需要对图像中的目标进行关键点识别。发明人已知可以使用图像的标注样本训练得到关键点识别模型,采用关键点识别模型对图像中的目标进行关键点识别。

然而,在一些情况下,由于目标或摄像机的快速移动,会导致图像中出现运动模糊,人工很难对运动模糊图像中的关键点进行准确标注,导致关键点识别模型对运动模糊图像的识别效果不佳。

发明内容

本申请实施例的目的在于提供一种图像标注方法、关键点识别模型训练方法及相关产品,以对运动模糊图像进行准确标注,提高关键点识别模型对运动模糊图像的识别效果。

第一方面,本申请实施例提供一种图像标注方法,所述方法包括:

调用运动数据驱动在虚拟场景中生成的虚拟目标,以使所述虚拟目标在所述虚拟场景中运动;其中,所述虚拟场景中设置有虚拟相机;

调用所述虚拟相机获取所述虚拟目标在运动时的多个照片图像;其中,所述多个照片图像中的每个照片图像对应不同的时刻,且所述每个照片图像对应的时刻位于目标时间段内,所述目标时间段位于所述虚拟目标运动的时段内;

对所述多个照片图像进行运动模糊合成,得到所述虚拟目标的运动模糊图像;

获取目标图像中虚拟目标的关键点位置信息,根据所述关键点位置信息对所述运动模糊图像进行标注,得到标注的运动模糊图像,其中,所述目标图像为所述多个照片图像中目标时刻对应的照片图像,所述目标时刻由所述照片图像对应的时刻确定。

第二方面,本申请实施例提供一种关键点识别模型训练方法,所述方法包括:

基于本申请实施例提供的图像标注方法,获取标注的运动模糊图像作为训练样本;

使用所述训练样本对待训练的关键点识别模型进行训练,得到训练后的关键点识别模型。

第三方面,本申请实施例提供一种图像标注装置,所述装置包括:

运动驱动模块,用于调用运动数据驱动在虚拟场景中生成的虚拟目标,以使所述虚拟目标在所述虚拟场景中运动;其中,所述虚拟场景中设置有虚拟相机;

照片获取模块,用于调用所述虚拟相机获取所述虚拟目标在运动时的多个照片图像;其中,所述多个照片图像中的每个照片图像对应不同的时刻,且所述每个照片图像对应的时刻位于目标时间段内,所述目标时间段位于所述虚拟目标运动的时段内;

模糊合成模块,用于对所述多个照片图像进行运动模糊合成,得到所述虚拟目标的运动模糊图像,

标注模块,用于获取目标图像中虚拟目标的关键点位置信息,根据所述关键点位置信息对所述运动模糊图像进行标注,得到标注的运动模糊图像,其中,所述目标图像为所述多个照片图像中目标时刻对应的照片图像,所述目标时刻由所述照片图像对应的时刻确定。

第四方面,本申请实施例提供一种计算机设备,所述设备包括:

处理器;以及

被安排成存储计算机可执行指令的存储器,所述可执行指令被配置由所述处理器执行,所述可执行指令包括用于执行如前述实施例提供的图像标注方法中的步骤。

第五方面,本申请实施例提供一种存储介质,所述存储介质用于存储计算机可执行指令,所述可执行指令使得计算机执行如前述实施例提供的图像标注方法。

本申请实施例提供的图像标注方法、关键点识别模型训练方法及相关产品,调用运动数据驱动在虚拟场景中生成的虚拟目标,以使所述虚拟目标在所述虚拟场景中运动;调用所述虚拟相机获取所述虚拟目标在运动时的多个照片图像;对所述多个照片图像进行运动模糊合成,得到所述虚拟目标的运动模糊图像;获取目标图像中虚拟目标的关键点位置信息,根据所述关键点位置信息对所述运动模糊图像进行标注,能够对运动模糊图像进行准确标注。基于本申请实施例提供的图像标注方法获取标注的运动模糊图像作为训练样本,使用该训练样本训练关键点识别模型,能够提高关键点识别模型对于运动模糊图像的识别能力。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像标注方法的流程示意图;

图2为本申请实施例提供的对目标场景的运动模糊图像进行标注的流程示例;

图3为本申请实施例提供的获取多样性运动模糊图像的方法示意图;

图4为本申请实施例提供的一种关键点识别模型的训练方法流程图;

图5为本申请实施例提供的一种图像标注装置的模块示意图;

图6为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

本申请实施例提供一种图像标注方法、关键点识别模型训练方法及相关产品。

在本申请实施例提供的图像标注方法中,调用运动数据驱动在虚拟场景中生成的虚拟目标,以使虚拟目标在所述虚拟场景中运动;调用虚拟相机获取虚拟目标在运动时的多个照片图像;对多个照片图像进行运动模糊合成,得到虚拟目标的运动模糊图像;获取目标图像中虚拟目标的关键点位置信息,根据所述关键点位置信息对运动模糊图像进行标注,能够模拟生成运动模糊图像,获取准确标注的运动模糊图像。

其中,在一种实现方式中,虚拟场景可以根据目标现实场景的场景信息生成,虚拟目标可以根据目标现实场景中的现实目标的目标信息生成,虚拟相机可以根据目标现实场景的现实相机的相机设置信息设置,由此,能够模拟目标现实场景中的各种条件,模拟合成目标现实场景的运动模糊图像,得到目标现实场景的运动模糊图像的标注图像。基于该标注图像训练关键点识别模型,能够提高关键点识别模型对于目标现实场景的运动模糊图像的识别能力。

在另一种实现方式中,虚拟场景可以根据设定的场景信息生成,虚拟目标可以根据设定的目标信息生成,虚拟相机可以根据设定的相机设置信息设置,运动数据可以为设定的运动数据,由此,能够获取设定情况下运动模糊图像的标注图像;通过对设定的场景信息、设定的目标信息、设定的相机设置信息、设定的运动数据中的一个或多个进行调整,根据调整后的信息,能够获取其他情况下运动模糊图像的标注图像;通过对场景信息、目标信息、相机设置信息、运动数据进行不断的调整,能够获取各种情况下运动模糊图像的标注图像。将各种情况下的运动模糊图像的标注图像作为训练样本训练关键点识别模型,能够提高关键点识别模型对于运动模糊图像识别的泛化性。

并且,通过对场景信息、目标信息、相机设置信息、运动数据进行设定,能够模拟复杂条件,模拟合成复杂的运动模糊图像,得到复杂运动模糊图像的标注图像。将复杂运动模糊图像的标注图像作为训练样本训练关键点识别模型,能够提高关键点识别模型对于复杂运动模糊图像的识别能力。

为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。

本申请实施例提供的图像标注方法可以由目标引擎执行,所述目标引擎可以为软件三维开发引擎,如游戏引擎。图1是本申请实施例提供的一种图像标注方法的流程示意图。

如图1所示,本申请实施例提供的图像标注方法可以包括下述处理:

S102,调用运动数据驱动在虚拟场景中生成的虚拟目标,以使虚拟目标在虚拟场景中运动。

其中,虚拟场景中设置有虚拟相机。虚拟场景可以预先构建,虚拟目标可以预先在虚拟场景中生成,虚拟相机可以预先设置在虚拟场景中。

在一种实现方式中,可以由目标引擎获取虚拟场景的场景信息,根据虚拟场景的场景信息生成虚拟场景;获取虚拟目标的目标信息,根据虚拟目标的目标信息在虚拟场景中生成虚拟目标;获取虚拟相机的相机设置信息,根据虚拟相机的相机设置信息在虚拟场景中设置虚拟相机。

其中,虚拟场景为场景在虚拟世界中的呈现,其可以为虚拟三维场景。虚拟场景的场景信息用于在虚拟世界中创建和渲染虚拟场景,其可以包括创建和渲染虚拟场景所需要的建模参数,如,虚拟场景的背景、环境、灯光条件等。虚拟目标为目标在虚拟世界中的呈现,其可以为虚拟三维数字模型。虚拟目标的目标信息用于在虚拟场景中创建和渲染虚拟目标,其可以包括创建和渲染虚拟目标所需要的建模参数,如虚拟目标的形状、大小、颜色、贴图等。虚拟相机为相机在虚拟世界的呈现,其可以基于目标引擎中的相机模型实现。虚拟相机的相机设置信息用于在虚拟场景中设置虚拟相机,其可以包括虚拟相机设置在虚拟场景中的几何参数,如,虚拟相机的视角、观察位置等。

在构建虚拟场景并在虚拟场景中生成虚拟目标,设置虚拟相机后,可以获取运动数据。运动数据为控制目标运动状况的数据,其可以包括目标的指定点的移动、旋转、姿态等。运动数据可以通过任意适当的方式获取,例如,其可以从现实目标佩戴的运动捕捉设备中获取,或从运动捕捉数据的开源数据库中获取。

在获取运动数据后,可以由目标引擎调用运动数据驱动虚拟场景中的虚拟目标,从而使虚拟目标在虚拟场景中运动。

在现实场景中,由于目标或相机的快速移动,在对目标进行拍照或录像时,会导致图像失真,产生运动模糊图像。本申请实施例在诸如游戏引擎等的软件三维开发引擎中构建虚拟场景,在虚拟场景中生成虚拟目标,并在虚拟场景中设置虚拟相机,调用运动数据驱动虚拟目标,能够提供模拟现实场景中生成运动模糊图像的条件,便于后续模拟生成运动模糊图像。

S104,调用虚拟相机获取虚拟目标在运动时的多个照片图像。

其中,照片图像为虚拟场景中,虚拟目标在虚拟相机视角的图像,其能够模拟现实场景中,使用现实相机对现实目标拍照得到的照片。多个照片图像中的每个照片图像对应不同的时刻,且每个照片图像对应的时刻位于目标时间段内,目标时间段位于虚拟目标运动的时段内。

在现实场景中,运动模糊图像产生的基本原理是,相机开合一次需要时间,在按下相机快门对运动目标进行拍照时,相机按下与松开之间有一定的时间差,在该时间差内,目标的位置发生了变化,使照片图像中产生了模糊。

在本申请实施例中,使用虚拟相机获取虚拟目标运动时目标时间段内的多个图像,对目标时间段内的多个图像进行合成。其中,虚拟相机获取的照片图像均为清晰图像,目标时间段为多个图像所对应的时刻所在的时间段,其用于模拟现实相机的快门速度。将目标时间段内的多个照片进行模糊合成,能够模拟合成现实场景中的运动模糊图像。

在一种实现方式中,多个照片图像可以由目标引擎在目标时间段内的多个时刻调用虚拟相机对虚拟目标拍照得到。

具体而言,可以由目标引擎从虚拟目标运动的时间段内,获取目标时间段,将目标时间段切分为多个时刻,然后,调用虚拟相机获取虚拟目标在多个时刻中每个时刻对应的照片图像。

例如,若目标时间段为T0+T,则可以将目标时间段切分为多个时刻T0,T0+t,T0+2t,T0+3t……,T0+T,之后,可以调用虚拟相机获取虚拟目标分别在T0,T0+t,T0+2t,T0+3t……,T0+T时刻的照片图像,从而得到多个照片图像,其中,T0表示目标时间段的开始时刻,T表示目标时间段的长度,T0+T表示目标时间段的结束时刻,t表示时间间隔。

需要说明的是,虚拟相机获取的照片图像均为清晰图像,在设置虚拟相机时,可以将虚拟相机的快门速度设置的尽可能快,以获得清晰的照片图像。因此,在具体实施时,虚拟相机的快门速度,可以根据驱动虚拟目标运动的运动数据设置。例如,虚拟相机的快门速度,至少应该快于虚拟目标被驱动运动的速度。

S106,对多个照片图像进行运动模糊合成,得到虚拟目标的运动模糊图像。

其中,可以对多个照片图像进行叠加,进行运动模糊合成。

通过获取虚拟目标在目标时间段内的多个时刻的照片图像,再对多个时刻的照片图像进行合成,能够模拟现实场景中运动模糊图像的生成过程,合成虚拟目标的运动模糊图像。

S108,获取目标图像中虚拟目标的关键点位置信息,根据关键点位置信息对运动模糊图像进行标注,得到标注的运动模糊图像。

其中,目标图像为多个照片图像中目标时刻对应的照片图像,目标时刻由每个照片图像对应的时刻确定。

在一种实现方式中,为获取更为准确的标注结果,目标时刻可以为多个照片图像对应的多个时刻中的中间时刻,目标图像可以为中间时刻对应的照片图像。

具体而言,可以从多个照片图像对应的多个时刻中获取中间时刻,根据该中间时刻确定目标时刻;然后,根据目标时刻,从多个照片图像中确定目标图像。例如,若在5个时刻获取了5张照片图像,则可以将5个时刻中的第3个时刻确定为目标时刻,将第3时刻对应的照片图像确定为目标图像。

其中,多个时刻可以由目标时间段等分切分而成。在一种实现方式中,为便于确定中间时刻,在对目标时间段等分切分为多个时刻时,可以将目标时间段等分切分为奇数个时刻,从而得到奇数个照片图像。

在确定目标图像后,可以获取目标图像中虚拟目标的关键点位置信息,根据关键点位置信息对运动模糊图像进行标注,从而得到标注的运动模糊图像。

在一种实现方式中,目标图像中虚拟目标的关键点位置信息可以根据目标时刻虚拟目标的关键点在虚拟场景中的位置信息以及虚拟相机在虚拟场景中的相机设置信息确定。

具体而言,可以获取目标时刻虚拟目标的关键点在虚拟场景中的位置信息,并获取虚拟相机的相机设置信息;然后,将关键点在虚拟场景中的位置信息以及相机设置参数输入到照片位置计算模型中,计算虚拟目标的关键点在照片图像中的位置信息。

其中,虚拟目标的关键点在虚拟场景中的位置信息可以为虚拟目标的关键点在虚拟场景中的坐标位置,虚拟相机的相机设置信息可以包括虚拟相机在虚拟场景中的几何参数信息,如虚拟相机在虚拟场景中的坐标位置,相机的朝向、倾斜角、视野范围等信息。照片位置计算模型用于根据关键点在虚拟场景中的位置信息和相机设置信息计算关键点在照片图像中的位置信息,其可以根据虚拟相机设置信息计算虚拟目标任一点在虚拟场景中的坐标位置映射到照片图像中的位置,该模型可以为预先构建的数学模型。

本申请实施例提供的图像标注方法,通过调用运动数据驱动虚拟目标,调用虚拟相机获取虚拟场景中,虚拟目标运动时在虚拟相机视角的多个照片图像,使用多个照片图像来模拟合成运动模糊图像,并使用多个照片图像中目标图像中关键点的位置信息对合成的运动模糊图像进行标注,能够解决运动模糊图像人工标注困难和不准确的问题,自动获取准确标注的运动模糊图像。将该准确标注的运动模糊图像作为训练样本来训练关键点识别模型,能够提高关键点识别模型对运动模糊图像中关键点的识别准确度。

可以理解的是,在上述实施例中,虚拟场景为场景在虚拟世界中的呈现;虚拟目标目标在虚拟世界中的呈现;虚拟相机为相机在虚拟世界的呈现。因此,虚拟场景可以模拟现实场景,虚拟目标可以模拟现实目标,虚拟相机可以模拟现实相机。

在一种实现方式中,可以根据目标现实场景的场景信息生成虚拟场景,根据目标现实场景中现实目标的目标信息生成虚拟目标,根据目标现实场景中的相机设置信息在虚拟场景中设置虚拟相机,从而提供目标场景运动模糊图像的模拟条件,以针对目标场景,模拟合成其运动模糊图像,并对运动模糊图像进行标注。其中,目标场景可以为产生运动模糊图像的场景,如,在目标现实场景中使用相机对运动的人或物进行拍照或录像的场景。

图2是对目标场景的运动模糊图像进行标注的流程示例。现结合图2,对本申请实施例提供的图像标注方法进行进一步说明。

S202,根据目标现实场景的场景信息生成虚拟场景。

其中,目标现实场景可以为产生运动模糊图像的现实环境或背景,如,草地、泳池、运动场等。目标现实场景的场景信息可以包括:现实场景的类别、图片等。

在一种实现方式中,可以根据目标现实场景的场景信息生成虚拟场景的场景信息,根据虚拟场景的场景信息,生成虚拟场景。

S204,根据目标现实场景中现实目标的目标信息在虚拟场景中生成虚拟目标。

其中,现实目标可以为在目标现实场景中运动的目标,如人,动物,或,物体,现实目标的目标信息可以为现实目标的类别、图像等。

在一种实现方式中,可以根据目标现实场景中现实目标的目标信息生成虚拟目标的目标信息,根据虚拟目标的目标信息,在虚拟场景中生成虚拟目标。

S206,根据目标现实场景中现实相机的设置信息在虚拟场景中设置虚拟相机。

其中,现实相机的设置信息可以为相机的视角信息,例如,现实相机的设置位置、与现实目标的相对位置等。

在一种实现方式中,可以根据目标现实场景中现实相机的设置信息,生成虚拟相机的设置信息,根据虚拟相机的设置信息,在虚拟场景中设置虚拟相机。

S208,调用目标运动数据驱动在虚拟场景中生成的虚拟目标,以使虚拟目标在虚拟场景中运动。

其中,目标运动数据用于驱动虚拟目标,其可以为目标现实场景中现实目标的运动数据。

在一种实现方式中,目标运动数据可以通过设置在现实目标上的运动捕捉设备获取。例如,如果现实目标为人,可以通过运动捕捉设备,获取现实目标的头部、四肢关节等关键点的移动、旋转数据。

在一些情况下,可能难以通过运动捕捉设备等获取目标运动数据,例如,对于一些动物,很难使其佩戴运动捕捉设备。在这种情况下,可以根据现实目标的目标信息,获取目标运动数据。例如,若现实目标为狗,则可以从预先构建的运动数据数据库中获取狗的运动数据。其中,运动数据数据库中可以预先存储有各种现实目标的典型运动数据,每种典型运动数据与每种现实目标对应。

在一些情况下,现实目标的运动不仅和现实目标的种类有关,还与现实目标的运动环境有关,例如,若现实目标为狗,其在水中运动,则狗的运动受水的影响,会发生变化。此时,可以结合现实目标的目标信息以及目标现实场景的场景信息,从运动数据数据库中获取对应的运动数据。又如,若现实目标为狗,目标现实场景为陆地,则可以从运动数据数据库中获取狗在陆地上运动的运动数据。在这种情况下,运动数据数据库中可以预先存储各种现实目标在各种环境下的典型运动数据。

S210,调用虚拟相机获取虚拟目标在运动时的多个照片图像。

其中,多个照片图像与目标时间段内的多个时刻相对应。目标时间段可以根据目标现实场景中现实目标的运动数据和现实相机的快门速度确定。例如,目标时间段可以从运动速度较快的时间段中选取,其中运动速度可以根据现实目标的运动数据确定,目标时间段的长度可以根据现实相机的快门速度确定。

在一种实现方式中,可以将目标时间段切分为多个时刻,在虚拟目标运动的过程中,调用虚拟相机获取虚拟目标在目标时间段的各时刻对应的照片图像,从而获取多个照片图像。其中,多个时刻可以为奇数个时刻,目标时间段的长度,可以根据目标现实场景中现实相机的快门速度确定,切分的个数,可以根据现实相机的帧率设定。例如,可以根据目标现实场景中现实相机的快门速度,将目标时间段的长度设置为T1,根据现实相机的帧率,将切分个数设置为N1。

S212,对多个照片图像进行运动模糊合成,得到虚拟目标的运动模糊图像。

其中,在进行运动模糊合成时,可以对多个照片图像进行叠加,以模拟合成运动模糊图像。

S214,获取目标图像中虚拟目标的关键点位置信息,根据关键点位置信息对运动模糊图像进行标注,得到标注的运动模糊图像。

其中,可以从多个照片图像对应的多个时刻中,确定中间时刻,将中间时刻对应的照片图像确定为目标图像。根据目标图像中虚拟目标的关键点位置信息,对运动模糊图像进行标注。

通过根据目标现实场景的场景信息生成虚拟场景,根据目标现实场景中现实目标的目标信息在虚拟场景中生成虚拟目标,根据目标现实场景中的相机设置信息设置虚拟相机,调用目标现实场景中现实目标的运动数据驱动虚拟场景中的虚拟目标,调用虚拟相机获取虚拟目标在目标时间段内多个时刻对应的多个照片图像,对多个照片图像进行运动模糊合成,能够模拟合成目标现实场景的运动模糊图像,对目标现实场景的运动模糊图像进行准确标注。将标注后的运动模糊图像作为训练样本训练关键点识别模型,能够提高关键点识别模型对于目标现实场景中运动模糊图像的识别能力。

基于本申请实施例提供的图像标注方法得到的运动模糊图像的标注图像,能够作为训练样本训练关键点识别模型。在一些情况下,在训练关键点识别模型时,期望获取大量的、多样性的运动模糊图像标注样本,利用大量的、多样性的运动模糊图像标注样本来训练关键点识别模型,从而提高模型的泛化性。

本申请实施例提供的图像标注方法,调用运动数据驱动在虚拟场景中生成的虚拟目标,以使所述虚拟目标在所述虚拟场景中运动;调用虚拟相机获取虚拟目标在运动时的多个照片图像;对所述多个照片图像进行运动模糊合成,得到虚拟目标的运动模糊图像;获取目标图像中虚拟目标的关键点位置信息,根据关键点位置信息对所述运动模糊图像进行标注,得到标注的运动模糊图像。

其中,虚拟场景可以由目标引擎根据虚拟场景的场景信息生成,虚拟目标可以由目标引擎根据虚拟目标的目标信息生成在虚拟场景中,虚拟相机可以由目标引擎根据虚拟相机的设置信息设置在虚拟场景中,之后,可以由目标引擎获取运动数据驱动虚拟目标,调用虚拟相机获取虚拟目标在目标时间段内的多个时刻对应的多个照片图像,进而将多个照片图像合成为运动模糊图像,对运动模糊图像进行标注。

在一些实现方式中,可以通过调整用于生成虚拟场景的场景信息、调整用于生成虚拟目标的目标信息、调整用于设置虚拟相机的相机设置信息、调整用于模拟快门时间的目标时间段,合成不同的运动模糊图像,对不同的运动模糊图像进行标注,得到不同的标注后的运动模糊图像,增加运动模糊图像的多样性。将这些标注后的运动模糊图像作为训练样本,能够提高训练样本的多样性,从而提高关键点识别模型的泛化能力。

图3是本申请实施例提供的获取多样性运动模糊图像的方法示意图。现结合图3,对本申请实施例提供的方法进行进一步说明。

如图3(a)所示,在一种实现方式中,可以调整目标时间段,从而,调整照片获取时刻,从相机快门速度的角度,模拟各种情况的运动模糊,增加运动模糊图像的多样性。

具体而言,在上述实施例提供的图像标注方法的基础上,可以从虚拟目标运动的时间段内,获取第一目标时间段,将第一目标时间段切分为多个时刻;调用虚拟相机获取虚拟目标在第一时间段内的多个时刻对应的照片图像,得到多个照片图像;然后,将多个照片图像进行运动模糊合成,得到一运动模糊图像。

之后,可以获取第二目标时间段,将第二目标时间段切分为多个时刻;调用虚拟相机获取虚拟目标在第二时间段内的多个时刻对应的照片图像,得到多个照片图像;然后,将多个照片图像进行运动模糊合成,得到另一运动模糊图像,对另一运动模糊图像进行标注。

其中,第二目标时间段与第一目标时间段不同,例如,第二目标时间段与第一目标时间段的起始时刻和/时间长度不同,以从快门速度的角度,模拟不同的运动模糊,合成不同的运动模糊图像。

需要说明的是,上述基于第二目标时间段获取运动模糊图像的处理,与上述基于第一目标时间段获取运动模糊图像的处理,可以同时进行,也可以分次进行。在对第一目标时间段进行切分得到多个时刻与在对第二目标时间段切分得到多个时刻时,切分的个数可以不同,以模拟不同的帧率模糊。例如,可以将第一目标时间段T1切分为N1个时刻,将第二目标时间段T2切分为N2个时刻,其中,N1与N2不同。

在一种实现方式中,在上述实施例提供的图像标注方法的基础上,可以从虚拟目标运动的时间段内,随机获取多个时间段,然后,对于多个时间段中的每个时间段,可以将该时间段切分为对应的时刻组,多个时刻组与多个时间段一一对应;之后,针对每个时刻组,调用虚拟相机获取虚拟目标在该时刻组中多个时刻对应的照片图像,得到多个照片图像;然后,将多个照片图像进行运动模糊合成,得到该时刻组对应的运动模糊图像,由此,能够得到不同时刻组对应的运动模糊图像。其中,多个运动模糊图像与多个时刻组,多个时间段一一对应,由于时间段是随机获取的,因此,各时间段对应的时刻组中的多组时刻不同,多个时刻对应的多个照片图像也不同,由此,能够从相机快门时间的角度,模拟各种情况的运动模糊,增加运动模糊图像的多样性。

如图3(b)所示,在一种实现方式中,可以调整运动数据,从而调整虚拟目标的运动方式,从而从运动方式的角度,模拟各种情况的运动模糊,增加运动模糊图像标注样本的多样性。

具体而言,在上述实施例提供的图像标注方法的基础上,可以获取第一运动数据,调用第一运动数据驱动虚拟目标,使虚拟目标在虚拟场景中进行第一运动,在虚拟目标进行第一运动时,调用虚拟相机获取虚拟目标的多个照片图像;然后,对多个照片图像进行合成,得到一运动模糊图像。

之后,可以获取第二运动数据,调用第二运动数据驱动虚拟目标,使虚拟目标在虚拟场景中进行第二运动,在虚拟目标进行第二运动时,调用虚拟相机获取虚拟目标的多个照片图像;然后,对多个照片图像进行合成,得到另一运动模糊图像。

其中,第二运动数据与第一运动数据不同,从而使虚拟目标进行不同的运动。

进一步地,还可以获取第N运动数据,调用第N运动数据驱动虚拟目标,使虚拟目标在虚拟场景中进行第N运动,在虚拟目标进行第N运动时,调用虚拟相机获取虚拟目标的多个照片图像;然后,对多个照片图像进行合成,得到第N运动模糊图像。其中,N可以为3、4、5……。

通过获取不同的运动数据,调用不同的运动数据驱动虚拟目标,使虚拟目标在虚拟场景中进行不同的运动,获取虚拟目标进行不同运动时的运动模糊图像,能够从运动方式的角度,模拟各种情况的运动模糊,增加运动模糊图像的多样性。

如图3(c)所示,在一种实现方式中,可以调整虚拟相机的设置参数,从而调整虚拟相机在虚拟场景中的设置方式,从虚拟相机的相机视角,模拟各种情况的运动模糊,增加运动模糊图像的多样性。

具体而言,在上述实施例提供的图像标注方法的基础上,可以获取第一虚拟相机设置信息,根据第一虚拟相机设置信息在虚拟场景中设置第一虚拟相机,在虚拟目标运动时,调用第一虚拟相机获取虚拟目标在第一虚拟相机视角的多个照片图像;对多个照片图像进行合成,得到一运动模糊图像。

之后,可以获取第二虚拟相机设置信息,根据第二虚拟相机设置信息在虚拟场景中设置第二虚拟相机,在虚拟目标运动时,调用第二虚拟相机获取虚拟目标在第二虚拟相机视角的多个照片图像;对多个照片图像进行合成,得到另一运动模糊图像。

其中,第二虚拟相机设置信息与第一虚拟相机设置信息不同,从而使第二虚拟相机与第一虚拟相机的设置视角不同。

进一步地,可以获取第N虚拟相机设置信息,根据第N虚拟相机设置信息在虚拟场景中设置第N虚拟相机,在虚拟目标运动时,调用第N虚拟相机获取虚拟目标在第N虚拟相机视角的多个照片图像;对多个照片图像进行合成,得到第N运动模糊图像。

通过根据不同的虚拟相机参数在虚拟场景中设置不同的虚拟相机,获取虚拟目标运动时,不同虚拟相机视角的照片图像,获取不同虚拟相机视角的运动模糊图像,能够从相机设置的角度,模拟各种情况的运动模糊,增加运动模糊图像的多样性。

如图3(d)所示,在一种实现方式中,可以调整目标信息,从而调整虚拟目标,从而从被拍摄目标的角度,模拟各种情况的运动模糊,增加运动模糊图像标注样本的多样性。

具体而言,可以获取第一目标信息,在虚拟场景中生成第一虚拟目标,在第一虚拟目标运动时,获取第一虚拟目标的多个照片图像,对第一虚拟目标的多个照片图像进行合成,得到一运动模糊图像。

之后,可以获取第二目标信息,在虚拟场景中生成第二虚拟目标,在第二虚拟目标运动时,获取第二虚拟目标的多个照片图像,对第二虚拟目标的多个照片图像进行合成,得到另一运动模糊图像。

其中,目标信息用于生成虚拟目标。例如,在虚拟目标为虚拟数字人时,目标信息可以包括虚拟数字人的形状、大小、骨骼结构、衣物等。第二目标信息与第一目标信息不同,例如,第二目标信息与第一目标信息中至少有一个参数不同,该参数例如为虚拟数字人的形状、大小、骨骼结构、衣物等中的一者或多者,以使生成的第二虚拟目标与第一虚拟目标不同。

进一步地,可以获取第N目标信息,在虚拟场景中生成第N虚拟目标,在第N虚拟目标运动时,获取第N虚拟目标的多个照片图像,对第N虚拟目标的多个照片图像进行合成,得到第N运动模糊图像。

通过根据不同的目标信息在虚拟场景中生成不同的虚拟目标,获取不同虚拟目标运动时的运动模糊图像,进而获取不同的运动模糊图像标注样本,能够从拍摄目标的角度,模拟各种情况的运动模糊,增加运动模糊图像的多样性。

如图3(e)所示,在一种实现方式中,可以调整场景信息,从而调整虚拟场景,从而从目标所处背景或背景的角度,模拟各种情况的运动模糊,增加运动模糊图像的多样性。

具体而言,可以获取第一场景信息,生成第一虚拟场景,在第一虚拟场景中生成虚拟目标,在虚拟目标在第一虚拟场景中运动时,获取虚拟目标的多个照片图像,对多个照片图像进行合成,得到一运动模糊图像。

之后,可以获取第二场景信息,生成第二虚拟场景,在第二虚拟场景中生成虚拟目标,在虚拟目标在第二虚拟场景中运动时,获取虚拟目标的多个照片图像,对多个照片图像进行合成,得到运动模糊图像,进而得到另一运动模糊图像。

其中,第二场景信息与第一场景信息不同,从而使生成的第二虚拟场景与第一虚拟场景不同。

进一步地,可以获取第N场景信息,生成第N虚拟场景,在第N虚拟场景中生成虚拟目标,在虚拟目标在第N虚拟场景中运动时,获取虚拟目标的多个照片图像,对多个照片图像进行合成,得到第N运动模糊图像。

通过根据不同的场景信息生成不同的虚拟场景,获取虚拟目标在不同虚拟场景中运动时的运动时的运动模糊图像,进而获得不同的运动模糊图像标注样本,能够从目标所处环境或背景的角度,模拟各种情况的运动模糊,增加运动模糊图像的多样性。

需要说明的是,在上述实现方式中,分别通过调整目标时间段、调整运动数据、调整虚拟相机设置信息、调整目标信息、调整场景信息,获取不同的运动模糊图像标注样本,提高运动模糊图像的多样性。在一些实现方式中,可以将上述提高运动模糊图像多样性的一个或多个手段进行任意组合,来获取不同的运动模糊图像,从而提高运动模糊图像的多样性。例如,可以将调整目标时间段与调整目标信息相结合,来获取不同的运动模糊图像标注样本,也可以将调整目标信息与调整场景信息相结合,来获取不同的运动模糊图像标注样本,还可以将调整目标时间段、调整目标信息、调整场景信息相结合,来获取不同的运动模糊图像标注样本。

因此,在一些实现方式中,可以基于上述实施例提供的运动模糊图像标注样本的获取方法,获取第一场景信息,根据第一场景信息生成虚拟场景;获取第一目标信息,根据第一目标信息在虚拟场景中生成虚拟目标;获取第一相机设置信息,根据第一相机设置信息在虚拟场景中设置所述虚拟相机;获取第一运动数据,调用第一运动数据驱动在虚拟场景中生成的虚拟目标;然后,在所述虚拟目标运动的时间段内随机获取多个目标时间段;将多个目标时间段分别切分为对应的多个时刻组;其中,所述多个时刻组与所述多个目标时间段一一对应,每个时刻组包括多个时刻;针对每个时刻组,调用所述虚拟相机获取所述虚拟目标在该时刻组中的多个时刻对应的多个照片图像,将多个照片图像合成为运动模糊图像,从多个照片图像中确定目标图像,获取目标图像中虚拟目标的关键点位置信息,根据关键点位置信息对运动模糊图像进行标注,得到标注的运动模糊图像。由此,能够得到一批标注后的运动模糊图像。

之后,可以获取第二场景信息,根据第二场景信息生成虚拟场景;获取第二目标信息,根据第二目标信息在虚拟场景中生成虚拟目标;获取第二相机设置信息,根据第一相机设置信息在虚拟场景中设置所述虚拟相机;获取第二运动数据,调用第二运动数据驱动在虚拟场景中生成的虚拟目标;然后,在所述虚拟目标运动的时间段内随机获取多个目标时间段;将多个目标时间段分别切分为对应的多个时刻组;其中,所述多个时刻组与所述多个目标时间段一一对应,每个时刻组包括多个时刻;针对每个时刻组,调用所述虚拟相机获取所述虚拟目标在该时刻组中的多个时刻对应的多个照片图像,将多个照片图像合成为运动模糊图像,从多个照片图像中确定目标图像,获取目标图像中虚拟目标的关键点位置信息,根据关键点位置信息对运动模糊图像进行标注,得到标注的运动模糊图像。由此,能够得到另一批标注后的运动模糊图像。

其中,第二场景信息与第一场景信息为虚拟场景的场景信息,其用于生成虚拟场景,第二目标信息与第一目标信息为虚拟目标的目标信息,其用于生成虚拟目标,第一相机设置信息与第二相机设置信息为虚拟相机的设置信息,其用于设置虚拟相机,第一运动数据与第二运动数据为虚拟目标的运动数据,其用于驱动虚拟目标。第二场景信息与第一场景信息、第二目标信息与第一目标信息、第一相机设置信息与第二相机设置信息、第二运动数据与第一运动数据这四项中的至少一项中的信息是不同的。

通过将获取不同的目标时间段、不同的运动数据、不同的虚拟相机设置信息、不同的目标信息、不同的场景信息进行任意组合,能够获取多样性的运动模糊图像,利用多样性的运动模糊图像作为训练样本训练关键点识别模型,能够提高关键点识别模型的泛化性。

并且,相关技术中,通常基于反卷积、多帧去模糊等模型方法,来对运动模糊图像进行去模糊,对去模糊后的图像进行标注,其只能获取简单运动模糊图像的标注样本。本申请实施例调用运动数据驱动虚拟场景中的虚拟目标,使虚拟目标在虚拟场景中运动;调用虚拟相机获取虚拟目标运动时多个时刻对应的多个照片图像,基于多个照片图像,合成运动模糊图像,使用目标照片图像中虚拟目标的关键点位置信息对合成的运动模糊图像进行标注,能够通过设置虚拟目标的多个照片图像的获取时刻、设置虚拟目标、设置虚拟相机、设置虚拟目标、设置虚拟场景的任意组合,模拟出复杂的运动模糊图像,对复杂运动模糊图像进行标注。将标注后的复杂运动模糊图像作为训练样本训练关键点识别模型,能够提高关键点识别模型对于复杂运动模糊图像的识别能力。

对应上述实施例提供的图像标注方法,基于同样的思路,本申请实施例还提供一种关键点识别模型的训练方法。图3是本申请申请实施例提供的关键点识别模型的训练方法示意图。如图3所示,本申请实施例提供的关键点识别模型的训练方法可以包括:

S302,基于本申请实施例提供的图像标注方法,获取标注的运动模糊图像作为训练样本;

S304,使用该训练样本对待训练的关键点识别模型进行训练,得到训练后的关键点识别模型。

其中,关键点识别模型用于识别图像中的关键点,例如,人体的四肢关节等。可以使用运动模糊图像标注样本对待训练的关键点识别模型进行有监督训练,从而得到训练后的关键点识别模型。待训练的关键点识别模型可以为人工智能模型,如神经网络模型。

上述实施例提供的图像标注方法,调用运动数据驱动在虚拟场景中生成的虚拟目标,以使虚拟目标在所述虚拟场景中运动;调用虚拟相机获取虚拟目标在运动时的多个照片图像;对多个照片图像进行运动模糊合成,得到虚拟目标的运动模糊图像;获取目标图像中虚拟目标的关键点位置信息,根据所述关键点位置信息对运动模糊图像进行标注,能够模拟生成运动模糊图像,获取准确标注的运动模糊图像,将准确标注的运动模糊图像作为训练样本来训练关键点识别模型,能够提高关键点识别模型对于运动模糊图像的识别准确度。

并且,上述实施例提供的图像标注方法,虚拟场景根据场景信息生成、虚拟目标根据目标信息生成、虚拟相机根据虚拟相机设置信息设置、驱动虚拟目标的运动数据从运动捕捉设备或数据库中获取、获取多个照片图像的多个时刻根据目标时间段确定,其可以通过不同场景信息、不同目标信息、不同虚拟相机设置信息、不同运动数据、不同目标时间段等手段的任意组合,来获取多样化的运动模糊图像,得到多样化的运动模糊图像的标注图像。将这些多样化的标注图像作为训练样本来训练关键点识别模型,能够提高关键点识别模型对于运动模糊图像识别的泛化性。

并且,通过设置场景信息、设置目标信息、设置虚拟相机设置信息、设置运动数据、设置目标时间段等手段的组合,能够模拟出复杂的运动模糊图像,得到复杂运动模糊图像的标注图像。将复杂运动模糊图像的标注图像作为训练样本来训练关键点识别模型,能够提高关键点识别模型对于复杂运动模糊图像的识别能力。

需要说明的是,本申请实施例提供的关键点识别模型的训练方法与前述实施例提供的图像标注方法基于同一发明构思,关于本实施例的具体实施可以参见前述实施例,在此不再赘述。

对应上述实施例提供的图像标注方法,基于同样的思路,本申请实施例还提供一种图像标注装置。图5是本申请实施例提供的图像标注装置的模块示意图。如图5所示,本申请实施例提供的图像标注装置可以包括:

运动驱动模块10,用于调用运动数据驱动所述虚拟目标,使所述虚拟目标在所述虚拟场景中运动;

照片获取模块20,用于在所述虚拟目标运动时,调用所述虚拟相机获取所述虚拟目标的多个照片图像;其中,所述多个照片图像中的每个照片图像对应不同的时刻,且所述每个照片图像对应的时刻位于目标时间段内,所述目标时间段位于所述虚拟目标运动的时段内;

模糊合成模块30,用于对所述多个照片图像进行合成,得到所述虚拟目标的运动模糊图像,

标注模块40,用于获取目标图像中虚拟目标的关键点位置信息,根据所述关键点位置信息对所述运动模糊图像进行标注,得到运动模糊图像标注样本,其中,所述目标图像为所述多个照片图像中目标时刻对应的照片图像,所述目标时刻由所述每个照片图像对应的时刻确定。

在一种实现方式中,所述装置还包括:

虚拟场景生成模块,用于根据目标现实场景的场景信息生成所述虚拟场景;

虚拟目标生成模块,用于根据所述目标现实场景中现实目标的目标信息生成所述虚拟目标。

在一种实现方式中,所述装置还包括:

运动数据获取模块,用于获取所述现实目标的目标信息,或,获取所述现实目标的目标信息以及所述目标现实场景的场景信息;根据所述现实目标的目标信息或所述现实目标的目标信息以及所述目标现实场景的场景信息,获取所述虚拟目标对应的运动数据。

在一种实现方式中,所述装置还包括:

虚拟相机设置模块,用于根据所述运动数据,设置所述虚拟相机的快门速度。

在一种实现方式中,所述照片获取模块,还用于根据所述目标现实场景中现实相机的快门速度,确定所述目标时间段的长度。

在一种实现方式中,

所述虚拟场景生成模块,还用于根据第一场景信息生成所述虚拟场景;

所述虚拟目标生成模块,还用于根据第一目标信息在所述虚拟场景中生成所述虚拟目标;

所述虚拟相机设置模块,还用于根据第一相机设置信息在所述虚拟场景中设置所述虚拟相机;

所述运动驱动模块,还用于调用第一运动数据驱动所述虚拟场景中生成的所述虚拟目标。

在一种实现方式中,

所述虚拟场景生成模块,还用于根据第二场景信息生成所述虚拟场景;

所述虚拟目标生成模块,还用于根据第二目标信息在所述虚拟场景中生成所述虚拟目标;

所述虚拟相机设置模块,还用于根据第二相机设置信息在所述虚拟场景中设置所述虚拟相机;

所述运动驱动模块,还用于调用第二运动数据驱动所述虚拟场景中生成的所述虚拟目标;

其中,所述第二场景信息与所述第一场景信息、所述第二目标信息与所述第一目标信息、所述第二相机设置信息与所述第一相机设置信息、所述第二运动数据与所述第一运动数据中的至少一项不同。

在一种实现方式中,所述照片获取模块,还用于:

在所述虚拟目标运动的时间段内随机获取多个目标时间段;

将所述多个目标时间段分别切分为对应的多个时刻组;其中,所述多个时刻组与所述多个目标时间段一一对应,每个时刻组包括多个时刻;

针对每个时刻组,调用所述虚拟相机获取所述虚拟目标在该时刻组中的多个时刻对应的多个照片图像。

在一种实现方式中,所述模糊合成模块,还用于:

从所述多个照片图像对应的多个时刻中获取中间时刻,根据所述中间时刻确定所述目标时刻;

根据所述目标时刻,从所述多个照片图像中获取所述目标图像。

在一种实现方式中,所述模糊合成模块,还用于:

将所述多个照片图像进行叠加,进行运动模糊合成。

在一种实现方式中,所述标注模块,还用于:

获取所述目标时刻所述虚拟目标的关键点在所述虚拟场景中的位置信息;

获取所述虚拟相机的相机设置信息;

根据所述位置信息以及所述虚拟相机设置信息,获取所述目标图像中所述虚拟目标的关键点位置信息。

需要说明的是,本申请实施例提供的图像标注装置与前述实施例提供的图像标注方法基于同一发明构思,关于本实施例的具体实施可以参见前述实施例,在此不再赘述。

对应上述实施例提供的图像标注方法,基于同样的思路,本申请实施例还提供一种计算机设备,如图6所示。

计算机设备可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上的处理器和存储器,存储器中可以存储有一个或一个以上存储应用程序或数据。其中,存储器可以是短暂存储或持久存储。存储在存储器的应用程序可以包括一个或一个以上模块,每个模块可以包括对计算机设备中的一系列计算机可执行指令。更进一步地,处理器可以设置为与存储器通信,在计算机设备上执行存储器中的一系列计算机可执行指令。计算机设备还可以包括一个或一个以上电源,一个或一个以上有线或无线网络接口,一个或一个以上输入输出接口,一个或一个以上键盘等。

在一个具体的实施例中,计算机设备包括有存储器,以及一个或一个以上的程序,其中一个或者一个以上程序存储于存储器中,且一个或者一个以上程序可以包括一个或一个以上模块,且每个模块可以包括对计算机设备中的一系列计算机可执行指令,且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令:

调用运动数据驱动在虚拟场景中生成的虚拟目标,以使所述虚拟目标在所述虚拟场景中运动;其中,所述虚拟场景中设置有虚拟相机;

调用所述虚拟相机获取所述虚拟目标在运动时的多个照片图像;其中,所述多个照片图像中的每个照片图像对应不同的时刻,且所述每个照片图像对应的时刻位于目标时间段内,所述目标时间段位于所述虚拟目标运动的时段内;

对所述多个照片图像进行运动模糊合成,得到所述虚拟目标的运动模糊图像;

获取目标图像中虚拟目标的关键点位置信息,根据所述关键点位置信息对所述运动模糊图像进行标注,得到标注的运动模糊图像,其中,所述目标图像为所述多个照片图像中目标时刻对应的照片图像,所述目标时刻由所述照片图像对应的时刻确定。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

根据目标现实场景的场景信息生成所述虚拟场景;

根据所述目标现实场景中现实目标的目标信息生成所述虚拟目标。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

获取所述现实目标的目标信息,或,获取所述现实目标的目标信息以及所述目标现实场景的场景信息;

根据所述现实目标的目标信息或所述现实目标的目标信息以及所述目标现实场景的场景信息,获取所述虚拟目标对应的运动数据。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

根据所述运动数据,设置所述虚拟相机的快门速度。

在一种实现方式中,所述方法还包括:

根据所述目标现实场景中现实相机的快门速度,确定所述目标时间段的长度。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

根据第一场景信息生成所述虚拟场景;

根据第一目标信息在所述虚拟场景中生成所述虚拟目标;

根据第一相机设置信息在所述虚拟场景中设置所述虚拟相机;

所述调用运动数据驱动在虚拟场景中生成的虚拟目标,包括:

调用第一运动数据驱动所述虚拟场景中生成的所述虚拟目标。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

根据第二场景信息生成所述虚拟场景;

根据第二目标信息在所述虚拟场景中生成所述虚拟目标;

根据第二相机设置信息在所述虚拟场景中设置所述虚拟相机;

所述调用运动数据驱动在虚拟场景中生成的虚拟目标,包括:

调用第二运动数据驱动所述虚拟场景中生成的所述虚拟目标;

其中,所述第二场景信息与所述第一场景信息、所述第二目标信息与所述第一目标信息、所述第二相机设置信息与所述第一相机设置信息、所述第二运动数据与所述第一运动数据中的至少一项不同。

在一种实现方式中,所述调用所述虚拟相机获取所述虚拟目标在运动时的多个照片图像,包括:

在所述虚拟目标运动的时间段内随机获取多个目标时间段;

将所述多个目标时间段分别切分为对应的多个时刻组;其中,所述多个时刻组与所述多个目标时间段一一对应,每个时刻组包括多个时刻;

针对每个时刻组,调用所述虚拟相机获取所述虚拟目标在该时刻组中的多个时刻对应的多个照片图像。

在一种实现方式中,在所述获取目标图像中虚拟目标的关键点位置信息之前,所述方法还包括:

从所述多个照片图像对应的多个时刻中获取中间时刻,根据所述中间时刻确定所述目标时刻;

根据所述目标时刻,从所述多个照片图像中获取所述目标图像。

在一种实现方式中,所述对所述多个照片图像进行运动模糊合成,包括:

将所述多个照片图像进行叠加,进行运动模糊合成。

在一种实现方式中,所述获取目标图像中虚拟目标的关键点位置信息,包括:

获取所述目标时刻所述虚拟目标的关键点在所述虚拟场景中的位置信息;

获取所述虚拟相机的相机设置信息;

根据所述位置信息以及所述虚拟相机设置信息,获取所述目标图像中所述虚拟目标的关键点位置信息。

需要说明的是,本申请中提供的计算机设备与前述实施例提供的图像标注方法基于同一发明构思,因此该实施例的具体实施可以参见前述实施例的实施,重复之处不再赘述。

对应本申请实施例提供的图像标注方法,基于相同的技术构思,本申请实施例还提供了一种存储介质,用于存储计算机可执行指令;

在一种具体的实施例中,该存储介质可以为U盘、光盘、硬盘等,该存储介质存储的计算机可执行指令在被处理器执行时,能实现以下流程:

调用运动数据驱动在虚拟场景中生成的虚拟目标,以使所述虚拟目标在所述虚拟场景中运动;其中,所述虚拟场景中设置有虚拟相机;

调用所述虚拟相机获取所述虚拟目标在运动时的多个照片图像;其中,所述多个照片图像中的每个照片图像对应不同的时刻,且所述每个照片图像对应的时刻位于目标时间段内,所述目标时间段位于所述虚拟目标运动的时段内;

对所述多个照片图像进行运动模糊合成,得到所述虚拟目标的运动模糊图像;

获取目标图像中虚拟目标的关键点位置信息,根据所述关键点位置信息对所述运动模糊图像进行标注,得到标注的运动模糊图像,其中,所述目标图像为所述多个照片图像中目标时刻对应的照片图像,所述目标时刻由所述照片图像对应的时刻确定。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

根据目标现实场景的场景信息生成所述虚拟场景;

根据所述目标现实场景中现实目标的目标信息生成所述虚拟目标。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

获取所述现实目标的目标信息,或,获取所述现实目标的目标信息以及所述目标现实场景的场景信息;

根据所述现实目标的目标信息或所述现实目标的目标信息以及所述目标现实场景的场景信息,获取所述虚拟目标对应的运动数据。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

根据所述运动数据,设置所述虚拟相机的快门速度。

在一种实现方式中,所述方法还包括:

根据所述目标现实场景中现实相机的快门速度,确定所述目标时间段的长度。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

根据第一场景信息生成所述虚拟场景;

根据第一目标信息在所述虚拟场景中生成所述虚拟目标;

根据第一相机设置信息在所述虚拟场景中设置所述虚拟相机;

所述调用运动数据驱动在虚拟场景中生成的虚拟目标,包括:

调用第一运动数据驱动所述虚拟场景中生成的所述虚拟目标。

在一种实现方式中,在所述调用运动数据驱动在虚拟场景中生成的虚拟目标之前,所述方法还包括:

根据第二场景信息生成所述虚拟场景;

根据第二目标信息在所述虚拟场景中生成所述虚拟目标;

根据第二相机设置信息在所述虚拟场景中设置所述虚拟相机;

所述调用运动数据驱动在虚拟场景中生成的虚拟目标,包括:

调用第二运动数据驱动所述虚拟场景中生成的所述虚拟目标;

其中,所述第二场景信息与所述第一场景信息、所述第二目标信息与所述第一目标信息、所述第二相机设置信息与所述第一相机设置信息、所述第二运动数据与所述第一运动数据中的至少一项不同。

在一种实现方式中,所述调用所述虚拟相机获取所述虚拟目标在运动时的多个照片图像,包括:

在所述虚拟目标运动的时间段内随机获取多个目标时间段;

将所述多个目标时间段分别切分为对应的多个时刻组;其中,所述多个时刻组与所述多个目标时间段一一对应,每个时刻组包括多个时刻;

针对每个时刻组,调用所述虚拟相机获取所述虚拟目标在该时刻组中的多个时刻对应的多个照片图像。

在一种实现方式中,在所述获取目标图像中虚拟目标的关键点位置信息之前,所述方法还包括:

从所述多个照片图像对应的多个时刻中获取中间时刻,根据所述中间时刻确定所述目标时刻;

根据所述目标时刻,从所述多个照片图像中获取所述目标图像。

在一种实现方式中,所述对所述多个照片图像进行运动模糊合成,包括:

将所述多个照片图像进行叠加,进行运动模糊合成。

在一种实现方式中,所述获取目标图像中虚拟目标的关键点位置信息,包括:

获取所述目标时刻所述虚拟目标的关键点在所述虚拟场景中的位置信息;

获取所述虚拟相机的相机设置信息;

根据所述位置信息以及所述虚拟相机设置信息,获取所述目标图像中所述虚拟目标的关键点位置信息。

需要说明的是,本申请中提供的存储介质与前述实施例提供的图像标注方法基于同一发明构思,因此该实施例的具体实施可以参见前述实施例的实施,重复之处不再赘述。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。

在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白,本说明书的实施例可提供为方法、系统、或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书的实施例是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程欺诈案例的串并设备的处理器以产生一个机器,使得通过计算机或其他可编程欺诈案例的串并设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程欺诈案例的串并设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程欺诈案例的串并设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白,本说明书的实施例可提供为方法、系统或计算机程序产品。因此,本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

相关技术
  • 一种测绘巡检固定翼垂直起降无人机
  • 一种垂直起降的无人机
  • 一种启动、发电一体的垂直起降无人机
  • 一种新构型垂直起降无人机及其飞行控制方法
  • 一种垂直起降无人机的地面站系统
  • 模块化垂直起降无人机的左右双屏布局地面站
技术分类

06120116517751