掌桥专利:专业的专利平台
掌桥专利
首页

图像采集方法、装置、系统及存储介质

文献发布时间:2023-06-19 11:06:50


图像采集方法、装置、系统及存储介质

技术领域

本申请涉及计算机视觉技术领域,更具体地,涉及一种图像采集方法、装置、系统及存储介质。

背景技术

随着科技的快速发展,人机交互技术渗透到日常生活中的方方面面,其中,数字虚拟人在人机交互技术中变得越来越重要,数字虚拟人是利用虚拟现实技术、人机交互、高精度三维人像模拟、人工智能(AI)、动作捕捉、面部表情捕捉等技术制作的虚拟形象。其中,在制作数字虚拟人时,需要获取预设条件对应的不同角度和不同距离的真人图像来进行训练。但通常图像采集过程中需要人工参与来采集符合预设条件的图像,因此会花费大量时间成本和人力成本,导致图像采集效率低下。

发明内容

本申请实施例提出了一种图像采集方法、装置、系统及存储介质,能够解决上述问题。

第一方面,本申请实施例提供了一种图像采集方法,所述方法包括:获取目标对象相对于采集装置的当前位姿,其中,所述目标对象位于可移动装置上;获取所述目标对象相对于所述采集装置的目标预设位姿;根据所述目标预设位姿和所述当前位姿,确定将所述目标对象由所述当前位姿变化至所述目标预设位姿对应的所述可移动装置的移动参数;基于所述移动参数控制所述可移动装置移动,以使所述目标对象相对于所述采集装置的位姿满足所述目标预设位姿;控制所述采集装置采集包含所述目标对象的图像。

可选地,所述获取所述目标对象相对于所述采集装置的目标预设位姿,包括:在多个预设位姿中,确定所述当前位姿相对于每个所述预设位姿的相对位姿变化,所述相对位姿变化包括相对位置变化和相对角度变化中至少一个;根据所述相对位姿变化在所述多个预设位姿中确定所述目标预设位姿。

可选地,所述相对位姿变化包括所述相对位置变化,所述根据所述相对位姿变化在所述多个预设位姿中确定所述目标预设位姿,包括:将所述最小的相对位置变化对应的所述预设位姿作为所述目标预设位姿。

可选地,在所述控制所述采集装置采集包含所述目标对象的图像之后,所述方法还包括:在所述多个预设位姿中将所述目标预设位姿标识为已获取;判断所述多个预设位姿中是否存在未标识的预设位姿;若是,则将所述未标识的预设位姿中与所述目标预设位姿的相对位置变化最小的预设位姿作为新的目标预设位姿,控制所述可移动装置移动至所述目标对象相对于所述采集装置为所述新的目标预设位姿时,控制所述采集装置采集包含所述目标对象的图像。、

可选地,所述根据所述目标预设位姿和所述当前位姿,确定将所述目标对象由所述当前位姿变化至所述目标预设位姿对应的所述可移动装置的移动参数,包括:根据所述采集装置与所述可移动装置的预设位置的位置关系,获取空间坐标系与相机坐标系的变换关系,其中,所述空间坐标系为以所述预设位置为原点的坐标系,所述相机坐标系为以所述采集装置的位置为原点的标系;基于所述变换关系,在所述空间坐标系中确定所述目标对象由所述当前位姿变化至所述目标预设位姿的第一相对位姿变化;根据所述第一相对位姿变化,确定所述可移动装置对应的所述移动参数。

可选地,所述根据所述第一相对位姿变化,确定所述可移动装置对应的所述移动参数,包括:获取所述目标对象与所述可移动装置之间的相对位姿;根据所述第一相对位姿变化和所述相对位姿,确定所述目标对象由所述当前位姿变化到所述目标预设位姿时,对应的所述可移动装置的第二相对位姿变化;根据所述第二相对位姿变化,确定所述可移动装置对应的所述移动参数。

可选地,所述移动参数包括水平面上的水平位移参数和垂直面上的垂直位移参数,所述根据所述第二相对位姿变化,确定所述可移动装置对应的所述移动参数,包括:根据所述第二相对位姿变化在所述水平面上的相对位置变化,确定水平位移参数;根据所述第二相对位姿变化在所述垂直面上的相对位置变化,确定垂直位移参数。

可选地,所述移动参数包括旋转参数,所述根据所述第二相对位姿变化,确定所述可移动装置对应的所述移动参数,包括:根据所述第二相对位姿变化对应的相对角度变化,确定所述可移动装置对应的旋转参数。

可选地,在所述根据所述第一相对位姿变化和所述相对位姿,确定所述目标对象由所述当前位姿变化到所述目标预设位姿时,对应的所述可移动装置的第二相对位姿变化之后,所述方法还包括:获取所述可移动装置在所述空间坐标系中的移动范围;若所述第二相对位姿变化不满足所述移动范围,则输出提示信息。

可选地,所述目标预设位姿包括所述多个预设位姿,所述根据所述目标预设位姿和所述当前位姿,确定将所述目标对象由所述当前位姿变化至所述目标预设位姿对应的所述可移动装置的移动参数,包括:根据所述多个预设位姿确定多个位置点;根据所述多个位置点和所述当前位姿,确定所述可移动装置经过所有所述位置点的移动路径对应的所述移动参数;所述控制所述采集装置采集包含所述目标对象的图像,包括:当所述可移动装置位于每个所述位置点时,控制所述采集装置采集包含所述目标对象的图像。

可选地,所述采集装置包括多个相机,所述获取目标对象相对于采集装置的当前位姿,包括:通过标定物对每个相机进行相机标定,以获取每个所述相机相对于所述标定物的外参数;获取所述目标对象相对所述标定物的位姿信息;根据所述位姿信息和所述外参数,获取所述目标对象相对于所述每个相机的多个所述当前位姿。

可选地,所述目标对象为真人用户,在所述控制所述采集装置采集包含所述目标对象的图像之后,所述方法还包括:将所述图像和所述目标预设位姿输入预设的机器学习模型进行训练,以得到训练后的数字人生成模型,所述数字人生成模型用于生成所述目标对象对应的数字人。

第二方面,本申请实施例提供了一种图像采集装置,包括:当前位姿获取模块,用于获取目标对象相对于采集装置的当前位姿,其中,所述目标对象位于可移动装置上;预设位姿获取模块,用于获取所述目标对象相对于所述采集装置的目标预设位姿;移动参数确定模块,用于根据所述目标预设位姿和所述当前位姿,确定将所述目标对象由所述当前位姿变化至所述目标预设位姿对应的所述可移动装置的移动参数;移动模块,用于基于所述移动参数控制所述可移动装置移动,以使所述目标对象相对于所述采集装置的位姿满足所述目标预设位姿;采集模块,用于控制所述采集装置采集包含所述目标对象的图像。

可选地,所述预设位姿获取模块包括位姿变化确定子模块和目标预设位姿确定子模块,其中,所述位姿变化确定子模块用于在多个预设位姿中,确定所述当前位姿相对于每个所述预设位姿的相对位姿变化,所述相对位姿变化包括相对位置变化和相对角度变化中至少一个,所述目标预设位姿确定子模块用于根据所述相对位姿变化在所述多个预设位姿中确定所述目标预设位姿。

可选地,所述目标预设位姿确定子模块包括最小预设位姿确定单元,其中,所述最小预设位姿确定单元,用于将所述最小的相对位置变化对应的所述预设位姿作为所述目标预设位姿。

可选地,在所述控制所述采集装置采集包含所述目标对象的图像之后,所述图像采集装置还包括:标识模块、参数判断模块以及参数更新模块,其中,标识模块,用于在所述多个预设位姿中将所述目标预设位姿标识为已获取;参数判断模块,用于判断所述多个预设位姿中是否存在未标识的预设位姿;参数更新模块,用于若是,则将所述未标识的预设位姿中与所述目标预设位姿的相对位置变化最小的预设位姿作为新的目标预设位姿,控制所述可移动装置移动至所述目标对象相对于所述采集装置为所述新的目标预设位姿时,控制所述采集装置采集包含所述目标对象的图像。

可选地,所述移动参数确定模块包括变换关系获取子模块、第一相对位姿确定子模块和第一参数确定子模块,其中,所述变换关系获取子模块,用于根据所述采集装置与所述可移动装置的预设位置的位置关系,获取空间坐标系与相机坐标系的变换关系,其中,所述空间坐标系为以所述预设位置为原点的坐标系,所述相机坐标系为以所述采集装置的位置为原点的标系,所述第一相对位姿确定子模块,用于基于所述变换关系,在所述空间坐标系中确定所述目标对象由所述当前位姿变化至所述目标预设位姿的第一相对位姿变化,所述第一参数确定子模块,用于,根据所述第一相对位姿变化,确定所述可移动装置对应的所述移动参数。

可选地,所述移动参数确定子模块包括相对位姿获取单元,第二相对位姿确定单元,第二参数确定单元,其中,相对位姿获取单元,用于获取所述目标对象与所述可移动装置之间的相对位姿;第二相对位姿确定单元,用于根据所述第一相对位姿变化和所述相对位姿,确定所述目标对象由所述当前位姿变化到所述目标预设位姿时,对应的所述可移动装置的第二相对位姿变化;第二参数确定单元,用于根据所述第二相对位姿变化,确定所述可移动装置对应的所述移动参数。

可选地,移动参数包括水平面上的水平位移参数和垂直面上的垂直位移参数,所述第二参数确定单元包括水平位移参数确定子单元和垂直位移参数确定子单元,其中,水平位移参数确定子单元,用于根据所述第二相对位姿变化在所述水平面上的相对位置变化,确定水平位移参数;垂直位移参数确定子单元,用于根据所述第二相对位姿变化在所述垂直面上的相对位置变化,确定垂直位移参数。

可选地,所述移动参数包括旋转参数,所述第二参数确定单元包括旋转参数确定子单元,其中,旋转参数确定子单元用于根据所述第二相对位姿变化对应的角度变化,确定所述可移动装置对应的旋转参数。

可选地,在所述根据所述第一相对位姿变化和所述相对位姿,确定所述目标对象由所述当前位姿变化到所述目标预设位姿时,对应的所述可移动装置的第二相对位姿变化之后,所述图像采集装置还包括移动范围获取模块,以及提示模块,其中,移动范围获取模块,用于获取所述可移动装置在所述空间坐标系中的移动范围;提示模块,用于若所述第二相对位姿变化不满足所述移动范围,则输出提示信息。

可选地,所述目标预设位姿包括所述多个预设位姿,所述移动参数确定模块,包括位置点确定子模块,移动路径确定子模块,所述采集模块包括位置点采集子模块,其中,所述位置点确定子模块,根据所述多个预设位姿确定多个位置点;所述移动路径确定子模块,用于根据所述多个位置点和所述当前位姿,确定所述可移动装置经过所有所述位置点的移动路径对应的所述移动参数;所述位置点采集子模块,用于当所述可移动装置位于每个所述位置点时,控制所述采集装置采集包含所述目标对象的图像。

可选地,所述采集装置包括多个相机,所述当前位姿获取模块包括标定子模块,相对位姿获取子模块,以及当前位姿获取子模块,其中,所述标定子模块用于通过标定物对每个相机进行相机标定,以获取每个所述相机相对于所述标定物的外参数;所述相对位姿获取子模块,用于获取所述目标对象相对所述标定物的位姿信息;所述当前位姿获取子模块,用于根据所述位姿信息和所述外参数,获取所述目标对象相对于所述每个相机的多个所述当前位姿。

可选地,所述目标对象为真人用户,在所述控制所述采集装置采集包含所述目标对象的图像之后,所述图像采集装置还包括训练模块,其中,所述训练模块,用于将所述图像和所述目标预设位姿输入预设的机器学习模型进行训练,以得到训练后的数字人生成模型,所述数字人生成模型用于生成所述目标对象对应的数字人。

第三方面,本申请实施例提供了一种图像采集系统,其特征在于,包括:处理器、可移动装置,以及采集装置,其中,目标对象位于所述可移动装置上;所述处理器,用于获取所述目标对象相对于所述采集装置的当前位姿,以及所述目标对象相对于所述采集装置的目标预设位姿,并根据所述目标预设位姿和所述当前位姿,确定将所述目标对象由所述当前位姿变化至所述目标预设位姿对应的所述可移动装置的移动参数;所述可移动装置,用于基于所述移动参数移动,以使所述目标对象相对于所述采集装置的位姿满足所述目标预设位姿;所述采集装置,用于采集包含所述目标对象的图像。

第四方面,本申请实施例提供了一种计算机可读取存储介质,该计算机可读取存储介质中存储有程序代码,该程序代码可被处理器调用执行如上述第一方面所述的方法。

本申请实施例提供了一种图像采集方法、装置、系统及存储介质,获取目标对象相对于采集装置的当前位姿,其中,目标对象位于可移动装置上;获取目标对象相对于采集装置的目标预设位姿;根据目标预设位姿和当前位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的可移动装置的移动参数;基于移动参数控制可移动装置移动,以使目标对象相对于采集装置的位姿满足目标预设位姿;控制采集装置采集包含目标对象的图像。由此,通过目标对象的目标预设位姿和当前位姿,可以在不对目标对象的位姿进行人为操作的情况下,自动地控制可移动装置进行移动,以采集目标对象的目标预设位姿对应的图像,从而可以简化图像采集的过程,降低图像采集的时间成本和人力成本,提升图像采集的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了本申请一个实施例提供的图像采集系统的结构框图;

图2示出了本申请一个示例性实施例提供的图像采集系统的示意图;

图3示出了本申请一个实施例提供的图像采集方法的流程示意图;

图4示出了本申请又一个实施例提供的图像采集方法的流程示意图;

图5示出了本申请另一个实施例提供的图像采集方法的流程示意图;

图6示出了本申请再一个实施例提供的图像采集方法的流程示意图;

图7示出了本申请还一个实施例提供的图像采集方法的流程示意图;

图8示出了本申请又另一个实施例提供的图像采集方法的流程示意图;

图9示出了本申请又再一个实施例提供的图像采集方法的流程示意图;

图10示出了本申请实施例提供的图像采集装置的结构框图;

图11示出了本申请实施例的用于保存或者携带实现根据本申请实施例的图像采集方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。随着科技的迅猛发展,人机交互技术渗透到日常生活中的方方面面,其中,数字虚拟人在人机交互技术中变得越来越重要,数字虚拟人(以下可称数字人)可以是通过深度学习模型生成的近乎于相机拍摄的逼真图像的仿真数字人,也可以是通过3D建模、渲染等计算机图形学技术现实的3D数字人。数字人可以通过屏幕、投影等形式,以动画的形态展现在用户面前,和用户进行自然交互。

在制作数字人时,需要获取真人模特大量图像作为训练数据,以使数字人具有如同真人一般的形状和姿态。因此,训练数据的图像必须符合一定的标准,为了在不同视角下得到如同真人般的数字人,通常需要采集真人模特在预设条件的多个角度和距离下的图像。

然而,发明人发现目前对数字人训练数据的采集时,都是通过人工指导的方式来确保采集的训练数据符合预设条件,通常需要根据预设条件人为地指导真人模特进行移动来获取预设条件中的多个角度和距离的图像,由于训练图像通常数量较多,图像采集所需的时间也较多,过程也较为繁琐。可见,这种图像采集方式会花费大量的时间成本和人力成本,且采集效率不高。另外,人工指导无法避免一些人为的疏忽,可能导致一些角度或者距离对应的图片没有被采集到,后期需要重新采集图像,因此不能较好的保证采集得到的图像的质量。

为了改善上述问题,发明人提出了本申请实施例中的图像采集方法、装置、系统及存储介质,通过获取位于可移动装置上的目标对象相对于采集装置的当前位姿和期望采集图像对应的目标预设位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的可移动装置的移动参数,基于移动参数控制可移动装置移动,以使目标对象相对于采集装置的位姿满足目标预设位姿;控制采集装置采集包含目标对象的图像。通过这种方式,可以自动地控制可移动装置进行移动,以采集目标对象的预设位姿对应的图像,进而可以简化图像采集的过程,降低图像采集的时间成本和人力成本,提升图像采集的效率。

请参阅图1,示出了本申请实施例提供图像采集系统示意图,如图1所示,该图像采集系统100包括处理器110,可移动装置120,采集装置130。其中,处理器110分别与可移动装置120和采集装置130通信连接。具体地,处理器110、可移动装置120和采集装置130可以位于无线网络或者有线网络中,处理器110通过无线网络或有线网络分别于可移动装置120和采集装置130数据交互。可选地,图像采集系统100还可以包括声音采集装置,声音采集装置可以采集当前场景中的声音信息。

于本申请实施例中,处理器110可以为移动终端设备,例如可以包括智能手机、平板电脑、膝上型便携计算机、穿戴式移动终端等。在一些实施方式中,处理器110可以设置有显示屏幕,或者与显示屏幕相连接,可以通过显示屏幕查看采集装置采集的图像数据。在一些实施方式中,处理器110也可以设置于可移动装置120或者采集装置130上。处理器分别与采集装置和可移动装置电性连接,用于控制可移动装置移动,以及控制采集装置采集图像。

在一些实施方式中,图像采集系统100还可以包括服务器,处理器110可以与服务器通信连接,通过无线网络或有线网络进行数据交互。其中,服务器可以是单独的服务器,也可以是服务器集群,可以是本地服务器,可以是传统服务器,也可以是云端服务器,在此不作具体限定。

在另一些实施方式中,对数据进行处理的装置也可以设置于处理器110,以使处理器无需依赖于服务器建立通信连接即可对数据进行处理,此时图像采集系统100可以不包括服务器。

其中,可移动装置120用于承载目标对象,可以在预设区域的水平面上移动,可选地,可移动装置还可以包括升降装置,可以通过升降装置调节可移动装置用于承载目标对象的承载面的高度,从而实现竖直面上的移动;可移动装置还可以通过旋转来以使采集装置获取目标对象不同角度的图像。

其中,采集装置130可以是相机。相机可以是捕捉动态图像数据(例如,视频)的电影摄影机或视频摄影机,也可以是捕捉静态图像(例如,照片)的静止相机。相机可以是普通摄像头,也可以是双目摄像头、结构光摄像头、TOF摄像头等可获取空间深度信息的摄像头。

作为一种方式,采集装置中的相机的位姿是可以在采集过程中进行改变的,从而可以获取对应目标对象更多角度的图像。例如,可以根据建模目标调整相机的角度以获取建模目标对应的图像。作为另一种方式,采集装置中相机的位置和角度是固定的,即采集装置中的相机的位姿相对于世界坐标系不进行改变,通过可移动装置进行移动来获取目标对象不同的角度和距离的图像。通过这种方式,可以通过预先对相机进行标定,可以获取准确的相机参数。通过这种方式,图像采集过程中只需要控制可移动装置进行移动,通过可移动装置实时的位置得到目标对象相对于采集装置的相对位姿,而不需要对采集装置中的相机进行相机角度的调整,尤其适用于采集装置为相机阵列,这种控制相机角度较为复杂的情况。

具体地,处理器110,用于获取目标对象相对于采集装置的当前位姿,以及目标对象相对于采集装置的预设位姿,并根据预设位姿和当前位姿,确定将目标对象由当前位姿变化至预设位姿对应的可移动装置的移动参数;可移动装置120,用于基于移动参数移动;采集装置130,用于在可移动装置移动结束后,采集包含目标对象的图像。处理器110,可移动装置120,采集装置130的具体作用将在接下来的实施例中详述。

请参阅图2,图2示出了本申请一个示例性实施例提供的图像采集系统的示意图。图像采集系统100可以包括处理器(在图中未示出),采集装置120,可移动装置130。其中采集装置120可以是围绕预设区域设置的相机阵列,且相机阵列的拍摄角度朝向预设区域,相机阵列可以包括设置在多个支杆上的多个相机,多个支杆可以围绕预设区域设置,每个支杆上设置有若干个相机。其中,可移动装置130可以在预设区域的水平面或者竖直面上移动,可选地,可移动装置可以通过预设区域内的轨道进行移动,也可以不依赖于轨道进行移动。

下面将通过具体实施例对本申请实施例提供的图像采集方法、装置、系统及存储介质进行详细说明。

请参阅图3,图3示出了本申请一个实施例提供的图像采集方法的流程示意图,该方法应用于上述图像采集系统,具体地,本申请实施例的方法的执行主体是处理器。该方法包括:S210至S250。

S210:获取目标对象相对于采集装置的当前位姿。

目标对象位于可移动装置上,目标对象为被拍摄对象。在实际应用中,根据建模目标的不同,被拍摄对象可以是真人模特,也可以是物体,在此不作限定。具体地,根据建模目标的不同,目标对象可以是被拍摄对象的局部,也可以是被拍摄对象的整体。例如,目标对象可以是真人模特的身体的各个部位、也可以是真人模特的全身,还可以是真人模特的服装配饰等。

其中,当前位姿为当前状态下,目标对象相对于采集装置的位姿参数,可用于表征目标对象与采集装置的位置关系。具体地,位姿参数可包括目标对象与采集装置的相对距离和相对角度中的至少一个,可以包括目标对象的局部坐标系与相机坐标系之间的旋转矩阵、平移矩阵、变换矩阵等,还可以包括目标对象相对于采集装置的姿态角,例如偏航角、俯仰角、滚动角等。

具体地,当前位姿可用于表征目标对象的关键点相对于采集装置的位姿参数。其中,关键点可以是预先设定的目标对象的一个或多个位置。例如,当目标对象为真人模特的整体时,关键点可以是真人模特的眼睛,可以将真人模特双眼之间的中心点相对于采集装置的位姿参数作为当前位姿。

作为一种方式,可以根据用户输入的指定数据确定目标对象的关键点,其中,指定数据为预设的用于确定关键点的位置的数据。例如,可以将用户的身高作为指定数据,将用户身高的一半高度所对应的中心位置作为目标对象的关键点的位置。

作为另一种方式,可以通过图像检测算法确定目标对象的关键点。其中,根据建模目标的不同,关键点可以是目标用户的眼睛、面部中心点、肢体部位等,关键点也可以是基于预设规则选取部分或者全部关键点所得到的中心点。可选地,也可以预先将若干标志物粘贴在目标对象的预设关键点上,通过检测标志物以确定目标对象的关键点。

在一些实施方式中,可以根据可移动装置的位置信息来确定目标对象相对于采集装置的当前位姿。由于目标对象是位于可移动装置上的,可移动装置是可被处理器控制移动的,可以获取到可移动装置在空间坐标系中实时的位置信息,进而得到可移动装置相对于采集装置的位姿参数。其中,可移动装置的位置信息可以通过可移动装置的惯性测量单元或者定位装置等获取。通过可移动装置的位置信息来确定目标对象的当前位姿,可以不用实时地对目标对象的位置进行检测或者识别,减少了当前位姿所需的计算量。

作为一种方式,可以获取可移动装置相对于采集装置的位姿参数,和目标对象与可移动装置之间的相对位姿,从而确定目标对象相对于采集装置的当前位姿。目标对象与可移动装置之间的相对位姿可以是预先设定的值,也可以是实时地进行检测以获取的。例如,可以根据多个真人模特平均身高获取一个相对位置的默认值,也可以通过对目标用户和可移动装置进行图像检测、获取传感器数据等方式来实时地进行检测。

作为另一种方式,可以将可移动装置相对于采集装置的位姿参数,作为目标对象相对于采集装置的当前位姿,从而无需考虑目标对象与可移动装置之间的相对位姿,在一些对采集精度要求不高的情况下可以简化采集过程中确定目标对象相对于采集装置的位姿参数,从而减少计算量,提高效率。

在一些实施方式中,可以通过采集装置采集包含目标对象的图像,根据图像确定目标对象相对于采集装置的当前位姿。具体地,可以预先对相机进行标定以获取相机的内参数,通过识别图像中已知的参照物信息,确定目标对象相对于采集装置的当前位姿,也就是求解该图像对应的相机外参数的过程。其中,参照物信息可以是目标对象的参考部位的尺寸信息,也可以是采集装置视野中的其他已知参照物信息。例如,可以预先获取目标对象的身高,通过在图像中检测目标对象的身高,从而获取在相机坐标系下目标对象相对于采集装置的当前位姿,其中,相机坐标系是以采集装置为原点的坐标系。例如,可以对图像进行检测,通过PnP算法(pespective-n-point)获取目标对象相对于采集装置的当前位姿。通过这种方式,可以获取较为准确的位姿参数,并且采集装置的相机位姿可以实时地改变,采集灵活性更好。

作为一种方式,在获取目标对象相对于采集装置的当前位姿之前,可以预先对采集装置进行相机标定,以获取采集装置的相机参数,其中相机参数可以包括内参数和相机相对于标定物的外参数等,相机外参数可用于表征采集装置相对于标定物的位姿参数,当采集装置包括多个相机时,还可以获取各个相机之间的相对外参数。通过这种方式,可以校正相机的镜头畸变,获取相机与空间坐标系之间的位置关系,从而更加准确地获取采集装置与目标对象的位置关系,其中,空间坐标系是用于表征真实世界的绝对坐标系。当存在多个相机时,也可以将各个相机的数据统一到一个坐标系下,从而实现多个相机共同进行采集。

在一些实施方式中,采集装置可以包括多个相机,可以通过标定物对每个相机进行相机标定,以获取每个相机相对于标定物的外参数,通过获取目标对象相对标定物的位姿信息,根据位姿信息和外参数,获取目标对象相对于每个相机的多个当前位姿。可选地,标定物的位置可以是可移动装置的预设初始位置,也可以是当前场景中的其他预设位置,还可以是在多个相机中设定的基准相机位置。

其中,多个相机的排列方式可以根据建模目标预先设定,具体地,多个相机可以分布在水平面上,围绕目标对象进行设置,多个相机也可以分布在竖直面上,以采集平视图像、俯视图像、仰视图像等,在此不做限定。例如,当需要获取三维数字人的数据时,多个相机可以将目标对象360度包围环绕。又如,当需要获取仿真数字人的数据时,多个相机可以将目标对象180度环绕,即所有的相机都位于目标对象的一侧。可选地,多个相机可以在空间中呈均匀分布,也可以根据不同的建模目标,在指定区域高密度分布,在其他区域内低密度分布,其中指定区域的相机用于采集局部重要特征,即对图像质量要求较高的区域。

作为一种方式,可以每个相机进行相机标定,以获取每个相机相对于标定物的相机参数,其中,相机参数可以包括外参数和内参数。例如,可以通过张正友标定法或基于此方法的改进方法进行相机标定。可选地,当多个相机布置地相对稀疏,由多个相机采集得到的图像之间重合区域较少时,可以通过BA算法(Bundle Adjustment)来优化外参数的计算结果。进而,可以获取目标对象相对于每个相机的当前位姿。

作为一种方式,也可以在多个相机中确定基准相机,预先获取基准相机与其他相机之间的相对位姿,通过获取目标对象相对于基准相机的当前位姿,进而得到目标对象与其他相机之间的相对位姿。通过这种方式,可以减少对每个相机分别计算对应的目标对象的当前位姿的数据量。

可以理解的是,多个相机的排列方式是可变的,相机的位姿可以是固定的,也可以是可变的,在需要采集一定位姿参数对应的图像时,相机数量越多,每个相机所需要采集的图像数量越少,采集所需的时间越少,采集效率越高。

S220:获取目标对象相对于采集装置的目标预设位姿。

其中,目标预设位姿为预先设定的目标对象相对于采集装置的位姿参数,用于表征期望采集图像所对应的目标对象与采集装置的位置关系,即期望在目标对象与采集装置的位置关系满足目标预设位姿时,采集包含目标对象的图像。在实际应用中,根据不同的建模目标,目标预设位姿可以是一个预设位姿,也可以包括多个预设位姿。

在一些实施方式中,当采集装置中包括多个相机时,目标预设位姿可以包括多个预设位姿。

作为一种方式,目标预设位姿可以是目标对象相对于每一个相机的位姿参数所组成的多个预设位姿。可选地,目标预设位姿还可以包括采集装置中相机标号以及该相机对应的预设位姿。即,期望通过该相机标号对应的相机,采集预设位姿对应的图像。通过这种方式,可以控制采集装置中部分相机进行工作。

作为另一种方式,目标预设位姿可以是目标对象相对于基准相机的位姿参数,具体地,可以在多个相机中确定基准相机,根据期望获取的位姿参数,预先设置基准相机与其他相机之间的相对位姿,以及目标对象相对于基准相机的位姿参数。通过这种方式,当目标对象与基准相机满足目标预设位姿时,目标对象与其他相机之间的相对位姿也满足期望获取的位姿参数,从而可以减少所需预先设置的目标预设位姿的数量,并节省计算目标对象分别与多个相机之间的位姿参数所需的算力。

在一些实施方式中,可以在多个预设位姿中,确定当前位姿相对于每个预设位姿的相对位姿变化,相对位姿变化包括相对位置变化和相对角度变化中至少一个;根据相对位姿变化在多个预设位姿中确定目标预设位姿。具体地,请参见后续实施例。

S230:根据目标预设位姿和当前位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的可移动装置的移动参数。

其中,移动参数用于控制可移动装置移动,以将目标对象由当前位姿移动至目标预设位姿。移动参数可以包括用于控制可移动装置在空间中移动的位移参数,以及用于控制可移动装置旋转的旋转参数中至少一个。其中,位移参数可以包括水平面上的水平位移参数和垂直面上的垂直位移参数中的至少一个。

在一些实施方式中,可以根据目标预设位姿和当前位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的相对位姿变化,进而根据相对位姿变化确定可移动装置的移动参数。其中,相对位姿变化包括相对位置变化和相对角度变化中至少一个,移动参数可以包括移动距离、移动方向、旋转角度中的至少一个。可选地,移动参数也可以包括移动速度等参数。

具体地,作为一种方式,由于目标预设位姿和当前位姿都是目标对象相对于采集装置的位姿参数,可以在相机坐标系中确定目标对象由当前位姿变化至目标预设位姿对应的相对位姿变化,通过获取采集装置在空间坐标系中的位置,可以确定空间坐标系与相机坐标系之间的坐标转换关系。基于坐标转换关系,可以确定目标对象在空间坐标系中的相对位姿变化,根据目标对象与可移动装置的相对位置,进一步地确定可移动装置的移动参数。

在一些实施方式中,可以根据采集装置与可移动装置的预设位置的位置关系,获取空间坐标系与相机坐标系的变换关系,其中,空间坐标系为以预设位置为原点的坐标系,相机坐标系为以采集装置的位置为原点的标系;基于变换关系,在空间坐标系中确定目标对象由当前位姿变化至目标预设位姿的第一相对位姿变化;根据第一相对位姿变化,确定可移动装置对应的移动参数。具体地,请参见后续实施例。

在一些实施方式中,目标预设位姿包括多个预设位姿,根据多个预设位姿确定多个位置点;根据多个位置点和当前位姿,确定可移动装置经过所有位置点的移动路径对应的移动参数;基于移动参数控制可移动装置移动;当可移动装置位于每个位置点时,控制采集装置采集包含目标对象的图像。具体地,请参见后续实施例。

S240:基于移动参数控制可移动装置移动。

在获取移动参数后,可以基于移动参数控制可移动装置移动,以使目标对象相对于所述采集装置的位姿满足所述目标预设位姿。

在一些实施方式中,可以通过导航系统,基于移动参数控制可移动装置移动。其中,导航系统可以是惯性导航系统、视觉导航系统、结合惯性导航和视觉导航两种方式的导航系统等,在此不作限定。具体地,惯性导航系统应用惯性元件(例如,加速度计)来测量可移动装置的加速度,经过积分运算得到速度和位置,从而达到对可移动装置导航定位的目的。视觉导航可以在地面上利用颜色反差较大的色带对可移动装置的行驶路径进行规划,可移动装置可以通过摄像头实时采集图像并对图像进行处理,以实现对可移动装置的导航。

在一些实施方式中,在基于移动参数控制可移动装置移动后,可以控制采集装置采集包含目标对象的图像,通过对图像中的目标对象进行位姿检测,判断目标对象相对于采集装置的当前位姿是否满足目标预设位姿,若是,则停止移动,若否,则可以根据移动后目标对象的当前位姿以及目标预设位姿控制可移动装置再次移动,直至目标对象相对于所述采集装置的位姿满足所述目标预设位姿。通过这种方式可以获取得到预设位姿所对应的准确的图像,以提高采集图像的质量。

可以理解的是,在实际应用中,可能由于目标对象相对于可移动装置的相对位姿在移动过程中发生改变,导致按照获取的移动参数无法将目标对象移动至目标预设位姿,通过再次检测。例如,在检测真人模特的当前位姿时,真人模特是正面朝前的,而在移动过程中,真人模特略微低头,导致在移动后目标对象并不满足预设位姿。

S250:控制采集装置采集包含目标对象的图像。

控制采集装置采集包含目标对象的图像,以使采集得到的图像中的目标对象相对于采集装置位姿参数满足预设位姿。在采集得到包含目标对象的图像后,可以存储每个图像和该图像对应的预设位姿。可以理解的是,可以是在可移动装置移动结束后进行采集,也可以是在可移动装置移动过程中进行采集。可选地,还可以存储每个图像对应的采集装置中的相机标识和可移动装置的位置,从而在图像不符合建模目标的要求,或者其他需要补拍的情况下,可以更为便捷地重新进行采集。

在一些实施方式中,在采集图像前,可以根据建模目标,预先设定采集装置的各种拍摄参数。其中,拍摄参数可以包括快门、光圈、感光度、白平衡、测光模式、画质参数等。通过这种方式可以使每个相机采集得到的多个图像的拍摄参数保持一致,以符合工业标准化的需要。

在一些实施方式中,可移动装置移动过程可以控制采集装置持续地采集包含目标对象的视频,通过这种方式获取包含目标对象的多帧图像,可以理解的是,可移动装置移动的过程中,目标对象相对于采集装置的位姿参数一直发生改变,采集得到的多帧图像对应的位姿参数也是不同的。通过这种方式不仅可以获取得到目标预设位姿对应的图像,还可以得到与预设位姿相关的多张图像,从而为后续建模工作提供了丰富的图像数据。例如,当前位姿为目标对象距离采集装置8米,预设位姿为目标对象距离采集装置5米,通过获取将可移动装置移动至预设位姿的过程,可以获取目标对象相对于采集装置由8米逐渐变为5米的多张图像,丰富了后续建模的数据。

可以理解的是,当采集装置包括多个相机时,每个相机的参数都是可以单独进行设定的,每个相机也都可以单独地采集图像,并非所有相机都必须同时处于工作状态。因此,在采集图像时可以根据需要获取的预设位姿,设定进行采集的相机,而并非采集装置所有的相机都进行图像采集。通过这种方式,可以在获取预设位姿对应的图像的同时,减少采集得到的图像数量,从而减少将图像用于建模时数据清洗所需时间。

在一些实施方式中,可以控制采集装置采集包含目标对象多张图像。当目标对象是真人模特时,即在目标对象相对于采集装置满足预设位姿时,可以该预设位姿下目标对象的不同姿态的多张图像,其中,姿态信息包括表情、动作、嘴型等目标对象的外在表现的信息。可选地,还可以通过声音采集装置采集目标对象的语音信息,例如,可以获取目标对象说出预设的台词时的语音,从而获取多模态的目标对象的数据。例如,在建立数字人模型时,常常需要获取真人模特不同表情、动作、嘴型的图像,以建立如同真人般的数字人。

在一些实施方式中,在采集包含目标对象的图像之后,还可以将图像和预设位姿输入预设的机器学习模型进行训练,以得到训练后的数字人生成模型,数字人生成模型用于生成目标对象对应的数字人。

具体地,目标对象为真人用户时,可以将采集得到包含目标对象的多张图像,和每一张图像对应的目标对象相对于采集装置的位姿参数作为样本数据,根据样本数据训练机器学习模型,以得到训练后的数字人生成模型。训练后的数字人生成模型,可用于生成目标对象对应的数字人,该数字人可以是二维的仿真数字人,也可以是三维数字人,在此不做限定。

可以理解的是,根据不同的建模目标采集得到的包含目标对象的图像,可以用于生成该建模目标对应的模型。也可以分别对真人用户的肢体动作、表情、体貌特征、服装配饰等进行建模,分别得到建模目标对应的不同的模型,通过对不同的模型进行组合得到数字人生成模型。需要注意的是,本申请实施例采集得到的图像,也可用于对物体等进行建模。

在一些实施方式中,还可以检测图像是否满足至少一个预设条件;若是,则控制采集装置重新采集包含目标对象的图像。可选地,可以将满足预设条件的图像删除,或者使用重新采集得到的图像替换之前的图像,从而避免获取到大量无用的图像所需的数据清洗。

其中,预设条件用于表征不符合建模目标的条件,即无法应用于后续建模工程的图像,预设条件可以是根据建模目标所设定的,不同的建模目标对应的预设条件可以是相同的,也可以是不同的。预设条件包括图像的清晰度阈值、目标对象在图像中占据的像素比例阈值,以及图像的亮度值小于第三预设阈值中的至少一种。具体地,可以通过Brenner梯度方法、Tenengrad梯度方法、Laplacian梯度方法和方差方法等方式对图像进行清晰度检测;可以通过目标检测算法识别目标对象在图像中的像素比例;可以通过计算灰度图的均值和方差,就可检测图像是否存在过曝光或曝光不足。可以理解的是,预设条件也可以是上述条件中任意两种,或者三种的结合,在此不做限定。

作为一种方式,可以在每一次采集图像后,进行检测图像是否满足至少一个预设条件,若是,则控制采集装置重新采集。若采集得到的图像满足不满足预设条件,即符合建模目标,则可以控制可移动装置移动,以获取其它位姿参数对应的图像。通过这种方式,可以保证每次采集得到的图像满足建模目标后,才进行移动,避免重新计算预设位姿对应的可移动装置的位置。

作为另一种方式,在需要采集多组参数对应的多个图像时,也可以在可移动装置移动多次后,对采集得到的多张图像进行检测。具体地,可以在记录每个图像对应的位姿参数,对采集得到的多张图像进行检测,确定所有的需要重新采集的图像后,根据该图像对应的位姿参数控制可移动装置移动,来重新进行采集。可选地,还可以记录每个图像对应的相机标识,以及可移动装置的位置,从而避免重新计算预设位姿对应的可移动装置的位置。通过这种方式,可以减少每次采集后等待检测的时间,提高采集效率。

本实施例提供的图像采集方法,获取目标对象相对于采集装置的当前位姿,其中,目标对象位于可移动装置上;获取目标对象相对于采集装置的目标预设位姿;根据目标预设位姿和当前位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的可移动装置的移动参数;基于移动参数控制可移动装置移动,以使目标对象相对于采集装置的位姿满足目标预设位姿;控制采集装置采集包含目标对象的图像。从而可以自动地控制可移动装置进行移动,以采集目标对象的预设位姿对应的图像,降低了图像采集的时间成本和人力成本,提升了图像采集的效率。

请参阅图4,图4示出了本申请一个实施例提供的图像采集方法的流程示意图,该方法应用于上述图像采集系统,具体地,本申请实施例的方法的执行主体是处理器。该方法包括:S310至S360。

S310:获取目标对象相对于采集装置的当前位姿。

S320:在多个预设位姿中,确定当前位姿相对于每个预设位姿的相对位姿变化。

其中,多个预设位姿为预先设定的多个位姿参数,用于表征期望获取的图像中目标对象相对于采集图像的相机的位姿参数,即期望当目标对象相对于采集装置的位姿满足该参数时,获取采集装置采集得到的图像。多个预设位姿可以包括目标对象与采集装置之间的多个相对距离和多个相对角度对应的位姿参数。在一些实施方式中,数据库中可存储有多个位姿参数,以及建模目标对应的多个位姿参数,不同的建模目标可对应有不同的位姿参数。可以根据建模目标,在数据库中的多个位姿参数中确定建模目标对应的多个预设位姿。

可以根据预设位姿,确定当前位姿相对于每个预设位姿的相对位姿变化,相对位姿变化包括相对位置变化和相对角度变化中的至少一个。相对位置变化用于表征由当前位姿变化至预设位姿的位移,相对角度变化用于表征由当前位姿变化至预设位姿的旋转角度。例如,可以利用李代数空间表征当前位姿和多组预设位姿中的每个预设位姿,从而确定当前位姿相对于每个预设位姿的相对位姿变化。

S330:根据相对位姿变化在多个预设位姿中确定目标预设位姿。

其中,多个预设位姿可以包括相对位置变化和相对角度变化中至少一个。在一些实施方式中,可以设置变化阈值,将小于该变化阈值的预设位姿作为目标预设位姿。作为一种方式,可以根据相对角度变化,由多个预设位姿中确定目标预设位姿。例如,可以确定预设的角度阈值,将小于该角度阈值的预设位姿作为目标预设位姿。作为另一种方式,可以根据相对位置变化,由多个预设位姿中确定目标预设位姿。其中,相对位置变化可以包括移动距离和移动方向。例如,可以确定预设的距离阈值,将移动距离小于该距离阈值的预设位姿作为目标预设位姿。

在又一些实施方式中,也可以将最小的相对位姿变化对应的预设位姿作为目标预设位姿。作为一种方式,可以将最小的相对位置变化对应的预设位姿作为目标预设位姿。具体地,请参见后续实施例。

S340:根据目标预设位姿和当前位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的可移动装置的移动参数。

S350:基于移动参数控制可移动装置移动,以使目标对象相对于采集装置的位姿满足目标预设位姿。

S360:控制采集装置采集包含目标对象的图像。

需要说明的是,本实施例中未详细描述的部分可以参考前述实施例,在此不再赘述。

本实施例提供的图像采集方法,获取目标对象相对于采集装置的当前位姿,其中,目标对象位于可移动装置上;在多个预设位姿中,确定当前位姿相对于每个预设位姿的相对位姿变化,相对位姿变化包括相对位置变化和相对角度变化中至少一个;根据相对位姿变化在多个预设位姿中确定目标预设位姿;根据目标预设位姿和当前位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的可移动装置的移动参数;基于移动参数控制可移动装置移动,以使目标对象相对于采集装置的位姿满足目标预设位姿;控制采集装置采集包含目标对象的图像。通过这种方式,可以从多个预设位姿中,根据相对位姿变化确定目标预设位姿,从而使获取的图像符合建模目标的需求,并减少移动可移动装置所需的功耗。

请参阅图5,图5示出了本申请一个实施例提供的图像采集方法的流程示意图,该方法应用于上述图像采集系统,具体地,本申请实施例的方法的执行主体是处理器。该方法包括:S410至S460。

S410:获取目标对象相对于采集装置的当前位姿。

S420:在多个预设位姿中,确定当前位姿相对于每个预设位姿的相对位姿变化。

S430:将最小的相对位置变化对应的预设位姿作为目标预设位姿。

其中,相对位姿变化包括相对位置变化,在获取到当前位姿相对于每个预设位姿的相对位姿变化时,可以根据相对位姿变化确定相对位置变化,即由当前位姿移动到每个预设位姿时所需的位移距离。通过将最小相对位置变化对应的预设位姿作为目标预设位姿,可以在多个预设位姿参数中确定需要可移动装置位移距离最小的位姿参数,进而可以减少移动可移动装置所需的功耗。

S440:根据目标预设位姿和当前位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的可移动装置的移动参数。

S450:基于移动参数控制可移动装置移动,以使目标对象相对于采集装置的位姿满足目标预设位姿。

S460:控制采集装置采集包含目标对象的图像。

在一些实施方式中,在S460之后,还可以在多个预设位姿中将目标预设位姿标识为已获取;判断多个预设位姿中是否存在未标识的预设位姿;若是,则将未标识的预设位姿中与目标预设位姿的相对位置变化最小的预设位姿作为新的目标预设位姿,控制可移动装置移动至目标对象相对于采集装置为新的目标预设位姿时,控制采集装置采集包含目标对象的图像。

当多个预设位姿均为需要进行采集的图像对应的位姿参数时,可以对多个预设位姿进行标识,标识用于表征是否已获取该预设位姿对应的图像。具体地,可以将已经采集得到的图像所对应的预设位姿标识为已获取,当多个预设位姿中存在尚未获取的预设位姿时,可以根据上次采集包含目标对象的图像时的预设位姿作为新的当前位姿,在未标识的参数中确定新的预设位姿,其中,新的预设位姿为未标识的多个预设位姿中与预设位姿的相对距离最小的预设位姿。然后,可以获取将目标对象移动至新的预设位姿所对应的可移动装置的移动参数,根据移动参数控制可移动装置移动,并当目标对象位于新的预设位姿时,获取采集装置采集包含目标对象的图像。重复上述过程,直至采集装置采集得到所有的预设位姿对应的图像后,停止采集。通过这种方式,可以获取到期望采集的多个预设位姿所对应的图片,避免了人为拍摄遗漏某些预设位姿对应的图像而导致的反复拍摄,进而提高了采集效率。

在一些实施方式中,可以根据多个预设位姿将当前空间划分为不同的区域,每一个区域对应有至少一个预设位姿,可移动装置分别在各个区域内进行移动,以获取每个区域内对应的预设位姿。当检测到该区域内所有预设位姿对应的图像都被采集后,再移动至下一个区域。通过这种方式,可以减少由于某些位置周围未采集的预设位姿后,再反复移动进行采集的过程,从而提高采集效率。

需要说明的是,本实施例中未详细描述的部分可以参考前述实施例,在此不再赘述。

本实施例提供的图像采集方法,获取目标对象相对于采集装置的当前位姿,其中,目标对象位于可移动装置上;在多个预设位姿中,确定当前位姿相对于每个预设位姿的相对位姿变化;相对位姿变化包括所述相对位置变化,将最小的相对位置变化对应的预设位姿作为目标预设位姿;根据目标预设位姿和当前位姿,确定将目标对象由当前位姿变化至目标预设位姿对应的可移动装置的移动参数;基于移动参数控制可移动装置移动,以使目标对象相对于采集装置的位姿满足目标预设位姿;控制采集装置采集包含目标对象的图像。从而,可以将可移动装置移动至相对距离最近的预设位姿对应的位置,从而减少移动的功耗,进一步地提升图像采集的效率。

请参阅图6,图6示出了本申请一个实施例提供的图像采集方法的流程示意图,该方法应用于上述图像采集系统,具体地,本申请实施例的方法的执行主体是处理器。该方法包括:S510至S570。

S510:获取目标对象相对于采集装置的当前位姿。

S520:获取所述目标对象相对于所述采集装置的目标预设位姿。

S530:根据所述采集装置与所述可移动装置的预设位置的位置关系,获取空间坐标系与相机坐标系的变换关系。

其中,空间坐标系为以预设位置为原点的坐标系,相机坐标系为以采集装置为原点的标系。可移动装置的预设位置可以是空间中一个预设初始化设定的可移动装置的位置,在每次初始化图像采集系统时,可移动装置都可以先根据该位置进行位置校准,在确定可移动装置位于该预设位置后,再进行图像采集方法中后续步骤的处理和操作。

通过获取采集装置与可移动装置的预设位置的位置关系,可以获取可移动装置在空间坐标系中的位置坐标,进而,可以根据该位置坐标建立空间坐标系与相机坐标系的变换关系。由于空间坐标系和相机坐标都是右手坐标系,所以其不会发生形变,可以通过刚体变换的方式将空间坐标系中的坐标转换到相机坐标系中的坐标。具体地,可以获取相机坐标系变换为空间坐标系对应的平移矩阵和旋转矩阵,根据平移矩阵和旋转矩阵确定空间坐标系与相机坐标系的变换关系。

S540:基于所述变换关系,在所述空间坐标系中确定所述目标对象由所述当前位姿变化至所述目标预设位姿的第一相对位姿变化。

基于变换关系,可以获取相机坐标系中的位置坐标对应的空间坐标系中的位置坐标,由于当前位姿为目标对象相对于采集装置的位姿参数,预设位姿也是目标对象相对于采集装置的位姿参数,可以基于变换关系,获取当前位姿和预设位姿分别对应的位置坐标,进而根据该位置坐标,在空间坐标系中确定目标对象由当前位姿变化到预设位姿的第一相对位姿变化。其中,第一相对位姿变化可以是位移变化,位移变化可包括移动距离和移动方向,可选地,第一相对位姿变化还可以包括角度变化。

S550:根据所述第一相对位姿变化,确定所述可移动装置对应的所述移动参数。

其中,第一相对位姿变化可以用于表征目标对象在空间坐标系中的位姿变化,由于空间坐标系是以可移动装置的预设位置为原点的坐标系,因此可以根据第一相对位姿变化,在空间坐标系中确定将目标对象由当前位姿变化至预设位姿对应的可移动装置的运动信息,进而根据运动信息确定可移动装置的移动参数。其中,运动信息可以包括距离信息、方向信息、角度信息中至少一个,相应地,移动参数可以包括移动距离、移动方向、旋转角度中的至少一个。可选地,移动参数也可以包括移动速度等参数。

S560:基于所述移动参数控制所述可移动装置移动。

S570:控制所述采集装置采集包含所述目标对象的图像。

需要说明的是,本实施例中未详细描述的部分可以参考前述实施例,在此不再赘述。

本实施例提供的图像采集方法,获取目标对象相对于采集装置的当前位姿,获取所述目标对象相对于所述采集装置的目标预设位姿,根据所述采集装置与所述可移动装置的预设位置的位置关系,获取空间坐标系与相机坐标系的变换关系,基于所述变换关系,在所述空间坐标系中确定所述目标对象由所述当前位姿变化至所述目标预设位姿的第一相对位姿变化,根据所述第一相对位姿变化,确定所述可移动装置对应的所述移动参数,基于所述移动参数控制所述可移动装置移动,控制所述采集装置采集包含所述目标对象的图像。通过这种方式,可以确定目标对象在真实的空间坐标系中的相对位姿变化,进而确定可移动装置对应的移动参数,运算简单,易于实现。

请参阅图7,图7示出了本申请一个实施例提供的图像采集方法的流程示意图,该方法应用于上述图像采集系统,具体地,本申请实施例的方法的执行主体是处理器。该方法包括:S610至S690。

S610:获取目标对象相对于采集装置的当前位姿。

S620:获取目标对象相对于采集装置的目标预设位姿。

S630:根据采集装置与可移动装置的预设位置的位置关系,获取空间坐标系与相机坐标系的变换关系。

S640:基于变换关系,在空间坐标系中确定目标对象由当前位姿变化到目标预设位姿的第一相对位姿变化。

S650:获取目标对象与可移动装置之间的相对位姿。

其中,相对位姿可以包括相对位置和相对角度。相对位置可用于表征目标对象与可移动装置之间的相对高度,相对角度可用于表征目标对象相对于可移动装置的基准角度之间的角度。可选地,相对位姿可以是目标对象的关键点相对于可移动装置的位姿参数。

具体地,目标对象与可移动装置之间的相对位置和相对角度可以通过实时地进行检测获取,也可以根据用户输入的信息获取。例如,可以通过采集包含目标对象的图像,获取包含目标对象位置信息的传感器数据、获取用户输入当前位置数据等方式获取当前状态下目标对象的位置信息。

在一些实施方式中,可以预先设置一个基准角度,以使目标对象位于可移动装置时,目标对象与可移动装置之间的相对角度符合基准角度,从而目标对象的角度和可移动装置的角度可以保持一致,可以将可移动装置当前的角度作为目标对象的角度,不必实时地检测目标对象与可移动装置之间的相对角度。例如,可移动装置的承载面上可以设置有提醒用户站立方向的标识信息,该标识信息用于表征基准角度,当目标对象根据该标识信息站立时,目标对象与可移动装置之间的相对角度符合该基准角度。

S660:根据第一相对位姿变化和相对位姿,确定目标对象由当前位姿变化到目标预设位姿时,对应的可移动装置的第二相对位姿变化。

其中,第一相对位姿变化用于表征在空间坐标系中目标对象由当前位姿变化到预设位姿的位姿变化,根据目标对象与可移动装置之间的相对位姿,可以确定可以动装置的第二相对位姿变化。其中,第二相对位姿变化用于表征可移动装置由当前位姿对应的位置,移动至预设位姿对应的位姿时的位姿变化。也就是说,获取目标对象由当前位姿变化到目标预设位姿时,对应的可移动装置在空间坐标系中的位姿变化。

可以理解的是,预设位姿和当前位姿均为目标对象相对于采集装置的位姿参数,因此通过确定目标对象相对于可移动装置的相对位姿,可以更为精准地获取可移动装置在空间中的第二相对位姿变化。

在一些实施方式中,还可以获取可移动装置在空间坐标系中的移动范围,在确定第二相对位姿变化之后,可以判断第二相对位姿变化是否满足移动范围,在不满足时输出提示信息。

其中,移动范围用于表征采集装置对应的空间中的采集区域,即当可移动装置位于移动范围内时,目标对象位于采集区域内,采集装置可以获取到包含目标对象的图像。

作为一种方式,可以预先对空间坐标系中多个位置点采集图像,从而可以确定当移动装置位于各个位置点时,采集装置对应的成像视野。进而,可以根据目标对象与可移动装置之间的相对位置,可以确定可以获取到包含目标对象的图像的成像视野,从而确定可移动装置的移动范围。

作为另一种方式,也可以当目标对象位于可移动装置上时,根据预设的移动路径控制可移动装置移动,以获取采集装置对应的包含目标对象的成像视野,从而确定可移动装置的移动范围。

在获取第二相对位姿变化时,可以判断第二相对位姿是否满足移动范围,也就是判断目标对象满足预设位姿时对应的可移动装置的位置是否在移动范围内。若第二相对位姿变化满足移动范围,则可以执行步骤S570。若第二相对位姿不满足移动范围,则输出提示信息,以提醒该预设位姿无法被采集到。例如,目标对象为一个身高较矮的真人模特,在移动范围内控制移动装置移动,可能无法采集到真人模特的全身图像,可以提示无法采集的信息,通过垫高目标用户以获取预设位姿对应的图像。

S670:根据第二相对位姿变化,确定可移动装置对应的移动参数。

在一些实施方式中,移动参数可以包括用于控制可移动装置在空间中移动的位移参数。具体地,可以获取目标对象由当前位姿变化至预设位姿对应的相对位移,根据相对位移确定位移参数。具体地,可以根据第二相对位姿变化在水平面上的相对位移,确定水平位移参数,也可以根据第二相对位姿变化在垂直面上的相对位移,确定垂直位移参数,移动参数也可以包括水平面上的水平位移参数和垂直面上的垂直位移参数,从而控制可移动装置在三维空间中移动。

在一些实施方式中,可以根据第二相对位姿变化对应的角度变化,确定可移动装置对应的旋转参数。旋转参数可用于控制可移动装置转动的角度。可选地,可移动装置可以根据预设的角度步长进行转动,从而使得任意两个角度之间的夹角相等。

在一些实施方式中,移动参数也可以包括同时包括位移参数和旋转参数,从而既可以控制可移动装置移动,也可以控制可移动装置旋转,使得可移动装置的移动更为灵活,可以在较少相机数量的情况下,通过移动可移动装置,获取更多位姿对应的图像,提高了图像采集的效率。

S680:基于移动参数控制可移动装置移动。

S690:控制采集装置采集包含目标对象的图像。

需要说明的是,本实施例中未详细描述的部分可以参考前述实施例,在此不再赘述。

本实施例提供的图像采集方法,通过在空间坐标系中确定目标对象由当前位姿变化到预设位姿的第一相对位姿变化,在获取目标对象与可移动装置之间的相对位置之后,根据第一相对位姿变化和相对位位姿,确定目标对象由当前位姿变化到预设位姿时,对应的可移动装置的第二相对位姿变化,根据第二相对位姿变化,确定可移动装置对应的移动参数。从而可以更为准确地确定目标对象位于预设位姿时,可移动装置的位置,即使在目标对象与可移动装置之间的相对位姿发生变化时,也可以准确地获取包含目标对象预设位姿的图像。

请参阅图8,图8示出了本申请一个实施例提供的图像采集方法的流程示意图,该方法应用于上述图像采集系统,具体地,本申请实施例的方法的执行主体是处理器。该方法包括:S710至S760。

S710:获取目标对象相对于采集装置的当前位姿。

S720:获取目标对象相对于采集装置的目标预设位姿。

S730:根据多个预设位姿确定多个位置点。

其中,目标预设位姿包多个预设位姿,多个预设位姿是多个预先设置的目标对象相对于采集装置的位姿参数。根据不同的建模目标,目标预设位姿可以包括不同的多个位姿参数。具体地,可以预先获取空间内的位置点和位姿参数之间的映射关系,从而根据目标预设位姿中的多个预设位姿确定多个位置点。作为一种方式,可以获取目标对象与可移动装置的之间的相对位置,根据映射关系和相对位置确定多个位置点。

在一些实施方式中,获取位置点和位姿参数之间的映射关系可以通过以下方式来获取:预先对一个或多个位置点进行相机标定,以获取可移动装置位于每个位置点时,可移动装置相对于采集装置的位姿参数,其中,位置点是可移动装置可以移动到达的位置点。可以理解的是,由于空间中位置点是预先设定的,多个位置点之间的相对位置是已知的,所以可以根据空间中任意一个位置点相对于其他位置点的位置关系,计算得知每个位置点所对应的预设位姿,即上述映射关系。

S740:根据多个位置点和当前位姿,确定可移动装置由当前位姿经过所有位置点的移动路径对应的移动参数。

根据确定的多个位置点,和目标用户的当前位姿,可以基于路径规划算法确定可移动装置的移动路径,移动路径为可移动装置由当前位姿所对应的位置点经过所有位置点的路径,进而确定可移动装置的移动参数。其中,路径规划算法可以是图搜索法、RRT算法(Rapidly-Exploring Random Trees)、人工势场法等,在此不做限定。

在一些实施方式中,移动参数还可以包括可移动装置在每个位置点对应的停留时间,也就是说,可移动装置可以在移动至每个位置点时停留一段时间以使采集装置进行图像采集,避免了在移动过程中进行图像采集导致的图像模糊等情况,提高了采集得到的图像质量。

S750:基于移动参数控制可移动装置移动。

S760:当可移动装置位于每个位置点时,控制采集装置包含目标对象的图像。

在获取得到移动参数后,可以根据移动参数控制可移动装置移动,并在检测到可移动装置位于多个预设位姿对应的位置点时,控制采集装置采集图像。并将每个图像,和图像对应的位姿参数进行存储。

通过这种方式,可以根据预设位姿得到可移动装置经过所有位置点的移动路径,在可移动装置位于每个位置点时进行图像采集,以得到预设位姿对应的图像。而无需根据可移动装置当前的位置实时地计算下一个移动的位置,减少了实时计算的运算量,提高了采集效率,尤其适用于当目标对象为静态物体时进行采集。

需要说明的是,本实施例中未详细描述的部分可以参考前述实施例,在此不再赘述。

本实施例提供的图像采集方法,通过获取目标对象相对于采集装置的当前位姿和预设位姿,根据多组参数确定多个位置点,根据多个位置点和当前位姿,确定可移动装置由当前位姿经过所有位置点的移动路径对应的移动参数,基于移动参数控制可移动装置移动,控制采集装置采集移动装置位于每个所述位置点时目标对象的图像。通过根据多组参数确定多个位置点,可以控制可移动装置按照经过所有位置点的移动路径进行移动,从而不需要每次移动后实时地计算下一次移动的位置,可以提高图像的采集效率。

可以理解的是,上述示例仅为本申请实施例提供的方法在一种具体场景进行应用的示意性说明,并不对本申请实施例构成限定。基于本申请实施例提供的方法还可实现更多不同的应用。

请参阅图9,图9示出了本申请实施例提供的图像采集装置800的结构框图,该图像采集装置800包括:当前位姿获取模块810,预设位姿获取模块820,移动参数确定模块830、移动模块840以及采集模块850,其中:

当前位姿获取模块810,用于获取目标对象相对于采集装置的当前位姿,其中,所述目标对象位于可移动装置上;预设位姿获取模块820,用于获取所述目标对象相对于所述采集装置的目标预设位姿;移动参数确定模块830,用于根据所述目标预设位姿和所述当前位姿,确定将所述目标对象由所述当前位姿变化至所述目标预设位姿对应的所述可移动装置的移动参数;移动模块840,用于基于所述移动参数控制所述可移动装置移动,以使所述目标对象相对于所述采集装置的位姿满足所述目标预设位姿;采集模块850,用于控制所述采集装置采集包含所述目标对象的图像。

进一步地,所述预设位姿获取模块820包括位姿变化确定子模块和目标预设位姿确定子模块,其中,所述位姿变化确定子模块用于在多个预设位姿中,确定所述当前位姿相对于每个所述预设位姿的相对位姿变化,所述相对位姿变化包括相对位置变化和相对角度变化中至少一个,所述目标预设位姿确定子模块用于根据所述相对位姿变化在所述多个预设位姿中确定所述目标预设位姿。

进一步地,所述目标预设位姿确定子模块包括最小预设位姿确定单元,其中,所述最小预设位姿确定单元,用于将所述最小的相对位置变化对应的所述预设位姿作为所述目标预设位姿。

进一步地,在所述控制所述采集装置采集包含所述目标对象的图像之后,所述图像采集装置还包括:标识模块、参数判断模块以及参数更新模块,其中,标识模块,用于在所述多个预设位姿中将所述目标预设位姿标识为已获取;参数判断模块,用于判断所述多个预设位姿中是否存在未标识的预设位姿;参数更新模块,用于若是,则将所述未标识的预设位姿中与所述目标预设位姿的相对位置变化最小的预设位姿作为新的目标预设位姿,控制所述可移动装置移动至所述目标对象相对于所述采集装置为所述新的目标预设位姿时,控制所述采集装置采集包含所述目标对象的图像。

进一步地,所述移动参数确定模块830包括变换关系获取子模块、第一相对位姿确定子模块和第一参数确定子模块,其中,所述变换关系获取子模块,用于根据所述采集装置与所述可移动装置的预设位置的位置关系,获取空间坐标系与相机坐标系的变换关系,其中,所述空间坐标系为以所述预设位置为原点的坐标系,所述相机坐标系为以所述采集装置的位置为原点的标系,所述第一相对位姿确定子模块,用于基于所述变换关系,在所述空间坐标系中确定所述目标对象由所述当前位姿变化至所述目标预设位姿的第一相对位姿变化,所述第一参数确定子模块,用于,根据所述第一相对位姿变化,确定所述可移动装置对应的所述移动参数。

进一步地,所述移动参数确定子模块包括相对位姿获取单元,第二相对位姿确定单元,第二参数确定单元,其中,相对位姿获取单元,用于获取所述目标对象与所述可移动装置之间的相对位姿;第二相对位姿确定单元,用于根据所述第一相对位姿变化和所述相对位姿,确定所述目标对象由所述当前位姿变化到所述目标预设位姿时,对应的所述可移动装置的第二相对位姿变化;第二参数确定单元,用于根据所述第二相对位姿变化,确定所述可移动装置对应的所述移动参数。

进一步地,移动参数包括水平面上的水平位移参数和垂直面上的垂直位移参数,所述第二参数确定单元包括水平位移参数确定子单元和垂直位移参数确定子单元,其中,水平位移参数确定子单元,用于根据所述第二相对位姿变化在所述水平面上的相对位置变化,确定水平位移参数;垂直位移参数确定子单元,用于根据所述第二相对位姿变化在所述垂直面上的相对位置变化,确定垂直位移参数。

进一步地,所述移动参数包括旋转参数,所述第二参数确定单元包括旋转参数确定子单元,其中,旋转参数确定子单元用于根据所述第二相对位姿变化对应的角度变化,确定所述可移动装置对应的旋转参数。

进一步地,在所述根据所述第一相对位姿变化和所述相对位姿,确定所述目标对象由所述当前位姿变化到所述目标预设位姿时,对应的所述可移动装置的第二相对位姿变化之后,所述图像采集装置还包括移动范围获取模块,以及提示模块,其中,移动范围获取模块,用于获取所述可移动装置在所述空间坐标系中的移动范围;提示模块,用于若所述第二相对位姿变化不满足所述移动范围,则输出提示信息。

进一步地,所述目标预设位姿包括所述多个预设位姿,所述移动参数确定模块830,包括位置点确定子模块,移动路径确定子模块,所述采集模块850包括位置点采集子模块,其中,所述位置点确定子模块,根据所述多个预设位姿确定多个位置点;所述移动路径确定子模块,用于根据所述多个位置点和所述当前位姿,确定所述可移动装置经过所有所述位置点的移动路径对应的所述移动参数;所述位置点采集子模块,用于当所述可移动装置位于每个所述位置点时,控制所述采集装置采集包含所述目标对象的图像。

进一步地,所述采集装置包括多个相机,所述当前位姿获取模块810包括标定子模块,相对位姿获取子模块,以及当前位姿获取子模块,其中,所述标定子模块用于通过标定物对每个相机进行相机标定,以获取每个所述相机相对于所述标定物的外参数;所述相对位姿获取子模块,用于获取所述目标对象相对所述标定物的位姿信息;所述当前位姿获取子模块,用于根据所述位姿信息和所述外参数,获取所述目标对象相对于所述每个相机的多个所述当前位姿。

进一步地,所述目标对象为真人用户,在所述控制所述采集装置采集包含所述目标对象的图像之后,所述图像采集装置还包括训练模块,其中,所述训练模块,用于将所述图像和所述目标预设位姿输入预设的机器学习模型进行训练,以得到训练后的数字人生成模型,所述数字人生成模型用于生成所述目标对象对应的数字人。

所属领域的技术人员可以清楚地了解到,本申请实施例提供的基于知识图谱的数据处理装置能够实现前述方法实施例中的各个过程,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参阅前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的实施例中,所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

另外,在本申请实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

请参考图10,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备900可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备900可以包括一个或多个如下部件:处理器910、存储器920以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器920中并被配置为由一个或多个处理器910执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器910可以包括一个或者多个处理核。处理器910利用各种接口和线路连接整个电子设备900内的各个部分,通过运行或执行存储在存储器920内的指令、程序、代码集或指令集,以及调用存储在存储器920内的数据,执行电子设备900的各种功能和处理数据。可选地,处理器910可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器910可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器910中,单独通过一块通信芯片进行实现。

存储器920可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器920可用于存储指令、程序、代码、代码集或指令集。存储器920可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备900在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图11,其示出了本申请实施例提供的一种计算机可读取存储介质的结构框图。该计算机可读取存储介质1000中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读取存储介质1000可以是诸如闪存、电可擦除可编程只读存储器(electrically-erasable programmable read-only memory,EEPROM)、可擦除可编程只读存储器(erasable programmable read only memory,EPROM)、硬盘或者ROM之类的电子存储器。可选地,计算机可读取存储介质1400包括非易失性计算机可读介质(non-transitorycomputer-readable storage medium)。计算机可读取存储介质1000具有执行上述方法中的任何方法步骤的程序代码1010的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1010可以例如以适当形式进行压缩。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

相关技术
  • 图像采集方法、装置、控制装置、计算机设备、可读存储介质、图像采集设备和远程驾驶系统
  • 图像传感器、摄像装置、图像采集方法、装置及存储介质
技术分类

06120112805079