掌桥专利:专业的专利平台
掌桥专利
首页

三维包围框定标识的生成方法和装置,及计算机存储介质

文献发布时间:2023-06-19 12:24:27


三维包围框定标识的生成方法和装置,及计算机存储介质

技术领域

本申请涉及图像识别领域,尤其涉及一种三维包围框定标识的生成方法和装置,及计算机存储介质。

背景技术

在增强现实(Augmented Reality,AR)领域,三维物体识别是一种常用的物体识别技术。在三维物体识别中,需要先通过扫描物体获取相关数据(包括深度图、RGB图、扫描设备的内外参等数据),然后对该数据进行训练重建出特征库,进而用于后续的物体识别和位姿估计。

其中,在进行物体扫描时,需要先将物体放置于一个背景干净的平面上,并且为了排除背景的干扰,以更为精确的实现对物体的重建,还需要在扫描开始之前先框定目标物体,确定出物体的三维空间包围盒。

然而,相关技术普遍采用手动框定物体以生成包围盒,存在物体框定精确性较差的问题,从而使得物体的包围盒偏差较大。

发明内容

为解决上述技术问题,本申请实施例期望提供一种三维包围框定标识的生成方法和装置,及计算机存储介质。

本申请的技术方案是这样实现的:

本申请实施例提供了一种三维包围框定标识的生成方法,所述方法包括:

采集包含目标物体的当前场景图像;

确定所述当前场景图像对应的三维坐标数据集;

基于所述三维坐标数据集确定所述目标物体对应的一个坐标方向以及目标三维坐标数据子集;

根据所述一个坐标方向以及目标三维坐标数据子集确定所述目标物体在三维坐标方向上的三维坐标范围;

基于所述三维坐标方向和所述三维坐标范围生成所述目标物体对应的三维包围框定标识。

本申请实施例提供了一种三维包围框定标识的生成装置,所述装置包括采集单元、计算单元、确定单元以及生成单元,

所述采集单元,用于采集包含目标物体的当前场景图像;

所述计算单元,用于确定所述当前场景图像对应的三维坐标数据集;

所述确定单元,用于基于所述三维坐标数据集确定所述目标物体对应的一个坐标方向以及目标三维坐标数据子集;

所述确定单元,还用于根据所述一个坐标方向以及目标三维坐标数据子集确定所述目标物体在三维坐标方向上的三维坐标范围;

所述生成单元,用于基于所述三维坐标方向和所述三维坐标范围生成所述目标物体对应的三维包围框定标识。

本申请实施例提供了一种三维包围框定标识的生成装置,所述装置包括处理器、存储有所述处理器可执行指令的存储器,当所述指令被所述处理器执行时,实现如上所述的三维框定标识的生成方法。

本申请实施例提供一种计算机可读存储介质,存储有程序,所述程序被处理器执行时,实现如上所述的三维包围框定标识的生成方法。

本申请实施例提供的三维包围框定标识的生成方法通过采集包含目标物体的当前场景图像;确定当前场景图像对应的三维坐标数据集;基于三维坐标数据集确定目标物体对应的一个坐标方向以及目标三维坐标数据子集;根据一个坐标方向以及目标三维坐标数据子集确定目标物体在三维坐标方向上的三维坐标范围;基于三维坐标方向和三维坐标范围生成目标物体对应的三维包围框定标识。如此,通过从当前场景图像中确定目标物体对应的三维坐标数据,以及目标物体在三维方向上的三维坐标范围,进而从当前场景图像中自动地、精确地框定待扫描物体,从而生成待扫描物体的三维空间包围盒。

附图说明

图1为手动框定物体的示意图;

图2为本申请实施例提出的三维包围框定标识的生成方法的实现流程示意图一;

图3为本申请实施例提供的三维包围框定的生成标识方法的实现流程示意图二;

图4为本申请实施例提出的三维包围盒的显示示意图;

图5为本申请实施例提供的三维包围框定标识的生成方法的实现流程示意图三;

图6为本申请实施例提供的三维包围框定标识的生成方法的实现流程示意图四;

图7为本申请实施例提供的三维包围框定标识的生成方法的实现流程示意图五;

图8为本申请实施例提供的三维包围框定标识的生成方法的实现流程示意图六;

图9为本申请实施例提供的三维包围框定标识的生成方法的实现流程示意图七;

图10为本申请实施例提出的三维包围框定标识的生成装置的结构示意图一;

图11为本申请实施例提出的三维包围框定标识的生成装置的结构示意图二。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。

在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。

在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。

目前,在AR领域,三维物体识别是一种常用的物体识别技术。在三维物体识别中,需要先通过扫描物体获取相关数据(包括深度图、RGB图、扫描设备的内外参等数据),然后对该数据进行训练重建出特征库,进而用于后续的物体识别和位姿估计。

其中,在进行物体扫描时,需要先将物体放置于一个背景干净的平面上,并且为了排除背景的干扰,以更为精确的实现对物体的重建,还需要在扫描开始之前先框定目标物体,确定出物体的三维空间包围盒。

然而,相关技术普遍采用手动框定物体以生成包围盒,图1为手动框定物体的示意图,如图1所示,界面设置参数,即包围盒长、宽、高的调节按钮,可以通过手动调节参数调节按钮对三维包围盒的长、宽以及高进行调节,尽可能的框定住物体。这一手动框定方式存在物体框定精确性较差的问题,从而使得物体的包围盒偏差较大。

鉴于此,如何实现物体的准确框定,以提高物体包围盒的准确性,为本申请实施例所要讨论的内容,下面将结合以下具体实施例进行阐述。

本申请实施例提供一种三维包围框定标识的生成方法和装置,及计算机存储介质,通过采集包含目标物体的当前场景图像;确定当前场景图像对应的三维坐标数据集;基于三维坐标数据集确定目标物体对应的一个坐标方向以及目标三维坐标数据子集;根据一个坐标方向以及目标三维坐标数据子集确定目标物体在三维坐标方向上的三维坐标范围;基于三维坐标方向和三维坐标范围生成目标物体对应的三维包围框定标识。如此,通过从当前场景图像中确定目标物体对应的三维坐标数据,以及目标物体在三维方向上的三维坐标范围,进而从当前场景图像中自动地、精确地框定待扫描物体,从而生成待扫描物体的三维空间包围盒。

本申请实施例提供的三维包围框定标识的生成方法应用于三维包围框定标识的生成装置中。下面说明本申请实施例提供的三维包围框定标识的生成装置的示例性应用,本申请实施例提供的三维包围框定标识的生成装置可以实施为手机、笔记本电脑,平板电脑,台式计算机,智能电视、车载设备、可穿戴设备、工业设备等。

下面,将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

本申请一实施例提供了一种三维包围框定标识的生成方法,图2为本申请实施例提出的三维包围框定标识的生成方法的实现流程示意图一,如图2所示,在本申请的实施例中,执行三维包围框定标识生成的方法可以包括以下步骤:

S101、采集包含目标物体的当前场景图像。

在本申请实施例中,三维包围框定标识的生成装置可以对当前场景进行图像采集处理,并获得当前场景对应的图像;其中,目标物体处于当前场景中,对应的,当前场景图像为包含目标物体的图像。

在一些实施例中,三维包围框定标识的生成装置中可以配置图像采集装置,即摄像头。例如,在三维包围框定标识的生成装置为智能手机的情况下,该智能手机可以包括前置摄像头和后置摄像头,图像采集装置可以为其中的前置摄像头或者后置摄像头;在三维包围框定标识的生成装置为笔记本电脑的情况下,图像采集装置为该电脑摄像头。

可以理解的是,在使用摄像头对目标物体进行图像采集处理时,无法实现采集的图像中仅包含目标物体,而是采集到包含目标物体以及目标物体所处背景的一大的场景图像,如目标物体放置于地面或者目标物体放置于桌子上,那么对应的场景图像为包含地面这一背景、目标物体以及相近的地面其他物体的图像,或者包含桌子这一背景、目标物体以及放置于桌子上的其他紧邻物体的图像。这里,为了避免平面上其他物体对目标物体的影响,尽可能将目标物体放置于一背景尽量干净的平面上。

需要说明的是,再利用摄像头进行图像采集时,可以将目标物体置于设备图像显示界面中的目标位置;可选的,该目标位置可以为显示界面的中间位置。进一步地,在本申请实施例中,采集获得包含目标物体的当前场景图像之后,可以进一步确定当前场景图像对应的三维坐标数据。

步骤102、确定当前场景图像对应的三维坐标数据集。

在本申请实施例中,三维包围框定标识的生成装置在采集获得包含目标物体的当前场景图像之后,可以进一步确定当前场景图像对应的三维坐标数据集。

需要说明的是,三维坐标数据集包含当前场景图像中每一像素点处的三维空间坐标。

可以理解的是,真实场景到成像的过程即三维到二维的过程,那么由图像确定三维空间坐标的过程即三维重建过程,这里,可以基于相机标定过程实现对当前场景图像中每一像素点三维空间坐标的确定。

具体的,图3为本申请实施例提出的三维包围框定标识的生成方法的实现流程示意图二,如图3所示,确定当前场景图像对应的三维坐标数据集的具体方法可以包括以下步骤:

步骤102a、确定当前场景图像中各像素点的图像坐标数据和深度值。

步骤102b、读取拍摄标定参数。

步骤102c、基于拍摄标定参数、各像素点的图像坐标数据以及深度值进行三维空间映射处理,获得三维坐标数据集。

具体的,在本申请实施例中,可以先确定当前场景图像中每一像素点的图像坐标数据和深度值,也就是图像坐标系下每一像素点的坐标数据,然后读取拍摄标定参数,也就是图像采集装置如相机的标定参数,包括相机内参以及相机外参,然后结合相机内参和相机外参对每一像素点的图像坐标数据和深度值进行由图像坐标系至相机坐标系以及进一步至世界坐标系的坐标转换映射处理,进而获得每一像素点在世界坐标系下的三维空间坐标。

进一步地,在本申请实施例中,在确定出当前场景图像中每一像素点的三维坐标数据之后,可以进一步从该三维坐标数据集中确定目标物体对应的三维坐标数据子集以及目标物体对应的一个维度上的方向。

步骤103、基于三维坐标数据集确定目标物体对应的一个坐标方向以及目标三维坐标数据子集。

在本申请实施例中,三维包围框定标识的生成装置在确定出当前场景图像对应的三维坐标数据集之后,可以进一步基于该三维坐标数据集确定场景图像中目标物体的三维坐标数据子集,以及目标物体的一个方向。

需要说明的是,目标物体的一个方向可以为目标物体对应任一坐标方向,在本申请实施例中以Z轴坐标方向进行说明。

可以理解的是,目标物体对应的Z轴坐标方向是与目标物体所在的平面为垂直关系,因此,在本申请实施例中,可以通过确定所述目标物体所在的平面,以进一步确定所述目标物体对应的Z轴坐标方向。

可以理解的是,目标物体为当前场景图像的部分区域,那么在本申请的实施例中,有了当前场景图像中每一像素点的三维空间坐标之后,可以基于坐标分割方法从当前场景图像中确定出目标物体对应的三维坐标数据子集。

具体的,可以基于目标物体的位置信息对当前场景图像对应的三维坐标数据集进行分割处理,从而获得目标物体对应的三维坐标数据子集。

进一步地,在本申请实施例中,在确定出目标物体地一个坐标方向以及目标物体对应的三维坐标子集之后,可以继续对目标物体对应的其他两个方向进行确定。

步骤104、根据一个坐标方向以及目标三维坐标数据子集确定目标物体在三维坐标方向上的三维坐标范围。

在本申请实施例中,三维包围框定标识的生成装置在确定出目标物体地一个坐标方向以及目标物体对应的三维坐标子集之后,可以继续基于一个方向和目标物体的三维坐标子集确定出目标物体对应的其他两个方向,以及目标物体在三维坐标方向上的坐标范围。

这里,在目标物体的一个方向为Z轴坐标方向的基础上,目标物体的其他两个坐标方向可以为X轴坐标方向和Y轴坐标方向。

可以理解的是,目标物体所处的平面与目标物体的Z轴坐标方向为垂直关系,而目标物体的X轴坐标方向和Y轴坐标方向与目标物体所处的平面平行,具体的,在本申请实施例中,三维包围框定标识的生成装置可以参考Z轴坐标方向与平面的相互位置关系,X轴坐标方向和Y轴坐标方向与平面的相互位置关系,基于Z轴坐标方向以及目标物体的三维坐标数据子集先确定出目标物体的其他两个方向,包括X轴坐标方向和Y轴坐标方向。

进一步的,在确定出目标物体对应的三维坐标方向之后,可以基于目标物体对应的目标三维坐标数据子集确定目标物体分别在X轴坐标方向、Y轴坐标方向以及Z轴坐标方向上的坐标范围,即在每个坐标方向上坐标值的最大、最小值。

进一步地,在本申请实施例中,在确定出目标物体在三维方向上的三维坐标范围之后,便可以继续进行三维包围框定标识的生成。

步骤105、基于三维坐标方向和三维坐标范围生成目标物体对应的三维包围框定标识。

在本申请实施例中,三维包围框定标识的生成装置在确定出目标物体在三维方向上的三维坐标范围之后,便可以基于该三维坐标方向和三维坐标范围进一步生成目标物体对应的三维框定标识。

应理解,三维包围框定标识可被认为是对目标物体进行框定的三维包围盒。在一些实施例中,可以直接基于上述确定出的目标物体的在三维坐标方向的三维坐标范围生成对应长、宽、高的四方体,该四方体即为目标物体对应的三维包围盒。

在另一些实施例中,三维包围框定标识可以预先设置延展参数,在获取上述目标物体在三维坐标方向上的三维坐标范围之后,可以基于预设的延展参数对三维坐标范围进行预设尺寸的延展,基于延展后的坐标范围生成长、宽、高的四方体,该四方体即为目标物体对应的三维包围盒。

进一步地,在本申请实施例中,三维包围框定标识的生成装置配置可视化界面,可以将生成的目标物体对应的三维包围盒显示在该可视化界面,以供用户查看。其中,该可视化界面为图像采集时进行图像预览的界面,该预览界面中可以显示包含目标物体的当前场景,三维包围盒围绕在该目标物体上。

可以理解的是,图像为实时采集,因此三维包围框定标识的生成装置可以对每一帧图像中的目标物体进行框定,并生成每一帧图像对应的三维包围盒,以及将每一帧图像中该目标物体对应的三维包围盒显示在图像预览界面中。

图4为本申请实施例提出的三维包围盒的显示示意图,如图4所示,界面无需设置任何参数调节按钮,只需摄像头对准物体进行图像采集,便可应用本申请实施例提出的三维包围框定标识的生成方法自动生成目标物体对应的三维包围盒,准确框定目标物体。

进一步的,生成三维包围盒的过程中,可以将目标物体对应的每一帧图像中的包围盒叠加显示在图像预览界面,并在用户确定包围盒正确时,触发扫描操作,例如用户点击扫描按钮,三维包围框定标识的生成装置便可以接收到对应的扫描指令,进而响应扫描指令,基于三维包围盒对目标物体进行扫描。

本申请实施例提供一种三维包围框定标识的生成方法,通过采集包含目标物体的当前场景图像;确定当前场景图像对应的三维坐标数据集;基于三维坐标数据集确定目标物体对应的一个坐标方向以及目标三维坐标数据子集;根据一个坐标方向以及目标三维坐标数据子集确定目标物体在三维坐标方向上的三维坐标范围;基于三维坐标方向和三维坐标范围生成目标物体对应的三维包围框定标识。如此,通过从当前场景图像中确定目标物体对应的三维坐标数据,以及目标物体在三维方向上的三维坐标范围,进而从当前场景图像中自动地、精确地框定待扫描物体,从而生成待扫描物体的三维空间包围盒。

基于上述实施例,在本申请的在一实施例中,图5为本申请实施例提出的三维包围框定标识生成的方法的实现流程示意图三,如图5所示,对所述三维坐标数据集进行坐标分割处理,确定所述目标物体对应的第一坐标方向和所述目标三维坐标数据子集的方法包括以下步骤:

步骤103a、对三维坐标数据集进行平面拟合处理,确定第一坐标方向和目标物体所处平面上方、三维坐标数据集中的第一子集。

需要说明的是,在本申请实施例中,可以通过对当前场景图像对应的三维坐标数据集进行坐标分割处理,以确定目标物体对应的Z轴坐标方向和目标物体对应的三维坐标数据子集。

可以理解的是,目标物体是处于平面上的,且该平面是与目标物体的Z轴坐标方向相互垂直的,因此可以通过确定目标物体所处的平面信息来对当前场景图像的三维坐标数据集进行坐标分割处理,以及基于该平面信息确定出目标物体的Z轴坐标方向。

其中,图6为本申请实施例提出的三维包围框定标识生成的方法的实现流程示意图四,如图6所示,对三维坐标数据集进行平面拟合处理,确定第一坐标方向和目标物体所处平面上方、三维坐标数据集中的第一子集的方法包括以下步骤:

步骤103a1、对三维空间坐标数据集进行采样处理,获得三维坐标数据集中的第二子集。

步骤103a2、对第二子集进行平面拟合处理,得到拟合后平面。

步骤103a3、根据拟合后平面确定与目标物体所处平面垂直的法线方向,并将法线方向确定为目标物体对应的第一坐标方向。

步骤103a4、基于拟合后平面对三维坐标数据集进行坐标分割处理,获得第一子集。

具体的,可以先对当前场景图像对应的三维空间坐标数据集进行随机采样或者均匀采集处理,得到采样后的三维坐标数据子集,即第二子集,进而可以基于该第二子集进行平面拟合处理,确定出目标物体所处的平面信息,即拟合后平面。

可选的,在本申请实施例中,可以基于任一平面拟合算法确定目标物体所处的平面信息;如随机抽样一致(RANdom SAmple Consensus,RANSAC)平面拟合算法。

这里,确定出目标物体所处的平面信息之后,便可以将与该平面的垂直方向,也就是该平面的法线方向确定为目标物体的Z轴坐标方向。

可以理解的是,目标物体位于平面之上,那么可以利用拟合后平面先对当前场景图像对应的三维坐标数据集进行坐标分割处理,得到位于该平面之上的三维坐标数据子集,即第一子集。

例如,拟合后平面可以通过平面方程进行表示,如Ax+By+Cz+D=0,可以将每一像素点的三维空间坐标代入该平面方程,如果结果小于0,那就是位于该平面之下,如果结果大于0,便确定该像素点位于平面之上。

步骤103b、获取目标物体在当前场景图像中的目标位置。

步骤103c、基于目标位置对第一子集进行坐标分割处理,获得目标三维坐标数据子集。

应理解,平面之上可能存在包括目标物体以外的其他物体,为了更好的从平面以上的像素点中确定出目标物体对应的像素点,以确定目标物体对应的三维坐标数据子集,可以基于目标物体的在当前场景图像中的位置信息来对平面以上的三维坐标数据子集即第一子集继续进行坐标分割处理,进而获得目标物体上每一像素点的三维空间坐标数据。

基于步骤101可知,在进行图像采集时,可以将目标物体置于显示界面的目标位置,如显示界面的中间位置,因此,我们可以基于该位置信息对第一子集进行坐标分割处理,从而确定出位于中间位置处的目标物体的三维坐标数据子集。

可以理解的是,同一目标物体上位置相邻的像素具有相同的像素值,可以基于连通域分析进行坐标识别与分割,确定出平面以上存在的彼此相互独立的连通域并将其进行标记,然后基于目标物体的位置信息确定出目标物体对应的连通域,其对应的三维坐标数据子集便为目标物体对应的三维坐标数据子集。

可见,在本申请实施例中,三维包围框定标识的生成装置通过平面拟合确定目标物体所处的平面,并确定目标物体对应的Z轴方向;以及基于该平面信息进行坐标分割,确定平面以上的三维空间坐标数据,并基于目标物体的位置信息和连通域分析确定出目标物体对应的三维空间坐标数据,能够减少不必要的操作步骤,降低交互成本,以进一步提升确定目标物体三维包围盒的准确性。

基于上述实施例,在本申请的在一实施例中,图7为本申请实施例提出的三维包围框定标识生成的方法的实现流程示意图五,如图7所示,对三维坐标数据集进行坐标分割处理,确定目标物体对应的第一坐标方向和目标三维坐标数据子集的方法包括以下步骤:

步骤104a、基于目标三维坐标数据子集和第一坐标方向确定目标物体对应的第二坐标方向和第三坐标方向;其中第一坐标方向、第二坐标方向和第三坐标方向相互垂直。

具体的,在本申请实施例中,第二坐标方向可以为目标物体的X轴坐标方向,第三坐标方向可以为目标物体的Y轴坐标方向;或者第二坐标方向为目标物体的Y轴坐标方向,第三坐标方向为目标物体的X轴坐标方向。

其中,可以参考Z轴坐标方向与平面的垂直关系,以及X轴坐标方向与拟合后平面的平行关系,基于Z轴坐标方向对三维坐标数据集中的各像素点的三维空间坐标进行至平面的投影处理,以进一步确定目标物体的三维坐标方向。

这里,目标物体的三维坐标方向,包括Z轴、Y轴以及Z轴两两之间是相互垂直的。

其中,图8为本申请实施例提出的三维包围框定标识生成的方法的实现流程示意图六,如图8所示,基于目标三维坐标数据子集和第一坐标方向确定目标物体对应的第二坐标方向和第三方向坐标的方法包括以下步骤:

步骤104a1、基于第一坐标方向将目标三维坐标数据子集投影至拟合后平面,得到投影后坐标数据集。

步骤104a2、对投影后坐标数据集进行特征识别,确定第二坐标方向和第三坐标方向。

具体的,基于Z轴坐标方向将目标物体中每一像素点的三维空间坐标投影至平面之后,便获得每一像素点的投影后三维空间坐标。

需要说明的是,投影后每一像素点的三维空间坐标的Z轴坐标值为0,例如第一像素点的三维空间坐标为(x

进一步的,可以对投影后的坐标数据集进行特征识别,确定目标物体的X轴坐标方向和Y轴坐标方向。这里,可以利用主成分分析方法对投影后的坐标数据集进行特征提取和分析,从而进一步确定目标物体的X轴坐标方向和Y轴坐标方向。

步骤104b、基于第一坐标方向、第二坐标方向、第三坐标方向以及目标三维坐标数据子集确定三维坐标范围。

进一步的,确定出目标物体的X轴坐标方向、Y轴坐标方向以及Z轴坐标方向之后,便可以基于目标物体中每一像素点的三维空间坐标确定在各个方向上的最大、最小坐标值。

其中,图9为本申请实施例提出的三维包围框定标识生成的方法的实现流程示意图七,如图9所示,基于第一坐标方向、第二坐标方向、第三坐标方向以及目标三维坐标数据子集确定三维坐标范围的方法具体包括以下步骤:

步骤104b1、按照第一坐标方向、第二坐标方向或第三坐标方向,从目标三维坐标数据子集的三维坐标数据中确定各坐标方向上的最大坐标值和最小坐标值。

步骤104b2、基于各坐标方向上的最大坐标值和最小坐标值确定目标物体在各坐标方向上的坐标范围。

步骤104b3、基于各坐标方向上的坐标范围确定三维坐标范围。

其中,三维包围框定标识的生成装置可以先按照X轴坐标方向,从目标物体中各像素点的三维空间坐标数据中确定在X轴坐标方向上的最大x值和最小x值即(x

应理解,最小z值即平面,换言之最小z值为0。

进一步的,最大x值至最小x值便为目标物体在X轴方向上的坐标范围,最大y值至最小y值便为目标物体在Y轴方向上的坐标范围,最大z值至0便为目标物体在Z轴方向上的坐标范围。

需要说明的是,在本申请实施例中,确定目标物体在各个坐标方向上的坐标范围的顺序不区分先后,也可以同时进行。

进一步的,确定出目标物体在X轴坐标方向、Y轴坐标方向以及Z轴坐标方向上各自的坐标范围之后,便可以进一步生成目标物体对应的三维包围盒。

可见,在本申请实施例中,可以在通过平面拟合处理以及连通域分析确定出目标物体的Z轴坐标方向和目标物体中每一像素点的三维空间坐标之后,基于Z轴坐标方向将每一像素点的三维空间坐标向平面投影,并基于主成分分析方法确定目标物体的X轴坐标方向和Y轴坐标方向,进而确定目标物体在各自坐标方向上的坐标范围,从而进一步生成目标物体对应的三维包围盒。如此,实现了从当前场景图像中自动地、精确地框定待扫描物体,从而生成待扫描物体的三维空间包围盒。

基于上述实施例,在本申请的一实施例中,图10为本申请实施例提出的三维包围框定标识的生成装置的结构示意图一,如图10所示,所述三维包围框定标识的生成装置10包括采集单元11、计算单元12、确定单元13、生成单元14、接收单元15以及扫描单元16,

所述采集单元11,用于采集包含目标物体的当前场景图像;

所述计算单元12,用于确定所述当前场景图像对应的三维坐标数据集;

所述确定单元13,用于基于所述三维坐标数据集确定所述目标物体对应的一个坐标方向以及目标三维坐标数据子集;

所述确定单元13,还用于根据所述一个坐标方向以及目标三维坐标数据子集确定所述目标物体在三维坐标方向上的三维坐标范围;

所述生成单元14,用于基于所述三维坐标方向和所述三维坐标范围生成所述目标物体对应的三维包围框定标识。

在一些实施例中,所述确定单元13,具体用于对所述三维坐标数据集进行坐标分割处理,确定所述目标物体对应的第一坐标方向和所述目标三维坐标数据子集。

在一些实施例中,所述确定单元13,具体用于对所述三维坐标数据集进行平面拟合处理,确定所述第一坐标方向和所述目标物体所处平面上方、所述三维坐标数据集中的第一子集;以及获取所述目标物体在所述当前场景图像中的目标位置;以及基于所述目标位置对所述第一子集进行坐标分割处理,获得所述目标三维坐标数据子集。

在一些实施例中,所述确定单元13,具体用于对所述三维空间坐标数据集进行采样处理,获得所述三维坐标数据集中的第二子集;以及对所述第二子集进行平面拟合处理,得到拟合后平面;以及根据所述拟合后平面确定与所述目标物体所处平面垂直的法线方向,并将所述法线方向确定为所述目标物体对应的第一坐标方向;以及基于所述拟合后平面对所述三维坐标数据集进行所述坐标分割处理,获得所述第一子集。

在一些实施例中,所述确定单元13,具体用于基于所述目标三维坐标数据子集和所述第一坐标方向确定所述目标物体对应的第二坐标方向和第三坐标方向;其中所述第一坐标方向、第二坐标方向和第三坐标方向相互垂直。以及基于所述第一坐标方向、所述第二坐标方向、所述第三坐标方向以及所述目标三维坐标数据子集确定所述三维坐标范围。

在一些实施例中,所述确定单元13,具体用于基于所述第一坐标方向将所述目标三维坐标数据子集投影至所述拟合后平面,得到投影后坐标数据集;以及对所述投影后坐标数据集进行特征识别,确定所述第二坐标方向和所述第三坐标方向。

在一些实施例中,所述确定单元13,还具体用于按照所述第一坐标方向、第二坐标方向或第三坐标方向,从所述目标三维坐标数据子集的三维坐标数据中确定各坐标方向上的最大坐标值和最小坐标值;以及基于各坐标方向上的所述最大坐标值和最小坐标值确定所述目标物体在各坐标方向上的坐标范围;以及基于所述各坐标方向上的坐标范围确定所述三维坐标范围。

在一些实施例中,所述接收单元15,用于接收扫描指令。

在一些实施例中,所述扫描单元16,用于响应所述扫描指令,基于所述三维包围框定标识对所述目标物体进行扫描处理。

在本申请的实施例中,进一步地,图11为本申请提出的三维包围框定标识的生成装置的组成结构示意图二,如图11所示,本申请实施例提出的三维包围框定标识的生成装置10还可以包括处理器17、存储有处理器17可执行指令的存储器18,进一步地,三维包围框定标识的生成装置10还可以包括通信接口19,和用于连接处理器17、存储器18以及通信接口19的总线110。

在本申请的实施例中,上述处理器17可以为特定用途集成电路(ApplicationSpecific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(ProgRAMmable Logic Device,PLD)、现场可编程门阵列(Field ProgRAMmable GateArray,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。三维包围框定标识装置10还可以包括存储器18,该存储器18可以与处理器17连接,其中,存储器18用于存储可执行程序代码,该程序代码包括计算机操作指令,存储器18可能包含高速RAM存储器,也可能还包括非易失性存储器,例如,至少两个磁盘存储器。

在本申请的实施例中,总线110用于连接通信接口19、处理器17以及存储器18以及这些器件之间的相互通信。

在本申请的实施例中,存储器18,用于存储指令和数据。

进一步地,在本申请的实施例中,上述处理器17,用于采集包含目标物体的当前场景图像;确定所述当前场景图像对应的三维坐标数据集;基于所述三维坐标数据集确定所述目标物体对应的一个坐标方向以及目标三维坐标数据子集;根据所述一个坐标方向以及目标三维坐标数据子集确定所述目标物体在三维坐标方向上的三维坐标范围;基于所述三维坐标方向和所述三维坐标范围生成所述目标物体对应的三维包围框定标识。

在实际应用中,上述存储器18可以是易失性存储器(volatile memory),例如随机存取存储器(Random-Access Memory,RAM);或者非易失性存储器(non-volatile memory),例如只读存储器(Read-Only Memory,ROM),快闪存储器(flash memory),硬盘(Hard DiskDrive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器15提供指令和数据。

另外,在本实施例中的各功能模块可以集成在一个推荐单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供了一种三维包围框定标识的生成装置,该装置可以通过采集包含目标物体的当前场景图像;确定当前场景图像对应的三维坐标数据集;基于三维坐标数据集确定目标物体对应的一个坐标方向以及目标三维坐标数据子集;根据一个坐标方向以及目标三维坐标数据子集确定目标物体在三维坐标方向上的三维坐标范围;基于三维坐标方向和三维坐标范围生成目标物体对应的三维包围框定标识。如此,能够从当前场景图像中自动地、精确地框定待扫描物体,从而生成待扫描物体的三维空间包围盒。

本申请实施例提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现如上所述的三维包围框定标识的生成方法。

具体来讲,本实施例中的一种三维包围框定标识的生成方法对应的程序指令可以被存储在光盘,硬盘,U盘等存储介质上,当存储介质中的与一种三维包围框定标识的生成方法对应的程序指令被一电子设备读取或被执行时,包括如下步骤:

采集包含目标物体的当前场景图像;

确定所述当前场景图像对应的三维坐标数据集;

基于所述三维坐标数据集确定所述目标物体对应的一个坐标方向以及目标三维坐标数据子集;

根据所述一个坐标方向以及目标三维坐标数据子集确定所述目标物体在三维坐标方向上的三维坐标范围;

基于所述三维坐标方向和所述三维坐标范围生成所述目标物体对应的三维包围框定标识。

相应地,本申请实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令用于实现本申请实施例提供的三维包围框定标识方法中的步骤。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述,仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。

相关技术
  • 三维包围框定标识的生成方法和装置,及计算机存储介质
  • 物料标识标签的生成方法、装置、计算机设备和存储介质
技术分类

06120113283102