掌桥专利:专业的专利平台
掌桥专利
首页

箱体标注图像扩充方法、装置及计算机可读存储介质

文献发布时间:2023-06-19 11:19:16


箱体标注图像扩充方法、装置及计算机可读存储介质

技术领域

本申请涉及计算机视觉技术领域,具体涉及一种箱体标注图像扩充方法、装置及计算机可读存储介质。

背景技术

当前计算机视觉领域,为了训练和优化机器深度学习算法,需要给出大量图片和视频样本数据对训练模型进行训练和学习,大量图片训练数据的准备依赖于人工标注,需要较多的人力投入。

随着机器学习技术在计算机视觉领域的不断应用,对标注过的数据需求量越来越大,传统的纯人工数据标注的方法,由于其先天的特点:人的精力有限,存在着耗时耗人力的缺点,很难满足计算机视觉需要大量已标注数据样本的需求。基于软件版本的箱体测量,需要检测箱体的关键点,然后基于关键点在三维中的坐标,实现箱体的体积测量。然而基于深度学习检测箱体关键点需要大量的带标注的箱体彩色图像。基于深度学习的方法进行关键点检测技术,目前现有的方案包括:(1)两步法,基于检测网络检测箱体,然后基于检测的箱体进行关键点的检测;(2)一步法,直接基于彩色图像进行关键的回归。因此获取箱体标注图像的难度非常大。

因此,沿用传统箱体标注方案需要投入大量人力和资源,例如:作业员或硬件资源等,长期来看,获取箱体标注图像的难度较大,获取箱体标注图像的成本较高。

发明内容

本申请实施例提供一种箱体标注图像扩充方法、装置及计算机可读存储介质,能够降低获取箱体标注图像的难度,从而降低获取箱体标注图像的成本。

第一方面,本申请提供一种箱体标注图像扩充方法,所述箱体标注图像扩充方法包括:

获取原始箱体标注图像,其中,所述原始箱体标注图像包括标注信息;

基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;

基于所述多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;

分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

其中,所述箱体为长方体,所述基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像,包括:

基于标注信息确定所述箱体可见面的棱;

基于所述箱体可见面的棱对所述箱体可见面进行分割,得到多个箱体单面图像。

其中,所述第一箱体模型为长方体模型,所述基于所述多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型,包括:

获取三条主棱的尺寸,其中,所述三条主棱为所述箱体可见面上相交于一点的三条棱;

基于所述三条主棱的尺寸对多个箱体单面图像进行变形操作,以得到多个矩形箱体单面图像;

基于所述多个矩形箱体单面图像对所述第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。

其中,所述基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型,包括:

通过虚拟引擎在虚拟场景中构建第一箱体三维模型;

基于多个箱体单面图像对所述第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。

其中,所述分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像,包括:

在虚拟场景中建立虚拟相机;

控制所述虚拟相机沿预设运动轨迹运动,并按预设拍照频率对所述第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

其中,所述分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像,包括:

在所述第二箱体三维模型的四周构建噪声三维模型,所述噪声三维模型包括圆球、圆锥以及圆柱中的至少一种;

对所述第二箱体三维模型和所述噪声三维模型进行拍照,得到多个目标箱体标注图像。

其中,基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像,包括:

基于标注信息从原始箱体标注图像中提取箱体可见面;

基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像。

第二方面,本申请提供一种箱体标注图像扩充装置,所述箱体标注图像扩充装置包括:

获取模块,用于获取原始箱体标注图像,其中,所述原始箱体标注图像包括标注信息;

图像分割模块,用于基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;

纹理贴图模块,基于所述多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;

拍照模块,用于分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

其中,所述箱体为长方体,所述图像分割模块,还用于:

基于标注信息确定所述箱体可见面的棱;

基于所述箱体可见面的棱对所述箱体可见面进行分割,得到多个箱体单面图像。

其中,所述第一箱体模型为长方体模型,所述纹理贴图模块还用于:

获取三条主棱的尺寸,其中,所述三条主棱为所述箱体可见面上相交于一点的三条棱;

基于所述三条主棱的尺寸对多个箱体单面图像进行变形操作,以得到多个矩形箱体单面图像;

基于所述多个矩形箱体单面图像对所述第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。

其中,所述纹理贴图模块还用于:

通过虚拟引擎在虚拟场景中构建第一箱体三维模型;

基于多个箱体单面图像对所述第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。

其中,所述拍照模块还用于:

在虚拟场景中建立虚拟相机;

控制所述虚拟相机沿预设运动轨迹运动,并按预设拍照频率对所述第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

其中,所述拍照模块还用于:

在所述第二箱体三维模型的四周构建噪声三维模型,所述噪声三维模型包括圆球、圆锥以及圆柱中的至少一种;

对所述第二箱体三维模型和所述噪声三维模型进行拍照,得到多个目标箱体标注图像。

其中,所述获取模块还用于:

获取用户拍摄的箱体原始图像;

对原始图像进行关键点标注,得到原始箱体标注图像。

其中,其中,所述图像分割模块还用于:

基于标注信息从原始箱体标注图像中提取箱体可见面;

基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像。

第三方面,本申请提供一种箱体标注图像扩充装置,所述箱体标注图像扩充装置包括:

一个或多个处理器;

存储器;以及

一个或多个应用程序,其中所述一个或多个应用程序被存储于所述存储器中,并配置为由所述处理器执行以实现第一方面中任一项所述的箱体标注图像扩充方法。

第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器进行加载,以执行第一方面中任一项所述的箱体标注图像扩充方法中的步骤。

本申请实施例提供一种箱体标注图像扩充方法,箱体标注图像扩充方法包括:获取原始箱体标注图像,其中,原始箱体标注图像包括标注信息;基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。本申请通过对原始箱体标注图像进行图像分割得到多个箱体单面图像,通过多个箱体单面图像对第一箱体三维模型的各个平面进行不同形式的纹理贴图,可以得到多个第二箱体三维模型,进而通过对多个第二箱体三维模型进行拍照即可得到多个目标箱体标注图像,在有限数量原始箱体标注图像的基础上实现了箱体标注图像数量的扩充,即可以根据有限的原始标注数据集生成海量标注数据,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的箱体标注图像扩充方法的一个实施例流程示意图;

图2是图1中S13的一个具体实施例流程示意图;

图3是本申请实施例提供的箱体标注图像扩充装置的一个实施例结构示意图;

图4是本申请实施例提供的箱体标注图像扩充装置的另一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。

在本申请中,“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请,给出了以下描述。在以下描述中,为了解释的目的而列出了细节。应当明白的是,本领域普通技术人员可以认识到,在不使用这些特定细节的情况下也可以实现本申请。在其它实例中,不会对公知的结构和过程进行详细阐述,以避免不必要的细节使本申请的描述变得晦涩。因此,本申请并非旨在限于所示的实施例,而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种箱体标注图像扩充方法、装置及计算机可读存储介质,以下分别进行详细说明。

首先,本申请提供一种箱体标注图像扩充方法,该箱体标注图像扩充方法包括:获取原始箱体标注图像,其中,原始箱体标注图像包括标注信息;基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

如图1所示,图1是本申请实施例提供的箱体标注图像扩充方法的一个实施例流程示意图,该箱体标注图像扩充方法包括:

S11、获取原始箱体标注图像,其中,原始箱体标注图像包括标注信息。

本申请实施例中,原始箱体标注图像中的标注信息可以包括箱体关键点信息。箱体关键点信息可以包括箱体关键点的坐标数据和箱体关键点之间的连接线数据。箱体关键点可以为箱体顶点。

在一个具体的实施例中,获取用户拍摄的箱体原始图像;对箱体原始图像进行关键点标注,得到原始箱体标注图像。例如,获取快递小哥通过相机对箱体进行拍照所得到的箱体原始图像。在获取用户拍摄的箱体原始图像后,可以过人工标注或者机器自动标注的方式对箱体原始图像进行关键点标注。人工标注具有较高的准确率,在箱体原始图像数量较少时,可以通过人工标注提高图像标注的准确率。而机器自动标注具有较高的效率,在箱体原始图像数量较多时,可以通过机器自动标注提高图像标注的效率。机器自动标注可通过基于姿态检测技术建立检测网络模型,通过检测网络模型对原始图像进行标注。其中,例如,基于姿态检测的技术可为基于openpose的技术、基于DeepCut的技术,基于RMPE(Regional Multi-person Pose Estimation)的技术。图像标注的方式根据具体情况确定,本申请对此不作限定。

S12、基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像。

本申请实施例中,基于标注信息从原始箱体标注图像中提取箱体可见面;基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像。箱体可见面为箱体朝向观察位置的面。对一个物体进行拍摄,肯定会出现一部分面相对于相机是可见的,一部分面相对于相机是不可见的,可见的部分由箱体位置和相机位置共同决定。而原始箱体标注图像。具体的,基于标注信息采用尺度不变特征变换或方向梯度直方图的方法进行特征点提取,从而提取箱体可见面。在提取箱体可见面后,对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像。

显然,对于一个长方体而言,长方体一共有个6个面,在仅有一个相机的情况下,箱体可见面可以为1个、2个或者3个单面。当箱体可见面为1个单面或2个单面时,该单面均为矩形,不需要变形操作,可以直接对第一箱体三维模型的各个平面进行纹理贴图。当箱体可见面为3个单面时,3个单面均为平形四边形,需要变形操作,才能对第一箱体三维模型的各个平面进行纹理贴图。

在一个具体的实施例中,基于标注信息确定箱体可见面的棱。基于箱体可见面的棱对箱体可见面进行分割,得到多个箱体单面图像。由于标记信息中包括箱体关键点的坐标数据和箱体关键点之间的连接线数据,根据标记信息确定箱体可见面的棱的坐标和尺寸。其中,可通过图像边缘分割进行图像分割。图像分割的一种重要途径是通过边缘检测,即检测灰度级或者结构具有突变的地方,表明一个区域的终结,也是另一个区域开始的地方。这种不连续性称为边缘。不同的图像灰度不同,边界处一般有明显的边缘,利用此特征可以分割图像。显然,长方体箱体中箱体可见面的棱为8条,共形成3个箱体单面图像。基于箱体可见面的棱对箱体可见面进行分割,可以得到3个箱体单面图像。因此,对于2个、3个或者更多个原始箱体标注图像,可以得到3倍的箱体单面图像。

S13、基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。

本申请实施例中,通过虚拟引擎在虚拟场景中构建第一箱体三维模型。具体的,通过虚拟引擎在虚拟场景中构建第一箱体三维模型。其中,虚拟引擎可以是Unity3D、3dmax以及Adobe Photoshop等。其中,Unity3D是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具,是一个全面整合的专业游戏引擎。3D Studio Max,常简称为3d Max或3ds MAX,是Discreet公司开发的(后被Autodesk公司合并)基于PC系统的三维动画渲染和制作软件。其前身是基于DOS操作系统的3D Studio系列软件。在应用范围方面,广泛应用于广告、影视、工业设计、建筑设计、三维动画、多媒体制作、游戏、以及工程可视化等领域。AdobePhotoshop,简称“PS”,是由Adobe Systems开发和发行的图像处理软件。Photoshop主要处理以像素所构成的数字图像。使用其众多的编修与绘图工具,可以有效地进行图片编辑工作。ps有很多功能,在图像、图形、文字、视频、出版等各方面都有涉及。

在一个具体的实施例中,第一箱体三维模型为长方体。在虚拟场景中的可配置范围内随机计算出箱体的位置坐标和尺寸。根据箱体的位置坐标和尺寸生成第一箱体三维模型。可以通过三角形、四边形或者其它的简单凸多边形为基础形成网格,构建第一箱体三维模型。在其他实施例中,第一箱体三维模型可以为正方体。

本申请实施例中,通过虚拟引擎在虚拟场景中构建第一箱体三维模型后,基于多个矩形箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。纹理贴图是将平面的、二维的纹理图像贴到物体的几何表面上。当平面的、二维的图像和物体的几何表面大小不一致,可以通过一个灵活的映射机制,即插值函数,将纹理图像的像素值合理地映射到物体表面上。

当改变第一箱体三维模型的尺寸时,能够得到大量不同尺寸的第一箱体三位模型,从而增加大量第二箱体三维模型,最终增加大量的箱体目标标注图像,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

如图2所示,图2是图1中S13的一个具体实施例流程示意图。在一个具体的实施例中,基于多个矩形箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型,可以包括:

S131、获取三条主棱的尺寸,其中,三条主棱为箱体可见面上相交于一点的三条棱。

具体的,根据标记信息中箱体顶点的坐标数据和箱体顶点之间的连接线数据,获取三条主棱的尺寸。

S132、基于三条主棱的尺寸对多个箱体单面图像进行变形操作,以得到多个矩形箱体单面图像。

具体的,变形操作可以是仿射变换、放大或者缩小等,本申请对此不作限定。对长方体箱体而言,箱体可见面上的三个单面均为平行四边形,因此,需要对平行四边形进行仿射变换操作,以得到矩形箱体单面图像。

S133、基于多个矩形箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。

具体的,对多个矩形箱体单面图像进行排列组合,从而得到多种贴图方式。根据多个贴图方式对第一箱体三维模型的各个平面进行纹理贴图,即可得到多个第二箱体三维模型。例如,原始箱体标注图像为2个,每个原始箱体标注图像分割变形得到3个矩形箱体单面图像,则共得到6个矩形箱体单面图像。第一箱体三维模型共有6个面,则根据排列组合共有720种贴图方式,从而能够得到720个箱体模型。因此,通过纹理贴图,即可将有限的原始箱体标注图像进行扩充,提供了大量的箱体标注图像,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

S14:分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

本申请实施例中,在虚拟场景中建立虚拟相机;控制虚拟相机沿预设运动轨迹运动,并按预设频率对第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。虚拟相机可以由Nvidia设计的标注数据生成平台(NDDS-Deep learning Dataset Synthesizer)提供。在虚拟场景中建立虚拟相机之后,虚拟相机接收控制指令就可以记录虚拟相机拍摄到的内容的标注。优选的,控制虚拟相机拍照并输出关键点信息、图像分割信息、箱体边界信息、深度数据信息以及箱体类型中的至少一种。

在一个具体的实施方式中,在虚拟场景中建立虚拟相机,设置虚拟相机的位置、姿态、视线以及视野等参数信息。向虚拟相机输入控制信息,控制信息包括预设运动轨迹和预设拍照频率,从而控制虚拟相机对第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。虚拟相机在多个不同视角对第二箱体三维模型进行拍照,能够从每个第二箱体三维模型均得到大量的目标箱体标注图像,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

进一步的,在第二箱体三维模型的四周构建噪声三维模型,噪声三维模型包括圆球、圆锥以及圆柱中的至少一种。对第二箱体三维模型和噪声三维模型进行拍照,得到多个目标箱体标注图像。具体的,控制虚拟相机沿预设运动轨迹运动,并按预设频率对第二箱体三维模型和噪声三维模型进行拍照,以得到多个目标箱体标注图像。图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。图像中各种妨碍人们对其信息接受的因素即可称为图像噪声。优选的,在第二箱体三维模型的四周随机构建噪声三维模型。具体的,通过虚拟引擎构建噪声三维模型,具体构建过程与第一箱体三维模型的构建过程相同,在此不再赘述。

显然,针对每个第二箱体三维模型而言,虚拟相机在单个视角进行拍照时,第二箱体三维模型的四周随机生成噪声三维模型,虚拟相机能够得到多个目标箱体标注图像。在无噪声图像模型情况下,虚拟相机在单个视角只能得到一个目标箱体标注图像。而在有噪声图像模型情况下,虚拟相机在单个视角能得到多个目标箱体标注图像。因此,本申请能够得到成倍增加的目标箱体标注图像,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

因此,本申请能够在有限原始箱体标注图像的情况下,通过多个箱体单面图像纹理贴图、改变第一箱体三维模型的尺寸、为第二箱体三维模型增添噪声等方式扩充箱体标注图像,能够得到成倍增加的目标箱体标注图像,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

本申请实施例提供一种箱体标注图像扩充方法,该箱体标注图像扩充方法包括:获取原始箱体标注图像,其中,原始箱体标注图像包括标注信息;基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。本申请通过对原始箱体标注图像进行图像分割得到多个箱体单面图像,通过多个箱体单面图像对第一箱体三维模型的各个平面进行不同形式的纹理贴图,可以得到多个第二箱体三维模型,进而通过对多个第二箱体三维模型进行拍照即可得到多个目标箱体标注图像,在有限数量原始箱体标注图像的基础上实现了箱体标注图像数量的扩充,即可以根据有限的原始标注数据集生成海量标注数据,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

为了更好实施本申请实施例中箱体标注图像扩充方法,在箱体标注图像扩充方法基础之上,本申请实施例中还提供一种箱体标注图像扩充装置,如图3所示,图3是本申请实施例提供的箱体标注图像扩充装置的一个实施例结构示意图,该箱体标注图像扩充装置包括获取模块201、图像分割模块202、纹理贴图模块203和拍照模块204:

获取模块201,用于获取原始箱体标注图像,其中,原始箱体标注图像包括标注信息;

图像分割模块202,用于基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;

纹理贴图模块203,基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;

拍照模块204,用于分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

其中,箱体为长方体,图像分割模块202,还用于:

基于标注信息确定箱体可见面的棱;

基于箱体可见面的棱对箱体可见面进行分割,得到多个箱体单面图像。

其中,第一箱体模型为长方体模型,纹理贴图模块203还用于:

获取三条主棱的尺寸,其中,三条主棱为箱体可见面上相交于一点的三条棱;

基于三条主棱的尺寸对多个箱体单面图像进行变形操作,以得到多个矩形箱体单面图像;

基于多个矩形箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。

其中,纹理贴图模块203还用于:

通过虚拟引擎在虚拟场景中构建第一箱体三维模型;

基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型。

其中,拍照模块204还用于:

在虚拟场景中建立虚拟相机;

控制虚拟相机沿预设运动轨迹运动,并按预设拍照频率对第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

其中,拍照模块204还用于:

在第二箱体三维模型的四周构建噪声三维模型,噪声三维模型包括圆球、圆锥以及圆柱中的至少一种;

对第二箱体三维模型和噪声三维模型进行拍照,得到多个目标箱体标注图像。

其中,获取模块201还用于:

获取用户拍摄的箱体原始图像;

对原始图像进行关键点标注,得到原始箱体标注图像。

其中,其中,图像分割模块202还用于:

基于标注信息从原始箱体标注图像中提取箱体可见面;

基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像。

本申请获取原始箱体标注图像,其中,原始箱体标注图像包括标注信息;基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。本申请通过对原始箱体标注图像进行图像分割得到多个箱体单面图像,通过多个箱体单面图像对第一箱体三维模型的各个平面进行不同形式的纹理贴图,可以得到多个第二箱体三维模型,进而通过对多个第二箱体三维模型进行拍照即可得到多个目标箱体标注图像,在有限数量原始箱体标注图像的基础上实现了箱体标注图像数量的扩充,即可以根据有限的原始标注数据集生成海量标注数据,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

本申请实施例还提供一种箱体标注图像扩充装置。如图4所示,图4是本申请实施例提供的箱体标注图像扩充装置的另一个实施例结构示意图,具体来讲:

该箱体标注图像扩充装置可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解,图3中示出的箱体标注图像扩充装置结构并不构成对箱体标注图像扩充装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器301是该箱体标注图像扩充装置的控制中心,利用各种接口和线路连接整个箱体标注图像扩充装置的各个部分,通过运行或执行存储在存储器302内的软件程序和/或模块,以及调用存储在存储器302内的数据,执行箱体标注图像扩充装置的各种功能和处理数据,从而对箱体标注图像扩充装置进行整体监控。可选的,处理器301可包括一个或多个处理核心;优选的,处理器301可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器301中。

存储器302可用于存储软件程序以及模块,处理器301通过运行存储在存储器302的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据箱体标注图像扩充装置的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器302还可以包括存储器控制器,以提供处理器301对存储器302的访问。

箱体标注图像扩充装置还包括给各个部件供电的电源303,优选的,电源303可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该箱体标注图像扩充装置还可包括输入单元304,该输入单元304可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,箱体标注图像扩充装置还可以包括显示单元等,在此不再赘述。具体在本实施例中,箱体标注图像扩充装置中的处理器301会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现各种功能,如下:

获取原始箱体标注图像,其中,所述原始箱体标注图像包括标注信息;

基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;

基于所述多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;

分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

本申请获取原始箱体标注图像,其中,原始箱体标注图像包括标注信息;基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。本申请通过对原始箱体标注图像进行图像分割得到多个箱体单面图像,通过多个箱体单面图像对第一箱体三维模型的各个平面进行不同形式的纹理贴图,可以得到多个第二箱体三维模型,进而通过对多个第二箱体三维模型进行拍照即可得到多个目标箱体标注图像,在有限数量原始箱体标注图像的基础上实现了箱体标注图像数量的扩充,即可以根据有限的原始标注数据集生成海量标注数据,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读计算机可读存储介质中,并由处理器进行加载和执行。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读计算机可读存储介质中,并由处理器进行加载和执行。

为此,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序,计算机程序被处理器进行加载,以执行本申请实施例所提供的任一种箱体标注图像扩充方法中的步骤。例如,计算机程序被处理器进行加载可以执行如下步骤:

获取原始箱体标注图像,其中,所述原始箱体标注图像包括标注信息;

基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;

基于所述多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;

分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。

本申请获取原始箱体标注图像,其中,原始箱体标注图像包括标注信息;基于标注信息对原始箱体标注图像中的箱体可见面进行图像分割,得到多个箱体单面图像;基于多个箱体单面图像对第一箱体三维模型的各个平面进行纹理贴图,以得多个第二箱体三维模型;分别对多个第二箱体三维模型进行拍照,以得到多个目标箱体标注图像。本申请通过对原始箱体标注图像进行图像分割得到多个箱体单面图像,通过多个箱体单面图像对第一箱体三维模型的各个平面进行不同形式的纹理贴图,可以得到多个第二箱体三维模型,进而通过对多个第二箱体三维模型进行拍照即可得到多个目标箱体标注图像,在有限数量原始箱体标注图像的基础上实现了箱体标注图像数量的扩充,即可以根据有限的原始标注数据集生成海量标注数据,能够降低获取箱体标注图像的难度,降低获取箱体标注图像的成本。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对其他实施例的详细描述,此处不再赘述。

具体实施时,以上各个单元或结构可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元或结构的具体实施可参见前面的方法实施例,在此不再赘述。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

以上对本申请实施例所提供的一种箱体标注图像扩充方法、装置及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 箱体标注图像扩充方法、装置及计算机可读存储介质
  • 图像标注方法、装置、电子设备及计算机可读存储介质
技术分类

06120112880056