掌桥专利:专业的专利平台
掌桥专利
首页

成像方法、装置、电子设备及可读存储介质

文献发布时间:2023-06-19 09:51:02


成像方法、装置、电子设备及可读存储介质

技术领域

本申请实施例涉及通信技术领域,尤其涉及一种成像方法、装置、电子设备及可读存储介质。

背景技术

随着增强现实(augmented reality,AR)和虚拟现实(virtual reality,VR)技术的发展,用户使用虚拟设备(例如,AR设备或VR设备)进行沉侵式体验的场景越来越丰富。虚拟设备可以将摄像头采集的目标对象的影像数据,经过三维建模处理后,展示在虚拟场景中。

在相关技术中,虚拟设备依靠采集目标对象表面的像素特征进行三维建模,然而,由于上述成像过程需要计算采集到的每个像素的像素特征,因此,这种成像方式需要虚拟设备具有较大的计算能力和图形渲染能力,进而导致虚拟设备功耗大,建模时间长。

发明内容

本申请实施例的目的是提供一种成像方法、装置、电子设备及可读存储介质,能够解决AR或VR设备功耗大,建模时间长的问题。

为了解决上述技术问题,本申请是这样实现的:

第一方面,本申请实施例提供一种成像方法,该方法包括:获取目标对象的关键特征点的空间位置信息;关键特征点包括以下任一项:目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个材质区域的交叉点;根据关键特征点的空间位置信息,构建目标对象的空间结构模型;根据目标对象的表面中的每个材质区域对应的材质信息,填充空间结构模型,生成目标对象的三维立体模型;其中,目标对象的表面中的材质区域是基于目标对象的轮廓曲线划分的,N个材质区域的材质不同。

第二方面,本申请实施例还提供了一种成像装置,该装置包括:获取模块、构建模块和生成模块;获取模块,用于获取目标对象的关键特征点的空间位置信息;关键特征点包括以下任一项:目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个材质区域的交叉点;构建模块,用于根据获取模块获取的关键特征点的空间位置信息,构建目标对象的空间结构模型;生成模块,用于根据目标对象的表面中的每个材质区域对应的材质信息,填充构建模块构建的空间结构模型,生成目标对象的三维立体模型;其中,目标对象的表面中的材质区域是基于目标对象的轮廓曲线划分的,N个材质区域的材质不同。

第三方面,本申请实施例提供了一种电子设备,包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令,该程序或指令被该处理器执行时实现如第一方面所述的成像方法的步骤。

第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

在本申请实施例中,通过目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点,得到目标对象的关键特征点的空间位置信息,并根据关键特征点的空间位置信息,构建目标对象的空间结构模型,之后,再根据目标对象的表面中的每个材质区域对应的材质信息,填充上述空间结构模型,生成目标对象的三维立体模型。使得电子设备只需获取目标对象的关键特征点即可构建目标对象的空间结构模型,无需对摄像头采集的图像中目标对象的每个像素点进行空间位置计算,减少了电子设备的运算量。之后再使用目标对象表面的材质对应的材质信息填充上述空间结构模型,极大提升了建模效率。

附图说明

图1是本申请实施例提供的一种成像方法示意图之一;

图2是本申请实施例提供的一种成像方法所应用的流程示意图;

图3是本申请实施例提供的一种成像方法示意图之二;

图4是本申请实施例提供的一种成像方法示意图之三;

图5是本申请实施例提供的一种成像装置结构示意图;

图6是本申请实施例提供的一种电子设备的结构示意图之一;

图7是本申请实施例提供的一种电子设备的结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

本申请实施例提供的成像方法可以应用于使用AR或VR设备进行沉侵式体验的场景中。

示例性的,针对将目标对象通过三维建模,将其添加到虚拟画面的场景,在相关技术中,如图1所示,电子设备可以通过摄像头采集目标对象(如图1中(A)所示的立体图形)的图像,根据图像中目标对象每个像素点的像素信息(如图1中(B)所示的立体图形的虚线,此处只显示轮廓像素点,实际上需要获取立体图像表面所有的像素点),生成目标对象的三维立体模型。由于上述方法并没有对像素点进行筛选,因此,通常情况下电子设备需要计算每个像素点的像素信息,包括:每个像素点的色彩,每个像素点的空间位置信息等。如此一来,会产生巨大的数据计算量,对于计算能力较差的电子设备,建模时间会很长,导致在虚拟画面中生成模型出现延迟。因此,上述方法并不能适用于大部分电子设备,随着AR玩法的普及,对于计算能力较差的电子设备,需要一种计算量较小的成像方法,来适应大多数电子设备。

针对这一问题,在本申请实施例提供的技术方案中,针对相关技术中,没有对获取到的像素点进行筛选,导致计算量大的问题,本领域技术人员能够想到通过对像素点进行筛选,从而减少电子设备的数据计算量。但是,如何对像素点进行筛选,即,如何从获取到的海量的像素点中,提取出关键点,既能够减少数据计算量,又不会明显降低成像的质量,并不容易想到。本申请中的技术方案,通过对房屋结构,以及人体骨架的观察,发现人体在运动过程中,只有关节会发生结构变化,关节与关节之间的人体组织并不会随着人体的移动而发生变化。因此,可以将人体的关节看做关键点,通过关键点与关键点之间的连线可以构建人体骨骼模型,使用肌肉组织填充人体骨骼模型,即可得到较为完整的人体模型。

因此,本申请中的技术方案,首先获取目标对象的轮廓信息,根据轮廓信息确定目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点,得到目标对象的关键特征点的空间位置信息,并根据关键点的空间位置信息,构建目标对象的空间结构模型,之后,再根据目标对象的表面中的每个材质区域对应的材质信息,填充上述空间结构模型,生成目标对象的三维立体模型。使得电子设备只需获取目标对象的关键特征点即可构建目标对象的空间结构模型,无需对摄像头采集的图像中目标对象的每个像素点进行空间位置计算,减少了电子设备的运算量。之后再使用目标对象表面的材质对应的材质信息填充上述空间结构模型,较少了建模时间,极大提升了建模效率。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的成像方法进行详细地说明。

如图2所示,本申请实施例提供的一种成像方法,该方法可以包括下述步骤201至步骤203:

步骤201、成像装置获取目标对象的关键特征点的空间位置信息。

其中,上述关键特征点包括以下任一项:目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个材质区域的交叉点,N个材质区域的材质不同,N≥2。可以理解的是,上述N个材质区域为相邻的材质区域。

步骤202、成像装置根据上述关键特征点的空间位置信息,构建目标对象的空间结构模型。

示例性的,上述目标对象可以为人、动物或者其他任何具有三维空间结构的物体。例如,如图1所示的多个方块。上述目标对象的关键特征点可以为目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点。上述关键特征点的空间位置信息,可以理解为上述关键特征点在三维空间中的位置信息,在以x轴、y轴和z轴构建的空间坐标系中以(x,y,z)进行表示。

示例性的,上述关键特征点可以为目标对象的轮廓中,至少两条直线的交叉点,因此,两个关键特征点之间可以通过直线连接,从而构建目标对象的空间结构模型,然而,通常情况下,由于物体表面没有绝对的直线,因此,上述直线可以用曲率小于预设曲率的曲线表示。因此,上述目标对象的轮廓曲线的交叉点,可以理解为,目标对象的轮廓曲线出现转折的点。

举例说明,结合图1,如图3所示,电子设备通过目标对象的轮廓曲线的交点确定关键特征点,如图3中(A)所示,电子设备将立方体边界的交点作为关键特征点(如图3中黑色圆点所示),此时,电子设备只需计算每个关键特征点的空间位置信息,即可构建立方体的空间结构模型,而无需计算立方体每条边上的其他像素点,极大减少了数据计算量。

示例性的,电子设备可以通过摄像头采集目标对象表面每个材质区域的材质信息,电子设备在生成目标对象的三维立体模型时,需要将材质填充到对应的空间位置,因此,电子设备在获取到标物体表面每个材质区域的材质信息后,还需要获取每个材质区域的材质信息所要填充位置的位置信息,即三维立体模型中,与该材质区域对应的区域的位置信息。可以理解的是,三个点可以确定一个面,因此,电子设备在获取到标物体表面每个材质区域的材质信息后,只需要获取该材质区域上三个不同位置点的位置信息,即可在生成目标对象的三维立体模型时,将该材质区域的材质填充到正确的位置。

举例说明,结合图1,如图4所示,电子设备通过目标对象的表面中的相邻材质区域的交叉点确定关键特征点,如图4中(A)所示,材质区域41和材质区域42为两个相邻的材质区域,通过上述两个相邻材质区域确定三个关键特征点(点a、点b和点c),通过确定上述三个关键特征点的空间位置信息,即可在生成立方体的三维立体模型时,确定材质区域41在三维立体模型对应区域的位置信息。

需要说明的是,上述材质信息可以理解为:物体表面的可视特征属性的结合,该特征属性包括物体表面的纹理、色彩、光滑度、透明度、折射率等。

示例性的,上述关键特征点为三维空间中的点,因此,电子设备需要获取每个关键特征点的三维空间位置信息。电子设备可以通过以下至少两种方式获取目标对象的关键特征点。

方式1:

在方式1中,电子设备可以通过结构光,确定上述关键特征点的空间位置信息。结构光是一组由投影仪(发射不可见光的光源)和摄像头组成的系统结构。用投影仪投射特定的光信息到物体表面后及背景后,由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间。由此,可以得到上述关键特征点的空间位置信息。

方式2:

在方式2中,电子设备可以通过飞行时间(time of flight,tof)传感器确定上述关键特征点的空间位置信息。其原理为:tof传感器发出经调制的近红外光遇物体后反射,tof传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息。电子设备可以根据该深度信息,确定关键特征点的空间位置信息。

步骤203、成像装置根据目标对象的表面中的每个材质区域对应的材质信息,填充上述空间结构模型,生成目标对象的三维立体模型。

其中,上述目标对象的表面中的材质区域是基于目标对象的轮廓曲线划分的。

示例性的,电子设备根据关键特征点的空间位置信息,构建目标对象的空间结构模型后,通过对该空间结构模型填充材质,生成目标对象的三维立体模型。

举例说明,如图1所示,图1中(A)所示的材质区域11的材质为黑色,结合图1,如图3中(B)所示,电子设备构建立方体的空间结构模型后,根据上述材质区域11对应的材质,填充至立方体的空间结构模型的区域31中。或者,电子设备构建立方体的空间结构模型后,根据上述材质区域11对应的材质,填充至立方体的空间结构模型的区域41中。

如此,通过目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点,得到目标对象的关键特征点的空间位置信息,并根据关键特征点的空间位置信息,构建目标对象的空间结构模型,之后,再根据目标对象的表面中的每个材质区域对应的材质信息,填充上述空间结构模型,生成目标对象的三维立体模型。使得电子设备只需获取目标对象的关键特征点即可构建目标对象的空间结构模型,无需对摄像头采集的图像中目标对象的每个像素点进行空间位置计算,减少了电子设备的运算量。之后再使用目标对象表面的材质对应的材质信息填充上述空间结构模型,极大提升了建模效率。

可选地,在本申请实施例中,电子设备在获取上述目标对象的关键特征点之前,需要获取目标对象的轮廓,为了更加清晰、准确的获取到目标对象的轮廓信息,电子设备可以采集不同亮度场景下的目标对象的图像。

示例性的,上述步骤201,可以包括以下步骤201a1和步骤201a2:

步骤201a1、成像装置获取目标对象的轮廓信息,该轮廓信息包括:电子设备在不同亮度场景下采集的目标对象的轮廓信息。

步骤201a2、成像装置根据上述轮廓信息,确定目标对象的关键特征点的空间位置信息。

示例性的,上述轮廓信息用于表示目标对象的外观轮廓,即如图1中(B)虚线部分显示的立方体轮廓。电子设备获取到目标对象的轮廓信息后,将上述轮廓信息指示的轮廓曲线交叉点作为目标对象的关键特征点。

如此,电子设备可以通过比对不同亮度场景下采集的目标对象的图像,进而得到较为准确的目标对象的轮廓信息。

可选地,在本申请实施例中,在关键特征点为目标对象的轮廓曲线的交叉点的情况下,电子设备可以通过以下方法确定上述关键特征点。

示例性的,在上述关键特征点为目标对象的轮廓曲线的交叉点的情况下,上述步骤201之前,本申请实施例提供的成像方法还包括以下步骤201b1和步骤201b2:

步骤201b1、成像装置采集目标对象的轮廓曲线。

步骤201b2、成像装置将目标轮廓曲线的交点,作为目标对象的关键特征点。

其中,上述目标对象的轮廓曲线的曲率小于或等于预设曲率;上述目标轮廓曲线为目标对象的轮廓曲线中,与其他轮廓曲线相交的轮廓曲线。

示例性的,上述交点可以为至少两条轮廓曲线的交点,电子设备根据上述关键特征点以及上述轮廓曲线,构建目标对象的空间结构模型。

如此,电子设备可以通过目标对象的轮廓曲线的焦点,作为上述目标特征点,进而实现对上述海量像素点的筛选,达到减少计算量的目的。

可选地,在本申请实施例中,在上述关键特征点为目标对象的表面中的相邻材质区域的交叉点的情况下,可以通过以下方法提取每个材质区域中的关键特征点,进而确定该材质区域对应的材质在三维立体模型中填充的位置。

示例性的,在上述关键特征点为目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点的情况下,上述目标对象的表面包括至少两个材质区域,每个材质区域包括至少三个关键特征点。

示例性的,上述步骤201,还可以包括以下步骤201c:

步骤201c、成像装置将第一材质区域中的任一特征点作为第一关键特征点,并将第一材质区域与第二材质区域的交叉线上的两个特征点作为第二关键特征点。

其中,上述第一材质区域为至少两个材质区域中的任一材质区域;第二材质区域为与第一材质区域相邻的材质区域。

示例性的,由于三个点即可确定一个面,因此,可以获取第一材质区域中三个不同点作为关键特征点,进而确定该材质区域的空间位置信息。

举例说明,结合图1,电子设备在获取到材质区域11对应材质的材质信息后,为了将该材质填充至如图4中(B)所示的空间结构模型中,需要获取该材质区域11的空间位置信息,此时,只需要获取该材质区域11中三个点(例如,如图4中(A)所示的点a、点b和点c)的空间位置信息,即可确定该材质区域11需要填充在空间结构模型中区域41的空间位置信息。

如此,电子设备可以通过从每个材质区域中确定的三个关键特征点,构建目标对象的空间结构模型,并在生成目标对象的三维立体模型时,确定每个材质区域对应的材质在三维立体模型中填充的位置。

可选地,在本申请实施例中,目标对象表面的材质,在填充到目标对象的空间结构模型中时,需要将每个材质区域中的材质准确的填充到空间结构模型的对应区域中。

示例性的,目标对象的表面包括至少两个材质区域,上述空间结构模型包括至少一个用于填充材质的区域。

示例性的,上述步骤203,可以包括以下步骤203a:

步骤203a、成像装置根据第三材质区域对应材质信息,填充上述空间结构模型中的目标区域,生成目标对象的三维立体模型。

其中,上述第三材质区域为至少两个材质区域中的任一材质区域,上述目标区域为至少一个用于填充材质的区域中,与第三材质区域对应的区域。

需要说明的是,电子设备构建目标对象的空间结构模型后,将目标对象的每个材质区域对应的材质填充到该空间结构模型中,材质区域与空间结构模型中对应区域的对应关系在上述方法中已经进行了详细的陈述,为了防止重复,在此不再赘述。

如此,电子设备可以根据上述第三材质区域与空间结构模型中目标区域的对应关系,将目标对象表面每个材质区域的材质,正确填充到空间结构模型中。

本申请实施例提供的成像方法,首先获取目标对象的轮廓信息,根据轮廓信息确定目标对象的轮廓曲线的交叉点,或,根据轮廓信息对目标对象进行材质区域划分,并确定目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点,得到目标对象的关键特征点的空间位置信息,并根据关键点的空间位置信息,构建目标对象的空间结构模型,之后,再根据目标对象的表面中的每个材质区域对应的材质信息,填充上述空间结构模型,生成目标对象的三维立体模型。使得电子设备只需获取目标对象的关键特征点即可构建目标对象的空间结构模型,无需对摄像头采集的图像中目标对象的每个像素点进行空间位置计算,减少了电子设备的运算量。之后再使用目标对象表面的材质对应的材质信息填充上述空间结构模型,较少了建模时间,极大提升了建模效率。

需要说明的是,本申请实施例提供的成像方法,执行主体可以为成像装置,或者该成像装置中的用于执行成像方法的控制模块。本申请实施例中以成像装置执行成像方法为例,说明本申请实施例提供的成像装置。

需要说明的是,本申请实施例中,上述各个方法附图所示的。成像方法均是以结合本申请实施例中的一个附图为例示例性的说明的。具体实现时,上述各个方法附图所示的成像方法还可以结合上述实施例中示意的其它可以结合的任意附图实现,此处不再赘述。

图5为实现本申请实施例提供的一种成像装置的可能的结构示意图,如图5所示,成像装置600包括:获取模块601、构建模块602和生成模块603;其中,获取模块601,用于获取目标对象的关键特征点的空间位置信息;关键特征点包括以下任一项:目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个材质区域的交叉点;构建模块602,用于根据获取模块601获取的关键特征点的空间位置信息,构建目标对象的空间结构模型;生成模块603,用于根据目标对象的表面中的每个材质区域对应的材质信息,填充构建模块602构建的空间结构模型,生成目标对象的三维立体模型;其中,目标对象的表面中的材质区域是基于目标对象的轮廓曲线划分的,N个材质区域的材质不同。

可选地,如图5所示,电子设备600,还包括:确定模块604,获取模块601,具体用于获取目标对象的轮廓信息,轮廓信息包括:在不同亮度场景下采集的目标对象的轮廓信息;确定模块604,用于根据获取模块601获取的轮廓信息,确定目标对象的关键特征点的空间位置信息。

可选地,如图5所示,在关键特征点为目标对象的轮廓曲线的交叉点的情况下,电子设备600,还包括:采集模块605;采集模块605,用于采集目标对象的轮廓曲线;确定模块604,用于将目标轮廓曲线的交点,作为目标对象的关键特征点;其中,目标对象的轮廓曲线的曲率小于或等于预设曲率;目标轮廓曲线为采集模块605采集的目标对象的轮廓曲线中,与其他轮廓曲线相交的轮廓曲线。

可选地,在关键特征点为目标对象的表面中的N个材质区域的交叉点的情况下,目标对象的表面包括至少两个材质区域,每个材质区域包括至少三个关键特征点;获取模块601,具体用于将第一材质区域中的任一特征点作为第一关键特征点,并将第一材质区域与第二材质区域的交叉线上的两个特征点作为第二关键特征点;其中,第一材质区域为至少两个材质区域中的任一材质区域;第二材质区域为与第一材质区域相邻的材质区域。

可选地,其特征在于,目标对象的表面包括至少两个材质区域;空间结构模型包括至少一个用于填充材质的区域;生成模块603,具体用于根据第三材质区域对应材质信息,填充空间结构模型中的目标区域,生成目标对象的三维立体模型;其中,第三材质区域为至少两个材质区域中的任一材质区域;目标区域为至少一个用于填充材质的区域中,与第三材质区域对应的区域。

需要说明的是,如图5所示,成像装置600中一定包括的模块用实线框示意,如获取模块601、构建模块602和生成模块603;成像装置600中可能包括的模块用虚线框示意,如确定模块604和采集模块605。

本申请实施例中的成像装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。

本申请实施例中的成像装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。

本申请实施例提供的成像装置能够实现图2至图4的方法实施例实现的各个过程,为避免重复,这里不再赘述。

本申请实施例提供的成像装置,首先获取目标对象的轮廓信息,根据轮廓信息确定目标对象的轮廓曲线的交叉点,或,根据轮廓信息对目标对象进行材质区域划分,并确定目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点,得到目标对象的关键特征点的空间位置信息,并根据关键点的空间位置信息,构建目标对象的空间结构模型,之后,再根据目标对象的表面中的每个材质区域对应的材质信息,填充上述空间结构模型,生成目标对象的三维立体模型。使得电子设备只需获取目标对象的关键特征点即可构建目标对象的空间结构模型,无需对摄像头采集的图像中目标对象的每个像素点进行空间位置计算,减少了电子设备的运算量。之后再使用目标对象表面的材质对应的材质信息填充上述空间结构模型,较少了建模时间,极大提升了建模效率。

可选的,如图6所示,本申请实施例还提供一种电子设备M00,包括处理器M01,存储器M02,存储在存储器M02上并可在所述处理器M01上运行的程序或指令,该程序或指令被处理器M01执行时实现上述成像方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请各个实施例的一种电子设备的硬件结构示意图。

该电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。

本领域技术人员可以理解,电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。

其中,传感器105或者输入单元104,用于获取目标对象的关键特征点的空间位置信息;关键特征点包括以下任一项:目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个材质区域的交叉点;处理器110,用于根据传感器105或者输入单元104获取的关键特征点的空间位置信息,构建目标对象的空间结构模型;显示单元106,用于根据目标对象的表面中的每个材质区域对应的材质信息,填充空间结构模型,生成目标对象的三维立体模型;其中,目标对象的表面中的材质区域是基于目标对象的轮廓曲线划分的,N个材质区域的材质不同。

如此,通过目标对象的轮廓曲线的交叉点,或,目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点,得到目标对象的关键特征点的空间位置信息,并根据关键特征点的空间位置信息,构建目标对象的空间结构模型,之后,再根据目标对象的表面中的每个材质区域对应的材质信息,填充上述空间结构模型,生成目标对象的三维立体模型。使得电子设备只需获取目标对象的关键特征点即可构建目标对象的空间结构模型,无需对摄像头采集的图像中目标对象的每个像素点进行空间位置计算,减少了电子设备的运算量。之后再使用目标对象表面的材质对应的材质信息填充上述空间结构模型,极大提升了建模效率。

可选地,传感器105或者输入单元104,具体用于获取目标对象的轮廓信息,轮廓信息包括:在不同亮度场景下采集的目标对象的轮廓信息;处理器110,用于根据传感器105或者输入单元104获取的轮廓信息,确定目标对象的关键特征点的空间位置信息。

如此,电子设备可以通过比对不同亮度场景下采集的目标对象的图像,进而得到较为准确的目标对象的轮廓信息。

可选地,在关键特征点为目标对象的轮廓曲线的交叉点的情况下,传感器105或者输入单元104,用于采集目标对象的轮廓曲线;处理器110,用于将目标轮廓曲线的交点,作为目标对象的关键特征点;其中,目标对象的轮廓曲线的曲率小于或等于预设曲率;目标轮廓曲线为传感器105或者输入单元104采集的目标对象的轮廓曲线中,与其他轮廓曲线相交的轮廓曲线。

如此,电子设备可以通过目标对象的轮廓曲线的焦点,作为上述目标特征点,进而实现对上述海量像素点的筛选,达到减少计算量的目的。

可选地,在关键特征点为目标对象的表面中的N个材质区域的交叉点的情况下,目标对象的表面包括至少两个材质区域,每个材质区域包括至少三个关键特征点;处理器110,具体用于将第一材质区域中的任一特征点作为第一关键特征点,并将第一材质区域与第二材质区域的交叉线上的两个特征点作为第二关键特征点;其中,第一材质区域为至少两个材质区域中的任一材质区域;第二材质区域为与第一材质区域相邻的材质区域。

如此,电子设备可以通过从每个材质区域中确定的三个关键特征点,构建目标对象的空间结构模型,并在生成目标对象的三维立体模型时,确定每个材质区域对应的材质在三维立体模型中填充的位置。

可选地,其特征在于,目标对象的表面包括至少两个材质区域;空间结构模型包括至少一个用于填充材质的区域;显示单元106,具体用于根据第三材质区域对应材质信息,填充空间结构模型中的目标区域,生成目标对象的三维立体模型;其中,第三材质区域为至少两个材质区域中的任一材质区域;目标区域为至少一个用于填充材质的区域中,与第三材质区域对应的区域。

如此,电子设备可以根据上述第三材质区域与空间结构模型中目标区域的对应关系,将目标对象表面每个材质区域的材质,正确填充到空间结构模型中。

本申请实施例提供的电子设备,首先获取目标对象的轮廓信息,根据轮廓信息确定目标对象的轮廓曲线的交叉点,或,根据轮廓信息对目标对象进行材质区域划分,并确定目标对象的表面中的N个相邻、且材质不同的材质区域的交叉点,得到目标对象的关键特征点的空间位置信息,并根据关键点的空间位置信息,构建目标对象的空间结构模型,之后,再根据目标对象的表面中的每个材质区域对应的材质信息,填充上述空间结构模型,生成目标对象的三维立体模型。使得电子设备只需获取目标对象的关键特征点即可构建目标对象的空间结构模型,无需对摄像头采集的图像中目标对象的每个像素点进行空间位置计算,减少了电子设备的运算量。之后再使用目标对象表面的材质对应的材质信息填充上述空间结构模型,较少了建模时间,极大提升了建模效率。

应理解的是,本申请实施例中,输入单元104可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器109可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述成像方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述成像方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台电子设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

相关技术
  • PET参数成像方法、装置、电子设备及可读存储介质
  • 成像质量检测方法、装置、电子设备及可读存储介质
技术分类

06120112325930