相机视点确定、相机视点推荐、数据处理方法及设备
文献发布时间:2023-06-19 11:57:35
技术领域
本申请涉及计算机技术领域,尤其涉及一种相机视点确定、相机视点推荐、数据处理方法及设备。
背景技术
随着科学技术的迅速发展,如产品设计、虚拟现实或增强现实、文物考古等科学领域中,对三维模型的处理场景需求越来越多。通常,三维模型可以指开发人员建立的一个三维空间的虚拟场景形成的数学模型。相机视点是指虚拟相机对三维模型进行虚拟拍摄时拍摄点所在的位置。用户观看三维模型时,一般可以观看到虚拟相机在相机视点对三维模型拍摄的二维视觉图像。为了使用户观察到三维模型更多更全面更的内容,需要确定对三维模型中的具有最佳观测效果的目标相机视点。
现有技术中,为了确定具有最佳观测效果的目标相机视点,可以在模型周围采样一些相机视点,并对每个相机视点对应的二维视觉图像进行度量,考察每个相机视点能够观察到的模型内容的情况。通常,对每个相机视点对应二维视觉图像进行度量时,一般通过二维视觉图像对三维模型的表达效果确定,从而找到对三维模型表达效果最好的相机视点作为目标相机位点。
但是,现有的二维视觉图像对三维模型的表达效果的评估结果不准确,对于一些复杂的三维模型中,获得的具有最佳观测效果的目标相机位点的准确度较低。
发明内容
本申请实施例提供了一种相机视点确定、相机视点推荐、数据处理方法及设备,用以解决现有技术中目标相机视点的评估结果不够准确,精度较差的技术问题。
于是,在本申请的第一实施例中,提供了一种相机视点确定方法,包括:
获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;
提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;
根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
在本申请的第二实施例中,提供了一种相机视点确定方法,包括:
确定多个三维模型;
针对任一个三维模型,获取虚拟相机在至少两个相机视点对所述三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;
提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;
根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点,以获得所述三维模型的目标相机视点;
基于所述多个三维模型各自的目标相机视点,确定所述多个三维模型对应的综合相机视点。
在本申请的第三实施例中,提供了一种数据处理方法,包括:
确定至少一个训练集合;其中,每个训练集合包括虚拟相机在第一训练视点对三维训练模型拍摄获得的第一训练图像以及在第二训练视点对所述三维训练模型拍摄获得的第二训练图像;每一个训练集合个训练集合对应一个训练结果;
将所述至少一个训练集合中各自的第一训练图像对应的几何特征以及表观特征进行融合,获得所述至少一个训练集合分别对应的第一训练特征;
将所述至少一个训练集合中各自的第二训练图像对应的几何特征以及表观特征进行融合,获得所述至少一个训练集合分别对应的第二训练特征;
构建视点评价模型;
基于所述至少一个训练集合分别对应的第一训练特征以及第二训练特征,结合所述至少一个训练集合各自的训练结果,训练获得所述视点评价模型的模型参数。
在本申请的第四实施例中,提供了一种相机视点推荐方法,包括:
获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;
提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;
根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点;
将所述目标相机视点推荐给目标用户,以供所述目标用户通过所述目标相机视点观测所述三维模型。
在本申请的第五实施例中,提供了一种相机视点确定设备,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件调用;
所述处理组件用于:
获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
在本申请的第六实施例中,提供了一种相机视点确定设备,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件调用;
所述处理组件用于:
确定多个三维模型;针对任一个三维模型,获取虚拟相机在至少两个相机视点对所述三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点,以获得所述三维模型的目标相机视点;基于所述多个三维模型各自的目标相机视点,确定所述多个三维模型对应的综合相机视点。
在本申请的第七实施例中,提供了一种数据处理设备,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件调用;
所述处理组件用于:
确定至少一个训练集合;其中,每个训练集合包括虚拟相机在第一训练视点对三维训练模型拍摄获得的第一训练图像以及在第二训练视点对所述三维训练模型拍摄获得的第二训练图像;每一个训练集合个训练集合对应一个训练结果;将所述至少一个训练集合中各自的第一训练图像对应的几何特征以及表观特征进行融合,获得所述至少一个训练集合分别对应的第一训练特征;将所述至少一个训练集合中各自的第二训练图像对应的几何特征以及表观特征进行融合,获得所述至少一个训练集合分别对应的第二训练特征;构建视点评价模型;基于所述至少一个训练集合分别对应的第一训练特征以及第二训练特征,结合所述至少一个训练集合各自的训练结果,训练获得所述视点评价模型的模型参数。
在本申请的第八实施例中,提供了一种相机视点推荐设备,包括:存储组件以及处理组件;所述存储组件用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件调用;
所述处理组件用于:
获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点;将所述目标相机视点推荐给目标用户,以供所述目标用户通过所述目标相机视点观测所述三维模型。
本申请实施例提供的技术方案,获取虚拟相机在至少两个相机视点对三维模型拍摄所获得的二维视觉图像,从而可以提取至少一个二维视觉图像分别对应的几何特征以及表观特征,进而根据至少两个相机视点各自的二维视觉图像分别对应的几何特征以及表观特征,确定至少两个相机视点中的目标相机视点。在对二维视觉图像进行评价时,增加了可以表达三维场景的纹理、材质、光照等特性的表观特征。通过表观特征的加入,可以以更丰富的评价基准来评价各个视点相机对三维模型的表达效果,提高评价的准确性,可以获得精度更高的目标相机视点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种相机视点确定方法的一个实施例的流程图;
图2示出了本申请提供的一种二维视觉图像的特征示例图;
图3示出了本申请提供的一种相机视点确定方法的又一个实施例的流程图;
图4示出了本申请提供的一种目标多面体获取示例图;
图5示出了本申请提供的一种相机视点确定方法的又一个实施例的流程图;
图6示出了本申请提供的一种数据处理方法的又一个实施例的流程图;
图7示出了本申请提供的一种相机视点推荐方法的一个实施例的流程图;
图8示出了本申请提供的一种相机视点的应用示例图;
图9示出了本申请提供的一种相机视点确定方法的又一个实施例的流程图;
图10示出了本申请提供的一种相机视点确定设备的一个实施例的结构示意图;
图11示出了本申请提供的一种相机视点确定设备的又一个实施例的结构示意图;
图12示出了本申请提供的一种数据处理设备的一个实施例的结构示意图;
图13示出了本申请提供的一种相机视点推荐设备的又一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
本申请实施例可以应用于三维模型的视点推荐场景中,通过将不同视点处对三维模型拍摄获得的二维视觉图像对该三维模型的几何特征以纹理等表征特征来确定最优视点。
现有技术中,为了确定具有最佳观测效果的目标相机视点,可以确定模型周围的一些采样点,并通过获取在各个采样点处对三维模型采样获得的二维视觉图像,并对各个二维视觉图像对相机视点的表达效果进行度量,例如,提取二维视觉图像中的几何特征,通过几何特征来度量二维视觉图像对三维模型的表达效果,从而获得对三维模型表达效果最好的目标相机视点。但是,由于几何特征仅能表达三维的几何特性,表达方式较为单一,针对一些较为复杂的场景,采用现有的评价方式不够准确。
为了解决上述技术问题,本申请实施例中,获取虚拟相机在至少两个相机视点对三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像,从而可以提取至少两个相机视点各自的二维视觉图像分别对应的几何特征以及表观特征,进而根据至少两个相机视点各自的二维视觉图像分别对应的几何特征以及表观特征,确定至少两个相机视点中的目标相机视点。在对二维视觉图像进行评价时,增加了可以表达三维场景的纹理、材质、光照等特性的表观特征。通过表观特征的加入,可以以更丰富的评价基准来评价各个视点相机对三维模型的表达效果,提高评价的准确性,可以获得精度更高的目标相机视点。
下面将结合附图详细介绍本申请实施例的技术方案。
如图1所示,为本申请实施例提供的一种相机视点确定方法的一个实施例的流程图,所述方法可以包括:
101:获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像。
本申请实施例可以应用于电子设备中,所述电子设备可以指笔记本电脑、增强现实/虚拟现实设备、超级移动个人计算机、上网本、电脑等,本申请实施例对电子设备的具体类型不作出任何限制。
所述虚拟相机可以对三维模型进行拍摄,在对三维模型进行分析过程中,可以设定相机视点,在相机视点可以模拟相机的拍照方式对三维模型进行拍摄,获得二维视觉图像。所述虚拟相机可以具体可以指具有相机功能的软件模块或者程序,模拟相机的拍摄功能。
所述三维模型是以数据为基础建立的具有空间、维度等内容的数学模型,三维模型具体可以指计算机中建立三维空间的虚拟场景,用户可以通过佩戴可穿戴设备等电子设备可以获得沉浸式的虚拟三维空间体验,观看立体场景。
至少一个相机点可以位于三维模型的周围,具体可以处于以所述三维模型的中心为球心,能够完全包裹该三维模型的球体对应的球面上。至少一个相机点可以均匀地分布在包括三维模型的球体对应的球面上。可以在每个相机视点对三维模型进行模拟拍照,以获得在该相机视点处的二维视觉图像。
在一些实施例中,当每个相机视点对应虚拟相机的相机内参设置相同时,每个相机视点可以对应一个二维视觉图像,用以快速衡量在相机视点处对三维模型的观测效果。
在一些实施例中,任一个相机视点对应虚拟相机的相机内参包括多个,对应多个相机内参的相机视点可以对应多个二维视觉图像。当一个相机视点对应多个相机内参时,可以获得在每个相机内参对应的虚拟相机在该相机视点拍摄获得的二维视觉图像,获得该相机视点对应的多个二维视觉图像。
102:提取至少两个相机视点各自的二维视觉图像的几何特征以及表观特征。
可选地,可以使用图像处理算法提取每个二维视觉图像的几何特征以及表观特征。每个二维视觉图像可以对应有相应的几何特征以及表观特征。
几何特征用于表述二维视觉图像中的几何特性,例如,形状、曲率、数量等。表观特征用于表述二维视觉图像中的表层特性,例如纹理、形变度、相似度等。表观特征的增加可以获得二维视觉图像对三维模型更多的表现内容,可以适用于更复杂的三维模型的视点推荐,以提高推荐的准确度。
103:根据至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
所述二维视觉图像的几何特征以及表观特征即为拍摄该二维视觉图像的虚拟相机所处的相机视点对应的几何特征以及表观特征。
可以利用每个相机视点对应的几何特征以及表观特征对该相机视点的观测效果进行评价,以从至少两个相机视点中选择出评价效果最好的目标相机视点。
本申请实施例中,获取虚拟相机在至少两个相机视点对三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像,从而可以提取至少两个相机视点各自的二维视觉图像分别对应的几何特征以及表观特征,进而根据至少两个相机视点各自的二维视觉图像分别对应的几何特征以及表观特征,确定至少两个相机视点中的目标相机视点。在对二维视觉图像进行评价时,增加了可以表达三维场景的纹理、材质、光照等特性的表观特征。通过表观特征的加入,可以以更丰富的评价基准来评价各个视点相机对三维模型的表达效果,提高评价的准确性,可以获得精度更高的目标相机视点。
作为一个实施例,任一个二维视觉图像的表观特征可以通过以下方式确定:
基于所述二维视觉图像与所述三维模型对应二维贴图的图像匹配度,确定所述二维视觉图像的表观特征。
在一种可能的设计中,三维模型对应二维贴图可以包括所述三维模型的正视图和/或侧视图。通过将二维视觉图像与二维贴图进行比较可以确定二维视觉图像的表观特征,也即具体可以包含了对三维模型的位置信息、方向信息或者角度信息等。
在又一些可能的设计中,三维模型对应二维贴图可以指建立三维模型时所使用的图像素材按照所述三维模型的结构拼接后获得的图像。
作为一种可能的实现方式,所述基于所述二维视觉图像与所述三维模型对应二维贴图的图像匹配度,确定所述二维视觉图像的表观特征可以包括:
确定所述三维模型的至少一个素材图像;
将所述至少一个素材图像按照所述三维模型的模型结构拼接形成所述三维模型的二维贴图。
在某些实施例中,所述基于所述二维视觉图像与所述三维模型对应二维贴图的图像匹配度,确定所述二维视觉图像的表观特征可以包括:
提取所述二维视觉图像的第一纹理特征点以及形态特征点;
提取所述二维贴图的第二纹理特征点;
基于所述第一纹理特征点与所述第二纹理特征点,确定所述二维视觉图像与所述二维贴图的纹理相似特征;
基于所述形态特征点形成的多边形以及所述二维贴图的形状,可以确定所述二维视觉图像与所述二维贴图的形态相似特征;
确定所述纹理相似特征以及所述形态相似特征组合形成的所述二维视觉图像的表观特征。
纹理特征点可以是基于sift算法提取出的所述二维视觉图像中的极值点,每个极值点可以以表达图像的局部特征,具有丰富的信息量,可以代表图像中的关键点,包含图像中的关键信息。
形态特征点是指三维模型在二维视觉图像中最左上角、左下角、右上角以及右下角位置处的像素点所在位置。通常二维视觉图像以二维矩阵的形式进行标识,像素点所在的位置具体可以指在图像二维矩阵中的像素点位置。形态特征点可以连接形成多边形。
可以使用相同的特征点提取算法提取二维视觉图像的第一纹理特征点以及二维贴图的第二纹理特征点,以确保第一纹理特征点与第二纹理特征点使用相同的纹理表达方式来标识图像的纹理特性,使其具有关联的一致性。
作为一种可能的实现方方式,第一纹理特征点包括至少一个,所述第二纹理特征点包括至少一个,至少一个第一纹理特征点与至少一个第二纹理特征点的特征点数量相同;
所述基于所述第一纹理特征点与所述第二纹理特征点,确定所述二维视觉图像与所述二维贴图的纹理相似特征可以包括:
将至少一个第一纹理特征点与至少一个第二纹理特征点进行特征点匹配,获得至少一个纹理特征对;其中,每一个纹理特征对包括一个第一纹理特征点以及一个第二纹理特征点;
分别确定所述至少一个纹理特征对各自的第一纹理特征点与各自的第二纹理特征点之间的特征距离,获得所述至少一个特征距离;
根据所述至少一个特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征。
每个图像的纹理特征点可能包括多个。在使用第一纹理特征点与第二纹理特征点来确定二维视觉图像与二维贴图的纹理匹配程度时,可以使用纹理特征点匹配,获得多组纹理特征对,再对多组纹理特征对之间的特征距离进行确认,以获得纹纹理相似特征。
Sift算法是一种较为常见的局部特征提取算法,在提取两个图像的纹理特征点后,可以对提取的两个图像的纹理特征点进行特征点匹配,以获得多组特征点对。对于任一个纹理特征对,可以确定所述纹理特征对对应的第一纹理特征与第二纹理特征,可以计算第一纹理特征与第二纹理特征之间的特征距离。至少一个纹理特征对各自可以对应一个特征距离,可以根据至少一个特征距离,确定纹理相似特征。
为了便于理解,如图2所示,二维视觉图像201对应的至少一个第一纹理特征点与二维贴图202对应的至少一个第二纹理特征点进行特征点匹配之后,获得的至少一个特征点对,每个特征点对通过直线将两个特征点相互连接。
进一步,可选地,所述根据所述至少一个特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征包括:
确定所述至少一个纹理特征对分别对应的特征距离中的最大特征距离以及最小特征距离;
计算所述至少一个纹理特征对分别对应的特征距离的平均特征距离;
根据所述平均特征距离以及所述至少一个纹理特征对分别对应的特征距离,计算方差特征距离;
基于所述最大特征距离、所述最小特征距离、所述平均特征距离和/或所述方差特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征。
可选地,可以将至少一个纹理特征分别对应的特征距离进行排序,再从排序后的至少一个特征距离中,确定出最大特征距离以及最小特征距离。
所述至少一个纹理特征分别对应的平均特征距离可以计算至少一个纹理特征对分别对应的特征距离之和与所述至少一个纹理特征对的数量的商获得。
方差特征距离可以根据方差公式,将平均特征距离以及至少一个纹理特征对分别对应的特征距离计算获得。所述纹理相似特征可以包括最大特征距离、最小特征距离、平均特征距离和/或方差特征距离组合形成的向量构成。例如,最大特征距离以D1,最小特征距离以D2,平均特征距离以D3,以及方差特征距离以D 4表示时,所述纹理相似特征可以表示为[D1 D2 D3 D4]。
作为又一种可能的实现方式,基于所述形态特征点形成的多边形以及所述二维贴图的形状,确定所述二维视觉图像与所述二维贴图的形态相似特征包括:
确定所述形态特征点形成的多边形对应的对角线相交标识;
计算所述多边形对应的面积与所述二维视觉图像的面积的比值,获得所述四边形的面积占比;
确定所述四边形相对所述二维贴图的形状的旋转角度;
基于所述对象线相交标识、所述面积占比和/或所述旋转角度,确定所述四边形对应的形态相似特征。
形态特征点可以指为三维模型在二维视觉图像中的关键投影点,形态特征点连接之后形成一个多边形可以将三维模型在二维视觉图像中包围,以确定三维模型在二维视觉图像中的投影形状。在图2所示的二维视觉图像中,矩形框203即为三维模型在二维视觉图像中的四个形态特征点连接形成的多边形,为三维模型在二维视觉图像中的投影形状。
作为一个实施例,任一个所述二维视觉图像的几何特征通过以下方式确定:
提取所述二维视觉图像的面积特征、轮廓特征、深度特征、稳定性特征以及曲率特征;
基于所述面积特征、所述轮廓特征、所述深度特征、所述稳定性特征和/或所述曲率特征,确定所述几何特征。
任一个二维视觉图像的几何特征可以通过提取所述二维视觉图像中的几何结构获得。几何特征可以包括:面积特征、轮廓特征、深度特征、稳定性特征和/或曲率特征。
在某些实施例中,所述面积特征包括:所述二维视觉图像中可见三角形的数量、所述三维模型在所述二维视觉图像中的面积比值和/或视点熵;所述轮廓特征包括:所述三维模型在所述二维视觉图像中的轮廓线长度、轮廓曲率、轮廓熵和/或轮廓曲率极值;所述深度特征包括:所述三维模型在所述二维视觉图像中可观测到的最远三角形与所述虚拟相机的距离对应的最大深度特征和/或可观测到的所有三角形与所述虚拟相机的距离对应的直方图分布特征;所述稳定性特征包括:所述二维视觉图像对应视点与其他视点的相似程度对应的稳定系数;所述曲率特征包括:曲率熵、可见凸起和/或投影凸起。
所述面积特征、轮廓特征、深度特征、稳定性特征和/或曲率特征通过拼接形成的特征向量可以构成几何特征。
本申请实施例中涉及到的任一种特征在具体的应用场景中可以使用向量的形式进行表示,以便于进行特征计算。
如图3所示,为本申请实施例提供的一种相机视点确定方法的一个实施例的流程图,所述方法可以包括:
301:获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像。
本申请实施例的部分步骤与前述实施例中的部分步骤相同,在此不再赘述。
302:提取至少两个相机视点各自的二维视觉图像的几何特征以及表观特征。
303:将所述至少两个相机视点各自二维视觉图像的几何特征以及表观特征进行融合,获得所述至少两个相机视点各自的融合特征。
二维视觉图像通过相机视点采集获得,每个二维视觉图像的几何特征以及表观特征即为采集该二维视觉图像对应相机视点的几何特征以及表观特征。
任一个相机视点的几何特征与表观特征可以进行融合,具体的融合方式可以是将所述相机视点的几何特征以及表观特征进行特征拼接,形成所述相机视点的融合特征。例如,假设一个相机视点的几何特征为A向量,表观特征为B向量,则所述相机视点的融合特征可以表示为[A B]。
304:根据所述至少两个相机视点各自的融合特征,确定所述至少两个相机视点中的目标相机视点。
本申请实施例中,在提取各个二维视觉图像分别对应的几何特征以及表观特征之后,可以将各个二维视觉图像分别对应的几何特征以及表观特征进行融合,获得的融合特征即为所述二维视觉图像对应相机视点的融合特征。通过向量的融合可以获得每个相机视点分别对应的融合特征,以减少相机视点对应的特征数量,可以以更全面的融合特征来代表该相机视点的拍摄内容,以提高处理效率。
作为一个实施例,所述根据所述至少两个相机视点各自的融合特征,确定所述至少两个相机视点中的目标相机视点可以包括:
根据所述至少两个相机视点各自的融合特征,对所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点;
确定所述排序后的至少两个相机视点中最优相机视点为所述目标相机视点。
每个相机视点对三维模型的观测效果或者说表达效果以融合特征为代表,通过融合特征可以将各个相机视点对三维模型的表达效果进行排序,以获得排序后的至少两个相机视点。通过对至少两个相机视点进行排序可以获得更准确的目标相机视点,提高视点选择精度。
在某些实施例中,所述根据所述至少两个相机视点各自的融合特征,对所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点可以包括:
将至少两个相机视点各自的融合特征输入打分模型,以对相机视点的评价结果进行打分,获得至少两个相机视点分别对应观测分数;将至少两个相机视点分别对应的观测分数按照从高到低的顺序进行排序,获得最高观测分数对应的相机视点为目标相机视点。通过打分模型对融合特征进行打分的方式实现方式更为简便,可以获得准确的打分。打分模型是机器学习模型,可以通过训练获得,例如可以确定至少一个训练特征,每个训练特征对应一个真实分数,可以基于至少一个训练特征以及每个训练特征对应的真实分数训练获得所述打分模型。打分模型的训练过程可以参考现有的机器学习模型的训练方法,在此不再赘述。
为了便于对相机视点的表达效果进行排序,可以将两个特征的比较问题转换为一个分类问题,通过分类问题对任意两个相机视点的融合特征进行比较,以对两个相机视点的表达效果进行比较,从而获得准确的排序结果。将多个相机视点的排序问题转换为分类问题时,需要一般是分为两类,例如,当A相机视点的融合特征对三维模型的表达效果优于B相机视点的融合特征对三维模型的表达效果时,可以认为此次输入的A融合特征以及B融合特征为第一类,输出结果为1,反之,当A相机视点的融合特征对三维模型的表达效果不优于B相机视点的融合特征对三维模型的表达效果时,可以认为此次输入的A融合特征以及B融合特征为第二类,输出结果为0。
将排序问题转换为二分类问题可以获得更准确的比较结果。由于至少两个相机视点的数量可能多于一个,例如,在一种可能的设计中,至少两个相机视点可以为162个相机视点,如果将所有相机视点均与其他相机视点进行比较,可能会导致计算量非常大,导致排序效率较低。因此,可以设置一种选择规则,从至少两个相机视点中选择能够满足至少两个相机视点均可以进行排序的至少一个视点组。每个视点组中可以包括两个不同的相机视点。
在某些实施例中,所述根据所述至少两个相机视点各自的融合特征,对所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点包括:
基于每个相机视点被选择至少一次的选择规则,从所述至少两个相机视点中选择至少一个视点组;其中,每个视点组包括第一相机视点以及第二相机视点,所述第一相机视点与所述第二相机视点不同;
将任一个视点组的第一相机视点的第一融合特征以及第二相机视点的第二融合特征输入视点评价模型,获得所述视点组的评价结果;
根据所述至少一个视点组各自的评价结果,将所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点。
基于至少两个相机视点中每个相机视点被选择至少一次的选择规则,从至少两个相机视点中选择至少一个视点组。所述选择规程中可以除包括每个相机视点被选择至少一次之外,还可以包括其他规则,例如,将每个相机视点进行编号,每个相机视点可以与其相差两个编号的相机视点组成一个视点组,如编号为1的相机视点与编号为3的相机视点组成视点组,当不存在与其相差两个编号的相机视点时,可以与其最近的相机视点组成视点组,例如,假设有162个相机视点,编号为161与编号为162的两个相机视点不存在与其相差两个编号的相机视点,此时可以将这161和162这两个编号的相机视点组成一个视点组。
视点评价模型可以是一种参数已知的机器学习模型,视点评价模型的可以由核函数以及核函数对应的模型参数构成,核函数可以包括线性核函数、多项式核函数、高斯核函数等,通过核函数以及模型参数可以对两个融合特征进行比较分类。每个视点组的评价结果可以通过评价标识来区分,例如,评价标识可以包括1和0,当评价结果为1时,可以认为该视点组的第一相机视点的观测效果优于第二相机视点,当评价结果为0时,可以认为该视点组的第一相机视点的观测效果差于第二相机视点。
进一步,可选地,所述任一个视点组的评价结果包括:所述视点组的第一相机视点优于所述视点组的第二相机视点,或者所述视点组的第二相机视点优于所述视点组的第一相机视点;
所述根据所述至少一个视点组各自的评价结果,将所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点包括:
利用排序算法,以及所述至少一个视点组各自的评价评价结果中第一相机视点与第二相机视点的比较结果,将所述至少两个相机视点进行排序,获得排序后的至少两个相机视点。
可选地,所述排序算法可以包括冒泡排序算法、选择排序算法、快速排序算法等。
在一种可能的设计中,所述视点评价模型可以包括分类模型。所述将任一个视点组的第一相机视点的第一融合特征以及第二相机视点的第二融合特征输入视点评价模型,获得所述视点组的评价结果包括:
将任一个视点组的第一相机视点的第一融合特征以及第二相机视点的第二融合特征输入所述分类模型,以获得所述分类模型对所述第一相机视点以及所述第二相机视点的分类结果;其中,所述分类结果包括第一分类标识或者第二分类标识,所述第一分类标识表示所述第一相机视点优于所述第二相机视点,所述第二分类标识表示所述第二相机视点优于所述第一相机视点。
作为一个实施例,所述方法还可以包括:
生成包裹所述三维模型的目标球体;
确定所述目标球体上的至少两个相机视点。
以所述三维模型的中心为球心,可以生成一个能够完全包裹所述三维模型的目标球体,从目标球体上选择至少两个相机视点可以确保所有的相机视点处于同一球面上,对相机视点与三维模型中心的距离进行了固定,使得对至少两个相机视点的观测效果可以不受与三维模型的距离的影响,对同一批相机视点具有相同的评价体系,以提高相机视点评价的准确度。
在一种可能的设计中,所述确定所述目标球体上的至少两个相机视点可以包括:
确定目标多面体在所述目标球体上的至少一个顶点为至少两个相机视点。
其中,所述目标多面体为正多面体。
在确定目标多面体在所述目标球体上的至少一个顶点之前,所述方法还可以包括:
确定所述目标球体的内接正十二面体;从所述正十二面体开始,不断迭代细分,将确定所述目标球体内的目标多面体。其中,所述目标多面体可以为由162个顶点构成的正多面体。
如图4所示,为一个目标球体的内接正十二面体401开始,经过诸如正多面体402的多次迭代细分,获得所述目标球体对应的162个顶点的目标多面体403。
在一种可能的设计中,如果三维模型存在历史目标相机视点,可以将三维模型的历史目标相机视点作为基础参考点,重新选择相机视点。所述确定所述目标球体上的至少两个相机视点可以包括:获取所述三维模型的历史目标相机视点,基于所述历史目标相机视点,确定所述目标球体上的至少两个相机视点。
可选地,基于所述历史目标相机视点,确定所述目标球体上的至少两个相机视点可以包括:以所述历史目标相机视点为中心,从所述目标球体上选择至少两个相机视点。例如,以所述历史目标相机视点作为内接正十二面体的顶点,使用迭代方式,不断确定目标球体的内接正多面体,获得多个相机视点。
在一些实施例中,任一个相机视点对应虚拟相机的相机内参可以包括多个,对应多个相机内参的相机视点可以对应有多个二维视觉图像。如图5所示,为本申请实施例提供的一种相机视点确定方法的又一个实施例的流程图,所述方法可以包括以下几个步骤:
501:确定虚拟相机在至少两个相机视点分别对应的多个相机内参。
502:基于所述虚拟相机在任一个相机视点对应的多个相机内参,获取所述多个相机内参对应的虚拟相机在所述相机视点对同一个三维模型拍摄获得的多个二维视觉图像,以获得所述至少两个相机视点分别对应的多个二维视觉图像。
503:提取所述至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征。
504:根据所述至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
在任一个相机视点对应多个相机内参时,可以使用每个相机内参对应的虚拟相机在该相机视点对三维模型进行拍摄,获得该相机内参以及该相机内参对应的二维视觉图像。
在一种可能的设计中,当任一个相机视点对应多个二维视觉图像时,可以对该相机时视点在不同相机内参下的拍摄效果进行单独评价,也即任一个二维视觉图像对应的几何特征以及表观特征均可以用以评价所述二维视觉图像对应相机视点以及相机内参同时对应的拍摄效果。此时,在根据至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征确定至少两个相机视点中的目标相机视点之后,还可以确定目标相机视点对应的具有最佳效果的目标二维视觉图像,以获得虚拟相机在所述目标相机视点拍摄时使用的相机内参为目标相机内参。也即,在确定目标相机视点之后,还可以确定该目标相机视点对应的目标相机内参。
在又一种可能的设计中,当任一个相机视点对应多个二维视觉图像时,可以利用所述相机视点对应的多个二维视觉图像对三维模型的整体评价结果,对该相机视点的拍摄效果进行评价,以获得在不同相机内参作用下拍摄效果综合最佳的目标相机视点。
进一步,可选地,所述根据至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征,确定至少两个相机视点中的目标相机视点可以包括:综合至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征,确定至少两个相机视点中的目标相机视点。所述综合所述至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征可以包括:将至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征加权求和,获得至少两个相机视点各自的综合特征。任一个相机视点的综合特征可以指该相机视点对应多个二维视觉图像的几何特征以及表观特征进行融合,获得所述相机视点对应多个二维视觉图像的融合特征,将所述多个二维视觉图像的融合特征进行加权求和,获得所述相机视点的综合特征。
一个相机视点可以对应多个二维视觉图像,任一个相机视点的任一个二维视觉图像可以提取表观特征以及几何特征,用以评价该相机视点的拍摄效果,具体的目标相机视点的确定方式可以参考图3所示实施例,在此不再赘述。
作为又一个实施例,可以通过相机视点拍摄三维模型的短视频,也即获得拍摄所述三维模型所获得的连续的多个二维视觉图像。可以根据三维模型的多个短视频,对各个相机视点的拍摄效果进行评价,以获得目标相机视点。所述获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像可以包括:
获取虚拟相机在至少两个相机视点对同一个三维模型拍摄获得的所述二维视觉图像,获得所述至少两个相机视点分别对应的连续的多个二维视觉图像;
所述提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征包括:
提取所述至少两个相机视点各自的连续的多个二维视觉图像的几何特征以及表观特征;
所述根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点包括:
根据至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
使用相机视点拍摄的多个连续的二维视觉图像对不同的相机视点的拍摄效果进行评价,可以提供更多地图像素材,提高评价的准确度。
可选地,获得至少两个相机视点分别对应的连续的多个二维视觉图像之后,可以从每个相机视点对应的多个二维视觉图像中选择关键图像,所述提取所述至少两个相机视点各自的连续的多个二维视觉图像的几何特征以及表观特征可以包括:提取所述至少两个相机视点各自的关键图像的几何特征以及表观特征。所述根据至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点可以包括:根据至少两个相机视点各自的关键图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
如图6所示,为本申请实施例提供的一种数据处理方法的一个实施例的流程图,所述方法可以包括:
601:确定至少一个训练集合。
其中,每个训练集合包括虚拟相机在第一训练视点对三维训练模型拍摄获得的第一训练图像以及在第二训练视点对所述三维训练模型拍摄获得的第二训练图像;每一个训练集合对应一个训练结果。
602:将至少一个训练集合中各自的第一训练图像对应的几何特征以及表观特征进行融合,获得所述至少一个训练集合分别对应的第一训练特征。
603:将至少一个训练集合中各自的第二训练图像对应的几何特征以及表观特征进行融合,获得所述至少一个训练集合分别对应的第二训练特征。
604:构建视点评价模型。
605:基于所述至少一个训练集合分别对应的第一训练特征以及第二训练特征,结合所述至少一个训练集合各自的训练结果,训练获得所述视点评价模型的模型参数。
本申请实施例中,在训练视点评价模型时,使用与前述实施例中相同的相机视点对应融合特征的获取方式获取相应的训练特征,以确保训练获得准确的视点评价模型,使其适用于前述实施例中所涉及的视点评价模型。也即前述实施例中使用的视点评价模型为本申请实施例中训练获得的模型参数已知的视点评价模型。
作为一个实施例,所述基于所述至少一个训练集合分别对应的第一训练特征以及第二训练特征,结合所述至少一个训练集合各自的训练结果,训练获得所述视点评价模型的模型参数包括:
初始化所述视点评价模型的参考模型参数。
将所述至少一个训练集合各自的第一训练特征以及第二训练特征,依次输入所述参考模型参数对应的视点评价模型,获得至少一个预测结果。
基于至少一个预测结果以及所述至少一个训练集合各自的训练结果,确定所述参考模型参数对应视点评价模型的预测误差;
判断所述预测误差是否满足约束目标;
如果满足,确定当前的所述参考模型参数为所述视点评价模型的模型参数;
如果不满足,基于所述预测误差最小的约束目标,调整所述参考模型参数,并返回至所述将所述至少一个训练集合各自的第一训练特征以及第二训练特征,依次输入所述参考模型参数对应的视点评价模型,获得至少一个预测结果的步骤继续执行。
在某些实施例中,所述视点评价模型包括分类模型;所述至少一个训练集合各自的训练结果包括:至少一个训练集合各自的分类标识;所述分类标识包括第一分类标识或第二分类标识;
所述将所述至少一个训练集合各自的第一训练特征以及第二训练特征,依次输入所述参考模型参数对应视点评价模型,获得至少一个预测结果包括:
将所述至少一个训练集合各自的第一训练特征以及第二训练特征,依次输入所述参考模型参数对应视点评价模型,获得至少一个预测分类标识;其中,所述预测分类标识包括第一分类标识或第二分类标识;
所述基于所述至少一个预测结果以及所述至少一个训练集合各自的训练结果,确定所述参考模型参数对应视点评价模型的预测误差包括:
基于所述至少一个训练集合分别对应的预测分类标识以及分类标识,确定所述参考模型参数对应视点评价模型的预测误差。
其中,所述第一分类标识表示第一训练特征对应第一相机视点由于第二训练特征对应第二相机视点,所述第二分类标识表示第二训练特征对应第二相机视点优于第一训练特征对应第一相机视点。
作为一种可能的实现方式,所述基于所述至少一个训练集合分别对应的预测分类标识以及分类标识,确定所述参考模型参数对应视点评价模型的预测误差包括:
根据所述至少一个训练集合各自的预测分类标识以及分类标识的比较结果,确定所述参考模型参数对应视点评价模型的预测误差。
作为一个实施例,所述任一个训练图像的表观特征通过以下方式确定:
基于所述训练图像与所述三维训练模型对应二维贴图的图像匹配度,确定所述训练图像的表观特征。
任一个训练图像的表观特征的确定方式与前述实施例中表观特征的提取方式相同。在此不再赘述。
在某些实施例中,所述基于所述训练图像与所述三维训练模型对应二维贴图的图像匹配度,确定所述训练图像的表观特征可以包括:
提取所述训练图像的第三纹理特征点以及形态特征点;
提取所述三维训练模型对应二维贴图的第四纹理特征点;
基于所述第三纹理特征点与所述第四纹理特征点,确定所述训练图像与所述三维训练模型对应二维贴图的纹理相似特征;
基于所述形态特征点形成的多边形以及所述三维训练模型对应二维贴图的形状,确定所述二维视觉图像与所述三维训练模型对应二维贴图的形态相似特征。
确定所述纹理相似特征以及所述形态相似特征组合形成的所述训练图像的表观特征。
作为一种可能的实现方式,所述第三纹理特征点包括至少一个,所述第四纹理特征点包括至少一个;所述第三纹理特征点与所述第四纹理特征点的特征点数量相同。
所述基于所述第三纹理特征点与所述第四纹理特征点,确定所述训练图像与所述三维训练模型对应二维贴图的纹理相似特征包括:
将至少一个第三纹理特征点与至少一个第四纹理特征点进行特征点匹配,获得至少一个纹理特征对;其中,每一个纹理特征对包括一个第三纹理特征点以及一个第四纹理特征点;
分别确定所述至少一个纹理特征对各自的第三纹理特征点与各自的第四纹理特征点之间的特征距离,获得所述至少一个特征距离;
根据所述至少一个特征距离,确定所述训练图像与所述三维训练模型对应二维贴图的纹理相似特征。
进一步,可选地,所述根据所述至少一个特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征可以包括:
确定所述至少一个纹理特征对分别对应的特征距离中的最大特征距离以及最小特征距离;
计算所述至少一个纹理特征对分别对应的特征距离的平均特征距离;
根据所述平均特征距离以及所述至少一个纹理特征对分别对应的特征距离,计算方差特征距离;
基于所述最大特征距离、所述最小特征距离、所述平均特征距离和/或所述方差特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征。
作为一种可能的实现方式,所述基于所述形态特征点形成的多边形以及所述三维训练模型对应二维贴图的形状,确定所述二维视觉图像与所述三维训练模型对应二维贴图的形态相似特征包括:
确定所述形态特征点形成的多边形对应的对角线相交标识;
计算所述多边形对应的面积与所述训练图像的面积的比值,获得所述四边形的面积占比;
确定所述四边形相对所述三维训练模型对应二维贴图的形状的旋转角度;
基于所述对象线相交标识、所述面积占比和/或所述旋转角度,确定所述四边形对应的形态相似特征。
进一步,可选地,所述三维训练模型对应二维贴图可以通过以下方式确定:
确定所述三维训练模型的至少一个素材图像;
将所述至少一个素材图像按照所述三维训练模型的模型结构拼接形成所述三维训练模型的二维贴图。
作为一个实施例,任一个训练图像的几何特征可以通过以下方式确定:
提取所述训练图像的面积特征、轮廓特征、深度特征、稳定性特征以及曲率特征;基于所述面积特征、所述轮廓特征、所述深度特征、所述稳定性特征和/或所述曲率特征,确定所述训练图像几何特征。
进一步,可选地,所述面积特征包括:所述二维视觉图像中可见三角形的数量、所述三维模型在所述二维视觉图像中的面积比值和/或视点熵;所述轮廓特征包括:所述三维模型在所述二维视觉图像中的轮廓线长度、轮廓曲率、轮廓熵和/或轮廓曲率极值;所述深度特征包括:所述三维模型在所述二维视觉图像中可观测到的最远三角形与所述虚拟相机的距离对应的最大深度特征和/或可观测到的所有三角形与所述虚拟相机的距离对应的直方图分布特征;所述稳定性特征包括:所述二维视觉图像对应视点与其他视点的相似程度对应的稳定系数;所述曲率特征包括:曲率熵、可见凸起和/或投影凸起。
如图7所示,为本申请实施例提供的一种相机视点推荐方法的一个实施例的流程图,所述方法可以包括:
701:获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像。
702:提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征。
703:根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
704:将所述目标相机视点推荐给目标用户,以供所述目标用户通过所述目标相机视点观测所述三维模型。
本申请实施例中,在获得观测效果最佳的目标相机视点之后,可以将目标相机视点推荐给用户,从而实现相机视点从选择到应用的整体推荐,为目标用户提供了观测效果最佳的目标相机视点,使用户不再需要人工选择合适的相机视点,以提高相机视点推荐精度以及速度,便于目标用户使用。
为了便于理解,以虚拟试衣场景为例对本申请实施例的技术方案进行详细介绍。虚拟试衣是以人体数据构建的三维模型为基础,将服装图像作为素材粘贴到人体三维模型上。也即,本申请实施例所涉及的三维模型为人体三维模型。用户使用虚拟试衣主要是为了查看服装在人体上的实际穿着效果,为了获得更好地试衣观察效果,一般需要为粘贴好服装图像的人体三维模型选择最佳的观测视点,该观测视点即为本申请实施例中的目标相机视点。
如图8所示,以用户使用的用户端为笔记本M1,本申请实施例提供的目标相机视点通过与所述用户端建立通信连接的服务器M2为例详细说明本申请实施例提供的技术方案的一个应用示例。
在本申请实施例中,用户可以通过用户端M1将用户的人体数据,例如,身高、体重、三围等数据传输S801到服务器M2。
所述服务器M2可以接收用户端M1发送人体数据以及选择的服装,并基于该数据建立一个人体的三维模型S802,并将用户选择的服装粘贴到该人体三维模型上,为了便于理解,图8中示出了一个附着有服装的人体三维模型ME的示例图。之后,服务器M2可以确定针对该三维模型的至少两个相机视点,并获取虚拟相机在所述至少两个相机点对所述三维模型拍摄所获得的二维视觉图像,获得S803所述至少两个相机视点分别对应的二维视觉图像。图8中,展示了两个相机视点拍摄获得的二维视觉图像I1以及二维视觉图像I2。
之后,服务器M2可以获取所述至少两个相机视点各自的二维视觉图像,例如,I1以及I2,的几何特征以及表观特征,并根据至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定S805所述至少两个相机视点中的目标相机视点。以I1以及I2为例,步骤S804以及步骤S805处理后,假设确定I1对应的相机视点为目标相机视点时,可以将该目标相机视点S806推荐给用户,用户通过该目标相机视点,即可以观测到与目标相机视点相对应的三维模型。
在一个大的虚拟场景中,可能同时存在多个三维模型,例如,对于一个虚拟的房间场景而言,该房间内可能存在桌子、床、衣橱等多个三维场景,对于多个三维场景而言,可以将多个三维场景的目标相机视点综合处理,以获得综合观测效果更好的综合相机视点。
如图9所示,为本申请实施例提供的一种相机视点确定方法的又一个实施例的流程图,所述方法可以包括:
901:确定多个三维模型。
902:针对任一个三维模型,获取虚拟相机在至少两个相机视点对所述三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像。
903:提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征。
904:根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点,以获得所述三维模型的目标相机视点。
905:基于所述多个三维模型各自的目标相机视点,确定所述多个三维模型对应的综合相机视点。
本申请实施例中二维视觉图像的几何特征以及表观特征的获取步骤与前述实施例相同,在此不再赘述。
在一些实施例中,所述基于所述多个三维模型各自的目标相机视点,确定所述多个三维模型对应的综合相机视点可以包括:将多个三维模型各自的目标相机视点转换至世界坐标系中,获得多个世界视点;确定所述多个世界视点组成的多面体或者多边型的中心为所述多个三维模型对应的综合相机视点。
在又一些实施例中,所述基于所述多个三维模型各自的目标相机视点,确定所述多个三维模型对应的综合相机视点可以包括:将多个三维模型各自的目标相机视点进行加权求和,获得加权结果为所述多个三维模型对应的综合相机视点。将所述多个三维模型各自的目标相机视点进行加权求和时,可以将所述多个三维模型各自的目标相机视点映射到世界坐标系中,获得多个世界坐标点,并将所述多个世界坐标点进行加权求和,获得加权结果。
如图10所示,为本申请实施例提供的一种相机视点确定设备的一个实施例的结构示意图,所述设备包括:存储组件1001以及处理组件1002;所述存储组件1001用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件1002调用;
所述处理组件1002用于:
获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
作为一个实施例,所述处理组件可以通过以下方式确定任一个所述二维视觉图像的表观特征:
基于所述二维视觉图像与所述三维模型对应二维贴图的图像匹配度,确定所述二维视觉图像的表观特征。
在某些实施例中,所述处理组件基于所述二维视觉图像与所述二维贴图的图像匹配度,确定所述二维视觉图像的表观特征具体可以是:
提取所述二维视觉图像的第一纹理特征点以及形态特征点;
提取所述二维贴图的第二纹理特征点;
基于所述第一纹理特征点与所述第二纹理特征点,确定所述二维视觉图像与所述二维贴图的纹理相似特征;
基于所述形态特征点形成的多边形以及所述二维贴图的形状,确定所述二维视觉图像与所述二维贴图的形态相似特征;
确定所述纹理相似特征以及所述形态相似特征组合形成的所述二维视觉图像的表观特征。
作为一种可能的实现方式,所述第一纹理特征点包括至少一个,所述第二纹理特征点包括至少一个,至少一个第一纹理特征点与至少一个第二纹理特征点的特征点数量相同;
所述处理组件基于所述第一纹理特征点与所述第二纹理特征点,确定所述二维视觉图像与所述二维贴图的纹理相似特征具体可以是:
将至少一个第一纹理特征点与至少一个第二纹理特征点进行特征点匹配,获得至少一个纹理特征对;其中,每一个纹理特征对包括一个第一纹理特征点以及一个第二纹理特征点;
分别确定所述至少一个纹理特征对各自的第一纹理特征点与各自的第二纹理特征点之间的特征距离,获得所述至少一个特征距离;
根据所述至少一个特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征。
进一步,可选地,所述处理组件根据所述至少一个特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征具体可以是:
确定所述至少一个纹理特征对分别对应的特征距离中的最大特征距离以及最小特征距离;
计算所述至少一个纹理特征对分别对应的特征距离的平均特征距离;
根据所述平均特征距离以及所述至少一个纹理特征对分别对应的特征距离,计算方差特征距离;
基于所述最大特征距离、所述最小特征距离、所述平均特征距离和/或所述方差特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征。
在某些实施例中,所述处理组件基于所述形态特征点形成的多边形以及所述二维贴图的形状,确定所述二维视觉图像与所述二维贴图的形态相似特征具体可以是:
确定所述形态特征点形成的多边形对应的对角线相交标识;
计算所述多边形对应的面积与所述二维视觉图像的面积的比值,获得所述四边形的面积占比;
确定所述四边形相对所述二维贴图的形状的旋转角度;
基于所述对象线相交标识、所述面积占比和/或所述旋转角度,确定所述四边形对应的形态相似特征。
作为一个实施例,所述处理组件还用于:
确定所述三维模型的至少一个素材图像;
将所述至少一个素材图像按照所述三维模型的模型结构拼接形成所述三维模型的二维贴图。
作为一个实施例,所述处理组件通过以下方式确定任一个所述二维视觉图像的几何特征:
提取所述二维视觉图像的面积特征、轮廓特征、深度特征、稳定性特征以及曲率特征;
基于所述面积特征、所述轮廓特征、所述深度特征、所述稳定性特征和/或所述曲率特征,确定所述几何特征。
进一步,可选地,所述面积特征包括:所述二维视觉图像中可见三角形的数量、所述三维模型在所述二维视觉图像中的面积比值和/或视点熵;所述轮廓特征包括:所述三维模型在所述二维视觉图像中的轮廓线长度、轮廓曲率、轮廓熵和/或轮廓曲率极值;所述深度特征包括:所述三维模型在所述二维视觉图像中可观测到的最远三角形与所述虚拟相机的距离对应的最大深度特征和/或可观测到的所有三角形与所述虚拟相机的距离对应的直方图分布特征;所述稳定性特征包括:所述二维视觉图像对应视点与其他视点的相似程度对应的稳定系数;所述曲率特征包括:曲率熵、可见凸起和/或投影凸起。
作为又一个实施例,所述处理组件根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点具体可以是:
将所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征进行融合,获得所述至少两个相机视点各自的融合特征;
根据所述至少两个相机视点各自的融合特征,确定所述至少两个相机视点中的目标相机视点。
在某些实施例中,所述处理组件根据所述至少两个相机视点各自的融合特征,确定所述至少两个相机视点中的目标相机视点具体可以是:
根据所述至少两个相机视点各自的融合特征,对所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点;
确定所述排序后的至少两个相机视点中最优相机视点为所述目标相机视点。
作为一种可能的实现方式,所述处理组件根据所述至少两个相机视点各自的融合特征,对所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点具体可以是:
基于每个相机视点被选择至少一次的选择规则,从所述至少两个相机视点中选择至少一个视点组;其中,每个视点组包括第一相机视点以及第二相机视点,所述第一相机视点与所述第二相机视点不同;
将任一个视点组的第一相机视点的第一融合特征以及第二相机视点的第二融合特征输入视点评价模型,获得所述视点组的评价结果;
根据所述至少一个视点组各自的评价结果,将所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点。
进一步,可选地,所述任一个视点组的评价结果包括:所述视点组的第一相机视点优于第二相机视点,或者所述视点组的第二相机视点优于第一相机视点;
所述处理组件根据所述至少一个视点组各自的评价结果,将所述至少两个相机视点对所述三维模型的表达效果进行排序,获得排序后的至少两个相机视点具体可以是:
利用排序算法,以及所述至少一个视点组各自的评价结果中第一相机视点以及第二相机视点的比较结果,将所述至少两个相机视点进行排序,获得排序后的至少两个相机视点。
在一种可能的设计中,所述视点评价模型包括分类模型;
所述处理组件将任一个视点组的第一相机视点的第一融合特征以及第二相机视点的第二融合特征输入视点评价模型,获得所述视点组的评价结果具体可以是:
将任一个视点组的第一相机视点的第一融合特征以及第二相机视点的第二融合特征输入所述分类模型,以获得所述分类模型对所述第一相机视点以及所述第二相机视点的分类结果;其中,所述分类结果包括第一分类标识或者第二分类标识,所述第一分类标识表示所述第一相机视点优于所述第二相机视点,所述第二分类标识表示所述第二相机视点优于所述第一相机视点。
作为又一个实施例,所述处理组件还可以用于:
生成包裹所述三维模型的目标球体;
确定所述目标球体上的至少两个相机视点。
进一步,可选地,所述处理组件确定所述目标球体上的至少两个相机视点具体可以是:
确定目标多面体在所述目标球体上的至少一个顶点为所述至少两个相机视点。
作为一种可能的实现方式,所述处理组件确定所述目标球体上的至少两个相机视点具体可以是:
获取所述三维模型的历史目标相机视点;
基于所述历史目标相机视点,确定所述目标球体上的至少两个相机视点。
作为一个实施例,所述处理组件获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像具体可以是:
确定所述虚拟相机在至少两个相机视点分别对应的多个相机内参;
基于所述虚拟相机在任一个相机视点对应的多个相机内参,获取所述多个相机内参对应的虚拟相机在所述相机视点对同一个三维模型拍摄获得的多个二维视觉图像,以获得所述至少两个相机视点分别对应的多个二维视觉图像;
所述处理组件提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征具体可以是:
提取所述至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征;
所述处理组件根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点具体可以是:
根据所述至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
作为又一个实施例,所述处理组件获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像具体可以是:
获取虚拟相机在至少两个相机视点对同一个三维模型拍摄获得的所述二维视觉图像,获得所述至少两个相机视点分别对应的连续的多个二维视觉图像;
所述处理组件提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征具体可以是:
提取所述至少两个相机视点各自的连续的多个二维视觉图像的几何特征以及表观特征;
所述处理组件根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点具体可以是:
根据至少两个相机视点各自的多个二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点。
此外,本申请实施例还提供一种存储介质,所述存储介质为计算机可读存储介质,存储有计算机程序;所述计算机程序使计算机执行时实现上述的任一相机视点确定方法。
本申请实施例中所述的相机视点确定设备可以执行上述实施例中所述的相机视点确定方法,其实现原理和技术效果不再赘述。对于上述实施例中的相机视点确定设备其中的处理组件所执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
如图11所示,为本申请实施例提供的一种相机视点确定设备的又一个实施例的结果示意图,所述设备包括:存储组件1101以及处理组件1102;所述存储组件1101用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件1102调用;
所述处理组件1102用于:
确定多个三维模型;针对任一个三维模型,获取虚拟相机在至少两个相机视点对所述三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点,以获得所述三维模型的目标相机视点;基于所述多个三维模型各自的目标相机视点,确定所述多个三维模型对应的综合相机视点。
此外,本申请实施例还提供一种存储介质,所述存储介质为计算机可读存储介质,存储有计算机程序;所述计算机程序使计算机执行时实现上述的任一相机视点确定方法。
本申请实施例中所述的相机视点确定设备可以执行上述实施例中所述的相机视点确定方法,其实现原理和技术效果不再赘述。对于上述实施例中的相机视点确定设备其中的处理组件所执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
如图12所示,为本申请实施例提供的一种数据处理设备的一个实施例的结构示意图,所述设备包括:存储组件1201以及处理组件1202;所述存储组件1201用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件1202调用;
所述处理组件1202用于:
确定至少一个训练集合;其中,每个训练集合包括虚拟相机在第一训练视点对三维训练模型拍摄获得的第一训练图像以及在第二训练视点对所述三维训练模型拍摄获得的第二训练图像;每一个训练集合个训练集合对应一个训练结果;将所述至少一个训练集合中各自的第一训练图像对应的几何特征以及表观特征进行融合,获得所述至少一个训练集合分别对应的第一训练特征;将所述至少一个训练集合中各自的第二训练图像对应的几何特征以及表观特征进行融合,获得所述至少一个训练集合分别对应的第二训练特征;构建视点评价模型;基于所述至少一个训练集合分别对应的第一训练特征以及第二训练特征,结合所述至少一个训练集合各自的训练结果,训练获得所述视点评价模型的模型参数。
作为一个实施例,所述处理组件基于所述至少一个训练集合分别对应的第一训练特征以及第二训练特征,结合所述至少一个训练集合各自的训练结果,训练获得所述视点评价模型的模型参数具体可以是:
初始化所述视点评价模型的参考模型参数;
将所述至少一个训练集合各自的第一训练特征以及第二训练特征,依次输入所述参考模型参数对应视点评价模型,获得至少一个预测结果;
基于所述至少一个预测结果以及所述至少一个训练集合各自的训练结果,确定所述参考模型参数对应视点评价模型的预测误差;
判断所述预测误差是否满足约束目标;
如果满足,确定当前的所述参考模型参数为所述视点评价模型的模型参数;
如果不满足,基于所述预测误差最小的约束目标,调整所述参考模型参数,并返回至所述将所述至少一个训练集合各自的第一训练特征以及第二训练特征依次输入所述参考模型参数对应视点评价模型中,获得所述至少一个预测结果的步骤继续执行。
作为一种可能的实现方式,所述视点评价模型包括分类模型;所述至少一个训练集合各自的训练结果包括:至少一个训练集合各自的分类标识;所述分类标识包括:第一分类标识或第二分类标识;
所述处理组件将所述至少一个训练集合各自的第一训练特征以及第二训练特征,依次输入所述参考模型参数对应视点评价模型,获得至少一个预测结果具体可以是:
将所述至少一个训练集合各自的第一训练特征以及第二训练特征依次输入所述参考模型参数对应视点评价模型,获得至少一个预测分类标识;其中,所述预测分类标识包括第一分类标识或第二分类标识;
所述基于所述至少一个预测结果以及所述至少一个训练集合各自的训练结果,确定所述参考模型参数对应视点评价模型的预测误差包括:
基于所述至少一个训练集合分别对应的预测分类标识以及分类标识,确定所述参考模型参数对应视点评价模型的预测误差。
进一步,可选地,所述处理组件基于所述至少一个训练集合分别对应的预测分类标识以及分类标识,确定所述参考模型参数对应视点评价模型的预测误差具体可以是:
根据所述至少一个训练集合各自的预测分类标识以及分类标识的比较结果,确定所述参考模型参数对应所述视点评价模型的预测误差。
在某些实施例中,所述处理组件通过以下方式确定任一个训练图像的表观特征:
基于所述训练图像与所述三维训练模型对应二维贴图的图像匹配度,确定所述训练图像的表观特征。
作为一种可能的实现方式,所述处理组件基于所述训练图像与所述三维训练模型对应二维贴图的图像匹配度,确定所述训练图像的表观特征具体可以是:
提取所述训练图像的第三纹理特征点以及形态特征点;
提取所述三维训练模型对应二维贴图的第四纹理特征点;
基于所述第三纹理特征点与所述第四纹理特征点,确定所述训练图像与所述三维训练模型对应二维贴图的纹理相似特征;
基于所述形态特征点形成的多边形以及所述三维训练模型对应二维贴图的形状,确定所述二维视觉图像与所述三维训练模型对应二维贴图的形态相似特征。
确定所述纹理相似特征以及所述形态相似特征组合形成的所述训练图像的表观特征。
作为一种可能的实现方式,所述第三纹理特征点包括至少一个,所述第四纹理特征点包括至少一个;所述第三纹理特征点与所述第四纹理特征点的特征点数量相同。
所述处理组件基于所述第三纹理特征点与所述第四纹理特征点,确定所述训练图像与所述三维训练模型对应二维贴图的纹理相似特征具体可以是:
将至少一个第三纹理特征点与至少一个第四纹理特征点进行特征点匹配,获得至少一个纹理特征对;其中,每一个纹理特征对包括一个第三纹理特征点以及一个第四纹理特征点;
分别确定所述至少一个纹理特征对各自的第三纹理特征点与各自的第四纹理特征点之间的特征距离,获得所述至少一个特征距离;
根据所述至少一个特征距离,确定所述训练图像与所述三维训练模型对应二维贴图的纹理相似特征。
进一步,可选地,所述处理组件根据所述至少一个特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征可以是:
确定所述至少一个纹理特征对分别对应的特征距离中的最大特征距离以及最小特征距离;
计算所述至少一个纹理特征对分别对应的特征距离的平均特征距离;
根据所述平均特征距离以及所述至少一个纹理特征对分别对应的特征距离,计算方差特征距离;
基于所述最大特征距离、所述最小特征距离、所述平均特征距离和/或所述方差特征距离,确定所述二维视觉图像与所述二维贴图之间的纹理相似特征。
作为一种可能的实现方式,所述处理组件基于所述形态特征点形成的多边形以及所述三维训练模型对应二维贴图的形状,确定所述二维视觉图像与所述三维训练模型对应二维贴图的形态相似特征可以是:
确定所述形态特征点形成的多边形对应的对角线相交标识;
计算所述多边形对应的面积与所述训练图像的面积的比值,获得所述四边形的面积占比;
确定所述四边形相对所述三维训练模型对应二维贴图的形状的旋转角度;
基于所述对象线相交标识、所述面积占比和/或所述旋转角度,确定所述四边形对应的形态相似特征。
进一步,可选地,所述处理组件可以通过以下方式确定三维训练模型对应二维贴图:
确定所述三维训练模型的至少一个素材图像;
将所述至少一个素材图像按照所述三维训练模型的模型结构拼接形成所述三维训练模型的二维贴图。
作为一个实施例,所述处理组件可以通过以下方式确定任一个训练图像的几何特征:
提取所述训练图像的面积特征、轮廓特征、深度特征、稳定性特征以及曲率特征;基于所述面积特征、所述轮廓特征、所述深度特征、所述稳定性特征和/或所述曲率特征,确定所述训练图像几何特征。
进一步,可选地,所述面积特征包括:所述二维视觉图像中可见三角形的数量、所述三维模型在所述二维视觉图像中的面积比值和/或视点熵;所述轮廓特征包括:所述三维模型在所述二维视觉图像中的轮廓线长度、轮廓曲率、轮廓熵和/或轮廓曲率极值;所述深度特征包括:所述三维模型在所述二维视觉图像中可观测到的最远三角形与所述虚拟相机的距离对应的最大深度特征和/或可观测到的所有三角形与所述虚拟相机的距离对应的直方图分布特征;所述稳定性特征包括:所述二维视觉图像对应视点与其他视点的相似程度对应的稳定系数;所述曲率特征包括:曲率熵、可见凸起和/或投影凸起。
此外,本申请实施例还提供一种存储介质,所述存储介质为计算机可读存储介质,存储有计算机程序;所述计算机程序使计算机执行时实现上述的任一数据处理方法。
本申请实施例中所述的数据处理设备可以执行上述实施例中所述的数据处理方法,其实现原理和技术效果不再赘述。对于上述实施例中的数据处理设备其中的处理组件所执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
如图13所示,为本申请实施例提供的一种相机视点推荐设备的一个实施例的流程图,所述设备可以包括:存储组件1301以及处理组件1302;所述存储组件1301用于存储一条或多条计算机指令,所述一条或多条计算机指令用于被所述处理组件1302调用;
所述处理组件1302用于:
获取虚拟相机在至少两个相机视点对同一个三维模型拍摄所获得的二维视觉图像,获得所述至少两个相机视点分别对应的二维视觉图像;提取所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征;根据所述至少两个相机视点各自的二维视觉图像的几何特征以及表观特征,确定所述至少两个相机视点中的目标相机视点;将所述目标相机视点推荐给目标用户,以供所述目标用户通过所述目标相机视点观测所述三维模型。
此外,本申请实施例还提供一种存储介质,所述存储介质为计算机可读存储介质,存储有计算机程序;所述计算机程序使计算机执行时实现上述的相机视点推荐方法。
本申请实施例中所述的相机视点推荐设备可以执行上述实施例中所述的相机视点推荐方法,其实现原理和技术效果不再赘述。对于上述实施例中的相机视点推荐设备其中的处理组件所执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
- 相机视点确定、相机视点推荐、数据处理方法及设备
- 汇聚式相机的多视点采集/显示系统中新视点重建方法