高精度3D模型生成方法和系统

技术领域

本发明属于三维数字模型生成技术领域，具体涉及一种高精度3D模型生成方法和系统。

背景技术

现代影视剧的创作中，使用计算机创建的视觉效果（简称视效制作）是其中非常重要的一个组成部分。数字模型的制作是视效制作的基础工作之一。基于图像的扫描模型是数字模型制作的一种重要方法。

现有的基于图像的扫描模型技术主要是通过数码相机对物体进行360度拍摄大量图片，然后在软件中对这些照片进行比对，查找图片里的特征点元素，追踪这些特征点在照片间的位置数据，根据这些特征点计算生成三维空间里物体的点云，最后再基于点云生成网格模型。

基于图像的扫描模型方法其生成模型的效果与使用的图像质量直接相关。在现实中直接使用数码相机拍摄的图片存在以下问题：

为了得到高画质而使用全画幅相机搭配大光圈镜头进行图片拍摄容易产生浅景深效果，导致图像主体上的部分像素产生模糊虚化，会对图像主体特征点的识别造成负面影响。

拍摄的图像画面内容中存在大量非主体物的环境信息，不仅影响模型主体物的识别，还会导致生成的模型附带有环境的部分，这带来了额外的计算量以及后续清理环境模型的工作。

发明内容

本发明提供了一种高精度3D模型生成方法和系统解决上述提到的技术问题，具体采用如下的技术方案：

一种高精度3D模型生成方法，包含以下步骤：

采集训练图像集，所述图像集包含若干训练图像；

对所述训练图像集中的每个训练图像进行标记；

获取所述训练图像集中的每个训练图像的特征参量；

通过标记好的所述训练图像集以及对应特征参量对模糊区域分类模型进行训练；

采集待建模目标的若干建模图像；

获取若干所述建模图像的特征参量；

将若干所述建模图像和其对应的特征参量输入训练好的模糊区域分类模型得到模糊度标记结果；

对标记好的若干所述建模图像进行主体分割；

通过分割后的所述建模图像和模糊度标记建立三维数字模型，在建立所述三维数字模型的过程中根据模糊度标记确定所述建模图像不同区域的参与度。

进一步地，所述获取所述训练图像集中的每个训练图像的特征参量的具体方法为：

计算所述训练图像的奇异值向量；

对所述训练图像的进行余弦变换得到所述训练图像的余弦变换非零系数个数；

将所述训练图像的奇异值向量和余弦变换非零系数个数作为所述特征参量。

进一步地，所述模糊区域分类模型为BP神经网络模型。

进一步地，所述对标记好的若干所述建模图像进行主体分割的具体方法为：

将待建模目标的建模图像和主体模型关键词输入SAM模型进行主体分割。

进一步地，在所述获取若干所述建模图像的特征参量之前，所述高精度3D模型生成方法还包含：

对所述建模图像进行预处理。

一种高精度3D模型生成系统，包含：

图像采集模块，用于采集训练图像集，所述图像集包含若干训练图像；

图像标记模块，用于对所述训练图像集中的每个训练图像进行标记；

特征获取模块，用于获取所述训练图像集中的每个训练图像的特征参量；

模糊识别模块，包含模糊区域分类模型，通过标记好的所述训练图像集以及对应特征参量对模糊区域分类模型进行训练；

通过所述图像采集模块采集待建模目标的若干建模图像，通过所述特征获取模块获取若干所述建模图像的特征参量，将若干所述建模图像和其对应的特征参量输入所述模糊识别模块，所述模糊识别模块通过训练好的模糊区域分类模型对其进行处理得到模糊度标记结果；

主体分割模块，用于对标记好的若干所述建模图像进行主体分割；

模型生成模块，用于通过分割后的所述建模图像和模糊度标记建立三维数字模型，在建立所述三维数字模型的过程中根据模糊度标记确定所述建模图像不同区域的参与度。

进一步地，通过所述特征获取模块获取所述训练图像集中的每个训练图像的特征参量的具体方法为：

计算所述训练图像的奇异值向量；

对所述训练图像的进行余弦变换得到所述训练图像的余弦变换非零系数个数；

将所述训练图像的奇异值向量和余弦变换非零系数个数作为所述特征参量。

进一步地，所述模糊区域分类模型为BP神经网络模型。

进一步地，所述主体分割模块包含SAM模型，将待建模目标的建模图像和主体模型关键词输入所述主体分割模块，所述主体分割模块通过所述SAM模型对所述建模图像进行主体分割。

进一步地，所述高精度3D模型生成系统还包含：

图像处理模块，用于对所述建模图像进行预处理。

本发明的有益之处在于所提供的高精度3D模型生成方法和系统，能够识别出图像的各区域的模糊值以及图像中的主体部分，进而根据模糊值进行取舍确定每张图像的不同区域在建模时的参与度，提高模型建立的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种高精度3D模型生成方法的示意图；

图2是本发明的BP神经网络模型的示意图；

图3是本发明的一种高精度3D模型生成系统的示意图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

如图1所示为本申请的一种高精度3D模型生成方法，包含以下步骤：S1：采集训练图像集，图像集包含若干训练图像。S2：对训练图像集中的每个训练图像进行标记。S3：获取训练图像集中的每个训练图像的特征参量。S4：通过标记好的训练图像集以及对应特征参量对模糊区域分类模型进行训练。S5：采集待建模目标的若干建模图像。S6：获取若干建模图像的特征参量。S7：将若干建模图像和其对应的特征参量输入训练好的模糊区域分类模型得到模糊度标记结果。S8：对标记好的若干建模图像进行主体分割。S9：通过分割后的建模图像和模糊度标记建立三维数字模型，在建立三维数字模型的过程中根据模糊度标记确定建模图像不同区域的参与度。本申请的高精度3D模型生成方法，能够识别出图像的各区域的模糊值以及图像中的主体部分，进而根据模糊值进行取舍确定每张图像的不同区域在建模时的参与度，提高模型建立的准确性。以下具体介绍上述步骤。

对于步骤S1：采集训练图像集，图像集包含若干训练图像。

首先采集一批用于训练的训练图像组成训练图像集合，作为学习样本。

对于步骤S2：对训练图像集中的每个训练图像进行标记。

对于每张训练图像，首先对其进行标记。在本申请中，训练图像用户训练后续提到的模糊区域分类模型，因此，对每张训练图像进行模糊度标记。

对于步骤S3：获取训练图像集中的每个训练图像的特征参量。

在本申请的实施方式中，获取训练图像集中的每个训练图像的特征参量的具体方法为：

计算训练图像的奇异值向量。

对训练图像的进行余弦变换得到训练图像的余弦变换非零系数个数。

将训练图像的奇异值向量和余弦变换非零系数个数作为特征参量。

具体而言，对于一幅图像I，其奇异值分解可以表示为：

其中U和V为正交矩阵 ，

对于模糊后的图像，不仅小尺度的信息丢失，而且在不同尺度都有不同程度的损失。我们用图像块的所有奇异值组成的奇异值向量来描述该图像块的模糊程度，即

其次，图像进行余弦变换（DCT）后，余弦变换系数可以反映一幅图像的频域信息分布情况，对于一幅图像I（M*N），其离散的余弦变换为：

其中，

I（m,n）为输入像素点数据，u=0,1,2...M-1， v=0,1,2...N-1。当u，v不断增大时，相应的余弦函数的频率也不断增大，得到的系数可认为是原始图像信号在频率不断增大的余弦函数上的投影。对于模糊区域，它的高频信息较少，进行余弦变换变换之后，模糊区域的高频系数为0个数比较多，所以非零系数个数的变化可以反应图像的模糊程度，我们选用余弦变换非零系数个数Me作为另一个表征图像的模糊情况的特征参量。

对于步骤S4：通过标记好的训练图像集以及对应特征参量对模糊区域分类模型进行训练。

在本申请中，模糊区域分类模型为BP神经网络模型。具体地，如图2所示，为一个三层BP神经网络模型。其中输入层有9个神经元，对应8*8奇异值向量Ms的8个特征值和余弦变换（DCT）非零系数个数Me。输出层有1个神经元，即该像素块模糊程度值。隐含层包含15个神经元。最大迭代次数为50000，目标函数为均方误差函数，最小均方误差设为0.01，激活函数为Sigmoid函数，学习步长0.1。所有特征元素归一化到-1到1再输入，清晰图像块的标签为0，模糊图像标记为1。

训练时提取样本图像的奇异值向量Ms和DCT非零系数个数Me，作为输入层信号（x1,x2,...x9），经隐含层逐层变换最后传播到输出层得到模糊值y1,将y1于标签值进行比较。如果误差没有达到设定值，将正向传播切换到误差的反向传播。误差信号通过输出层然后再到隐含层传播到输入层，通过误差反向传播来更新各层神经元的权值和偏差，然后进行下一轮正向传播，如此循环往复，直至达到预期的迭代次数，完成模型训练。

具体地，在本申请中，选取一些带有景深模糊的图像作为训练样本，将其拆解为８×８像素的图像块。分别计算每一图像块的奇异值向量Ms和DCT非零系数个数Me，同时为每一图像块标注模糊度标签label（0-1），得到输入向量vector＝（label；Ms；Ms），然后将所有图像块的vector送到ＢＰ神经网络对其进行训练。

对于步骤S5：采集待建模目标的若干建模图像。

对于需要建模的待建模目标，首先才能够360°各角度拍摄该目标大量的高精度照片。

优选的是，在获取照片后对其进行预处理，包含但不限于矫正镜头畸变，统一色温，增加对比度等。

对于步骤S6：获取若干建模图像的特征参量。

通过上述同样的过程，获取每张建模图像的奇异值向量和余弦变换非零系数个数。

对于步骤S7：将若干建模图像和其对应的特征参量输入训练好的模糊区域分类模型得到模糊度标记结果。

将若干建模图像和其对应的特征参量输入到前述训练好的BP神经网络分类模型中，完成各区域模糊度的识别和标记。

具体而言，对于一张m×n分辨率的图像，我们选择其中2×2图像块作为基本检测单位，测量以其为中心的8×8的区域模糊值作为该图像块的模糊值。对每一块8×8的区域其输入向量为该图像块的奇异值向量Ms的8个特征值和DCT非零系数Me。输出向量为该图像块的模糊值yl（0-1）。从左到右从上到下依次解析图像的每一个2*2的图像块，最后得到整个m×n图像在各区域的估计模糊值，并以黑白灰度图来呈现。

对于步骤S8：对标记好的若干建模图像进行主体分割。

在本申请的实施方式中，将标记好的若干建模图像进行主体分割的具体方法为：

将待建模目标的建模图像和主体模型关键词输入图像语义识别模型进行主体分割，这样，从每张待建模目标的建模图像识别出主体部分，将主体部分分割出来，区分出主体部分和背景部分。例如，本次需要建模的目标是花瓶，则输入建模图像和“花瓶”，则图像语义识别模型自动将图像中的主体的花瓶部分分割出来。

在本申请中，图像语义识别模型采用现有的SAM（Segment Anything model）模型。具体地，SAM模型主要包含三个部分：图像编码器，提示词编码器和遮罩解码器。其中，图像编码器使用MAE预训练的 VisionTransformer (ViT)。该编码器在提示词编码之前对每张图像运行一次。提示词编码器使用现有的CLIP 模型的文本编码器作为位置编码器处理文本形式的提示词。遮罩解码器使用自注意力和交叉注意力的提示词和图像双向Transformer 解码器。SAM模型为现有的图像语义识别模型，其结构和原理此处不再赘述。将待分割的图像和图像主体的提示词输入SAM模型，SAM模型能够输出图像中主体的遮罩。

对于步骤S9：通过分割后的建模图像和模糊度标记建立三维数字模型，在建立三维数字模型的过程中根据模糊度标记确定建模图像不同区域的参与度。

通过每张图像分割出的主体部分进行数字建模，再根据模糊程度进行取舍，确定参与度。具体地，背景部分不选择，权值为0，全部排除在计算之外。主体部分根据清晰度赋予权值0.1-1。清晰主体部分的权值为1，不清晰部分根据清晰度赋值在0.1-0.9。最终使用识别好的图像配合赋予的权重进行点云计算。模型主体点云生成完毕之后，再根据点云在三维空间的分布，可计算生成三维模型网格，最后以obj格式输出。

如图3所示为本申请的一种高精度3D模型生成系统，用于实现前述的高精度3D模型生成方法。高精度3D模型生成系统包含：图像采集模块、图像标记模块、特征获取模块、模糊识别模块、主体分割模块和模型生成模块。

具体地，图像采集模块用于采集训练图像集，图像集包含若干训练图像。图像标记模块用于对训练图像集中的每个训练图像进行标记。特征获取模块用于获取训练图像集中的每个训练图像的特征参量。模糊识别模块包含模糊区域分类模型，通过标记好的训练图像集以及对应特征参量对模糊区域分类模型进行训练。通过图像采集模块采集待建模目标的若干建模图像，通过特征获取模块获取若干建模图像的特征参量，将若干建模图像和其对应的特征参量输入模糊识别模块，模糊识别模块通过训练好的模糊区域分类模型对其进行处理得到模糊度标记结果。主体分割模块用于对标记好的若干建模图像进行主体分割。模型生成模块用于通过分割后的建模图像和模糊度标记建立三维数字模型，在建立三维数字模型的过程中根据模糊度标记确定建模图像不同区域的参与度。

作为一种优选的实施方式，通过特征获取模块获取训练图像集中的每个训练图像的特征参量的具体方法为：

计算训练图像的奇异值向量。

对训练图像的进行余弦变换得到训练图像的余弦变换非零系数个数。

将训练图像的奇异值向量和余弦变换非零系数个数作为特征参量。

作为一种优选的实施方式，模糊区域分类模型为BP神经网络模型。

作为一种优选的实施方式，主体分割模块包含SAM模型，将待建模目标的建模图像和主体模型关键词输入主体分割模块，主体分割模块通过SAM模型对建模图像进行主体分割。

作为一种优选的实施方式，高精度3D模型生成系统还包含图像处理模块，用于对建模图像进行预处理。

高精度3D模型生成系统的各模块的具体内容参考前述的高精度3D模型生成系统，此处不再赘述。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。