一种基于三维渲染的飞机图像生成方法和装置

技术领域

本发明涉及图像渲染领域，尤其涉及一种基于三维渲染的飞机图像生成方法和装置。

背景技术

随着航空业的不断进步，机场的智能化成为现代机场发展的新趋势。飞机是机场重要的服务对象之一，飞机端服务的智能化方法通常使用飞机图片作为信息源，例如通过拍摄飞机表面图片识别飞机架次、通过飞机舱门图片引导登机廊桥自动对接到舱门上等。这些智能化方法通常需要大量的特定模式的飞机图片以及精确的人工标注，才能实现模型的训练、测试及优化。然而在项目落地过程中，这些图片及标注通常是难以获得的，主要有以下三方面原因：

第一，出于机场的保密性及安全性需要，无法直接在机场架设相应的拍摄工具完成图片的采集，尽管网络上可以获得大量的飞机图片，但这些图片与实际的工作场景相差较大，无法用于模型训练及测试。图1展示了通过飞机舱门图片引导廊桥对接时需要的图片类型，这种模式的图片无法在互联网上获得；

第二，图片本身的纹理及拍摄环境较为复杂。一方面，飞机本身的纹理较为复杂，如机舱的不同颜色、不同涂装等。另一方面，这些图片的拍摄环境较为复杂，恶劣天气会影响图片质量。受这两个因素影响，即使可以进入机场采集图片，也很难采集到能够覆盖所有这些复杂情况的图片，从而影响模型的泛化性；

第三，人工标注的成本较高，且需要较长的工作周期。

目前工业界没有已经商用的飞机图片生成方法，但学术界有一些通用图像生成方法的尝试。这些方法通常是利用生成对抗网络来实现的，以一个随机向量、文字集合、掩模图等作为网络的输入，使用大量的真实图像作为训练数据，通过梯度下降优化得到一个神经网络模型，从而使用该模型生成图像。

学术界使用生成对抗网络的方法缺点主要有三个方面：

第一，该方法需要大量的飞机图像作为训练数据，然而这些图像本身就是难以获得的；

第二，该方法无法控制生成图片的拍摄角度，因此其生成的图片模式通常与实际场景差距较大；

第三，该方法无法控制生成飞机图片的形状，由于飞机是人造物，其形状是满足一定几何约束的，如机体为流线型，飞机舱门为圆角矩形等。该方法是针对通用图片设计的，如山、云、花这些自然场景，无法满足飞机图片的形状几何约束。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于解决机场智能化服务提升中面临的可用飞机图片获取难度大，丰富度低，人工标注成本高的问题，提出了一种基于三维渲染的飞机图像生成方法。

本发明的另一个目的在于提出一种基于三维渲染的飞机图像生成装置。

为达上述目的，本发明一方面提出了基于三维渲染的飞机图像生成方法，包括以下步骤：

通过三维建模生成与飞机形状相同的飞机三维模型，并获取与所述飞机三维模型匹配的飞机图片，根据所述飞机图片生成纹理贴图，将所述纹理贴图加载到所述飞机三维模型上，获得带纹理的飞机三维模型；

将所述带纹理的飞机三维模型渲染为飞机二维图像集合，其中，所述飞机二维图片集合包括多个在不同环境参数和拍摄参数下渲染的飞机二维图像，每个所述飞机二维图像对应的飞机特征的标注信息；

根据所述飞机二维图像集合基于深度神经网络进行图像增强。

根据本发明实施例的基于三维渲染的飞机图像生成方法，通过三维建模生成与飞机形状相同的飞机三维模型，并获取与飞机三维模型匹配的飞机图片，根据飞机图片生成纹理贴图，将纹理贴图加载到飞机三维模型上，获得带纹理的飞机三维模型，将带纹理的飞机三维模型渲染为飞机二维图像集合，其中，飞机二维图片集合包括多个在不同环境参数和拍摄参数下渲染的飞机二维图像，每个飞机二维图像对应的飞机特征的标注信息，根据飞机二维图像集合基于深度神经网络进行图像增强。本发明极大地提高了可用飞机图片的数量和丰富度，并减少了所需的人工标注成本。

另外，根据本发明上述实施例的基于三维渲染的飞机图像生成方法还包括：

进一步地，所述将所述带纹理的飞机三维模型渲染为飞机二维图像集合，包括：

根据不同任务精细标注所述与所述飞机三维模型匹配的飞机图片，所述标注的内容包括飞机架次识别任务标注的架次信息、登机廊桥引导对位任务标注的对应飞机舱门门缝；

设置所述环境参数，并根据不同任务，通过脚本批量化设置所述拍摄参数；

根据所述飞机标注图片以及所述环境参数和所述拍摄参数渲染生成所述飞机二维图像，并生成所述飞机二维图像对应的标注文件。

进一步地，所述根据所述飞机二维图像集合结合深度神经网络原理进行图像增强，包括：

构建训练数据集，所述训练数据集包括所述飞机二维图像集合和不同拍摄条件的风格图像集合；

将所述飞机二维图像集合中的飞机二维图像逐张输入到特征提取网络，输出对应的内容特征，将所述风格图像集合中的风格图像逐张输入到所述特征提取网络，输出对应的环境特征；

获取单张白噪声图像，每次以所述白噪声图像为底版图像，将所述飞机二维图像的内容特征和所述风格图像的环境特征逐对合并入所述白噪声图像，获取飞机二维增强图像集合。

进一步地，所述将所述飞机二维图像的内容特征和所述风格图像的环境特征逐对合并入所述白噪声图像，包括：

将所述白噪声图像输入所述特征提取网络，获得所述白噪声图像的内容特征和环境特征；

将所述白噪声图像和任一所述飞机二维图像的内容特征求得内容特征差值，将所述白噪声图像和任一所述风格图像的环境特征求得环境特征差值，根据所述内容特征差值和所述环境特征差值构造误差函数；

迭代优化所述误差函数，直至所述白噪声图像具有选中的所述飞机二维图像的内容特征和所述风格图像的环境特征。

为达到上述目的，本发明另一方面提出了一种基于三维渲染的飞机图像生成装置，包括：

模型生成模块，用于通过三维建模生成与飞机形状相同的飞机三维模型，并获取与所述飞机三维模型匹配的飞机图片，根据所述飞机图片生成纹理贴图，将所述纹理贴图加载到所述飞机三维模型上，获得带纹理的飞机三维模型；

图像渲染模块，用于将所述带纹理的飞机三维模型渲染为飞机二维图像集合，其中，所述飞机二维图片集合包括多个在不同环境参数和拍摄参数下渲染的飞机二维图像，每个所述飞机二维图像对应的飞机特征的标注信息；

图像增强模块，用于根据所述飞机二维图像集合基于深度神经网络进行图像增强。

本发明实施例的基于三维渲染的飞机图像生成装置，通过三维建模生成与飞机形状相同的飞机三维模型，并获取与飞机三维模型匹配的飞机图片，根据飞机图片生成纹理贴图，将纹理贴图加载到飞机三维模型上，获得带纹理的飞机三维模型，将带纹理的飞机三维模型渲染为飞机二维图像集合，其中，飞机二维图片集合包括多个在不同环境参数和拍摄参数下渲染的飞机二维图像，每个飞机二维图像对应的飞机特征的标注信息，根据飞机二维图像集合基于深度神经网络进行图像增强。本发明极大地提高了可用飞机图片的数量和丰富度，并减少了所需的人工标注成本。

本发明的有益效果：

本发明极大地减少了人工标注所需要的时间和经济成本，大幅度提升飞机图片的数量和环境丰富性，解决大雨、大雪、大雾等恶劣环境下的图片数据难以获得的问题。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为现实情况下的通过飞机舱门图片引导廊桥对接时需要的图片；

图2为根据本发明实施例的基于三维渲染的飞机图像生成方法的流程图；

图3为根据本发明实施例的飞机三维模型的示意图；

图4为根据本发明实施例的飞机三维模型绘制纹理贴图后的示意图；

图5为根据本发明实施例的标注飞机舱门门缝的示意图；

图6为根据本发明实施例的基于三维渲染的飞机图像生成装置的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的基于三维渲染的飞机图像生成方法及装置，首先将参照附图描述根据本发明实施例提出的基于三维渲染的飞机图像生成方法。

图2是本发明一个实施例的基于三维渲染的飞机图像生成方法的流程图。

如图2所示，该基于三维渲染的飞机图像生成方法包括以下步骤：

步骤S1，通过三维建模生成与飞机形状相同的飞机三维模型，并获取与飞机三维模型匹配的飞机图片，根据飞机图片生成纹理贴图，将纹理贴图加载到飞机三维模型上，获得带纹理的飞机三维模型。

具体地，首先使用三维建模的方法生成多种飞机的三维模型，这种三维模型与现实飞机的形状相同，但表面没有涂装，如图3所示；然后从互联网上获得大量的飞机图片，使用镂版方法为每张飞机照片生成一张纹理贴图；最后将飞机纹理贴图加载到飞机模型上，并设置各个部位的物理属性，如金属度、粗糙度等。以生成飞机舱门区域的图片为例，如图4所示。

需要说明的是，步骤S1的主要目的是生成不同机型、不同纹理的飞机三维模型。生成的不含纹理的飞机三维模型可以提供不同的机型，不同机型体现在标识带的形状、舱门踏板的形状、飞机舷窗的位置等，通过镂版方法生成的纹理贴图可以提供不同的纹理，不同纹理体现在不同的颜色、机舱上的不同花纹，如文字、涂装等。

步骤S2，将带纹理的飞机三维模型渲染为飞机二维图像集合，其中，飞机二维图片集合包括多个在不同环境参数和拍摄参数下渲染的飞机二维图像，每个飞机二维图像对应的飞机特征的标注信息。

应当理解的是，在获得带纹理的三维模型后，需要将其渲染为二维图片以供算法使用，同时为了减少人工标注的成本，需要同时生成对应的标注信息。

具体地，首先根据不同任务对步骤S1获得的飞机图片做精细标注，如飞机架次识别则标注对应的航空公司名称、飞机编号等架次信息，登机廊桥引导对位则标注对应的飞机舱门门缝，图5展示了飞机舱门门缝的标注结果，绿色环装区域即为标注的舱门门缝；然后在渲染环境中手动设置环境光照等条件，同时根据不同任务，使用脚本批量化设置多个相机参数，如相机与飞机的相对位置，相机的拍摄角度等，从而渲染生成大量的飞机二维图片，且可以同时自动化生成对应的标注文件。

需要说明的是，步骤S2的目的是将生成的带纹理的三维模型渲染为二维图像。对于互联网上收集的每张飞机图像，可以生成一个带纹理的三维模型，对每个模型做一次标注，通过设置不同的环境及相机参数，就可以从一张图像生成大量的飞机二维图像，且可以同时生成这些二维图像对应的标注信息。

步骤S3，根据飞机二维图像集合基于深度神经网络进行图像增强。

应当理解的是，三维环境中只能简单地设置部分光照条件，无法模拟现实中复杂的拍摄环境，如不同天气(阴晴雨雾)、拍摄的不同背景(如机场地面，天空)、阴影等，因此需要进一步的图像增强操作。

具体地，根据飞机二维图像集合基于深度神经网络进行图像增强，分为三步：

(1)在网络上收集各种拍摄条件的风格图像，构建训练数据集；

(2)预训练特征提取网络，使用该网络提取一张飞机图像的内容特征，如舱门形状、大小等，同时使用该网络提取一张风格图像的环境特征，如下雨、下雪等，将这两种特征保存下来；

(3)使用一张白噪声图像作为输入，使用(2)中的特征提取网络提取这张图像的内容特征和环境特征，将其内容特征与飞机图像的内容特征求差，环境特征与风格图像的环境特征求差，使用这两个差值构建误差函数。不断迭代优化该误差函数，从而改变输入的白噪声图像，使其具有飞机图像的内容特征和风格图像的环境特征。

需要说明的是，步骤S3的目的是为了模拟现实中复杂的拍摄环境，由于三维渲染环境中难以模拟复杂的环境条件，如下雨、下雪等，因此需要该步骤对三维渲染的图像做图像增强，从而有效提升数据集的丰富程度，进一步可以提升相应算法的性能。

如上述步骤，通过三维建模生成与飞机形状相同的飞机三维模型，并获取与飞机三维模型匹配的飞机图片，根据飞机图片生成纹理贴图，将纹理贴图加载到飞机三维模型上，获得带纹理的飞机三维模型，将带纹理的飞机三维模型渲染为飞机二维图像集合，其中，飞机二维图片集合包括多个在不同环境参数和拍摄参数下渲染的飞机二维图像，每个飞机二维图像对应的飞机特征的标注信息，根据飞机二维图像集合基于深度神经网络进行图像增强。本发明极大地提高了可用飞机图片的数量和丰富度，并减少了所需的人工标注成本。

需要说明的是，基于三维渲染的飞机图像生成方法实现方式有多种，但无论具体的实现方法如何，只要方法解决了机场智能化服务中可用飞机图片获取难度大，丰富度低，人工标注成本高的问题，都是针对现有技术问题的解决，并具有相应的效果。

为了实现上述实施例，如图6所示，本实施例中还提供了一种基于三维渲染的飞机图像生成装置10，该装置10包括：模型生成模块100，图像渲染模块200，图像增强模块300。

模型生成模块100，用于通过三维建模生成与飞机形状相同的飞机三维模型，并获取与飞机三维模型匹配的飞机图片，根据飞机图片生成纹理贴图，将纹理贴图加载到飞机三维模型上，获得带纹理的飞机三维模型；

图像渲染模块200，用于将带纹理的飞机三维模型渲染为飞机二维图像集合，其中，飞机二维图片集合包括多个在不同环境参数和拍摄参数下渲染的飞机二维图像，每个飞机二维图像对应的飞机特征的标注信息；

图像增强模块300，用于根据飞机二维图像集合基于深度神经网络进行图像增强。

具体地，图像渲染模块200，包括：

标注模块，用于根据不同任务精细标注与飞机三维模型匹配的飞机图片，标注内容包括飞机架次识别任务标注的架次信息、登机廊桥引导对位任务标注的对应飞机舱门门缝；

设置模块，用于设置环境参数，并根据不同任务，通过脚本批量化设置所述拍摄参数；

生成模块，用于根据飞机标注图片和环境参数和拍摄参数渲染生成飞机二维图像，并生成飞机二维图像对应的标注文件。

具体地，图像增强模块300，包括：

构建模块，用于构建训练数据集，训练数据集包括飞机二维图像集合和不同拍摄条件的风格图像集合；

提取模块，用于将飞机二维图像集合中的飞机二维图像逐张输入到特征提取网络，输出对应的内容特征，将风格图像集合中的风格图像逐张输入到特征提取网络，输出对应的环境特征；

合并模块，用于获取单张白噪声图像，每次以白噪声图像为底版图像，将飞机二维图像的内容特征和风格图像的环境特征逐对合并入白噪声图像，获取飞机二维增强图像集合。

具体地，合并模块，包括：

特征提取模块，用于将白噪声图像输入所述特征提取网络，获得白噪声图像的内容特征和环境特征；

函数构造模块，用于将白噪声图像和任一飞机二维图像的内容特征求得内容特征差值，将白噪声图像和任一风格图像的环境特征求得环境特征差值，根据内容特征差值和环境特征差值构造误差函数；

迭代优化模块，用于迭代优化误差函数，直至白噪声图像具有选中的飞机二维图像的内容特征和风格图像的环境特征。

根据本发明实施例的基于三维渲染的飞机图像生成装置，通过三维建模生成与飞机形状相同的飞机三维模型，并获取与飞机三维模型匹配的飞机图片，根据飞机图片生成纹理贴图，将纹理贴图加载到飞机三维模型上，获得带纹理的飞机三维模型，将带纹理的飞机三维模型渲染为飞机二维图像集合，其中，飞机二维图片集合包括多个在不同环境参数和拍摄参数下渲染的飞机二维图像，每个飞机二维图像对应的飞机特征的标注信息，根据飞机二维图像集合基于深度神经网络进行图像增强。本发明极大地提高了可用飞机图片的数量和丰富度，并减少了所需的人工标注成本。

需要说明的是，前述对基于三维渲染的飞机图像生成方法实施例的解释说明也适用于该实施例的基于三维渲染的飞机图像生成装置，此处不再赘述。

本申请的一个方面，提供了一种计算机设备，该计算机设备包括存储器、处理器及在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可实现本发明实施例一方面提供的方法。

此外，本发明提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，可实现本发明实施例一方面提供的方法。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。