一种带标签航天器逼真数据集生成的方法

技术领域

本发明涉及一种带标签航天器逼真数据集生成的方法，属于智能航天器数据集生成领域。

背景技术

目前在很多工业领域的视觉相关任务中，深度学习算法已经能达到传统算法的效果，并且拥有更强的泛化能力，能够应对更加复杂的问题，因此被大量而广泛地使用。

在航天领域，航天器目标的识别检测和位姿估计等高精确度需求的工程应用任务中，深度学习算法也应用广泛。但深度学习模型为监督学习的特性决定其训练需要更多的训练数据和计算资源，而现有数据集与资源无法满足。航天领域的深度学习模型需要大规模、多样化的图片数据来实现迭代优化、降低误差。然而长期以来训练面临着数据集数量有限、多样性不足等问题。即使是已经搜集到的图片数据与实际应用场景中的图片数据也存在较大的差异，无法满足训练的基本需要，导致预测模型在预测时产生较大的偏差，预测表现远低于预期，难以应对实际预测场景。而现阶段研究表明基于深度学习技术的虚拟图片风格迁移的数据集生成会是一个有效解决上述问题的方法。

本发明涉及的带标签航天器逼真数据集生成的方法，利用对抗性生成网络进行风格迁移，具有标签来源可靠，图片真实性高，预测误差小等优点。

发明内容

本发明的目的是针对现有技术的不足，提供一种基于生成对抗网络的带标签航天器逼真数据集生成的方法。

本发明的目的是通过以下技术方案来实现的：

一种带标签航天器逼真数据集生成的方法，包括如下步骤：

1)基于航天器公开3D模型库，采集航天器3D模型；

2)将航天器3D模型导入3D引擎软件，进行航天器本体及其在轨环境的模拟；

3)对2)处理后的航天器3D模型自动生成航天器仿真数据集和标签；

4)利用生成对抗网络对航天器仿真数据集进行风格迁移，从而基于少量的在轨真实数据集生成带标签的航天器逼真数据集。

上述技术方案中，进一步地，步骤1)航天器3D模型采集，为从航天器公开3D模型库中按照目标3D引擎软件格式要求收集航天器3D模型。

进一步地，步骤2)基于3D引擎软件的航天器本体及其在轨环境的模拟，具体为：将收集到的航天器3D模型导入3D引擎软件并进行贴图、渲染以及在轨光照和宇宙背景模拟等操作，使航天器模型及在轨环境与实际在轨状态尽可能一致。

进一步地，步骤3)仿真数据集和标签的自动生成，具体为：针对经3D引擎软件处理后的航天器3D模型生成不同环境变量的海量图片，作为仿真数据集，所述不同环境变量包括但不限于不同姿态、距离、光照角度、宇宙背景、卫星表面纹理，同时依据相机坐标系与航天器坐标系、以及相机坐标系与图像坐标系的关系完成目标类型、目标部件类型位置和六自由度信息即包括姿态、位移的自动标记。

更进一步地，自动标记后为对应的图像自动生成标签，标签包括图片名称、相对于相机的位移信息

进一步地，步骤4)基于生成对抗网络的航天器逼真数据集生成，具体为：基于少量在轨真实数据集利用生成对抗网络完成带标签的的航天器仿真数据集的风格迁移，以仿真图片为原始域，以真实图片为目标域，采用生成对抗网络完成非配对式的风格迁移，最终生成带标签的航天器逼真数据集。

本发明与现有技术相比具有的有益效果：

1)本发明采用的利用3D引擎软件生成仿真数据集方法，克服了航天领域空间目标数据集采集困难和保密封闭的问题，可以海量生成，为后续基于生成对抗的风格迁移提供了数量保证；

2)本发明采用的以已知模型为输入的方法，克服了航天领域空间目标数据集的人工标记的繁琐与低效问题，可以实现为航天器目标类型、目标部件类型位置和六自由度信息(姿态、位移)自动标记，同时保证了标签的准确度；

3)本发明基于仿真与风格迁移、虚实结合的思想，在尽可能与在轨状态一致的仿真基础上再叠加生成对抗的风格逼近，克服了仅用仿真图片作为训练数据集的方法在真实数据集测试中的预测效果差的问题，减小了训练数据集与真实数据集的差距。

附图说明

图1为本发明方法的流程示意图；

图2为本发明方法中步骤2的操作流程示意图；

图3为本发明方法中步骤3的操作流程示意图；

图4为本发明方法中相机坐标系与目标坐标系转化示意图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案做进一步地详细说明。

本发明的带标签航天器逼真数据集生成的方法，如图1所示通常包括如下：

先从航天器公开3D模型库中按照目标3D引擎软件格式要求收集航天器目标3D模型；

再利用3D引擎软件进行模拟，图2是基于3D引擎软件的航天器本体及其在轨环境的模拟的步骤。具体为：将收集到的航天器目标3D模型导入3D引擎软件并逐步进行贴图、渲染以及环境模拟等操作，使航天器模型及在轨环境与实际在轨状态(实际的在轨情况来自于少量的真实数据集)尽可能一致。

之后利用获得的航天器3D模型自动生成仿真数据集和标签，其步骤如图3，针对经3D引擎软件处理后的航天器3D模型，并编写自动生成标记脚本，利用自动生成标记脚本驱动3D引擎软件生成不同姿态、距离、光照角度、宇宙背景、卫星表面纹理的海量图片(即得到仿真数据集)，同时依据相机坐标系与航天器坐标系关系完成目标类型、目标部件类型位置和六自由度信息(姿态、位移)完成自动标记。

图4是相机坐标系与目标坐标系转化示意图。右上部分为相机坐标系，以相机光心作为原点，左下角部分为目标参考系(世界坐标系即航天器坐标系)，以目标航天器的一个关键角点作为原点。t

以下为一种带标签航天器逼真数据集生成的方法应用实例的详细阐述：

首先进行航天器3D模型采集，为从航天器公开3D模型库中按照unity3D引擎软件格式要求收集航天器3D模型。然后基于unity进行航天器本体及其在轨环境的模拟，将收集到的航天器目标3D模型导入unity中并进行贴图、渲染以及在轨光照和宇宙背景模拟等操作，使航天器模型及在轨环境与实际在轨状态尽可能一致。编写自动生成脚本针对经3D引擎软件处理后的航天器3D模型生成不同姿态、距离、光照角度、宇宙背景、卫星表面纹理的海量图片(仿真数据集)，同时依据相机坐标系与航天器坐标系关系完成目标类型、目标部件类型位置和六自由度信息(姿态、位移)自动标记。其中相机坐标系与世界坐标系的转化公式如下：

其中X

并通过以下公式进行相机坐标系与图像坐标系的转换：

其中x,y为图像坐标系，X

经转化完成的坐标将依照图片名称，相对于相机的位移信息

最后进行基于生成对抗网络的航天器逼真数据集生成，使用少量在轨真实数据集，定义仿真图片为原始域，真实图片为目标域，采用CycleGAN迁移网络架构，来完成非配对式的风格迁移，生成带标签的航天器逼真数据集。基于生成对抗网络进行风格迁移是成熟技术，在此不再赘述。

本方法实现了带标签航天器逼真数据集的生成，克服了航天领域空间目标数据集采集困难和保密封闭的问题，可以海量生成，为后续基于生成对抗的风格迁移提供了数量保证；克服了航天领域空间目标数据集的人工标记的繁琐与低效问题，可以实现为航天器目标类型、目标部件类型位置和六自由度信息(姿态、位移)自动标记，同时保证了标签的准确度；采用了仿真与风格迁移、虚实结合的思想，在尽可能与在轨状态一致的仿真基础上再叠加生成对抗的风格逼近，克服了仅用仿真图片作为训练数据集的方法在真实数据集测试中的预测效果差的问题，减小了训练数据集与真实数据集的差距。对各种已知模型的航天器逼真数据集的生成方法具有通用性，可为下游基于深度学习的航天器目标识别检测和位姿估计技术研究在带标签数据集上提供强有力的支撑，具有重要的工程应用价值。

对所公开实例的上述说明，使本领域专业技术人员能够实现或使用本发明。对此实例的多种修改对本领域的专业技术人员来说将是显而易见的。本文中所定义的，仅为本发明的一种带标签航天器逼真数据集生成方法应用实例，但是其中的3D模型与软件不限于unity，对其他通用3D模型与软件都应落入本发明相应的权利要求保护范围内；其中的坐标系转换方式不限于实例所示，对其他通用的转换方式都应落入本发明相应的权利要求保护范围内；其中的对抗生成性网络算法并不限于CycleGAN，对其他通用的对抗生成性网络算法都应落入本发明相应的权利要求保护范围内，因此，本发明将不会被限制于本文所示的这一实例，而是要符合与本文所公开的原理一致的最宽的范围。