基于典型结构的在轨航天器骨架结构识别方法及其装置

技术领域

本发明属于图像处理技术领域，具体涉及一种基于典型结构的在轨航天器骨架结构识别方法及其装置。

背景技术

随着航天技术的迅猛发展，越来越多搭载高性能传感设备的空间目标被送入地球轨道，为军事侦察、实时通讯、资源勘探等航天活动提供重要信息。随着大量航天器被送入地球轨道，空间资源持续压缩，出现了空间目标解体、碰撞等事件，为太空环境制造了大量碎片，这些碎片既占用了空间资源，也对在轨航天器的运行造成了极大威胁。因此，监测在轨航天器运动状态、进行航天器行为分析，包括姿态估计、形态估计、结构尺寸估计和异常检测等对维护太空安全稳定具有重要意义。

随着深度学习的快速发展，基于神经网络的航天器状态监测分析等逐渐兴起；现有技术中，基于航天器的3D模型进行识别，航天器各部件结构完整，基本不存在因成像质量差或部件相互遮挡等现象造成部分结构不清晰、无法标注情况，但与实际情况中光学/雷达设备成像效果一般、会出现拖尾、散焦等不良现象。

因此，亟需改善现有技术中存在的缺陷。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于典型结构的在轨航天器骨架结构识别方法及其装置。本发明要解决的技术问题通过以下技术方案实现：

第一方面，本发明提供一种基于典型结构的在轨航天器骨架结构识别方法，包括：

获取典型结构的在轨航天器的原始图像；

根据典型结构的在轨航天器的原始图像，获取典型结构的在轨航天器的关键点标签；其中，关键点分别位于典型结构的在轨航天器的主体、第一侧帆板和第二侧帆板上；

获取各关键点之间的连接关系，构建典型结构的在轨航天器的骨架结构；

根据典型结构的在轨航天器的骨架结构，训练预设的在轨航天器骨架结构识别模型，获取训练好的识别模型；其中，预设的在轨航天器骨架结构识别模型包括依次设置的特征提取模块、骨架结构预测模块和形态异常检测模块；

使用训练好的识别模型对在轨航天器的图像进行识别，得到在轨航天器的骨架结构，并根据识别结果判断在轨航天器的形态是否异常。

第二方面，本发明还提供一种基于典型结构的在轨航天器骨架结构识别装置，包括：

原始图像获取模块，用于获取典型结构的在轨航天器的原始图像；

关键点标签获取模块，用于根据典型结构的在轨航天器的原始图像，获取典型结构的在轨航天器的关键点标签；其中，关键点分别位于典型结构的在轨航天器的主体、第一侧帆板和第二侧帆板上；

骨架结构获取模块，用于获取各关键点之间的连接关系，构建典型结构的在轨航天器的骨架结构；

识别模型获取模块，用于根据典型结构的在轨航天器的骨架结构，训练预设的在轨航天器骨架结构识别模型，获取训练好的识别模型；其中，预设的在轨航天器骨架结构识别模型包括依次设置的特征提取模块、骨架结构预测模块和形态异常检测模块；

识别结果获取模块，用于使用训练好的识别模型对在轨航天器的图像进行识别，得到在轨航天器的骨架结构，并根据识别结果判断在轨航天器的形态是否异常。

本发明的有益效果：

本发明提供的一种基于典型结构的在轨航天器骨架结构识别方法及其装置，通过获取典型结构的在轨航天器的关键点标签，并构建各关键点之间的关联，表达所述典型结构的在轨航天器的骨架结构，以训练预设的在轨航天器骨架结构识别模型，获取训练好的识别模型，使用训练好的识别模型识别在轨航天器的骨架结构，并判断在轨航天器的形态是否异常；整个识别过程简洁有效，对在轨航天器成像状态要求较少，更加贴近实际应用；此外，本发明中，在识别在轨航天器的骨架的过程中，还能识别在轨航天器形态的异常，可实时监测在轨航天器的状态，对在轨航天器实时状态监测、故障发现、及时抢救等太空安全维护具有重大现实意义。

以下将结合附图及实施例对本发明做进一步详细说明。

附图说明

图1是本发明实施例提供的基于典型结构的在轨航天器骨架结构识别方法的一种流程图；

图2是本发明实施例提供的典型结构的在轨航天器的关键点的一种结构示意图；

图3是本发明实施例提供的预设的在轨航天器骨架结构识别模型的一种结构示意图；

图4是本发明实施例提供的ResNet模型的一种结构示意图；

图5是本发明实施例提供的基于典型结构的在轨航天器骨架结构识别装置的一种结构示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

请参见图1，图1是本发明实施例提供的基于典型结构的在轨航天器骨架结构识别方法的一种流程图，本发明所提供的一种基于典型结构的在轨航天器骨架结构识别方法，包括：

S101、获取典型结构的在轨航天器的原始图像；

S102、根据典型结构的在轨航天器的原始图像，获取典型结构的在轨航天器的关键点标签；其中，关键点分别位于典型结构的在轨航天器的主体、第一侧帆板和第二侧帆板上；

S103、获取各关键点之间的连接关系，构建典型结构的在轨航天器的骨架结构；

S104、根据典型结构的在轨航天器的骨架结构，训练预设的在轨航天器骨架结构识别模型，获取训练好的识别模型；其中，预设的在轨航天器骨架结构识别模型包括依次设置的特征提取模块、骨架结构预测模块和形态异常检测模块；

S105、使用训练好的识别模型对在轨航天器的图像进行识别，得到在轨航天器的骨架结构，并根据识别结果判断在轨航天器的形态是否异常。

具体而言，请继续参见图1所示，本实施例提出的一种基于典型结构的在轨航天器骨架结构识别方法，通过获取典型结构的在轨航天器的关键点标签，并构建各关键点之间的关联，表达所述典型结构的在轨航天器的骨架结构，以训练预设的在轨航天器骨架结构识别模型，获取训练好的识别模型，使用训练好的识别模型识别在轨航天器的骨架结构，并判断在轨航天器的形态是否异常；整个识别过程简洁有效，对在轨航天器成像状态要求较少，更加贴近实际应用；此外，本实施例中，在识别在轨航天器的骨架的过程中，还能识别在轨航天器形态的异常，可实时监测在轨航天器的状态，对在轨航天器实时状态监测、故障发现、及时抢救等太空安全维护具有重大现实意义。

在本发明的一种可选地实施例中，请参见图2所示，图2是本发明实施例提供的典型结构的在轨航天器的关键点的一种结构示意图，典型结构的在轨航天器的主体包括第一关键点0和第二关键点1，第一关键点0位于主体沿在轨航天器飞行方向的第一端，第二关键点1位于主体沿在轨航天器飞行方向的第二端；

典型结构的在轨航天器的第一侧帆板包括第三关键点2和第四关键点3，第三关键点2位于第一侧帆板与主体连接处，第四关键点3位于第一侧帆板外延端部的中点；

典型结构的在轨航天器的第二侧帆板包括第五关键点4和第六关键点5，第五关键点4位于第二侧帆板与主体连接处，第六关键点5位于第二侧帆板外延端部的中点。

具体而言，请继续参见图2所示，本实施例中，采用6个关键点对典型结构的在轨航天器进行描述，其中，主体上设置2个关键点，第一侧帆板上设置2个关键点，第二侧帆板上设置2个关键点；第一关键点0和第二关键点1分别位于沿在轨航天器飞行方向的两端，如果主体前带有平板或抛物面天线载荷，则将其中一个关键点设置于载荷的型心处；第三关键点2位于第一侧帆板与主体的连接处，第四关键点3位于垂直于在轨航天器飞行方向的第一侧帆板最外延中点；第五关键点4位于第二侧帆板与主体的连接处，第六关键点5位于垂直于在轨航天器飞行方向的第二侧帆板最外延中点；如此，通过以上6个关键点描述典型结构的在轨航天器的骨架。

在本发明的一种可选地实施例中，请继续参见图2所示，构建典型结构的在轨航天器的骨架结构包括：

将第一关键点0与第三关键点2连接，形成第一连线；

将第一关键点0与第五关键点4连接，形成第二连线；

将第二关键点1与第三关键点2连接，形成第三连线；

将第二关键点1与第五关键点4连接，形成第四连线；

将第三关键点2与第五关键点4连接，形成第五连线；

将第三关键点2与第四关键点3连接，形成第六连线；

将第五关键点4与第六关键点5连接，形成第七连线；

其中，第五连线为第一侧帆板的相对位置，第六连线为第二侧帆板的相对位置，第四连线为第一侧帆板和第二侧帆板与主体的相对位置，第一连线和第二连线为第一侧帆板与主体的相对位置及其沿在轨航天器飞行方向上的位置，第三连线和第四连线为第二侧帆板与主体的相对位置及其沿在轨航天器飞行方向上的位置。

具体而言，请继续参见图2所示，本实施例中，基于典型结构的在轨航天器的关键点，使用连线的方式将关键点进行关联，以表示典型结构的在轨航天器的各个部件的相对位置，以及各个部件的形态信息。

需要说明的是，从二维图像上看，第一连线、第二连线和第五连线构成等腰三角形，第三连线、第四连线和第五连线构成等腰三角形。

需要说明的是，如图2所示，分别显示4种形态，其中，a为仅体现第一侧帆板的航天器骨架结构模型，b为仅体现主体的航天器骨架结构模型，c为完整的航天器骨架结构模型，d为仅体现第二侧帆板的航天器骨架结构模型。

在本发明的一种可选地实施例中，请参见图3所示，图3是本发明实施例提供的预设的在轨航天器骨架结构识别模型的一种结构示意图，特征提取模块包括ResNet模型和反卷积模型。

具体而言，本实施例中，请继续参见图3所示，特征提取模块包括的ResNet模型（残差网络模型）能够进行自底向上的特征提取，利用神经网络的较深层提取图像的语义信息，获取骨架结构的关键点的分布情况，再利用反卷积运算，扩大特征图尺寸，计算目标关键点特征。

需要说明的是，请参见图4所示，图4是本发明实施例提供的ResNet模型的一种结构示意图，ResNet模型的基本思想是引入能够跳过一层或多层的“shortcut connection”，如图4所示。ResNet提出了两种mapping：一种是identity mapping，如图4所示，指的是”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“外的部分，所以最后的输出是

在本发明的一种可选地实施例中，请继续参见图3所示，骨架结构预测模块包括三层卷积神经网络层。

具体而言，本实施例中，请继续参见图3所示，骨架结构预测模块包括三层卷积神经网络层，基于卷积运算，直接对特征提取模块提取的图像特征进行关键点的回归预测，得到关键点的位置坐标。

需要说明的是，三层神经网络可以包括输入层、隐藏层和输出层，最终通过三层神经网络层获取关键点的回归预测。

在本发明的一种可选地实施例中，请继续参见图3所示，形态异常检测模块包括二分类模型。

具体而言，本实施例中，请继续参见图3所示，基于骨架结构预测模块获取的回归结果，使用二分类模型判断在轨航天器形态是否异常，如果二分类模型输出1，则为在轨航天器异常形态，如果二分类模型输出0，则为在轨航天器正常形态；可选地，在轨航天器形态异常，包括第一侧帆板和/或第二侧帆板没有正常打开。

需要说明的是，本实施例中提供的二分类模型可以为softmax函数。

在本发明的一种可选地实施例中，还包括：获取训练预设的在轨航天器骨架结构识别模型的均方差损失函数，其表达式为：

；

其中，

在本发明的一种可选地实施例中，通过以下过程实现在轨航天器形态的识别。

构建典型结构的在轨航天器仿真图像的训练样本集和测试样本集。

具体而言，获取100个弧段的光雷成像仿真序列数据，每个弧段有效像数量优于30帧，使用目标TLE根数进行成像仿真，所有序列中图像样本尺寸均为384×384，依次按照第一关键、第二关键点1、第三关键点2、第四关键点3、第五关键点4和第六关键点5的顺序进行标注，获得各关键点标签。

将20个图像序列作为测试样本集，将80个图像序列为训练样本集。

基于训练样本集，训练预设的在轨航天器骨架结构识别模型，获取训练好的识别模型。

具体而言，将训练样本集中的图像序列输入特征提取模块，序列图像首先经过ResNet模型残差结构处理后，得到尺寸为24×24×512的特征序列，再使用两次反卷积操作，得到尺寸为96×96×512的关键点特征序列；将获取的关键点序列输入骨架结构预测模块，得到尺寸为384×384×6的回归结果；将获取的回归结果使用二分类器判断在轨航天器形态是否异常；其中，判断标准为，在单一图像序列中，仿真图像存在关键点缺失现象，即识别的关键点数量小于6个，则判断为该在轨航天器的形态异常，否则，该在轨航天器的形态正常；通过以上过程，进行预设的在轨航天器骨架结构识别模型训练，迭代次数设置为150次，保存训练好的识别模型。

使用测试样本集对训练好的识别模型进行判断，将测试样本集输入训练好的识别模型中，输出在轨航天器的骨架结构，以判断训练好的识别模型的准确性。

使用训练好的识别模型识别在轨航天器的骨架，并判断在轨航天器的形态是否异常。

本实施例中，在轨航天器形态异常检测任务中的检测精度达到了97.8%，具有较高的应用价值，且以航天器“骨架”结构提取为基础，还可完成航天器尺寸估计、姿态估计等任务，在航天识别领域具有很强的发展前景。

基于同一发明构思，请参见图5，图5是本发明实施例提供的基于典型结构的在轨航天器骨架结构识别装置的一种结构示意图，本发明还提供一种基于典型结构的在轨航天器骨架结构识别装置，应用于本发明上述实施例提供的基于典型结构的在轨航天器骨架结构识别方法，识别方法的实施例具体请参考上述，本发明在此不再赘述，该识别装置包括：

原始图像获取模块201，用于获取典型结构的在轨航天器的原始图像；

关键点标签获取模块202，用于根据典型结构的在轨航天器的原始图像，获取典型结构的在轨航天器的关键点标签；其中，关键点分别位于典型结构的在轨航天器的主体、第一侧帆板和第二侧帆板上；

骨架结构获取模块203，用于获取各关键点之间的连接关系，构建典型结构的在轨航天器的骨架结构；

识别模型获取模块204，用于根据典型结构的在轨航天器的骨架结构，训练预设的在轨航天器骨架结构识别模型，获取训练好的识别模型；其中，预设的在轨航天器骨架结构识别模型包括依次设置的特征提取模块、骨架结构预测模块和形态异常检测模块；

识别结果获取模块205，用于使用训练好的识别模型对在轨航天器的图像进行识别，得到在轨航天器的骨架结构，并根据识别结果判断在轨航天器的形态是否异常。

具体而言，请继续参见图5所示，本实施例中提供的一种基于典型结构的在轨航天器骨架结构识别装置，通过关键点标签获取模块202获取典型结构的在轨航天器的关键点标签，通过骨架结构获取模块203构建各关键点之间的关联，表达所述典型结构的在轨航天器的骨架结构，通过识别模型获取模块204训练预设的在轨航天器骨架结构识别模型，获取训练好的识别模型，使用训练好的识别模型识别在轨航天器的骨架结构，并判断在轨航天器的形态是否异常；整个识别过程简洁有效，对在轨航天器成像状态要求较少，更加贴近实际应用；此外，本实施例中，在识别在轨航天器的骨架的过程中，还能识别在轨航天器形态的异常，可实时监测在轨航天器的状态，对在轨航天器实时状态监测、故障发现、及时抢救等太空安全维护具有重大现实意义。

应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。