掌桥专利:专业的专利平台
掌桥专利
首页

面向遥感跨卫星观测的分布式目标检测方法、装置和卫星

文献发布时间:2023-06-19 19:28:50


面向遥感跨卫星观测的分布式目标检测方法、装置和卫星

技术领域

本发明涉及数据识别技术领域,特别是涉及面向遥感跨卫星观测的分布式目标检测方法、装置和卫星。

背景技术

目前,对地遥感观测进入到星上直接处理的发展阶段。单个卫星可针对某一观测区域获取对应的遥感数据,例如可见光遥感数据、雷达遥感数据或者高光谱遥感数据;但是,单个卫星对获取的遥感数据的处理能力不足,基于单个卫星对地观测的精度不高,已经无法满足当前的任务需求。

近些年在轨遥感卫星数量大幅度增长,多颗卫星可针对同一观测区域获取具有互补信息的多幅遥感数据,如何基于同一观测区域的多幅遥感数据提高观测的精度,是亟待解决的问题。

发明内容

本发明目的在于,提供面向遥感跨卫星观测的分布式目标检测方法、装置和卫星,能够基于同一观测区域的多幅不同成像方式的遥感数据提高观测的精度。

根据本发明的第一方面,提供了第一种面向遥感跨卫星观测的分布式目标检测方法,包括以下步骤:

第一卫星获取观测区域的第一遥感数据的第一检测结果,所述第一检测结果包括第一预测分类结果和第一特征;所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率;所述第一特征不是概率,但是用于获取概率,且根据所述第一特征获取的概率与所述第一预测分类结果中包括的概率相同或不同;

第一卫星向第二卫星发送所述第一预测分类结果和第一特征,以便于第二卫星根据所述第一预测分类结果、第一特征和第二检测结果进行目标检测;所述第二检测结果为第二卫星获取的所述观测区域的第二遥感数据的检测结果,所述第二检测结果包括第二预测分类结果和第二特征,所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率;所述第二特征不是概率,但是用于获取概率,且根据所述第二特征获取的概率与所述第二预测分类结果中包括的概率相同或不同;所述第一遥感数据与第二遥感数据的成像方式相同或不同,所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

进一步的,所述第一卫星上设置有经训练的第一神经网络模型,所述第一神经网络模型包括第一子模型和第二子模型,所述第一预测分类结果由所述第一子模型获取,所述第一特征由所述第二子模型获取;所述第二卫星上设置有经训练的第二神经网络模型,所述第二神经网络模型包括第三子模型和第四子模型,所述第二预测分类结果由所述第三子模型获取,所述第二特征由所述第四子模型获取;所述第一子模型和第三子模型在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程,所述第二子模型和第四子模型在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。

进一步的,所述第一神经网络模型的训练过程包括:

利用第一遥感数据训练样本对第一神经网络模型进行训练,并将训练后得到的所述第二子模型的模型参数发送给第二卫星,以便于第二卫星根据所述第二子模型的模型参数和所述第四子模型的模型参数得到通用模型参数,并将所述通用模型参数发送给第一卫星;所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同;所述第四子模型的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的,所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同;

接收所述通用模型参数,并将所述第二子模型的模型参数替换为所述通用模型参数。

进一步的,所述第二卫星根据所述第二子模型的模型参数和所述第四子模型的模型参数得到通用模型参数,包括:所述通用模型参数分别与所述第二子模型的模型参数和所述第四子模型的模型参数正相关。

进一步的,所述第二卫星根据所述第一预测分类结果、第一特征和第二检测结果进行目标检测,包括:

根据所述第一预测分类结果获取第一预测分类结果对应的第一信息熵;

根据所述第二预测分类结果获取第二预测分类结果对应的第二信息熵;

对所述第一信息熵和第二信息熵进行归一化处理,得到第一卫星对应的第一权重和第二卫星对应的第二权重;

根据所述第一权重、第一特征、第二权重和第二特征获取融合特征;

根据所述融合特征进行目标检测。

进一步的,所述第一特征和第二特征均与所述融合特征正相关。

根据本发明的第二方面,提供了第二种面向遥感跨卫星观测的分布式目标检测方法,包括以下步骤:

第二卫星获取观测区域的第二遥感数据的第二检测结果,所述第二检测结果包括第二预测分类结果和第二特征;所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率;所述第二特征不是概率,但是用于获取概率,且根据所述第二特征获取的概率与所述第二预测分类结果中包括的概率相同或不同;

第二卫星接收第一卫星发送的第一检测结果,并根据所述第一检测结果、第二预测分类结果和第二特征进行目标检测;所述第一检测结果为第一卫星获取的所述观测区域的第一遥感数据的检测结果,所述第一检测结果包括第一预测分类结果和第一特征,所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率;所述第一特征不是概率,但是用于获取概率,且根据所述第一特征获取的概率与所述第一预测分类结果中包括的概率相同或不同;所述第一遥感数据与第二遥感数据的成像方式相同或不同,所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

进一步的,所述第二卫星上设置有经训练的第二神经网络模型,所述第二神经网络模型包括第三子模型和第四子模型,所述第二预测分类结果由所述第三子模型获取,所述第二特征由所述第四子模型获取;所述第一卫星上设置有经训练的第一神经网络模型,所述第一神经网络模型包括第一子模型和第二子模型,所述第一预测分类结果由所述第一子模型获取,所述第一特征由所述第二子模型获取;所述第一子模型和第三子模型在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程,所述第二子模型和第四子模型在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。

进一步的,所述第二神经网络模型的训练过程包括:

利用第二遥感数据训练样本对第二神经网络模型进行训练,得到所述第四子模型的模型参数;所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同;

接收第一卫星发送的第二子模型的模型参数,所述第二子模型的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的,所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同;

根据所述第四子模型的模型参数和所述第二子模型的模型参数得到通用模型参数,将所述第四子模型的模型参数替换为所述通用模型参数,并将所述通用模型参数发送给第一卫星,以便于第一卫星将所述第二子模型的模型参数替换为所述通用模型参数。

进一步的,所述根据所述第四子模型的模型参数和所述第二子模型的模型参数得到通用模型参数,包括:所述通用模型参数分别与所述第二子模型的模型参数和所述第四子模型的模型参数正相关。

进一步的,根据所述第一检测结果、第二预测分类结果和第二特征进行目标检测,包括:

根据所述第一预测分类结果获取第一预测分类结果对应的第一信息熵;

根据所述第二预测分类结果获取第二预测分类结果对应的第二信息熵;

对所述第一信息熵和第二信息熵进行归一化处理,得到第一卫星对应的第一权重和第二卫星对应的第二权重;

根据所述第一权重、第一特征、第二权重和第二特征获取融合特征;

根据所述融合特征进行目标检测。

进一步的,所述第一特征和第二特征均与所述融合特征正相关。

根据本发明的第三方面,提供了第一种面向遥感跨卫星观测的分布式目标检测装置,包括:

第一获取模块,用于第一卫星获取观测区域的第一遥感数据的第一检测结果,所述第一检测结果包括第一预测分类结果和第一特征;所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率;所述第一特征不是概率,但是用于获取概率,且根据所述第一特征获取的概率与所述第一预测分类结果中包括的概率相同或不同;

第一发送模块,用于第一卫星向第二卫星发送所述第一预测分类结果和第一特征,以便于第二卫星根据所述第一预测分类结果、第一特征和第二检测结果进行目标检测;所述第二检测结果为第二卫星获取的所述观测区域的第二遥感数据的检测结果,所述第二检测结果包括第二预测分类结果和第二特征,所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率;所述第二特征不是概率,但是用于获取概率,且根据所述第二特征获取的概率与所述第二预测分类结果中包括的概率相同或不同;所述第一遥感数据与第二遥感数据的成像方式相同或不同,所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

进一步的,所述第一卫星上设置有经训练的第一神经网络模型,所述第一神经网络模型包括第一子模型和第二子模型,所述第一预测分类结果由所述第一子模型获取,所述第一特征由所述第二子模型获取;所述第二卫星上设置有经训练的第二神经网络模型,所述第二神经网络模型包括第三子模型和第四子模型,所述第二预测分类结果由所述第三子模型获取,所述第二特征由所述第四子模型获取;所述第一子模型和第三子模型在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程,所述第二子模型和第四子模型在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。

进一步的,所述第一神经网络模型的训练过程包括:

利用第一遥感数据训练样本对第一神经网络模型进行训练,并将训练后得到的所述第二子模型的模型参数发送给第二卫星,以便于第二卫星根据所述第二子模型的模型参数和所述第四子模型的模型参数得到通用模型参数,并将所述通用模型参数发送给第一卫星;所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同;所述第四子模型的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的,所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同;

接收所述通用模型参数,并将所述第二子模型的模型参数替换为所述通用模型参数。

进一步的,所述第二卫星根据所述第二子模型的模型参数和所述第四子模型的模型参数得到通用模型参数,包括:所述通用模型参数分别与所述第二子模型的模型参数和所述第四子模型的模型参数正相关。

进一步的,所述第二卫星根据所述第一预测分类结果、第一特征和第二检测结果进行目标检测,包括:

根据所述第一预测分类结果获取第一预测分类结果对应的第一信息熵;

根据所述第二预测分类结果获取第二预测分类结果对应的第二信息熵;

对所述第一信息熵和第二信息熵进行归一化处理,得到第一卫星对应的第一权重和第二卫星对应的第二权重;

根据所述第一权重、第一特征、第二权重和第二特征获取融合特征;

根据所述融合特征进行目标检测。

进一步的,所述第一特征和第二特征均与所述融合特征正相关。

根据本发明的第四方面,提供了第二种面向遥感跨卫星观测的分布式目标检测装置,包括:

第二获取模块,用于第二卫星获取观测区域的第二遥感数据的第二检测结果,所述第二检测结果包括第二预测分类结果和第二特征;所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率;所述第二特征不是概率,但是用于获取概率,且根据所述第二特征获取的概率与所述第二预测分类结果中包括的概率相同或不同;

第二接收模块,用于第二卫星接收第一卫星发送的第一检测结果,并根据所述第一检测结果、第二预测分类结果和第二特征进行目标检测;所述第一检测结果为第一卫星获取的所述观测区域的第一遥感数据的检测结果,所述第一检测结果包括第一预测分类结果和第一特征,所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率;所述第一特征不是概率,但是用于获取概率,且根据所述第一特征获取的概率与所述第一预测分类结果中包括的概率相同或不同;所述第一遥感数据与第二遥感数据的成像方式相同或不同,所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

进一步的,所述第二卫星上设置有经训练的第二神经网络模型,所述第二神经网络模型包括第三子模型和第四子模型,所述第二预测分类结果由所述第三子模型获取,所述第二特征由所述第四子模型获取;所述第一卫星上设置有经训练的第一神经网络模型,所述第一神经网络模型包括第一子模型和第二子模型,所述第一预测分类结果由所述第一子模型获取,所述第一特征由所述第二子模型获取;所述第一子模型和第三子模型在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程,所述第二子模型和第四子模型在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。

进一步的,所述第二神经网络模型的训练过程包括:

利用第二遥感数据训练样本对第二神经网络模型进行训练,得到所述第四子模型的模型参数;所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同;

接收第一卫星发送的第二子模型的模型参数,所述第二子模型的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的,所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同;

根据所述第四子模型的模型参数和所述第二子模型的模型参数得到通用模型参数,将所述第四子模型的模型参数替换为所述通用模型参数,并将所述通用模型参数发送给第一卫星,以便于第一卫星将所述第二子模型的模型参数替换为所述通用模型参数。

进一步的,所述根据所述第四子模型的模型参数和所述第二子模型的模型参数得到通用模型参数,包括:所述通用模型参数分别与所述第二子模型的模型参数和所述第四子模型的模型参数正相关。

进一步的,根据所述第一检测结果、第二预测分类结果和第二特征进行目标检测,包括:

根据所述第一预测分类结果获取第一预测分类结果对应的第一信息熵;

根据所述第二预测分类结果获取第二预测分类结果对应的第二信息熵;

对所述第一信息熵和第二信息熵进行归一化处理,得到第一卫星对应的第一权重和第二卫星对应的第二权重;

根据所述第一权重、第一特征、第二权重和第二特征获取融合特征;

根据所述融合特征进行目标检测。

进一步的,所述第一特征和第二特征均与所述融合特征正相关。

根据本发明的第五方面,提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一种方法或第二种方法。

根据本发明的第六方面,提供了一种卫星,包括计算机设备,所述计算机设备包括处理器和存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述第一种方法或第二种方法。

本发明与现有技术相比具有明显的有益效果,借由上述技术方案,本发明可达到相当的技术进步性及实用性,并具有产业上的广泛利用价值,其至少具有以下有益效果:

本发明适用于多颗卫星针对同一观测区域获取不同遥感数据的情况,本发明中第一卫星和第二卫星可分别对获取的遥感数据获取检测结果;在此基础上,本发明将第一卫星和第二卫星获取的检测结果汇集到第二卫星,并由第二卫星根据第一卫星和第二卫星的检测结果进行目标检测。本发明最终的目标检测结果结合了第一卫星和第二卫星的检测结果,综合了第一卫星和第二卫星的特征表达能力,因此最终的检测结果更为准确,提高了对上述观测区域的观测精度。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明提供的第一种面向遥感跨卫星观测的分布式目标检测方法的流程图;

图2为本发明提供的第一神经网络模型的训练方法的流程图;

图3为本发明实施例提供的多个卫星的神经网络模型的训练过程流程图;

图4为本发明提供的浅层特征提取器和深层特征提取器的结构示意图;

图5为本发明提供的Block1的结构示意图;

图6为本发明提供的通用任务头的结构示意图;

图7为本发明实施例提供的测试过程流程图;

图8为本发明提供的第二卫星的预测分类方法流程图;

图9为本发明实施例提供的预测分类过程示意图;

图10为本发明提供的第二种面向遥感跨卫星观测的分布式目标检测方法的流程图;

图11为本发明提供的第二神经网络模型的训练方法流程图;

图12为本发明提供的第一种面向遥感跨卫星观测的分布式目标检测装置的结构示意图;

图13为本发明提供的第一获取模块的结构示意图;

图14为本发明提供的第二种面向遥感跨卫星观测的分布式目标检测装置的结构示意图;

图15为本发明提供的第二获取模块的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明适用于多颗卫星针对同一观测区域获取不同遥感数据的情况,每颗卫星获取一幅遥感数据,不同卫星获取的遥感数据的成像方式相同或不同,成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

本发明中上述多个卫星中的每一个卫星具有对获取的遥感数据进行处理的能力,可获取对应遥感数据的检测结果,检测结果包括预测分类结果和特征;该预测分类结果包括对应遥感数据中所包括的预设类型的对象的概率;特征不是概率,但是用于获取概率,且根据上述特征获取的概率与上述预测分类结果中包括的概率相同或不同。

本发明将卫星分为两类,第一类是只负责将自身检测结果上传,并不负责将上述多个卫星的检测结果进行结合的卫星,第一类卫星的数量可以大于等于1;第二类是负责接收第一类卫星的检测结果,并将上述多个卫星的检测结果结合后给出最终检测结果的卫星,第二类卫星的数量为1。

本发明中的第一卫星属于第一类卫星,本发明中的第二卫星属于第二类卫星。如图1所示,一种面向遥感跨卫星观测的分布式目标检测方法,包括以下步骤:

S100,第一卫星获取观测区域的第一遥感数据的第一检测结果,所述第一检测结果包括第一预测分类结果和第一特征;所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率;所述第一特征不是概率,但是用于获取概率,且根据所述第一特征获取的概率与所述第一预测分类结果中包括的概率相同或不同。

可选的,第一卫星利用传统目标检测方法或基于深度学习的目标检测方法获取第一检测结果。本领域技术人员知悉,现有技术中任何目标检测方法均落入本发明的保护范围。

根据本发明基于深度学习的目标检测方法获取第一检测结果的实施例,所述第一卫星上设置有经训练的第一神经网络模型,所述第一神经网络模型包括第一子模型和第二子模型,所述第一预测分类结果由所述第一子模型获取,所述第一特征由所述第二子模型获取。

根据本发明,如图2所示,所述第一神经网络模型的训练过程包括:

S110,利用第一遥感数据训练样本对第一神经网络模型进行训练,并将训练后得到的所述第二子模型的模型参数发送给第二卫星,以便于第二卫星根据所述第二子模型的模型参数和所述第四子模型的模型参数得到通用模型参数,并将所述通用模型参数发送给第一卫星;所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同;所述第四子模型的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的,所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。

本发明的第二卫星上设置有经训练的第二神经网络模型,所述第二神经网络模型包括第三子模型和第四子模型,所述第二预测分类结果由所述第三子模型获取,所述第二特征由所述第四子模型获取;所述第一子模型和第三子模型在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程,所述第二子模型和第四子模型在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。

本发明在训练开始前,对第一卫星和第二卫星对应的神经网络模型的模型参数随机初始化,第一子模型和第三子模型的参数相同或不相同,第二子模型和第四子模型的参数相同。需要说明的是,如果除了第一卫星之外,还存在其他第一类卫星,应在训练开始前,使该其他第一类卫星的第一个子模型的参数、第一子模型和第三子模型的参数相同或不相同,使该其他第一类卫星的第二个子模型的参数、第二子模型和第四子模型的参数一样。

本领域技术人员知悉,现有技术中任何用于目标检测的损失均落入本发明的保护范围,作为现有技术的一种具体实现方式,在对第一神经网络模型进行训练的过程中,设置第一神经网络模型的损失L=L

L

v

其中,

L

其中,q

在对第二卫星上设置的第二神经网络模型进行训练的过程中,采用与第一卫星的第一神经网络相同的损失,此处不再赘述。

根据本发明,所述通用模型参数分别与所述第二子模型的模型参数和所述第四子模型的模型参数正相关。可选的,通用模型参数为第一卫星和第二卫星对应的神经网络模型的第二个子模型的模型参数的平均值。

应当理解的是,如果第二卫星还接收了除第一卫星以外的其他第一类卫星对应的第二个子模型的模型参数,那么通用模型参数为第一卫星、第二卫星和上述其他第一类卫星对应的神经网络模型的第二个子模型的模型参数的平均值。

S120,接收所述通用模型参数,并将所述第二子模型的模型参数替换为所述通用模型参数。

本发明的第一卫星的第一神经网络模型的训练过程中将第二子模型的模型参数发送给第二卫星进行参数均值化交流,获得跨卫星的知识补充,提升了第一神经网络的第二子模型的泛化能力。

作为本发明的一个实施例,如图3所示,三个卫星对同一观测区域分别获取光学、雷达和高光谱的遥感数据,这三个卫星分别记为第一卫星(即域1)、第二卫星(即域2)和第三卫星(即域3),其中第一卫星和第三卫星为上述第一类卫星,第二卫星为第二类卫星。本实施例中三个卫星上均设置有用于处理获取的遥感数据的神经网络模型,每个神经网络模型包括两个并行的分支和两分支共用的浅层特征提取器,第一分支和共用的浅层特征提取器构成神经网络模型的第一个子模型,第二分支和共用的浅层特征提取器构成神经网络模型的第二个子模型。第一分支包括个性化深层特征提取器和个性化任务头,第二分支包括通用深层特征提取器和通用任务头,第二分支与第一分支的主要区别在于第二分支与其他卫星的存在交互过程。

本领域技术人员知悉,现有技术中任何获取光学、雷达和高光谱的遥感数据的方法均落入本发明的保护范围。

本发明使用ResNet-50作为骨干网络进行特征提取,该骨干网络是第一神经网络模型和第二神经网络模型的一部分。如图4所示,浅层特征提取器包括3个Block1、4个Block2和6个Block3,个性化深层特征提取器包括3个Block4,通用深层特征提取器包括3个Block4,Block1-Block4均为残差块结构。在残差块结构中,输入特征矩阵以两个分支进入残差块,直线分支经过多个卷积层产生输出特征矩阵,与捷径分支(shortcut)进行矩阵的相加。如图5所示为Block1的结构,其余的Block2、Block3和Block4的结构与Block1的结构相同,只有维度不同。

本发明中通用任务头的结构如图6所示,通用任务头采用Mask R-CNN,Mask R-CNN由区域候选网络(RPN,region proposal network的缩写)、感兴趣区域对齐(ROI Align)和检测头(detection head)组成。区域候选网络的作用是在特征图上生成一系列候选边界框。感兴趣区域对齐将不同维度的候选框变换整合成相同维度的特征,尽最大可能减小量化取整对检测精度的影响,保留更多原始区域的特征。检测头部分由一系列全连接层构成,其一是两个多层感知器头(Two MLP Head),对特征图进行展平操作后接两个全连接层;其二是两个并行的全连接层,分别预测类别分数和边界框回归参数。

本发明中个性化任务头直接采用全连接层输出类别分数。

本发明将通用深层特征提取器提取的特征送入对应的区域候选网络结构中,生成候选框,将区域候选网络生成的候选框投影到特征图上获得相应的特征矩阵,然后将每个特征矩阵通过感兴趣区域对齐层缩放到7x7大小的特征图,最后将特征图展平通过一系列全连接层得到预测结果。

S200,第一卫星向第二卫星发送所述第一预测分类结果和第一特征,以便于第二卫星根据所述第一预测分类结果、第一特征和第二检测结果进行目标检测;所述第二检测结果为第二卫星获取的所述观测区域的第二遥感数据的检测结果,所述第二检测结果包括第二预测分类结果和第二特征,所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率;所述第二特征不是概率,但是用于获取概率,且根据所述第二特征获取的概率与所述第二预测分类结果中包括的概率相同或不同;所述第一遥感数据与第二遥感数据的成像方式相同或不同,所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

作为本发明的一个实施例,如图7所示,第一卫星向第二卫星发送第一检测结果,第三卫星向第二卫星发送第三检测结果;第二卫星接收第一卫星发送的第一检测结果以及接收第三卫星发送的第三检测结果,并根据接收的检测结果和自身的第二检测结果进行目标检测。

根据本发明,如图8所示,第二卫星根据第一预测分类结果、第一特征和第二检测结果进行目标检测,包括:

S210,根据所述第一预测分类结果获取第一预测分类结果对应的第一信息熵。

根据本发明,考虑K个卫星的神经网络模型的第一个子模型的个性化任务头,将其建模为f(h

例如,测试时第1个卫星对应的神经网络模型的第一个子模型对x

S220,根据所述第二预测分类结果获取第二预测分类结果对应的第二信息熵。

S230,对所述第一信息熵和第二信息熵进行归一化处理,得到第一卫星对应的第一权重和第二卫星对应的第二权重。

S240,根据所述第一权重、第一特征、第二权重和第二特征获取融合特征。

S250,根据所述融合特征进行目标检测。

可选的,利用第四子模型中的通用任务头对融合特征进行目标检测。

应当理解的是,如果除了第一卫星和第二卫星之外,还存在其他第一类卫星,那么第二卫星根据第一预测分类结果、第一特征和第二检测结果进行目标检测的过程还包括:根据上述其他第一类卫星对应的预测分类结果获取对应的信息熵;S230就变为对所述第一信息熵、第二信息熵和所述其他第一类卫星对应的信息熵进行归一化处理,得到第一卫星对应的第一权重、第二卫星对应的第二权重和所述其他第一类卫星对应的权重;S240就变为根据所述第一权重、第一特征、第二权重、第二特征、其他第一类卫星对应的特征和权重获取融合特征。

作为本发明的一个实施例,如图9所示,三颗卫星对应的信息熵经统一的softmax实现归一化处理后,映射到(0,1)范围内;将映射后得到的值作为对应卫星上神经网络模型的第二个子模型提取的特征的权重,加权求和后得到融合特征。图9中C为图像通道数,H为图像高度,W为图像宽度。

本发明将检测同一观测区域的多个卫星对应的神经网络模型的第二个子模型的特征进行了融合,得到的融合特征的特征表达能力更强,因此基于融合特征获取的目标检测结果更加准确。

根据本发明的第二方面,提供了另一种面向遥感跨卫星观测的分布式目标检测方法,如图10所示,包括以下步骤:

S101,第二卫星获取观测区域的第二遥感数据的第二检测结果,所述第二检测结果包括第二预测分类结果和第二特征;所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率;所述第二特征不是概率,但是用于获取概率,且根据所述第二特征获取的概率与所述第二预测分类结果中包括的概率相同或不同。

可选的,第二卫星利用传统目标检测方法或基于深度学习的目标检测方法获取第二检测结果。本领域技术人员知悉,现有技术中任何目标检测方法均落入本发明的保护范围。

根据本发明基于深度学习的目标检测方法获取第二检测结果的实施例,所述第二卫星上设置有经训练的第二神经网络模型,所述第二神经网络模型包括第三子模型和第四子模型,所述第二预测分类结果由所述第三子模型获取,所述第二特征由所述第四子模型获取。

根据本发明,如图11所示,第二神经网络模型的训练过程包括:

S111,利用第二遥感数据训练样本对第二神经网络模型进行训练,得到所述第四子模型的模型参数;所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。

本发明在训练开始前,对第一卫星和第二卫星对应的神经网络模型的模型参数随机初始化,第一子模型和第三子模型的参数相同或不相同,但是第二子模型和第四子模型的参数相同。

在对第二卫星的第二神经网络模型进行训练的过程中,采用与第一卫星的第一神经网络模型相同的损失,此处不再赘述。

S121,接收第一卫星发送的第二子模型的模型参数,所述第二子模型的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的,所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同。

本发明第一卫星上设置有经训练的第一神经网络模型,所述第一神经网络模型包括第一子模型和第二子模型,所述第一预测分类结果由所述第一子模型获取,所述第一特征由所述第二子模型获取。第一子模型和第三子模型在第一神经网络模型和第二神经网络模型的训练过程中不存在交互过程,所述第二子模型和第四子模型在第一神经网络模型和第二神经网络模型的训练过程中存在交互过程。

S131,根据所述第四子模型的模型参数和所述第二子模型的模型参数得到通用模型参数,将所述第四子模型的模型参数替换为所述通用模型参数,并将所述通用模型参数发送给第一卫星,以便于第一卫星将所述第二子模型的模型参数替换为所述通用模型参数。

本发明中所述通用模型参数分别与所述第二子模型的模型参数和所述第四子模型的模型参数正相关。可选的,通用模型参数为第一卫星和第二卫星对应的神经网络模型的第二个子模型的模型参数的平均值。应当理解的是,如果第二卫星还接收了除第一卫星以外的其他第一类卫星对应的第二个子模型的模型参数,那么通用模型参数为第一卫星、第二卫星和上述其他第一类卫星对应的神经网络模型的第二个子模型的模型参数的平均值。

本发明的第二卫星的第二神经网络模型的训练过程中与第一卫星的第二子模型的模型参数进行了参数均值化交流,获得了跨卫星的知识补充,提升了第二神经网络的第四子模型的泛化能力。

S201,第二卫星接收第一卫星发送的第一检测结果,并根据所述第一检测结果、第二预测分类结果和第二特征进行目标检测;所述第一检测结果为第一卫星获取的所述观测区域的第一遥感数据的检测结果,所述第一检测结果包括第一预测分类结果和第一特征,所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率;所述第一特征不是概率,但是用于获取概率,且根据所述第一特征获取的概率与所述第一预测分类结果中包括的概率相同或不同;所述第一遥感数据与第二遥感数据的成像方式相同或不同,所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

第二卫星根据第一预测分类结果、第一特征和第二检测结果进行目标检测的过程已经在S210-S250中进行了介绍,此处不再赘述。

根据本发明的第三方面,提供了一种面向遥感跨卫星观测的分布式目标检测装置,如图12所示,包括:

第一获取模块,用于第一卫星获取观测区域的第一遥感数据的第一检测结果,所述第一检测结果包括第一预测分类结果和第一特征;所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率;所述第一特征不是概率,但是用于获取概率,且根据所述第一特征获取的概率与所述第一预测分类结果中包括的概率相同或不同。

第一发送模块,用于第一卫星向第二卫星发送所述第一预测分类结果和第一特征,以便于第二卫星根据所述第一预测分类结果、第一特征和第二检测结果进行目标检测;所述第二检测结果为第二卫星获取的所述观测区域的第二遥感数据的检测结果,所述第二检测结果包括第二预测分类结果和第二特征,所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率;所述第二特征不是概率,但是用于获取概率,且根据所述第二特征获取的概率与所述第二预测分类结果中包括的概率相同或不同;所述第一遥感数据与第二遥感数据的成像方式相同或不同,所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

根据本发明,如图13所示,所述第一获取模块包括第一发送单元和第一接收单元,其中:

第一发送单元,利用第一遥感数据训练样本对第一神经网络模型进行训练,并将训练后得到的所述第二子模型的模型参数发送给第二卫星,以便于第二卫星根据所述第二子模型的模型参数和所述第四子模型的模型参数得到通用模型参数,并将所述通用模型参数发送给第一卫星;所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同;所述第四子模型的模型参数是利用第二遥感数据训练样本对第二神经网络模型进行训练得到的,所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。

第一接收单元,用于接收所述通用模型参数,并将所述第二子模型的模型参数替换为所述通用模型参数。

根据本发明,所述通用模型参数分别与所述第二子模型的模型参数和所述第四子模型的模型参数正相关。

根据本发明的第四方面,提供了一种面向遥感跨卫星观测的分布式目标检测装置,如图14所示,包括:

第二获取模块,用于第二卫星获取观测区域的第二遥感数据的第二检测结果,所述第二检测结果包括第二预测分类结果和第二特征;所述第二预测分类结果包括所述第二遥感数据中所包括的预设类型的对象的概率;所述第二特征不是概率,但是用于获取概率,且根据所述第二特征获取的概率与所述第二预测分类结果中包括的概率相同或不同。

第二接收模块,用于第二卫星接收第一卫星发送的第一检测结果,并根据所述第一检测结果、第二预测分类结果和第二特征进行目标检测;所述第一检测结果为第一卫星获取的所述观测区域的第一遥感数据的检测结果,所述第一检测结果包括第一预测分类结果和第一特征,所述第一预测分类结果包括所述第一遥感数据中所包括的预设类型的对象的概率;所述第一特征不是概率,但是用于获取概率,且根据所述第一特征获取的概率与所述第一预测分类结果中包括的概率相同或不同;所述第一遥感数据与第二遥感数据的成像方式相同或不同,所述成像方式包括可见光遥感数据成像、雷达遥感数据成像或高光谱遥感数据成像。

根据本发明,如图15所示,第二获取模块包括:第一训练单元、第二接收单元和第三发送单元。

第一训练单元,用于利用第二遥感数据训练样本对第二神经网络模型进行训练,得到所述第四子模型的模型参数;所述第二遥感数据训练样本与所述第二遥感数据的成像方式相同。

第二接收单元,用于接收第一卫星发送的第二子模型的模型参数,所述第二子模型的模型参数是利用第一遥感数据训练样本对第一神经网络模型进行训练得到的,所述第一遥感数据训练样本与所述第一遥感数据的成像方式相同。

第三发送单元,用于根据所述第四子模型的模型参数和所述第二子模型的模型参数得到通用模型参数,将所述第四子模型的模型参数替换为所述通用模型参数,并将所述通用模型参数发送给第一卫星,以便于第一卫星将所述第二子模型的模型参数替换为所述通用模型参数。

根据本发明的第五方面,提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述S100-S200或S101-S201。

根据本发明的第六方面,提供了一种卫星,卫星包括计算机设备,计算机设备包括处理器和存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述S100-S200或S101-S201。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上示例仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员还应理解,可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明的范围由所附权利要求来限定。

技术分类

06120115928867