基于多子区先验信息的惯导信息校正方法、装置及设备

技术领域

本申请涉及地面目标识别技术领域，特别是涉及一种基于多子区先验信息的惯导信息校正方法、装置及设备。

背景技术

对地多模成像制导系统采用先进的探测和信息处理技术，实现对目标的精确打击，其中复杂地面背景下的目标识别技术是核心和难点。当前，目标识别技术主要分为以下两种方案：(1)通过提取图像中的信息从而识别目标的方案，即自动目标识别ATR；该方案：首先，基于专家系统构建“目标知识基”；然后，通过计算图像在“目标知识基”所张成空间的投影来识别目标。这里“目标知识基”可以是图像的特征信息、也可以图像的统计信息。(2)通过景象匹配(图像匹配)从而捕获目标的方案，即自动目标捕获ATA；该方案：首先，提取基准图像和实时图像的待匹配基元；然后，构建待匹配基元的描述符并匹配；最后，利用基元间的匹配空间关系解算出图像配准参数，从而捕获目标。

自动目标识别(ATR)方案强烈依赖“目标知识基”的构建，而计算机视觉通常采用图像特征来实例化表达“目标知识基”。因此ATR方案要么采用稀疏表示、词袋模型等特征工程方法，要么采用基于SVM等传统机器学习方法；但是前者无法有效解决“目标知识基”在多种透视畸变条件下的鲁棒性问题，而后者只能识别图像中包含的目标类别，无法给出目标在图像中的精确位置。因此传统ATR方案难以适用于高速弹载环境下的对地成像制导任务中。自动目标捕获(ATA)方案则天然地具有精确定位打击点坐标的能力。该方案通过基准图与实时图之间的配准，从而找到基准图中任意点在实时图像中的对应位置。因此，ATA方法仍然是主流的弹载成像制导方案研究方向。

但是现有的自动目标捕获方案需要用到惯导参数对实时图像进行校正，但是惯导参数会随着飞行距离而逐渐累积误差，从而导致校正后的实时图与基准图存在尺度差异；从而难以实现正确的匹配。

发明内容

基于此，有必要针对上述技术问题，提供一种能够进行快速校正的基于多子区先验信息的惯导信息校正方法、装置及设备。

一种基于多子区先验信息的惯导信息校正方法，所述方法包括：

获取实时图像数据集以及基准图像，所述实时图像数据集中包含由高空对地面目标获取的多帧实时图像，所述基准图像包含所述地面目标位置的准确信息；

对各帧所述实时图像进行几何校正得到校正后实时图像，在所述基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域；

根据所述基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差；

根据相应的置信度对所述第一估计高度误差进行相乘，得到实时图像对应的第二估计高度误差；

计算每6帧实时图像的第二估计高度误差的平均值，并将该平均值作为高度误差，根据所述高度误差对惯导信息中的高度信息进行逐步校正，直至所述高度误差收敛。

在其中一实施例中，所述感兴趣区域包括2个，或者大于等于3个。

在其中一实施例中，当所述感兴趣区域大于等于3个时，则每一帧实时图像可计算得到多个第一估计高度误差，计算其平均值作为各帧实时图像对应的第一估计高度误差。

在其中一实施例中，在计算多个第一估计高度误差的平均值之前，还根据惯导系统的固有误差对各所述第一估计高度误差进行判断，若所述第一估计高度误差大于固有误差则将其剔除。

在其中一实施例中，当所述感兴趣区域为2个时，根据惯导系统的固有误差对各帧实时图像对应的第一估计高度误差进行判断，若所述第一估计高度误差大于固有误差则将其剔除。

在其中一实施例中，当所述感兴趣区域为2个时，则所述置信度为0.65，当所述感兴趣区域大于等于3个时，则所述置信度为0.75。

在其中一实施例中，所述根据所述基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像中对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差采用以下公式：

在上式中，L

一种基于多子区先验信息的惯导信息校正装置，所述装置包括：

图像数据获取模块，用于获取实时图像数据集以及基准图像，所述实时图像数据集中包含由高空对地面目标获取的多帧实时图像，所述基准图像包含所述地面目标位置的准确信息；

感兴趣区域匹配模块，用于对各帧所述实时图像进行几何校正得到校正后实时图像，在所述基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域；

第一估计高度误差计算模块，用于根据所述基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差；

第二估计高度误差计算模块，用于根据相应的置信度对所述第一估计高度误差进行相乘，得到实时图像对应的第二估计高度误差；

惯导信息校正模块，用于计算每6帧实时图像的第二估计高度误差的平均值，并将该平均值作为高度误差，根据所述高度误差对惯导信息中的高度信息进行逐步校正，直至所述高度误差收敛。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取实时图像数据集以及基准图像，所述实时图像数据集中包含由高空对地面目标获取的多帧实时图像，所述基准图像包含所述地面目标位置的准确信息；

对各帧所述实时图像进行几何校正得到校正后实时图像，在所述基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域；

根据所述基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差；

根据相应的置信度对所述第一估计高度误差进行相乘，得到实时图像对应的第二估计高度误差；

计算每6帧实时图像的第二估计高度误差的平均值，并将该平均值作为高度误差，根据所述高度误差对惯导信息中的高度信息进行逐步校正，直至所述高度误差收敛。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取实时图像数据集以及基准图像，所述实时图像数据集中包含由高空对地面目标获取的多帧实时图像，所述基准图像包含所述地面目标位置的准确信息；

对各帧所述实时图像进行几何校正得到校正后实时图像，在所述基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域；

根据所述基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差；

根据相应的置信度对所述第一估计高度误差进行相乘，得到实时图像对应的第二估计高度误差；

计算每6帧实时图像的第二估计高度误差的平均值，并将该平均值作为高度误差，根据所述高度误差对惯导信息中的高度信息进行逐步校正，直至所述高度误差收敛。

上述基于多子区先验信息的惯导信息校正方法、装置及设备，通过获取由包含高空对地面目标获取的多帧实时图像的实时图像数据集，以及包含地面目标位置的准确信息基准图像，对各帧实时图像进行几何校正得到校正后实时图像，在基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域，根据基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到估计高度误差，并根据估计高度误差对惯导信息中的高度信息进行校正，从而提高目标识别系统的环境适应能力和定位精度。

附图说明

图1为一个实施例中基于多子区先验信息的惯导信息校正方法的流程示意图；

图2为一个实施例中几何校正后的实时图像；

图3为一个实施例中的基准图像；

图4为一个实施例中从基准图像中挑选出的三个感兴趣区域，其中，图4(a)为感兴趣区域1，图4(b)为感兴趣区域2,图4(c)为感兴趣区域3；

图5为一个实施例中三个感兴趣区域在基准图像中位置的示意图；

图6为一个实施例中三个感兴趣区域在校正后的实时图中对应位置的示意图；

图7为一个实施例中高度估计示意图；

图8为一个实验验证中-300m高度误差估计结果示意图；

图9为一个实验验证中+300m高度误差估计结果示意图；

图10为一个实验验证中两组输入的实时图像；

图11为一个实验验证中两组实时图像高度误差为-300m时的识别结果示意图；

图12为一个实验验证中两组实时图像高度误差为+300m时的识别结果示意图；

图13为一个实验验证中两组实时图像高度误差校正后的识别结果示意图；

图14为一个实施例中基于多子区先验信息的惯导信息校正装置的结构框图；

图15为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

针对现有的自动目标捕获方案需要用到惯导参数对实时图像进行校正，但是惯导参数会随着飞行距离而逐渐累积误差，从而导致校正后的实时图像与基准图像存在尺度差异，从而难以实现正确的匹配的问题，如图1所示，提供了一种基于多子区先验信息的惯导信息校正方法，包括以下步骤：

步骤S100，获取实时图像数据集以及基准图像，其中实时图像数据集中包含由高空对地面目标获取的多帧实时图像，基准图像包含地面目标位置的准确信息；

步骤S110，对各帧实时图像进行几何校正得到校正后实时图像，在基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域；

步骤S120，根据基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差；

步骤S130，根据相应的置信度对第一估计高度误差进行相乘，得到实时图像对应的第二估计高度误差；

步骤S140，计算每6帧实时图像的第二估计高度误差的平均值，并将该平均值作为高度误差，根据高度误差对惯导信息中的高度信息进行逐步校正，直至所述高度误差收敛。

对于地面静态目标的定位而言，可充分利用目标周围有效信息对目标进行识别，即通过匹配目标周围的多个感兴趣区域来综合定位目标。同时也可以利用各个感兴趣区域的相对位置关系对惯导参数进行校正，从而提高目标识别系统的环境适应能力和定位精度。

在本实施例中，首先在基准图像中选取多个具有明显特征的感兴趣区域ROI(Region ofIntersting)，然后通过匹配的方法定位各个ROI在实时图中的位置，从而得到目标的多个潜在位置，最后可以利用实时图中各个ROI之间的相对位置关系计算出惯导参数的误差值，从而修正惯导参数误差。

具体的，在步骤S100中，实时图像数据集中的各帧实时图像由红外机载从高空对地面目标获取，各帧实时图像为红外图像。而基准图像为由卫星获取的光学图像，包括地面目标位置的精确信息。

在步骤S110中，对实时图像数据集中的各帧实时图像进行几何校正处理，校正后的实时图像如图2所示。需要进行说明的是，本方法并不是对已经获取的完整实时图像数据集进行操作，而是在获取实时图像的同时，对当下获取的实时图像进行操作，在获取实时图像的同时对惯导参数进行校正。

如图3-5所示，从基准图像中可以提取出三个感兴趣区域，而将基准图像与实时图像进行匹配后，基准图像中的三个感兴趣区域在校正后的实时图像中的位置如图6所示。

在本实施例中，对基准图像和实时图像进行匹配的方法在本方法中不做限定，可以采用多种方式将两个图像进行匹配，以在实时图像中定位对应基准图像的感兴趣区域。

在本实施例中，从基准图像中提取的感兴趣区域可以是2个，或者大于等于3个。在本文中仅仅是以3个感兴趣区域为例。

由于用带误差的高度值对图像进行校正后，正下视实时图像中各个感兴趣区域(ROI)之间的距离与基准图中各个ROI之间的距离存在差异，利用它们之间的差异值可以解算出高度误差具体值。

在步骤S120中，首先计算正下视实时图像中的各个ROI之间的距离。然后，计算出基准图像中各个ROI之间的距离。接着，计算对应的两个ROI之间距离的比值，这个差值蕴含了高度误差信息，且该信息与高度误差呈线性关系。因此，利用这个误差信息，便可以将高度误差估计出来，如图7所示。

在图7中，A和B是基准图中任意的两个(ROI)，A′和B′是校正后的实时图中ROI-A和ROI-B被匹配到的位置。若高度信息没有误差，即H′＝H，则A和A′重合，B和B′重合，其中，H′表示由惯导系统得到高度信息，但是当高度信息存在误差时，L

在公式(1)中，L

具体的，当感兴趣区域大于等于3个时，则每一帧实时图像可计算得到多个第一估计高度误差，计算其平均值作为各帧实时图像对应的第一估计高度误差。

进一步的，对估计出来的第一估计高度误差要限制其误差范围，不能大于整个惯导系统的固有误差。所以当感兴趣区域大于等于3个时，在计算多个第一估计高度误差平均值之前，还需要根据惯导系统的固有误差对各第一估计高度误差进行判断，并将大于固有误差的第一估计高度误差剔除，不参与平均值的计算。

同样的，当感兴趣区域为2个时，此时对应各帧实时图像只能计算出一个估计高度误差，则根据惯导系统的固有误差对各帧实时图像对应的第一估计高度误差进行判断，并剔除大于固有误差的第一估计高度误差。

在步骤S130中，在具体应用中，高度估计过程需要进行严格的约束，因此该需要设置高度估计的置信度。当感兴趣区域为2个时，则置信度为0.65，当感兴趣区域大于等于3个时，则置信度为0.75。将每一帧实时图像计算得到的第一估计高度误差与对应的置信度相乘得到第二估计高度误差。

在步骤S140中，求出了当前帧的平均高度误差(也就是第二估计高度误差)后，不能直接将其作为整个系统的高度估计误差，需要将其放入一个长度为16的循环队列中，然后每统计6个高度误差再求一次连续6帧的平均值，将该平均作为整个系统的高度估计误差输出，对惯导信息中的高度信息进行校正。如此循环放入，从而完成全程的高度校正。

在本实施例中，在根据高度误差对惯导信息中的高度信息进行校正时，是一点点逐步校正的，不是一下将高度信息进行全部校正，而是进行逐步校正，如图8-9。

在本文中，还根据本方法进行了实验验证，通过对输入的惯导高度信息分别添加±10％的高度误差，即在高度为3000m时，添加+300m和-300m的误差，然后利用本发明进行高度误差校正，其结果如8-9所示，从图中可以看出，本方法可以在10帧图像之内完成对±10％的高度误差的正确估计。

如图10-13所示，进一步展示了本方法的实验效果，图10为两组输入的实时图像，图11为两组实时图像高度误差为-300m时的识别结果示意图，图12为两组实时图像高度误差为+300m时的识别结果示意图，图13为两组实时图像高度误差校正后的识别结果示意图。

上述基于多子区先验信息的惯导信息校正方法中，通过获取由包含高空对地面目标获取的多帧实时图像的实时图像数据集，以及包含地面目标位置的准确信息基准图像，对各帧实时图像进行几何校正得到校正后实时图像，在基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域，根据基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到估计高度误差，并根据估计高度误差对惯导信息中的高度信息进行校正，从而提高目标识别系统的环境适应能力和定位精度。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图14所示，提供了一种基于多子区先验信息的惯导信息校正装置，包括：图像数据获取模块200、感兴趣区域匹配模块210、第一估计高度误差计算模块220、第二估计高度误差计算模块230和惯导信息校正模块240，其中：

图像数据获取模块200，用于获取实时图像数据集以及基准图像，所述实时图像数据集中包含由高空对地面目标获取的多帧实时图像，所述基准图像包含所述地面目标位置的准确信息；

感兴趣区域匹配模块210，用于对各帧所述实时图像进行几何校正得到校正后实时图像，在所述基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域；

第一估计高度误差计算模块220，用于根据所述基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差；

第二估计高度误差计算模块230，用于根据相应的置信度对所述第一估计高度误差进行相乘，得到实时图像对应的第二估计高度误差；

惯导信息校正模块240，用于计算每6帧实时图像的第二估计高度误差的平均值，并将该平均值作为高度误差，根据所述高度误差对惯导信息中的高度信息进行逐步校正，直至所述高度误差收敛。

关于基于多子区先验信息的惯导信息校正装置的具体限定可以参见上文中对于基于多子区先验信息的惯导信息校正方法的限定，在此不再赘述。上述基于多子区先验信息的惯导信息校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于多子区先验信息的惯导信息校正方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取实时图像数据集以及基准图像，所述实时图像数据集中包含由高空对地面目标获取的多帧实时图像，所述基准图像包含所述地面目标位置的准确信息；

对各帧所述实时图像进行几何校正得到校正后实时图像，在所述基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域；

根据所述基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差；

根据相应的置信度对所述第一估计高度误差进行相乘，得到实时图像对应的第二估计高度误差；

计算每6帧实时图像的第二估计高度误差的平均值，并将该平均值作为高度误差，根据所述高度误差对惯导信息中的高度信息进行逐步校正，直至所述高度误差收敛。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取实时图像数据集以及基准图像，所述实时图像数据集中包含由高空对地面目标获取的多帧实时图像，所述基准图像包含所述地面目标位置的准确信息；

对各帧所述实时图像进行几何校正得到校正后实时图像，在所述基准图像中选取多个感兴趣区域，并基于匹配方法将多个感兴趣区域在校正后实时图像中进行定位得到对应的多个感兴趣区域；

根据所述基准图像中各感兴趣区域中心之间的距离，以及在校正后实时图像上对应感兴趣区域中心之间的距离进行计算得到第一估计高度误差；

根据相应的置信度对所述第一估计高度误差进行相乘，得到实时图像对应的第二估计高度误差；

计算每6帧实时图像的第二估计高度误差的平均值，并将该平均值作为高度误差，根据所述高度误差对惯导信息中的高度信息进行逐步校正，直至所述高度误差收敛。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。