基于雷达图像的船只识别模型的验证方法及装置

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于雷达图像的船只识别模型的验证方法及装置。

背景技术

船只识别对于海上交通管理、溢油污染治理、海运安全管理、海洋权益维护等方面发挥着十分重要的作用。目前被用于海上船只识别的遥感影像包括光学遥感影像、反射红外遥感影像、高光谱遥感影像、热红外遥感影像和雷达图像，与前三者遥感影像不同的是，雷达图像是向目标物发射无线电波，接收散射回波所形成的图像，具有全天时、全天候的特点。其中，合成孔径雷达(SAR)是最适合船只探测的雷达。随着中国的高分三号，日本的ALOS-2，欧洲航天局的Sentinel-1成功发射，大量的雷达图像可以被用于船只识别。

传统的基于雷达图像的船只识别方法主要是基于恒虚警率(CFAR)算法，该算法利用海杂波的统计分布和人工预设的特征进行船只识别。常用的恒虚警率算法包括基于高斯分布的双参数恒虚警率算法、基于韦布尔分布的恒虚警率算法等。该类算法的缺点是当船只停泊在靠岸的港口、船只行驶靠近岛屿等场景复杂的场景下，人工建筑有着和船只相似的后向散射机制从而产生较高的假阳性率，导致算法的鲁棒性较差。

为了解决上述缺陷，现有技术中通常利用神经网络对雷达图像进行船只识别。但是在实际使用中，随着雷达成像系统的不断更新，船只在不同雷达、不同分辨率图像中的差异越来越大，同时，同类船只不同型号之间实际尺寸也存在较大差异，造成船只在雷达图像中以不同尺度呈现。多尺度船只目标的存在导致对船只进行识别与定位的边界框区域定位不准确，使得对船只的识别不准确。现有技术中的船只识别模型往往难以对不同尺度雷达图像的识别准确率进行验证，这导致船只识别模型的准确率比较低。

发明内容

有鉴于此，本发明实施例提供了一种基于雷达图像的船只识别方法、装置及电子设备，以解决现有技术中的船只识别模型往往难以对不同尺度雷达图像的识别准确率进行验证，这导致船只识别模型的准确率比较低的问题。

根据第一方面，本发明实施例提供了一种基于雷达图像的船只识别模型的验证方法，包括：获取带标注信息的雷达图像；其中，所述标注信息包括所述雷达图像中船只的类别和第一边界框；利用预先训练得到的船只识别模型提取所述雷达图像的多尺度特征图；利用所述船只识别模型分别对每个尺度特征图进行检测，以得到对应于每个尺度特征图的第二边界框；其中，所述第二边界框中包括船只图像；利用所述第一边界框，分别对每个所述第二边界框进行修正，得到在不同尺度下的修正量，通过所述修正量确定出所述船只识别模型的识别准确率。

本发明实施例提供的基于雷达图像的船只识别模型的验证方法，利用预先训练得到的船只识别模型提取雷达图像的多尺度特征图；分别对每个尺度特征图进行检测，得到对应于每个尺度特征图的第二边界框；并利用事先标注好的第一边界框，对所述第二边界框进行修正并得到修正量，通过所述修正量确定所述船只识别模型的识别准确率，从而解决解决现有技术中的船只识别模型往往难以对不同尺度雷达图像的识别准确率进行验证，这导致船只识别模型的准确率比较低的问题。

可选地，所述通过所述修正量确定出所述船只识别模型的识别准确率，包括：获取预先建立的修正量-识别准确率对照关系；根据所述修正量，以及所述修正量-识别准确率对照关系，确定所述船只识别模型的识别准确率。

可选地，所述方法还包括：对所述多尺度特征图进行融合，得到融合特征图；对所述融合特征图进行识别，得到所述雷达图像中船只的融合类别。

可选地，所述方法还包括：基于所有尺度下的所述预测类别与所述融合类别，确定所述雷达图像中船只的目标类别。

可选地，所述利用所述第一边界框，分别对每个所述第二边界框进行修正，得到在不同尺度下的修正量，包括：分别获取所述第二边界框在每个特征图中的预测位置坐标；获取所述第一边界框在所述雷达图像中的位置坐标；将所述位置坐标，按照所述尺度大小进行缩放处理，以得到不同尺度下所述第二边界框的理想位置坐标；利用所述理想位置坐标与所述预测位置坐标的偏差，将不同尺度特征图对应的所述偏差作为所述修正量，分别对每个所述第二边界框进行修正。

根据第二方面，本发明实施例提供了一种基于雷达图像的船只识别方法，包括：获取待识别的雷达图像；利用第一方面或第一方面任一项可选实施方式所述的验证方法验证后的船只识别模型对所述待识别的雷达图像进行检测，确定所述待识别的雷达图像中的目标船只。

本发明实施例提供的基于雷达图像的船只识别方法，第一方面或第一方面任一项可选实施方式所示的验证方法对所述船只识别模型进行边界框的修正并确定其修正量，进而通过修正量确定其识别准确率，以对所述船只识别模型进行验证。因此，利用验证后的船只识别模型进行识别，准确率更高。

根据第三方面，本发明实施例提供了一种基于雷达图像的船只识别模型的验证装置，包括：第一获取模块，用于获取带标注信息的雷达图像；其中，所述标注信息包括所述雷达图像中船只的类别和第一边界框；提取模块，用于利用预先训练得到的船只识别模型提取所述雷达图像的多尺度特征图；检测模块，用于利用所述船只识别模型分别对每个尺度特征图进行检测，以得到对应于每个尺度特征图的第二边界框；其中，所述第二边界框中包括船只图像；确定模块，用于利用所述第一边界框，分别对每个所述第二边界框进行修正，得到在不同尺度下的修正量，通过所述修正量确定出所述船只识别模型的识别准确率。

本发明实施例提供的基于雷达图像的船只识别模型的验证装置，利用预先训练得到的船只识别模型提取雷达图像的多尺度特征图；分别对每个尺度特征图进行检测，得到对应于每个尺度特征图的第二边界框；并利用事先标注好的第一边界框，对所述第二边界框进行修正并得到修正量，通过所述修正量确定所述船只识别模型的识别准确率，从而解决解决现有技术中的船只识别模型往往难以对不同尺度雷达图像的识别准确率进行验证，这导致船只识别模型的准确率比较低的问题。

根据第四方面，本发明实施例提供了一种基于雷达图像的船只识别装置，包括：第二获取模块，用于获取待识别的雷达图像；识别模块，用于利用第一方面或第一方面任一项可选实施方式所述的验证方法验证后的船只识别模型对所述待识别的雷达图像进行检测，确定所述待识别的雷达图像中的目标船只。

本发明实施例提供的基于雷达图像的船只识别装置，第一方面或第一方面任一项可选实施方式所示的验证方法对所述船只识别模型进行边界框的修正并确定其修正量，进而通过修正量确定其识别准确率，以对所述船只识别模型进行验证。因此，利用验证后的船只识别模型进行识别，准确率更高。

根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或第一方面任一项可选实施方式所述的基于雷达图像的船只识别模型的验证方法，和/或，第二方面所述的基于雷达图像的船只识别方法。

根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面或第一方面任一项可选实施方式所述的基于雷达图像的船只识别模型的验证方法，和/或，第二方面所述的基于雷达图像的船只识别方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例提供的基于雷达图像的船只识别模型的验证方法流程图；

图2是本发明实施例的船只识别模型的示意图；

图3是根据本发明实施例提供的基于雷达图像的船只识别模型的验证方法的完整流程图；

图4是根据本发明实施例提供的基于雷达图像的船只识别方法的流程图；

图5是根据本发明实施例的基于雷达图像的船只识别模型的验证装置的示意图；

图6是根据本发明实施例的基于雷达图像的船只识别装置的示意图；

图7是本发明实施例的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据第一方面，本发明实施例提供了一种基于雷达图像的船只识别模型的验证方法实施例，需要说明的是在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种基于雷达图像的船只识别模型的验证方法，可用于上述的电子设备，图1是根据本发明实施例提供的基于雷达图像的船只识别模型的验证方法流程图，如图1所示，该流程包括如下步骤：

S11，获取带标注信息的雷达图像。

其中，所述标注信息包括所述雷达图像中船只的类别和第一边界框。

电子设备获取到的所述带标注信息的雷达图像，可以是通过遥感器以及现有的标注工具实时获取到的；也可以是提前存储于所述电子设备中的；亦或是，电子设备通过其他方式从外界获取到的。不论电子设备以何种方式获取到所述带标注信息的雷达图像，只要保证所述电子设备能够获取到所述带标注信息的雷达图像即可。

在这里，可以人工对所述雷达图像进行标注，也可以使用现有的标注软件对所述雷达图像进行标注，其目的是获得更加准确的船只类别和边界框。

S12，利用预先训练得到的船只识别模型提取所述雷达图像的多尺度特征图提取所述雷达图像的多尺度特征图。

S13，利用所述船只识别模型分别对每个尺度特征图进行检测，以得到对应于每个尺度特征图的第二边界框。其中，所述第二边界框中包括船只图像。

在这里，如图2所示，所述船只识别模型包括：特征提取网络、特征金字塔网络、目标检测网络。其中，所述特征提取网络可以是VGG(Visual Geometry Group，简称VGG)、ResNet或DenseNet等，所述目标检测网络包括分类单元以及边界框检测单元，具体可以是不同尺度下的Faster R-CNN、Fast R-CNN等网络。

所述特征提取网络对所述雷达图像进行多尺度的特征提取；然后，将所述多尺度特征输入特征金字塔网络(FPN)，得到所述多尺度特征图；最后，利用所述目标检测网络分别对所述多尺度特征图进行目标检测，得到不同尺度下的检测结果及其对应的第二边界框，其中所述第二边界框为所述目标检测网络对感兴趣区域进行定位与识别所生成的锚框或包围盒。

S14，利用所述第一边界框，分别对每个所述第二边界框进行修正，得到在不同尺度下的修正量，通过所述修正量确定出所述船只识别模型的识别准确率。

在这里，可以通过计算不同尺度下的特征图与所述雷达图像分辨率的比例值，然后将不同尺度的特征图对应的所述第二边界框的位置坐标乘以相应的比例值，进而计算得到其与所述第一边界框的偏差，通过坐标平移等操作，将所述第二边界框进行修正；还可以将所有特征图的尺度转化为与所述雷达图像的尺度一致，进而计算得到其与所述第一边界框的偏差，通过坐标平移等操作，将所述第二边界框进行修正并确定修正量。修正量越大说明所述船只识别模型的准确率越低。

本发明实施例提供的基于雷达图像的船只识别模型的验证方法，利用预先训练得到的船只识别模型提取雷达图像的多尺度特征图；分别对每个尺度特征图进行检测，得到对应于每个尺度特征图的第二边界框；并利用事先标注好的第一边界框，对所述第二边界框进行修正并得到修正量，通过所述修正量确定所述船只识别模型的识别准确率，从而解决解决现有技术中的船只识别模型往往难以对不同尺度雷达图像的识别准确率进行验证，这导致船只识别模型的准确率比较低的问题。

图3是根据本发明实施例的基于雷达图像的船只识别模型的验证方法的完整流程图，如图3所示，该流程包括如下步骤：

S21，获取带标注信息的雷达图像。

详细请参见图1所示的S11，在此不再赘述。

S22，利用预先训练得到的船只识别模型提取所述雷达图像的多尺度特征图。

详细请参见图1所示的S12，在此不再赘述。

S23，利用所述船只识别模型分别对每个尺度特征图进行检测，以得到对应于每个尺度特征图的第二边界框。

详细请参见图1所示的S13，在此不再赘述。

S24，利用所述第一边界框，分别对每个所述第二边界框进行修正，得到在不同尺度下的修正量，通过所述修正量确定出所述船只识别模型的识别准确率。

作为本发明实施例的一个可选实施方式，所述S24包括：

S241，分别获取所述第二边界框在每个特征图中的预测位置坐标。

S242，获取所述第一边界框在所述雷达图像中的位置坐标。

S243，将所述位置坐标，按照所述尺度大小进行缩放处理，以得到不同尺度下所述第二边界框的理想位置坐标。

S244，利用所述理想位置坐标与所述预测位置坐标的偏差，将不同尺度特征图对应的所述偏差作为所述修正量，分别对每个所述第二边界框进行修正。

在这里，可以先利用图像处理技术，计算不同的尺度特征图中第二边界框的预测位置坐标以及所述雷达图像中第一边界框的位置坐标。由于不同的所述第二边界框所对应的特征图的尺度不同，其对应的所述预测位置坐标均不在同一参考系下，因此，可以以所述第一边界框所在的坐标系为基准，将每个所述第二边界框的所述预测位置坐标进行转换，进而得到其与所述第一边界框的偏差，将所述偏差作为所述修正量，通过坐标平移等操作，将所述第二边界框进行修正。

S245，获取预先建立的修正量-识别准确率对照关系。

其中，所述对照关系可以是修正量-识别准确率曲线、对照表等。

S246，根据所述修正量以及所述修正量-识别准确率对照关系，确定所述船只识别模型的识别准确率。

将所述修正量带入所述修正量-识别准确率曲线，或者，在修正量-识别准确率对照表中查找，得到所述修正量对应的识别准确率。

S25，对所述多尺度特征图进行融合，得到融合特征图。

请参阅图2，将所述特征金字塔网络的层级从上到下或从下到上连接。将不同尺度的特征图分别输入特征金字塔网络对应的层级中，先将层级3获取到的尺度3特征图与层级2获取到的尺度2特征图融合，最后与层级1获取到的尺度1特征图融合，得到融合特征图。

S26，对所述融合特征图进行识别，得到所述雷达图像中船只的融合类别。

S27，基于所有尺度下的所述预测类别与所述融合类别，确定所述雷达图像中船只的目标类别。

在这里，可利用分类检测网络对所述融合特征图进行分类检测，得到其对应的融合类别。最后将不同尺度下的特征图对应的预测类别与所述融合类别，按照预设的判断规则，进行综合性的类别判断，确定所述雷达图像中船只的目标类别。

根据第二方面，本发明实施例提供了一种基于雷达图像的船只识别方法，如图4所示，该方法包括如下步骤：

S31，获取待识别的雷达图像。

电子设备获取到的所述待识别的雷达图像可以是实时获取到的，也可以是提前存储于所述电子设备中的，亦或是，电子设备以其他方式从外界获取到的。无论电子设备以何种方式获取到所述待识别的雷达图像，只需保证所述电子设备能够获取到所述待识别的雷达图像即可。

S32，利用权利要求图1或图3任一项所述的验证方法验证后的船只识别模型对所述待识别的雷达图像进行检测，确定所述待识别的雷达图像中的目标船只。

在这里，图1或图3所示的验证方法对所述船只识别模型进行边界框的修正并确定其修正量，进而通过修正量确定其识别准确率，以对所述船只识别模型进行验证。因此，利用验证后的船只识别模型进行识别，准确率更高。

根据第三方面，本发明实施例提供了一种基于雷达图像的船只识别模型的验证装置，如图5所示，该装置包括：

第一获取模块41，用于获取带标注信息的雷达图像；其中，所述标注信息包括所述雷达图像中船只的类别和第一边界框；

提取模块42，用于利用预先训练得到的船只识别模型提取所述雷达图像的多尺度特征图；

检测模块43，用于利用所述船只识别模型分别对每个尺度特征图进行检测，以得到对应于每个尺度特征图的第二边界框；其中，所述第二边界框中包括船只图像；

确定模块44，用于利用所述第一边界框，分别对每个所述第二边界框进行修正，得到在不同尺度下的修正量，通过所述修正量确定出所述船只识别模型的识别准确率。

本发明实施例提供的基于雷达图像的船只识别模型的验证装置，利用预先训练得到的船只识别模型提取雷达图像的多尺度特征图；分别对每个尺度特征图进行检测，得到对应于每个尺度特征图的第二边界框；并利用事先标注好的第一边界框，对所述第二边界框进行修正并得到修正量，通过所述修正量确定所述船只识别模型的识别准确率，从而解决解决现有技术中的船只识别模型往往难以对不同尺度雷达图像的识别准确率进行验证，这导致船只识别模型的准确率比较低的问题。

根据第四方面，本发明实施例提供了一种基于雷达图像的船只识别装置，如图6所示，该装置包括：

第二获取模块51，用于获取待识别的雷达图像；

识别模块52，用于利用图1或图3所述的验证方法验证后的船只识别模型对所述待识别的雷达图像进行检测，确定所述待识别的雷达图像中的目标船只。

本发明实施例提供的基于雷达图像的船只识别装置，第一方面或第一方面任一项可选实施方式所示的验证方法对所述船只识别模型进行边界框的修正并确定其修正量，进而通过修正量确定其识别准确率，以对所述船只识别模型进行验证。因此，利用验证后的船只识别模型进行识别，准确率更高。

根据第五方面，本发明实施例提供了一种电子设备，请参阅图7，图7是本发明可选实施例提供的一种电子设备的结构示意图，如图7所示，该电子设备可以包括：至少一个处理器61，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口63，存储器64，至少一个通信总线62。其中，通信总线62用于实现这些组件之间的连接通信。其中，通信接口63可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。存储器64中存储应用程序，且处理器61调用存储器64中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线62可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器64可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器64还可以包括上述种类的存储器的组合。

其中，处理器61可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器64还用于存储程序指令。处理器61可以调用程序指令，实现如本申请图1、图3中所示的基于雷达图像的船只识别模型的验证方法，和/或，图4中所示的基于雷达图像的船只识别方法。

根据第四方面，本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行图1、图3中所示的基于雷达图像的船只识别模型的验证方法，和/或，图4中所示的基于雷达图像的船只识别方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。