图像处理方法、系统、计算机设备、可读存储介质与船舶

技术领域

本发明涉及船舶领域，具体而言涉及图像处理方法、系统、计算机设备、可读存储介质与船舶。

背景技术

水面目标检测在船舶的航行中起着非常重要的作用。目标检测是计算机视觉应用中的重要问题，不仅能够识别目标的种类，还可以使用矩形框标记目标在图像中的位置。近年来，随着深度学习技术的发展及在目标检测中的应用，目标检测技术得到了快速的发展，出现了许多有效的方法。现有的船舶通常采用卷积神经网络方法处理其采集的图像，进而实现目标检测。

但是上述目标检测方法，无法适应由于船舶的视野、待测目标的姿态及待测目标的变形，使得上述目标检测方法的鲁棒性不足，准确性不够。

为此，本发明提供了图像处理方法、系统、计算机设备、可读存储介质与船舶，用以解决现有技术中的问题。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

本发明提供了一种图像处理方法，包括：

通过卷积神经网络方法处理待处理的图像，以确定标准特征图；

通过可变形卷积神经网络方法处理标准特征图，以确定变形特征图；

根据标准特征图和变形特征图确定结果特征图。

根据本发明的图像处理方法，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

可选地，根据标准特征图和变形特征图确定结果特征图的步骤包括：

标准特征图的矩阵和变形特征图的矩阵相加，以确定结果特征图的矩阵。

可选地，根据标准特征图和变形特征图确定结果特征图的步骤包括：

标准特征图的矩阵和变形特征图的矩阵连接，以确定中间特征图的矩阵；

通过卷积神经网络处理中间特征图的矩阵，以确定结果特征图，结果特征图的维数和标准特征图的维数一样。

可选地，卷积神经网络方法为Faster RCNN方法。

可选地，可变形卷积神经网络方法的网络结构和/或卷积神经网络方法的网络结构为ResNet101。

本发明还提供了一种图像处理系统，包括：

第一确定装置，用于通过卷积神经网络方法处理待处理的图像，以确定标准特征图；

第二确定装置，用于通过可变形卷积神经网络方法处理标准特征图，以确定变形特征图；

第三确定装置，用于根据标准特征图和变形特征图确定结果特征图。

本发明的图像处理系统，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，处理器执行程序实现以下步骤：

通过卷积神经网络方法处理待处理的图像，以确定标准特征图；

通过可变形卷积神经网络方法处理标准特征图，以确定变形特征图；

根据标准特征图和变形特征图确定结果特征图。

本发明的计算机设备，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

通过卷积神经网络方法处理待处理的图像，以确定标准特征图；

通过可变形卷积神经网络方法处理标准特征图，以确定变形特征图；

根据标准特征图和变形特征图确定结果特征图。

本实施方式的计算机可读存储介质，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

本发明还提供了一种船舶，船舶通过前述的图像处理方法控制。

本实施方式的船舶，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

可选地，船舶为无人舰。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。

附图中：

图1为根据本发明的一个实施例的图像处理方法的结构框图；

图2为Faster RCNN的流程示意图；

图3为图1的图像处理方法的可变形卷积神经网络方法的流程示意图；

图4为标准特征图和变形特征图融合成结果特征图的示意图；

图5为根据本发明的一个实施例的图像处理系统的结构框图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本发明的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。

现在，将参照附图更详细地描述根据本发明的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。应当理解的是，提供这些实施例是为了使得本发明的公开彻底且完整，并且将这些示例性实施例的构思充分传达给本领域普通技术人员。在附图中，为了清楚起见，夸大了层和区域的厚度，并且使用相同的附图标记表示相同的元件，因而将省略对它们的描述。

本发明的一个实施方式提供了一种图像处理方法。该图像处理方法可以船舶，例如无人舰。无人舰在航行时，可以通过该图像处理方法实时处理其采集的图像。进而可以根据处理的结果控制无人舰的行驶。

如图1所示，图像处理方法包括：

通过卷积神经网络方法处理待处理的图像，以确定标准特征图。

在舰艇的航行过程中，舰艇可以通过图像采集设备(摄像头或相机)实时采集其周边的图像。然后如图2所示，在COCO数据集上通过卷积神经网络方法对表示其采集的图像的矩阵进行处理，以确定表示标准特征图的矩阵。

卷积神经网络的方法可以是现有的卷积神经网络的方法。卷积神经网络方法对表示其采集的图像的矩阵进行处理，通过一个或多个卷积层得到表示标准特征图的矩阵。

优选地，卷积神经网络方法可以为Faster RCNN方法。该Faster RCNN方法记载在文献S.Ren,K.He,R.Girshick,J.Sun,Faster r-cnn:Towards real-time objectdetection with region proposal networks,in:NeurIPS,2015中。

卷积神经网络方法的网络结构可以为ResNet101。由此，网络结构稳定。

图像处理方法还包括：

通过可变形卷积神经网络方法处理标准特征图，以确定变形特征图。

由于水面目标受到海浪、天气等影响，因此水面目标在待处理的图像中存在一定的几何形变。因此，通过卷积神经网络方法处理表示待处理的图像的矩阵可能由于样本数量少，而使表示特征标准图的矩阵的鲁棒性和准确定低。为此，如图3所示，可以通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，表示变形特征图的矩阵的维数和表示标准特征图的矩阵的维数相同。可变形卷积神经网络方法在卷积神经网络方法中增加2D的偏移，该偏移通过额外的卷基层从表示标准特征图的矩阵中进行学习，由此增加表示变形特征图的矩阵的鲁棒性。

优选地，可变形卷积神经网络方法记载在文献J.Dai,H.Qi,Y.Xiong,Y.Li,G.Zhang,H.Hu,Y.Wei,Deformable convolution networks,in:ICCV,2017.中。

可变形卷积神经网络方法的网络结构可以为ResNet101。由此，网络结构稳定。

图像处理方法还包括：

根据标准特征图和变形特征图确定结果特征图。

如图4所示，可以通过融合方法处理表示标准特征图的矩阵和表示变形特征图的矩阵，以确定表示结果特征图的矩阵。表示结果特征图的矩阵的维数和表示标准特征图的矩阵的维数相同。

在一个实施方式中，将表示标准特征图的矩阵和表示变形特征图的矩阵相加，以确定表示结果特征图的矩阵。此时，表示标准特征图的矩阵的维数和表示变形特征图的矩阵的维数相同。则表示标准特征图的矩阵的维数、表示变形特征图的矩阵的维数，以及表示表示结果特征图的矩阵的维数相同。

在另一个实施方式中，将表示标准特征图的矩阵和表示变形特征图的矩阵进行连接操作，以确定表示中间特征图的矩阵。表示标准特征图的矩阵的维数和表示变形特征图的矩阵的维数不相同。例如，

表示标准特征图的矩阵为

表示变形特征图的矩阵为

表示中间特征图的矩阵为

或者例如表示标准特征图的矩阵和表示变形特征图的矩阵均为A*A*B，那么将表示标准特征图的矩阵和表示变形特征图的矩阵进行连接操作后确定表示中间特征图的矩阵可以为A*A*2B的矩阵。其中A和B可以是任意正整数或0。换句话说，可以将表示标准特征图的矩阵和表示变形特征图的矩阵理解为两本书。对表示标准特征图的矩阵和表示变形特征图进行连接操作就是将这两本书沿其厚度方向叠在一起。对表示标准特征图的矩阵和表示变形特征图进行连接操作确定的表示中间特征图的矩阵为叠在一起的两本书，此时表示中间特征图的矩阵的厚度增加。

然后通过卷积神经网络处理表示中间特征图的矩阵，以确定表示结果特征图的矩阵，进而使表示结果特征图的矩阵的维数和表示标准特征图的维数相同。卷积神经网络处理表示中间特征图的矩阵和现有的卷积神经网络处理矩阵的方式大致相同，这里不再赘述。

由此，将表示标准特征图的矩阵和表示变形特征图的矩阵融合成表示结果特征图的矩阵。表示结果特征图的矩阵的鲁棒性和准确性高，减少了海浪、天气等因素的影响。

本实施方式的图像处理方法，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

本实施方式在确定表示结果特征图的矩阵后，可以将表示结果特征图的矩阵替换前述的表示标准特征图的矩阵，然后通过卷积神经网络方法识别该表示结果特征图的矩阵，以检测目标。

本发明还提供了一种图像处理系统。如图5所示，图像处理系统包括第一确定装置、第二确定装置与第三确定装置；第一确定装置用于通过卷积神经网络方法处理待处理的图像，以确定标准特征图。第二确定装置用于通过可变形卷积神经网络方法处理标准特征图，以确定结果特征图。第三确定装置用于根据标准特征图和变形特征图确定结果特征图。

本实施方式的图像处理系统，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序实现以下步骤：

通过卷积神经网络方法处理待处理的图像，以确定标准特征图；

通过可变形卷积神经网络方法处理标准特征图，以确定结果特征图；

根据标准特征图和变形特征图确定结果特征图。

本实施方式的计算机设备，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

通过卷积神经网络方法处理待处理的图像，以确定标准特征图；

通过可变形卷积神经网络方法处理标准特征图，以确定结果特征图；

根据标准特征图和变形特征图确定结果特征图。

本实施方式的计算机可读存储介质，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

本发明还提供了一种船舶，船舶通过前述的图像处理方法控制。

本实施方式的船舶，通过卷积神经网络方法处理表示待处理的图像的矩阵，以确定表示标准特征图的矩阵，通过可变形卷积神经网络方法处理表示标准特征图的矩阵，以确定表示变形特征图的矩阵，根据表示标准特征图的矩阵和表示变形特征图的矩阵确定表示结果特征图的矩阵，表示结果特征图的矩阵的鲁棒性和准确性高，因此表示结果特征图的矩阵可以用于替代表示标准特征图的矩阵以完成对目标的检测，检测精度高，减少海浪、天气等因素的影响。

优选地，船舶为无人舰。

使用本发明的图像处理方法检测待测目标，通过上述将表示标准特征图的矩阵和表示变形特征图的矩阵相加，以确定表示结果特征图的矩阵的实施方式的准确率35.3％。通过上述进行连接操作，以确定表示中间特征图的矩阵的实施方式的准确率36.5％。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

上述的所有优选实施例中所述的流程仅是示例。除非发生不利的效果，否则可以按与上述流程的顺序不同的顺序进行各种处理操作。上述流程的步骤顺序也可以根据实际需要进行增加、合并或删减。

此外，上述的所有优选实施例中所述的命令、命令编号和数据项仅是示例，因此可以以任何方式设置这些命令、命令编号和数据项，只要实现了相同的功能即可。各优选实施例的终端的单元也可以根据实际需要进行整合、进一步划分或删减。