一种基于深度学习的海上雾天小目标检测方法及装置

技术领域

本发明涉及目标检测技术领域，特别涉及一种基于深度学习的海上雾天小目标检测方法及装置。

背景技术

现有技术中，用于海上船舶检测的图像处理技术主要分为背景差分法、高斯滤波、条件随机场等基于传统机器学习的图像处理方法，还有深度卷积神经网络方法等基于深度学习的图像处理方法。在海上复杂的环境下，传统的图像处理技术已不再适用。一方面，在雾天等恶劣气象条件下，视频图像质量严重退化导致船舶检测的误报率和漏报率显著上升；另一方面，海上监控范围广，目标在视频图像中的成像普遍偏小造成船舶识别准确率低。

图像处理技术主要包含两类处理方式，一类是通过图像序列中帧与帧之间像素值的变化将目标进行提取，另一类是通过构建分类器对目标特征进行处理，将含有目标特征的图像作为正样本，不含有目标特征的图像作为负样本，共同构成训练集后训练出若干分类器，从而输入测试样本对待检测图像进行识别。传统的图像处理技术抗干扰能力差，易造成误报和漏报，尤其未解决在遭遇雾天等恶劣天气情况下小目标检测的问题。亟需要一种新的海上雾天气象条件下的小目标船舶检测方案，以提高海上船舶的检测水平。

发明内容

本发明提供一种基于深度学习的海上雾天小目标检测方法及装置，解决海上雾天气象条件下的小目标船舶检测精度不高的问题。

根据本发明的一个方面，提供了一种基于深度学习的海上雾天小目标检测方法，包括以下步骤：

根据船舶图像采集制作船舶图像数据库；根据船舶图像数据库中采集数据与船舶图像划分训练集；根据训练集训练改进的YOLOv3模型，得到海上小目标船舶检测模型；

根据海上雾图与去雾图训练海上去雾模型；

获取船载视频图像，根据所述海上去雾模型进行去雾处理，得到去雾图像；

根据所述海上小目标船舶检测模型对所述去雾图像进行识别处理，得到检测结果。

所述根据训练集训练改进的YOLOv3模型，包括：

在残差模块中加入注意力机制SE模块，两个卷积CBL结构和一个SE模块结构构成一个完整的残差模块。

所述卷积CBL结构由卷积层Conv、批标准化层BN和激活函数Leaky ReLU组成，激活函数表达式如下：

其中，α取值为0.01。

所述海上小目标船舶检测模型，是根据所述训练集，将采集数据与船舶图像进行改进的YOLOv3模型训练，对输出的训练结果优化迭代，得到训练好的海上小目标船舶检测模型。

所述根据船舶图像采集制作船舶图像数据库，包括：

获取船舶图像以及采集的多幅船舶图像材料；

根据所述船舶图像与船舶图像材料建立包含采集图像数据的采集数据以及对应的船舶图像的船舶图像数据库。

所述根据海上雾图与去雾图训练海上去雾模型，包括：

海上雾图数学表达：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)为海上雾图，J(x)为去雾图，A为全局大气光，t(x)为传输图；

传输图可以表示为t(x)＝e

估计t(x)和A，从海上雾图I(x)中恢复去雾图J(x)如下所示：

所述方法还包括基于改进残差块的图像去雾，具体包括：

使用两个卷积层Convolution和Conv、两个批标准化层Batch Normalization和BN；使用带参数的PReLU作为激活函数；

激活函数PReLU表达式如下所示：

其中，参数a

根据本发明的另一个方面，提供了一种基于深度学习的海上雾天小目标检测装置，包括：

检测模型单元，用于根据船舶图像采集制作船舶图像数据库；根据船舶图像数据库中采集数据与船舶图像划分训练集；根据训练集训练改进的YOLOv3模型，得到海上小目标船舶检测模型；

去雾模型单元，用于根据海上雾图与去雾图训练海上去雾模型；

去雾单元，用于获取船载视频图像，根据所述去雾模型单元进行去雾处理，得到去雾图像；

检测单元，用于根据所述检测模型单元对所述去雾图像进行识别处理，得到检测结果。

所述检测模型单元中，改进的YOLOv3模型根据如下方式训练：

在残差模块中加入注意力机制SE模块，两个卷积CBL结构和一个SE模块结构构成一个完整的残差模块；

所述卷积CBL结构由卷积层Conv、批标准化层BN和激活函数Leaky ReLU组成，激活函数表达式如下：

其中，α取值为0.01。

所述去雾模型单元中，海上去雾模型根据如下方式训练：

海上雾图数学表达：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)为海上雾图，J(x)为去雾图，A为全局大气光，t(x)为传输图；

传输图可以表示为t(x)＝e

估计t(x)和A，从海上雾图I(x)中恢复去雾图J(x)如下所示：

基于改进残差块的图像去雾，具体包括：

使用两个卷积层Convolution和Conv、两个批标准化层Batch Normalization和BN；使用带参数的PReLU作为激活函数；

激活函数PReLU表达式如下所示：

其中，参数a

采用本发明的技术方案，提出了一种基于深度学习的海上雾天小目标检测方案，根据船舶图像采集制作船舶图像数据库；根据船舶图像数据库中采集数据与船舶图像划分训练集；根据训练集训练改进的YOLOv3模型，得到海上小目标船舶检测模型；根据海上雾图与去雾图训练海上去雾模型；获取船载视频图像，根据所述海上去雾模型进行去雾处理，得到去雾图像；根据所述海上小目标船舶检测模型对所述去雾图像进行识别处理，得到检测结果。

本发明方案在检测小目标船舶前加入了去雾算法，改善了海上小目标船舶检测前图像的清晰度；在YOLOv3算法中加入SE注意力机制，提高了检测小目标船舶的精度，保证了检测效果。采用海上雾天场景去雾模型实现了图像去雾，采用深度学习方法实现了小目标船舶的检测，提高了恶劣气象条件下小目标船舶的检测准确率。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中基于深度学习的海上雾天小目标检测原理流程图；

图2为本发明实施例中CBL结构示意图；

图3为本发明实施例中Residual模块结构示意图；

图4为本发明实施例中去雾结构示意图；

图5为本发明实施例中残差块结构示意图；

图6为本发明实施例中基于深度学习的海上雾天小目标检测方案原理图；

图7为本发明实施例中基于深度学习的海上雾天小目标检测装置结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

针对海上视频监控在雾天条件下图像退化、模糊、遮挡及远处小目标船舶检测困难、抗干扰能力差的情况，本发明提出了一种新的检测方法，采用海上雾天场景去雾模型实现了图像去雾，采用深度学习方法实现了小目标船舶的检测，提高了恶劣气象条件下小目标船舶的检测准确率。

本发明提出了一种基于深度学习的海上雾天气象条件下的小目标船舶检测方法，该方法采用深度学习算法，旨在解决当海上出现雾天等恶劣天气下的小目标船舶的检测，提高检测准确率。

图1为本发明实施例中基于深度学习的海上雾天小目标检测流程图。如图1所示，该基于深度学习的海上雾天小目标检测流程包括以下步骤：

步骤101、根据船舶图像采集制作船舶图像数据库；根据船舶图像数据库中采集数据与船舶图像划分训练集；根据训练集训练改进的YOLOv3模型，得到海上小目标船舶检测模型。

YOLOv3是基于一款小众的深度学习框架——darknet的目标检测开源项目。darknet短小精悍，由于其源码都是用纯C语言和CUDA底层编写的，所以它的特点让它在YOLOv3项目中大放光彩：速度快，充分发挥多核处理器和GPU并行运算的功能。所以，YOLOv3的快速检测正好适合需要实时检测视频帧的项目；此外，它的准确度也非常高，在尺寸中等偏小的物体上有非常高的准确率。

本发明实施例中，YOLOv3模型在小目标检测上表现不佳，因此，本发明实施例提出了一种适用于小目标船舶检测的改进YOLOv3方法，将添加了SE(Squeeze and Excitation)注意力机制模块的YOLOv3称为YOLO-SE，具体如下表1所示，最左侧一列残差单元中n×表示残差块的串接n组，如8×表示对该组残差块连续串接8组。

表1YOLO-SE结构

表1中的CBL结构如图2所示，由卷积层Conv、批标准化层BN、和激活函数LeakyReLU组成，激活函数表达式如下式所示，其中α通常取0.01。

为了便于处理庞大的计算量、降低数据维度，让任务处理更专注于找到更有用的船舶信息，在残差模块Residual中加入SE注意力机制，结构如图3所示，该结构由两个CBL结构和一个SE注意力机制构成。

本发明实施例中，海上小目标船舶检测模型，是根据所述训练集，将采集数据与船舶图像进行改进的YOLOv3模型训练，对输出的训练结果优化迭代，得到训练好的海上小目标船舶检测模型。

获取船舶图像以及采集的多幅船舶图像材料；

根据所述船舶图像与船舶图像材料建立包含采集图像数据的采集数据以及对应的船舶图像的船舶图像数据库。

步骤102，根据海上雾图与去雾图训练海上去雾模型。

本发明实施例中，海上雾图通常包含较为严重的图像质量退化问题，在图像视觉中，用大气散射模型来建模雾的数学表达：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)是观察到的海上雾图，J(x)是清晰的海上场景图，A是全局大气光，t(x)是传输图，描述了没有发生散射而到达相机传感器的那部分光。在单张图像去雾中，一般假设雾是均匀分布的，那么传输图可以表示为t(x)＝e

考虑海上场景处于室外具有复杂的照明和周围环境，针对此特点和特殊性，本发明提出了一种基于改进残差块的图像去雾方法，结构如图4所示。

在提出的改进残差块中，使用两个卷积层(Convolution,Conv)，两个批标准化层(Batch Normalization,BN)，并使用带参数的PReLU作为激活函数，改进残差块如图5所示。激活函数PReLU表达式如下式所示，不仅可以防止模型过拟合且能提高海上图像去雾性能。

其中，参数a

步骤103，获取船载视频图像，根据所述海上去雾模型进行去雾处理，得到去雾图像。

本发明实施例中，首先可以实时获取船载视频图像以检测小目标。也可以根据实际选取视频截图或者直接获取图像进行小目标检测。获取的图像或视频首先进行去雾处理，得到去雾图像。

步骤104，根据所述海上小目标船舶检测模型对所述去雾图像进行识别处理，得到检测结果。

本发明实施例中，对于去雾处理结果的去雾图像再根据海上小目标船舶检测模型进行识别处理检测，得到检测结果。

本发明实施例中，如图6所示，提供了一个整体的去雾和小目标检测的方案，具体的，

1)采集并制作船舶图像数据库，用训练集训练改进的YOLOv3(You Look once)模型，得到用于检测海上小目标船舶的模型权重。

2)接入船载原始视频图像。

3)利用去雾模型进行去雾处理并输出去雾图。

4)将去雾图像输入至深度学习小目标检测模型进行检测。

5)输出检测结果。

本发明实施例中，在检测小目标船舶前加入了去雾算法，改善了海上小目标船舶检测前图像的清晰度；在YOLOv3算法中加入SE注意力机制，提高了检测小目标船舶的精度，保证了检测效果。

为了检测小目标船舶，本发明改进了YOLOv3模型，可以有效增强小目标船舶的检测精度；为了检测海上雾天下的小目标船舶，本发明针对海上环境特点，在检测前加入改进的去雾模型，便于增强后续检测效果。

为了实现上述流程，本发明技术方案还提供基于深度学习的海上雾天小目标检测装置，如图7所示，该基于深度学习的海上雾天小目标检测装置包括：

检测模型单元21，用于根据船舶图像采集制作船舶图像数据库；根据船舶图像数据库中采集数据与船舶图像划分训练集；根据训练集训练改进的YOLOv3模型，得到海上小目标船舶检测模型；

去雾模型单元22，用于根据海上雾图与去雾图训练海上去雾模型；

去雾单元23，用于获取船载视频图像，根据所述去雾模型单元22进行去雾处理，得到去雾图像；

检测单元24，用于根据所述检测模型单元21对所述去雾图像进行识别处理，得到检测结果。

所述检测模型单元21中，改进的YOLOv3模型根据如下方式训练：

在残差模块中加入注意力机制SE模块，两个卷积CBL结构和一个SE模块结构构成一个完整的残差模块；

所述卷积CBL结构由卷积层Conv、批标准化层BN和激活函数Leaky ReLU组成，激活函数表达式如下：

其中，α取值为0.01。

所述去雾模型单元22中，海上去雾模型根据如下方式训练：

海上雾图数学表达：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)为海上雾图，J(x)为去雾图，A为全局大气光，t(x)为传输图；

传输图可以表示为t(x)＝e

估计t(x)和A，从海上雾图I(x)中恢复去雾图J(x)如下所示：

基于改进残差块的图像去雾，具体包括：

使用两个卷积层Convolution和Conv、两个批标准化层Batch Normalization和BN；使用带参数的PReLU作为激活函数；

激活函数PReLU表达式如下所示：

其中，参数a

综上所述，本发明的技术方案，提出了一种基于深度学习的海上雾天小目标检测方案，根据船舶图像采集制作船舶图像数据库；根据船舶图像数据库中采集数据与船舶图像划分训练集；根据训练集训练改进的YOLOv3模型，得到海上小目标船舶检测模型；根据海上雾图与去雾图训练海上去雾模型；获取船载视频图像，根据所述海上去雾模型进行去雾处理，得到去雾图像；根据所述海上小目标船舶检测模型对所述去雾图像进行识别处理，得到检测结果。

本发明方案在检测小目标船舶前加入了去雾算法，改善了海上小目标船舶检测前图像的清晰度；在YOLOv3算法中加入SE注意力机制，提高了检测小目标船舶的精度，保证了检测效果。采用海上雾天场景去雾模型实现了图像去雾，采用深度学习方法实现了小目标船舶的检测，提高了恶劣气象条件下小目标船舶的检测准确率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。