一种桥区监控场景下的船舶检测与跟踪方法

技术领域

本发明属于船舶检测与跟踪技术领域，涉及一种桥区监控场景下的船舶检测与跟踪方法。

背景技术

桥梁是跨越水系、连接水体两侧交通运输通道的咽喉节点，是公路、铁路网的重要组成部分。然而，数量众多且分布密集的桥梁在为桥梁两岸货物运输、居民出行提供交通便利的同时也带来了不容忽视的安全风险：桥区范围内所布设的桥墩会使航道宽度受限，造成通航环境复杂度提升，显著增加了水上交通事故发生的概率。当前，船桥碰撞风险已成为水上交通安全的重大风险源之一。因此，积极采取措施，采用船舶检测与跟踪技术加强对桥区水域范围内船舶的监管，预防船舶碰撞事故及桥损及桥毁等恶性事件的发生非常有必要。

在深度学习技术取得突破性进展之前，对于船舶的检测与跟踪，传统的船舶目标检测可分为基于特征提取的静态船舶目标检测以及基于帧间差分、背景建模等方法的动态船舶目标检测，但二者具有较大局限性，如鲁棒性较弱，受船舶遮挡、恶劣天气条件等因素影响较大，对静止或运动缓慢船舶检测效果较差等；而传统的船舶目标跟踪方法可分为基于联合分布的生成式模型以及基于条件分布的判别式模型，此类模型通常只能够执行面向单艘船舶的跟踪任务，且跟踪鲁棒性较低。

随着计算机图形处理设备的不断迭代以及深度学习技术的高速发展，基于深度学习的船舶目标检测与跟踪算法拥有了赖以蓬勃发展的土壤。当下，基于深度学习的船舶目标检测已成为船舶目标检测领域中应用最为广泛的方法，基于检测的跟踪也成为了当下船舶跟踪领域中新的范式。相较传统方法，基于深度学习的船舶检测与跟踪方法能够同时跟踪多艘船舶，且在实际应用中具有更高的准确率以及更强的鲁棒性。

桥区水域监控设备多架设在桥面或桥墩，其监控范围可达数公里，监控图像中远处的小尺寸船舶目标通常难以提供足够多的视觉信息用于检测，同时，当画面中船舶受到遮挡时，该船舶目标提供的视觉信息将严重受损，可能严重损害船舶检测与跟踪的性能，导致通用检测与跟踪方法难以取得理想效果。因此，针对桥区船舶尺度变化大、远距离船舶尺寸小、特征少以及船舶间遮挡频繁等难点，对通用检测与跟踪方法进行改进，提出一种桥区监控场景下的船舶检测与跟踪方法具有重要的现实意义。

发明内容

有鉴于此，本发明的目的在于提供一种桥区监控场景下的船舶检测与跟踪方法，解决现有技术在桥区监控场景下的鲁棒性不足的问题，适用于桥区监控场景的船舶检测与跟踪，能有效提升对远距离小目标船舶的检测精准度以及受遮挡船舶的跟踪稳定性，实现桥区监控场景下的船舶高精度跟踪。

为达到上述目的，本发明提供如下技术方案：

一种桥区监控场景下的船舶检测与跟踪方法，具体包括以下步骤：

S1：采集桥区监控场景下的视频流数据，选取其中图像和视频片段分别进行标注，构造船舶检测与多目标跟踪数据集；

S2：构造可变形多分支YOLOX网络，并将所采集数据集输入所述可变形多分支YOLOX网络中进行训练，从而得到船舶检测模型；

S3：将桥区视频图像输入到训练好的船舶检测模型中进行检测，输出船舶检测结果；

S4：根据船舶检测结果，分别使用卡尔曼滤波以及ResNet50-ibn网络提取船舶运动及外观特征；

S5：根据检测结果的置信度及提取到的特征，将当前视频帧检测到的船舶与历史轨迹进行匹配，输出跟踪结果。

进一步，步骤S2中，构造可变形多分支YOLOX网络，具体是：将原有YOLOX网络中的CSP模块统一替换为DC2S模块，同时在Neck部分的输入前添加CBAM混合注意力模块；并使用CIoU替换IoU作为YOLOX网络的定位损失，使用Focal loss替换BCE损失作为正例判断损失；其中，DC2S模块是可变形多分支梯度路径模块，也是特征提取主干网络的重要组成模块，用于提升桥区水域下远距离船舶目标的检测性能。

进一步，步骤S2中，所述DC2S模块的结构是：首先使用CBS模块对特征进行一次处理，随后通过Split操作将一半通道的特征作为次梯度分支直接参与并行拼接，另一半通道的特征将输入n个可变形残差组件组成的主梯度分支中进一步进行特征提取；在主梯度分支中，DC2S不再如同CSP模块一样选择采用单纯的串联模式，而是在串联可变形残差组件的基础上，将各可变形残差组件的输出进行并行拼接，从而丰富特征信息，提升梯度回流的效率；主梯度流与次梯度流拼接后的结果会通过CBS模块调整通道数，实现多分支特征的高度融合。

进一步，步骤S2中，CIoU损失函数的表达式为：

其中，d为真实框与目标框间的欧氏距离，c为真实框与目标框最小外接矩形的对角线长度，

进一步，步骤S2中，Focal loss损失函数的表达式为：

L

其中，L

进一步，步骤S4中，利用卡尔曼滤波提取船舶运动特征，具体包括：采用

一个卡尔曼滤波系统的状态预测方程和状态观测方程分别由下式给出定义：

x

z

其中，x

由于在船舶多目标跟踪场景中，无法了解船舶内部运动参数，因此不考虑控制输入部分的参数。在预测阶段，首先将根据状态转移矩阵对目标船舶进行估计：

其中，

同时，需要计算出先验估计时误差的协方差：

其中，

随后，在更新阶段，首先需要计算卡尔曼增益：

其中，K

再计算最优估计值：

并更新协方差矩阵

其中，E为n阶单位矩阵，其右下标的n为观测量的维度。

进一步，步骤S4中，利用ResNet50-ibn网络模型提取船舶外观特征，具体包括：ResNet50-ibn网络是在ResNet50网络基础上，在前三类残差块输出的激活函数前添加实例归一化层，对较浅层特征进行处理，从而增强重识别模型对桥区水域船舶受遮挡条件下的鲁棒性。

进一步，步骤S4中，采用IOU距离作为船舶运动特征的衡量指标：

d

其中，d

采用余弦距离作为船舶外观特征的衡量指标：

其中，r

进一步，步骤S5具体包括：根据检测置信度对高分检测结果与低分检测结果分别处理，同时，采用基于检测结果置信度的特征整合策略作为综合匹配指标，表示为：

s

其中，c

匹配过程采取匈牙利算法和级联匹配策略，初次匹配完成后，匹配成功的轨迹将直接作为下一帧的轨迹输入，未能成功匹配的检测结果生成新的轨迹输入到下一帧，未匹配的轨迹进行二次匹配。

本发明的有益效果在于：本发明针对桥区船舶尺度变化大、远距离船舶尺寸小、特征少以及船舶间遮挡频繁等难点，通过对现有方法进行改进，提供了一种适用于桥区监控场景的船舶检测与跟踪方法，可以在桥区监控场景下取得良好的检测与跟踪效果。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1是本发明实施例中的DC2S模块结构图；

图2是本发明实施例中的可变形多分支YOLOX网络结构示意图；

图3是本发明实施例中的跟踪流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

请参阅图1～图3，本发明实施例提供一种桥区监控场景下的船舶检测与跟踪方法，主要包括以下步骤：

S1：采集桥区监控场景下的视频流数据，选取其中图像和视频片段分别进行标注，构造船舶检测与多目标跟踪数据集。

首先，通过安装在不同点位的摄像机采集原始桥区视频图像数据集，随后在其中挑选具有多样性且代表性较强的图像及视频片段，并通过人工标注将船舶图像及视频片段分别标注为MS COCO及MOT标准格式，最终将其划分为训练集与测试集。

S2：构造可变形多分支YOLOX网络，并将所采集数据集输入所述可变形多分支YOLOX网络中进行训练与测试。

S21：设计DC2S模块。

DC2S模块能通过并行更多的梯度流分支使模型获得更丰富的特征信息。具体结构如图1，其首先使用CBS模块对特征进行一次处理，随后通过Split操作将一半通道的特征作为次梯度分支直接参与并行拼接，另一半通道的特征将输入n个可变形残差组件组成的主梯度分支中进一步进行特征提取。在主梯度分支中，DC2S不再如同CSP模块一样选择采用单纯的串联模式，而是在串联可变形残差组件的基础上，将各可变形残差组件的输出进行并行拼接，从而丰富特征信息，提升梯度回流的效率。主梯度流与次梯度流拼接后的结果会通过CBS模块调整通道数，实现多分支特征的高度融合。

由于桥区水域监控视频图像中船舶的外观特征随着其位置、角度的改变可能发生较大变化，DC2S模块在原始残差组件的基础上，采用了可变形卷积对其进行改造，增强网络学习不同尺寸、形状的船舶目标特征的能力。在模型运算过程中，可变形卷积会通过一个额外的卷积操作学习卷积核的偏移特征图，并根据偏移特征图对原有卷积操作进行调整，偏移特征图的尺寸与输入特征相同，通道数为3×N，其中，3代表该像素的x偏移量、y偏移量以及该点权重系数，N代表卷积核中的像素个数。

S22：对原始YOLOX网络进行改进，将YOLOX中原有CSP模块统一替换为DC2S模块，同时在Neck部分的输入前添加CBAM混合注意力模块，改进后可变形多分支YOLOX网络结构如图2所示。

S23：优化网络中的损失函数。

使用CIoU替换IoU作为YOLOX的定位损失，CIoU可表示为：

其中，d为真实框与目标框间的欧氏距离，c为真实框与目标框最小外接矩形的对角线长度，

使用Focal loss替换BCE损失作为正例判断损失，Focal loss可表示为：

L

其中，

S24：在训练集上对模型进行训练并测试，训练轮数为300轮，批量大小为8，学习率为1.25×10

S3：将桥区视频图像输入到训练好的船舶检测模型中进行检测，输出船舶检测结果。

首先，通过桥区监控设备实时采集视频图像数据，并向远程服务器推流；然后，在远程服务器接收到推流视频后，将接收到的视频数据输入检测模型，输出检测结果。

S4：根据船舶检测结果，分别使用卡尔曼滤波以及ResNet50-ibn网络提取船舶运动及外观特征。

S41：利用卡尔曼滤波提取船舶运动特征，采用

一个卡尔曼滤波系统的状态预测方程和状态观测方程分别由下式给出定义：

x

z

其中，x

由于在船舶多目标跟踪场景中，无法了解船舶内部运动参数，因此不考虑控制输入部分的参数。

在预测阶段，首先将根据状态转移矩阵对目标船舶进行估计：

同时，需要计算出先验估计时误差的协方差：

随后，在更新阶段，首先需要计算卡尔曼增益：

再计算最优估计值：

并更新协方差矩阵

其中，F为状态转移矩阵，

S42：利用ResNet50-ibn网络模型提取船舶外观特征，该网络在ResNet50网络基础上，在前三类残差块输出的激活函数前添加了实例归一化层，对较浅层特征进行处理，从而增强重识别模型对桥区水域船舶受遮挡条件下的鲁棒性。

S43：采用IoU距离、余弦距离分别作为船舶运动特征和外观特征的衡量指标：

d

其中，d

S5：根据检测结果的置信度及提取到的特征，将当前视频帧检测到的船舶与历史轨迹进行匹配，输出跟踪结果。

S51：根据检测出各船舶目标的置信度，将置信度高于0.6的视作高分检测结果，将置信度低于0.6但高于0.2的视作低分检测结果。

S52：执行高分检测结果与跟踪轨迹间的匹配，匹配时同时考虑由卡尔曼滤波器预测得到的船舶运动特征以及由ResNet50-ibn提取到的船舶外观特征，确定两种特征权重时采用基于检测结果置信度的特征整合策略作为综合匹配指标：

s

其中，c

匹配过程采取匈牙利算法和级联匹配策略，初次匹配完成后，匹配成功的轨迹将直接作为下一帧的轨迹输入，未能成功匹配的检测结果生成新的轨迹输入到下一帧，未匹配的轨迹输入到S53进行二次匹配。

S53：将S52中未匹配的轨迹与低分检测结果进行IOU匹配，IOU阈值设定为0.7，匹配成功的轨迹同样直接作为下一帧的轨迹输入，未能成功匹配的检测结果则需要进行置信度判断，置信度低于0.4的检测结果将直接被舍弃删除，置信度高于0.4的检测结果会同S52中一样，生成新的轨迹输入到下一帧，未匹配的轨迹则输入到S54做进一步判断；

S54：对于S53中未成功匹配的轨迹，首先判断该轨迹是否处于验证状态(即轨迹与检测结果曾连续匹配3次以上)，对于未验证状态的轨迹，直接删除，若轨迹处于验证状态，则进一步考虑其是否处于限制状态(由于桥区水域船舶跟踪场景中存在船舶被长时遮挡的问题，限制状态被定义为轨迹与检测结果已连续60s未匹配)，对于处于限制状态的轨迹直接删除，未处于限制状态的轨迹则继续作为下一帧的轨迹输入，期待与之匹配的检测结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。