一种黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法

技术领域

本发明涉及人工智能技术领域，尤其指一种黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法。

背景技术

传统的无人艇水面感知技术主要依靠无人艇上搭载的毫米波雷达、激光雷达（LiDAR）和惯性测量单元、GPS等传感器。近年来，基于计算机视觉的感知技术发展迅速，光学图像包含更丰富的目标区域细节信息，故基于视觉的感知技术更易于对水面目标进行有效地辨别，而目前业内基于红外热成像的岸线分割研究甚少，无人艇夜间航行仍存在巨大挑战，因此研究基于红外热成像视觉图像的无人艇水上目标识别与水域环境感知与定位技术尤为重要。

发明内容

为了实现黑暗条件下无人艇对水上目标及可行域的有效识别，本发明提供一种黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法。

为了解决上述技术问题，本发明采用如下技术方法：一种黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法，包括：

步骤S1，数据集建立：无人艇搭载多种红外热像仪，使红外热像仪在水域场景下低空拍摄，模拟无人艇航行视角，对水面进行拍摄视频，对视频进行处理得到原始图像，使用标注工具对原始图像数据进行标注，得到红外岸线分割数据集和红外目标检测数据集，将该两个数据集均按照预定比列划分为训练集、验证集以及测试集；

步骤S2，模型建立：采用DeeplabV3 Plus模型作为岸线分割的网络模型，并采用YOLOV5m模型作为目标检测的网络模型；设置DeeplabV3 Plus模型和YOLOV5m模型的超参数，并采用基于voc2012数据集的YOLOV5m模型权重作为预训练权重进行迁移学习，随后利用红外岸线分割数据集的训练集对DeeplabV3 Plus模型进行反复训练与验证，以及利用红外目标检测数据集的训练集对YOLOV5m模型进行反复训练与验证，得到基于红外岸线分割数据集与红外目标检测数据集的训练权重；接着利用红外岸线分割数据集的测试集、验证集对该训练权重下的DeeplabV3 Plus模型进行评估与预测，以及利用红外目标检测数据集的测试集、验证集对该训练权重下的YOLOV5m模型进行评估与预测，根据评估和测试结果不断调整DeeplabV3 Plus模型和YOLOV5m模型的超参数，建立决策级对优化超参数后的DeeplabV3 Plus模型和YOLOV5m模型进行级联的Pytorch框架网络模型；将Pytorch框架网络模型的权重文件转换为TensorRT框架网络模型的权重文件，迁移至无人艇上的边缘计算平台中；

步骤S3，模型应用：将由无人艇搭载的红外热像仪实时拍摄的水域场景视频经过步骤S1所涉方法处理后得到的红外岸线分割数据和红外目标检测数据传送至边缘计算平台，由TensorRT框架网络模型进行处理，得到水上目标以及可行域的识别结果。

进一步地，步骤S1，数据集建立：在无人艇上搭载大疆M300无人机的红外热像仪，该红外热像仪在水域场景下低空拍摄，模拟无人艇航行视角，对水面进行拍摄视频，然后对视频进行抽帧、去重、筛选处理得到原始图像，再使用标注工具“Labelimg”对水上目标进行矩形框标注，并使用标注工具“Labelme”对可行域进行多边形框标注，得到红外岸线分割数据集和红外目标检测数据集，所述红外岸线分割数据集包括背景background、水water、障碍物obstacle三个类别；所述红外目标检测数据集包括船只boat、岸上人员person_shore、船上人员person_boat、水中人员swimming、海豚一号dolphin1五个类别；将红外岸线分割数据集和红外目标检测数据集均按照8：1：1的比例划分为训练集、验证集以及测试集三个子数据集，在每个子数据集中每个类别的样本数量一致。

进一步地，所述DeeplabV3 Plus模型作为岸线分割的网络模型时：

采用resnet作为主干特征提取网络，其encoder主体部分把标准卷积分解成深度卷积和逐点卷积，深度卷积对每个通道独立使用空间卷积，逐点卷积用于结合深度卷积的输出；在encoder中，对压缩四次的初步有效特征层，利用并行的空洞卷积，分别用不同rate进行特征提取，再进行concat合并，然后进行1×1卷积压缩特征得到特征图；在decoder中，对压缩两次的初步有效特征层利用1×1卷积调整通道数，再和encoder输出的空洞卷积后的有效特征上采样的结果进行堆叠，在完成堆叠后，进行两次深度可分离卷积，获得最终有效特征层，再利用一个1×1卷积进行通道调整，调整到Num_Classes，最后利用resize进行上采样，使得最终输出层的宽高和输入图片一样。

更进一步地，所述YOLOV5m模型作为目标检测的网络模型时：

采用darknet-53作为主干特征提取网络，通过darknet53对输入图像进行特征提取，在特征利用部分一共提取三个特征层，三个特征层进行5次卷积处理，处理完后一部分用于输出该特征层对应的预测结果，一部分用于进行反卷积umSampling2d后与其它特征层进行结合。

优选地，所述darknet-53由darknetConv2D与残差网络residual模块组成，所述darknet53中的残差卷积先进行一次3*3、步长为2的卷积，然后保存该卷积layer，再进行一次1*1的卷积和一次3*3的卷积，并把这个结果加上layer作为最后的结果，接着大量使用残差的跳层连接，进行五次下采样，步长为2，卷积核大小为3，特征维度分别为64、128、256、512与1024，不使用平均池化层与全连接层，每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU激活函数，Leaky ReLU激活函数为：

所述YOLOV5m模型特征利用部分提取多特征层进行目标检测，一共提取三个特征层，三个特征层位于主干部分darknet53的不同位置，分别位于中间层、中下层、底层，三个特征层的shape分别为(52,52,256)、(26,26,512)、(13,13,1024)；三个特征层进行5次卷积处理，处理完后一部分用于输出该特征层对应的预测结果，一部分用于进行反卷积UmSampling2d后与其它特征层进行结合。

更进一步地，所述DeeplabV3 Plus模型和YOLOV5m模型的超参数包括要输入的数据集中图像样本的尺寸、batch大小、迭代次数、学习率以及类别数。

再进一步地，所述步骤S2中，在对DeeplabV3 Plus模型和YOLOV5m模型进行反复训练与验证后，采用交叉熵损失函数和Adam损失函数优化器不断优化两个模型的超参数，得到基于红外岸线分割数据集与红外目标检测数据集的训练权重。

优选地，所述步骤S2中，在对训练权重下的DeeplabV3 Plus模型和YOLOV5m模型进行评估与预测时：

1）评估：将得到的训练权重进行筛选，选择total loss与val loss最低的权重作为DeeplabV3 Plus模型和YOLOV5m模型的权重；分别利用红外岸线分割数据集和红外目标检测数据集的测试集对DeeplabV3 Plus模型和YOLOV5m模型进行测试，得到DeeplabV3Plus模型的mIoU和YOLOV5m模型的平均精度MAP值，根据评价指标所需值调整DeeplabV3Plus模型和YOLOV5m模型的超参数，重新训练直至满足需求；同时，使用tensorflow框架下的tensorboard工具模块绘制train loss、val loss曲线；

2）预测：利用红外岸线分割数据集的验证集对DeeplabV3 Plus模型进行测试，得到mask，再通过计算每个类别的IoU，统计出mIoU；利用红外目标检测数据集的测试集对YOLOV5m模型进行测试，通过绘制MAP程序得到目标检测各类别的精度AP值以及平均精度MAP值。

综上所述，为了解决黑暗条件下无人艇由于光照不足而导致无法自主智能航行的问题，本发明提出了一种红外岸线分割与目标检测融合方法，具体来说：

1.本发明针对黑暗环境采用红外热成像技术解决目标可视化以及数据采集问题。对采集到视频进行帧提取、结构相似性去重和人工筛选搭建原始数据库。对水上目标识别任务采用标注工具“Labelimg”进行矩形框标注，对可行域识别任务采用标注工具“Labelme”进行多边形框标注，从而搭建红外岸线分割数据集和红外目标检测数据集。

2.本发明针对可行域识别任务，基于红外岸线分割数据集训练DeeplabV3 Plus网络，采用人在回路数据集及网络优化方案优化数据集和网络权重，最终得到高性能的权重。

3.本发明针对水上目标识别任务，基于红外目标检测数据集训练YOLOv5m网络，采用人在回路数据集及网络优化方案优化数据集和网络权重，最终得到高性能的权重。

4.本发明基于网络训练得到Pytorch框架网络模型下水上目标检测权重和可行域识别权重，采用双线程架构实现对同一张输入图像的两个网络的在线推理，对推理结果进行决策级融合，并结合水上目标的目标检测结果和语义分割结果实现水上目标的定位。

5.本发明将Pytorch框架网络模型的权重文件转换为TensorRT框架网络模型的权重文件，将TensorRT框架网络模型的权重文件迁移至边缘计算平台，实现基于边缘计算平台水上目标以及可行域的识别。本发明在边缘计算平台上目标检测mAP不低于92.65%，岸线分割mIOU不低于74.15%，推理速度在20FPS以上。

可见，本发明主要是先基于红外热成像的视觉图像处理技术，对岸线进行分割，同时识别水面上的障碍物，再将该方法所涉红外岸线分割的DeeplabV3 Plus模型与目标检测的YOLOV5m模型同时部署在边缘计算平台上，以实现了水上目标及可行域的实时识别。此种根据通行的深度学习模型部署系统结构，基于红外光的智能感知系统将不同阶段、不同参与方之间的信息有效地集成起来，以实现水上目标及可行域的识别，效果非常好，极大的满足了无人艇实际航行需求。

附图说明

图1为本发明所涉黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法的流程图；

图2为本发明中红外岸线分割与目标检测融合方法所涉系统的图形示意图；

图3为本发明中红外岸线分割与目标检测融合的图形示意图；

图4为本发明实施方式中实验结果示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

鉴于无人艇夜间航行面临的两大挑战：一是无人艇航行采用可见光感知航行路线在夜间行驶时基本不起作用，二是目前的感知系统无法识别水上航行的障碍物，本发明以红外光的目标识别系统为核心，充分运用现代人工智能算法，在不断扩充数据集的前提条件下，持续迭代优化深度卷积网络模型权重的识别性能，再经过应用部署以完成无人艇的实时作业。据此，本发明提供了一种黑暗条件下水面无人艇的红外岸线分割与目标检测融合方法，如图1和2所示，具体包括以下步骤。

步骤S1，数据集建立。

在无人艇上搭载多种型号的红外热像仪，包括大疆M300无人机的热像仪，使红外热像仪在水域场景下低空拍摄，模拟无人艇航行视角，对水面进行拍摄视频，然后对视频进行抽帧、结构相似性去重、人工筛选处理得到原始图像，再使用标注工具“Labelimg”对水上目标进行矩形框标注，并使用标注工具“Labelme”对可行域进行多边形框标注，得到红外岸线分割数据集和红外目标检测数据集，所述红外岸线分割数据集包括背景background、水water、障碍物obstacle三个类别；所述红外目标检测数据集包括船只boat、岸上人员person_shore、船上人员person_boat、水中人员swimming、海豚一号dolphin1五个类别；将红外岸线分割数据集和红外目标检测数据集均按照8：1：1的比例划分为训练集、验证集以及测试集三个子数据集，在每个子数据集中每个类别的样本数量一致。

值得注意的是，本发明采用深度学习方案实施，需要大量的多场景实况数据作为支撑，本步骤中采集的水域场景宜包括远洋、内河、江边、湖泊等多种不同的水域作为实验场景，而为提升场景丰富度，采集时间主要有夜间和凌晨，丰富不同夜晚时间红外图像数据，共采集五段不同角度视频，将其抽帧、去重、数据清洗、标注后获得原始数据集。

另外，在数据处理方面采用双直方图均衡与Gamma变换方法处理图像，提高图像整体对比度，增强细节。

还有，采用多种热像仪采集数据，解决夜间行船可见光感知的劣势。目前基于视觉的感知的研究方案基本都使用可见光图像，但实际应用中不可避免要考虑到智能交通夜间行驶安全性。考虑到不同热像仪的调色方案不同，本发明采用不同热像仪，并采用白热、铁红两种调色方式采集数据，使得网络模型权重适应多种热像仪。

步骤S2，模型建立。

S21，采用以resNet为主干特征提取网络的DeeplabV3 Plus模型作为岸线分割的网络模型，利用编译函数对DeeplabV3 Plus模型进行编译处理，设置DeeplabV3 Plus模型的超参数，利用红外岸线分割数据集的训练集、验证集对DeeplabV3 Plus模型进行反复训练与验证，得到基于红外岸线分割数据集的训练权重。在训练与验证时，DeeplabV3 Plus模型的encoder主体部分把标准卷积分解成深度卷积和逐点卷积，深度卷积对每个通道独立使用空间卷积，逐点卷积用于结合深度卷积的输出。在encoder中，对压缩四次的初步有效特征层，利用并行的空洞卷积，分别用不同rate进行特征提取，再进行concat合并，然后进行1×1卷积压缩特征得到特征图。在decoder中，对压缩两次的初步有效特征层利用1×1卷积调整通道数，再和encoder输出的空洞卷积后的有效特征上采样的结果进行堆叠，在完成堆叠后，进行两次深度可分离卷积，获得最终有效特征层，再利用一个1×1卷积进行通道调整，调整到Num_Classes，最后利用resize进行上采样，使得最终输出层的宽高和输入图片一样。

S22，采用以darknet-53作为主干特征提取网络的YOLOV5m模型作为目标检测的网络模型，利用编译函数对YOLOV5m模型进行编译处理，设置YOLOV5m模型的超参数，并采用基于voc2012数据集的YOLOV5m模型权重作为预训练权重进行迁移学习，随后利用红外目标检测数据集的训练集、验证集对YOLOV5m模型进行反复训练与验证，得到基于红外目标检测数据集的训练权重。在训练与验证时，YOLOV5m模型通过darknet53对输入图像进行特征提取，在特征利用部分一共提取三个特征层，三个特征层位于主干部分darknet53的不同位置，分别位于中间层、中下层、底层，三个特征层的shape分别为(52,52,256)、(26,26,512)、(13,13,1024)，三个特征层进行5次卷积处理，处理完后一部分用于输出该特征层对应的预测结果，一部分用于进行反卷积umSampling2d后与其它特征层进行结合。

优选地，前述darknet-53由darknetConv2D与残差网络residual模块组成，所述darknet53中的残差卷积先进行一次3*3、步长为2的卷积，然后保存该卷积layer，再进行一次1*1的卷积和一次3*3的卷积，并把这个结果加上layer作为最后的结果，接着大量使用残差的跳层连接，进行五次下采样，步长为2，卷积核大小为3，特征维度分别为64、128、256、512与1024，不使用平均池化层与全连接层，每一次卷积的时候进行L2正则化，完成卷积后进行BatchNormalization标准化与LeakyReLU激活函数，Leaky ReLU激活函数为：

值得一提的是，本发明中DeeplabV3 Plus模型和YOLOV5m模型的超参数至少包括要输入的数据集中图像样本的尺寸（input_shape）、batch大小（batch_size）、迭代次数（epochs）、学习率（lr）以及类别数（num_classes）。在本实施方式中，设置的超参数如下：

要输入的数据集中图像样本的尺寸：input_shape=416*416*3；

batch大小：Freeze-batch_size = 8，UnFreeze-batch_size = 4；通常为2^N，如32、64、128... ；

迭代次数：Freeze_epochs = 50，UnFreeze_epochs = 100；

学习率：Freeze_lr=1e-3，UnFreeze_lr=1e-4；

类别数：num_classes = 10。

S23，采用交叉熵损失函数和Adam损失函数优化器不断优化经过反复训练与验证的DeeplabV3 Plus模型和YOLOV5m模型的超参数，得到基于红外岸线分割数据集与红外目标检测数据集的训练权重。其中，交叉熵损失函数是一个平滑函数，其本质是信息理论中的交叉熵在分类问题中的应用，其公式为：

Adam损失函数优化器是一种计算能每个参数的自适应学习率的优化方法，即存储了过去梯度的平方

。

其中，

如果

梯度更新规则为：

上式中：

S24，对前述训练权重下的DeeplabV3 Plus模型和YOLOV5m模型进行评估与预测。

1）评估：将得到的训练权重进行筛选，选择total loss与val loss最低的权重作为DeeplabV3 Plus模型和YOLOV5m模型的权重；分别利用红外岸线分割数据集和红外目标检测数据集的测试集对DeeplabV3 Plus模型和YOLOV5m模型进行测试，得到DeeplabV3Plus模型的mIoU和YOLOV5m模型的平均精度MAP值，根据评价指标所需值调整DeeplabV3Plus模型和YOLOV5m模型的超参数，重新训练直至满足需求。为了查看训练到多少个epoch已经达到饱和，防止发生过拟合（本实施方式中，选择冻结网络参数训练50个epoch后，再解冻所有参数训练50个epoch），此处，还使用tensorflow框架下的tensorboard工具模块绘制train loss、val loss曲线。

2）预测：利用红外岸线分割数据集的验证集对DeeplabV3 Plus模型进行测试，得到mask，再通过计算每个类别的IoU，统计出mIoU；利用红外目标检测数据集的验证集对YOLOV5m模型进行测试，通过绘制MAP程序得到目标检测各类别的精度AP值以及平均精度MAP值。此预测的目的是为了验证本发明所涉方法的最终效果，若效果不理想，则增加训练数据量，或者继续调整模型的超参数，直至达到预期效果。

S25，建立黑暗条件下无人艇红外岸线分割与目标检测的Pytorch框架网络模型，该Pytorch框架网络模型包括优化超参数后的红外岸线分割的DeeplabV3 Plus模型和目标检测的YOLOV5m模型，DeeplabV3 Plus模型和YOLOV5m模型采用串行双线程推理的方式在决策级进行融合，见图3。为了使Pytorch框架网络模型能在无人艇上在线投入使用，本发明将Pytorch框架网络模型的权重文件转换为TensorRT框架网络模型的权重文件，迁移至无人艇上的边缘计算平台中，优选地，该边缘计算平台为英伟达嵌入式平台。

需要提出说明的是，本发明将DeeplabV3 Plus模型和YOLOv5m模型进行决策级融合，是为了全方位保障安全行船，因为水中障碍物的识别对分割网络挑战性很大，而目标检测网络在复杂环境中仍能保持较好的能力，因此本发明采用目标检测方案辅助实现障碍物识别。

步骤S3，模型应用：将由无人艇搭载的红外热像仪实时拍摄的水域场景视频经过步骤S1所涉方法处理后得到的红外岸线分割数据和红外目标检测数据传送至边缘计算平台，由TensorRT框架网络模型进行处理，得到水上目标以及可行域的识别结果。

接下来，本实施方式进行了岸线分割网络模型对比实验，尝试了三种分割网络，并在精度，速度和部署上给出了对比实验，实验结果如下表1，结果表明以ResNet为backbone的DeeplabV3 Plus模型在识别速度上达到了20FPS，满足实际航行要求，并可以部署在无人艇的嵌入式平台中。

表1

另外，本实施方式进行了目标检测网络模型对比实验，建立红外目标检测数据集，共4186张图片，根据8：2的比例划分为训练集和测试集，得到训练集3347张，测试集839张。设置迭代轮数目标为400，同时监控训练集的损失值，当长时间变化极小时中止，确保网络充分训练至收敛。本实验中，根据实际需求，将默认参数进行了优化，如下表2。

表2

本实验实践了SSD、YOLOv3、YOLOv5等多个网络模型，各模型在热图像水上目标数据集上的性能对比如下表3所示，目标检测网络模型的识别速度使用FPS判定，识别能力使用平均精度MAP判定，当预测框与实际框的IoU大于0.5才纳入计算，综合考虑检测精度、识别速度、训练用时、权重等因素，表3中的结果表明选择YOLOv5m作为基础网络，可以实现水上目标的快速推理与模型的快速部署。本实验最终的效果展示如图4所示，图4中左图展示的是白热红外图像识别结果，右图展示的是铁红红外图像识别结果。

表3

上述实施例为本发明较佳的实现方案，除此之外，本发明还可以其它方式实现，在不脱离本技术方案构思的前提下任何显而易见的替换均在本发明的保护范围之内。

为了让本领域普通技术人员更方便地理解本发明相对于现有技术的改进之处，本发明的一些附图和描述已经被简化，并且为了清楚起见，本申请文件还省略了一些其他元素，本领域普通技术人员应该意识到这些省略的元素也可构成本发明的内容。