一种激光视觉融合的无人船桥洞通行方法及系统

技术领域

本发明涉及一种激光视觉融合的无人船桥洞通行方法及系统，属于船舶无人驾驶技术领域。

背景技术

水路运输主要利用江、河、湖泊或者海洋的“天然航道”或者“人工航道”来进行，而中国许多地方河道纵横，水量丰富，具有发展内河航运的优良条件。而无人驾驶船舶相比于人工驾驶的船舶在安全性和经济性上都有很大的提升潜力，但是内河航道交错，周围杂草、堤坝分布不定，场景复杂多变，GPS信号较弱，特别是桥梁与堤岸障碍物相似度较高，无人船在行驶过程中对于桥洞的识别与安全通行难度较高。

发明内容

本发明的目的在于提供一种激光视觉融合的无人船桥洞通行方法，以解决现有技术无人船在行驶过程中对于桥洞的识别与安全通行难度较高缺陷。

第一方面：一种激光视觉融合的无人船桥洞通行方法，所述方法包括步骤：

采集河道数据集及对河道航行过程常见场景进行标记；

利用卷积神经网络对河道数据集进行训练得到训练权重，通过训练权重根据单目相机拍摄的图像进行语义分割得到每个像素点语义标记判断船体周围是否有桥梁；

通过语义分割模块提供可行驶区域范围，根据激光雷达模块提供桥洞障碍物位置，实时结合激光雷达障碍信息，进行局部动态路径规划。

进一步地，所述训练权重的步骤包括：

首先对数据集的图片和标注进行像素统一化，统一为416×416，选择U-net模型以及交叉熵损失函数，取数据集的90％为训练集，剩余10％为测试集，通过不断地图像预测、损失函数计算以及权重的调整，进行50个epoch的训练得到最后的训练权重。

进一步地，所述交叉熵损失函数计算过程如下(其中p(x

进一步地，所述方法还包括：若存在桥梁，结合激光雷达的障碍信息，对于所得的点云数据进行预处理，过滤无效点和离群点等，然后进行特征点提取，获取桥洞边缘信息；通过单目相机和激光雷达坐标系的转换关系，将语义信息与点云信息将结合，计算桥洞位置以及桥洞高度h，结合无人船自身的船高，判断是否安全通过。

进一步地，所述单目相机和激光雷达坐标系的转换关系包括步骤：

首先要进行相机和激光雷达的参数标定，其中涉及到五个坐标系之间的转换，包括像素坐标系(u,v)、图像坐标系(x,y)、相机坐标系(X

其中R为旋转矩阵，T为平移矩阵，f为相机焦距，u

第二方面：一种激光视觉融合的无人船桥洞通行系统，所述系统包括：

视觉采集模块模：用于实时采集无人船行驶过程中的周围场景图像信息；

语义分割模块：用于实时采集的图像信息进行语义信息识别，将环境中的各种物体进行分类标记，同时判断可行驶区域；

激光扫描模块：用于对无人船周边环境进行扫描，得到障碍信息，通过三维障碍信息与语义信息的融合，得到桥的位置信息。

与现有技术相比，本发明所达到的有益效果：该方法通过激光扫描模块对无人船周边环境进行扫描，得到障碍信息，通过三维障碍信息与语义信息的融合，得到桥的位置信息。再根据已知信息对无人船过桥洞行为进行动态路径规划；在复杂多变的内河航道中，无人船可以准确安全的通过各类桥梁，提升无人船的智能化水平。

附图说明

图1是无人船结构示意图；

图2是相机与激光雷达坐标转换示意图；

图3是深度神经网络训练流程图；

图4是无人船桥洞通行过程流程图；

图中：1-激光雷达、2-单目相机。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1所示，无人船结构包括船体、激光雷达1、单目摄像头2；其中单目摄像头用于实时收集船体周围图像信息，激光雷达用于收集船体周围障碍信息。将二维语义信息与三维障碍信息相融合，为无人船过桥洞进行局部路径动态规划。

具体细化步骤如下：

步骤一：首先要进行相机和激光雷达的参数标定，其中涉及到五个坐标系之间的转换，包括像素坐标系(u,v)、图像坐标系(x,y)、相机坐标系(X

其中R为旋转矩阵，T为平移矩阵，f为相机焦距，u

步骤二：河道数据集素材收集与制作，采集不同地段内河航道的图像素材，对水面、船只、植物、堤坝、桥梁等河道航行过程常见场景进行标记。

步骤三：利用卷积神经网络对河道数据集进行训练；首先对数据集的图片和标注进行像素统一化，统一为416×416，选择U-net模型以及交叉熵损失函数，取数据集的90％为训练集，剩余10％为测试集，通过不断地图像预测、损失函数计算以及权重的调整，进行50个epoch的训练得到最后的训练权重。交叉熵损失函数计算过程如下(其中p(x

步骤四：利用步骤三得到的权重，对单目相机拍摄的实时图像进行语义分割，得到每个像素点语义标记，判断周围是否有桥梁；若存在桥梁，结合激光雷达的障碍信息，对于所得的点云数据进行预处理，过滤无效点和离群点等，然后进行特征点提取，获取桥洞边缘信息。通过两个坐标系的转换关系，将语义信息与点云信息将结合，计算桥洞位置以及桥洞高度h，结合无人船自身的船高，判断是否可以安全通过。

步骤五：根据步骤四的结果规划通过桥洞的路线，由语义分割模块提供可行驶区域范围，有激光雷达模块提供桥洞障碍物位置，起点和终点分别为桥洞两端，并实时结合激光雷达障碍信息，进行局部动态路径规划，防止通行过程中碰撞桥柱。

第二方面：公开了一种激光视觉融合的无人船桥洞通行系统，包括视觉采集模块、语义分割模块、激光扫描模块、路径规划模块等。视觉采集模块模仿人类视觉，由单目摄像头实时采集无人船行驶过程中的周围场景图像信息；语义分割模块对于实时采集的图像信息进行语义信息识别，将环境中的各种物体进行分类标记，同时判断可行驶区域；激光扫描模块对无人船周边环境进行扫描，得到障碍信息，通过三维障碍信息与语义信息的融合，得到桥的位置信息。再根据已知信息对无人船过桥洞行为进行动态路径规划。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。