一种基于深度学习全景相机的机器人避障方法

技术领域

本发明涉及机器人及人工智能领域，尤其涉及一种基于深度学习全景相机的机器人避障方法。

背景技术

机器人避障技术的研究因使用场景的复杂性，传统的基于SLAM的全局路径规划来躲避障碍物的方法已不再高效，需要识别场景中突然出现的障碍物，且需要较高的识别速度保证实时性同时需要一定水平的准确性，故在如何提高识别速度的基础上能保证较高水平的准确性一直是一个研究难点，为了科学技术的需求，基于深度学习的全景相机避障技术的研究在成为必然选择。

基于深度学习的机器人避障方法旨在缩短人工智能和人类学习之间的差距，它通过学习有限的监督信息，结合先验知识，提升目标识别在新任务中的效果；而文献3中提出了一种端到端的目标检测框架，使目标检测的速度得到一定的提高，但存在视野不够的问题，目标障碍物识别的精确度却有待提高，传统方法为弥补该问题则需要数量庞大的数据，这将降低机器人的实时性。

采用全景相机作为目标检测的图像数据传感器，解决了普通相机视野不全面的问题，同时相比于RGB-D深度相机在数据处理以及价格成本方面均有巨大优势。

综上，需要研究一种基于深度学习全景相机的机器人避障方法，解决了移动机器人在复杂场景内的避障实时性不好以及精确度不高的问题。

发明内容

本发明的目的是提出一种基于深度学习全景相机的机器人避障方法：该方法旨在激光雷达进行全局路径规划基础上，运用全景相机作为深度学习目标检测的图像数据采集传感器，同时采用YOLOv5神经网络框架进行局部路径规划，在保证机器人实时性的同时提高避障的精确性。

为了实现上述目的，本发明的技术方案如下：

本发明提供了一种基于深度学习全景相机的机器人避障方法，包括：

在机器人活动范围内，运用激光雷达传感器通过G-Mapping算法对机器人进行SLAM栅格地图的构建，并用启发式的A*算法在栅格地图上进行全局路径规划，其形式为的f(n)＝h(n)+g(n),式中的g(n)为耗散函数，表示起始节点到终止节点的实际代价，h(n)为启发函数，表示节点n到目标节点的估计代价，f(n)为起始节点到目标节点的估计代价。

在全局路径规划的基础上，采用双曲面折反射全景摄像头作为传感器进行机器人周围环境的数据图像获取。将获取图像数据进行处理。

图像数据处理分为三部分，第一部分为图像中心点定位部分第二部分为将图像展开部分，第三部分为畸变矫正部分；

在第一部分中使用交互式方法获取环形全景图的重要参数，利用该方法计算得出环形全景图的中心点中心像素坐标以及内径r和外径R；

在第二部分中使用计算出展开图的长为W＝2*π*R，也就是外圆环的周长，宽为外径与内径的差，即R-r，设环形全景图与展开的图像径向展开映射为D，θ为环形全景图极坐标下的角度分量，则环形全景图在直角坐标系下的坐标为：x＝D*cos(θ)，y＝D*sin(θ)，运用该极坐标法将环形全景图展开；

第三部分中对运用最邻近插值对展开的畸变进行矫正，展开的图像为梯形，为满足人眼的观测需求，以最后一行为基础将每一行插值与最后一行的像素个数相同，最终获取矩形全景图。

构建YOLOv5神经网络框架，设置融合模型的超参数，运用VOC数据集进行预训练网络，将折反射全景相机获取的全景图进行展开并畸变矫正后，进行标注放入数据集中，从而使网络适用于折反射全景摄像机获取的环状全景图中的目标检测与分割，相关参数设置为：

1)数据集采用VOC数据集，训练过程中设定epoch为300；

2)为了验证检测与分割的准确性，使用交并比IoU(Intersection over union)作为目标检测是否正确的依据，并且设定IoU的阈值为0.7当IoU≥0.7为检测结果为正确，当IoU＜0.7标记检测结果为错误；

3)采用mAP对网络模型的检测与分割进行评价，随着mAP的值越高，其代表了检测与分割的结果越准确。

将输出的特征图像传入DWA动态窗口，移动机器人根据全景相机在上位机从节点中运行实时目标检测算法，用于检测室内常见的移动型障碍物；全景相机在一定范围内没有检测到动态移动型障碍物，则采取角速度调节的方法控制移动机器人向目标点移动；若检测到动态移动型障碍物则从上位机订阅发布的检测结果话题，并实时获取移动型障碍物的位置信息以及对应种类；DWA算法在融入视觉检测的结果后，可以实时检测当前速度组

其中，σ表示对这三项评价函数进行归一化；α、β、γ表示各项评价函数的权重系数；

其中，评价检测函数

运用激光雷达对机器人与障碍物之间距离进行测量，若大于或者等于预设的阈值时，进行重新规划路径避让障碍物，若小于预设阈值则采取停止指令，对机器人进行保护。

本发明提供了一种基于深度学习全景相机的机器人避障方法，采用全局路径规划融合局部路径规划的整体思想，激光雷达传感器进行全局路径规划，采用折反射双曲面全景摄像头传感器融合YOLOv5深度学习框架进行局部路径规划，在保证机器人避障的实时性的前提下提高了机器人避障的精确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明激光雷达G-Mapping创建的栅格地图；

图2为本发明双曲面折反射全景摄像头环形全景图；

图3为本发明双曲面折反射全景摄像头环形全景图像展开图；

图4为本发明双曲面折反射全景摄像头畸变矫正原理图；

图5为本发明双曲面折反射全景摄像头畸变矫正效果图；

图6为本发明对环形双曲面折反射全景图片目标检测图；

图7为本发明仿真环境下机器人避障效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例：

本发明实施例提供了一种基于深度学习全景相机的机器人避障方法，包括以下步骤：

步骤一：如图1所示，为本发明激光雷达所构建地图，采用思岚A2激光雷达传感器对机器人活动范围内运用G-Mapping算法进行栅格地图的构建并保存，接着在rviz中使用2D Pose Estiation设置机器人的初始pose在map中的位置，运用AMCL定位方法确定地图中机器人的位姿，接着运用A*算法对机器人进行全局路径规划。

步骤二：如图2所示，为本发明双曲面折反射摄像头环形全景图，首先使用交互式方法获取环形全景图的重要参数，利用该方法计算得出环形全景图的中心点中心像素坐标为(314，311)以及内径R

ρ＝H+R

x＝ρcos(θ

运用该极坐标法将环形全景图展开，如图3所示。

步骤三：如图4所示，为本发明折反射双曲面全景摄像头畸变矫正原理图。步骤二中展开的数据图片存在一定的畸变，环状全景图越靠近内环其像素越少，越靠近外环像素值越多，为了使展开后的全景图畸变减小，分辨率提高，方便人眼观察的同时，对后续的YOLOv5目标检测准确度也有一定提高，采取最邻近插值法进行畸变矫正；因此以图a)中最后一行为基础，需要将每一行插值与最后一行的像素个数相同，设展开后图像的第一行有m个像素，每个像素记x

步骤四：如图6所示，为本发明的YOLOv5神经网络框架对折反射全景图图像数据检测结果图，全景图视频图像传入YOLOv5神经网络框架，相比于普通相机拥有更大的视野图，避障精度明显提高。

步骤五：将YOLOv5获得的数据传入DWA动态窗口，对机器人活动区域进行检测，当机器人无遇见动态障碍物时采取全局路径规划进行行进，当突然出现障碍物时可以精确的判断并及时躲避，图7为本发明仿真状态下机器人路径规划效果图，相比于普通相机的避障效果，环形双曲面折反射全景摄像头在保证实时性的基础上，在精度方面有大幅度提高。