掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本发明涉及工程机械技术领域,尤其涉及一种工程车的无人驾驶方法、装置、设备、存储介质及工程车。

背景技术

随着工程建设的机械化发展,包括推土机等在内的工程车也受到了越来越多的关注。在施工现场,上述工程车主要用于执行地面的平整化工作、已装载货物的运输工作或挖掘工作等。

现有技术中,在室外大型施工场景下,通常采用人工驾驶或人工遥控操作的方式控制工程车,以使工程车避开施工现场的障碍物,实现工程车从起始点位置到目标点位置的行驶。

然而,上述方法中需要人工参与控制工程车行驶及作业,而无法实现工程车在行驶过程中对障碍物的自动有效的避障。

发明内容

本发明实施例提供一种工程车的无人驾驶方法、装置、设备、存储介质及工程车,以解决现有技术中无法实现工程车在行驶过程中对障碍物的自动有效的避障的技术问题。

第一方面,本发明实施例提供一种工程车的无人驾驶方法,所述工程车上安装有至少两种测量设备;所述测量设备包括双目深度相机与激光雷达;

所述无人驾驶方法,包括:

确定工程车的位姿信息,所述位姿信息用于表示工程车在真实环境下的地理位置和行驶方向;

基于至少两种测量设备采集工程车周围环境的障碍物数据,并对所述障碍物数据进行数据处理,得到障碍物信息,其中,所述障碍物信息用于表示障碍物与工程车之间的相对位置;

根据工程车的位姿信息对所述障碍物信息进行位置转换处理,确定所述障碍物在真实环境下的地理位置;

基于路径规划算法,结合所述障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,对所述工程车进行路径规划,以使得工程车按照规划后的路径对所述障碍物进行避障行驶。

在一种可能的实施方式中,所述工程车周围环境的障碍物数据包括利用所述双目深度相机采集的工程车周围环境的彩色图像;

相应的,所述基于至少两种测量设备采集工程车周围环境的障碍物数据,并对所述障碍物数据进行数据处理,得到障碍物信息,包括:

利用基于注意力机制的目标检测网络,对所述彩色图像进行障碍物识别处理,得到图像边界框;其中,所述基于注意力机制的目标检测网络为加入注意力机制模块的网络;所述图像边界框用于指示彩色图像中的障碍物的图像位置;

确定所述彩色图像对应的深度图像,并利用所述深度图像和所述图像边界框,确定所述障碍物相对于工程车的距离和方向。

在一种可能的实施方式中,所述利用所述深度图像和所述图像边界框,确定所述障碍物相对于工程车的距离和方向,包括:

确定图像边界框内的各个像素点在所述深度图像中的深度值;

基于直方图法对所述图像边界框内的各个像素点的深度值进行统计,并根据统计结果确定所述障碍物相对于工程车的距离;

确定图像边界框的中心点坐标,对所述中心点坐标进行线性运算,并根据运算结果得到所述障碍物相对于工程车的方向;

判断图像边界框内的像素点的数量是否大于预设数量阈值,若是,则输出图像边界框指示的障碍物相对于工程车的距离和方向。

在一种可能的实施方式中,所述确定工程车的位姿信息之前,还包括:

基于工程车所在的工程车坐标系,构建工程车所处环境的环境地图;

确定所述工程车坐标系与真实地理坐标系之间的映射关系;

相应的,所述确定工程车的位姿信息,包括:

利用所述映射关系,对所述工程车在所述环境地图中的环境位置和方向进行坐标映射处理,确定所述工程车在真实环境下的地理位置和行驶方向。

在一种可能的实施方式中,所述基于工程车所在的工程车坐标系,构建工程车所处环境的环境地图,包括:

采集工程车所处环境的环境图像;

对所述环境图像进行对象识别,以确定所述环境图像中的全部静态对象;

基于所述工程车所处环境中的静态对象,构建所述环境地图。

在一种可能的实施方式中,所述对所述环境图像进行对象识别,以确定所述环境图像中的全部静态对象,包括:

提取环境图像中的关键帧图像,针对关键帧图像中的任意前后两帧的第一帧图像和第二帧图像,确定所述第一帧图像和第二帧图像之间的像素点之间的对应关系,构建基础矩阵;其中所述基础矩阵用于表示相同像素点在所述第一帧图像和所述第二帧图像之间的约束关系;

针对所述第一帧图像中包括有多个待识别对象中的每个识别对象执行如下步骤:

利用所述基础矩阵对第一帧图像中的待识别对象进行位置预测,得到所述待识别对象在第二帧图像中的预测位置;

确定所述待识别对象在所述第二帧图像中的实际位置,并根据所述实际位置和所述预测位置之间的距离,判断所述待识别对象是否为静态对象。

第二方面,本发明实施例提供一种工程车的无人驾驶装置,包括:

确定模块,用于确定工程车的位姿信息,所述位姿信息用于表示工程车在真实环境下的地理位置和行驶方向;

处理模块,用于基于至少两种测量设备采集工程车周围环境的障碍物数据,并对所述障碍物数据进行数据处理,得到障碍物信息,其中,所述障碍物信息用于表示障碍物与工程车之间的相对位置;

转换模块,用于根据工程车的位姿信息对所述障碍物信息进行位置转换处理,确定所述障碍物在真实环境下的地理位置;

执行模块,用于基于路径规划算法,结合所述障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,对所述工程车进行路径规划,以使得工程车按照规划后的路径对所述障碍物进行避障行驶。

第三方面,本发明实施例提供一种工程车的无人驾驶设备,包括:存储器和至少一个处理器;

所述存储器存储计算机执行指令;

所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如第一方面任一项所述的工程车的无人驾驶方法。

第四方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如第一方面任一项所述的方法。

第五方面,本发明实施例提供一种工程车,所述工程车上安装有多种测量设备;所述测量设备至少包括双目深度相机和激光雷达;

所述工程车按照第一方面任一项所述的工程车的无人驾驶方法执行避障行驶。

本发明实施例提供的工程车的无人驾驶方法、装置、设备、存储介质及工程车,通过确定工程车的表示工程车在真实环境下的地理位置和行驶方向的位姿信息,并对采集到的工程车周围环境的障碍物数据进行数据处理,得到障碍物信息,根据工程车的位姿信息对障碍物信息进行位置转换处理,确定障碍物在真实环境下的地理位置,并基于路径规划算法,结合障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,对工程车进行路径规划,能够使工程车按照规划后的路径进行自主行驶,实现工程车对障碍物的无需人工控制的自动避障。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种应用场景示意图;

图2为本发明实施例提供的一种工程车的无人驾驶方法的流程示意图;

图3为本发明实施例提供的另一种工程车的无人驾驶方法的流程示意图;

图4为本发明实施例提供的又一种工程车的无人驾驶方法的流程示意图;

图5为本发明实施例提供的一种工程车的无人驾驶装置的结构示意图;

图6为本发明实施例提供的一种工程车的无人驾驶设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

工程建设机械化发展已成为建筑工程的主流发展趋势。工程车是建筑工程的主干力量,在施工现场,包括推土机等在内的工程车主要用于执行地面的平整化工作、已装载货物的运输工作或挖掘工作等。

目前,在室外大型施工场景下,由于施工现场作业工况复杂、作业环境恶劣,通常采用人工驾驶或人工遥控操作等方式控制工程车,以实现工程车在从起始点位置到目标点位置的行驶过程中可以避开施工现场的障碍物。但是,上述现有方法中均需要人工参与控制工程车行驶及作业,依赖于人工操作,而无法实现工程车智能自主的行驶,更无法实现工程车在行驶过程中对障碍物的自动避障。

为解决上述需要人工参与控制工程车行驶及作业,而无法实现工程车在行驶过程中对障碍物的自动避障的问题,发明人经研究发现,可以通过实现工程车的高精度自定位,以及对工程车周围环境中障碍物的准确识别及定位,基于工程车的行驶目标点实现对工程车路径的合理规划,进而实现工程车在行驶过程中对周围环境中障碍物的自动有效的避障。

也就是说,通过确定工程车的位姿信息,该位姿信息用于表示工程车在真实环境下的地理位置和行驶方向,基于测量设备采集工程车周围环境的障碍物数据,对障碍物数据进行数据处理,得到障碍物信息,并根据工程车的位姿信息对障碍物信息进行位置转换处理,确定障碍物在真实环境下的地理位置,并基于路径规划算法,结合障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,对工程车进行路径规划,可以使工程车按照规划后的路径对障碍物进行自动避障的行驶。

图1为本发明实施例提供的一种应用场景示意图。如图1所示,工程车的无人驾驶设备应用于工程车主体上,可以利用测量设备获取工程车周围环境的障碍物数据,并对上述障碍物数据进行分析处理,得到障碍物的地理位置,同时确定工程车的位姿信息,并结合上述障碍物的地理位置、位姿信息以及预设的目标点的地理位置,最终输出规划后的路径,以使得工程车按照规划后的路径对障碍物进行自动避障的行驶。

第一实施例

图2为本发明实施例提供的一种工程车的无人驾驶方法的流程示意图。本发明实施例中方法的执行主体可以为工程车的无人驾驶设备。如图2所示,本实施例中的方法,可以包括:

步骤201、确定工程车的位姿信息,所述位姿信息用于表示工程车在真实环境下的地理位置和行驶方向。

本实施例中,真实环境可以对应全局坐标系(Earth-Centered,Earth-Fixed,简称ECEF),该全局坐标系是一种以地心为原点的地固坐标系,工程车在真实环境下的地理位置和行驶方向,即为工程车在全局坐标系中的坐标及方向。

步骤202、基于至少两种测量设备采集工程车周围环境的障碍物数据,并对所述障碍物数据进行数据处理,得到障碍物信息,其中,所述障碍物信息用于表示障碍物与工程车之间的相对位置。

本实施例中,上述测量设备可以包括双目深度相机、激光雷达、毫米波雷达等,用于对工程车周围环境的障碍物数据进行采集,当测量设备为双目深度相机、激光雷达或毫米波雷达时,相应的,采集得到的障碍物数据分别为彩色图像、激光点云数据或毫米波数据。障碍物信息可以包括障碍物相对于工程车的距离及方向,障碍物可以包括工程车周围环境中的人类、车辆等。

需要说明的是,测量设备安装于工程车上,对利用上述测量设备采集到的障碍物数据进行数据处理后得到转换前的障碍物信息,该转换前的障碍物信息是障碍物相对于测量设备的距离及方向,此时需要根据测量设备与工程车之间的相对位置关系,对转换前的障碍物信息进行转换,得到障碍物信息,该障碍物信息即用于表示障碍物相对于工程车的距离及方向。

步骤203、根据工程车的位姿信息对所述障碍物信息进行位置转换处理,确定所述障碍物在真实环境下的地理位置。

本实施例中,由前述可知,障碍物信息用于表示障碍物与工程车之间的相对位置,为在后续过程中对工程车进行更准确的路径规划,需要确定障碍物在真实环境下的地理位置,即当确定工程车的位姿信息后,根据障碍物与工程车之间的相对位置,确定障碍物在真实环境下的地理位置。

步骤204、基于路径规划算法,结合所述障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,对所述工程车进行路径规划,以使得工程车按照规划后的路径对所述障碍物进行避障行驶。

本实施例中,路径规划算法可以为人工势场法,预设的目标点为工程车最终要到达的目标点。上述障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,均为在真实环境下的地理位置与位姿信息,即在全局坐标系中的坐标、方向。

在人工势场法中,根据障碍物的地理位置以及目标点的地理位置,赋予各障碍物对工程车不同的斥力,以及赋予目标点对工程车的引力。

在进行路径规划过程中,根据工程车的起始位置,基于对各障碍物对工程车的斥力以及目标点对工程车的引力做的合力计算,得到第一个路径点的地理位置,并基于对各障碍物对工程车的斥力以及目标点对工程车的引力做的合力计算对第一个路径点的地理位置进行迭代处理,得到下一个路径点的地理位置,直至得到的最后一个路径点的地理位置位于目标点的地理位置的预设区域范围内,则迭代结束,得到一系列路径点,上述一系列路径点构成规划的路径。

本实施例提供的工程车的无人驾驶方法,通过确定工程车的表示工程车在真实环境下的地理位置和行驶方向的位姿信息,并对采集到的工程车周围环境的障碍物数据进行数据处理,得到障碍物信息,根据工程车的位姿信息对障碍物信息进行位置转换处理,确定障碍物在真实环境下的地理位置,并基于路径规划算法,结合障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,对工程车进行路径规划,能够使工程车按照规划后的路径进行自主行驶,实现工程车对障碍物的自动有效避障。

第二实施例

图3为本发明实施例提供的另一种工程车的无人驾驶方法的流程示意图。如图3所示,本实施例是在上述实施例提供的技术方案的基础上,当测量设备包括双目深度相机时,对得到障碍物信息进行的详细描述。本实施例中的方法,可以包括:

步骤301、利用基于注意力机制的目标检测网络,对所述彩色图像进行障碍物识别处理,得到图像边界框;其中,所述基于注意力机制的目标检测网络为加入注意力机制模块的网络;所述图像边界框用于指示彩色图像中的障碍物的图像位置。

本实施例中,上述基于注意力机制的目标检测网络,为简化模型,为提高算法效率,引入注意力机制模块,将注意力机制模块设计成一个单独的模块加入原始的目标检测网络中,对输入该模块的图像的不同区域分配不同的权重,以控制下一个模块对于不同区域的关注程度。

进一步的,注意力机制模块由卷积层、非线性激活层和空间归一化层组成。

当测量设备为双目深度相机时,对应的采集到的工程车周围环境的障碍物数据为工程车周围环境的彩色图像。利用基于注意力机制的目标检测网络对采集到的彩色图像进行障碍物识别处理可以得到障碍物类型与障碍物对应的图像边界框。

具体的,基于图像注意力机制的目标检测网络对采集到的彩色图像进行障碍物识别处理后得到图像边界框的四个参数(x,y,w,h),其中,(x,y)为该图像边界框的中心点坐标,w为该图像边界框的宽,h为该图像边界框的高,即通过上述四个参数确定一个图像边界框,上述图像边界框用于指示彩色图像中的障碍物的在彩色图像中的图像位置。

对采集到的图像进行障碍物识别处理可以得到障碍物的类型,例如,障碍物类别可以为人类、车辆等。

步骤302、确定所述彩色图像对应的深度图像,并确定图像边界框内的各个像素点在所述深度图像中的深度值。

本实施例中,基于彩色图像与深度图像之间关于像素点的映射关系,对采集到的彩色图像进行映射得到对应的深度图像,相应的,根据图像边界框可以确定深度图像中图像边界框内的各个像素点,每个像素点均具有深度值。

需要说明的是,上述像素点为有效像素点,该有效像素点的深度值在预设范围区间,上述预设范围区间根据双目深度相机的有效深度值设定,例如。双目深度相机的有效深度值为大于0.49米且小于10米,则预设范围区间为大于0.49米且小于10米,深度值为大于0.49米且小于10米的像素点为有效像素点。

步骤303、基于直方图法对所述图像边界框内的各个像素点的深度值进行统计,并根据统计结果确定所述障碍物相对于工程车的距离;

本实施例中,采用直方图法对图像边界框内的各个像素点的深度值进行统计,得到直方图,取直方图中按深度值升序20%-40%位置的深度值进行均值计算,得到该图像边界框所指示的障碍物相对于双目深度相机的距离,进而根据双目深度相机与工程车之间的相对位置关系,得到该图像边界框所指示的障碍物相对于工程车的距离。

步骤304、确定图像边界框的中心点坐标,对所述中心点坐标进行线性运算,并根据运算结果得到所述障碍物相对于工程车的方向。

本实施例中,以图像边界框的中心点坐标(x,y)为参考点,结合双目深度相机的水平视角场范围(-FOV,+FOV)与双目深度相机采集到的彩色图像的宽度width,经过线性运算可得到该图像边界框所指示的障碍物相对于双目深度相机的方向。

线性运算公式为:

式中,yaw为障碍物相对于双目深度相机的方向,进而根据双目深度相机与工程车之间的相对位置关系,得到该图像边界框所指示的障碍物相对于工程车的方向。

步骤305、判断图像边界框内的像素点的数量是否大于预设数量阈值,若是,则输出图像边界框指示的障碍物相对于工程车的距离和方向。

本实施例中,若图像边界框内的像素点的数量小于或等于预设数量阈值,则认为此时像素点对应的深度值无效,即根据该深度值计算得到的障碍物相对于工程车的距离不准确,应当丢弃,例如,上述预设数量阈值可以为30,则当图像边界框内的像素点的数量大于30时,输出该图像边界框指示的障碍物相对于工程车的距离和方向,当图像边界框内的像素点的数量小于或等于30时,不输出该图像边界框指示的障碍物相对于工程车的距离和方向。

需要说明的是,在通过直方图法和线性运算的方式确定图像边界框所指示的障碍物相对于工程车的距离和方向后,进行对该图像边界框内的像素点的数量是否大于预设数量阈值的判断,并在判断完成后再对下一图像边界框所指示的障碍物相对于工程车的距离和方向进行确定。

在本实施例中,通过采用直方图法确定障碍物相对于工程车的距离,采用线性运算确定障碍物相对于工程车的方向,可以准确得到障碍物相对于工程车的障碍物信息。

可选的,当测量设备包括激光雷达时,对应的采集到的工程车周围环境的障碍物数据为工程车周围环境的激光点云数据。

上述激光雷达可以根据驱动程序与目标检测程序进行运行,其中,在驱动程序的控制下,利用激光雷达可获得激光点云数据,利用目标检测程序可根据激光雷达的实际应用场景和安装位置进行参数的修改,该参数可包括车体的范围、是否启动水平校准、地面分割的阈值、聚类的距离阈值和点数阈值等。

具体来说,对激光点云数据的分析处理过程主要可以包括以下几点:由于采集到的激光点云数据包含大量干扰因素,需要对上述激光点云数据进行降噪处理,即剪切掉激光照射在工程车车体上形成的点云干扰点。进一步的,对降噪处理后的激光点云数据进行分割,即结构化激光点云数据,分离出激光点云数据中属于障碍物的部分,并对属于障碍物的激光点云数据进行基于聚类方法的进一步分割,得到结构化的属于各个障碍物的独立激光点云数据,进而根据上述独立激光点云数据得到各个障碍物相对于工程车的距离及方向。

同时的,结合深度学习算法,对属于各个障碍物的独立激光点云数据进行点云目标识别,实现点云目标的分类,得到各个障碍物的类型。

第三实施例

图4为本发明实施例提供的又一种工程车的无人驾驶方法的流程示意图。如图4所示,本实施例是在上述实施例提供的技术方案的基础上,对在确定工程车的位姿信息之前,对构建工程车所处环境的环境地图的详细描述。本实施例中的方法,可以包括:

步骤401、采集工程车所处环境的环境图像。

本实施例中,利用双目深度相机采集工程车所处环境的环境图像,该环境图像为彩色图像。

在实际应用中,在构建工程车所处环境地图时,控制工程车绕工程车所处环境行驶一圈或多圈,以获得所处工程车所处环境的环境图像,以保证工程车所处环境的环境地图构建的完整性。

步骤402、提取环境图像中的关键帧图像,针对关键帧图像中的任意前后两帧的第一帧图像和第二帧图像,确定所述第一帧图像和第二帧图像之间的像素点之间的对应关系,构建基础矩阵;其中所述基础矩阵用于表示相同像素点在所述第一帧图像和所述第二帧图像之间的约束关系。

本实施例中,对采集到的上述环境图像进行关键帧图像的提取,得到一系列关键帧图像,取上述关键帧图像中任意前后两帧的前一帧图像为第一帧图像,后一帧图像为第二帧图像。

具体的,利用基于注意力机制的目标检测网络,对第一帧图像与第二帧图像进行待识别对象的识别处理,得到图像检测框,其中,上述图像检测框用于指示环境图像中的待识别对象,即图像检测框区域包括有待识别对象,而图像检测框外不包括待识别对象。

分别提取第一帧图像与第二帧图像中的特征点,并对第一帧图像的图像检测框外的特征点与第二帧图像的图像检测框外的特征点进行特征匹配处理,得到一系列特征匹配点对,利用八点法对上述特征匹配点对进行计算得到本质矩阵,根据该本质矩阵以及上述双目深度相机的内参构建基础矩阵,该基础矩阵用于表示相同像素点在第一帧图像和第二帧图像之间的约束关系。

可选的,针对所述第一帧图像中包括有多个待识别对象中的每个识别对象执行如下步骤403-404:

步骤403、利用所述基础矩阵对第一帧图像中的待识别对象进行位置预测,得到所述待识别对象在第二帧图像中的预测位置。

本实施例中,利用基础矩阵对第一帧图像中的待识别对象的图像检测框区域进行处理,得到该待识别对象在第二帧图像中的预测位置。

需要进行说明的是,在第一帧图像和第二帧图像中,图像检测框内的待识别对象对应该图像检测框内的多个特征点。

具体来说,在特征点层面,可以利用基础矩阵对第一帧图像中图像检测框内的特征点进行特征点的位置预测,即通过对该特征点与基础矩阵进行运算处理,可得到该特征点在第二帧图像中的预测位置。而该特征点对应于该图像检测框内的待识别对象,通过确定图像检测框内的多个特征点在第二帧图像中的预测位置,即可得到待识别对象在第二帧图像中的预测位置。

步骤404、确定所述待识别对象在所述第二帧图像中的实际位置,并根据所述实际位置和所述预测位置之间的距离,判断所述待识别对象是否为静态对象。

本实施例中,利用光流检测算法对第一帧图像中的待识别对象进行追踪,确定该待识别对象在第二帧图像中所对应的图像检测框,并根据该图像检测框在第二帧图像中的位置,确定该待识别对象在第二帧图像中的实际位置。

具体来说,在特征点层面,利用光流检测算法对第一帧图像中图像检测框内的特征点进行追踪,确定特征点在第二帧图像中的实际位置。计算第二帧图像中特征点的实际位置与前述步骤中得到的该特征点的预测位置之间的距离,在上述距离小于或等于预设距离阈值时,确定特征点为静态特征点,对静态特征点进行保留,而在上述距离大于预设距离阈值时,确定特征点为动态特征点,并将动态特征点剔除。

相应的,若判断特征点为动态特征点,则动态特征点对应的待识别对象为动态对象,将动态对象剔除,若判断特征点为静态特征点,则静态特征点对应的待识别对象为静态对象,将静态对象保留。

步骤405、基于所述工程车所处环境中的静态对象,构建所述环境地图。

本实施例中,根据工程车所处环境中的静态对象,即前述步骤得到的一系列关键帧图像中的静态对象,采用ORB-SLAM算法构建环境地图。

步骤406、确定所述工程车坐标系与真实地理坐标系之间的映射关系。

本实施例中,工程车坐标系与真实地理坐标系之间存在一个变化矩阵:

其中,

通过上述变化矩阵,可将工程车坐标系映射到真实地理坐标系。

在本实施例中,通过利用基于注意力机制的目标检测网络以及光流检测算法,进行对环境图像中的动态对象的剔除处理,只保留环境图像中的静态对象,以使根据环境图像中的静态对象构建环境地图,根据上述环境地图,可以避免在后续确定工程车的位姿信息的过程中出现位姿估计精度受损甚至完全失效的问题。

第四实施例

可选的,在上述实施例提供的技术方案的基础上,对步骤201确定工程车的位姿信息进行了进一步细化,则步骤201包括以下步骤:

步骤2011、采集工程车所处环境的第一环境图像。

步骤2012、提取第一环境图像中的第一关键帧图像,并确定当前第一关键帧图像信息,对当前第一关键帧图像信息与环境地图进行匹配处理,根据匹配处理结果确定工程车在所述环境地图中的环境位置和方向。

步骤2013、利用工程车坐标系与真实地理坐标系之间的映射关系,对工程车在环境地图中的环境位置和方向进行坐标映射处理,确定工程车在真实环境下的地理位置和行驶方向。

在实际应用中,工程车在行驶过程中,利用双目深度相机采集工程车所处环境的第一环境图像,并确定该第一环境图像中的第一关键帧图像信息,将当前第一关键帧图像信息与环境地图进行匹配处理,根据匹配处理结果首先确定双目深度相机在上述环境地图中的环境位置和方向,并基于双目深度相机与工程车之间的相对位置关系,确定工程车在上述环境地图中的环境位置和方向。

进一步的,根据工程车坐标系与真实地理坐标系之间的映射关系,即根据前述工程车坐标系与真实地理坐标系之间的变化矩阵,可对工程车在环境地图中的环境位置和方向进行坐标映射处理,确定工程车在真实环境下的地理位置和行驶方向。

在本实施例中,通过对构建得到的环境地图与实时采集到的工程车所处环境的第一环境图像中第一关键帧图像对应的第一关键帧图像信息进行匹配处理,确定工程车在环境地图中的环境位置和方向,并根据工程车坐标系与真实地理坐标系之间的映射关系,确定工程车在真实环境下的地理位置和行驶方向,可得到工程车的高精度的位姿信息。

可选的,在上述实施例提供的技术方案的基础上,对步骤204基于路径规划算法,结合所述障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,对所述工程车进行路径规划进行了进一步细化。

在通过人工势场法得到一系列路径点后,为使规划的路径更为平滑,保证工程车行驶的安全性,还可以按照间隔取点与按距离取点结合的方式对获取到的一系列路径点进行选取。

示例性的,间隔取点方式可以为,在一系列路径点中,按照预设的间隔选取路径点,而在间隔取点方式的基础上,按距离取点方式可以为,判断间隔取点方式选取的路径点中,任意相邻两个路径点间的距离是否大于预设值,若是,则保留上述两个相邻的路径点,若否,则去掉上述相邻路径点中的一个,并继续判断任意相邻两个路径点之间的距离是否大于预设值,直至任意相邻两个路径点之间的距离均大于预设值,则由剩下的路径点构成规划的路径,以使避免相邻两个路径点之间的距离过近造成的工程车的安全问题。

在实际应用中,工程车按照规划的路径进行行驶时,为避免工程车刹车或减速不及导致超过当前路径点的问题,可选的,在工程车从上一路径点出发到距当前路径点预设距离,例如距当前路径点1米距离时,将当前路径点切换为下一路径点,以使工程车可以根据下一路径点的地理位置提前转向,保证工程车行走的连贯性。

此外,在路径规划过程中,当障碍物数量较多或障碍物堆积在一起时,可能出现在预设时间内,或预设迭代次数内,生成的多个路径点处于预设面积区域内且远离目标点的情况,此时上述多个路径点为非正常路径点。

可选的,当检测到路径规划过程中出现多个非正常路径点时,根据当前路径点的地理位置与目标点的地理位置确定扰动点的地理位置,并将该扰动点更新为当前路径点,重新基于对各障碍物对工程车的斥力以及目标点对工程车的引力做的合力计算对该当前路径点的地理位置进行迭代处理,得到下一路径点的地理位置,以使摆脱生成的多个路径点处于预设面积区域内且远离目标点的情况。此外,对上述非正常路径点进行过滤处理,保留正常的路径点构成规划的路径,以使得到的规划的路径连贯且符合正常逻辑。

在本实施例中,通过间隔取点与按距离取点结合的方式、提前切换路径点的方式以及增加扰动点的方式,进一步保证了工程车的平滑、连贯行驶,以及工程车的自动避障。

图5为本发明实施例提供的一种工程车的无人驾驶装置的结构示意图。如图5所示,本实施例提供的工程车的无人驾驶装置,可以包括:确定模块51、处理模块52、转换模块53和执行模块54。

确定模块51,用于确定工程车的位姿信息,所述位姿信息用于表示工程车在真实环境下的地理位置和行驶方向;

处理模块52,用于基于至少两种测量设备采集工程车周围环境的障碍物数据,并对所述障碍物数据进行数据处理,得到障碍物信息,其中,所述障碍物信息用于表示障碍物与工程车之间的相对位置;

转换模块53,用于根据工程车的位姿信息对所述障碍物信息进行位置转换处理,确定所述障碍物在真实环境下的地理位置;

执行模块54,用于基于路径规划算法,结合所述障碍物的地理位置、工程车的位姿信息以及预设的目标点的地理位置,对所述工程车进行路径规划,以使得工程车按照规划后的路径对所述障碍物进行避障行驶。

在一种可选的实现方式中,所述工程车周围环境的障碍物数据包括利用所述双目深度相机采集的工程车周围环境的彩色图像;

相应的,所述处理模块52,具体用于:

利用基于注意力机制的目标检测网络,对所述彩色图像进行障碍物识别处理,得到图像边界框;其中,所述基于注意力机制的目标检测网络为加入注意力机制模块的网络;所述图像边界框用于指示彩色图像中的障碍物的图像位置;

确定所述彩色图像对应的深度图像,并利用所述深度图像和所述图像边界框,确定所述障碍物相对于工程车的距离和方向。

在一种可选的实现方式中,所述处理模块52在利用所述深度图像和所述图像边界框,确定所述障碍物相对于工程车的距离和方向时具体用于:

确定图像边界框内的各个像素点在所述深度图像中的深度值;

基于直方图法对所述图像边界框内的各个像素点的深度值进行统计,并根据统计结果确定所述障碍物相对于工程车的距离;

确定图像边界框的中心点坐标,对所述中心点坐标进行线性运算,并根据运算结果得到所述障碍物相对于工程车的方向;

判断图像边界框内的像素点的数量是否大于预设数量阈值,若是,则输出图像边界框指示的障碍物相对于工程车的距离和方向。

在一种可选的实现方式中,所述确定模块51在确定工程车的位姿信息之前,还用于:

基于工程车所在的工程车坐标系,构建工程车所处环境的环境地图;

确定所述工程车坐标系与真实地理坐标系之间的映射关系;

相应的,所述确定模块51具体用于:

利用所述映射关系,对所述工程车在所述环境地图中的环境位置和方向进行坐标映射处理,确定所述工程车在真实环境下的地理位置和行驶方向。

在一种可选的实现方式中,所述确定模块51在基于工程车所在的工程车坐标系,构建工程车所处环境的环境地图时,具体用于:

采集工程车所处环境的环境图像;

对所述环境图像进行对象识别,以确定所述环境图像中的全部静态对象;

基于所述工程车所处环境中的静态对象,构建所述环境地图。

在一种可选的实现方式中,所述确定模块51在对所述环境图像进行对象识别,以确定所述环境图像中的全部静态对象时,还用于:

提取环境图像中的关键帧图像,针对关键帧图像中的任意前后两帧的第一帧图像和第二帧图像,确定所述第一帧图像和第二帧图像之间的像素点之间的对应关系,构建基础矩阵;其中所述基础矩阵用于表示相同像素点在所述第一帧图像和所述第二帧图像之间的约束关系;

针对所述第一帧图像中包括有多个待识别对象中的每个识别对象执行如下步骤:

利用所述基础矩阵对第一帧图像中的待识别对象进行位置预测,得到所述待识别对象在第二帧图像中的预测位置;

确定所述待识别对象在所述第二帧图像中的实际位置,并根据所述实际位置和所述预测位置之间的距离,判断所述待识别对象是否为静态对象。

本实施例提供的工程车的无人驾驶装置,可以执行上述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

图6为本发明实施例提供的一种工程车的无人驾驶设备的结构示意图。如图6所示,本实施例提供的工程车的无人驾驶设备,可以包括:存储器61和至少一个处理器62;

所述存储器61存储计算机执行指令;

所述至少一个处理器62执行所述存储器61存储的计算机执行指令,使得所述至少一个处理器62执行上述任一实施例所述的工程车的无人驾驶方法。

其中,存储器61和处理器62可以通过总线63连接。

本实施例提供的工程车的无人驾驶设备的具体实现原理和效果可以参见图1-图4所示实施例对应的相关描述和效果,此处不做过多赘述。

本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上述任一实施例所述的方法。

本发明实施例还提供一种工程车,所述工程车上安装有多种测量设备;所述测量设备至少包括双目深度相机和激光雷达;

所述工程车按照上述任一实施例所述的工程车的无人驾驶方法执行避障行驶。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求书指出。

应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

相关技术
  • 工程车的无人驾驶方法、装置、设备、存储介质及工程车
  • 碾压工程车无人驾驶控制方法和装置及可读存储介质
技术分类

06120113241193