环卫车辆的远程辅助驾驶方法及系统、设备、存储介质

技术领域

本发明涉及远程驾驶技术领域，特别地，涉及一种环卫车辆的远程辅助驾驶方法及系统、电子设备、计算机可读取的存储介质。

背景技术

随着汽车智能化的不断发展，远程驾驶技术逐渐被广泛引用，远程驾驶系统主要包括远程驾驶舱、被控车辆和通信网络，被控车辆通过通信网络与远程驾驶舱通信连接，被控车辆将车辆状态信息、周围环境信息等传输至远程驾驶舱，远程驾驶舱内的驾驶员通过远程驾驶舱内的显示器观察车辆行驶状态，并远程控制被控车辆的方向盘、油门踏板和刹车踏板等，从而实现远程驾驶。目前，一般通过在车辆上安装摄像头来实时采集车辆周边环境图像或视频并在远程驾驶舱内呈现，由于摄像头的视角问题，使得操作员在远程驾驶舱内不易判断车辆转弯或避障时方向盘转角是否合适、难以预计行驶轨迹是否符合预期、无法准确判断车辆与周围物体之间的距离是否可以安全避障等，尤其是环卫车辆在进行远程驾驶贴边清扫作业时，远程驾驶舱内的操作员很难根据摄像头采集的图像或视频直观地感受车辆的油门深度和方向盘转角是否合适，从而很难精准地控制远程驾驶舱内方向盘角度、油门深度等来完成弯道贴边作业，若距离路沿过远则清扫效果较差，若距离路沿较近则容易发生剐蹭以及碰撞事故。

发明内容

本发明提供了一种环卫车辆的远程辅助驾驶方法及系统、电子设备、计算机可读取的存储介质，以解决现有的环卫车辆在进行远程驾驶时无法获得较好的弯道贴边清扫作业效果的技术问题。

根据本发明的一个方面，提供一种环卫车辆的远程辅助驾驶方法，包括以下内容：

获取车辆行驶参数并结合车辆运动学模型得到车辆运动学预测轨迹；

获取路沿的水平轮廓曲线和垂直轮廓曲线，分别提取出水平轮廓曲线和垂直轮廓曲线在地面坐标系中的坐标信息；

获取地面坐标系到相机成像坐标系的变换矩阵，并基于变换矩阵将车辆运动学预测轨迹、路沿水平轮廓曲线、路沿垂直轮廓曲线从地面坐标系转换到相机成像坐标系中，分别生成图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线；

将环境图像与图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线融合后传输至远程控制舱；

基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则修正方向盘转角和油门踏板。

进一步地，所述获取车辆行驶参数并结合车辆运动学模型得到车辆运动学预测轨迹的过程具体为：

先获取车辆转弯时的方向盘转角和前后轮之间的距离，基于车辆运动学模型计算得到车辆运动学预测轨迹的曲率半径，再获取车辆当前车速，并确定车身位置的运动学方程。

进一步地，所述分别提取出水平轮廓曲线和垂直轮廓曲线在地面坐标系中的坐标信息的过程具体为：

对单线激光雷达进行标定，以将激光点云数据从激光雷达坐标系转换至地面坐标系；

对标定后的激光点云数据进行滤波处理；

对滤波后的激光点云数据进行聚类处理；

采用斜率差法对聚类后的激光点云数据进行特征提取，得到水平轮廓曲线和垂直轮廓曲线在地面坐标系中的坐标信息。

进一步地，所述采用斜率差法对聚类后的激光点云数据进行特征提取的过程具体为：

以单线激光雷达为中心向水平轮廓曲线或垂直轮廓曲线等角度间隔作直线，获得若干个交点；

从每个交点向中心与前一个交点之间的连线作垂线，获得每条垂线与水平轮廓曲线或垂直轮廓曲线之间的夹角；

获取中心到每个交点之间的距离，并结合每条垂线与水平轮廓曲线或垂直轮廓曲线之间的夹角和几何关系计算得到每个交点的斜率，判断当前交点与前一个交点之间的斜率差与预设阈值之间的关系，若斜率差小于预设阈值，则判定相邻两个交点位于同一直线上，保留当前交点的点云数据，若斜率差大于等于预设阈值，则剔除当前交点的点云数据。

进一步地，所述变换矩阵为：

其中，h′和w′表示相机成像坐标系的坐标，x和y表示地面坐标系中的坐标，f表示焦距，h

进一步地，所述基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径的过程中还包括以下内容：

基于图像预测轨迹与图像路沿轮廓曲线的位置关系进行碰撞检测，若检测到将发生碰撞时发出报警提醒。

进一步地，在进行碰撞检测时，贴边作业要求和安全驾驶条件为：

(D-d≤y

其中，y

另外，本发明还提供一种环卫车辆的远程辅助驾驶系统，包括：

轨迹预测模块，用于获取车辆行驶参数并结合车辆运动学模型得到车辆运动学预测轨迹；

坐标提取模块，用于获取路沿的水平轮廓曲线和垂直轮廓曲线，分别提取出水平轮廓曲线和垂直轮廓曲线在地面坐标系中的坐标信息；

坐标变换模块，用于获取地面坐标系到相机成像坐标系的变换矩阵，并基于变换矩阵将车辆运动学预测轨迹、路沿水平轮廓曲线、路沿垂直轮廓曲线从地面坐标系转换到相机成像坐标系中，分别生成图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线；

图像融合模块，用于将环境图像与图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线融合后传输至远程控制舱；

贴边控制模块，用于基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则修正方向盘转角和油门踏板。

另外，本发明还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上所述的方法的步骤。

另外，本发明还提供一种计算机可读取的存储介质，用于存储进行环卫车辆远程辅助驾驶的计算机程序，所述计算机程序在计算机上运行时执行如上所述的方法的步骤。

本发明具有以下效果：

本发明的环卫车辆的远程辅助驾驶方法，首先基于车辆行驶参数生成车辆运动学预测轨迹，然后获取路沿的水平轮廓曲线和垂直轮廓曲线，再将车辆运动学预测轨迹、路沿水平轮廓曲线、路沿垂直轮廓曲线从地面坐标系转换到相机成像坐标系，并与环境图像相融合后传输至远程驾驶舱，在远程驾驶舱内实时显示车辆预测行驶轨迹、贴边路沿轮廓和周围环境的画面，便于操作员直观地感受车辆的油门深度和方向盘转角是否合适，最后基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则修正方向盘转角和油门踏板，在保证良好的弯道贴边清扫作业效果的同时，保证了整车行驶的安全性。

另外，本发明的环卫车辆的远程辅助驾驶系统、电子设备、计算机可读取的存储介质同样具有上述优点。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明优选实施例的环卫车辆的远程辅助驾驶方法的流程示意图。

图2是本发明优选实施例中基于车辆运动学模型预测车辆行驶轨迹的示意图。

图3是图1中步骤S2的子流程示意图。

图4是图3中步骤S24的子流程示意图。

图5是本发明优选实施例的斜率差法的原理示意图。

图6是本发明优选实施例中相机与地面的投影关系示意图。

图7是本发明优选实施例中轨迹点从相机投影至物理成像平面的投影示意图。

图8是本发明另一实施例的环卫车辆的远程辅助驾驶系统的模块结构示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由下述所限定和覆盖的多种不同方式实施。

如图1所示，本发明的优选实施例提供一种环卫车辆的远程辅助驾驶方法，包括以下内容：

步骤S1：获取车辆行驶参数并结合车辆运动学模型得到车辆运动学预测轨迹；

步骤S2：获取路沿的水平轮廓曲线和垂直轮廓曲线，分别提取出水平轮廓曲线和垂直轮廓曲线在地面坐标系中的坐标信息；

步骤S3：获取地面坐标系到相机成像坐标系的变换矩阵，并基于变换矩阵将车辆运动学预测轨迹、路沿水平轮廓曲线、路沿垂直轮廓曲线从地面坐标系转换到相机成像坐标系中，分别生成图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线；

步骤S4：将环境图像与图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线融合后传输至远程控制舱；

步骤S5：基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则修正方向盘转角和油门踏板。

可以理解，本实施例的环卫车辆的远程辅助驾驶方法，首先基于车辆行驶参数生成车辆运动学预测轨迹，然后获取路沿的水平轮廓曲线和垂直轮廓曲线，再将车辆运动学预测轨迹、路沿水平轮廓曲线、路沿垂直轮廓曲线从地面坐标系转换到相机成像坐标系，并与环境图像相融合后传输至远程驾驶舱，在远程驾驶舱内实时显示车辆预测行驶轨迹、贴边路沿轮廓和周围环境的画面，便于操作员直观地感受车辆的油门深度和方向盘转角是否合适，最后基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则修正方向盘转角和油门踏板，在保证良好的弯道贴边清扫作业效果的同时，保证了整车行驶的安全性。

可以理解，在所述步骤S1中，所述获取车辆行驶参数并结合车辆运动学模型得到车辆运动学预测轨迹的过程具体为：

先获取车辆转弯时的方向盘转角和前后轮之间的距离，基于车辆运动学模型计算得到车辆运动学预测轨迹的曲率半径，再获取车辆当前车速，并确定车身位置的运动学方程。

具体地，可以根据自行车运动学模型或者阿克曼转向运动学模型来获得车辆运动学预测轨迹。以自行车运动学模型为例，如图2所示，基于车辆转弯时的方向盘转角δ，可以计算得到车辆运动学预测轨迹l的曲率半径R＝L/tanδ，其中，L为前后轮之间的距离。以车辆中心为原点、前进方向为x方向、车辆左侧方向为y方向、车辆高度方向为z方向建立地面坐标系，预测轨迹l的弧度关系为

可以理解，在所述步骤S2中，具体基于水平安装的单线激光雷达的点云数据处理后得到的路沿轮廓信息，提取得到贴边作业过程中路沿水平轮廓曲线在地面坐标系xoy平面中的坐标信息r

其中，如图3所示，所述分别提取出水平轮廓曲线和垂直轮廓曲线在地面坐标系中的坐标信息的过程具体为：

步骤S21：对单线激光雷达进行标定，以将激光点云数据从激光雷达坐标系转换至地面坐标系；

步骤S22：对标定后的激光点云数据进行滤波处理；

步骤S23：对滤波后的激光点云数据进行聚类处理；

步骤S24：采用斜率差法对聚类后的激光点云数据进行特征提取，得到水平轮廓曲线和垂直轮廓曲线在地面坐标系中的坐标信息。

具体地，以水平轮廓曲线为例，首先对单线激光雷达进行标定，获取地面坐标系和激光雷达坐标系的转换关系，可表示为：O

然后，获取激光雷达的初始点云数据集H，索引号为IDH，初始点云数据集H中按照升序对点云数据进行排序。对初始点云数据集H进行直通滤波处理，以剔除数据中的异常点和噪声点，例如，设定H中任一点云ζ在当前地面坐标系中的原始坐标为(X

其中，如图4所示，所述采用斜率差法对聚类后的激光点云数据进行特征提取的过程具体为：

步骤S241：以单线激光雷达为中心向水平轮廓曲线或垂直轮廓曲线等角度间隔作直线，获得若干个交点；

步骤S242：从每个交点向中心与前一个交点之间的连线作垂线，获得每条垂线与水平轮廓曲线或垂直轮廓曲线之间的夹角；

步骤S243：获取中心到每个交点之间的距离，并结合每条垂线与水平轮廓曲线或垂直轮廓曲线之间的夹角和几何关系计算得到每个交点的斜率，判断当前交点与前一个交点之间的斜率差与预设阈值之间的关系，若斜率差小于预设阈值，则判定相邻两个交点位于同一直线上，保留当前交点的点云数据，若斜率差大于等于预设阈值，则剔除当前交点的点云数据。

具体地，如图5所示，以单线激光雷达为中心O

可以理解，路沿垂直轮廓曲线的处理过程与水平轮廓曲线相同，具体过程在此不再赘述，最终可得到路沿垂直轮廓曲线在yoz平面上的点云数组r

可以理解，在所述步骤S3中，具体基于当前地面坡度ψ、相机高度h、相机安装角度η、相机的水平视角χ和垂直视角λ、成像尺寸、焦距等来计算相机成像坐标系到地面坐标系的投影关系。具体地，如图6所示，假设当前地面坡度ψ＝0，AC为相机投影中心，OBCD为相机投影中心轴线，EFGH为相机投影地平面区域，其中，OA＝h，∠OAC＝η，∠EAF＝∠GAH＝χ，∠EAH＝∠FAG＝∠BAD＝λ。由于C是相机投影中心，因此，

因此，可得从地面坐标系到相机成像坐标系的变换方程为：

其中，h′和w′表示相机成像坐标系中的坐标，x和y表示地面坐标系中的坐标，f表示焦距，h

然后，将地面坐标系中的车辆运动学预测轨迹、路沿水平轮廓曲线、路沿垂直轮廓曲线的横纵坐标代入上述变换方程，分别生成图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线。

可以理解，在所述步骤S4中，将相机拍摄的环境图像与图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线进行融合，然后传输至远程驾驶舱，从而显示车辆实时行驶轨迹和贴边作业情况，便于操作员直观地感受车辆的油门深度和方向盘转角是否合适。

可以理解，在所述步骤S5中，在人工作业模式下，远程驾驶舱内的操作员可根据贴边作业过程中车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则人工修正远程驾驶舱内的方向盘转角和油门踏板。而在自动贴边作业模式下，环卫车辆可自动根据贴边作业过程中车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则基于PID算法自动修正方向盘转角和油门踏板。可以理解，在自动作业模式下，操作员具有控制优先权。

可选地，在人工作业模式下，所述基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径的过程中还包括以下内容：

基于图像预测轨迹与图像路沿轮廓曲线的位置关系进行碰撞检测，若检测到将发生碰撞时发出报警提醒。

具体地，在进行碰撞检测时，贴边作业要求和安全驾驶条件为：

(D-d≤y

其中，y

可以理解，(D-d)≤y

另外，如图8所示，本发明的另一实施例还提供一种环卫车辆的远程辅助驾驶系统，优选采用如上所述的远程辅助驾驶方法，该系统包括：

轨迹预测模块，用于获取车辆行驶参数并结合车辆运动学模型得到车辆运动学预测轨迹；

坐标提取模块，用于获取路沿的水平轮廓曲线和垂直轮廓曲线，分别提取出水平轮廓曲线和垂直轮廓曲线在地面坐标系中的坐标信息；

坐标变换模块，用于获取地面坐标系到相机成像坐标系的变换矩阵，并基于变换矩阵将车辆运动学预测轨迹、路沿水平轮廓曲线、路沿垂直轮廓曲线从地面坐标系转换到相机成像坐标系中，分别生成图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线；

图像融合模块，用于将环境图像与图像预测轨迹、图像路沿水平轮廓曲线、图像路沿垂直轮廓曲线融合后传输至远程控制舱；

贴边控制模块，用于基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则修正方向盘转角和油门踏板。

可以理解，本实施例的环卫车辆的远程辅助驾驶系统，首先基于车辆行驶参数生成车辆运动学预测轨迹，然后获取路沿的水平轮廓曲线和垂直轮廓曲线，再将车辆运动学预测轨迹、路沿水平轮廓曲线、路沿垂直轮廓曲线从地面坐标系转换到相机成像坐标系，并与环境图像相融合后传输至远程驾驶舱，在远程驾驶舱内实时显示车辆预测行驶轨迹、贴边路沿轮廓和周围环境的画面，便于操作员直观地感受车辆的油门深度和方向盘转角是否合适，最后基于车辆实时行驶轨迹判断是否符合贴边清扫作业的预期路径，若不符合则修正方向盘转角和油门踏板，在保证良好的弯道贴边清扫作业效果的同时，保证了整车行驶的安全性。

另外，本发明的另一实施例还提供一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上所述的方法的步骤。

另外，本发明的另一实施例还提供一种计算机可读取的存储介质，用于存储进行环卫车辆远程辅助驾驶的计算机程序，所述计算机程序在计算机上运行时执行如上所述的方法的步骤。

一般计算机可读取存储介质的形式包括：软盘(floppy disk)、可挠性盘片(flexible disk)、硬盘、磁带、任何其与的磁性介质、CD-ROM、任何其余的光学介质、打孔卡片(punch cards)、纸带(paper tape)、任何其余的带有洞的图案的物理介质、随机存取存储器(RAM)、可编程只读存储器(PROM)、可抹除可编程只读存储器(EPROM)、快闪可抹除可编程只读存储器(FLASH-EPROM)、其余任何存储器芯片或卡匣、或任何其余可让计算机读取的介质。指令可进一步被一传输介质所传送或接收。传输介质这一术语可包含任何有形或无形的介质，其可用来存储、编码或承载用来给机器执行的指令，并且包含数字或模拟通信信号或其与促进上述指令的通信的无形介质。传输介质包含同轴电缆、铜线以及光纤，其包含了用来传输一计算机数据信号的总线的导线。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。