一种用于辅助驾驶挖掘机的方法、系统、设备及存储介质

技术领域

本发明涉及挖掘机驾驶技术领域，更为具体来说，本发明能够提供一种用于辅助驾驶挖掘机的方法、系统、设备及存储介质。

背景技术

在挖掘机驾驶领域，一般要求驾驶员具备挖掘、装载、平整、破碎等挖掘机操作技能。挖掘机的工作环境往往都比较恶劣，例如土石方、石场、沙场、隧道、拆迁等等。可见驾驶员经常会遇到地面颜色相近而难以分清地面远近距离的情况，在这种情况下容易发生误操作、伤人或损伤挖掘机等问题；特别在远程驾驶挖掘机的场景下，上述问题发生的概率会更高。另外，在强光照下作业也经常会出现难以分清地面远近距离的情况。目前解决上述问题的方式主要依赖驾驶经验和运气，对驾驶员操作经验、技能以及当前工作状态依赖过大，但是仍然无法从根本上解决问题。

发明内容

为解决在驾驶挖掘机时难以分清地面远近距离的问题，本发明提供了一种用于辅助驾驶挖掘机的方法、系统、设备及存储介质，能够达到辅助驾驶员判断出地面远近距离等至少一个技术目的。

为实现上述的技术目的，本发明能够提供一种用于辅助驾驶挖掘机的方法，该方法可包括但不限于如下的一个或多个步骤。

获取通过挖掘机上的第一摄像头拍摄的视频中的实时图像。

对所述实时图像进行目标识别处理，以从所述实时图像中提取出所述挖掘机的挖斗位置信息。所述目标为所述挖掘机的挖斗。

根据所述挖斗位置信息确定挖斗深度信息。

从所述实时图像中查找到与所述挖斗深度信息匹配的像素区域。

在所述视频中的实时图像上标记出所述像素区域，以形成所述挖斗在所述实时图像中地面上的投影。

进一步地，所述从所述实时图像中查找到与所述挖斗深度信息匹配的像素区域包括：

在所述实时图像上划分出选定区域。

计算所述选定区域内的各像素点与所述挖斗中心的像素点的深度差。

根据所述深度差形成所述像素区域。

进一步地，所述在所述实时图像上划分出选定区域包括：

基于所述挖斗位置信息在所述实时图像中挖斗的下方形成多个具有预设形状的选取框。

将所述选取框作为所述选定区域。

进一步地，所述基于所述挖斗位置信息在所述实时图像中挖斗的下方形成多个具有预设形状的选取框包括：

根据所述挖斗位置信息设置具有预设形状的滑动窗口，所述滑动窗口处于所述实时图像中挖斗的正下方。

控制所述滑动窗口按照设定位移竖直向下移动，将所述滑动窗口每次停留所覆盖的区域作为一个所述选取框。

进一步地，所述根据所述挖斗位置信息确定挖斗深度信息包括：

根据所述挖斗位置信息计算挖斗在双目摄像头上的视差。

其中，所述双目摄像头包括第二摄像头和第三摄像头，所述第二摄像头与所述第三摄像头具有相同的焦距。

通过所述视差、所述焦距以及所述第二摄像头与所述第三摄像头之间的基线距离确定所述挖斗深度信息。

进一步地，所述对所述实时图像进行目标识别处理包括：

利用训练完成的识别模型对所述实时图像中的挖斗进行识别；其中，通过已标注挖斗的多张图片训练卷积神经网络模型的方式得到所述识别模型。

进一步地，所述在所述视频中的实时图像上标记出所述像素区域包括：

通过增强现实方式对所述视频中的实时图像上的像素区域进行标记。

为实现上述的技术目的，本发明还能够提供一种用于辅助驾驶挖掘机的系统，该系统可包括但不限于实时图像获取模块、挖斗位置识别模块、挖斗深度计算模块、像素区域匹配模块以及地面投影标记模块。

实时图像获取模块，用于获取通过挖掘机上的第一摄像头拍摄的视频中的实时图像。

挖斗位置识别模块，用于对所述实时图像进行目标识别处理，以从所述实时图像中提取出所述挖掘机的挖斗位置信息。所述目标为所述挖掘机的挖斗。

挖斗深度计算模块，用于根据所述挖斗位置信息确定挖斗深度信息。

像素区域匹配模块，用于从所述实时图像中查找到与所述挖斗深度信息匹配的像素区域。

地面投影标记模块，用于在所述视频中的实时图像上标记出所述像素区域，以形成所述挖斗在所述实时图像中地面上的投影。

为实现上述技术目的，本发明还可提供一种计算机设备，计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本发明任一实施例中所述用于辅助驾驶挖掘机的方法的步骤。

为实现上述技术目的，本发明还能够提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行本发明任一实施例中所述用于辅助驾驶挖掘机的方法的步骤。

本发明的有益效果为：

本发明能够通过在拍摄的实时图像上进行标记的方式为驾驶员提供在实时图像中地面上的参照物，以辅助挖掘机驾驶员更准确地判断出地面的远近高低距离，降低挖掘机驾驶的操作难度，并降低对驾驶员操作经验以及工作状态的依赖，从根本上解决了由于无法分清地面远近距离而可能导致的误操作等问题的发生。

本发明能够在实时图像中的地面上形成挖斗的投影，从而满足挖掘机驾驶员通过挖斗投影更好地判断距离，以达到安全作业、精准作业及科学作业等多个技术目的，驾驶员使用体验较佳，极大提升了驾驶员的满意度。

本发明所确定的投影位置是基于像素级的深度匹配而得到的，可见本发明还具有准确性较高、数据处理精度高以及可信赖度较强等突出优点，且对远程操作挖掘机等依赖画面进行大型机械设备控制的场景更为适用。

附图说明

图1示出了本发明一个或多个实施例中用于辅助驾驶挖掘机的方法的流程示意图。

图2示出了本发明一个或多个实施例中基于设置的滑动窗口确定与挖斗深度信息匹配的像素区域的示意图。

图3示出了在图2的基础上形成挖斗在实时图像中地面上的投影的示意图。

图4示出了本发明另一些实施例中形成挖斗在实时图像中地面上的投影的示意图。

图5示出了本发明一个或多个实施例中用于辅助驾驶挖掘机的系统的结构组成示意图。

具体实施方式

下面结合说明书附图对本发明所提供的一种用于辅助驾驶挖掘机的方法、系统、设备及存储介质进行详细的解释和说明。

如图1所示，并可结合图2至5，本发明一个或多个实施例能够提供一种用于辅助驾驶挖掘机的方法。本发明所提供的用于辅助驾驶挖掘机的方法能够用在远程遥控驾驶挖掘机场景，或者用在现场驾驶挖掘机场景；本发明技术方案能够为挖掘机驾驶员提供挖掘机挖斗的投影，从而更好地判断距离和进行作业；该方法可包括但不限于如下的一个或多个步骤。

首先，利用挖掘机上的摄像头得到具有挖斗的视频流，具体获取通过挖掘机上的第一摄像头拍摄的视频中的实时图像。

其次，对实时图像进行目标识别处理，以从实时图像中提取出挖掘机的挖斗位置信息。可见本发明涉及的目标为挖掘机的挖斗，需要从当前的实时图像中识别出挖斗及其位置信息，并可在图示中用虚线方框标出。

具体地，本发明一个或多个实施例对当前实时图像进行目标识别处理可包括：利用已经训练完成的识别模型对该实时图像中的挖斗进行识别。其中，通过已标注挖斗的多张图片训练卷积神经网络模型的方式得到识别模型。更为具体地，本发明可事先通过相机获取大量的包含挖掘机挖斗的图片并进行标注，以制作用于模型训练的数据集；然后以标注完成的图片作为模型输入，通过卷积神经网络模型提取图片特征，计算出成本函数。本发明一些实施例可以利用梯度下降法等方式反复地迭代卷积神经网络模型，更新卷积神经网络模型权重，以达到减小成本函数的目的；并最终得到经过反复迭代后形成的卷积神经网络模型，即本发明所需使用的识别模型。因此，本发明能够通过深度学习方式训练得到卷积神经网络模型，以达到识别出通过摄像头采集的图像中的挖斗及其位置的目的。

再次，本发明能根据挖斗位置信息计算挖斗在双目摄像头上的视差。本发明所使用的双目摄像头可部署于挖掘机上合适的位置，例如，挖掘机驾驶舱或者挖掘机机臂上等。双目摄像头至少能够包括第二摄像头和第三摄像头，第二摄像头与第三摄像头具有相同的焦距，通过视差、焦距以及第二摄像头与第三摄像头之间的基线距离确定挖斗深度信息。可见本发明能够根据挖斗位置信息和通过双目摄像头获取的信息进行立体匹配，确定挖斗深度信息。

本发明能够通过如下方式计算挖斗深度信息，具体计算的可以是挖斗中心像素点的深度信息。

Z＝(f×T

其中，Z表示本发明待计算的挖斗中心像素点的深度值，f表示双目摄像头的焦距，T

可理解的是，本发明一些实施例中具体使用的第一摄像头可以是单独安装于挖掘机上的摄像头，或者也可以为本发明涉及的第二摄像头、第三摄像头中的一个。

如图2所示，根据挖斗位置信息设置具有预设形状的滑动窗口，滑动窗口处于实时图像中挖斗的正下方。图示中提供了五个滑动窗口状态示意图，窗口预设形状如图示的矩形，当然也可以为圆形、三角形、菱形等。图2中的虚线能够用于表示自上而下滑动后的滑动窗口的停留位置，地面上的线条能够用于表示土坑、土包、沙土等挖掘机在具体工作环境中经常遇到的地面情况。

本发明一些实施例中的初始的滑动窗口能够贴靠实时图像中的挖斗设置，然后以挖斗所在位置为起点，控制滑动窗口按照设定位移竖直向下移动。本发明能够将滑动窗口每次停留所覆盖的区域作为一个选取框，以实现基于挖斗位置信息在实时图像中挖斗的下方形成多个具有预设形状的区域的选取框。本发明能够将选取框作为选定区域，以实现在实时图像上划分出选定区域。

进一步来说，本发明实施时计算选定区域内的各像素点与挖斗中心的像素点的深度差，即依次地计算滑动窗口区域内各个像素点的深度是否与挖斗深度匹配，具体根据该深度差形成像素区域，所以本发明能够实现从实时图像中查找到与挖斗深度信息匹配的像素区域。可见本发明能够通过滑动窗口法准确地识别出与挖斗深度匹配的像素区域，如图2所示，在1、2、3、4、5号窗口中，5号窗口对应区域所得的深度与挖斗最为匹配。

本发明一些实施例中设置的匹配条件包括但不限于：滑动窗口区域内像素点的深度值与挖斗中心像素点的深度值的偏差小于或等于预设值；该预设值例如可以为5％。以实现根据深度差形成像素区域，下面举例说明。

例如，挖斗中心像素点的深度值为6.14米，滑动窗口区域内某个像素点的深度值为5.92米，则|6.14﹣5.92|÷6.14≈3.58％＜5％，则说明该滑动窗口区域内的该像素点符合本发明的匹配条件。

如图3、4所示，本发明能够识别出与挖斗深度信息匹配的像素区域为挖斗在竖直方向上的投影。所以最后本发明在视频中的实时图像上标记出像素区域，以形成挖掘机挖斗在实时图像中地面上的投影，投影为图示中的椭圆的图形示意。在实时图像中地面上的投影可直接呈现给挖掘机的驾驶员作为参照物，可见本发明具有直观性非常好、使用体验极佳等突出优点。

本发明一些实施例中在视频中的实时图像上标记出像素区域可包括：通过增强现实(AR，全称Augmented Reality)方式对视频中的实时图像上的像素区域进行标记，以将虚拟投影和现实画面结合起来。该实现方式对于远程驾驶场景更适用，通过在摄像头画面中形成投影的方式使驾驶员看到的摄像头传回的实时图像中的地面上有影子作为标志物，从而较好地辅助驾驶员判断距离深度，提高操作的准确性。

如图5所示，与本发明提供的方法基于相同的技术构思，本发明还有一个或多个实施例能够提供一种用于辅助驾驶挖掘机的系统。具体地，该系统包括但不限于实时图像获取模块、挖斗位置识别模块、挖斗深度计算模块、像素区域匹配模块以及地面投影标记模块等；对于组成本发明系统的常规组成部分，例如画面显示装置、数据传输装置、供电装置等等，本发明不再进行赘述。

实时图像获取模块用于获取通过挖掘机上的第一摄像头拍摄的视频中的实时图像。

挖斗位置识别模块用于对实时图像进行目标识别处理以从实时图像中提取出挖掘机的挖斗位置信息，该目标为挖掘机的挖斗。挖斗位置识别模块用于利用训练完成的识别模型对实时图像中的挖斗进行识别；其中，基于深度学习通过已标注挖斗的多张图片训练卷积神经网络模型的方式得到识别模型。

挖斗深度计算模块用于根据挖斗位置信息确定挖斗深度信息。该挖斗深度计算模块可具体用于根据挖斗位置信息计算挖斗在双目摄像头上的视差，并用于通过视差、焦距以及第二摄像头与第三摄像头之间的基线距离确定挖斗深度信息。其中，双目摄像头包括第二摄像头和第三摄像头，第二摄像头与第三摄像头具有相同的焦距。

像素区域匹配模块可用于从实时图像中查找到与挖斗深度信息匹配的像素区域。像素区域匹配模块具体用于在实时图像上划分出选定区域，并用于计算选定区域内的各像素点与挖斗中心的像素点的深度差，以及用于根据所述深度差形成像素区域。本实施例中像素区域匹配模块用于基于挖斗位置信息在实时图像中挖斗的下方形成多个具有预设形状的选取框，并将选取框作为选定区域。更为具体地，该像素区域匹配模块用于根据挖斗位置信息设置具有预设形状的滑动窗口，滑动窗口处于实时图像中挖斗的正下方；像素区域匹配模块用于控制滑动窗口按照设定位移竖直向下移动，将滑动窗口每次停留所覆盖的区域作为一个选取框。

地面投影标记模块用于在视频中的实时图像上标记出像素区域，以形成挖斗在实时图像中地面上的投影。本发明实施例地面投影标记模块具体可用于通过增强现实方式对视频中的实时图像上的像素区域进行标记。

本发明能够通过在拍摄的实时图像上进行标记的方式为驾驶员提供挖斗的投影参照物，以辅助挖掘机驾驶员更准确地判断出地面的远近高低距离，降低驾驶员的挖掘机操作难度，降低对驾驶员操作经验、能力以及工作状态的依赖，所以本发明能够从根本上解决了由于无法分清地面远近距离导致的误操作等问题的发生。

本发明还有一些实施例能够提供一种计算机设备，该计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行本发明任一实施例中用于辅助驾驶挖掘机的方法的步骤。其中用于辅助驾驶挖掘机的方法包括：首先，获取通过挖掘机上的第一摄像头拍摄的视频中的实时图像。其次，对实时图像进行目标识别处理，以从实时图像中提取出挖掘机的挖斗位置信息。目标为挖掘机的挖斗。本发明一些实施例对实时图像进行目标识别处理包括：利用训练完成的识别模型对实时图像中的挖斗进行识别；其中，通过已标注挖斗的多张图片训练卷积神经网络模型的方式得到识别模型。再次，根据挖斗位置信息计算挖斗在双目摄像头上的视差；其中，双目摄像头包括第二摄像头和第三摄像头，第二摄像头与第三摄像头具有相同的焦距；通过视差、焦距以及第二摄像头与第三摄像头之间的基线距离确定挖斗深度信息，可见本发明能够根据挖斗位置信息确定挖斗深度信息。然后根据挖斗位置信息设置具有预设形状的滑动窗口，滑动窗口处于实时图像中挖斗的正下方。本发明一些实施例中初始的滑动窗口能够贴靠实时图像中的挖斗设置。然后控制滑动窗口按照设定位移竖直向下移动，将滑动窗口每次停留所覆盖的区域作为一个选取框，以实现基于挖斗位置信息在实时图像中挖斗的下方形成多个具有预设形状的选取框。本发明能够将选取框作为选定区域，以实现在实时图像上划分出选定区域。计算选定区域内的各像素点与挖斗中心的像素点的深度差，根据所述深度差形成像素区域，所以本发明能够实现从实时图像中查找到与挖斗深度信息匹配的像素区域。最后在视频中的实时图像上标记出像素区域，以形成挖斗在实时图像中地面上的投影。本发明一些实施例中在视频中的实时图像上标记出像素区域包括：通过增强现实方式对视频中的实时图像上的像素区域进行标记。

本发明还可提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明任一实施例中用于辅助驾驶挖掘机的方法的步骤。其中用于辅助驾驶挖掘机的方法包括：首先，获取通过挖掘机上的第一摄像头拍摄的视频中的实时图像。其次，对实时图像进行目标识别处理，以从实时图像中提取出挖掘机的挖斗位置信息。目标为挖掘机的挖斗。本发明一些实施例对实时图像进行目标识别处理包括：利用训练完成的识别模型对实时图像中的挖斗进行识别；其中，通过已标注挖斗的多张图片训练卷积神经网络模型的方式得到识别模型。再次，根据挖斗位置信息计算挖斗在双目摄像头上的视差；其中，双目摄像头包括第二摄像头和第三摄像头，第二摄像头与第三摄像头具有相同的焦距；通过视差、焦距以及第二摄像头与第三摄像头之间的基线距离确定挖斗深度信息，可见本发明能够根据挖斗位置信息确定挖斗深度信息。然后根据挖斗位置信息设置具有预设形状的滑动窗口，滑动窗口处于实时图像中挖斗的正下方。本发明一些实施例中初始的滑动窗口能够贴靠实时图像中的挖斗设置。然后控制滑动窗口按照设定位移竖直向下移动，将滑动窗口每次停留所覆盖的区域作为一个选取框，以实现基于挖斗位置信息在实时图像中挖斗的下方形成多个具有预设形状的选取框。本发明能够将选取框作为选定区域，以实现在实时图像上划分出选定区域。计算选定区域内的各像素点与挖斗中心的像素点的深度差，根据所述深度差形成像素区域，所以本发明能够实现从实时图像中查找到与挖斗深度信息匹配的像素区域。最后在视频中的实时图像上标记出像素区域，以形成挖斗在实时图像中地面上的投影。本发明一些实施例中在视频中的实时图像上标记出像素区域包括：通过增强现实方式对视频中的实时图像上的像素区域进行标记。

综上所述，本发明能够在摄像头传回的实时图像中的地面上形成挖斗的投影，从而可满足挖掘机驾驶员通过挖斗投影更好地判断距离远近，以达到安全作业、精准作业以及科学作业等多个技术目的，挖掘机的驾驶员使用体验较佳，极大提升了驾驶员的满意度。另外，本发明所具体确定的投影位置是基于像素级的深度匹配而得到的，可见本发明技术方案还具有准确性较高、数据处理精度高以及可信赖度较强等突出优点，而且对远程操作挖掘机等基于画面进行大型机械设备控制的场景更为适用。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM，Random Access Memory)，只读存储器(ROM，Read-Only Memory)，可擦除可编辑只读存储器(EPROM，Erasable Programmable Read-Only Memory，或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM，Compact Disc Read-Only Memory)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA，Programmable Gate Array)，现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明实质内容上所作的任何修改、等同替换和简单改进等，均应包含在本发明的保护范围之内。