应用于智能网联工程机械的多机协同控制方法及系统

技术领域

本发明涉及智能网联工程机械领域，特别是涉及应用于智能网联工程机械的多机协同控制方法及系统。

背景技术

多机协同作业是通过两台或两台以上的同种或多种智能网联工程机械在无人干预的情况下相互配合自主完成作业，多机协同控制是实现智能网联工程机械一体化控制方案中的重要组成部分，有利于提高无人驾驶工程机械的工作效率。

现阶段，由于工程机械工作环境复杂，安全风险较高，对多台设备之间的精准配合提出了更高的要求，受限于通讯技术、成本等多方面的限制，目前还不能仅通过采集的作业现场视频图像来准确的判断现场作业情况，需要通过现场实际探查了解，一般是在施工作业现场附近设置有远程驾驶智能座舱或者远程控制室，使操作员在座舱内或者控制室内就可以观察到远处各设备的作业情况，并在必要时，例如出现紧急情况或者设备之间不能精确配合导致无法高效的完成作业时，操作员可以随时对工程机械接管控制，通过智能座舱内的远程控制设备完成工程机械的远程控制，例如停机、转向等操作，保证作业安全。在多机协同控制过程中，在一个工程区域内，一般地，一台智能座舱或者一个智能驾驶室对应多台工程机械，操作员在智能座舱内关注现场各设备的工作情况，在必要时，通过切换通讯连接，完成与不同工程机械之间的数据通讯，实现对相应设备的控制，保证现场设备的运行安全。

在现有技术中，选择不同作业设备进行接管时，存在两种常用方式，一种是点击调度屏幕中显示的相应设备代号建立通讯连接，另一种是通过开启与远程设备一一对应的控制按钮建立通讯连接，实现一键连接，上述方法能够方便的与远程设备建立通讯连接，但是在某些场景下仍然存在着弊端。例如在现场存在多个同时工作的设备时，当操作员观察到智能座舱外的某一设备工作异常，需要接管时，操作员需要在多个设备代号中找到所需要接管的设备代号，或者需要在多个控制按钮中找到相应设备的控制按钮，才能够进行接管，该方法在一定程度上影响了接管控制效率，特别是在紧急情况下，极大的提高了设备工作的风险。另外，在协同控制方案测试过程中，由于初期方案不成熟，极易发生危险，操作人员要根据现场观察到的真实设备的动作执行情况、设备间的配合情况，随时准备接管相关设备进行控制，对不同设备间管控切换的便捷性提出了更高的要求。

目前，在一些技术中还设置有一键急停按钮，通过该按钮可以一键控制所有该区域内的设备均停止工作，以维护区域内的安全，显然的，在某些情况下，如果一台设备出现异常，仅需要停止一台设备即可，并不需要将所有设备均停止，可见，现有协同管控技术中存在着诸多不足，有必要进一步改进。

发明内容

为解决以上技术问题，本发明提供一种应用于智能网联工程机械的多机协同控制方法及系统，当现场存在多个工程机械设备时，能够快速的对目标工程机械完成接管控制。

为实现上述目的，本发明提供了如下方案：

第一方面，本发明提供应用于智能网联工程机械的多机协同控制方法，包括：

确定各设备之间的位置关系；

接收第一操作指令，确定目标区域方向；

根据各设备之间的位置关系，确定目标区域内目标设备；

与目标区域内的设备建立数据连接。

第二方面，本发明提供应用于智能网联工程机械的多机协同控制系统，包括：

定位模块，用于对工作区域内的设备进行定位，确定各设备与智能座舱的位置关系；

指令接收模块；用于接收用户输入的操作指令；

指令方向解析模块，用于解析用户输入的指令方向，确定目标区域方向；

方向匹配模块；用于根据各设备与智能座舱的位置关系，匹配与指令方向相同的设备，确定为唯一目标设备；

数据通讯模块；用于与唯一目标设备建立数据连接。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

本发明能够快速的对目标设备进行远程接管，当位于智能座舱内的操作员观察到远方的工程机械出现异常需要紧急接管相应设备时，仅需根据观察到的目标工程机械相对自身的真实方向，在控制面板上完成相同方向的滑动操作即可建立智能座舱与目标设备的通讯连接，快速的完成对目标设备的接管控制，操作方便快捷。本方法极大的提升了接管效率，实现了对唯一目标的快速接管，在智能网联工程机械协同控制中，特别是前期的测试过程中能够保障设备作业安全。

附图说明

图1为本发明主要的步骤流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

首先，对本发明的应用场景进行简单说明，协同控制是通过两台或两台以上的同种或多种智能网联工程机械在无人干预的情况下相互配合自主完成作业，一般情况下，在一个工程区域内会设置至少一个智能座舱或者远程控制室，用以观察现场设备作业情况，并在必要时对相应设备进行接管控制，防止意外发生，保证作业安全。智能座舱或者远程控制室内的操作员观察设备作业情况的方式有两种：一种是直接观察，例如透过智能座舱窗户，观察现场各设备的作业情况；直接观察的方法在设备出现重大安全时，能够快速的根据现场的情况进行人工处置；另一种是通过监控视频观察设备作业情况，目前由于图像传输技术的限制，视频监控容易存在滞后性，控制电脑中显示的工程机械作业运行情况与工程机械的实际运行情况容易存在差异，因此目前多采用直接观察，方便对现场实时掌控，在必要时，对相关设备完成接管，其中，在对目标设备进行接管控制过程中，与目标设备建立通讯连接是关键的一步，在现有技术中，一种是将多个受控的工程机械信息输入到智能座舱内的控制电脑中，形成受控设备列表，在必要时，通过点击受控设备列表中相应设备的名称或代号，与该设备建立通讯连接。另一种是每个设备与相应的快捷按钮建立某种连接，当出现紧急情况时，通过相应的快捷按钮对相关设备进行控制，由于快捷按钮的操作功能限制，一般只能通过快捷按钮对设备进行暂停以解除相应的紧急情况。

申请人在对智能网联工程机械协同作业控制测试的过程中发现，由于智能座舱与工程机械设备是一对多的关系，操作员在发现座舱外某一工程机械设备工作异常需要接管控制时，需要在智能座舱内的众多控制按钮中或者列表中确定与异常设备相对应的控制按钮，在一定程度上影响了接管控制的效率。本发明的目的正是解决如何快捷的建立智能座舱与目标设备的数据连接，实现瞬间精准接管。

另外，需要说明的是，本领域技术人员应当理解，本方案中的智能座舱仅仅是对实现远程控制设备的统称，本领域技术人员还可以以其他设备或装置来完成对智能网联工程机械的远程控制如远程控制室等，因此，本申请不对智能座舱的具体形式、结构等做具体限制，智能座舱不能对本申请中的方案造成限制。应当理解，本申请各实施例中的描述是以控制设备执行本方法时的角度而非从用户或者操作员操作的角度进行描述。

实施例一

本发明提供应用于智能网联工程机械的多机协同控制方法，具体包括以下步骤：

S111:确定各设备之间的位置关系；

具体地，所述设备包括在本施工场地区域内的工程机械设备，例如工程挖掘机、矿卡、挖机破碎锤等，设备可以是一种设备，也可以是多种不同的设备，特别需要注意的是，所述的设备还应当包括远程控制设备，远程控制设备可以是智能座舱等可以远程控制工程机械的设备；在本步骤中，设备之间的位置关系主要是指本区域内的工程机械设备与智能座舱之间的距离远近关系和工程机械设备相对于智能座舱的方向角关系；设备间的位置关系的判断可以通过各设备自身携带的定位装置进行判断，例如可以通过设备自身携带的GPS判断，通过分析定位数据确定各设备与智能座舱之间的距离关系和方向角关系。考虑到工程作业区域往往信号较差，优选的，本发明中设备定位采用UWB定位装置进行设备定位，相比传统的设备定位方式，UWB定位装置具备定位精度高的优势，并且采用无线载波通信技术，利用纳秒级的非正弦波窄脉冲传输数据，在传统通信方法因信号差不能完成定位的情况下，UWB定位装置仍然可以完成精准定位。考虑到工程现场一般信号较差，因此，优选UWB定位装置对各设备进行定位，进而确定各设备之间的位置关系。具体位置及方向的确定方法属于现有技术，此处不做赘述。

S131:通过指令接收装置接收第一操作指令，根据该指令确定目标区域方向；

具体地，指令接收装置为包含触控面板的智能设备，如电脑、手机或者其他智能终端，用户通过触控面板输入第一操作指令，所述第一操作指令为在触控面板进行的、可被指令接收装置或者智能设备识别的滑动操作指令；滑动操作指令可以是用户用手指在触控面板以任意位置为起点、向任意方向画出的任意长度的射线或者线段，进一步的，用户在滑动过程中，滑动形状具有随机性，因此并不能保证所划出的形状为标准的线段、或者射线形状，也有可能是曲线、弧线或其他不规则形状，因此，滑动操作指令也可以是曲线或者弧线等，在本发明中，第一操作指令的具体含义与滑动操作指令的形状无关，仅与滑动操作指令的滑动方向有关，例如以滑动起点和终点的连线作为滑动方向，在本申请中设定滑动操作指令的滑动方向为用户输入的目标区域方向。

所述的目标区域为目标工程机械所在区域；所述目标区域方向为目标区域相对于用户位置即操作员的角度方向，一般的，由于操作员位于智能座舱内，因此，目标区域方向为目标工程机械相对于智能座舱的方向位置。

进一步地，滑动操作指令分为有效指令和无效指令；具体地，当滑动起点与滑动终点直线距离小于一定阈值时，确定为无效指令；当滑动起点与滑动终点直线距离等于或大于一定阈值时，确定为有效指令。

第一操作指令的具体含义仅与用户在触控面板上滑动的方向有关，与滑动起点、滑动距离无关，滑动方向的确定由滑动起点和滑动终点确定，本实施例中，以用户滑动划出的线段为例进行说明，其中在触控面板的滑动方向确定方法为：记录滑动起点、滑动终点，以滑动起点为原点建立直角坐标系，并确定滑动终点在该坐标系中的坐标位置(X,Y)，根据滑动起点的坐标位置(0，0)与滑动终点的坐标位置(X,Y)得出滑动终点相对于滑动起点的方向信息，该方向信息即为目标区域方向，也即目标工程机械相对于智能座舱的方向位置。在建立直角坐标系的过程中，可设定直角坐标系中的X轴、Y轴分别与触控面板的两条相邻边框平行，具体与哪条边框平行可以根据具体使用情况自行设定。在本实施例中，假设触控面板为平板电脑，常见的平板电脑屏幕为长方形，将X轴设置为与平板电脑的长边框平行，Y轴设置为与平板电脑的短边框平行更符合一般习惯。

S151:根据目标区域方向，确定目标设备；

具体地，在本步骤中，通过解析第一操作指令的含义，即解析第一操作指令的滑动方向，确定操作员输入的目标区域方向，该目标区域方向，实质是目标工程机械所在的区域相对于智能座舱的角度方向。在步骤S111中，已经通过定位装置确定了各设备之间的位置关系，包括各种工程机械设备、智能座舱设备之间的位置关系，根据该位置关系，即可确定工程机械设备与智能座舱之间的距离远近关系和工程机械设备相对于智能座舱的方向角关系；因此，在本步骤中，可以直接根据操作员输入的第一操作指令的含义，匹配步骤S111中得到的各设备相对智能座舱的方向角度数据，同智能座舱的相对位置方向与第一操作指令中方向角度相同的工程机械，即为目标设备。

进一步地，人为操作并不能够保证完全精准，也就是并不能保障操作员在触控面板上滑动的方向与目标工程机械相对于智能座舱的方向位置完全相同，例如，在某些情况下，根据用户输入的第一操作指令解析得到的目标方向内并不存在任何工程机械设备，为了避免该情况的发生，应当在用户所输入的第一操作指令的基础上，设定一定的方向角度阈值，在该角度阈值范围内的所有设备，均认定为目标设备。

S171:与目标设备建立数据连接，实现对目标设备的接管控制；

具体地，在确定目标设备后，远程控制设备自动向目标设备发送远程接管请求，目标设备自动确认接入，远程控制设备与目标设备之间通过预设的通讯协议进行相关数据传输，完成对目标设备的接管控制。在紧急情况下，可以对目标区域内的所有设备即所有目标设备进行管控，发送统一的控制指令，例如发送停止指令，所有目标设备均停止工作，保障作业安全。

实施例二：

在实施例一中，当目标方向区域内包含多个设备时，多个设备均为目标设备，若此时仅某一目标设备需要接管，应当包括另一处理步骤，因此，在另一个具体实施例中，当该角度阈值范围内目标区域存在多个目标设备时，在S151之后还应当包括S153，具体为：

S153：选取该范围内与第一操作指令中的滑动方向最接近的工程机械作为目标设备。

实施例三：

在实施例二的基础上，在某些情况下，存在多个工程机械位于目标区域方向，且多个工程机械相对智能座舱的方向角完全相同，即多个工程机械处于一条直线上，此时并不能精准的确定唯一目标设备，因此，在S153之后，仍需执行以下步骤进一步判断。

S155:通过指令接收装置接收第二操作指令，确定唯一目标设备；

具体地，指令接收装置为包含触控面板的智能设备，如电脑、手机或者其他智能终端，用户通过触控面板输入第二操作指令，所述第二操作指令为在触控面板进行的、可被智能设备识别的点击操作指令；点击操作指令可以是用户用手指在触控面板在任意位置进行的点击，在本发明中，第二操作指令的具体含义与点击位置、点击力度大小等无关，仅与在一定时间阈值内的点击次数有关；点击次数的含义表示目标区域方向内的目标设备相对于智能座舱的距离大小，一般地，点击次数越多，代表目标设备距离智能座舱距离越远。例如，当在预设的时间阈值内，智能设备仅接收到用户输入的一次点击操作，则此时可以默认唯一目标设备为目标方向内距离智能座舱最近的工程机械；当智能设备在预设的时间阈值内接收到用户输入的连续两次点击操作，则此时可以默认目标设备为目标方向内距离智能座舱第二近的工程机械，即在目标方向内，所有设备与智能座舱的距离排序中，在从小到大的排序规则下，排序第二位的设备为唯一目标设备。

利用本发明方案在进行智能网联工程机械协同控制时，当智能座舱内的操作员观察到远方的工程机械出现异常需要紧急接管相应设备时，根据观察到的目标工程机械相对自身的真实相对方向，在控制面板上完成相同方向的滑动操作即可建立智能座舱与目标设备的通讯连接，例如当操作员发现位于智能座舱右前方约30度的工程机械出现异常，需要接管远程控制，此时在智能座舱内的触控面板上向智能座舱外的、目标工程机械所在的方向滑动即可。本方法可以快速的完成对目标设备的接管控制，操作方便快捷。本方法极大的提升了接管效率，实现了对唯一目标的快速接管，在智能网联工程机械协同控制中，特别是前期的测试过程中能够保障设备作业安全。

本发明还提供应用于智能网联工程机械的多机协同控制系统；包括：

定位模块，用于对工作区域内的设备进行定位，确定各设备与智能座舱的位置关系；

指令接收模块；用于接收用户输入的操作指令；

指令方向解析模块，用于解析用户输入的指令方向，确定目标区域方向；

方向匹配模块；用于根据各设备与智能座舱的位置关系，匹配与指令方向相同的设备，确定为唯一目标设备，

数据通讯模块；用于与目标设备建立数据连接。

此处需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在本发明中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1-3中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1-3中所述的方法。

实施例1-3中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。