一种多设备并发远程操控系统

技术领域

本发明涉及无人驾驶技术领域，尤其涉及一种多设备并发远程操控系统。

背景技术

随着经济发展和国家建设的需求，各种各样的机动汽车在国民经济建设和日常生活中的作用日益重要。现有的车辆驾驶方式多为人工直接驾驶，以工程车辆的驾驶为例，由于工作环境恶劣、安全性差、驾驶员劳动强度大等问题的出现，因此，急需研发一种远程操控方案来解决上述问题。

目前远程操控的方案主要有两种，一是基于互联网通信的远程操控方案；二是基于无线遥控技术的操控方案。

基于互联网通信的远程操控方案，例如4G、5G通信。互联网通信作为通道将远程的车辆控制信号转换为互联网信号，同时传递给操作端，实现对车辆的远程操控。该方法具有实时性和高数据量的优势，但其容易受到地形、通信干扰等限制，而且，基于互联网通信的方式，通信装置的成本普遍较高，不利于实际的工程应用。

基于无线遥控技术的操控方案，主要依赖于无线遥控的装置，比如无线电遥控、红外线遥控等。通过无线遥控装置来进行信号的收发传递，提高了操作的强移动性，而且整体的维护成本较低，但无线遥控技术的缺点也很明显。首先，无线遥控只是局限于视距范围内，超出范围无法进行遥控。其次，遥控发射器和遥控信号接收器之间不能存在障碍物，否则容易隔断信号传输。再次，无线遥控技术是典型对单车的一种控制方式，很难同时进行多车间远程操控的操作。

随着车路协同技术的发展，研发趋势已经从单车智能化逐渐演变为多车智能化，所以多设备并发远程操控系统的设计就变得尤为重要。

发明内容

本发明的目的是针对现有技术所存在的缺陷，提供一种多设备并发远程操控系统，该系统的远程操控装置可以通过预设的通信方式同时与多个被操控设备进行通信，从而实现对多个被操控设备进行远程操控。

为实现上述目的，本发明提供了一种多设备并发远程操控系统，所述多设备并发远程操控系统包括：多个被操控设备和远程操控装置；所述远程操控装置通过预设的通信方式同时与多个被操控设备进行通信；

每个所述被操控设备包括被控制模块、第一处理模块、第一传感器模块和第二传感器模块；所述第一传感器模块与所述第一处理模块相连接，用于获取所述被操控设备的外部环境信息并发送给所述第一处理模块，所述外部环境信息包括障碍物图像信息和其他被操控设备的图像信息；所述第二传感器模块分别与所述被控制模块和所述第一处理模块相连，用于获取所述被操控模块的行驶信息和定位信息，并将所述行驶信息和定位信息发送给所述第一处理模块；所述第一处理模块将所述外部环境信息、行驶信息和定位信息进行处理，生成所述被操控设备的状态信息，并发送给所述远程操控装置；

所述远程操控装置包括第二处理模块和操控模块；所述第二处理模块用于将所述被操控设备的状态信息进行可视化处理，得到第一视频信息；所述操控模块与所述第二处理模块相连，用于将根据第一视频信息生成的操控数据发送给所述第二处理模块，所述第二处理模块对所述操控数据进行处理，生成操控信号发送给第一处理模块。

优选的，所述第二处理模块还用于将所述操控数据和所述第一视频信息进行融合处理，生成预设格式的第二视频信息。

进一步优选的，所述远程操控装置还包括视频发送模块；

所述视频发送模块与所述第二处理模块相连，用于接收所述第二处理模块发送的多个第二视频信息，并将所述多个第二视频信息进行融合处理生成第三视频信息。

更进一步优选的，所述远程操控装置还包括视频接收模块；

所述视频接收模块与所述视频发送模块相连，用于接收所述视频发送模块发送的第三视频信息，并对所述第三视频信息进行解码处理。

更进一步优选的，所述远程操控装置还包括显示模块：

所述显示模块与所述视频接收模块相连，用于对解码处理后的所述第三视频信息进行显示。

优选的，所述多设备并发远程操控系统还包括一个或多个无线基站；

当通信距离在预设的第一阈值和第二阈值之间时，所述远程操控装置通过所述无线基站与多个被操控设备进行通信。

新一步优选的，所述多设备并发远程操控系统还包括光纤；

当所述通信距离大于所述第二预设阈值时，所述远程操控装置通过光纤和无线基站与多个被操控设备进行通信。

优选的，所述被操控设备的数量不大于20个。

优选的，所述行驶信息包括速度信息、方向盘转角信息和档位信息。

由此，通过应用本发明提供的多设备并发远程操控系统，远程操控装置可以通过预设的通信方式同时与多个被操控设备进行通信，从而实现对多个被操控设备进行远程控制，该多设备并发远程操控系统对车辆改造小，改造成本极低，在系统的各个环节进行了优化和精简，去掉了许多不必要的设备，如大型云端服务器、激光雷达等，大大降低了系统的成本，实现设备的充分利用。

附图说明

图1为本发明实施例提供的一种多设备并发远程操控系统结构示意图；

图2为本发明实施例提供的远程操控装置结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明实施例提供的一种多设备并发远程操控系统，可应用于大型工程、侦查、排爆等无人驾驶场景中。

图1为本发明实施例提供的一种多设备并发远程操控系统结构示意图。如图1中所示，该多设备并发远程操控系统100包括：多个被操控设备10和远程操控装置20。需要说明的是，为了清楚地解释本发明的技术方案，图1中仅示出了一个被操控设备10，但是并不表示该多设备并发远程操控系统中的远程操控装置20只能对一个被操控设备10进行远程控制。在一个具体的例子中，被操控设备10的数量不大于20个。

每个被操控设备10包括被控制模块101、第一处理模块102、第一传感器模块103和第二传感器模块104。本发明是以被操控设备10为无人驾驶车辆为例来解释本发明的技术方案的，但是并不表示本发明的被操控设备10仅仅可以是无人驾驶车辆，也可以是任意的交通工具，还可以是任何机械装置，比如机器人、机械臂等。以下均以被操控设备10为无人驾驶车辆举例说明。

被控制模块101可以理解为无人驾驶车辆的线控底盘，线控底盘与第一处理模块102可以直接进行网络通信，也可以使用串口、CAN总线、蓝牙、ZigBee等多种数据传输接口，兼容各种数据通信方式进行通信。

第一处理模块102可以是安装在无人驾驶车辆上的具有数据处理功能的处理器，比如中央处理器(central processing unit，CPU)。第一处理模块102可以接收外部的控制指令。第一处理模块102在接收到外部的控制指令后，可以向线控底盘发送动作指令，线控底盘直接响应动作指令，并且第一处理模块102也可以从线控底盘获取无人驾驶车辆的行驶信息和定位信息。

在一个具体的例子中，第一处理模块102通过CAN协议发送动作指令，通过8字节的CAN协议数据，不同的协议包对应的唯一CANID，通过协议包传输对应的指令信息，从而实现对线控底盘的不同控制。

可以理解的是，被控制模块101也可以是机械底盘，但是当被控制模块101是机械底盘时，需要搭载控制模块，控制模块分别与第一处理模块102和被控制模块101相连，当第一处理模块102接收到外部的控制指令时，首先反馈给控制模块，控制模块再对被控制模块101进行控制。

要实现对无人驾驶车辆的远程控制，需要通过第一传感器模块103采集无人驾驶车辆的外部环境信息。其中，第一传感器模块103可以是车载摄像头，车载摄像头可以包括多个广角摄像头，根据不同的无人驾驶车辆结构分别设置在车辆的不同位置，为了实现拍摄盲区最小化，可以对多个车载摄像头的安装位置进行多次测试，以确定最佳安装位置。在一个具体的例子中，车载摄像头安装在无人驾驶车辆的最前端和最高端。外部环境信息可以理解为无人驾驶车辆周围的环境信息，比如障碍物图像信息和其他无人驾驶车辆的图像信息。

第一传感器模块103与第一处理模块102相连接，用于将无人驾驶车辆的外部环境信息发送给第一处理模块102，比如通过USB接口和USB HUB相连接，USB HUB将车载摄像头采集到的障碍物图像信息和其他被操控设备10的图像信息转发到第一处理模块102。

第二传感器模块104是第一处理模块102获取被控制模块101相关信息的主要部件，第二传感器模块104分别与第一处理模块102和被控制模块101相连，用于获取被控制模块101的行驶信息和定位信息。其中行驶信息包括无人驾驶车辆的速度信息、方向盘转角信息和档位信息。在另一个具体的例子中，行驶信息还包括无人驾驶车辆的油量信息。

由此，第二传感器模块104实际上是传感器集群，其中，行驶信息可以通过轮速计、角度传感器、档位传感器以及油量传感器等获取。定位信息可以通过全球定位系统(GlobalPositioning System，GPS)实时获取。

第二传感器模块104在获取到被控制模块101的速度信息、方向盘转角信息、档位信息和定位信息后，将其发送给第一处理模块102。

第一处理模块102将车载摄像头获取的外部环境信息、第二传感器模块104获取的行驶信息和定位信息进行处理，生成被操控设备10的状态信息，并发送给远程操控装置20。

其中，状态信息可以理解为第一处理模块102将外部环境信息、行驶信息和定位信息进行整合处理之后生成的，并且可以通过一定协议进行数据传输的无人驾驶车辆综合状态信息。示例而非限制，第一处理模块102将无人驾驶车辆的外部环境信息、行驶信息和定位信息通过处理，生成可以通过TCP/UDP网络协议传输的数据信息，从而发送给远程操控装置20。因此，该多设备并发远程操控系统对无人驾驶车辆的本身的结构改造较小，改造成本极低。

远程操控装置20是远程端实现远程操控功能的主要结构，包括第二处理模块201和操控模块202。

第二处理模块201可以理解为具有数据处理功能的处理器，比如中央处理器(central processing unit，CPU)。其主要功能是将被操控设备10的状态信息进行可视化处理，得到第一视频信息。其中，第一视频信息包括车载摄像头采集的无人驾驶车辆的外部环境信息以及第二传感器模块104采集到的行驶信息和定位信息等进行可视化处理后的信息。

操控模块202可以理解为外部输入设备，比如遥控设备或操控手柄，其与第二处理模块201通过USB接口相连。操控模块202接收来自外部的操控数据，并将操控数据发送给第二处理模块201。其中，操控数据是根据第一视频信息生成的，具体包括左、右、前、后、加速、减速、急停等。之后，第二处理模块201对操控数据进行处理，生成操控信号发送给第一处理模块102。其中，操控信号是经第二处理模块201处理的可以通过通信链路发送的并且可以被第一处理模块102处理的信号。

作为优选方案，第二处理模块201还用于将操控数据和第一视频信息进行融合处理，生成预设格式的第二视频信息。其中，第二视频信息可以理解为在第一视频信息的基础上，融合了操控数据生成的信息，并且此信息是具有预设格式的，方便进行发送。例如，在无人驾驶车辆对应的第一视频信息的基础上，加上前进箭头、左转箭头等操控标识。

图2所示为远程操控装置结构示意图，如图2中所示，远程操控装置20还包括视频发送模块203。

视频发送模块203与第二处理模块201相连，用于接收第二处理模块201发送的多个第二视频信息，并将多个第二视频信息进行融合处理生成第三视频信息。其中，第三视频信息可以理解为包括多个无人驾驶车辆的第二视频信息。也就是视频发送模块可以将多个无人驾驶车辆的第二视频信息汇总整合到一个画面中。

更进一步的，远程操控装置20还包括视频接收模块204。

视频接收模块204与视频发送模块203相连，用于接收视频发送模块203发送的第三视频信息，并对第三视频信息进行解码处理。

更进一步优选，远程操控装置20还包括显示模块205。

显示模块205与视频接收模块204相连，用于对解码处理后的第三视频信息进行显示。显示模块可以分屏显示多辆无人驾驶车辆的视频信息。

远程操控装置20是通过预设的通信方式同时与多个被操控设备10进行通信，从而实现对多个被操控该设备进行远程控制。因此在该多设备并发远程操控系统的各个环节进行了优化和精简，去掉了许多不必要的设备，如大型云端服务器、激光雷达等，大大降低了系统的成本，实现设备的充分利用。

进一步具体的，多设备并发远程操控系统100还包括一个或多个无线基站(图中未示出)。

当通信距离在预设的第一阈值和第二阈值之间时，远程操控装置20通过无线基站与多个被操控设备10进行通信，从而实现对被操控设备10的远程控制。

在一个例子中，预设的第一阈值为2KM，预设的第二阈值为5KM，由此，远程操控装置和多个无人驾驶车辆之间通过无线基站的通信方式实现通信，应用在距离比较近的远程操控场景中。

作为优选方案，多设备并发远程操控系统100还包括光纤(图中未示出)。

当通信距离大于第二预设阈值时，远程操控装置20通过光纤和无线基站与多个被操控设备10进行通信，从而实现对多个操控设备的远程控制。

在另一个具体的例子中，当通信距离大于5KM时，一般需要在场地部署光纤，无线基站接入光纤通信网络，由光纤通信距离控制远程操控的最大距离。因此，本发明的多设备并发远程操控系统在常用移动通信信号不佳的情况下也可以应用，借助无线基站和光纤传输，实现了低成本，高实时性和高数据量的传输，不仅能够同时进行多车操控，而且在极大程度上能够抵抗通信干扰，大大提高了远程操控的安全性与稳定性。

以上介绍了多设备并发远程操控系统的各个组成部分以及连接关系，下面以被操控设备10是一辆无人驾驶车辆介绍该多设备并发远程操控系统的工作原理。

首先，车载摄像头采集无人驾驶车辆的外部环境信息，并发送给第一处理模块102；第二传感器模块104采集线控底盘的行驶信息和定位信息发送给第一处理模块102；第一处理模块102将外部环境信息、行驶信息和定位信息进行整合处理，生成可以通过TCP/UDP网络协议传输的数据信息即无人驾驶车辆的状态信息，从而发送给远程操控装置20的第二处理模块201，第二处理模块201对无人驾驶车辆的状态信息进行可视化处理后，得到第一视频信息。操控模块202接收外部根据第一视频信息生成的操控数据，并将操控数据发送给第二处理模块201，第二处理模块201将操控数据进行处理生成第一处理模块102可以处理的操控信号，发送给第一处理模块102，第一处理模块102根据操控信号将相应的动作指令发送给线控底盘，实现了对线控底盘的控制，从而实现了对无人驾驶车辆的远程操控。并且，当第一处理模块102在预设的时间内接收不到第二处理模块201发送的操控信号时，说明无人驾驶车辆有失控的风险，反之，如果车载摄像头采集的外部环境信息持续卡顿或丢帧，则提示控制无人驾驶车辆及时刹车，从一定程度上，提升了远程操控的安全性和灵活性。

本发明实施例提供的一种多设备并发远程操控系统，远程操控装置可以通过预设的通信方式同时与多个被操控设备进行通信，从而实现对多个被操控设备进行远程控制，该多设备并发远程操控系统对车辆改造小，改造成本极低，在系统的各个环节进行了优化和精简，去掉了许多不必要的设备，如大型云端服务器、激光雷达等，大大降低了系统的成本，实现设备的充分利用。并且该系统在常用移动通信信号不佳的情况下也可以应用，借助无线基站和光纤传输，实现了低成本，高实时性和高数据量的传输，不仅能够同时进行多设备并发远程操控，而且在极大程度上能够抵抗通信干扰，大大提高了远程操控的安全性与稳定性。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、第一处理模块执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM动力系统控制方法、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。