生成无人机作业策略的方法、装置及系统
文献发布时间:2024-04-18 20:01:23
技术领域
本发明涉及车辆领域,尤其涉及一种生成无人机作业策略的方法、装置及系统。
背景技术
现阶段的无人机可以执行飞行作业,如植保无人机喷洒农药、巡检无人机巡检电力线路等。为降低用户的操作门槛,现阶段的无人机通常可以按照设定好的作业路径(或称飞行路线)在作业区域内自动飞行以实现作业。但是,作业区域(如农田、山地等)可能存在一些无需作业的障碍物。以执行喷药作业的植保无人机为例,农田中除待喷药的农作物之外的池塘和树木等,即为喷药作业场景下的障碍物,自然无需对这些障碍物喷药。
在相关技术中,在无人机飞行作业之前,通常需要用户在地图软件上针对作业区域手动绘制作业路径,然后将该路径发送至无人机并启动作业。但由于地图更新往往并不及时,或者用户可能并不知晓该区域内存在哪些障碍物及其具体位置,所以其绘制的作业路径往往会覆盖上述障碍物,导致无人机对这些障碍物也进行作业。如用户绘制的作业路径若覆盖上述障碍物,则无人机对这些障碍物进行喷药不仅会浪费药液,而且可能造成水源污染、树木死亡等不良后果。
发明内容
有鉴于此,本发明提供一种生成无人机作业策略的方法、装置及系统,以解决相关技术中的不足。
具体地,本发明是通过如下技术方案实现:
根据本发明的第一方面,提供了一种生成无人机作业策略的方法,所述方法应用于车辆,包括:
接收采样无人机针对目标区域采集并发送的初始图像数据,并根据所述初始图像数据确定所述目标区域内是否存在障碍物;
在所述目标区域内存在障碍物的情况下,基于所述障碍物的位置信息生成针对所述目标区域的初始作业策略,所述初始作业策略包括初始作业路径及其对应的初始动作描述信息,针对任一障碍物所处的位置,所述初始作业路径不经过该位置,或者,所述初始作业路径经过该位置且所述初始动作描述信息指示该位置对应于无效作业动作;
将所述初始作业策略发送至作业无人机,以指示所述作业无人机沿所述初始作业路径飞行,并在飞行过程中执行所述初始动作描述信息指示的作业动作。
根据本发明的第二方面,提供了一种无人机控制系统,所述系统包括车辆、采样无人机和作业无人机,其中:
所述采样无人机,用于针对目标区域采集初始图像数据并将其发送至所述车辆;
所述车辆,用于根据所述初始图像数据确定所述目标区域内是否存在障碍物;在所述目标区域内存在障碍物的情况下,基于所述障碍物的位置信息生成针对所述目标区域的初始作业策略,所述初始作业策略包括初始作业路径及其对应的初始动作描述信息,针对任一障碍物所处的位置,所述初始作业路径不经过该位置,或者,所述初始作业路径经过该位置且所述初始动作描述信息指示该位置对应于无效作业动作;以及,将所述初始作业策略发送至作业无人机,以指示所述作业无人机沿所述初始作业路径飞行,并在飞行过程中执行所述初始动作描述信息指示的作业动作。
根据本发明的第三方面,提供了一种生成无人机作业策略的装置,所述装置应用于车辆,包括:
数据接收和障碍物确定单元,用于接收采样无人机针对目标区域采集并发送的初始图像数据,并根据所述初始图像数据确定所述目标区域内是否存在障碍物;
策略生成单元,用于在所述目标区域内存在障碍物的情况下,基于所述障碍物的位置信息生成针对所述目标区域的初始作业策略,所述初始作业策略包括初始作业路径及其对应的初始动作描述信息,针对任一障碍物所处的位置,所述初始作业路径不经过该位置,或者,所述初始作业路径经过该位置且所述初始动作描述信息指示该位置对应于无效作业动作;
策略发送单元,用于将所述初始作业策略发送至作业无人机,以指示所述作业无人机沿所述初始作业路径飞行,并在飞行过程中执行所述初始动作描述信息指示的作业动作。
根据本发明的第四方面,提供了一种车辆,所述车辆用于执行如第一方面中任一项所述方法的步骤以规划作业无人机的作业路径。
根据本发明的第五方面,提供了一种电子设备,包括:
处理器;用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现第一方面所述方法的步骤。
根据本发明的第六方面,提供了一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现第一方面所述方法的步骤。
本发明的实施例提供的技术方案具有以下有益效果:
通过该方案,一方面,在作业无人机开始针对目标区域作业前,先由采样无人机升空采集该区域的图像数据并回传至车辆,再由车辆自动识别障碍物,不仅提高了作业无人机的自主飞行能力,有助于降低用户的人力资源成本;而且障碍物的识别准确度更高,识别结果的时效性更好(从采样无人机采集初始图像数据到作业无人机起飞之间的间隔时间通常较短)。另一方面,针对任一障碍物所处的位置,若所述初始作业路径不经过该位置,即作业无人机不会途经该障碍物对应的作业位置(如该障碍物上方),自然不会对该障碍物执行有效作业动作(如针对该障碍物喷药);若所述初始作业路径经过该位置且所述初始动作描述信息指示该位置对应于无效作业动作,此时作业无人机虽然会途经该障碍物对应的作业位置,但仅会在该位置执行无效作业动作(如在该位置关闭药液喷头以停止喷药),因此同样不会对该障碍物执行有效作业动作。可见,在目标区域中存在障碍物的情况下,该方案能够确保无人机在按照初始作业路径飞行时对各个障碍物均不执行有效作业动作,因此能够大幅降低无人机对障碍物作业(即针对障碍物执行有效作业动作)的概率,从而有效避免了不当作业可能带来的诸多问题。
另外,通过本方案实现障碍物的自动识别和规避,还解决了复杂环境下无人机飞行路线规划效率低下的问题,有助于提升作业无人机的作业效率,从而节约其飞行时间和能源(如更省电)。而作业无人机通过按照所述初始作业策略进行飞行作业,可以减少甚至避免其在飞行过程中发生碰撞,提升了飞行安全性。而且车辆自动确定障碍物并自动规划包括作业路径在内的作业策略,无需人工干预,降低了操作复杂度,提高了无人机及其控制系统的智能水平。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明实施例示出的一种无人机控制系统的结构示意图;
图2是本发明实施例示出的一种生成无人机作业策略的方法的流程图;
图3是本发明实施例示出的一种植保无人机的作业场景示意图;
图4是本发明实施例示出的一种目标区域中各个障碍物的识别结果示意图;
图5是本发明实施例示出的一种植保无人机的作业路径的示意图;
图6是本发明实施例示出的另一种植保无人机的作业路径的示意图;
图7是本发明实施例示出的一种电子设备的示意结构图;
图8是本发明实施例示出的一种生成无人机作业策略的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
针对相关技术中存在的前述技术问题,本发明提出由车辆根据待作业的目标区域的图像数据识别障碍物,根据识别结果生成作业策略并下发至作业无人机的作业策略生成方案,以期使得作业无人机按照该策略避免对障碍物进行作业。下面结合附图对该方案的实施例进行详细描述。
首先,本发明提出一种无人机控制系统,该系统包括车辆、采样无人机和作业无人机,其中:
所述采样无人机,用于针对目标区域采集初始图像数据并将其发送至所述车辆;
所述车辆,用于根据所述初始图像数据确定所述目标区域内是否存在障碍物;在所述目标区域内存在障碍物的情况下,基于所述障碍物的位置信息生成针对所述目标区域的初始作业策略,所述初始作业策略包括初始作业路径及其对应的初始动作描述信息,针对任一障碍物所处的位置,所述初始作业路径不经过该位置,或者,所述初始作业路径经过该位置且所述初始动作描述信息指示该位置对应于无效作业动作;以及,将所述初始作业策略发送至作业无人机,以指示所述作业无人机沿所述初始作业路径飞行,并在飞行过程中执行所述初始动作描述信息指示的作业动作。
本发明所述的目标区域即为待作业的对象所处的物理空间,所述待作业的对象可以为待喷药的农田(植保场景)、待巡检的电力传输线路(电力巡检场景)等。无人机在目标区域中飞行的同时执行作业动作(如喷药、用电锯或激光除障等),以实现作业。其中,所述目标区域中可能存在无需作业或无法作业的物体,如农田中的池塘、河流或行人等(这类物体无需喷药),再如电力传输线路旁边的广告牌或山崖等(这类物体可能无法通过电锯或激光去除),这类物体即为本发明所述的“障碍物”。可以理解的是,目标区域中的哪些物体是障碍物,可以根据该目标区域的性质、作业内容、作业方式和/或目的等实际情况确定,本发明并不对此进行限制。下文以对农田喷药的植保场景为例进行说明。
在一实施例中,所述无人机控制系统中的采样无人机用于(在作业无人机起飞之前)针对目标区域采集初始图像数据,并将其发送至车辆。所述车辆用于根据所述初始图像数据确定目标区域内是否存在障碍物,进而在目标区域内存在障碍物的情况下生成初始作业策略并将其发送至作业无人机;其中,所述初始作业策略中包含初始作业路径和初始动作描述信息,所述初始动作描述信息用于指定(或称描述)所述初始作业路径上各个位置点分别对应的作业动作,以便作业无人机根据该信息确定在初始作业路径上的任一位置应当执行何种作业动作。所述作业无人机用于沿所述初始作业策略中的初始作业路径飞行,并在飞行过程中执行所述初始动作描述信息指示的作业动作,如在任一时刻处于某一位置时,可以根据该信息确定此时(即在当前位置)应当喷药(即执行有效作业动作)还是停止喷药(即执行无效作业动作)。
本发明涉及两类无人机,即采样无人机和作业无人机,鉴于上述无人机都需要飞行,所以无人机均装配有机架和螺旋桨等用于实现飞行功能的飞行模块。除此之外,鉴于采样无人机需要在飞行过程中采集初始图像数据,所以采样无人机还需要装配有摄像头,以用于采集初始图像数据。如图1所示,采样无人机200装配有摄像头201。类似的,鉴于作业无人机需要在飞行过程中执行作业动作,所以所述作业无人机需要装配动作模块,以用于执行所述作业动作。如图1所示,在植保场景下,作业无人机300(属于植保无人机)上装配有由药箱和喷头等组件构成的喷药模块301,当然,不同类型的动作模块可以用于执行不同的作业动作,可以根据实际需要设置。
在一实施例中,所述作业无人机可以包括所述采样无人机,如在作业无人机300上装配有摄像头的情况下,可以将该无人机作为采样无人机,即可以将该无人机放飞至目标区域上方采集所述初始图像数据。当然,鉴于采集的初始图像数据需要尽可能的完整覆盖目标区域,所以对于采样无人机的飞行高度、飞行速度和摄像头分辨率等要求较高;而用于实现作业的作业无人机通常体积和重量较大,飞行高度和速度有限,而且可能并未装配摄像头,所以作业无人机可能难以满足上述要求。对此,也可以选用区别于所述作业无人机的其他无人机(如更加轻便的小型无人机)作为采样无人机,此时作业无人机不包括所述采样无人机,即二者分别为不同的无人机。
本发明所述的车辆,就功能形式而言,可以为皮卡车、轿车、SUV(Sport UtilityVehicle,运动型多用途车)房车、货车等;就动力形式而言,可以为燃油车或者新能源车(如混动车、纯电车、氢能源车、甲醇能源车等),本发明对所述车辆的具体形式并不进行限制。但需要说明的是,所述车辆自身至少需要具备计算和控制功能,如该车辆可以装配有控制模块,该模块用于实现本发明所述生成无人机作业策略的方法的逻辑。
如图1所示的车辆100即为皮卡车,本发明所述的任一无人机可以从该皮卡车的后斗内或后斗的上盖表面起飞;和/或,所述任一无人机也可以降落在所述皮卡车的后斗内或后斗的上盖表面。以采样无人机200为例,其可以在车辆100的后斗102内起降,也可以在后斗102的上盖103表面起降,如从上盖103表面的P0处起飞或降落在P0处,可以根据实际情况选取起降位置。具体而言,可以在后斗102的表面或者上盖103的表面安置停机坪,以便采样无人机200在该停机坪上实现起降。实际上,采样无人机200还可以在车顶或者车外的空地等任意合适位置起降,本发明实施例对于起降位置并不进行限制。当然,作业无人机300的起降方式与前述采样无人机200类似,不再赘述。
另外,所述车辆和各个无人机还分别具备无线通信能力,如任一方可以装配有无线通信模块,以用于建立无线连接。所述无线连接可以为WiFi、蓝牙、BLE、星闪(Nearlink)、LoRa、NB-IOT、ZigBee等任意形式,或者也可以蜂窝网络(又称移动网络,如3G、4G、5G、CDMA、FDMA、TDMA、PDC、TACS、AMPS等),不再赘述。当然,车辆和无人机也可以通过无线光通信技术实现数据交互,如二者各自安装有光信号的发射器、接收器和相关调制电路等,不再赘述。以无线连接为例,图1所示的采样无人机200可以通过与车辆100之间的无线连接将采集到的初始图像数据发送至车辆100,作业无人机300可以通过与车辆100之间的无线连接接收车辆发送的初始作业策略,并在飞行过程中与车辆100进行通信。
在一实施例中,所述车辆可以装配有显示模块以实现显示功能。例如,车辆100驾驶舱内可以装配中控屏幕101、后座内可以装配固定式或活动式屏幕(图中并未示出),车内合适位置(如前挡风玻璃处)也可以装配HUD(Head-up-Display,抬头显示)等,不再赘述。当然,上述显示模块还可以集成有用户交互功能,如所述中控屏幕可以为触摸屏,用户可以通过触摸操作与车辆的车机系统进行人机交互。
本控制系统的用户可以为所述车辆的操作人员,如驾驶员或乘客等,本发明实施例并不对此进行限制。当然,所述操作人员也可以操控无人机,如可以为无人机的飞手。在一些实施例中,本方案的车辆可以实现对无人机起降过程和作业过程的自动控制,所以即便没有专业飞手,也可以实现无人机的自动起降和自动作业。
在一些实施例中,除车辆和无人机之外,所述控制系统还可以包括所述用户使用的终端设备,该设备装配有显示模块,可以用于显示车辆发送来的数据(如所述初始图像数据、确定出的所述障碍物等)。另外,该终端设备可以与车辆建立有网络连接(可以为有线连接或无线连接),以便实现数据交互。如图1所示,用户使用的终端设备为手机400,其与车辆100之间建立有无线连接,此时该手机即可作为控制系统的一部分。手机只是用户可以使用的一种类型的终端设备。实际上,用户还可以使用诸如下述类型的终端设备:笔记本电脑、平板电脑(或称掌上电脑,PDAs,Personal Digital Assistants)、工作站(Work Station)、可穿戴设备(如智能眼镜、智能手表等)、VR(Virtual Reality,虚拟现实)设备、AR(Augmented Reality,增强现实)设备等,本发明实施例并不对此进行限制。
在一实施例中,所述控制系统还可以包括运行在远程服务器中的服务端,所述车辆中可以运行相应的客户端,该客户端可以与所述服务端实现数据交互,如向服务端上传障碍物的识别结果以及从服务端获取历史障碍物的识别结果等,详见下文实施例,此处暂不赘述。如图1所示,车辆100可以通过网络10访问服务器500(实际是车辆100中运行的客户端访问服务器500中运行的服务端),与之进行数据交互。其中,所述服务器500可以为包含一独立主机的物理服务器,或者也可以为主机集群承载的虚拟服务器、云服务器等,本发明并不对此进行限制。网络10可以包括多种类型的有线或无线网络。
图2是本发明实施例示出的一种生成无人机作业策略的方法的流程图,如图2所示,该方法应用于车辆,包括下述步骤202-206。
步骤202,接收采样无人机针对目标区域采集并发送的初始图像数据,并根据所述初始图像数据确定所述目标区域内是否存在障碍物。
在采样无人机起飞前或飞行过程中,用户可以从预设地图中指定目标区域的位置和范围(如圈定区域边界等),并由车辆将上述位置和范围告知采样无人机,以由该无人机自动采集上述初始图像数据。
在一实施例中,用户可以在车辆上放飞采样无人机,以由其飞行至目标区域上方采集所述初始图像数据。如前所述,在所述车辆为皮卡车的情况下,可以在该皮卡车的车顶、后斗内或后斗的上盖表面放飞所述采样无人机;或者,也可以在车外空地或停机坪方位所述采样无人机等。其中,放飞过程可以由用户在车辆内操作完成,如用户在前述中控屏幕101中实施放飞触发操作,车辆100响应于该操作向采样无人机200发起起飞开始指令;或者,用户也可以在手机400中实施放飞触发操作,由手机400通知车辆100向采样无人机200发起起飞开始指令。进一步的,采样无人机200可以从接收到的起飞开始指令中获取飞行策略或者读取本地预存的飞行策略,然后按照该飞行策略自动起飞。当然,采样无人机200也可以由用户通过手柄控制起飞,不再赘述。
在飞行至目标区域上方合适位置后,采样无人机可以针对该区域拍摄初始图像数据,并将该图像数据发送至车辆100。需要说明的是,本发明所述的初始图像数据可以为图片或视频(当然,视频也可以视为按照确定帧率采集的图片序列),如图1所示的采样无人机200可以在目标区域的中心附近上方的合适位置拍摄一张图片或一段视频,也可以在目标区域上方飞行(如环绕目标区域一周)过程中拍摄多张图片或一段视频,本发明并不对此进行限制。与初始图像数据类似的,本说明书下文所述的实时图像数据也可以为图片或视频,不再赘述。
在一实施例中,在所述采样无人机采集所述初始图像数据的过程中,用户可以针对所述采样无人机实施无人机控制操作,相应的,车辆可以响应于该操作控制所述采样无人机的飞行状态和/或拍摄状态,从而实现用户对上述飞行状态和/或拍摄状态的控制。其中,所述飞行状态可以包括采样无人机的飞行方向、速度、高度等,通过这些参数可以控制采样无人机平稳高效飞行至合适的拍摄位置。所述拍摄状态可以包括使用采样无人机上的哪个摄像头(不同摄像头的视场角、分辨率等参数往往不同)、所使用摄像头的拍摄参数(如焦距、光圈大小、摄像头朝向等)等,通过这些参数可以控制采样无人机上的摄像头拍摄到高质量的初始图像数据,有助于提升后续车辆识别障碍物的准确度。
在采集所述初始图像数据完成后,所述采样无人机可以返航。具体的,车辆可以在接收到初始图像数据之后判断数据质量(如清晰度、反光程度等)是否满足障碍物的识别要求:若不满足要求,则可以指示采样无人机重新采集初始图像数据;反之,若满足要求,则可以指示采样无人机返航,并开始根据所述障碍物确定目标区域是否存在障碍物。当然,考虑到判断数据质量是否满足障碍物的识别要求可能需要一定时长,所以车辆可以在接收到初始图像数据是指示采样无人机悬停等待,以节省无人机电量。无人机返航后,其降落位置(即落地的位置)与放飞位置(即起飞前所在的位置)可以相同,也可以不同,本发明并不对此进行限制。
在接收到采样无人机发送的初始图像数据后,所述车辆可以根据该数据确定目标区域内是否存在障碍物。在一实施例中,可以使用训练完成的障碍物识别模型识别目标区域中的各个障碍物。其中,所述障碍物识别模型可以采用基于深度学习的CNN(Convolutional Neural Network,卷积神经网络)架构,具体可以采用VGGNet技术。上述模型可以通过有监督训练的方式训练完成,如预先获取多种场景、多种障碍物类型分别对应的样本图像数据,各个样本图像数据均被标记有相应的障碍物标签,将上述样本图像数据作为训练样本输入待训练的CNN基础模型,并根据输出结果调整所述CNN基础模型的模型参数,直至验证结果满足要求时停止训练,即可得到所述障碍物识别模型。通过该模型,可以准确识别所述目标区域中是否存在障碍物、存在哪些障碍物等,识别准确度较高。其中,在所述车辆的本地算力满足所述障碍物识别模型的算力需求的情况下,该模型可以运行在车辆本地,以实现障碍物的本地识别,提升障碍物识别和整体处理效率;当然,该模型也可以运行在所述服务端,以节省车辆本地的算力(降低车辆的数据处理压力),避免出现车机系统宕机等故障。
除此之外,也可以通过像素点对比的方式确定各个障碍物。以所述初始图像数据为图片为例,在识别农田中的障碍物时,鉴于同一片农田中的农作物外观通常较为接近,而与河流、房屋等障碍物的外观存在较大区别,所以可以计算所拍摄图片中各个相邻像素点之间的参数差异,如计算亮度梯度,或者R、G、B三通道的颜色值梯度等,然后从中查找与周围像素点的参数差异大于阈值的像素点块,并将该像素点块对应的物体确定为障碍物。
通过上述方式识别障碍物,若识别出至少一个障碍物,即表明所述目标区域存在障碍物;否则,若识别不出任何障碍物(即识别出的障碍物数量为零),即表明所述目标区域不存在障碍物。所述目标区域内不存在障碍物,意味着可以作业无人机需要对该区域内的所有位置均进行作业(即该区域内没有需要规避作业的地方),如目标区域内的各个地方都需要喷药。此时,车辆可以生成覆盖所述目标区域的初始作业策略,该初始作业策略可以包括初始作业路径及其对应的初始动作描述信息,其中,所述初始作业路径经过所述目标区域的全部位置,且所述初始动作描述信息用于指示所述作业无人机在所述全部位置处均执行有效作业动作,即指示作业无人机在目标区域内的各个区域均进行有效作业。
按照位置发生变化的频繁程度不同,目标区域中可能存在的障碍物可以分两类,即长期障碍物和短期障碍物。其中,所述长期障碍物的位置通常不会在短时间内发生变化,如山川、河流、树木、房屋等,而所述短期障碍物的位置可能会在短时间内发生变化,如行人、交通工具、动物等。如图3所示的目标区域中存在大片的田地,田地中散落分布有树木(B1和B5)、河流(B2)、房屋(B3和B4)、自行车(B5)和行人(B6)等障碍物。可以理解的是,上述B1~B5的位置通常较为固定(通常不会在短时间内移动),应当视为长期障碍物;而B6~B7的位置很可能在短时间内发生变化,应当视为短期障碍物。
无论前述长期障碍物还是短期障碍物,均可以通过前述障碍物方式识别得到。以通过前述障碍物识别迷行识别为例,识别出的障碍物的识别结果中即可包含各个障碍物的类型,如任一障碍物的识别结果中可以记录该障碍物属于长期障碍物还是短期障碍物。当然,此时的障碍物识别模型在训练过程中使用的样本图像数据需要标注有准确的障碍物类型标签。
实际上,为了减少车辆(或服务端)确定障碍物的计算任务,可以通过简化方式确定前述长期障碍物。例如,所述车辆(或者其他车辆)在本次作业之前可能已经确定过所述目标区域内存在的各个障碍物(下称这些障碍物为历史障碍物),这些历史障碍物中可能包括历史长期障碍物和历史短期障碍物,所述车辆本地或者所述服务端处可以存储有这些历史障碍物的识别结果。另外,可以对各个历史障碍物分别设置相应的有效期,其中历史长期障碍物的有效期不短于历史短期障碍物的有效期。如针对目标区域上一次作业时确定出的各个历史障碍物,可以为其中的历史长期障碍物分别设置一年的有效期,并对其中的历史短期障碍物分别设置一个月的有效期。当然,可以根据障碍物的类型为上述历史障碍物设置更细颗粒度的有效期,以便实现障碍物的精细化管理,不再赘述。
基于此,在本次确定目标区域中的各个障碍物时,若当前未超出所述历史长期障碍物的有效期,则可以将所述历史长期障碍物确定为所述目标区域内当前存在的长期障碍物,而无需再对上述各个长期障碍物的所在位置进行障碍物识别,从而减少障碍物识别过程的计算量。若当前时刻已超出所述历史长期障碍物的有效期,则可以根据所述初始图像数据识别所述目标区域内当前存在的长期障碍物,并在识别到长期障碍物的情况下,使用该长期障碍物更新所述历史长期障碍物及其有效期,更新后的所述有效期可以用于下次作业时识别新的长期历史障碍物。当然,对于所述短期障碍物同样可以采用上述比较有效期的方式进行简化。可以理解的是,通过上述方式,可以将目标区域内长期障碍物所在的位置划分为作业禁区,有效减少障碍物识别过程的计算量。
鉴于识障碍物通常具有一定的大小和形状,且作业无人机的飞行路径通常是较为规则的直线段,所以为了确保后续生成的初始作业路径较为准确合理,可以为确定出的各个障碍物划定障碍区。示例性的,可以采用根据障碍物的位置信息(如GPS定位信息等)及其图像识别结果,采用DBSCAN等空间聚类算法进行聚类运算得到障碍物的障碍区。其中,任一障碍物的障碍区应当不小于该障碍物外边缘的轮廓,换言之,任一障碍物的障碍区应当完全覆盖该障碍物外边缘的轮廓线,自然,该障碍区的面积应当大于障碍物在地面上正投影的面积。在存在多个障碍物的情况下,任意两个障碍物的障碍区可以存在间隔、相邻或存在重叠等。
另外,任一障碍物的障碍区的外形可以为矩形、圆形、平行四边形等较为标准的几何图像;当然,在任一障碍物的外形不规则且面积较大的情况下,其障碍区的外形也可以与该障碍物的外部轮廓线重合,以避免强行划定形状规则的障碍区可能造成的有效作业区域损失。本发明并不对此进行限制。如图4所示,对于识别出的障碍物B1~B7,其中B1和B3~B7的障碍物为中间带叉号的矩形,而河流B2的形状不规则且面积较大,因此其障碍区即与该河流的外形轮廓线(即河岸线)重合。
在一实施例中,所述车辆可以触发显示模块显示所述初始图像数据和/或确定出的所述障碍物,以便用户查看。其中,为便于用户查看,所述初始图像数据可以与地图叠加显示,所述障碍物可以和所述初始图像数据和/或所述地图叠加显示。可以理解的是,虽然本发明描述为“显示障碍物”,但实际可以显示的该障碍物的前述障碍区,如图4所示。另外,还可以显示所述障碍物的相关信息,如前述位置信息和类型等,不再赘述。
所述显示模块可以被装配在所述车辆上,也可以被装配在用户使用的终端设备上。如图1所示,以初始图像数据为例,车辆100可以将采样无人机发送来的初始图像数据显示在中控屏幕101上,此时用户无需出驾驶舱即可直接查看上述数据;或者,也可以将该数据发送至手机400并指示后者将该数据显示在屏幕上,此时用户可以在车内查看,也可以在车外任意合适位置查看,从而更便于用户在户外场景(如植保场景)边界查看上述数据。
如前所述,可能在目标区域中确定出多个障碍物,若这些障碍物包括至少一个长期障碍物和至少一个短期障碍物,则为便于用户直观地感知上述两类障碍物的区别,可以区别展示上述两类障碍物。换言之,在确定出多个障碍物且所述多个障碍物包括短期障碍物和长期障碍物的情况下,可以触发显示模块以不同的显示方式分别显示所述短期障碍物和所述长期障碍物。如图4为图3所示目标区域内各个障碍物的识别结果的显示效果,可见,实际显示的是各个障碍区的障碍区。其中,长期障碍物B1和B3~B5显示为带叉号的矩形图标,长期障碍物B2显示为待叉号的不规则图形(与河岸线重合),短期障碍物B6~B7显示为填充斜线的方块。除此之外,还可以通过颜色区别显示,如可以将长期障碍物B1~B5的各个叉号图标(包括B3的河流区域)设置为红色,将短期障碍物B6~B7的方块显示为黄色等,以便于用户直观地感知两类障碍物的区别。
步骤204,在所述目标区域内存在障碍物的情况下,基于所述障碍物的位置信息生成针对所述目标区域的初始作业策略,所述初始作业策略包括初始作业路径及其对应的初始动作描述信息,针对任一障碍物所处的位置,所述初始作业路径不经过该位置,或者,所述初始作业路径经过该位置且所述初始动作描述信息指示该位置对应于无效作业动作。
在通过前述方式确定所述目标区域内存在障碍物的情况下,可以在识别过程或者识别后进一步确定各个障碍物的位置信息,如障碍区的大小、形状、中心点坐标(该坐标可以为从目标区域的基准点出发的相对坐标,也可以是经/纬度等绝对坐标)等。
考虑到前述障碍物确定结果可能存在一定的误差甚至确定错误,或者用户可能恰恰想要针对某些障碍物进行作业,对此,本方案还为用户提供了手动调整障碍物的功能。在一实施例中,在前述显示模块显示有至少一个障碍物的情况下,用户可以针对任一障碍物实施障碍物调整操作,而所述车辆可以响应于该操作调整所述任一障碍物的位置信息,如调整障碍物外边缘轮廓的大小、外边缘轮廓线的形状、中心点位置等,从而,所述车辆可以基于调整后的所述位置信息生成针对所述目标区域的初始作业策略。
基于上述位置信息生成的初始作业策略包括初始作业路径和初始动作描述信息。如前所述,所述初始动作描述信息用于指定(或称描述)所述初始作业路径上各个位置点分别对应的作业动作,以便作业无人机根据该信息确定在初始作业路径上的任一位置应当执行何种作业动作。所述作业无人机用于沿所述初始作业策略中的初始作业路径飞行,并在飞行过程中执行所述初始动作描述信息指示的作业动作,如在任一时刻处于某一位置时,可以根据该信息确定此时(即在当前位置)应当喷药(即执行有效作业动作)还是停止喷药(即执行无效作业动作)。另外需要说明的是,所述初始动作标识信息还可以用于指示作业参数,如作业无人机的飞行速度、飞行高度、喷头的喷药速度和喷药方向等。
在一实施例中,车辆基于所述障碍物的位置信息生成所述初始作业策略时,可以先根据所述障碍物的位置信息确定所述目标区域内不包含所述障碍物的作业区域,然后生成覆盖所述作业区域的初始作业路径及其对应的初始动作描述信息。可以理解的是,所述作业区域可以划分为两部分:各个障碍物的障碍区的并集构成的非作业区域,和非非作业区域之外的作业区域。显然,所述作业区域中不包含任何障碍物,因此覆盖该作业区域的初始作业路径必然不会覆盖各个障碍物,从而确保按照初始作业路径飞行的作业无人机不会对各个障碍物进行作业。其中,初始作业路径可以采用启发式搜索A*算法生成,具体生成方法可以参见相关技术中针对该算法的说明,此处不再赘述。
如图5所示,在已知障碍物B1~B7的位置信息的情况下,可以确定该区域中除B1~B7所在位置之外的全部位置构成的作业区域,并生成覆盖该作业区域的初始作业路径及其对应的初始动作描述信息。鉴于河流B3将作业区域的田地分割为两块,因此可以针对这两块田地分别生成相应的初始作业路径,即图5所示Contrail1和Contrail2。其中,Contrail1为{P11→P13},该路径不经过B2和B3;Contrail2为{P21→P22}(即该路径的起点和终点分别为P21和P22,具体路径如图所示,下同),该路径不经过B1、B3~B5和B6~B7。可以理解的是,上述Contrail1和Contrail2共同构成覆盖作业区域的(即目标区域对应的)初始作业路径,因此两路径可以连接为一个路径,如Contrail1的终点P13可以连接P22,从而作业无人机可以在沿Contrail1飞行至P13后可以停止喷药并飞行至P22,再沿Contrail2逆向飞行至P21,最终完成全部作业,即该完成路径为{P11→P13→P22→P21}。
在另一实施例中,车辆基于所述障碍物的位置信息生成所述初始作业策略时,直接生成覆盖所述目标区域的初始作业路径及其对应的初始动作描述信息,其中,初始动作描述信息用于指示作业无人机在经过障碍物时执行无效作业动作(如在行人上方时关闭喷嘴以停止喷药),而在不经过障碍物时执行有效作业动作(在农作物上方时开启喷嘴正常喷药)。所述初始作业路径可以采用启发式搜索A*算法生成,具体生成方法可以参见相关技术中针对该算法的说明,此处不再赘述。
如图6所示,可以直接生成覆盖该目标区域的初始作业路径及其对应的初始动作描述信息。如生成一条初始作业路径Contrail0(图中并未示出),即{P11→P12→P22→P26}(即该路径的起点和终点分别为P11和P26,依次经过P12和P22,具体路径如图所示,下同)。或者,也可以生成两条初始作业路径,即Contrail1和Contrail2,其中Contrail1为{P11→P12→P13},该路径经过B1、B3和B6;Contrail2为{P21→P22→P23→P24→P25→P26},该路径经过B4和B5(还可能经过B7’,详见下文)。当然,针对任一具体的障碍物,所述初始作业路径也可以不经过该障碍物,如Contrail2从P23直行至P24,而不经过河流B3。
可以理解的是,所述初始作业路径可以由多个转向点以及连接各个相邻转向点的线段构成。除起点和终点之外,初始作业路径中的各个转向点分别连接两条线段,作业无人机沿所述初始作业路径飞行时,其沿任一线段飞行至某一转向点后,将以该转向点为中心进行转向(即将飞行方向调整为该转向点连接的另一线段的方向),然后按照调整后的方向飞行(即沿所述另一线段飞行)。如图6所示,作业无人机沿初始作业路径Contrail1飞行过程中,先从P22出发飞行至P23,在P23将飞行方向调整为朝向P24,然后飞行至P24。
在生成上述初始作业策略(包括初始作业路径和初始动作描述信息)后,所述车辆还可以触发前述显示模块显示所述初始作业路径和/或初始动作描述信息。具体显示方式与前述初始图像数据和所述障碍物的显示方式类型,不再赘述。
步骤206,将所述初始作业策略发送至作业无人机,以指示所述作业无人机沿所述初始作业路径飞行,并在飞行过程中执行所述初始动作描述信息指示的作业动作。
在一实施例中,本方案还为用户提供了手动调整初始作业路径的功能。例如,在显示模块显示有所述初始作业路径的情况下,用户可以针对所述初始作业路径实施路径调整操作,而所述车辆可以响应于该操作调整所述初始作业路径;相应的,所述车辆在将所述初始作业策略发送至作业无人机时,具体可以将调整后的所述初始作业路径发送至作业无人机,该方式允许用户手动调整初始作业路径,如可以对作业路径的折返间隔、起点和终点等进行调整,进而作业无人机按照调整后的初始作业路径飞行并作业,能够确保作业效果更好的符合用户需求,提升用户的使用体验。当然,上述调整是在车辆自动生成的初始作业路径的基础上进行的微调,相对于由用户手动绘制完整的初始作业路径而言,大大简化了用户操作。
在一实施例中,车辆在将所述初始作业策略发送至作业无人机时,可以根据作业无人机的数量采用相应的发送方式。例如,在作业无人机的数量为一个的情况下,可以将所述初始作业策略中的初始作业路径和初始动作描述信息全部发送至该作业无人机。而在作业无人机的数量为多个的情况下,可以将所述初始作业路径切分成各台作业无人机分别对应的初始路径片段;然后将各个所述初始路径片段及其对应的初始动作描述信息分别发送至相应的作业无人机,以指示各台作业无人机分别沿自身接收到的初始路径片段飞行,并在飞行过程中执行该初始路径片段对应的初始动作描述信息所指示的作业动作。可以理解的是,所述初始作业路径对应的初始动作描述信息可以视为信息集合,在将所述初始作业路径切分成多个初始路径片段的情况下,还需要将该信息集合拆分成各个初始路径片段分别对应的信息子集,其中任一初始路径片段及其对应的信息子集将被发送至同一台作业无人机。基于此,接收到任一初始路径片段和相应的初始动作描述信息(即该片段对应的信息子集)的任一作业无人机,即沿该初始路径片段飞行,并在飞行过程中执行该信息子集所指示的作业动作。
承接于前述实施例,如图5所示,针对所述目标区域的初始作业策略包括初始作业路径Contrail1和Contrail2以及二者分别对应的初始动作描述信息。若作业无人机的数量为一个,则可以将所述目标区域的初始作业策略均发送至该作业无人机,该无人机可以沿图5所示的{P11→P13→P22→P21}飞行,因为飞行过程中不经过任何障碍物,所以可以全程喷洒药液(即全程执行有效作业动作)。若作业无人机的数量为两个,则可以将Contrail1及其对应的初始动作描述信息发送至其中一台作业无人机,该无人机可以沿图5所示的{P11→P13}飞行,因为飞行过程中不经过任何障碍物,所以可以全程喷洒药液;另外,可以将Contrail2及其对应的初始动作描述信息发送至另一台作业无人机,该无人机可以沿图5所示的{P21→P22}飞行,因为飞行过程中不经过任何障碍物,所以也可以全程喷洒药液。
承接于前述实施例,如图6所示,针对所述目标区域的初始作业策略包括初始作业路径Contrail0及其对应的初始动作描述信息。若作业无人机的数量为一个,则可以将所述目标区域的初始作业策略发送至该作业无人机,该无人机可以沿图6所示的{P11→P12→P22→P26}飞行,在经过障碍物B1和B3~B6(所在的位置)时可以关闭喷嘴以停止喷药,并在经过其他位置(下方是作物)时开启平喷嘴正常喷药。均若作业无人机的数量为两个,则可以将Contrail1及其对应的初始动作描述信息发送至其中一台作业无人机,该无人机可以沿图6所示的{P11→P12→P13}飞行,在经过障碍物B1、B3和B6时可以关闭喷嘴以停止喷药,并在经过其他位置时开启平喷嘴正常喷药;另外,可以将Contrail2及其对应的初始动作描述信息发送至另一台作业无人机,该无人机可以沿图6所示的{P21→P22→P23→P24→P25→P26}飞行,在经过障碍物B4和B5时可以关闭喷嘴以停止喷药,并在经过其他位置时开启平喷嘴正常喷药。
在所述作业无人机飞行作业过程中,所述目标区域包括已完成作业的已作业区域(对应于初始作业路径上已飞过的部分)和未完成作业的未作业区域(对应于初始作业路径上未飞过的部分)。如前所述,目标区域中可能存在短期障碍物,这类障碍物的位置可能在短期内发生变化,因此从采样无人机采集初始图像数据到作业无人机完成全部飞行作业之间的这段时间内,未作业区域内可能存在某些障碍物(如上述短期障碍物)的位置发生变化,或者其前方的未作业区域可能出现新的障碍物,此时作业无人机若仍按照前述初始作业策略飞行作业,则可能会对这些障碍物(下称当前障碍物)进行不当作业。对此,在作业无人机具备图像采集能力的情况下,其也可以在飞行过程中实时采集未飞行区域的实时图像数据并发送至车辆,以由车辆实施确定当前时刻的障碍物。
相应的,车辆可以接收正在沿所述初始作业路径飞行作业的作业无人机采集并发送的实时图像数据,并基于所述实时图像数据识别所述未作业区域内的当前障碍物。当然,可能未识别到任何当前障碍物,也可能识别到至少一个当前障碍物。在识别到当前障碍物的情况下,可以将该当前障碍物与所述未作业区域内的所述障碍物(即通过采样无人机采集的初始图像数据确定出的前述障碍物)进行比较,以确定二者是否相同,即障碍物类型、位置信息等是否相同。进而,若未识别到所述当前障碍物或者识别到的所述当前障碍物和所述未作业区域内的所述障碍物相同,即表明这段时间内所述未作业区域中的障碍物情况并未发生变化,此时可以指示所述作业无人机按照所述初始作业路径继续飞行作业。
若识别到的所述当前障碍物和所述未作业区域内的所述障碍物不同,即表明这段时间内所述未作业区域中的障碍物情况已发生变化,若作业无人机仍按照初始作业策略飞行作业则可能会对当前障碍物进行不当作业。因此,在识别出所述当前障碍物的情况下,作业无人机可以主动规避这些障碍物(即主动避障),避免对这些障碍物进行不当作业。
其中,假设所述作业无人机在飞行过程中的当前位置坐标为(x,y),而通过当前图像数据识别出的当前障碍物的位置坐标为(X_new,Y_new),则该无人机此刻与所述当前障碍物的距离D如下式(1)。
D=∑f_mew=sqrt((X_new-x)
进一步的,可以根据作业无人机的当前飞行速度计算所述D确定其对应的撞击时长,该撞击时长即为:假设按照所述初始作业路径继续飞行,从当前时刻至飞行到所述障碍物位置的时刻之间的间隔时长。另外,可以确定所述作业无人机切换新路径策略所需的路径变更耗时,该路径变更耗时包括所述车辆为该作业无人机生成新的作业策略(即下文所述的当前作业策略)所需的时间、所述车辆将所述当前作业策略下发到该无人机所需的时间、该无人机按照从此刻正在使用的所述初始作业策略切换到所述当前作业策略所需的时间(该时间与作业无人机的电机、旋翼等硬件有关)之和。
若所述撞击时长不大于(即小于或等于)所述路径变更耗时,即表明此刻开始切换新策略也无法顺利避开所述当前障碍物(可能会对所述当前障碍物进行不当作业甚至发生撞击),则此时作业无人机可以自行开始规避所述当前障碍物(即自动紧急避障)。
示例性的,可以结合人工势场法虚拟力场的相关算法,将所述初始作业路径上的下一个目标点(可以是当前位置前方的下一个转向点,或该路径的终点)作为引力源,并将所述当前障碍物作为斥力源,计算紧急避障的转向角度θ。例如,假设所述作业无人机的当前位置坐标为(x,y),所述当前障碍物的位置坐标为(X_obs,Y_obs),则作业无人机要避开所述当前障碍物的转向角度θ如下式(2)。
θ=atan2((Y_obs-y),(X_obs-x)) (2)
在按照所述转向角度θ飞行避开所述当前障碍物后,所述作业无人机可以从当前位置直接飞向所述下一个目标点飞行,或者也可以飞行至所述初始作业路径上距离当前位置最近的点,然后从带点触发向所述下一个目标点飞行。
反之,若所述撞击时长大于所述路径变更耗时,即表明此刻开始切换新策略能够顺利避开所述当前障碍物,则可以开始切换新策略。车辆可以基于所述当前障碍物的位置信息生成针对所述未作业区域的当前作业策略,与前述初始作业策略类似的,所述当前作业策略包括当前作业路径及其对应的当前动作描述信息,其中,针对任一当前障碍物所处的位置,所述当前作业路径不经过该位置,或者,所述当前作业路径经过该位置且所述当前动作描述信息指示该位置对应于无效作业动作;以及,将所述当前作业策略发送至所述作业无人机(即所述当前障碍物的位置涉及的作业无人机),以指示所述作业无人机按照所述当前作业路径飞行,并在飞行过程中执行所当前始动作描述信息指示的作业动作。通过该方式,可以在作业无人机作业过程中障碍物发生变化的情况下,有效避免对变化后的障碍物进行不当作业。
在生成所述当前作业策略之前,车辆同样可以按照前述方式为所述当前障碍物划定障碍区,进而将该障碍区的位置作为所述当前障碍物的位置。相应的,所述车辆生成所述当前作业路径时也可以采用前述A*算法,不再赘述。
承接于前述实施,如图6所示,假设两台作业无人机(下称F1和F2)分别沿上述Contrail1和Contrail2飞行作业。若在作业过程中,行人B7从图3所示的原位置(即采样无人机采集初始图像数据时的位置)移动至当前位置成为B7’(此时B7’的位置坐标即为前述(X_new,Y_new)或(X_obs,Y_obs)),则F2若沿Contrail2继续飞行将会飞过该行人。若车辆根据F2飞行至P25处时采集到的当前图像数据识别出所述行人B7’,鉴于此时的未作业区域对应于Contrail2中的{P25→P26}这段路径,可以按照前述方式生成该未作业区域对应的当前作业策略。其中,该当前作业策略可以绕过行人B7’(图中并未示出绕过部分的路径),也可以经过行人B7’且相应的当前动作描述信息指示F2在行人B7’上方停止喷洒药液,从而避免将药液喷洒至该行人身上。
在一实施例中,所述作业无人机可以从所述车辆上起飞(起飞时车辆位于下述第一位置),且所述车辆在所述作业无人机起飞后从第一位置移动至第二位置。对此,所述车辆可以根据所述第二位置和所述作业无人机的返航起点位置生成所述任一无人机的返航策略,并将所述返航策略发送至所述作业无人机,以使所述作业无人机按照所述返航路径降落在位于所述第二位置的所述车辆上。其中,所述返航起点位置可以为所述初始作业路径的终点或者也可以由所述作业无人机确定并包含在向所述车辆发送的返航请求中。所述第二位置可以从所述车辆的导航系统中获取,如将导航行程的终点作为所述第二位置;或者,也可以由车辆在行驶至第二位置并停车后自动确定,即将停车后的当前位置作为所述第二位置。
承接于前述实施,如图6所示,若车辆在第一位置location1处放飞作业无人机F1和F2,则F1沿Contrail1飞行完毕后,可以从终点P13处返航至位于location1的车辆上,从而完成F1的回收。另外,在F2沿Contrail2飞行的过程中,若车辆从location1移动至第二位置location2(移动轨迹如Trajectory所示),则车辆可以根据location2和Contrail2的终点P26生成相应的返航策略并发送至F2,从而F2在到达终点P26后,可以按照所述返航策略从该位置返航至位于location2的车辆上,从而完成F2的回收。
在该方案中,由采样无人机自动采集目标区域的初始图像数据并发送至车辆,相应的,车辆在根据所述初始图像数据确定目标区域存在障碍物的情况下,基于障碍物的位置信息生成针对该区域的初始作业策略,并将该策略发送至作业无人机以指示其按照所述初始作业策略飞行作业,即作业无人机在飞行过程中执行所述初始动作描述信息指示的作业动作,以在飞行的同时实现作业。
通过该方案,一方面,在作业无人机开始针对目标区域作业前,先由采样无人机升空采集该区域的图像数据并回传至车辆,再由车辆自动识别障碍物,不仅提高了作业无人机的自主飞行能力,有助于降低用户的人力资源成本;而且障碍物的识别准确度更高,识别结果的时效性更好(从采样无人机采集初始图像数据到作业无人机起飞之间的间隔时间通常较短)。另一方面,针对任一障碍物所处的位置,若所述初始作业路径不经过该位置,即作业无人机不会途经该障碍物对应的作业位置(如该障碍物上方),自然不会对该障碍物执行有效作业动作(如针对该障碍物喷药);若所述初始作业路径经过该位置且所述初始动作描述信息指示该位置对应于无效作业动作,此时作业无人机虽然会途经该障碍物对应的作业位置,但仅会在该位置执行无效作业动作(如在该位置关闭药液喷头以停止喷药),因此同样不会对该障碍物执行有效作业动作。可见,在目标区域中存在障碍物的情况下,该方案能够确保无人机在按照初始作业路径飞行时对各个障碍物均不执行有效作业动作,因此能够大幅降低无人机对障碍物作业(即针对障碍物执行有效作业动作)的概率,从而有效避免了不当作业可能带来的诸多问题。
另外,通过本方案实现障碍物的自动识别和规避,还解决了复杂环境下无人机飞行路线规划效率低下的问题,有助于提升作业无人机的作业效率,从而节约其飞行时间和能源(如更省电)。而作业无人机通过按照所述初始作业策略进行飞行作业,可以减少甚至避免其在飞行过程中发生碰撞,提升了飞行安全性。而且车辆自动确定障碍物并自动规划包括作业路径在内的作业策略,无需人工干预,降低了操作复杂度,提高了无人机及其控制系统的智能水平。
图7是本发明实施例示出的一种电子设备的示意结构图。请参考图7,在硬件层面,该设备包括处理器701、网络接口702、内存703、非易失性存储器704以及内部总线705,当然还可能包括其他业务所需要的硬件。本发明一个或多个实施例可以基于软件方式来实现,比如由处理器701从非易失性存储器704中读取对应的计算机程序到内存703中然后运行。当然,除了软件实现方式之外,本发明一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
图8本发明实施例示出的一种生成无人机作业策略的装置的框图。请参考图8,该装置可以应用于如图7所示的设备中,以实现本发明所述的技术方案。该装置应用于车辆,包括:
数据接收和障碍物确定单元801,用于接收采样无人机针对目标区域采集并发送的初始图像数据,并根据所述初始图像数据确定所述目标区域内是否存在障碍物;
策略生成单元802,用于在所述目标区域内存在障碍物的情况下,基于所述障碍物的位置信息生成针对所述目标区域的初始作业策略,所述初始作业策略包括初始作业路径及其对应的初始动作描述信息,针对任一障碍物所处的位置,所述初始作业路径不经过该位置,或者,所述初始作业路径经过该位置且所述初始动作描述信息指示该位置对应于无效作业动作;
策略发送单元803,用于将所述初始作业策略发送至作业无人机,以指示所述作业无人机沿所述初始作业路径飞行,并在飞行过程中执行所述初始动作描述信息指示的作业动作。
可选的,还包括:
无人机操控单元804,用于在所述采样无人机采集所述初始图像数据的过程中,响应于用户实施的无人机控制操作,控制所述采样无人机的飞行状态和/或拍摄状态。
可选的,所述障碍物包括长期障碍物,所述数据接收和障碍物确定单元801具体用于:
根据所述目标区域内历史障碍物的识别结果,确定所述目标区域内的历史长期障碍物及其有效期;
若当前时刻未超出所述历史长期障碍物的有效期,则将所述历史长期障碍物确定为所述目标区域内当前存在的长期障碍物;
若当前时刻已超出所述历史长期障碍物的有效期,则根据所述初始图像数据识别所述目标区域内当前存在的长期障碍物,并在识别到长期障碍物的情况下,使用该长期障碍物更新所述历史长期障碍物及其有效期。
可选的,所述策略生成单元802具体用于:
根据所述障碍物的位置信息确定所述目标区域内不包含所述障碍物的作业区域,并生成覆盖所述作业区域的初始作业路径及其对应的初始动作描述信息。
可选的,还包括:
显示触发单元805,用于触发显示模块显示下述至少之一:所述初始图像数据、确定出的所述障碍物、所述初始作业路径、所述初始动作表。
可选的,所述显示触发单元805具体用于:
在确定出多个障碍物且所述多个障碍物包括短期障碍物和长期障碍物的情况下,触发显示模块以不同的显示方式分别显示所述短期障碍物和所述长期障碍物。
可选的,
还包括障碍物调整单元806,用于在显示模块显示有至少一个障碍物的情况下,响应于用户针对任一障碍物实施的障碍物调整操作,调整所述任一障碍物的位置信息;
所述策略生成单元802具体用于:基于调整后的所述位置信息生成针对所述目标区域的初始作业策略。
可选的,
还包括路径调整单元807,用于在显示模块显示有所述初始作业路径的情况下,响应于用户针对所述初始作业路径实施的路径调整操作,调整所述初始作业路径;
所述策略发送单元803具体用于:将调整后的所述初始作业路径发送至作业无人机。
可选的,所述策略发送单元803具体用于:
在所述作业无人机的数量为多个的情况下,将所述初始作业路径切分成各台作业无人机分别对应的初始路径片段;
将各个所述初始路径片段及其对应的初始动作描述信息分别发送至相应的作业无人机,以指示各台作业无人机分别沿自身接收到的初始路径片段飞行,并在飞行过程中执行该初始路径片段对应的初始动作描述信息所指示的作业动作。
可选的,在所述作业无人机飞行作业过程中,所述目标区域包括已完成作业的已作业区域和未完成作业的未作业区域,所述装置还包括:
实时数据接收单元808,用于接收正在沿所述初始作业路径飞行作业的作业无人机采集并发送的实时图像数据,并基于所述实时图像数据识别所述未作业区域内的当前障碍物;
继续飞行指示单元809,用于若未识别到所述当前障碍物或者识别到的所述当前障碍物和所述未作业区域内的所述障碍物相同,则指示所述作业无人机按照所述初始作业路径继续飞行作业;
新路径飞行指示单元810,用于若识别到的所述当前障碍物和所述未作业区域内的所述障碍物不同,则基于所述当前障碍物的位置信息生成针对所述未作业区域的当前作业策略,所述当前作业策略包括当前作业路径及其对应的当前动作描述信息,其中,针对任一当前障碍物所处的位置,所述当前作业路径不经过该位置,或者,所述当前作业路径经过该位置且所述当前动作描述信息指示该位置对应于无效作业动作;以及,将所述当前作业策略发送至所述作业无人机,以指示所述作业无人机按照所述当前作业路径飞行,并在飞行过程中执行所当前始动作描述信息指示的作业动作。
可选的,所述作业无人机从所述车辆上起飞,且所述车辆在所述作业无人机起飞后从第一位置移动至第二位置,所述装置还包括:
返航策略生成单元811,用于根据所述第二位置和所述作业无人机的返航起点位置生成所述任一无人机的返航策略,并将所述返航策略发送至所述作业无人机,以使所述作业无人机按照所述返航路径降落在位于所述第二位置的所述车辆上。
可选的,所述作业无人机包括所述采样无人机。
基于前述实施例,本发明还提出一种车辆,所述车辆用于执行如前述任一实施例所述方法的步骤以规划作业无人机的作业路径。
在一实施例中,所述车辆可以为皮卡车。
虽然本发明包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本发明内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
- 车辆边界能力的测试方法、装置、设备、介质和车辆
- 车辆系统故障的修复方法、装置、设备、介质和车辆
- 电动车辆的驱动防滑控制方法、介质、整车控制器及控制装置
- 车辆控制装置、车辆、车辆控制装置的处理方法以及存储介质
- 车辆控制装置、车辆、车辆控制装置的处理方法以及存储介质
- 电动车辆充电电流分配方法、装置、设备及介质
- 电动车辆续航的方法、装置、电动车辆、设备和存储介质