一种无人机与智能车协作巡逻方法及系统

技术领域

本发明属于路径规划技术领域，尤其涉及一种无人机与智能车协作巡逻方法及系统。

背景技术

截至目前为止，无人机、智能车的身影在大众视野中愈发普及，从校园菜鸟智能车快递配送到低空无人机物流作业，无人机和智能车正部署在商业化的使用中，鉴于当今机器人行业，无论在智能配送领域还是军工、特殊营救领域，绝大多数的研究更加偏向于单机运作或者空中集群、陆地集群运作，而空中作业和陆地作业都有着其特有的局限性。

现有技术针对四旋翼无人机集群构造出了控制系统，但在深度信息缺失的条件下，基于纯图像的无人机实时路径规划效果差。

智能机器人迅速发展，并得到广泛应用。相继出现智能无人配送车的身影。与传统配送方式相比，无人配送车在承重量上优势尽显。一辆无人配送车的载重量通常在100斤以上。除了智能智能车的应用，无人机立体喷洒消毒、无人机隔空喊话、无人机上岗运物资等也进行了应用，但无论在智能配送领域还是军工、特殊营救领域，绝大多数的研究更加偏向于单机运作或者空中集群、陆地集群运作，而空中作业和陆地作业都有着其特有的局限性。智能车的研究在工作效率、传感器范围、地形穿越性和攀爬能力有限等方面始终无法突破其自身壁垒，无人机研究也受其他几个主要因素的制约，如续航时间、负载能力、飞行稳定性等。

如何将陆空两项集群工作结合起来的方案，建立一套独立、可移植性强的机器人系统，让其可以根据不同机器人的功能、使用场景、特殊要求等进行二次开发，来解决单陆地作业、单空中作业各自的痛点问题，更好的完成配送、搜救等任务的实现，这是该领域要解决一大难点。

通过上述分析，现有技术存在的问题及缺陷为：现有市场上现有的无人机负载小、续航时间短，无人小车作业区域有限、物流运输环节自动化受阻。

发明内容

为克服相关技术中存在的问题，本发明公开实施例提供了一种无人机与智能车协作巡逻系统及方法。

所述技术方案如下：无人机与智能车协作巡逻方法，包括：

S1，构建HWT-OS操作系统；

S2，进行无人机与智能车的任务调度以及调配、实时场景建图、目标检测、路径规划、避障及定位；

S3，无人机与智能车组成的机器人系统在陆空工作区间范围进行作业；

S4，对陆空工作区间范围内的收集的动态目标信息图像、静态目标信息图像，利用数字孪生进技术进行空间坐标位置的识别预警，并发送调度中心进行可视化示出。

在步骤S1中，构建HWT-OS操作系统，包括：将HWT-OS操作系统一部分部署在不同机器人终端作为不同的CPU使用，将未分配任务作为待执行的进程；将HWT-OS操作系统另一部分部署在中心服务器端，用于接收来自客户端提交的需要机器人完成的任务，并按照任务优先级和机器人终端自身状态实现任务的调配工作。

在任务发布客户与中心服务器之间，中心服务器与机器人终端之间通过统一的任务消息格式HWT_message进行数据通讯；

任务消息格式包括：任务发布客户、任务优先级、任务接收地点；其中，任务发布客户解释任务来源，任务优先级则指出任务的重要程度，任务接收地点解释任务大致执行范围；

在机器人终端中，机器人执行任务队列已满，则中心服务器将机器人终端对应的状态机设置为忙碌；机器人执行任务队列未满，则中心服务器将机器人终端对应的状态机设置为空闲；机器人终端的功能信息包括：机器人作业区域及机器人剩余电量，机器人作业区域用于描述机器人是否可在目标范围内执行任务，机器人剩余电量用于判断机器人是否能够完成任务。

在步骤S2中，进行无人机与智能车的任务调度以及调配、实时场景建图、目标检测、路径规划、避障及定位，包括：基于深度强化甄别的SLAM自主建图算法进行实时场景建图，在适配Cartographer环境的基础上，引入ORB-SLAM的视觉SLAM技术；通过将激光SLAM和视觉SLAM相结合，进行回环检测与图像优化进行地图构建；回环检测在SLAM过程中检测到已经访问过的地点，并通过识别地点的共享特征点或特征描述子来建立环路闭合，修正先前位置估计的误差；图像优化则通过优化算法对SLAM过程中估计的相机轨迹和地图进行优化。

进一步，所述路径规划采用基于强化甄别的无人机自主局部路径规划，与目标跟踪算法在深度信息缺失的条件下基于纯图像的无人机实时局部路径规划；将关键过程转化为深度强化甄别模型，其中RLAgent用于提取经过预处理的环境信息和传感器信息训练，使RLAgent利用环境信息使无人机在缺失GPS信号以及目标深度信息时找到相对位置信息并做出路径规划。

进一步，智能车基于雷达收集的环境信息围绕自身建立三层外接辅助圆，当障碍物进入辅助圆范围内时，智能车根据障碍物在辅助圆中的相对位置采取不同的避障措施；在栅格地图中，对障碍物边缘进行腐蚀膨胀处理；引入自适应蒙特卡洛方法辅助定位，将传感器扫描到的局部信息映射到全局的相对静态空间，借助激光雷达所反馈的数据及时调整自身位姿，设置响应的多层反馈机制，智能车在行进过程中能够避开随时出现的障碍物。

进一步，所述目标检测包括：基于YOLOv7模型对所需识别的目标构建深度甄别网络，结合智能体所搭载的D455深度实感摄像头，进行目标具体位置的检测过程，根据训练好的检测模型进行深度补全，通过稀疏深度图结合RGB图像获得稠密深度图，获取丰富的环境表示，用于后续任务过程中高层次的场景理解、感知与规划。

步骤S4中，利用数字孪生进技术进行空间坐标位置的识别预警，包括：

步骤1，图像空间坐标位置样本集收集、预处理和数据集制作；

步骤2，设计数字孪生网络结构；

步骤3，数字孪生网络参数甄别；

步骤4，对测试集图像进行随机预反演构建反演轨迹；

步骤5，使用训练所得数字孪生网络的完全孪生实例并行地对反演模式进行推理，计算多轨迹分类方差矩阵F；

步骤6，根据方差最大偏差原则由多轨迹分类方差矩阵F同时预测出物体类别和空间坐标位置定位矢量值。

在步骤1中，图像空间坐标位置样本集收集、预处理和数据集制作，包括：

(1)对于待识别的图像模式，设定各自的规范定位矢量值；

(2)对每类模式收集图像空间坐标位置样本集，保证空间坐标位置样本集间数量均衡；

(3)对收集到的空间坐标位置样本集依次进行规范化处理，将空间坐标位置样本集反演到规范定位矢量值；将物体反演空间坐标位置定位矢量值记为

(4)将预处理后的图像空间坐标位置样本集按7：1：2的比例划分为训练、验证和测试集；

(5)在训练和测试期间，将输入图像规范成方形后输入；

步骤2中，设计数字孪生网络结构，包括：

(1)根据任务数据集尺寸设计数字孪生网络结构，以获取在测试集上泛化性能；

(2)用于反演模式识别的数字孪生网络结构通过手工设计、神经架构搜索自动化机器甄别方法设计，保证网络规模与任务数据集相适应并在测试数据集上取得最优的泛化性能；

(3)网络第一层采用64个大小为的5孪生核，孪生步长为2，填充图像边缘特征图输出尺寸不变；网络第二层采用步长为2的最大池化操作，使网络尺寸缩减一半；网络第三孪生层采用64个大小为的5孪生核，孪生步长为2，填充图像边缘特征图输出尺寸不变；网络第四层采用步长为2的最大池化操作，使网络尺寸缩减一半；网络第五、六、七层采用全连接网络；其中，第五层接受第四层特征图打平后的向量特征，具有240个神经元输出；网络第六层由168个神经元输出；网络第七层由20个神经元输出，分别对应于多分类任务的20个类别；

步骤3中，数字孪生网络参数甄别，包括：

(1)采用回归处理数字孪生网络的多个神经元输出，交叉熵损失作为网络甄别偏差原则，使用小批量梯度下降来进行网络参数甄别；

(2)将规范处理后的训练空间坐标位置样本集输入至数字孪生网络模型，采用交叉熵损失函数计算结构化损失，采用小批量梯度下降对网络进行更新，训练时甄别率采用可调甄别率；

步骤4中，所述对测试集图像进行随机预反演构建反演轨迹，包括：

(1)对于测试集中任意定位矢量值为θ的输入图像x

(2)反演后的模式及其角度分别为：

其中，

(3)图像反演采用双线性插值算法实现，反演矢量角度间隔分别设置为2度和0.2度，估计区间Φ分别设置为π和

在步骤5中，使用训练所得数字孪生网络的完全孪生实例并行地对反演模式进行推理，计算多轨迹分类方差矩阵F，包括：

(1)在对图像进行预反演后，对物体模式在第n个反演轨迹中的副本采用训练得到的数字孪生网络进行特征提取和类别预测，表达式为：

其中，F

(2)将所有反演轨迹的数字孪生网络分类方差输出排列成反演多轨迹分类方差矩阵，表达式为：

其中，F∈R

在步骤6中，根据方差最大偏差原则由多轨迹分类方差矩阵F同时预测出物体类别和空间坐标位置定位矢量值，包括：

(1)以分类方差作为模式识别的最终判据，采用多轨迹响应的最大值，同时预测物体类别和空间坐标位置定位矢量值，表达式为：

(j,k)＝argmax(F

(2)使用经典数字孪生网络进行监督分类时，以分类方差最大偏差原则进行类别和矢量角度预测；

(3)分别对数据集执行上述流程得到类别和空间坐标位置定位矢量值估计性能。

本发明的另一目的在于提供一种无人机与智能车协作巡逻系统，该系统实施所述无人机与智能车协作巡逻方法，该系统包括：

树莓派，分别装载于智能无线充电小车和四轴旋翼飞行器上；通过搭载Ros机器人控制系统，同步小车与无人机的作业路径，在工作任务的总体调度上以通信原理为基础，进行多维度的串联与交互；

主控模块，与上下层中多用途扩展部分对接，使云服务器队列中的数据及时处理与响应；

中心服务器，以任务存储队列为主要数据结构，负责临时存储任务发布客户提交的任务；建立任务等待队列，用来存储经过中心服务器初步调配的任务；建立服务器任务执行队列，用于存储目前各机器人终端正在执行的任务；在中心服务器的构建中为每个机器人终端建立状态机，用于保存各机器人终端当前的工作状态，若某机器人终端中机器人执行任务队列已满，则该机器人终端与中心服务器通信，中心服务器将该机器人终端对应的状态机设置为忙碌，若某机器人终端中机器人执行任务队列未满，则该机器人终端与中心服务器通信，中心服务器将该机器人终端对应的状态机设置为空闲；中心服务器端建立信息栈，用于存储每个机器人终端的信息，信息栈存储各机器人终端当前的位置信息、机器人终端功能信息；在中心服务器中建立socket接口，借助计算机网络通讯技术实现任务发布客户与中心服务器之间，中心服务器与机器人终端之间的数据通讯，中心服务器不断与各机器人终端通信，实时更新状态机及信息栈的信息；

D455深度摄像头，用于连续拍摄照片，做差值以实现距离的计算，借助四张连续的图片进行3D建模以及避障的运用；

激光雷达，以发射激光束探测目标的位置、速度等特征量的雷达系统，激光雷达向目标发射探测信号，然后将接收到的从目标反射回来的信号目标回波与发射信号进行比较，作处理后,获得目标的有关信息，包括目标距离、方位、高度、速度、姿态、形状参数；

数字孪生识别模块，对陆空工作区间范围内的收集的相关信息图像利用数字孪生进技术进行空用于间坐标位置的识别预警，并发送调度中心进行可视化示出，所述相关信息包括某区域的待识别动态目标信息、静态目标信息。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明所提出的陆空协同概念，解决了地面机器人作业区域有限、机器人空中作业时间有限、载重量有限等一系列问题。本发明综合运用强化甄别技术和操作系统调度思想，实现了陆空端的任务调度以及调配、实时场景建图及定位、自主导航、目标检测以及路径规划等功能，显著提高了机器人系统的工作区间范围。

本发明更好的完成配送、搜救等任务的实现。打破当下单无人机、智能车工作的现状，为多机器人跨领域作业问题提供了技术上的解决方案。本发明加入了陆空协同的方案，提供无人机和智能车上实现多机器跨领域之间合作的技术要点。

本发明的智能协同机器人致力于陆空方面的协同控制，借助DRL配合TD3算法实现了独立的局部路径规划算法，解决了机器人在深度信息缺失的条件下，基于纯图像的无人机实时路径规划问题。本发明对陆空工作区间范围内的收集的相关信息图像利用数字孪生进技术进行空间坐标位置的识别预警，并发送调度中心进行可视化示出，所述相关信息包括某区域的待识别动态目标信息、静态目标信息。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理；

图1是本发明实施例提供的无人机与智能车协作巡逻方法流程图；

图2是本发明实施例提供的利用数字孪生进技术进行空间坐标位置的识别流程图；

图3是本发明实施例提供的无人机与智能车协作巡逻系统示意图；

图中：1、树莓派；2、主控模块；3、中心服务器；4、D455深度摄像头；5、激光雷达；6、数字孪生识别模块。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。

本发明实施例建立了一套独立、可移植性强、陆空两项集群工作结合起机器人操作系统，在操作系统协同调度、slam场景建图、路径规划、目标识别等进行技术开发。

为协调多智能体任务调度，本发明设计了更具适配性的HWT-OS操作系统，实现陆空协同任务分配以及调度，解决空中作业续航时间段、载重量低，地面作业局限性大的问题。

地图建立、实时定位是实现路径规划和障碍躲避的基础。SLAM同步定位与地图建立的架构模式能够对外界信息进行多层次的获取，精确实现机器人的定点定高，通过深度摄像头获取的实时图片能很好地反馈出自身当前所处的具体位置，帮助机器人实现响应的路径规划以及障碍的规避。

在路径规划中，为了减少了重复节点的无效运算和避免使用全局路径规划算法导致预计算量过于庞大，本发明比较传统Dijkstra算法以及A*算法在评估函数上的差异，搭建出了适配于智能车的行进控制框架，以实现系统在不断改变的复杂环境中保证路径规划的效率与稳定性。同时，本发明在智能车的控制系统中引入自适应蒙特卡洛方法辅助定位，确保智能车在行进过程中能够避开随时出现的障碍物。充分结合全局与局部路径规划，能够将硬件所获取的信息进行有效拆解，提升智能机器人的实际作用表现。

实施例1，如图1所示，本发明实施例提供的无人机与智能车协作巡逻方法包括：

S1，构建HWT-OS操作系统；

S2，进行无人机与智能车的任务调度以及调配、实时场景建图、目标检测、路径规划、避障及定位；

S3，无人机与智能车组成的机器人系统在陆空工作区间范围进行作业；

S4，对陆空工作区间范围内的收集的动态目标信息图像、静态目标信息图像，利用数字孪生进技术进行空间坐标位置的识别预警，并发送调度中心进行可视化示出。

在本发明实施例中，所述HWT-OS操作系统一部分部署在环境不同位置不同机器人终端作为不同CPU，将未分配的任务作为待执行的进程；另一部分的中心服务器端用于接收来自客户端提交的需要机器人完成的任务，并按照任务优先级进行和机器人终端自身状态实现任务的调配工作。

在本发明实施例中，所述HWT-OS操作系统实现流程包括：任务发布客户与中心服务器之间，中心服务器与机器人终端之间均通过统一的任务消息格式HWT_message进行数据通讯，任务消息格式包括任务发布客户、任务优先级、任务接收地点，其中，任务发布客户解释该任务来源，任务优先级则指出此任务的重要程度，任务接收地点解释该任务大致执行范围。

若某机器人终端中，机器人执行任务队列已满，则中心服务器该机器人终端对应的状态机设置为忙碌，若某机器人终端中，机器人执行任务队列未满，则中心服务器将该机器人终端对应的状态机设置为空闲；

信息栈存储的机器人终端的功能信息包括机器人作业区域及机器人剩余电量，机器人作业区域用于描述机器人是否可在目标范围内执行任务，机器人剩余电量用于判断机器人是否能够完成任务。

在本发明实施例中，采用基于深度强化甄别的SLAM自主建图算法进行实时场景建图，包括：

在适配Cartographer环境的基础上，引入ORB-SLAM的视觉SLAM技术；

通过将激光SLAM和视觉SLAM相结合，进行回环检测与图像优化进行地图构建；回环检测在SLAM过程中检测到已经访问过的地点，并通过识别地点的共享特征点或特征描述子来建立环路闭合，修正先前位置估计的误差；图像优化则通过优化算法对SLAM过程中估计的相机轨迹和地图进行优化。

在本发明实施例中，采用基于强化甄别的无人机自主局部路径规划与目标跟踪算法在深度信息缺失的条件下，基于纯图像的无人机实时局部路径规划。

在本发明实施例中，基于强化甄别的无人机自主局部路径规划与目标跟踪算法中将关键过程转化为一个深度强化甄别模型，其中RLAgent用于提取经过预处理的环境信息和传感器信息训练，使RLAgent能够利用环境信息使无人机在缺失GPS信号以及目标深度信息时找到相对位置信息并做出路径规划。

在本发明实施例中，智能车基于雷达收集的环境信息围绕自身建立三层外接辅助圆，当障碍物进入辅助圆范围内时，智能车根据障碍物在辅助圆中的相对位置采取不同的避障措施，同时，在栅格地图中，对障碍物边缘进行腐蚀膨胀处理；

引入自适应蒙特卡洛方法辅助定位，将传感器扫描到的局部信息映射到全局的相对静态空间，借助激光雷达所反馈的数据及时调整自身位姿，设置响应的多层反馈机制，智能车在行进过程中能够避开随时出现的障碍物。

在本发明实施例中，所述目标检测包括：

基于YOLOv7模型对所需识别的目标构建深度甄别网络，结合智能体所搭载的D455深度实感摄像头，进行目标具体位置的检测过程，根据训练好的检测模型进行深度补全，通过稀疏深度图结合RGB图像获得稠密深度图，获取丰富的环境表示，用于后续任务过程中高层次的场景理解、感知与规划；

如图2所示，步骤S4中，利用数字孪生进技术进行空间坐标位置的识别包括：

S101，图像空间坐标位置样本集收集、预处理和数据集制作；

S102，设计数字孪生网络结构；

S102，数字孪生网络参数甄别；

S104，对测试集图像进行随机预反演构建反演轨迹；

S105，使用训练所得数字孪生网络的完全孪生实例并行地对反演模式进行推理，计算多轨迹分类方差矩阵F；

S106，根据方差最大偏差原则由多轨迹分类方差矩阵F同时预测出物体类别和空间坐标位置定位矢量值。

步骤S101中，所述图像空间坐标位置样本集收集、预处理和数据集制作，包括：

(1)对于待识别的图像模式，分别对不同类别模式设定各自的规范定位矢量值；

(2)分别对对每类模式收集图像空间坐标位置样本集，尽可能保证空间坐标位置样本集类间数量均衡；

(3)对收集到的空间坐标位置样本集依次进行规范化处理，将空间坐标位置样本集反演到规范定位矢量值；

对收集到的空间坐标位置样本集依次进行规范化处理，将空间坐标位置样本集反演到规范定位矢量值；将物体反演空间坐标位置定位矢量值记为

(4)将预处理后的图像空间坐标位置样本集按7：1：2的比例划分为训练、验证和测试集；

(5)在训练和测试期间，将输入图像规范成方形后输入；

步骤S102中，所述设计数字孪生网络结构，包括：

(1)根据任务数据集尺寸合理地设计数字孪生网络结构，以获取在测试集上较高的泛化性能；

(2)用于反演模式识别的数字孪生网络结构可以通过手工设计，也可使用神经架构搜索等自动化机器甄别方法设计，设计的核心原则是保证网络规模与任务数据集相适应并在测试数据集上取得最优的泛化性能；

(3)网络第一层采用64个大小为的5孪生核，孪生步长为2，采用填充方式填充图像边缘特征图输出尺寸不变；

网络第二层采用步长为2的最大池化操作，使网络尺寸缩减一半；

网络第三孪生层采用64个大小为的5孪生核，孪生步长为2，采用填充方式填充图像边缘特征图输出尺寸不变；

网络第四层采用步长为2的最大池化操作，使网络尺寸缩减一半；

网络第五、六、七层采用全连接网络；其中，第五层接受第四层特征图打平后的向量特征，具有240个神经元输出；

网络第六层由168个神经元输出；

网络第七层由20个神经元输出，分别对应于多分类任务的20个类别；

步骤S103中，所述数字孪生网络参数甄别，包括：

(1)采用回归处理数字孪生网络的多个神经元输出，交叉熵损失作为网络甄别偏差原则，并使用小批量梯度下降来进行网络参数甄别；

(2)将规范处理后的训练空间坐标位置样本集集小批量地输入至数字孪生网络模型，采用交叉熵损失函数计算结构化损失，然后采用小批量梯度下降对网络进行更新；其中，所述训练时甄别率采用可调甄别率；

步骤S104中，所述对测试集图像进行随机预反演构建反演轨迹，包括：

(1)对于测试集中任意定位矢量值为θ的输入图像x

(2)反演后的模式及其角度分别为：

其中，

(3)图像反演采用双线性插值算法实现，反演矢量角度间隔分别设置为2度和0.2度，估计区间Φ分别设置为π和

步骤S105中，所述使用训练所得数字孪生网络的完全孪生实例并行地对反演模式进行推理，计算多轨迹分类方差矩阵F，包括：

(1)在对图像进行预反演后，对物体模式在第n个反演轨迹中的副本采用训练得到的数字孪生网络进行特征提取和类别预测，表达式为：

其中，F

(2)将所有反演轨迹的数字孪生网络分类方差输出排列成反演多轨迹分类方差矩阵，表达式为：

其中，F∈R

步骤S106中，所述根据方差最大偏差原则由F矩阵同时预测出物体类别和空间坐标位置定位矢量值，包括：

(1)以分类方差作为模式识别的最终判据，采用多轨迹响应的最大值同时预测物体类别和空间坐标位置定位矢量值：

(j,k)＝argmax(F

(2)使用经典数字孪生网络进行监督分类时，以分类方差最大偏差原则进行类别和矢量角度预测，同样还可以使用相似度最大偏差原则；

(3)分别对数据集执行上述流程得到类别和空间坐标位置定位矢量值估计性能。

如图3所示，本发明实施例提供一种无人机与智能车协作巡逻系包括：

树莓派1，分别装载于智能无线充电小车和四轴旋翼飞行器上；通过搭载的Ros机器人控制系统，同步小车与无人机的作业路径，在工作任务的总体调度上以通信原理为基础，进行多维度的串联与交互；

主控模块2，与上下层中多用途扩展部分对接，使云服务器队列中的数据及时处理与响应；

中心服务器3，以任务存储队列为主要数据结构，负责临时存储任务发布客户提交的任务；建立任务等待队列，用来存储经过中心服务器初步调配的任务；建立服务器任务执行队列，用于存储目前各机器人终端正在执行的任务；

在中心服务器的构建中为每个机器人终端建立状态机，用于保存各机器人终端当前的工作状态，若某机器人终端中机器人执行任务队列已满，则该机器人终端与中心服务器通信，中心服务器将该机器人终端对应的状态机设置为忙碌，若某机器人终端中机器人执行任务队列未满，则该机器人终端与中心服务器通信，中心服务器将该机器人终端对应的状态机设置为空闲；

中心服务器端建立信息栈，用于存储每个机器人终端的信息，信息栈存储各机器人终端当前的位置信息、机器人终端功能信息；

在中心服务器中建立socket接口，借助计算机网络通讯技术实现任务发布客户与中心服务器之间，中心服务器与机器人终端之间的数据通讯，中心服务器不断与各机器人终端通信，实时更新状态机及信息栈的信息。

D455深度摄像头4，用于连续拍摄照片，做差值以实现距离的计算，借助四张连续的图片进行3D建模以及避障的运用；

激光雷达5，以发射激光束探测目标的位置、速度等特征量的雷达系统，激光雷达向目标发射探测信号，然后将接收到的从目标反射回来的信号(目标回波与发射信号进行比较，作处理后,获得目标的有关信息，包括目标距离、方位、高度、速度、姿态、形状参数。

数字孪生识别模块6，对陆空工作区间范围内的收集的相关信息图像利用数字孪生进技术进行空用于间坐标位置的识别预警，并发送调度中心进行可视化示出，所述相关信息包括某区域的待识别动态目标信息、静态目标信息。

实施例2，为进一步说明上述技术方案的实施过程，对相关技术方案进行如下说明。

1、HWT-OS操作系统设计：

1.1，当前多机协同机器人已经开始取得一些显著性的成就，在多机协同领域，已经开始部署了较大规模的开发与应用。然而在诸如此类无人机集群的控制中，虽然能够很好的实现无人机之间的相互协调，但其也有较为明显的局限性。研发局限在多机的集群算法中，只能在无人机或智能车的单种群之间实现机器人的协同，在面临跨领域的机器人协同问题上的研究还涉及的不够深入，不难看出，当前的多机协同还有着许多需要解决的问题，集群控制还需要进一步的完善。

为此，本发明针对性设计了一种多机协同机器人操作系统，以此实现任务在机器人间的分配，解决了机器人之间的协同作业问题，为大规模机器人群体工作提供了理论指导和技术支持。

1.2系统的设计概要：机器人的操作系统设计应主要涵盖两部分：第一部分，为部署在环境不同位置不同机器人终端；而第二部分，为根据需求设计的中心服务器端，用于接收来自客户端提交的需要机器人完成的任务，并按照任务优先级进行和机器人终端自身状态实现任务的调配工作。

系统的核心思想是，将不同机器人终端抽象为操作系统中的不同CPU；将未分配的任务抽象为操作系统中待执行的进程；将中心服务器抽象为操作系统的内核；任务经过中心服务器的调度合理分配至各机器人终端中，实现更快更高效的任务执行。

基于相关资料，本发明将这一套集成了包括协同调度、slam场景建图、路径规划、目标识别等核心功能的操作系统取名为HWT-OS系统，如图3所示，为了实现陆空协同任务分配以及调度，该操作系统作为自主开发的嵌入式操作系统，其模仿linux内核，能够在树莓派这样的微型计算机中实现数据共享，任务分配以及进程的优先调度等一系列需求，而区别于没有独创操作系统的传统智能体控制，HWT-OS的搭载对内部数据结构实现了协调统一，将开发人员的代码思想凝聚在了同一套闭环体系下，有效解决了机器人空中作业续航时间段、载重量低，地面作业局限性大的问题。

1.3，系统的核心组成：

在硬件上包括：树莓派，作为外置多个接口的微型计算机，因其很好的支持了HDMI，USB等常用标准，所以树莓派具有很强的扩展性，能够在Linux系统下进行嵌入式方向的开发。本发明中，树莓派作为整个项目的主控制器，分别装载于智能无线充电小车和四轴旋翼飞行器上。通过搭载的Ros机器人控制系统，同步小车与无人机的作业路径，在工作任务的总体调度上以通信原理为基础，进行多维度的串联与交互。

为了更好地满足主控模块与上下层中多用途扩展部分的对接，使云服务器队列中的数据得到及时处理与响应，本发明将NVIDIA公司所提供的Jestonnano开发板视作更优质的主控选择。作为功能更强大的微型机，Jestonnano对于AI框架下应用的开发有着更高支持度，实际使用中，其对于SSH服务的默认支持简化了主控与服务器之间桥梁的搭建；而作为多个传感器和控制器的主要枢纽，Jestonnano的并行处理能力更是完美契合了本作品的需求。

软件上，作为以Ros为底层架构的进阶式系统开发，HWT-OS系统不仅保留了Ros在硬件抽象，底层设备控制，函数接口简化以及多进程合理规划的优秀特质，更针对本作品的运作需求，丰富了无人机与智能车的模式转换，在极大程度上提高了模块间信息的传输效率，保证了对于性能、存储有限的主控终端仍具有较好的兼容性。

现有的无人机开发受制于有限的效能供给，较为臃肿的操作系统难以在微型机上“大展拳脚”，功能表现也无法在简单起降与多点定位的上有所拓展，而相对的，HWT-OS具有优秀的可移植性，在有限的可调配资源内能够赋予开发者充足的创作空间。

中心服务器的数据建设上，中心服务器以任务存储队列为主要数据结构，负责临时存储任务发布客户提交的任务；建立任务等待队列，用来存储经过中心服务器初步调配的任务；建立服务器任务执行队列，用于存储目前各机器人终端正在执行的任务；

在中心服务器的构建中拟为每个机器人终端建立状态机，用于保存各机器人终端当前的工作状态，状态机存在“忙碌”与“空闲”两种状态，若某机器人终端中机器人执行任务队列已满，则该机器人终端与中心服务器通信，中心服务器将该机器人终端对应的状态机设置为“忙碌”，若某机器人终端中机器人执行任务队列未满，则该机器人终端与中心服务器通信，中心服务器将该机器人终端对应的状态机设置为“空闲”；

中心服务器端建立信息栈，用于存储每个机器人终端的信息，信息栈会存储各机器人终端当前的位置信息、机器人终端功能信息；

在中心服务器中建立socket接口，借助计算机网络通讯技术实现任务发布客户与中心服务器之间，中心服务器与机器人终端之间的数据通讯，中心服务器不断与各机器人终端通信，实时更新状态机及信息栈的信息。

1.4，HWT-OS操作系统系统实现流程包括：任务发布客户与中心服务器之间，中心服务器与机器人终端之间均通过统一的任务消息格式HWT_message进行数据通讯，任务消息格式包括任务发布客户、任务优先级、任务接收地点，其中，任务发布客户解释了该任务来源，任务优先级则指出此任务的重要程度，任务接收地点解释了该任务大致执行范围。

若某机器人终端中，机器人执行任务队列已满，则中心服务器该机器人终端对应的状态机设置为“忙碌”，若某机器人终端中，机器人执行任务队列未满，则中心服务器将该机器人终端对应的状态机设置为“空闲”。

信息栈存储的机器人终端的功能信息包括机器人作业区域及机器人剩余电量，机器人作业区域用于描述机器人是否可在目标范围内执行任务，机器人剩余电量用于判断机器人是否能够完成任务。

2、SLAM同步定位与建图设计：

2.1，SLAM算法的简介，SLAM，全称即时定位与地图构建，是一种用于同时实现自主定位和地图构建的技术，通常在无人系统、机器人和增强现实等领域应用广泛。SLAM算法允许机器在未知环境中实时地定位自身位置并同时构建环境地图，从而实现自主导航和探索。

SLAM技术方案大致被划分为激光SLAM与视觉SLAM两个方向，本作品综合二者中优秀的前端匹配机制，通过特征提取提高测量精度，引入回环检测以及图像优化，从而确保实际工作环境中良好的建图效果。

SLAM技术引入回环检测和图像优化提高建图的准确性，在模拟多车应用中更显得尤为突出。回环检测是指在SLAM过程中检测到已经访问过的地点，并通过识别地点的共享特征点或特征描述子来建立环路闭合，从而修正先前位置估计的误差；而图像优化则通过优化算法对SLAM过程中估计的相机轨迹和地图进行优化，从而提高定位和地图构建的精度。这些回环检测和图像优化技术可以减小误差累积，避免由于误差累积导致的位置偏差。

2.2SLAM功能的构成：

2.2.1，硬件需求：优秀的SLAM应用实现依托于对硬件的选择与调试，其中选取D455深度实感摄像头模块，以及室外用激光雷达模块为主体核心所能达到的能效满足了本系统的运作指标，以此作为开发过程中的基础部分，结合技术投入，搭建了slam应用的硬件平台。包括：

D455深度摄像头，是一款四目摄像头，旨在四个摄像头连续拍摄照片，做差值以实现距离的计算，进而可借助四张连续的图片进行3D建模以及避障的运用。

D455深度摄像头优点：相较于普通摄像头所能获取的二维图像，深度摄像头可以通过距离信息获取物体之间更加丰富的位置关系，即在很大程度上清晰地区分前景与后景。深度摄像头所捕捉的信息更为丰富，可以更好地完成对目标图像的分割、标记、识别、跟踪等传统级别的应用，尤其是在识别与追踪方面的效率提升有非常显著的效果。深度摄像头的主要配件成本相对低廉，包括CCD和普通LED等，制造工艺相对更简单，可量产性高。在复杂环境下的抗干扰能力更强。

激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统。激光雷达向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较,作适当处理后,就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、形状等参数。

激光雷达优点：激光雷达可以获得极高的角度、距离和速度分辨率，并可同时跟踪多个目标，这是微波雷达无论如何也办不到的。激光雷达的隐蔽性好、抗有源干扰能力强，激光直线传播、方向性好、光束非常窄,只有在其传播路径上才能接收到。通常普通微波雷达的体积庞大，整套系统质量数以吨记，光天线口径就达几米甚至几十米。而激光雷达就要轻便、灵巧得多，结构相对简单，维修方便，操纵容易，易于进行二次开发。

在本发明中：激光雷达与D455深度摄像机结合帮助小车实现避障与导航功能，使用激光雷达对小车的周围环境进行扫描，根据反馈的信号进行实时建图，进而设计并完善项目整体行进的路径规划。

2.2.2，算法选择说明：

Cartographer和Gmapping作为常见的SLAM建图算法，被广泛应用于当今机器人领域的研发当中，二者都依赖于从激光雷达中获取的信号数据构建地图，即通过采集目标物体表面的三维坐标信息并将其转化为点云数据，依据点云数据，机器人对自身的运动轨迹进行估计和校正，进而优化构图过程的精度和稳定性，最终达成雷达建图的完整性与准确性要求。而较于Gmapping算法在室外建图方向的固有局限性，本发明所选择的Cartographer算法具有支持多传感器数据下的综合建图能力，且计算资源和硬件设备的需求能达到基本的满足，因而被作为主要的研究方向。

而在基本适配Cartographer环境的基础上，本发明进一步引入名为“ORB-SLAM”的视觉SLAM技术。ORB-SLAM具有出色的回环检测算法，可以有效防止信息分析过程中累积误差的产生，尤其是是在室内环境的应用中，当存在较多的视觉上共视关系时，这种SLAM技术将显著提高定位精度和局部稳定性。

通过将激光SLAM和视觉SLAM相结合，本作品在建图过程中能够充分利用激光和视觉传感器的优势，从而提高定位的精度和稳定性。激光传感器可以提供高精度的距离和角度信息，适用于室内和室外环境，而视觉传感器可以提供丰富的视觉特征信息，对于处理环境中的纹理丰富区域和特殊情况具有优势。

2.2.3，SLAM技术与硬件的适配：

随着SLAM等相关技术的发展，现有的RRT自主探索建图算法已经无法满足于大场景下机器人自主建图的需求，尤其是在自动驾驶领域，所有的建图工作都需要又人手工操控来实现。为此，我们提出了一套基于深度强化甄别的SLAM自主建图算法，该算法解决了RRT自主探索建图在环境区间较大时，建图缓慢且可能出现内存占用过大的情况，可以快速在陌生环境中搭配各种SLAM方法实现目标地图的自主建立。

3，路径规划与避障系统设计：

智能体通过根据已有地图信息抉择最优行进路径，减小行进过程的不确定性，这就是路径规划的应用价值。如Dijkstra算法作为传统路径规划的代表，通过以起始点为中心向外层扩展，对节点属性进行转换的思想，确保连接线段一定为全局意义上的最优解。本发明在研发时比较传统Dijkstra算法以及A*算法在评估函数上的差异，搭建出了适配于智能车的行进控制框架，减少了重复节点的无效运算，验证了该方法应用于全局路径规划的科学性。但同时也指出，仅使用全局路径规划算法会导致预计算量庞大，有限的内存占用率高，系统难以在不断改变的复杂环境中保证路径规划的效率与稳定性。

因此，本发明智能车的控制体系中引入自适应蒙特卡洛方法辅助定位，将传感器扫描到的局部信息映射到全局的相对静态空间，借助激光雷达所反馈的数据及时调整自身位姿，设置响应的多层反馈机制，确保智能车在行进过程中能够避开随时出现的障碍物。充分结合全局与局部路径规划，能够将硬件所获取的信息进行有效拆解，提升小车的实际作用表现。

3.1，基于Fast—Planner的无人机局部路径规划：为了更好的实现无人机路径规划，本发明基于Fast-Planner系统打造了一套适用于本系统无人机的无人机自主路径规划算法。Fast-planner是一种高效的全局路径规划算法，它主要用于生成无人机的长期规划路径，以最小化整个路径的时间和距离。该算法通过先前的地图信息和无人机当前状态，生成一条起点和终点之间的最优路径，并且在运行时间上非常快速，通常能够在几秒内完成路径规划。在本系统具体体现在无人机定点任务时的实时路径规划以及避障的体现。

3.2，基于强化甄别的无人机自主局部路径规划与目标跟踪算法。区别于传统局部路径规划任务，本发明脱离传统的AMCL算法，建立了一套基于深度强化甄别的纯图像局部路径规划算法，该算法有效解决了在深度信息缺失的条件下，基于纯图像的无人机实时局部路径规划问题。

本发明将关键过程转化为一个深度强化甄别模型，其中RLAgent用于提取经过预处理的环境信息和传感器信息训练，使RLAgent能够利用环境信息使无人机在缺失GPS信号以及目标深度信息时准确的找到相对位置信息并做出路径规划。在无障碍物干扰的情况下成功率达到了93％，即使有障碍物干扰的情况下，成功率也达到了92％。

3.3，优秀的避障算法：在智能智能车避障功能上，智能车基于雷达收集的环境信息围绕自身建立了三层外接辅助圆，当障碍物进入辅助圆范围内时，智能车可根据障碍物在辅助圆中的相对位置采取不同的避障措施。同时，在栅格地图中，对障碍物边缘进行腐蚀膨胀处理，进一步提高智能车避障的精准度

此外，本机器人系统设计的避障控制方案为较完善的闭环结构。本系统将外界获取的环境信息转化为主控机能够识别的统一格式，对信息的有效部分进行分离，提取出如智能车转向弧度、无人机电机转速以及最佳起降位置等关键期望值，期望值与实际参量相比较产生多个偏差，系统综合这些偏差统一优化，实现闭环，极大提升了无人机与智能车的避障成功率。

区别于现有的配送系统设计，现有配送用智能车对于障碍信息的处理多依赖于简单设计的传感器或人工介入。这样的处理方式保障了机器人及周边环境的安全性。

4，其余模型设计及创新：

4.1，基于YOLOv7的目标检测模型，YOLO系列算法作为目前比较流行的objectdetection算法，其利用anchorbox将分类任务与目标定位的回归问题相结合，将原始图像划分为多个区域后进行预测，利用NMS(非极大值抑制)过滤方差小的boundingbox，进而得出具体目标的具体位置，在真正意义上实现了工业级应用中实时检测定位，有着高效、灵活且泛化性能好等一系列特点。而新一代YOLOv7扩展了高效长程注意力网络，设计并使用了有计划的重新参数化孪生，从而在数据分析时避免丢失必要的有效信息，在速度与精度的平衡效果中获得了比历代模型更稳定的效果。

本发明基于YOLOv7模型对所需识别的目标构建深度甄别网络，结合智能体所搭载的D455深度实感摄像头模块，进一步完善了目标具体位置的检测过程。即在D455的进阶应用开发中，本发明能够根据训练好的检测模型进行深度补全，通过稀疏深度图结合RGB图像获得稠密深度图，从而获取丰富的环境表示，有助于后续任务过程中高层次的场景理解、感知与规划。

5，可视化界面设计：综合考虑上位机的设计需求，本发明以python环境下的PyQt5为主体框架，结合其在网络传输、图形化控制、响应式反馈方面的优秀设计，对本项目中的上位机展示构建了主体框架。得益于PyQt5支持跨平台开发，本发明在Windows系统下构建的代码能够在Linux系统中无冲突地运行，侧面展现了本项目开发中所追求的稳定性。

本上位机采用了传统CS分布式系统架构，通过client端对摄像头、传感器部分进行多数据采集，由主逻辑模块中的链接机制，对分析完成的数据与关键信息进行迁移，结合用户的按键反馈，以统一的格式展现到上位机的可视化页面当中。

建立在固有的TCP/IP通信协议上，本CS架构对上位机中的接收帧进行了完善的解析，接收帧头指明：图片长度，图片类型编号以及必要返还值；接收主体部分为：依据返还值，对接收信息进行判断，校验接收图片的信息长度与帧头指定的图片长度是否相等，若相等，则完成本次的图片发送操作。除此之外，进程及线程之间的通信引入队列作为数据结构，以其FIFO特性实现消息的异步传递和缓存，减轻了进程或线程之间的压力，提高了系统的可靠性和稳定性。

用户显示界面的设计采用了“3+1”的显示构架，以多机捕获的实时图像，经图传模块竖向排列在页面的左侧；Server端将各自探索中搜集的环境信息集成到同一张合成地图当中，上位机以设定的传输间隔进行地图的获取，进而展现在页面的中心位置。

通过上述实施例，可知本发明具有以下优势：

架构层面：智能车与无人机，通过系统层面上的技术互联、以及在CS架构上进行延展的任务处理机制，实现了两种各具特点的智能体在物流领域的优势互补。智能车在保证一定量的配送任务的同时，兼容无人机的多点运载，能源补给以及目标指定等一系列需求，不仅满足了客户的多方需求，更深刻贯彻了“陆空协同”的总体架构概念。

能效层面：对多种SLAM建图算法的优劣点横向比较，本作品构建了一套更具适配性的建图体系，无人机及智能车能够将获取的环境的信息投影到同一张地图的构件上，使得建图的效率较传统技术有了显著提升；在良好的构图之上，智能车在陌生环境中的避障响应更具灵活性，而自设计的反馈机制算法给予了智能车不同的转弯半径选择，确保其运动过程的连贯性。

创新层面：引入深度强化甄别，并与智能体的控制策略相结合，这样的思路给予了作品更高的创作上限。相较于不具备甄别能力，且工作位置固定的传统机器人，让机器人自主甄别探索规划建图，自主甄别实现局部路径规划动作，DRL在模型上的应用强化了用户的使用体验。

应用例1，小区物流投递，电商迅速发展，快递行业工作量愈来愈繁重，与此同时，人们对于包裹及时送达的需求与日俱增，由此带来的物流不便利问题被逐渐放大。而陆空智能协同机器人可以极大地带来物流便利：小车与无人机协同配合，小车可将货物运送至楼下，而后无人机搭载货物起飞，升至高层，完成投递，即实现小车的分拣功能和无人机在最后一点的配送工作。

应用例2，地震火灾泥石流等灾害救援，在自然灾害发生时，由于各种恶劣环境所带来的困扰，常常发生救援人员无法深入受灾严重地段，难以获取受困人员信息，给救援行动造成了很大的阻碍。因此本发明利用协同机器人的灵巧性，容易进入狭小地带，借助陆空协同性和强化甄别自主性收集被困人员信息，传回到救援人员实施营救。

应用例3，赛事及新闻现场的特殊转播：转播突发新闻时，由于场地因素，无法及时向大众展示第一手的新闻细节，陆空协同智能机器人可对赛场赛事关键时刻以及新闻现场具体情况进行直播，主要运用于一些相较偏僻的视角，小车与无人机组成两个视角，即地面与空中视角，同步进行转播。除此之外，小车可随时为无人机供电，保障其转播的快捷性和实时性。

应用例4，军事力量建设，智能机器人可以实现巡逻功能，为边防减轻负担，密切关注领土和领空安全状况。

应用例5，在推广前景上，在环境分析、物流机构、机器人集群可进行应用。并在经济效益具有广阔的前景。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。

基于上述本发明实施例记载的技术方案，进一步的可提出以下应用例。

根据本申请的实施例，本发明还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。

本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。

本发明实施例还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。

为进一步证明上述实施例的积极效果，本发明基于上述技术方案进行如下实验。

1、实验数据记录：

2022年09月28日23:00:46：

开始建立传输节点，实现mavros与hwtOS的连通；

2022年09月30日03:31:10：

建立发布话题类，为实现mavros中的信息共享到hwt话题中建立无人机主节点，实现mavros中的信息共享到hwt话题中完善：

直接再Hwt_Htransform类中添加即可实现更多类的共享；

建立接受话题类，讲需要从(setxxxx)从hwt话题中发布到mavros对应话题中；

设想如何建立服务端和客户端的统一；

2022年10月01日08:48:36：

实现了初步的发布函数建立SendTest节点测试完善：

直接在Hwt_HSetTransform类中创建需要接受的话题即可接收到需要设置的东西；

直接在Hwt_HSetTransform类中创建需要发布的话题，接收到的话题数据发布给mavros。在发布时最好能够先让无人机解锁，然后往hwt/px4/Setmessage/xxx中发布信息，要不然会出现无法解锁的情况无人机进行定点飞行时的点需要一直发布无人机才会继续向前；

2022年10月02日13:12:24：

成功在github上创建项目，并可以克隆修改Test_Send函数，并将Sub格式修改为Hwt格式建立px4解锁节点，之后写完clientserve文件后，构建好解锁前的px4节点循环发送以能成功进入到offboard模式。

2022年10月03日12:03:47：

开始建立服务通信函数，实现请求与接受功能。

2022年10月04日16:11:10：

开始编写ClientServe类，初步对该类的建立完成。之后开发如果有其他新增的请求服务，可在Hwt_Hmain_Server.cpp/.h文件中进行追加，按照相同逻辑即可请求成功；编写.launch文件指南：

一共编写三个launch启动文件；

三个文件第一个启动的节点是px4/px4_stil/vision_to_mavros::t265_all_nodes；

第二个启动Hwt_Hmain_node节点；

第三个启动Hwt_Hmain_Server节点；

2022年10月07日19:42:30：

添加cv目录，并使用python3进行编译将hwt_Tranzxxxx_msgs转移到hwt_data中，其他项目调用时改为引用hwt_data以获取hwt数据格式。

在编写cmake文件时，需要添加add_dependencies(xxx${catkin_EXPORTED_TARGETS}hwt_data_gencpp)以确保先编译hwt_data目录，再编译其他文件。

使用“catkin_make-DPYTHON_EXECUTABLE＝/usr/bin/python3”命令进行编译。

2022年10月08日20:06:50：

在hwt_cv_detect功能包中添加rectangle检测测试，并成功提取矩形下一步修改：

将颜色检测和矩形检测结合起来；

先进行颜色检测提取出绿色的图形(此步过后将基本在inRange_hsv图像中只有绿色的图形存在白点，其他图形都是黑点)；

在inRange_hsv图像中继续进行操作，对其进行矩形检测；

两步检测完毕后加入候选框筛选，得到最终候选框；

2022年10月09日19:27:12：

建立home_position_detect_test1.py节点，初步实现对于矩形和颜色的检测，但在框选矩形效果不好，需要进一步修改

2、添加控制模块节点：

2022年11月20日18：40：20：

完善了HWT_OS的控制模块，能够通过外部控制命令借助HWT_OS控制无人机；

待完善内容：在Hwt_ht_position中加入欧拉角。

3、对小车模块的开发：

2022年10月15日09：40：20：

搭建小车平台的仿真环境，对Gmapping建图方法进行探索性尝试与适配，在指定的仿真车模上，市内建图效果符合预期，但室外建图方面的图像噪点过多，相关参数有待进一步调试。

2023年11月23日15：40：00：

特征点检测与特征点匹配在仿真环境中开展了初步尝试，遇到了相当多的问题，包括但不限于：特征点对数量无法满足匹配的最低需求，导致汉明距离的度量方式无法体现在匹配的操作当中；可参考的改进算法与仿真环境存在较多冲突，缺乏可参考的相关资料。

2023年12月11日22：00：00：

针对Cartographer的SLAM算法对于计算资源和硬件设备的硬性，成员协作对系统中的资源调度进行了深入优化，围绕此算法对小车部分的urdf等配置文件做出修改。

2023年01月05日18：00：00：

路径规划的导向仍存在诸多不确定性，自带的move_base功能包中需要对小车的相关参数进行指定；同时，某些必要的传感器数据无法反映在构建的代价地图中，小车没能按照预期对局部障碍进行规避，有待进一步的调试操作。

2023年02月10日12：00：00：

采用AMCL算法自适应位姿优化得以有效纠正机器人自身在地图中的实时位置，全局及局部路径规划在实际效果中得到了协调统一，通过订阅相关话题，在自建的gazebo地图中看到了完整的自主构图效果。

2023年03月05日17：25：00：

“坐标计算”及“像素加法”的方向取得了显著进展。即将两小车的相对位置关系，由欧拉角与四元数的变换进行计算，结合特征点，在地图上找的两小车的重叠位置并统一多地图方向，从而多张地图进行覆盖相加，实现了全地图的融合构建。

2023年03月11日17：25：00：

多车协同的TF树连接图有了较为完整的规划，尝试为每个小车添加命名空间，将小车的wheel、lidar、camera都在原有frame变更为qinzhou_x/xxxframe，再次基础上，通过订阅gazebo的robot/state_link节点，将每一个小车的全局odom数据都发布各自明明空间下对应话题，如yingyi_0/odom，而在tf树上的odomframe则通过steel包自动将/yingyi_0/ackman_steels/odom中的数据发布TF树话题，已实现TF树的链接。

2023年03月28日12：25：00：

多车在gazebo中的成功显示。

以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。