巡检机器人实时位置识别与番茄计数产量评估方法

技术领域

本发明涉及多传感器融合领域，具体地，涉及一种巡检机器人实时位置识别与番茄计数产量评估方法。

背景技术

设施农业环境番茄种植采用文洛式温室，空间大、通风流畅。番茄周年生长，通过剪枝、落蔓、打叶，使番茄在最佳生长区域成熟采摘。在标准双向轨道两边，番茄在种植槽上生长。纵向长度上百米，横向几十、上百垅种植槽与轨道并向排列。番茄果实生长在不同植株上呈现空间120°生长，果实重叠、枝叶、茎秆空间交叉、前后重叠。背景空间分布的复杂性，果实与背景多垅信息重叠，在生长期间，成熟果实的红色、渐红、绿色极其难分辨，是典型的非结构生长环境。

多拢重叠番茄种植，在产量评估计数中的问题：深度重叠、层次不清、一帧多图、一图多义。巡检机器人在轨道上行走时，实时获得当前垅的番茄信息，对成熟番茄计数。以获得当前轨道真实的成熟度数量，有助于种植商根据成熟数量安排采摘、施药、市场销售等管理。传统的方式是：工作人员根据经验判断果实的数量和成熟时间，然后安排采摘人员数量和预估采摘时间；对环境信息的检测，需要带相应仪器进行采集、检测、分析。人工分析过程根据个人主观性的不同会有很大的误差，采集数据、分析数据过程繁琐不稳定。工作劳动强度大、重复性高。

现有技术存在诸多的缺陷：巡检机器人上下轨基于单一传感器，对轨不准确，耗费时间长。巡检机器人在轨道上位置坐标获得不准确，与巡检番茄计数量缺少融合，很难获得实时位置的番茄数量信息。传统基于深度学习目标检测的方法，直接根据图像内检测到水果的数量，乘以帧数，实现农作物计数。这种方法相邻帧内存在大量番茄被重复计数，导致计数高估误差。传统的方式对种植管理者缺乏定时、定位、定量的番茄产量估算。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种巡检机器人实时位置识别与番茄计数产量评估方法。

根据本发明提供的一种巡检机器人实时位置识别与番茄计数产量评估方法，包括如下步骤：

垄行坐标信息获取步骤：巡检机器人在多个轨道间巡回移动，获取垄行坐标信息；

番茄巡检计数步骤：巡检机器人实时获取番茄图像，通过深度学习算法处理获得不同成熟度的番茄目标，基于特征匹配实现目标跟踪并统计番茄数量；

位置数量关联步骤：建立当前垄上成熟番茄计数量与当前轨道位置关系。

优选地，所述垄行坐标信息获取步骤包括：

轨道构建步骤：构建轨道地图，标注轨道的ID号，并获取轨道坐标信息；

轨道识别步骤：巡检机器人基于金属探测器和RGB传感器自动识别轨道；

轨道感知切换步骤：巡检机器人基于传感器感知位置，切换巡回至不同的轨道。

优选地，所述金属探测器和RGB传感器安装在巡检机器人上，其中：

所述金属探测器获取轨道头部信息，巡检机器人沿垂直轨道的方向平移，检测出铁轨的位置实现初步定位；

所述RGB传感器获取轨道头部的标记信息，确定轨道对中线，实现轨道精定位。

优选地，番茄巡检计数步骤包括：

数据集构建步骤：利用RGB-D相机获取番茄多维度空间信息，构建不同成熟度番茄检测数据集；

特征提取数据集构建步骤：对不同成熟度番茄检测数据集进行数据增强和预处理；使用不同成熟度番茄检测数据集对YOLO v7目标检测模型进行训练；并通过YOLO v7目标检测，构建不同成熟度番茄特征提取数据集；

预处理步骤：对不同成熟度番茄特征提取数据集进行数据增强和预处理；

提取特征训练步骤：使用不同成熟度番茄特征提取数据集对EfficientNet模型进行训练提取特征；

聚类映射步骤：对目标垄番茄点云进行面聚类分割获得目标行番茄点云，根据目标行番茄点云映射到彩色图像得到目标行番茄彩色图像；

目标检测步骤：使用YOLO v7目标检测模型实现目标检测，并使用DeepSORT算法实现目标跟踪，完成多目标不同成熟度番茄计数任务。

优选地，所述YOLO v7目标检测模型为对CA注意力机制改进的YOLO v7目标检测模型。

优选地，所述聚类映射步骤包括：

对视觉系统采集的番茄深度点云根据种植垄间距进行固定阈值的垄间分割得到目标垄番茄点云；

对目标垄番茄点云进行面聚类分割得到目标行番茄点云，根据种植行间距，对聚类平面进行空间位置约束，缩小聚类平面的搜索空间；

根据目标行番茄点云映射到彩色图像得到目标行番茄彩色图像。

优选地，所述位置数量关联步骤包括：

里程计算步骤：利用里程计记录巡检机器人在轨道位置信息；

移动距离估计步骤：基于里程计的巡检机器人速度、位置感知，估计巡检机器人相对于初始位置移动的距离；

巡检机器人位置获取步骤：巡检机器人实时获得定位坐标后输入工控机；

番茄数量获取步骤：巡检机器人通过RGB-Deep深度相机实时获取番茄图像，通过深度学习算法处理获得番茄目标，基于特征匹配实现目标跟踪并统计番茄数量；

融合步骤：将每一帧番茄计数后的图像信息与巡检机器人当前坐标位置融合，获得巡检机器人各时刻各坐标下的番茄数量。

优选地，所述轨道的端部设置有激光测距传感器，当所述巡检机器人运动至距离所述轨道端部设定距离后，激光测距传感器感知到巡检机器人，巡检机器人返回移动。

优选地，数据集构建步骤中，所述多维度空间信息包括彩色图、深度图以及视频流。

优选地，所述数据增强方法包括色域变换、平移、旋转和mosaic方法，预处理包括归一化处理和变换成固定尺寸图像。

与现有技术相比，本发明具有如下的有益效果：

1、本发明采用多种传感器实现精确定轨，位置坐标准确，耗时短。

2、本发明通过深度学习算法计算番茄计数数量，并通过聚类映射，实现目标跟踪，从而完成多目标不同成熟度番茄计数任务，且避免了番茄的重复计数。

3、本发明将轨道位置和番茄数量进行融合，从而获得巡检机器人各时刻各坐标下的番茄数量。

4、使用EfficientNet模型替换DeepSORT算法特征提取网络，获取更加准确特征。

5、番茄目标检测边界框大小进行自适应，获取部分近邻番茄图像，进一步提取近邻番茄位置关系等特征，有利于前后帧番茄ID匹配准确性，防止ID频繁变动。

6、对深度图根据种植垄行间距特性进行点云面聚类分割获得目标行番茄点云，然后映射彩色图像获得目标行番茄图像，排除不同排背景番茄干扰。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为轨道坐标ID信息示意图。

图2为巡检机器人自动识别导轨结构示意图。

图3为巡检机器人自动上下轨示意图。

图4为不同成熟度番茄果实计数流程图。

图5为巡检RGB-D相机获取番茄图像信息示意图。

图6为基于深度图点云分割的彩色图像映射流程图。

图7为检测框进行自适应检测结果示意图。

图8为巡检机器人番茄计数示意图。

图9为番茄计数量与巡检机器人当前位置坐标融合示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1至图9所示，本发明提供了一种巡检机器人实时位置识别与番茄计数产量评估方法，采用多传感器融合的方式，包括视觉RGB相机、RGB-Deep深度相机、金属传感器、里程计及激光测距传感器等高度融合。使之巡检机器人自动获得轨道位置信息、番茄生长信息，并高度融合。实现巡检机器人实时位置识别与番茄计数产量评估。其中金属传感器检测金属轨道头部信息实现轨道初定位，通过车体前端RGB相机获得该轨道头部上的红色标记，确定导轨对中线。实现导轨精定位。从而获得巡检机器人一个方向上的定位坐标(设为X坐标)。当巡检机器人进入轨道后，开启里程计实时测量巡检机器人沿轨道行走距离，从而获得巡检机器人在轨道纵深方向的定位坐标(设为Y坐标)。巡检机器人实时获得定位坐标输入工控机。巡检机器人沿轨道纵深方向移动，导轨尽头装有基于非接触测量方式激光传感器，传感器检测到巡检机器，机器自动停车，开始返回行程。巡检机器人在番茄结果区域高度上端装有1-3个RGB-Deep深度相机，实时获取番茄点云图像，通过深度学习算法处理获得番茄计数数量。使之每一帧番茄计数后的图像信息上标有巡检机器人当前坐标位置。从而获得巡检机器人各时刻各坐标下的番茄数量。为后续产量评估奠定基础。

更为详细的，首先通过设置巡检机器人自动上下轨，获得垄行坐标信息。如图1所示，首先构建导轨地图，标注导轨ID号，获得导轨坐标信息。有序标注轨道号并存储，如图1示出了三个并行的轨道。巡检机器人上设置有金属探测器和RGB传感器，能够自动识别导轨。具体的，首先通过巡检机器人前端装的金属探测器金属导轨头部信息，巡检机器人沿导轨垂直方向X平移，检测出轨道的位置实现初步定位。其次基于视觉RGB传感器实现轨道精定位，通过车体前端RGB传感器，获得该轨道头部上的红色标记，确定导轨对中线，实现导轨精定位。

巡检机器人能够基于激光传感器的巡检机器人自动停车、返回、下轨，首先驱动电机驱动巡检机器人上轨道，沿轨道纵深方向移动。轨道尽头装有激光测距传感器，对巡检机器人进行非接触式的车体远程感知。设定巡检机器人距离传感器30-50cm时候，激光测距传感器感知到机器，机器自动停车，开始返回。

通过传感器实时感知巡检机器人到达导轨末端位置。到达末端位置后，巡检机器人在轨道上后退回到起始点，下轨，转移到另一个轨道。巡检机器人上下轨流程见图3。具体包括：激光测距传感器感知巡回机器人，停车，返回移动1——下轨2——平移3——导轨识别4——平移调整5——上轨6——前进移动7。

巡检机器人在番茄结果区域高度上端装有1-3个RGB-Deep深度相机，实时获取番茄图像，通过深度学习算法处理获得番茄目标，然后基于特征匹配实现目标跟踪并统计番茄数量。见图4所示。针对番茄多垄重叠种植，在产量评估计数中存在深度重叠、层次不清、一帧多图、一图多义的问题。本发明提出一种基于RGB-D信息映射的番茄数量实时计数方法。首先，通过深度图对多排背景番茄进行剔除，再将有效深度信息映射到彩色图中，从而对多排背景番茄形成掩膜效果，排除多垅背景番茄干扰。该方法包括，对多垅番茄、当前垅单串番茄点云配准，从而构建番茄全局生长和局部生长番茄信息，提高单粒计数精准度。对番茄点云进行面聚类分割获得目标行番茄点云(即深度图)，并通过深度图对彩色图进行映射，排除背景番茄(即非目标行番茄)干扰。具体流程为：首先对视觉系统采集的番茄深度点云根据种植垄间距进行固定阈值的垄间分割得到目标垄番茄点云，然后对目标垄番茄点云进行面聚类分割得到目标行番茄点云，为了提高面聚类速度，根据种植行间距，对聚类平面进行空间位置约束，缩小聚类平面的搜索空间，最后根据目标行番茄点云映射到彩色图像得到目标行番茄彩色图像；

进一步说明，利用RGB-D相机获取番茄多维度空间信息，包括彩色图、深度图和视频流，构建不同成熟度番茄检测数据集；对不同成熟度番茄检测数据集进行数据增强和预处理；使用不同成熟度番茄检测数据集对CA注意力机制改进的YOLO v7目标检测模型进行训练；并通过改进的YOLO v7目标检测，构建不同成熟度番茄特征提取数据集；对不同成熟度番茄特征提取数据集进行数据增强和预处理；使用EfficientNet模型替换DeepSORT算法特征提取网络获得改进的DeepSORT算法,并使用不同成熟度番茄特征提取数据集对EfficientNet模型进行训练提取特征；使用改进的YOLO v7实现目标检测，并使用改进DeepSORT算法实现目标跟踪，从而完成多目标不同成熟度番茄计数任务。

更为详细的说明：所述不同成熟度番茄检测数据集包括未成熟、半成熟和成熟这三类，并具备相应的空间物理位置(多垅番茄信息、当前垅单串番茄)信息，对边界框位置进行打标。不同成熟度番茄计数算法验证视频包含深度视频和彩色视频。

所述数据增强方法包括色域变换、平移、旋转和mosaic方法，预处理包括归一化处理和变换成固定尺寸图像。

使用CA注意力机制改进YOLO v7算法，有利于提高模型检测精度。YOLO v7模型由3部分组成,即输入部分(input)、主干特征提取网络部分(backbone)和检测头部分(head)。主干特征提取网络在YOLO v5的基础上,引入了ELAN结构和MP结构。检测头部分由SPPCSPC模块、引入了ELAN结构的PAN模块及RepConv模块组成。

针对番茄不同成熟度及空间位置(多垅番茄、当前垅单串番茄)信息识别要求，进行多维相机空间位置关系云配准，采用迭代最近点算法(Iterative Closest Point，ICP)提高不同视角点云配准精度。

原始DeepSORT算法特征提取网络较为简单，特征提取能力不足，且仅对目标检测获得边界框内番茄进行提取，各个番茄特征较为类似难以区分。使用EfficientNet模型替换DeepSORT算法特征提取网络，获取更加准确特征，且对边界框长宽扩大自身一般，进行自适应，获取部分近邻番茄图像，进一步提取近邻番茄位置关系等特征，有利于前后帧番茄ID匹配准确性，防止ID频繁变动。

由于背景番茄干扰，首先对深度图根据种植垄行间距特性进行点云面聚类分割获得目标行番茄点云，排除不同排背景番茄干扰，并将有效深度信息进行映射到彩色图，获得具有有效深度信息的彩色图，用于(YOLO v7模型)的检测和DeepSORT模型计数，提高模型检测速度和计数精度。

输入的彩色图已经经过深度映射排除了多排背景番茄的干扰，改进YOLO v7模型作为检测器检测精度更高；改进DeepSORT算法中，每个新的目标都可以初始化为一个新的轨迹，通过匈牙利算法可以实现跟踪目标的跟新和新目标ID的产生，通过EfficientNet模型提取的特征之间的余弦距离来筛选待匹配的检测目标。EfficientNet模型作为特征提取器ID匹配更加准确。

本发明基于RGB-D信息映射的番茄巡检计数法实施方式如图4所示，具体包括：

步骤1，采用多视角Realsense相机获取深度视频和彩色视频，分辨率为1080*720，深度探测范围0.2m-10m。相机设备分别配备了左右两个红外摄像头和一个红外点阵投射器，其中红外摄像头用于测距，红外点阵投射器用于提高深度计算的精度。

步骤2，构建不同成熟度番茄检测数据集，分别为训练集、测试集和验证集。

将实时采集的彩色视频的一半作为检测数据集，隔5帧以jpg格式进行保存。运用Labelme软件进行打标，将番茄分为未成熟、半成熟和成熟这三类，将数据集以4:1的比例分为训练集和测试集。对数据进行归一化处理和数据增强，数据增强处理为色域变换、平移、旋转和mosaic方法。色域变换是将RGB转化为HSV色域。如图1所示。

步骤4，使用CA注意力机制改进YOLO v7,使用训练集进行训练和参数调优。CA注意力机制可以提高YOLO v7的检测精度。主干特征提取网络在YOLO v5的基础上,引入了ELAN结构和MP结构。检测头部分由SPPCSPC模块、引入了ELAN结构的PAN模块及RepConv模块组成。

步骤5，改进YOLO v7对训练集进行检测，对检测出的边界框进行自适应，并裁剪。自适应指通过扩大长宽为原始边界框的一半，可以获取近邻番茄位置关系，提取更加独特的特征，使相同类番茄更好的加以区分，减少ID变动，使计数更加准确。

步骤6，构建不同成熟度番茄特征提取数据集。对不同成熟度番茄特征提取数据集进行归一化和数据增强。数据增强处理为色域变换、平移、旋转和mosaic方法。色域变换是将RGB转化为HSV色域。

步骤7，使用EfficientNet模型替换DeepSORT算法特征提取网络获得改进的DeepSORT算法，并使用不同成熟度番茄特征提取数据集对Efficient模型进行训练与调优。

步骤8，针对番茄不同成熟度及空间位置(多垅番茄、当前垅单串番茄)信息识别要求，进行多维相机空间位置关系云配准，采用迭代最近点算法(Iterative Closest Point，ICP)提高不同视角点云配准精度。

步骤9,根据种植垄行间距特性对深度图点云进行面聚类分割获得目标行番茄点云，并将有效深度信息进行映射到彩色图。

步骤10，使用改进YOLO v7对彩色图进行检测获取检测框和类别，如图4所示。黄色虚线为成熟番茄，红色实线为未成熟番茄。

步骤11，将自适应后检测框内图片输入Efficient模型进行特征提取。获取特征向量。

步骤12，将特征向量进行级联匹配，如果成功则输入匹配成功的目标与轨迹列表，如果失败则进行IoU匹配。如果IoU匹配成功则输入匹配成功的目标与轨迹列表，如果失败达到一定次数则放弃。将匹配成功的目标与轨迹列表进行卡尔曼滤波预测。

步骤13，再获取帧，重复步骤8-步骤12，实现目标计数。

如图9所示，建立当前垄上成熟番茄计数量与该轨道位置关系，里程计巡检机器人安装在轨道轮上。利用轮式里程计从移动传感器获得的数据来估计巡检机器人位置随时间的变化而改变，基于里程计的巡检机器人速度、位置感知，估计巡检机器人相对于初始位置移动的距离。根据以上方法，获得的巡检机器人一个方向上的定位坐标(设为X坐标)。和在轨道纵深方向的定位坐标(设为Y坐标)。巡检机器人实时获得定位坐标后输入工控机。巡检机器人在番茄结果区域高度上端装有1-3个RGB-Deep深度相机，实时获取番茄图像，通过深度学习算法处理获得番茄目标，然后基于特征匹配实现目标跟踪并统计番茄数量。使之每一帧番茄计数后的图像信息与巡检机器人当前坐标位置融合。从而获得巡检机器人各时刻各坐标下的番茄数量。

在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。