一种深度学习和群智能算法的水果采摘优化模型的方法

技术领域

本发明涉及人工智能采摘技术领域，具体为一种深度学习和群智能算法的水果采摘优化模型的方法。

背景技术

果实采摘是农业生产的关键环节之一，采摘顺序可以影响采摘效率和果实品质；传统的果实采摘方法通常是人工采摘，但这种方法费时费力，效率低下；随着计算机视觉技术的发展和机械自动化水平的提高，自动化果实采摘已成为一种新的研究方向；其中，基于图像分割的果实采摘顺序算法的研究是其中一个重要的方向；现阶段，梨子采摘难度大，需要较大的人力物力成本，并且在较为复杂的果园环境下，采摘效率并不理想，不适合规模化大面积梨子种植业的发展，因此实现采摘自动化，对规模较大的采摘场景效率的提升具有重大意义。

目前，农业机器人在适应性上还存在很多不足之处，尤其是面对现实中复杂的农业环境，农业机器人难以适应果园中复杂多变的环境以及多变的天气变化；除此之外，现代化农业机器人虽然种类繁多，但是更偏向于实现简单的农业生产活动，专业化的农业机器人的研究成本及生产成本比较高，并且相较于单一功能的农业设备来说效率更低，这些不足就导致农业机器人在实际场景中难以得到广泛地推广使用。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种深度学习和群智能算法的水果采摘优化模型的方法，利用计算机视觉技术实现图像分割的果实采摘顺序算法，提高了果实采摘效率和果实定位精度，解决了现有技术中采摘过程中的浪费和伤害，同时还能够避免果实的腐烂和损坏，无法提高果实的保质期和市场价值的问题。

(二)技术方案

为实现上述的目的，本发明提供如下技术方案：一种深度学习和群智能算法的水果采摘优化模型的方法，包括以下步骤：

S1、收集自然环境下的水果果实图片作为训练数据，并对数据进行预处理；

S2、设计一种改进U-Net模型的CA U-Net语义分割网络，将U-Net模型的主干网络VGG16更换为轻量化的MobileNet-V3结构；

S3、将MoblieNet-v3主干特征网络中的SE注意力机制模块替换为CoordinateAttention注意力机制，使得在复杂的果园背景下可以取得更好的效果；

S4、利用K-means聚类算法首先对果实进行分组，再利用聚类分组进行寻优，将聚类进化机制与多目标蚱蜢优化算法相结合确定采摘顺序优化模型；

S5、利用基于采摘距离最短和果实被遮挡面积最小两个原则对果实的采摘顺序进行优化，并且根据不同采摘场景和不同的果实来合理的分配因素影响权重；

S6、最后利用改进的群智能优化算法优化果实的采摘顺序后，利用农业机器人进行采摘。

优选的，所述S3中SE注意力机制模块需要两个全连接层，且CoordinateAttention注意力机制只需要一个全连接层和一个可学习的位置编码器。

优选的，所述Coordinate Attention为一种轻量级的注意力机制，用于减少计算成本和参数数量，且Coordinate Attention通过使用坐标信息来学习特征之间的关系，提高网络的表现，所述Coordinate Attention注意力机制通过将空间位置通道之间的关系建模为2D坐标和通道嵌入之间的相互作用，从而实现网络更好地捕捉特征之间的空间和通道的依赖性。

优选的，所述S5中采摘距离最小的数学模型如下所示：

其中，m为采摘场景中共有m个子种群，n为每个子种群共有n个果实，i为对应的种群编号，对种群依次进行编号为i＝1，2，…，m，j为对应每个子种群里的果实数量，对果实依次排序为j＝1，2，…，n；

根据果实被遮挡面积来判断果实的外表裸露情况，来减少果实的破损，果实裸露面积根据目标检测模型检测框的重叠程度进行计算比较，其数学模型如下：

综合以上两个目标影响，结合实际采摘场景，利用算法来对模型进行求解，使得f1和f2同时最小化，建立多目标采摘顺序优化算法模型为Y-min(f

优选的，所述S6中用于模拟蝗虫群体行为的数学模型为：

其中X

优选的，算法中蚱蜢中到达舒适区的速度较快，蚱蜢群在收敛到目标位置中受到限制，需要引入参数来区分不同阶段，更新蚱蜢位置的数学模型如下：

其中d

优选的，优化问题的关键点在于G

N维搜索空间的上边界用

优选的，所述S4中利用K-means聚类将总体划分为不同的子种群，会比较每个子种群中最佳的解决方案，以便确定整体中最优的参数确定方案。

(三)有益效果

与现有技术相比，本发明提供了一种深度学习和群智能算法的水果采摘优化模型的方法，具备以下有益效果：

1、本发明通过采用深度学习算法来对梨子果实图片进行检测定位和图像分割，通过双目相机对水果果实的采摘点进行三维坐标定位，并且对每个果实进行采摘顺序的优化，将U-Net中参数量较大的主干特征提取网络VGG16进行替换，换为轻量化的MobileNet-V3网络，然后将MobileNet-V3中的SE模块改进为Coordinate Attention注意力模块，提高复杂背景下的图像分割精度，通过将多目标蚱蜢优化算法应用于果实采摘顺序优化的场景之中，并且对果实的分组机制进行优化，利用K-means聚类算法首先对果实进行分组，之后利用基于采摘距离最短和果实被遮挡面积最小两个原则对果实的采摘顺序进行优化，并且根据不同采摘场景和不同的果实来合理的分配因素影响权重，利用改进的群智能优化算法优化果实的采摘顺序。

2、本发明通过采用轻量化的网络结构并且更加注重空间感知的注意力机制，利用自然环境下的水果果实图片作为数据集进行模型训练。其次，采用群智能算法对果实采摘顺序进行优化，根据不同场景和果实特点，将采摘距离最短和果实被遮挡面积最小两个原则作为优化指标，合理分配因素影响权重，通过利用计算机视觉技术实现图像分割的果实采摘顺序算法，提高了果实采摘效率和果实定位精度，解决了现有技术中采摘过程中的浪费和伤害，同时还能够避免果实的腐烂和损坏的问题，进而提高果实的保质期和市场价值。

附图说明

图1为本发明提出的一种深度学习和群智能算法的水果采摘优化模型的方法的原理示意图；

图2为本发明提出的一种深度学习和群智能算法的水果采摘优化模型的方法的步骤示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照附图1-2，一种深度学习和群智能算法的水果采摘优化模型的方法，包括以下步骤：

S1、收集自然环境下的水果果实图片作为训练数据，并对数据进行预处理；

S2、设计一种改进U-Net模型的CA U-Net语义分割网络，将U-Net模型的主干网络VGG16更换为轻量化的MobileNet-V3结构；

S3、将MoblieNet-v3主干特征网络中的SE注意力机制模块替换为CoordinateAttention注意力机制，使得在复杂的果园背景下可以取得更好的效果；

S4、利用K-means聚类算法首先对果实进行分组，再利用聚类分组进行寻优，将聚类进化机制与多目标蚱蜢优化算法相结合确定采摘顺序优化模型；

S5、利用基于采摘距离最短和果实被遮挡面积最小两个原则对果实的采摘顺序进行优化，并且根据不同采摘场景和不同的果实来合理的分配因素影响权重；

S6、最后利用改进的群智能优化算法优化果实的采摘顺序后，利用农业机器人进行采摘；

设计了一种语义分割网络，采用轻量化的网络结构并且更加注重空间感知的注意力机制，利用自然环境下的水果果实图片作为数据集进行模型训练。其次，采用群智能算法对果实采摘顺序进行优化，根据不同场景和果实特点，将采摘距离最短和果实被遮挡面积最小两个原则作为优化指标，合理分配因素影响权重；

通过利用计算机视觉技术实现图像分割的果实采摘顺序算法，提高了果实采摘效率和果实定位精度，解决了现有技术中采摘过程中的浪费和伤害，同时还能够避免果实的腐烂和损坏的问题，进而提高果实的保质期和市场价值。因此，基于图像分割的果实采摘顺序算法具有重要的实际应用价值。

所述S3中SE注意力机制模块需要两个全连接层，因此参数量比较大，需要额外的计算成本和参数数量，这对于轻量级的移动设备可能会造成一定的负担，且CoordinateAttention注意力机制只需要一个全连接层和一个可学习的位置编码器，参数量更小，该注意力的计算速度相对更快，并且更加适合果园实时性采摘场景。

所述Coordinate Attention为一种轻量级的注意力机制，旨在提供类似于SE注意力的增强特征表示的能力，用于减少计算成本和参数数量，且Coordinate Attention通过使用坐标信息来学习特征之间的关系，提高网络的表现，所述Coordinate Attention注意力机制通过将空间位置通道之间的关系建模为2D坐标和通道嵌入之间的相互作用，从而实现网络更好地捕捉特征之间的空间和通道的依赖性。

按照采摘距离的大小能够有效的减少机器的移动距离，增加采摘效率，对这个目标进行优化，使得采摘的距离最小，所述S5中采摘距离最小的数学模型如下所示：

其中，m为采摘场景中共有m个子种群，n为每个子种群共有n个果实，i为对应的种群编号，对种群依次进行编号为i＝1，2，…，m，j为对应每个子种群里的果实数量，对果实依次排序为j＝1，2，…，n；

根据果实被遮挡面积来判断果实的外表裸露情况，来减少果实的破损，果实裸露面积根据目标检测模型检测框的重叠程度进行计算比较，其数学模型如下：

综合以上两个目标影响，结合实际采摘场景，利用算法来对模型进行求解，使得f1和f2同时最小化，建立多目标采摘顺序优化算法模型为Y＝min(f

所述S6中用于模拟蝗虫群体行为的数学模型为：

其中Xx表示第i个蚱蜢的位置，S

算法中蚱蜢中到达舒适区的速度较快，蚱蜢群在收敛到目标位置中受到限制，需要引入参数来区分不同阶段，更新蚱蜢位置的数学模型如下：

其中d

优化问题的关键点在于G

N维搜索空间的上边界用

所述S4中利用K-means聚类将总体划分为不同的子种群，会比较每个子种群中最佳的解决方案，以便确定整体中最优的参数确定方案。

需要说明的是，术语“包括”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。