基于图像处理与生成对抗网络的田间导航线提取方法及系统

技术领域

本发明属于图像处理、深度神经网络学习技术领域，特别是涉及基于图像处理与生成对抗网络的田间导航线提取方法及系统。

背景技术

图像处理技术是利用计算机将获取得到的图像进行处理的技术，主要包括图像分割、图像识别、图像增强和复原等。利用图像处理技术，可以让机械获得“眼睛”，获取视觉这一重要信息，从而更加方便准确地对机械进行控制。

深度学习是机器学习领域中的一个新的研究方向，它被引入机器学习使其更接近于人工智能。深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。深度学习是学习样本数据的内在规律和表示层次，它是一种复杂的机器学习算法，在语音和图像识别方面取得的效果远远超过先前相关技术。

生成对抗网络(GAN，Generative Adversarial Networks)是一种深度学习模型。该模型包括两个模块：生成模型(Generative Model)和判别模型(DiscriminativeModel)。两个模块一般均为深度神经网络。生成模型根据输入生成目标图片，判别模型则判断该图片是真实图片还是生成模型产生的假图片；生成模型根据判别模型的结果来不断优化生成结果，判别模型则尽可能地区分出生成模型的假图片，两者相互博弈进而产生好的结果。

目前现有技术中当机器人获取的图片中存在多个垄的作物时，需要找到图片中间的作物来帮助指导机器人调整姿态与方向，但是如果在存在杂草等复杂环境中，目前并没有一个很好的方法可以简单有效地实现除去杂草影响，准确找到中间作物，并以此来实现提取导航线的功能。

发明内容

本发明目的是为了解决现有技术中的问题，提出了基于图像处理与生成对抗网络的田间导航线提取方法及系统，利用传统图像处理方法与深度神经网络相结合的方法来实现算法功能设计，所述方法及系统可以实现机器人在田垄中可以在无需人员操作的情况下，自主寻找定位前方苗线，从而帮助机器人沿着苗线进行行走的功能。

本发明是通过以下技术方案实现的，本发明提出基于图像处理与生成对抗网络的田间导航线提取方法，所述方法具体包括：

步骤1、利用摄像头拍摄机器人前方区域，获取田间作物的作物图像；

步骤2、对作物图像进行图像处理操作后获取绿色相关的二值化图像；

步骤3、利用生成对抗网络模型训练出的生成器绘制出带有红色导航线的二值化图像；

步骤4、根据绘制出的二值化图像提取出红色导航线的位置、偏角度和偏移量信息来帮助机器人在田间调整行走的姿态与方向。

进一步地，在步骤2中，接收摄像头获取的图像，提取其中的绿色部分，转化成二值化图像，利用形态学操作优化二值化图像。

进一步地，所述步骤2具体为：

步骤21、将图像上方1/4与底部1/4部分全部切除，仅保留图像中间部分；

步骤22、将新图像由RGB空间转换至HSV空间；

步骤23、使用函数cv2.inRange()提取出HSV空间下的绿色部分，设置绿色颜色提取范围，low＝(35,43,45)，high＝(77,255,255)，使该范围内颜色变成白色，其余变成黑色，得到二值化图像mask；白色部分即原始图像中的作物部分；

步骤24、使用函数cv2.morphologyEx()对mask图像进行形态学操作，对图像进行腐蚀操作，消除小噪声，优化作物信息；

步骤25、保存图像，用于生成对抗网络GAN模型的输入。

进一步地，所述GAN模型使用的是pix2pix模型。

进一步地，所述步骤3具体为：

步骤31、将训练集输入GAN模型中，训练并保存最终模型G；

步骤32、将步骤2保存的图像输入最终模型G中，即可输出带有红色导航线的图像。

进一步地，所述步骤4具体为：

步骤41、将图像由RGB空间转换至HSV空间；

步骤42、使用函数cv2.inRange()，提取出HSV空间下的红色部分，设置红色颜色提取范围，low＝(0,43,45)，high＝(10,255,255)，使该范围内颜色变成白色，其余变成黑色，得到二值化图像mask；

步骤43、提取二值化图像mask中所有白色部分的点的坐标，利用最小二乘法拟合直线，计算位置、偏角度和偏移量信息。

进一步地，在步骤2和步骤4中均使用cv2.cvColor()函数将图像由RGB空间转换至HSV空间。

本发明提出基于图像处理与生成对抗网络的田间导航线提取系统，所述系统具体包括：

获取模块：利用摄像头拍摄机器人前方区域，获取田间作物的作物图像；

图像处理模块1：对作物图像进行图像处理操作后获取绿色相关的二值化图像；

GAN模块：利用生成对抗网络模型训练出的生成器绘制出带有红色导航线的二值化图像；

图像处理模块2：根据绘制出的二值化图像提取出红色导航线的位置、偏角度和偏移量信息来帮助机器人在田间调整行走的姿态与方向。

本发明还提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述基于图像处理与生成对抗网络的田间导航线提取方法的步骤。

本发明还提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述基于图像处理与生成对抗网络的田间导航线提取方法的步骤。

本发明具有以下有益效果：

(1)本发明的特点是利用深度神经网络中的生成对抗网络(GAN模型)来学习直接绘制导航线，同时利用传统图像处理提前优化输入信息，在一定程度上减少外界环境因素的干扰。

(2)本发明针对的是环境相对单一，重复性高的农业环境中，模型的训练相对简单，可以降低杂草以及外界环境的影响，同时有效地找到中间作物绘制出导航线，用于指导机器人调整方向与姿态。

附图说明

图1为基于图像处理与生成对抗网络的田间导航线提取方法的整体功能实现流程图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，本发明提出基于图像处理与生成对抗网络的田间导航线提取方法，所述方法具体包括：

步骤1、利用摄像头拍摄机器人前方区域，获取田间作物的作物图像；所述作物图像包括作物位置信息；

步骤2、对作物图像进行图像处理操作后获取绿色相关的二值化图像；

步骤3、利用生成对抗网络模型训练出的生成器绘制出带有红色导航线的二值化图像；

步骤4、根据绘制出的二值化图像提取出红色导航线的位置、偏角度和偏移量等信息用于计算控制信号来控制机器人在田间调整行走的姿态与方向。

在步骤2中，接收摄像头获取的图像，提取其中的绿色部分，转化成二值化图像，利用形态学操作优化二值化图像。

所述步骤2对作物图像进行图像处理操作后获取绿色相关的二值化图像具体为：

步骤21、将图像上方1/4与底部1/4部分全部切除，仅保留图像中间部分；太远或者太近的作物信息并不适合用于指导机器人的行走；

步骤22、使用函数cv2.cvColor()，将新图像由RGB空间转换至HSV空间；

步骤23、使用函数cv2.inRange()提取出HSV空间下的绿色部分，设置绿色颜色提取范围，low＝(35,43,45)，high＝(77,255,255)，使该范围内颜色变成白色，其余变成黑色，得到二值化图像mask；白色部分即原始图像中的作物部分；

步骤24、使用函数cv2.morphologyEx()对mask图像进行形态学操作，对图像进行腐蚀操作，消除小噪声，优化作物信息；

步骤25、保存图像，用于生成对抗网络GAN模型的输入。

所述GAN模型使用的是pix2pix模型，主要用于根据上述步骤2的二值图像来绘制红色导航线。

所述步骤3利用生成对抗网络模型训练出的生成器绘制出带有红色导航线的二值化图像具体为：

步骤31、将训练集输入GAN模型中，训练并保存最终模型G；

步骤32、将步骤2保存的图像输入最终模型G中，即可输出带有红色导航线的图像。

其中步骤31中的模型G的训练可提前实施，实际使用中，直接操作步骤32，利用训练完好的模型G直接对步骤2处理获取的图像进行处理。

所述步骤4根据绘制出的二值化图像提取出红色导航线的位置、偏角度和偏移量等信息用于计算控制信号来控制机器人在田间调整行走的姿态与方向具体为：

步骤41、使用cv2.cvColor()，将图像由RGB空间转换至HSV空间；

步骤42、使用函数cv2.inRange()，提取出HSV空间下的红色部分，设置红色颜色提取范围，low＝(0,43,45)，high＝(10,255,255)，使该范围内颜色变成白色，其余变成黑色，得到二值化图像mask；

步骤43、提取二值化图像mask中所有白色部分的点的坐标，利用最小二乘法拟合直线，计算位置、偏角度和偏移量信息。

本发明提出基于图像处理与生成对抗网络的田间导航线提取系统，所述系统具体包括：

获取模块：利用摄像头拍摄机器人前方区域，获取田间作物的作物图像；

图像处理模块1：对作物图像进行图像处理操作后获取绿色相关的二值化图像；

GAN模块：利用生成对抗网络模型训练出的生成器绘制出带有红色导航线的二值化图像；

图像处理模块2：根据绘制出的二值化图像提取出红色导航线的位置、偏角度和偏移量信息用于计算控制信号来控制机器人在田间调整行走的姿态与方向。

本发明还提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述基于图像处理与生成对抗网络的田间导航线提取方法的步骤。

本发明还提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述基于图像处理与生成对抗网络的田间导航线提取方法的步骤。

本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM，DRRAM)。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disc，SSD))等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

应注意，本申请实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

以上对本发明所提出的基于图像处理与生成对抗网络的田间导航线提取方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。