一种基于图像识别算法的智慧农业人员行为识别系统

技术领域

本发明涉及智慧农业技术、人工智能技术，具体而言，涉及一种基于图像识别算法的智慧农业人员行为识别系统。

背景技术

智慧农业技术是指利用各种信息化技术，包括物联网、大数据、云计算和人工智能等来改善和优化农业生产和管理；智慧农业技术的出现，极大的促进了农业的现代化进程，并为解决全球性的食品安全问题提供了新的思路和手段。

其中，人工智能技术在智慧农业中发挥了重要作用；例如人工智能可以利用大量数据训练出精准的作物识别和病虫害预警模型，帮助决策者更加快速地发现病虫还和作物生长问题；同时，人工智能也可以实现农业自动化和智能控制，提高农业生产效率和降低成本；智能识别算法作为人工智能技术的底层技术，是实现人工智能技术的基本要素；正是因为有各种智能识别算法作为基础，才能够实现人工智能技术对不同目标的识别。

在以往的人工智能对智慧农业的识别任务中，往往是对作物进行识别，很少有专门对农业人员进行识别的；即使对农业人员进行识别的，也仅仅是识别农业人员的身份信息，而不对农业人员的实时行为进行识别，例如：对农业人员是否怠工或者农业人员动作是否符合规定等行为的识别；这将导致不能及时的发现农场农业人员的工作状态和在工作中存在的问题，降低了农业生产的效率，无法及时发现和排除农业人员在工作过程中的安全隐患。

发明内容

本发明的目的在于克服现有技术存在的以上问题，以及在原有技术基础上大大提高其技术效果；为此，本发明提供了一种基于图像识别算法的智慧农业人员行为识别系统，该系统包括：

场景构建模块；视频信息采集模块；视频信息识别模块；确认模块。

具体而言，场景构建模块用于构建农业人员工作时的不同动态场景，以便在确认模块确认农场农业人员的具体行为；具体方法为：搜集农场农业人员工作时的历史视频信息，将历史视频信息和三维动态设计技术相结合，构建农业人员工作时的不同动态场景；所述农业人员工作时的不同动态场景包括农业人员实时动作和农业人员实时动作作用对象。

具体而言，视频信息采集模块用于采集农场农业人员工作时的视频信息，采集视频信息的设备为视频传感器；所述视频传感器采用可调整角度的视频传感器，保证一个传感器能够采集到较大范围内农业人员的视频信息。

具体而言，视频信息识别模块包括：视频信息分割单元和识别单元；所述视频信息分割单元用于将视频信息采集模块采集到的视频按照组成视频的帧分割成具有一定时间顺序的图像信息；所述识别单元用于对图像信息进行分析和识别，包括对图像信息中农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象的识别；通过图像识别算法中的三维卷积神经网络算法对农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象进行识别。

所述视频的帧指视频是由静止的画面构成的，构成视频的静止画面叫做帧；视频信息分割单元采用视频编辑器将视频信息分割成一系列具有一定时间顺序的图像信息。

所述三维卷积神经网络算法指基于三维卷积神经网络的单阶段模型算法，所述三维卷积神经网络的单阶段模型算法包括特征提取单元和判定单元，所述特征提取单元用于提取一定时间顺序的图像信息中的时空特征，所述判定单元用于根据时空特征生成判定结果；因此，通过三维卷积神经网络的单阶段模型算法对视频信息分割单元分割的图像信息进行分析和识别，能够识别一定时间顺序的图像信息中农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象；需要指出的是，三维卷积神经网络的单阶段模型算法是在卷积神经网络基础上建立的，而卷积神经网络能够识别图像中各对象的分类信息，即能够识别图像中农业人员身份信息和农业人员实时动作作用对象的信息；因此，三维卷积神经网络的单阶段模型算法也能够识别图像信息中农业人员身份信息和农业人员实时动作作用对象的信息。

具体而言，确认模块用于对视频信息中农业人员行为的确认；确认模块通过将视频信息识别模块得到的识别结果和场景构建模块中的不同动态场景进行对比，确认农业人员行为；具体为：根据三维卷积神经网络的单阶段模型算法对视频信息分割单元分割的图像信息进行分析和识别，得到对应视频信息中农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象；随后，将对视频信息的分析结果和场景构建模块中的不同动态场景进行对比，确认视频信息中实时的农业人员行为。

具体而言，确认模块还包括：确认视频信息中实时的农业人员行为后，若判定农业人员行为不符合农场规定，则根据农业人员身份信息及时通知对应的农业人员进行调整；比如：发现农业人员有怠工的行为，及时提醒农业人员注意效率；发现农业人员有工作状态不正常，则提醒工作人员休息，并确认身体无碍等。

本发明的有益效果是：

本发明提出了一种基于图像识别算法的智慧农业人员行为识别系统；该系统分为场景构建模块、视频信息采集模块、视频信息识别模块和确认模块四个模块；在四个模块的基础上，通过三维卷积神经网络的单阶段模型算法结合场景构建模块对农业人员的行为进行识别，根据识别结果判定农业人员的工作状态和工作中存在的问题；对提升农业生产效率和保障农业人员安全具有一定的作用。

附图说明

图1：本发明的一种基于图像识别算法的智慧农业人员行为识别系统的示意图。

图2：三维卷积神经网络算法的组成示意图。

图3：三维卷积神经网络算法识别农业人员的实时动作流程图。

具体实施方式

以下结合附图对本发明的具体实施例进行详细说明；应当理解的是此处所给出的具体实施例仅用于说明和解释本发明，并不能用来限制本发明。

如图1所示，根据本发明的实施例的一种基于图像识别算法的智慧农业人员行为识别系统，该系统包括：S100，场景构建模块；S101,视频信息采集模块；S102,视频信息识别模块；S103,确认模块；S104,视频信息分割单元；S105，识别单元。

具体地，该系统的场景构建模块S100用于构建农业人员工作时的不同场景，视频信息采集模块S101用于采集农业人员工作时的视频信息，视频信息识别模块S102用于分析和识别视频信息中农业人员的实时动作，确认模块S103用于确认农业人员的实时动作对应的行为；其中，视频信息识别模块S102包括视频信息分割单元S104和识别单元S105，视频信息分割单元S104用于对采集到的视频信息进行分割，将视频信息分割成具有一定时间顺序的图像信息；识别单元S105中的主要组成部分为三维卷积神经网络算法，通过三维卷积神经网络算法对具有一定时间顺序的图像信息进行分析和识别，得出图像中对应的农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象等信息。

在上述实施例中，具体地，S100场景构建模块用于构建农业人员工作时的不同动态场景，以便在确认模块S103确认农场农业人员的具体行为；具体方法为：搜集农场农业人员工作时的历史视频信息，将历史视频信息和三维动态设计技术相结合，构建农业人员工作时的不同动态场景；所述三维动态设计可以通过Maya（玛雅）,3DS Max（三维工作室）和Rhino（犀牛）等软件进行设计；所述农业人员工作时的不同动态场景包括农业人员实时动作和农业人员实时动作作用对象。

在上述实施例中，具体地，视频信息采集模块S101用于采集农场农业人员工作时的视频信息，采集视频信息的设备为视频传感器；所述视频传感器采用可调整角度的视频传感器，保证一个传感器能够采集到较大范围内农业人员的视频信息。

在上述实施例中，具体地，视频信息识别模块S102包括：视频信息分割单元S104和识别单元S105；所述视频信息分割单元S104用于将视频信息采集模块S101采集到的视频按照组成视频的帧分割成具有一定时间顺序的图像信息；所述识别单元S105用于对图像信息进行分析和识别，包括对图像信息中农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象的识别；通过图像识别算法中的三维卷积神经网络算法对农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象进行识别。

在上述实施例中，具体地，视频的帧指视频是由静止的画面构成的，构成视频的静止画面叫做帧；视频信息分割单元采用视频编辑器将视频信息分割成一系列具有一定时间顺序的图像信息。

在上述实施例中，具体地，三维卷积神经网络算法指基于三维卷积神经网络的单阶段模型算法，所述三维卷积神经网络的单阶段模型算法包括特征提取单元和判定单元，所述特征提取单元用于提取一定时间顺序的图像信息中的时空特征，所述判定单元用于根据时空特征生成判定结果；因此，通过三维卷积神经网络的单阶段模型算法对视频信息分割单元S104分割的图像信息进行分析和识别，能够识别一定时间顺序的图像信息中农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象；需要指出的是，三维卷积神经网络的单阶段模型算法是在卷积神经网络基础上建立的，而卷积神经网络能够识别图像中各对象的分类信息，即能够识别图像中农业人员身份信息和农业人员实时动作作用对象的信息；因此，三维卷积神经网络的单阶段模型算法也能够识别图像信息中农业人员身份信息和农业人员实时动作作用对象的信息。

在上述实施例中，具体地，确认模块S104用于对视频信息中农业人员行为的确认；确认模块S104通过将视频信息识别模块S102得到的识别结果和场景构建模块S100中的不同动态场景进行对比，确认农业人员行为；具体为：根据三维卷积神经网络的单阶段模型算法对视频信息分割单元S104分割的图像信息进行分析和识别，得到对应视频信息中农业人员身份信息、农业人员实时动作和农业人员实时动作作用对象；随后，将对视频信息的分析结果和场景构建模块S100中的不同动态场景进行对比，确认视频信息中实时的农业人员行为。

具体而言，确认模块S103还包括：确认视频信息中实时的农业人员行为后，若判定农业人员行为不符合农场规定，则根据农业人员身份信息及时通知对应的农业人员进行调整；比如：发现农业人员有怠工的行为，及时提醒农业人员注意效率；发现农业人员有工作状态不正常，则提醒工作人员休息，并确认身体无碍等。

如图2所示：为三维卷积神经网络算法的组成示意图；具体包括：S200,三维卷积神经网络算法；S201，特征提取网络；S202，判定网络；S203，三维卷积神经网络架构；S204，三维注意模块；S205，特征金字塔网络；S206，输出层；具体地，三维卷积神经网络算法S200包括特征提取网络S201和判定网络S202,特征提取网络S202由三维卷积神经网络架构S203和三维注意模块S204两部分组成，判定网络S202由特征金字塔网络S205和输出层S206组成。

在上述实施例中，具体地，特征提取网络S201用于提取一定时间顺序图像信息中的时空特征，运用到智慧农业人员行为识别时，即是通过特征提取网络S201提取一定时间顺序图像信息的时空特征信息；判定网络S202用于根据提取的时空特征生成判定结果，运用到智慧农业人员行为识别时，即是根据提取的图像信息中的时空特征信息生成农业人员的实时动作；需要强调的是，识别出的是农业人员的实时动作，而非农业人员的实时行为；因为相同动作作用的对象和时间不同，则发生的行为可能有所不同，因此，需要和场景构建模块S100构建的农业人员工作时的不同场景进行对比，进而能够准确的确认农业人员的具体行为，这也是本发明的技术亮点之一。

在上述实施例中，具体地，三维卷积神经网络架构S203是三维卷积神经网络算法的重要组成部分，基于3D ResNeXt-101（三维扩展型残差网络-101）在现有的动作分类和检测中表现出优异的性能，本发明选择3D ResNeXt-101（三维扩展型残差网络-101）作为视频信息农业人员行为检测的基础架构；三维注意模块S204由一维通道注意和三维时空注意两部分组成；一维通道注意用于强调物体特征，即对物体进行特征区别和分类；三维时空注意用于强调时空特征，即建立处于不同时间段物体之间的联系；具体地，将一维通道注意运用到本发明的智慧农业人员行为识别时，用于对具有一定时间顺序的图像信息中的农业人员身份信息和农业人员实时动作作用对象进行识别、分类；将三维时空注意运用到本发明的智慧农业人员行为识别时，用于建立具有一定时间顺序的图像信息中不同图像之间的联系，根据建立的联系，生成农业人员的实时动作。

如图3所示：为三维卷积神经网络算法识别农业人员的实时动作流程图；具体包括：S300，通过三维卷积神经网络的特征提取网络从输入的具有一定时间顺序的图像信息中提取时空特征；S400，判定单元根据提取的时空特征生成农业人员的实时动作。

在上述实施例中，具体地，特征提取网络S201从一定时间顺序的图像信息中提取三个子模块中的每一个子模块的时空特征，所述三个子模块包括：深度、高度和宽度；提取时空特征的方法为：在基于3D ResNeXt-101（三维扩展型残差网络-101）架构的基础上，通过三维注意模块S204提取图像信息中三个子模块的时空特征；具体为：三维注意模块S204由两种类型的注意子模块组成：一维通道注意模块和三维时空注意模块；其中，一维通道注意模块用于强调物体特征，生成通道细化特征图；所述三维时空注意模块用于强调时空特征，生成时空细化特征图；即运用到本发明的智慧农业人员行为识别时，一维通道注意模块能够识别农业人员身份信息和农业人员实时动作作用对象，三维时空注意模块能够识别一定时间顺序的图像信息之间的区别，生成时空细化特征图。

在上述实施例中，具体地，一维通道注意模块识别农业人员身份信息和农业人员实时动作作用对象的步骤为：

其中，σ是sigmoid（S形曲线）函数，M

在上述实施例中，具体地，三维时空注意模块生成时空细化特征图的步骤为:

其中，σ是sigmoid（S形曲线）函数，Conv表示卷积层，M

在上述实施例中，具体地，判定网络根据特征提取网络提取的时空特征生成检测结果；判定网络S202包括特征金字塔网络S205和输出层S206；其中，特征金字塔网络S205用于同时检测处于不同身高水平的农业人员，所述不同身高水平划分为：1米以下为第一身高水平（特指小孩），1米到1.6米为第二身高水平，大于1.6米为第三身高水平；输出层S206和特征提取网络S205相连接，输出层包括三种不同大小的输出层，分别对应特征金字塔网络S205三个不同身高水平的农业人员，根据得到的一定时间顺序图像信息的时空特征和YOLOv3的边界盒回归准则输出结果，输出农场农业人员的实时动作。

需要理解的是，上述实施例为本发明的一个或多个实施例，基于本发明还有很多其他实施例及其变形；本行业的普通技术人员在没有作出开拓性的创新的时候，通过本发明进行的变形和修改，均属于本发明的保护范围。