一种AGV工作区域安全性的实时检测方法及系统

技术领域

本发明涉及视频监控技术领域，具体是一种AGV工作区域安全性的实时检测方法及系统。

背景技术

随着智能监控技术的不断发展和图像处理技术的日益成熟，采用人工进行区域监控的方法已经远远不能满足实际需要。目前，以人工智能和视频分析等技术为主的智能监控系统在一定程度上弥补了人工方法不足的问题。智能监控系统优势在于监控人员无需实地巡逻，便可以通过监控系统传回的视频获得现场的实际情况能够迅速地做出决策， 因此有着广阔的发展空间和巨大的潜在市场。现有的区域检测方法主要采用警戒区域入侵检测、区域人流统计、区域人群密度检测技术，其中，警戒区域入侵检测是指对闯入警戒区域的目标进行识别，区域人流统计是指对某段时间内某一区域的进出人流进行统计，区域人群密度检测是指对某一区域内的目标进行统计。总得来说，目前的区域检测技术是通过视觉分析算法结合摄像头标定需要预警的区域，当检测到区域内有人时产生预警功能。针对AGV工作区域，当前区域检测技术没有考虑到区域中物体对区域安全性的影响，功能比较单一，且直观效果不好。

发明内容

针对现有技术的不足，本发明的目的在于提供一种AGV工作区域安全性的实时检测方法及系统，以解决现有技术中存在的未考虑到区域中物体对区域安全性影响的问题。

为解决上述技术问题，本发明采用的技术方案为：

一种AGV工作区域安全性的实时检测方法，包括如下步骤：

根据AGV工作区域制作AGV工作区域图；

根据区域坐标分别标记AGV工作区域图中AGV工作区和货物摆放区的位置；

将标记位置的AGV工作区域图附加到AGV工作区域的视频流中进行显示；

通过神经网络模型处理AGV工作区域的视频流，获取视频中AGV、货物和人的区域像素坐标；

根据区域像素坐标和标记位置的AGV工作区域图判断人是否进入AGV工作区域、货物摆放位置是否错误。

进一步的，所述神经网络模型基于深度学习框架tensorflow构建。

进一步的，所述神经网络模型的获取过程如下：

获取监控AGV工作区域的视频流；

从视频流中截取图片并对图片中的AGV、货物和人进行标注，得到训练集；

通过训练集对神经网络模型进行训练，获取能够识别AGV工作区域中AGV、货物和人的神经网络模型。

进一步的，所述视频流通过监控摄像头获取；所述监控摄像头根据AGV工作区域的面积和长宽比选取；所述监控摄像头安装在AGV工作区域的正上方。

进一步的，所述视频流通过通信协议实时不间断的从摄像头中获取。

进一步的，判断人是否进入AGV工作区域、货物摆放位置是否错误的方法包括：

若人的区域像素坐标确定的区域和AGV工作区域图中的AGV工作区相交，则判定人进入AGV工作区域，否则，判定人未进入AGV工作区域；若AGV工作区域图中的货物摆放区无法完全包含货物，则可以判定货物摆放位置错误。

一种AGV工作区域安全性的实时检测系统，所述系统包括：

制作模块：用于根据AGV工作区域制作AGV工作区域图；

标记模块：用于根据区域坐标分别标记AGV工作区域图中AGV工作区和货物摆放区的位置；

附加模块：用于将确定位置的AGV工作区域图附加到AGV工作区域的视频流中进行显示；

获取模块：用于通过神经网络模型处理AGV工作区域的视频流，获取视频中AGV、货物和人的区域像素坐标；

判断模块：用于根据区域像素坐标和标记位置的AGV工作区域图判断人是否进入AGV工作区域、货物摆放位置是否错误。

一种AGV工作区域安全性的实时检测系统，所述系统包括处理器和存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行上述所述方法的步骤。

计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述方法的步骤。

与现有技术相比，本发明的有益效果是：

本发明通过神经网络模型实时处理AGV工作区域的视频流，获取视频中AGV、货物和人的区域像素坐标，将AGV、货物、人的区域像素坐标和AGV工作区域图进行对比，判断人是否进入AGV工作区域、货物摆放位置是否错误，可以实时获取并分析当前区域中物体的状态，考虑了区域中已存物体对区域安全性的影响，且直观效果较好，提高了AGV工作区域的安全性。

附图说明

图1为简易的AGV工作区域图；

图2为本发明提出方法的流程图；

图3为人员进入AGV工作区域示意图；

图4为货物摆放错误示意图。

具体实施方式

下面结合附图对本发明作进一步的描述，以下实例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

一种AGV工作区域安全性的实时检测方法，包括如下步骤：

根据AGV工作区域制作AGV工作区域图；根据区域坐标分别标记AGV工作区域图中AGV工作区和货物摆放区的位置；将标记位置的AGV工作区域图附加到AGV工作区域的视频流中进行显示；通过神经网络模型处理AGV工作区域的视频流，获取视频中AGV、货物和人的区域像素坐标；根据区域像素坐标和标记位置的AGV工作区域图判断人是否进入AGV工作区域、货物摆放位置是否错误。

如图2所示，一种AGV工作区域安全性的实时检测方法，具体包括如下步骤：

步骤S1：根据需要监控的AGV工作区域的面积和长宽比来选取满足监控要求的摄像头，然后安装在AGV工作区域的正上方，利用通信协议24小时实时不间断获取摄像头中AGV工作区域的视频流，获取区域场景视频图像。

步骤S2：从AGV工作区域的视频流中截取一定数量的AGV工作区域的图片，并利用标注工具对图片中AGV、货物和人进行标注，得到训练集。

步骤S3：S3.1利用深度学习中的深度学习框架tensorflow构建深度神经网络模型，S3.2利用步骤2的训练集对该神经网络模型进行训练，得到能够识别AGV工作区域中AGV、货物和人的神经网络模型。

步骤S4：S4.1根据摄像头监控的AGV工作区域制作简易的AGV工作区域图，如图1所示，利用图片的像素坐标系获取AGV工作区和货物摆放区域的详细区域坐标（Xmin，Ymin，Xmax，Ymax），其中（Xmin，Ymin，Xmax，Ymax）确定一个矩形区域；S4.2将该图附加到摄像头中的视频流中进行显示，提高可视化效果。

步骤S5：利用步骤3中训练好的神经网络模型实时处理摄像头中的视频流，识别出视频中的AGV、货物和人，分别得到AGV、货物和人的区域像素坐标（Xmin，Ymin，Xmax，Ymax），这样可以实时不间断获取AGV、货物和人的状态，如AGV的位置，每个货物摆放位置是否空闲，货物摆放状态等，然后根据简易的AGV工作区域图，对货物摆放位置错误或未完全放入摆放位置，和人员进入AGV工作区域这些影响工作区域安全性的情况进行报警处理；如果人的区域像素坐标（PersonXmin，PersonYmin，PersonXmax，PersonYmax）确定的区域和AGV工作区域的区域坐标（WorkXmin，WorkYmin，WorkXmax，WorkYmax）确定的区域满足（PersonXmin>=WorkXmax或PersonYmin>=WorkYmax或PersonXmax<=WorkXmin或PersonYmax<=WorkYmin）可以判定人没有进入AGV工作区域，否则，AGV工作区域和人所在区域会存在相交，说明人进入AGV工作区域，会进行区域报警。如图3所示。根据区域坐标判断，如果货物要正确摆放区域无法完全包含货物，例如：货物要摆放区域为3（Load3Xmin，Load3Ymin，Load3Xmax，Load3Ymax）与货物区域坐标（CargoXmin，CargoYmin，CargoXmax，CargoYmax）不能同时满足（Load3Xmin<=CargoXmin，Load3Ymin<=CargoYmin，Load3Xmax>=CargoXmax，Load3Ymax>=CargoYmax）则可以判定货物摆放位置错误，做出报警反应。如图4所示。

一种AGV工作区域安全性的实时检测系统，所述系统包括：

制作模块：用于根据AGV工作区域制作AGV工作区域图；

标记模块：用于根据区域坐标分别标记AGV工作区域图中AGV工作区和货物摆放区的位置；

附加模块：用于将确定位置的AGV工作区域图附加到AGV工作区域的视频流中进行显示；

获取模块：用于通过神经网络模型处理AGV工作区域的视频流，获取视频中AGV、货物和人的区域像素坐标；

判断模块：用于根据区域像素坐标和标记位置的AGV工作区域图判断人是否进入AGV工作区域、货物摆放位置是否错误。

一种AGV工作区域安全性的实时检测系统，所述系统包括处理器和存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行上述所述方法的步骤。

计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。