装卸货行为的分析方法以及监控系统

技术领域

本发明涉及物流技术领域，特别是涉及一种装卸货行为的分析方法以及监控系统。

背景技术

物流可以包括运输、储存、装卸、搬运、包装、配送等多个环节。装卸货是物流中的一个重要环节，假如处理不当，很容易造成货物的损坏甚至报废，规范、合理的进行装卸货，能够有效降低货物的损坏率。

现有技术中，对于装卸工人的行为缺乏科学、有效的监测，暴力装卸的情况时有发生。且因暴力装卸而损坏的货物往往难以追责，即在发现货物损坏时，已经难以确定货物是在什么时候、因什么原因而损坏的。

因此，亟需一种科学、有效的装卸货行为的分析以及监测方法，来及时的识别、进而纠正装卸工人的暴力装卸行为，由此减少货物因暴力装卸而损坏的情况出现。

发明内容

本发明解决的技术问题是：如何及时的识别出装卸工人的暴力装卸行为。

为了解决上述技术问题，本发明实施例提供一种装卸货行为的分析方法，包括：

捕获第一视频；

从所述第一视频中获取多张待分析图像，所述待分析图像中能够看到进行装卸货行为的人员、以及被装卸货物；

根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组；

根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率；

根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型；

根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理。

可选的，还包括：预先训练第一深度神经网络，包括：

从视频中获取多张包含各种不同姿态的人员的图像；

通过多张所述包含各种不同姿态的人员的图像，来对第一深度神经网络进行训练，用于推断人员在图像中的人员位置区域；

根据多张所述包含各种不同姿态的人员的图像，分别输出各张图像的人员位置区域中人员关节点位的坐标数组。

可选的，所述姿态包括：站立、弯腰或半转身中的一种或多种。

可选的，还包括：预先训练第二深度神经网络，包括：

通过多张所述包含各种不同姿态的人员的图像中，人员位置区域中人员关节点位的坐标数组、以及图像在视频中的时间，来对第二深度神经网络进行训练，用于根据图像中人员的关节点位随时间的变化，来推断人员在该视频中所进行的行为类型。

可选的，所述行为类型包括：双手快速扬起、快速踢腿或双手快速下落中的一种或多种。

可选的，还包括：预先训练第三深度神经网络，包括：

获取多张包含各种不同货物类型的货物的图像；

通过多张所述包含各种不同货物类型的货物的图像，来对第三深度神经网络进行训练，用于推断图像中货物的货物类型。

可选的，所述货物类型包括：纸箱、木箱、麻袋、针织袋子或袋装货物中的一种或多种。

可选的，还包括：预先设定各种行为类型和货物类型所对应的合理搬运速度变化率的范围。

可选的，所述根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理包括：

若所述搬运速度变化率落在该行为类型和货物类型所对应的合理搬运速度变化率的范围之内，则判定为正常装卸；

若所述搬运速度变化率落在该行为类型和货物类型所对应的合理搬运速度变化率的范围之外，则判定为暴力装卸。

可选的，还包括：当检测到第一视频中存在装卸货行为不合理的情况时，触发警示信息。

为了解决上述技术问题，本发明实施例还提供一种装卸货行为的监控系统，包括：

处理器，适于加载并执行软件程序的指令；

存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：

捕获第一视频；

从所述第一视频中获取多张待分析图像，所述待分析图像中能够看到进行装卸货行为的人员、以及被装卸货物；

根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组；

根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率；

根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型；

根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理。

可选的，所述软件程序还包括用于执行以下步骤的指令：预先训练第一深度神经网络，包括：

从视频中获取多张包含各种不同姿态的人员的图像；

通过多张所述包含各种不同姿态的人员的图像，来对第一深度神经网络进行训练，用于推断人员在图像中的人员位置区域；

根据多张所述包含各种不同姿态的人员的图像，分别输出各张图像的人员位置区域中人员关节点位的坐标数组。

可选的，所述软件程序还包括用于执行以下步骤的指令：预先训练第二深度神经网络，包括：

通过多张所述包含各种不同姿态的人员的图像中，人员位置区域中人员关节点位的坐标数组、以及图像在视频中的时间，来对第二深度神经网络进行训练，用于根据图像中人员的关节点位随时间的变化，来推断人员在该视频中所进行的行为类型。

可选的，所述软件程序还包括用于执行以下步骤的指令：预先训练第三深度神经网络，包括：

获取多张包含各种不同货物类型的货物的图像；

通过多张所述包含各种不同货物类型的货物的图像，来对第三深度神经网络进行训练，用于推断图像中货物的货物类型。

与现有技术相比，本发明的技术方案具有以下有益效果：

根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组；根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率；根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型；根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理，从而只需要对物流园区的装卸货场地进行视频监控，就能够及时的识别出装卸工人的暴力装卸行为，该过程无需工作人员现场监督，成本低、效果好。

进一步的，预先训练第一深度神经网络，用于推断人员在图像中的人员位置区域，预先训练第二深度神经网络，用于根据图像中人员的关节点位随时间的变化，来推断人员在该视频中所进行的行为类型，预先训练第三深度神经网络，用于推断图像中货物的货物类型，根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理，使得判断更准确，且公开了训练这3个深度神经网络的具体方式。

进一步的，当检测到第一视频中存在装卸货行为不合理的情况时，触发警示信息，例如通过播放语音来提示装卸工人规范操作、以及在系统中记录等，从而及时的对装卸工人的暴力装卸行为进行纠正、以及为暴力装卸而导致的货物损坏的追责提供依据。

附图说明

图1为本发明实施例中装卸货行为的分析方法流程图。

具体实施方式

根据背景技术部分的分析可知，现有技术中，对于装卸工人的行为缺乏科学、有效的监测，暴力装卸的情况时有发生。且因暴力装卸而损坏的货物往往难以追责，即在发现货物损坏时，已经难以确定货物是在什么时候、因什么原因而损坏的。

因此，亟需一种科学、有效的装卸货行为的分析以及监测方法，来及时的识别、进而纠正装卸工人的暴力装卸行为，由此减少货物因暴力装卸而损坏的情况出现。

本发明根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组；根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率；根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型；根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理，从而只需要对物流园区的装卸货场地进行视频监控，就能够及时的识别出装卸工人的暴力装卸行为，该过程无需工作人员现场监督，成本低、效果好。

为使本领域技术人员更好地理解和实现本发明，以下参照附图，通过具体实施例进行详细说明。

实施例一

如下所述，本发明实施例提供一种装卸货行为的分析方法。

本实施例中的装卸货行为的分析方法，适用于在物流园区的月台处(或其它货物装卸处)安装摄像头，通过对摄像头捕获的视频进行分析，来检测分析得出视频中装卸工人的暴力装卸行为，通过对人员的人体行为、货物的类型和移动轨迹等进行分析，来确定装卸货操作是否规范。

参照图1所示的装卸货行为的分析方法流程图，以下通过具体步骤进行详细说明：

S101，预先训练第一深度神经网络。

具体包括：

从视频中获取多张包含各种不同姿态的人员的图像；

通过多张所述包含各种不同姿态的人员的图像(图像中可以是看到人员的全身，也可以是部分遮挡)，来对第一深度神经网络进行训练，用于推断人员(整体)在图像中的人员位置区域；

根据多张所述包含各种不同姿态的人员的图像，分别输出各张图像的人员位置区域中人员关节点位的坐标数组。

在一些实施例中，所述人员位置区域可以采用矩形框包围框。

在一些实施例中，所述姿态包括：站立、弯腰或半转身中的一种或多种。

在一些实施例中，所述第一深度神经网络可以采用自顶向下(top-down)的深度神经网络。

第一深度神经网络的输入为单帧图像，输出为一组关于身体关节点位的坐标数组，将多张待分析图像分别输入第一深度神经网络，得到多组关于身体关节点位的坐标数组，同时记录所述多张待分析图像分别在视频中的时间，根据这些信息，即得到人员的关节点位随时间的变化。

S102，预先训练第二深度神经网络。

具体包括：

通过多张所述包含各种不同姿态的人员的图像中，人员位置区域中人员关节点位的坐标数组、以及图像在视频中的时间，来对第二深度神经网络进行训练，用于根据图像中人员的关节点位随时间的变化，来推断人员在该视频中所进行的行为类型。

在一些实施例中，所述行为类型包括：双手快速扬起、快速踢腿或双手快速下落中的一种或多种。

步骤S102可以在步骤S101之后执行，从而可以利用步骤S101中输出的各张图像的人员位置区域中人员关节点位的坐标数组。

S103，预先训练第三深度神经网络。

具体包括：

获取多张包含各种不同货物类型的货物的图像；

通过多张所述包含各种不同货物类型的货物的图像，来对第三深度神经网络进行训练，用于推断图像中货物的货物类型。

所述货物类型包括：纸箱、木箱、麻袋、针织袋子或袋装货物中的一种或多种。

步骤S103与步骤S101/S102之间没有先后关系，可以并行执行。

S104，预先设定各种行为类型和货物类型所对应的合理搬运速度变化率的范围。

后续的步骤S110中，会利用预先设定的各种行为类型和货物类型所对应的合理搬运速度变化率的范围来进行判断。

通过以上对技术方案的描述可以看出：本实施例中，预先训练第一深度神经网络，用于推断人员在图像中的人员位置区域，预先训练第二深度神经网络，用于根据图像中人员的关节点位随时间的变化，来推断人员在该视频中所进行的行为类型，预先训练第三深度神经网络，用于推断图像中货物的货物类型，根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理，使得判断更准确，且公开了训练这3个深度神经网络的具体方式。

S105，捕获第一视频。

S106，从所述第一视频中获取多张待分析图像，所述待分析图像中能够看到进行装卸货行为的人员、以及被装卸货物。

在一些实施例中，如前所述，可以在物流园区的月台处(或其它货物装卸处)安装摄像头，以捕获关于人员进行装卸货行为的视频。

在一些实施例中，举例来说，所述待分析图像可以是RGB格式的。

当然，在其它实施例中，所述待分析图像也可以是RGB格式以外的其它图像格式，本发明对此不作限定。

S107，根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组。

S108，根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率。

S109，根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型。

S110，根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理。

通过以上对技术方案的描述可以看出：本实施例中，根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组；根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率；根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型；根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理，从而只需要对物流园区的装卸货场地进行视频监控，就能够及时的识别出装卸工人的暴力装卸行为，该过程无需工作人员现场监督，成本低、效果好。

在一些实施例中，具体的判断方法可以包括：

若所述搬运速度变化率落在该行为类型和货物类型所对应的合理搬运速度变化率的范围之内，则判定为正常装卸；

若所述搬运速度变化率落在该行为类型和货物类型所对应的合理搬运速度变化率的范围之外，则判定为暴力装卸。

S111，当检测到第一视频中存在装卸货行为不合理的情况时，触发警示信息。

例如，可以通过播放语音来提示装卸工人规范操作、以及在系统中记录等，从而及时的对装卸工人的暴力装卸行为进行纠正、以及为暴力装卸而导致的货物损坏的追责提供依据。

实施例二

如下所述，本发明实施例提供一种装卸货行为的监控系统。

所述装卸货行为的监控系统包括：一个或多个处理器，一个或多个存储器；其中，

处理器，适于加载并执行软件程序的指令；

存储器，适于存储软件程序，所述软件程序包括用于执行以下步骤的指令：

捕获第一视频；

从所述第一视频中获取多张待分析图像，所述待分析图像中能够看到进行装卸货行为的人员、以及被装卸货物；

根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组；

根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率；

根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型；

根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理。

通过以上对技术方案的描述可以看出：本实施例中，根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组；根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率；根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型；根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理，从而只需要对物流园区的装卸货场地进行视频监控，就能够及时的识别出装卸工人的暴力装卸行为，该过程无需工作人员现场监督，成本低、效果好。

在一些实施例中，所述软件程序还包括用于执行以下步骤的指令：预先训练第一深度神经网络，包括：

从视频中获取多张包含各种不同姿态的人员的图像；

通过多张所述包含各种不同姿态的人员的图像，来对第一深度神经网络进行训练，用于推断人员在图像中的人员位置区域；

根据多张所述包含各种不同姿态的人员的图像，分别输出各张图像的人员位置区域中人员关节点位的坐标数组。

在一些实施例中，所述软件程序还包括用于执行以下步骤的指令：预先训练第二深度神经网络，包括：

通过多张所述包含各种不同姿态的人员的图像中，人员位置区域中人员关节点位的坐标数组、以及图像在视频中的时间，来对第二深度神经网络进行训练，用于根据图像中人员的关节点位随时间的变化，来推断人员在该视频中所进行的行为类型。

在一些实施例中，所述软件程序还包括用于执行以下步骤的指令：预先训练第三深度神经网络，包括：

获取多张包含各种不同货物类型的货物的图像；

通过多张所述包含各种不同货物类型的货物的图像，来对第三深度神经网络进行训练，用于推断图像中货物的货物类型。

通过以上对技术方案的描述可以看出：本实施例中，根据所述多张待分析图像，分别通过第一深度神经网络来识别各张待分析图像中人员的身体关节点位，得到多组关于所述身体关节点位的坐标数组；根据多组所述身体关节点位的坐标数组、以及各张待分析图像在视频中的时间，通过第二深度神经网络来推断第一视频中进行装卸货行为的人员的行为类型、以及搬运速度变化率；根据一张或多张待分析图像，通过第三深度神经网络来推断第一视频中被装卸货物的货物类型；根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理，从而只需要对物流园区的装卸货场地进行视频监控，就能够及时的识别出装卸工人的暴力装卸行为，该过程无需工作人员现场监督，成本低、效果好。

进一步的，预先训练第一深度神经网络，用于推断人员在图像中的人员位置区域，预先训练第二深度神经网络，用于根据图像中人员的关节点位随时间的变化，来推断人员在该视频中所进行的行为类型，预先训练第三深度神经网络，用于推断图像中货物的货物类型，根据所述搬运速度变化率、进行装卸货行为的人员的行为类型、被装卸货物的货物类型、以及该行为类型和货物类型所对应的合理搬运速度变化率的范围，来判断装卸货行为是否合理，使得判断更准确，且公开了训练这3个深度神经网络的具体方式。

本领域普通技术人员可以理解，上述实施例的各种方法中，全部或部分步骤是可以通过程序指令相关的硬件来完成的，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。