一种工序作业循环时间估算方法、装置、介质及设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种工序作业循环时间估算方法、装置、介质及设备。

背景技术

在现有技术中，对工序作业循环时间进行估算时，通过预先获取工序作业视频数据对语义模型进行训练，再根据训练好的语义模型来获取目标视频中空间维度上的人体语义特征，根据人体语义特征识别出视频中某个工人的一套工序作业，并获取这一套工序作业的空间特征，再对空间特征进行计数，最后将这个工人不断重复执行这一套工序作业的总时长除以对应的空间特征的计数，获得重复执行这一套工序作业的平均循环时间，以平均循环时间作为这个工人每次执行这一套工序作业时所需要耗费的循环时间。

可见，现有技术在进行工序作业循环时间的估算时，只在空间维度上对某个工人重复执行的工序作业进行识别，即只考虑了一个维度的识别标准，从而对重复执行的工序作业的识别准确性较低，并且以重复执行的工序作业的平均循环时间作为这个工人每次执行这一套工序作业时的循环时间，无法精确地获取这个工序作业的不同的相邻两个开始时间点之间的工序作业的循环时间。

发明内容

为了解决上述技术问题，本发明实施例提出了一种工序作业循环时间估算方法、装置、介质及设备，通过在识别工序作业时，综合时间与空间上的二维特征，来作为工序作业的识别标准，并且分别计算每个工序作业的相邻两个开始时间点之间的工序作业的循环时间，从而对每个工人对应的工序作业的识别准确性更高，能精确地获取每次重复这一工序作业的循环时间。

为了实现上述目的，本发明实施例提供了一种工序作业循环时间估算方法，包括：

获取工序作业视频；

当从所述工序作业视频中识别出M个工人后，从所述工序作业视频中截取与M个工人的活动范围一一对应的M个活动区域视频；其中，M≥1；

获取与M个活动区域视频一一对应的M个相似性度量；其中，对于第i个活动区域视频，从第i个活动区域视频中提取获得区域特征，并根据所述区域特征计算获得第i个活动区域视频的相似性度量，i＝1，2，……，M；

获取与M个相似性度量一一对应的M个自注意力特征；其中，对于第i个相似性度量，从第i个相似性度量中提取获得第i个活动区域视频的时间维度的自注意力特征；

获取与M个自注意力特征一一对应的M个一维热力图；其中，对于第i个自注意力特征，卷积处理第i个自注意力特征后，获得第i个活动区域视频的一维热力图；

获取与M个一维热力图对应的至少2M个高斯分布的极大值点；其中，对于第i个一维热力图，从第i个一维热力图中查找获得高斯分布的至少两个极大值点；

获取M个活动区域视频中的工序作业的循环时间；其中，对于第i个活动区域视频，将第i个一维热力图中的高斯分布的极大值点对应的时间点作为第i个活动区域视频中的工序作业的开始时间点，根据相邻两个开始时间点计算获得所述相邻两个开始时间点之间的工序作业的循环时间。

进一步的，所述当从所述工序作业视频中识别出M个工人后，从所述工序作业视频中截取与M个工人的活动范围一一对应的M个活动区域视频，具体为：当从所述工序作业视频中识别出M个工人后，从所述工序作业视频的每一帧图像中截取M个工人的定位区域；获取与M个工人一一对应的M个活动范围；其中，对于第i个工人，将第i个工人所有的定位区域拼接成第i个工人的活动范围；获取与M个活动范围一一对应的M个活动区域视频；其中，对于第i个工人的所述活动范围，根据第i个工人的所述活动范围所占据的空间区域，从所述工序作业视频中截取获得第i个工人的活动区域视频。

进一步的，所述获取与M个活动区域视频一一对应的M个相似性度量，具体为：获取与M个活动区域视频一一对应的M个相似性度量；其中，对于第i个活动区域视频：从第i个活动区域视频的每一帧图像中提取获得区域特征，并根据所述区域特征，计算获得第i个活动区域视频的相似性度量，i＝1，2，……，M。

再进一步的，所述从第i个活动区域视频的每一帧图像中提取获得区域特征，并根据所述区域特征，计算获得第i个活动区域视频的相似性度量，具体为：将第i个活动区域视频的每一帧图像缩放到第一预设尺寸并输入至预设的卷积特征提取网络；从所述卷积特征提取网络中提取获得与每一帧图像一一对应的二维特征图，并将每一所述二维特征图输入至3D卷积网络；从所述3D卷积网络中提取获得与每一所述二维特征图一一对应的区域特征；根据所述区域特征，计算获得第i个活动区域视频的相似性度量。

进一步的，所述获取与M个相似性度量一一对应的M个自注意力特征，具体为：获取与M个相似性度量一一对应的M个自注意力特征；其中，对于第i个相似性度量：将第i个相似性度量输入到至少一个卷积核中并通过线性整流函数运算，获得时间特征图；将所述时间特征图调整到第二预设尺寸并输入至全连接层；从所述全连接层中查找获得与所述时间特征图对应的时间维度特征后，将所述时间维度特征输入至预设的自注意力模型；从所述自注意力模型中查找获得与所述时间维度特征对应的自注意力特征，并将所述自注意力特征作为第i个活动区域视频的自注意力特征。

进一步的，所述获取与M个一维热力图对应的至少2M个高斯分布的极大值点，具体为：获取与M个一维热力图对应的至少2M个高斯分布的极大值点；其中，对于第i个一维热力图：对第i个一维热力图进行最大池化处理，获得对应的最大池化热力图；将所述最大池化热力图中的每一最大池化数值以及第i个一维热力图中与所述最大池化数值对应位置的热力数值分别进行比较；当不相等时，则将第i个一维热力图中对应位置的所述热力数值置零；当相等时，并且第i个一维热力图中对应位置的所述热力数值大于预设阈值，则在第i个一维热力图中保留对应位置的所述热力数值。

本发明实施例还提供了一种工序作业循环时间估算装置，包括：

视频获取模块，用于获取工序作业视频；

视频截取模块，用于当从所述工序作业视频中识别出M个工人后，从所述工序作业视频中截取与M个工人的活动范围一一对应的M个活动区域视频；其中，M≥1；

相似性计算模块，用于获取与M个活动区域视频一一对应的M个相似性度量；其中，对于第i个活动区域视频，从第i个活动区域视频中提取获得区域特征，并根据所述区域特征计算获得第i个活动区域视频的相似性度量，i＝1，2，……，M；

自注意力特征获取模块，用于获取与M个相似性度量一一对应的M个自注意力特征；其中，对于第i个相似性度量，从第i个相似性度量中提取获得第i个活动区域视频的时间维度的自注意力特征；

热力图获取模块，用于获取与M个自注意力特征一一对应的M个一维热力图；其中，对于第i个自注意力特征，卷积处理第i个自注意力特征后，获得第i个活动区域视频的一维热力图；

热力图查找模块，用于获取与M个一维热力图对应的至少2M个高斯分布的极大值点；其中，对于第i个一维热力图，从第i个一维热力图中查找获得高斯分布的至少两个极大值点；

循环时间计算模块，用于获取M个活动区域视频中的工序作业的循环时间；其中，对于第i个活动区域视频，将第i个一维热力图中的高斯分布的极大值点对应的时间点作为第i个活动区域视频中的工序作业的开始时间点，根据相邻两个开始时间点计算获得所述相邻两个开始时间点之间的工序作业的循环时间。

进一步的，所述视频截取模块，具体包括：定位区域获取单元，用于当从所述工序作业视频中识别出M个工人后，从所述工序作业视频的每一帧图像中截取M个工人的定位区域；活动范围获取单元，用于获取与M个工人一一对应的M个活动范围；其中，对于第i个工人，将第i个工人所有的定位区域拼接成第i个工人的活动范围；活动区域视频获取单元，用于获取与M个活动范围一一对应的M个活动区域视频；其中，对于第i个工人的所述活动范围，根据第i个工人的所述活动范围所占据的空间区域，从所述工序作业视频中截取获得第i个工人的活动区域视频。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一项所述的工序作业循环时间估算方法的步骤。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并由处理器运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的工序作业循环时间估算方法的步骤。

本发明具有以下有益效果：

采用本发明实施例，通过获取工序作业视频；当从所述工序作业视频中识别出M个工人后，从所述工序作业视频中截取与M个工人的活动范围一一对应的M个活动区域视频；获取与M个活动区域视频一一对应的M个相似性度量；获取与M个相似性度量一一对应的M个自注意力特征；获取与M个自注意力特征一一对应的M个一维热力图；获取与M个一维热力图对应的至少2M个高斯分布的极大值点；获取M个活动区域视频中的工序作业的循环时间。本发明实施例在进行工序作业循环时间的估算过程中，在识别工序作业时除了考虑区域特征这一空间维度上的识别标准之外，还从构建得到的相似性度量中提取时间维度上的特征，即综合考虑了时空二维的识别标准，从而对每个工人对应的工序作业的识别准确性更高，并且分别计算每个工序作业的相邻两个开始时间点之间的工序作业的循环时间，从而能精确地获取每次重复这一工序作业的循环时间。

附图说明

图1是本发明提供的一种工序作业循环时间估算方法的一个实施例的流程示意图；

图2是本发明提供的一种工序作业循环时间估算装置的一个实施例的结构示意图；

图3是本发明提供的一种工序作业循环时间估算装置的另一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的工序作业循环时间估算方法的一个实施例的流程示意图，该方法包括步骤S1至S7，具体如下：

S1，获取工序作业视频；

S2，当从所述工序作业视频中识别出M个工人后，从所述工序作业视频中截取与M个工人的活动范围一一对应的M个活动区域视频；其中，M≥1；

优选地，当从所述工序作业视频中识别出M个工人后，从所述工序作业视频的每一帧图像中截取M个工人的定位区域；获取与M个工人一一对应的M个活动范围；其中，对于第i个工人，将第i个工人所有的定位区域拼接成第i个工人的活动范围；获取与M个活动范围一一对应的M个活动区域视频；其中，对于第i个工人的所述活动范围，根据第i个工人的所述活动范围所占据的空间区域，从所述工序作业视频中截取获得第i个工人的活动区域视频。

具体的，使用目标检测算法对每个工人进行一一识别，并使用跟踪算法对每个工人的实时位置进行追踪检测，从而获得每个工人在工序作业视频中每一帧图像的所处位置，并使用一个固定大小的矩形检测框代表每一帧图像中工人所处位置的定位区域，矩形检测框带有坐标(x

S3，获取与M个活动区域视频一一对应的M个相似性度量；其中，对于第i个活动区域视频，从第i个活动区域视频中提取获得区域特征，并根据所述区域特征计算获得第i个活动区域视频的相似性度量，i＝1，2，……，M；

优选地，获取与M个活动区域视频一一对应的M个相似性度量；其中，对于第i个活动区域视频：从第i个活动区域视频的每一帧图像中提取获得区域特征，并根据所述区域特征，计算获得第i个活动区域视频的相似性度量，i＝1，2，……，M。

作为上述方案的改进，所述从第i个活动区域视频的每一帧图像中提取获得区域特征，并根据所述区域特征，计算获得第i个活动区域视频的相似性度量，具体为：将第i个活动区域视频的每一帧图像缩放到第一预设尺寸并输入至预设的卷积特征提取网络；从所述卷积特征提取网络中提取获得与每一帧图像一一对应的二维特征图，并将每一所述二维特征图输入至3D卷积网络；从所述3D卷积网络中提取获得与每一所述二维特征图一一对应的区域特征；根据所述区域特征，计算获得第i个活动区域视频的相似性度量。

具体的，卷积特征提取网络的一个实施例为ImageNet(计算机视觉系统识别项目)上训练好的ResNet-50(残差网络)架构。

具体的，根据区域特征计算获得第i个活动区域视频的相似性度量的一个实施例为：获取区域特征的特征向量，并计算同一个活动区域视频内所有区域特征的特征向量两两之间的欧式距离，再对欧式距离的负值求和获得欧式距离和值，最终通过softmax函数对欧式距离和值激活，获得与这一个活动区域视频对应的相似性度量；由于计算过程中考虑了欧式距离的因素，因此能够获得空间维度上的特征。

S4，获取与M个相似性度量一一对应的M个自注意力特征；其中，对于第i个相似性度量，从第i个相似性度量中提取获得第i个活动区域视频的时间维度的自注意力特征；

优选地，获取与M个相似性度量一一对应的M个自注意力特征；其中，对于第i个相似性度量：将第i个相似性度量输入到至少一个卷积核中并通过线性整流函数运算，获得时间特征图；将所述时间特征图调整到第二预设尺寸并输入至全连接层；从所述全连接层中查找获得与所述时间特征图对应的时间维度特征后，将所述时间维度特征输入至预设的自注意力模型；从所述自注意力模型中查找获得与所述时间维度特征对应的自注意力特征，并将所述自注意力特征作为第i个活动区域视频的自注意力特征。

具体的，线性整流函数的一个实施例为relu函数(修正线性单元)。

S5，获取与M个自注意力特征一一对应的M个一维热力图；其中，对于第i个自注意力特征，卷积处理第i个自注意力特征后，获得第i个活动区域视频的一维热力图；

S6，获取与M个一维热力图对应的至少2M个高斯分布的极大值点；其中，对于第i个一维热力图，从第i个一维热力图中查找获得高斯分布的至少两个极大值点；

优选地，获取与M个一维热力图对应的至少2M个高斯分布的极大值点；其中，对于第i个一维热力图：对第i个一维热力图进行最大池化处理，获得对应的最大池化热力图；将所述最大池化热力图中的每一最大池化数值以及第i个一维热力图中与所述最大池化数值对应位置的热力数值分别进行比较；当不相等时，则将第i个一维热力图中对应位置的所述热力数值置零；当相等时，并且第i个一维热力图中对应位置的所述热力数值大于预设阈值，则在第i个一维热力图中保留对应位置的所述热力数值。

S7，获取M个活动区域视频中的工序作业的循环时间；其中，对于第i个活动区域视频，将第i个一维热力图中的高斯分布的极大值点对应的时间点作为第i个活动区域视频中的工序作业的开始时间点，根据相邻两个开始时间点计算获得所述相邻两个开始时间点之间的工序作业的循环时间。

相应地，本发明的实施例还提供一种工序作业循环时间估算装置，用于实现上述实施例提供的工序作业循环时间估算方法的所有流程。

参见图2，是本发明提供的工序作业循环时间估算装置的一个实施例的结构示意图。

本发明实施例提供的一种工序作业循环时间估算装置，包括：

视频获取模块101，用于获取工序作业视频；

视频截取模块102，用于当从所述工序作业视频中识别出M个工人后，从所述工序作业视频中截取与M个工人的活动范围一一对应的M个活动区域视频；其中，M≥1；

相似性计算模块103，用于获取与M个活动区域视频一一对应的M个相似性度量；其中，对于第i个活动区域视频，从第i个活动区域视频中提取获得区域特征，并根据所述区域特征计算获得第i个活动区域视频的相似性度量，i＝1，2，……，M；

自注意力特征获取模块104，用于获取与M个相似性度量一一对应的M个自注意力特征；其中，对于第i个相似性度量，从第i个相似性度量中提取获得第i个活动区域视频的时间维度的自注意力特征；

热力图获取模块105，用于获取与M个自注意力特征一一对应的M个一维热力图；其中，对于第i个自注意力特征，卷积处理第i个自注意力特征后，获得第i个活动区域视频的一维热力图；

热力图查找模块106，用于获取与M个一维热力图对应的至少2M个高斯分布的极大值点；其中，对于第i个一维热力图，从第i个一维热力图中查找获得高斯分布的至少两个极大值点；

循环时间计算模块107，用于获取M个活动区域视频中的工序作业的循环时间；其中，对于第i个活动区域视频，将第i个一维热力图中的高斯分布的极大值点对应的时间点作为第i个活动区域视频中的工序作业的开始时间点，根据相邻两个开始时间点计算获得所述相邻两个开始时间点之间的工序作业的循环时间。

参见图3，是本发明提供的工序作业循环时间估算装置的另一个实施例的结构示意图。

优选地，所述视频截取模块102，具体包括：

定位区域获取单元201，用于当从所述工序作业视频中识别出M个工人后，从所述工序作业视频的每一帧图像中截取M个工人的定位区域；

活动范围获取单元202，用于获取与M个工人一一对应的M个活动范围；其中，对于第i个工人，将第i个工人所有的定位区域拼接成第i个工人的活动范围；

活动区域视频获取单元203，用于获取与M个活动范围一一对应的M个活动区域视频；其中，对于第i个工人的所述活动范围，根据第i个工人的所述活动范围所占据的空间区域，从所述工序作业视频中截取获得第i个工人的活动区域视频。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一项所述的工序作业循环时间估算方法的步骤。

此外，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并由处理器运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的工序作业循环时间估算方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

综上，本发明具有以下有益效果：

采用本发明实施例，通过获取工序作业视频；当从所述工序作业视频中识别出M个工人后，从所述工序作业视频中截取与M个工人的活动范围一一对应的M个活动区域视频；获取与M个活动区域视频一一对应的M个相似性度量；获取与M个相似性度量一一对应的M个自注意力特征；获取与M个自注意力特征一一对应的M个一维热力图；获取与M个一维热力图对应的至少2M个高斯分布的极大值点；获取M个活动区域视频中的工序作业的循环时间。本发明实施例在进行工序作业循环时间的估算过程中，在识别工序作业时除了考虑区域特征这一空间维度上的识别标准之外，还从构建得到的相似性度量中提取时间维度上的特征，即综合考虑了时空二维的识别标准，从而对每个工人对应的工序作业的识别准确性更高，并且分别计算每个工序作业的相邻两个开始时间点之间的工序作业的循环时间，从而能精确地获取每次重复这一工序作业的循环时间。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。