用于测量生产率的方法、装置和非暂时性计算机可读介质

技术领域

本发明广泛地但不排他地涉及用于测量生产率的方法、(多个)设备和(多个)程序。

背景技术

对于制造商来说，周期时间是衡量其装配线的生产率的重要指标。

在每个工作台上的一个周期通常包括一系列动作，诸如将组件安装在板上，拧紧螺丝或放置包装盖等。

引用文献列表

专利文献

PTL 1：国际专利公开号WO2018/191555A1

发明内容

技术问题

传统上，周期时间由直线经理使用秒表手动测量。在这种情况下由于测量是通过采样进行的，因此难以基于长期和连续的监测结果来进行统计。

视频分析可以帮助估计周期时间，而不是仅仅依靠手动努力。特别地，行为分析具有检测与装配线中的工作过程相关的一系列动作的潜力。

本公开涉及使用工厂装配线的手的位置的周期时间估计方法、周期时间估计装置和(多个)周期时间估计程序，但是其应用可以被扩展以覆盖其他场景，例如厨房中的食物准备。

本文公开了解决一个或多个上述问题的用于测量生产率的(多个)设备、方法和(多个)程序的示例实施例。

此外，根据随后的详细说明和所附权利要求，结合附图和本公开的背景技术，其他预期的特征和特性将变得显而易见。

问题的解决方案

根据第一方面，提供了一种由计算机执行的用于测量生产率的方法，该方法包括：

基于至少一个图像帧，识别第一移动，其中第一移动与定义移动的周期的起始动作相匹配；

基于至少一个图像帧，识别第二移动，其中第二移动与定义周期的结束动作相匹配；以及

确定所识别的第一移动与所识别的第二移动之间的时间段，以测量生产率。

根据第二方面，提供了一种用于测量生产率的装置，该装置包括：

至少一个处理器；以及

包括计算机程序代码的至少一个存储器；其中

至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使得装置：

基于至少一个图像帧，识别第一移动，其中第一移动与定义移动的周期的起始动作相匹配；

基于至少一个图像帧，识别第二移动，其中第二移动与定义周期的结束动作相匹配；以及

确定所识别的第一移动与所识别的第二移动之间的时间段，以测量生产率。

根据第三方面，提供了一种非暂时性计算机可读介质，存储用于测量生产率的程序，该程序使得计算机至少：

基于至少一个图像帧，识别第一移动，其中第一移动与定义移动的周期的起始动作相匹配；

基于至少一个图像帧，识别第二移动，其中第二移动与定义周期的结束动作相匹配；以及

确定所识别的第一移动与所识别的第二移动之间的时间段，以测量生产率。

附图说明

所附图1至图8仅作为非限制性示例，用于说明各种示例性实施例，并解释根据本示例性实施例的各种原理和优点，其中相同的附图标记在各个视图中表示相同或功能相似的元件，并且这些附图与下面的详细说明一起被并入在说明书中并形成说明书的一部分。

通过以下仅作为示例的书面描述并结合附图，本领域普通技术人员将更好地理解和容易地明白示例实施例，在附图中：

[图1]图1展示了根据本公开的方面的用于测量生产率的系统。

[图2]图2展示了根据示例实施例的测量生产率的方法。

[图3]图3展示了如何执行插补以填充缺失移动的间隙。

[图4]图4描述了根据示例实施例如何接收各种基准真实值(ground truth)。

[图5]图5描述了如何对所接收的各种基准真实值求平均来获得基准真实值。

[图6]图6展示了测量生产率的方法的主要组件。

[图7]图7展示了根据示例实施例的测量生产率的装置的主要组件。

[图8]图8展示了可用于执行测量生产率的方法的示例性计算设备。

具体实施方式

术语描述

主体——主体可以是任何合适类型的实体，其可以包括人、工作者和用户。

术语目标或目标主体在本文中用于识别感兴趣的人、用户或工作者。目标主体可以是由用户输入选择的目标主体或被识别为感兴趣的目标主体。

本文使用的主体或所识别的主体涉及与目标主体相关的人(例如合伙人或具有相似的技能集的人)。例如，在测量生产率的上下文中，主体是可以被认为是具有与目标相似的技能集或经验的人。

注册到生产率测量服务器的用户将被称为注册用户。未注册到生产率测量服务器的用户将被称为未注册用户。用户可能获得任何主体的生产率测量。

生产率测量服务器——生产率测量服务器是托管软件应用程序的服务器，用于接收输入、处理数据和客观地提供图形表示。生产率测量服务器与任何其他服务器(例如，远程辅助服务器)通信，以管理请求。生产率测量服务器与远程辅助服务器通信，以接收基准真实值或预定移动。生产率测量服务器可以使用各种不同的协议和过程来管理数据并提供图形表示。

生产率测量服务器通常由提供者管理，该提供者可以是实体(例如公司或组织)，实体的操作是过程请求、管理数据和接收/显示对情况有用的图形表示。服务器可以包括用于处理图形表示请求并根据情况提供可定制服务的一个或多个计算设备。

生产率测量帐户——生产率测量帐户是在生产率测量服务器注册的用户的帐户。在某些情况下，生产率测量帐户不需要使用远程辅助服务器。生产率测量账户包括用户的详细资料(例如，姓名、地址、交通工具等)。生产率的指标是周期时间，该周期时间是所识别的第一移动与第二移动的对之间的时间段。

生产率测量管理用户的生产率测量帐户和在用户与其他外部服务器之间的交互，以及交换的数据。

详细说明

在任何一个或多个附图中提及具有相同附图标记的步骤和/或特征时，除非出现相反的意图，否则这些步骤和/或特征出于本说明的目的具有相同的(多个)功能或(多个)操作。

应当注意，包含在“背景技术(Background)”章节中的讨论以及以上涉及现有技术布置涉及通过使用设备而形成公知常识的设备的讨论。这不应被解释为(多个)本发明人或专利申请人表示这些设备以任何方式形成本领域公知常识的部分。

系统100

图1示出了用于测量目标的生产率的系统100的框图。系统100包括请求者设备102、生产率测量服务器108、远程辅助服务器140、远程辅助主机150A至150N和传感器142A至142N。

请求者设备102相应地经由连接116和121与生产率测量服务器108和/或远程辅助服务器140通信。连接116和121可以是无线的(例如，经由NFC通信、蓝牙(TM)等)或通过网络(例如，互联网)。连接116和121也可以是网络(例如，互联网)的连接。

生产率测量服务器108还经由连接120与远程辅助服务器140通信。连接120可以通过网络(例如，局域网、广域网、互联网等)。在一种布置中，生产率测量服务器108和远程辅助服务器140被组合，并且连接120可以是互连总线。生产率测量服务器108可以经由连接118访问数据库109。数据库109可以存储由生产率测量服务器108处理的各种数据。

远程辅助服务器140依次经由相应的连接122A至122N与远程辅助主机150A至150N通信。连接122A到122N可以是网络(例如，互联网)。

远程辅助主机150A至150N是服务器。本文使用术语主机来区分远程辅助主机150A至150N和远程辅助服务器140。远程辅助主机150A至150N在本文统称为远程辅助主机150，而远程辅助主机150指代远程辅助主机150中的一个。远程辅助主机150可以与远程辅助服务器140组合。

在一个示例中，远程辅助主机150可以由工厂管理，并且远程辅助服务器140是在组织层管理生产率并且决定远程辅助主机150中的哪一个转发数据或检索数据(类似图像输入)的中央服务器。远程辅助主机150可以经由连接119访问数据库109。数据库109可以存储由远程辅助主机150处理的各种数据。

传感器142A至142N经由相应的连接144A至144N或146A至146N连接到远程辅助服务器140或生产率测量服务器108。传感器142A至142N在本文统称为传感器146A至146N。连接144A至144N在本文统称为连接144，而连接144指代连接144中的一个。类似地，连接146A至146N在本文统称为连接146，而连接146指代连接146中的一个。连接144和146可以是无线的(例如，经由NFC通信、蓝牙等)或通过网络(例如，互联网)。传感器142可以是图像捕获设备、视频捕获设备和运动传感器中之一，并且可以被配置为根据输入的类型将输入发送到生产率测量服务器108中的至少一个。

在说明性示例实施例中，以下中的每一个提供接口以实现与其他连接的设备102和142和/或服务器108、140和150的通信：设备102和142；以及服务器108、140和150。这种通信是由应用编程接口(“API”)促进的。这样的API可以是用户接口的部分，用户接口可以包括图形用户界面(GUI)、基于Web的接口、诸如应用编程接口(API)的编程接口和/或对应于接口元件的远程过程调用(RPC)集，接口元件对应于通信协议的消息的消息传送接口，和/或其适当组合。

本文中术语“服务器”的使用可以指单个计算设备或一起操作以执行特定功能的多个互连的计算设备。也就是说，服务器可以被包含在单个硬件单元中，或者被分布在几个或许多不同的硬件单元中。

远程辅助服务器140

远程辅助服务器140与实体(例如，工厂或公司或组织或服务的主持者)相关联。在一种布置中，远程辅助服务器140由操作该服务器108的实体所拥有和操作。在这样的布置中，远程辅助服务器140可以被实现为服务器108的部分(例如，计算机程序模块、计算设备等)。

远程辅助服务器140还可以被配置为管理用户的注册。注册用户有包括用户详细资料的联系人跟踪帐户(参见上面的讨论)。注册步骤称为登录。用户可以使用请求者设备102来执行到远程辅助服务器140的登录。

访问远程辅助服务器140的功能无需远程辅助服务器140的生产率测量帐户。然而，注册用户可以使用一些功能。例如，可以在其他管辖区域中显示目标主体和潜在主体的图形表示。下面将讨论这些额外的功能。

用户的登录过程由用户通过请求者设备102之一执行。在一种布置中，用户将应用程序(其包括与远程辅助服务器140交互的API)下载到传感器142。在另一种布置中，用户访问请求者设备102上的网站(其包括与远程辅助服务器140交互的API)。

注册的详细资料包括：例如，用户的姓名、用户的地址、紧急联系人、或其他重要的信息以及被授权更新远程辅助帐户的传感器142等。

在登录之后，用户将具有存储所有详细资料的联系人跟踪帐户。

请求者设备102

请求者设备102与主体(或请求者)相关联，该主体是在请求者设备102处开始的联系跟踪请求的一方。请求者可以是公众的相关成员，其辅助得到必需的数据以获得网络图的图形表示。请求者设备102可以是计算设备，诸如台式计算机、交互式语音响应(IVR)系统、智能手机、便携式电脑、个人数字助理计算机(PDA)、便携式计算机，平板电脑等。

在一个示例布置中，请求者设备102是手表或类似的可佩带的计算设备，并且配备有无线通信接口。

生产率测量服务器108

生产率测量服务器108如上文在术语描述部分中所述。

生产率测量服务器108被配置为处理与确定所识别的第一移动与所识别的第二移动之间的时间段有关的过程，以测量生产率。

远程辅助主机150

远程辅助主机150是与实体(例如，公司或组织)相关联的服务器，该实体管理(例如，建立、治理)关于与组织的主体或成员有关的信息的生产率信息。

在一种布置中，实体是组织。因此，每个实体操作远程辅助主机150来管理该实体的资源。在一种布置中，远程辅助主机150接收目标主体正在运动的警报信号。然后，远程访问主机150可以安排向警报信号中包含的位置信息所标识的位置发送资源。例如，主机可以是被配置为获得用于处理的相关视频或图像输入的主机。

有利的是，这样的信息对于检测工厂装配线的周期时间估计的确切起始和结束时间是有价值的。本公开使用手的位置和周期的起始/结束时间之间的相关性。这样，可以获得更准确的估计周期时间。

手的位置更适合于在工厂情况下识别周期的起始/结束时间，因为物体在装配线处的带式输送机上从左向右移动或从右向左移动。因此，实际位置可以为这些情况生成更好的特征。

然而，实际位置的时间序列将不同于利用距离而不是位置的传统技术，导致模式匹配(给定查询序列，在目标数据集中找到相似的序列)生成更多的错误匹配。而且，手的检测可能不正确地检测手的位置，这又导致更高数量的错误匹配。

因此，为了使模式匹配更准确，本公开识别哪些手已经被检测到，并且后续对由于漏检或遮挡而缺失的数据进行插补(用替代值替换缺失的位置)。可替代地或另外地，本公开收集对应于样本数据集上的基准真实值的序列。对于基准真实值，构成工作周期的起始动作和结束动作是预定义的。

例如，用户可以通过提供在从感兴趣的相机获得的视频剪辑上发生这些动作的时间戳来定义工作周期的起始和结束动作(每个动作包括手的移动或预定移动的连续序列)。在示例实施例中，预定移动的两个集合被定义为覆盖周期的起始和结束。

同时，还指定相机视图内的预期的手的数量。该值直接与在相机视图中预期可见工作的工人/操作者的数量相关(例如，如果有两名操作者，则预期有四只手；如果有一名操作者，则预期有两只手)。

可替代地或另外地，本公开从所收集的序列生成平均查询序列，以便查询序列可被用作输入查询，以在目标数据集中寻找表示的开始和结束时间的类似序列。

传感器142

传感器142与和请求者设备102相关联的用户相关联。下面将提供如何利用传感器的更多细节。

图2展示了根据本公开的示例实施例的测量生产率的方法200。如202所示，执行手的检测以检测给定图像帧上的手，并且在206中生成具有对应帧号的时间序列手的位置。

通过在第一过程202中获取所检测的手的位置，执行插补214。具体地，该方法包括：检测帧中手的数量，并且将所检测的手的数量与帧中预期的手的数量进行比较，以检测帧中缺失的手。如果检测到帧中缺失的手，则执行插补214以对帧中缺失的手进行插补，从而生成如220所示的具有手识别(其可以识别目标)和对应帧号的时间序列手的位置。

例如，插补将查看相机视图中的预期的手的数量(在基准真实值中指定)，并且将其与每个视频帧的手的检测的数量进行比较。例如，如果预期有四只手，但给定帧仅有三只手，则执行插补以填充缺少的数据(即缺失的手在缺失时段中至少有一个缺失的手的缺失位置)，通过查看对应于缺失的手的手的平均历史位置使数据“完整(complete)”。

序列匹配224检查第二输出(即时间序列手的位置220)中的哪一个匹配218中的给定查询序列，以检测开始和结束时间，然后输出具有帧号的匹配序列208。

在第三输出上，周期时间估计216估计装配线的每个周期，并输出所估计的周期时间，如222所示。在各种示例实施例中，周期时间是所识别的第一移动与第二移动的对之间的时间段。第一移动对应于周期的开始。另一方面，第二移动对应于周期的结束。

为了提供作为第三过程224的输入的查询序列，查询序列生成210生成查询218，基于在样本数据集上指定的起始和结束时间的给定基准真实值(或预定移动)204来检测给定输入数据上的开始和结束时间。基于开始时间的给定基准真实值的查询序列对应于(多个)手的位置的第一序列，(多个)手的位置的第一序列是(多个)工人的工作中的起始动作或(多个)操作者的操作中的起始动作。另一方面，基于结束时间的给定基准真实值的查询序列对应于(多个)手的位置的第二序列，(多个)手的位置的第二序列是工作中的结束动作或操作中的结束动作。

图3展示了如何在对基准真实值求平均时使用预定移动。构成工作周期的起始动作和结束动作是预定义的。

在各种示例实施例中，用户将通过提供在从感兴趣的相机获得的视频剪辑上发生这些动作的时间戳来定义工作周期的开始和结束动作。每个动作包括手的移动或预定移动的连续序列。预定移动的两个集合被定义为覆盖周期的起始和结束。

在示例实施例中，还指定相机视图内的预期的手的数量。该值直接与在相机视图中预期可见工作的工人或操作者的数量相关。例如，如果有两名操作者，则预期有四只手。如果有一名操作者，则预期有两只手。

对于每个视频帧，插补将查看相机视图中的预期的手的数量(在基准真实值中指定)，并且将其与每个视频帧的手的检测的数量进行比较。例如，如果预期有四只手，但给定帧仅有三只手，则执行插补以填充缺少的数据(即缺失的手在缺失时段中至少有一个缺失的手的缺失位置)，通过查看对应于缺失的手的手的平均历史位置使数据“完整(complete)”。

301和302中的每一个展示了可能的预定移动或基准真实值的集合。在303中，可以检测到某些移动，并且可能存在缺失的手的移动310。如304、305和306所示，可执行插补以填充间隙(例如，idx：1，x：488，y：323，idx：1，x：489，y：324，idx：1，x：491，y：322)，否则将存在缺失数据。由于错误匹配的增加，缺失数据将不利地影响时间序列序列匹配。

对基准真实值求平均的输出是代表动作的平均预定移动的对，同样地，其与被称为动态时间规整的已知技术相耦合，以匹配从相同相机视图获得的多个移动(已被转换为时间序列数据的所检测的手的位置)中的相似的(多个)第一移动和(多个)第二移动。这可以是在所检测的手的位置数据已经通过插补被“预处理(pretreated)”之后获得的。

这种耦合允许构成工作周期的开始或结束动作的移动序列的变化。例如。第一平均预定移动可以包括向上移动，紧接着是向下移动，但是现实世界的第一移动可以包括向上移动，向右移动，接着是向下移动。在这种情况下，现实世界的第一移动将仍然与第一平均预定移动相匹配，尽管有明显的差异。类似地，如果省略了某个移动，仍然有可能相匹配。

图4描述了根据本公开的示例实施例如何接收各种基准真实值。在图4中，400中所示的每个时间序列模式402、404、406、408和410是从用户定义的基准真实值或预定移动中获得的，并且是对应于周期的开始的序列的示例。为了测量目标的生产率，与具有类似经历的主体相关的时间序列模式被检索。

图5描述了如何通过对所接收的各种基准真实值500求平均来获得基准真实值502。对序列402、404、406和408求平均，以获得最终查询序列，该最终查询序列被用作序列匹配的输入，以便识别目标数据集内的类似序列。

图6展示了测量生产率的方法的主要组件。根据各种示例实施例，存在测量生产率的方法。该方法包括：基于至少一个图像帧，识别第一移动，其中第一移动与定义移动的周期的起始动作相匹配(S1)；基于至少一个图像帧，识别第二移动，其中第二移动与定义周期的结束动作相匹配(S2)；以及确定所识别的第一移动与所识别的第二移动之间的时间段，以测量生产率(S3)。

该方法还包括：检测图像帧中的手的数量；将所检测的手的数量与帧中预期的手的数量进行比较，以检测帧中至少一只缺失的手；以及响应于检测到帧中缺失的手，在帧中执行缺失的手的移动的插补。因此，即使在帧中没有捕获到手，也可以补偿缺失的手的移动。因此，在这种情况下可以识别第一移动和/或第二移动。

进一步地，通过使用在缺失的手的缺失时段中与缺失的手相对应的手的平均历史位置来填充缺失的手的缺失位置，以执行插补。

进一步地，该方法包括：生成对应于起始动作的手的位置的第一序列；以及生成对应于结束动作的手的位置的第二序列；其中第一移动的识别包括识别与第一序列相匹配的第一移动；以及第二移动的识别包括识别与第二序列相匹配的第二移动。

进一步地，第一序列的生成可以包括对与移动的周期的起始动作相对应的手的位置的多个序列求平均，以生成第一序列。第二序列的生成可以包括对与移动的周期的结束动作相对应的手的位置的多个序列求平均，以生成第二序列。

在根据上述的方法中，识别第一移动包括识别第一移动是由右手还是左手执行。

进一步地，当识别出第一移动由右手执行时，可以执行识别第二移动。在这种情况下，右手可以是工人/操作者的主导手。

可替代地，当识别出第一移动由左手执行时，可以执行识别第二移动。在这种情况下，左手可以是工人/操作者的主导手。

图7展示了根据示例实施例的测量生产率的装置的主要组件。装置70包括至少一个处理器71和包括计算机程序代码的至少一个存储器72。至少一个存储器72和计算机程序代码被配置为与至少一个处理器71一起，使得装置执行上述方法。

图8描述了示例性计算设备1300，在下文中可互换地称为计算机系统1300，其中一个或多个这样的计算设备1300可被用于执行以上所示的方法。示例性计算设备1300可用于实现图1所示的系统100。以下对计算设备1300的描述仅作为示例被提供，并不旨在进行限制。

如图8所示，示例计算设备1300包括用于执行软件例程的处理器1307。尽管为了清楚起见展示了单个处理器，但是计算设备1300还可以包括多处理器系统。处理器1307连接到用于与计算设备1300的其他组件通信的通信基础设施1306。通信基础设施1306可以包括例如通信总线、交叉杆或网络。

计算设备1300还包括主存储器1308(诸如随机存取存储器(RAM))和辅存储器1310。辅存储器1310可以包括：例如存储驱动器1312和/或可移动存储驱动器1317，存储驱动器1312可以是硬盘驱动器、固态驱动器或混合驱动器，可移动存储驱动器1317可以包括磁带驱动器、光盘驱动器、固态存储驱动器(诸如，USB闪存驱动器、闪存存储器设备、固态驱动器或存储卡)等。可移动存储驱动器1317以公知的方式从可移动存储介质1377读取和/或向可移动存储介质1377写入。可移动存储介质1377可以包括由可移动存储驱动器1317读取和写入的磁带、光盘、非易失性存储器存储介质等。(多个)相关领域的技术人员将理解，可移动存储介质1377包括计算机可读存储介质，计算机可执行程序代码指令和/或数据存储在其上。

在可替代的实施方式中，辅存储器1310可以额外地或可替代地包括用于允许计算机程序或其他指令被加载到计算设备1300中的其他相似的部件。这种部件可包括：例如可移动存储单元1322和接口1314。可移动存储单元1322和接口1314的示例包括程序盒和盒接口(诸如，可在视频游戏控制台设备中找到)、可移动存储器芯片(诸如，EPROM或PROM)和相关联的插座、可移动固态存储驱动器(诸如，USB闪存驱动器、闪存存储器设备、固态驱动器或存储卡)、以及允许从可移动存储单元1322向计算机系统1300传送软件和数据的其他可移动存储单元1322和接口1314。

计算设备1300还包括至少一个通信接口1327。通信接口1327允许软件和数据经由通信路径1326在计算设备1300和外部设备之间传送。在各种示例实施例中，通信接口1327允许数据在计算设备1300和数据通信网络(诸如，公共数据或专用数据通信网络)之间传送。通信接口1327可用于在不同计算设备1300之间交换数据，这些计算设备1300形成互连计算机网络的部分。通信接口1327的示例可以包括调制解调器，网络接口(诸如，以太网卡)，通信端口(诸如，串行、并行、打印机、GPIB、IEEE 1394、RJ45、USB)，具有关联电路系统的天线等。通信接口1327可以是有线的或无线的。经由通信接口1327传送的软件和数据是以信号的形式被传送，这些信号可以是能够由通信接口1327接收的电子、电磁、光学或其他信号。这些信号经由通信路径1326被提供给通信接口。

如图8所示，计算设备1300还包括显示接口1302和音频接口1352，显示接口1302执行将图像呈现到相关联的显示器1350的操作，音频接口1352执行用于经由相关联的(多个)扬声器1357播放音频内容的操作。

如本文所使用的，术语“计算机程序产品”可部分地指：可移动存储介质1377、可移动存储单元1322、安装在存储驱动器1312中的硬盘、或通过通信路径1326(无线链路或电缆)向通信接口1327传送软件的载波。计算机可读存储介质指的是向计算设备1300提供所记录的指令和/或数据以供执行和/或处理的任何非暂时性、非易失性有形的存储介质。这样的存储介质的示例包括：磁带、CD-ROM、DVD、蓝光(TM)盘、硬盘驱动器、ROM或集成电路、固态存储驱动器(诸如，USB闪存驱动器、闪存存储器设备、固态驱动器或存储卡)、混合驱动器、磁光盘或计算机可读卡(诸如PCMCIA卡)等，无论这样的设备是否在计算设备1300的内部或外部。还可参与向计算设备1300提供软件、应用程序、指令和/或数据的暂时性或非有形计算机可读传输介质的示例包括：无线电或红外传输信道以及与另一计算机或网络设备的网络连接，以及包括电子邮件传输和记录在网站上的信息的互联网或内联网等。

计算机程序(也称为计算机程序代码)存储在主存储器1308和/或辅存储器1310中。计算机程序也可以经由通信接口1327接收。这样的计算机程序在被执行时使计算设备1300能够执行本文讨论的示例实施例的一个或多个特征。在各种示例实施例中，计算机程序在被执行时使处理器1307能够执行上述示例实施例的特征。因此，这样的计算机程序表示计算机系统1300的控制器。

软件可以存储在计算机程序产品中，并使用可移动存储驱动器1317、存储驱动器1312或接口1314加载到计算设备1300中。计算机程序产品可以是非暂时性计算机可读介质。可替代地，可以通过通信路径1326将计算机程序产品下载到计算机系统1300。软件当由处理器1307执行时，使计算设备1300执行必要的操作以执行如上所述的方法。

应当理解，图8的示例实施例仅作为示例被呈现，以解释系统100的操作和结构。因此，在一些示例实施例中，可以省略计算设备1300的一个或多个特征。此外，在一些示例实施例中，计算设备1300的一个或多个特征可以被组合在一起。另外，在一些示例实施例中，计算设备1300的一个或多个特征可以被分成一个或多个组件部分。

本领域的技术人员将理解，在不脱离如广泛描述的本发明的精神或范围的情况下，可以对如具体示例实施例中所示的本发明进行许多变化和/或修改。因此，本示例实施例在所有方面都被认为是说明性的而非限制性的。

本申请基于并要求2021年8月19日提交的新加坡专利申请No.10202109093T的优先权，该新加坡专利申请的公开内容通过引用整体并入本文。

补充说明

以上公开的示例实施例的全部或部分可被描述为但不限于以下补充说明。

(补充说明1)

一种由计算机执行的用于测量生产率的方法，包括：

基于至少一个图像帧，识别第一移动，其中所述第一移动与定义移动的周期的起始动作相匹配；

基于至少一个图像帧，识别第二移动，其中所述第二移动与定义所述周期的结束动作相匹配；以及

确定所识别的第一移动与所识别的第二移动之间的时间段，以测量生产率。

(补充说明2)

根据补充说明1的所述方法，还包括：

检测所述图像帧中的手的数量；

将所检测的手的数量与帧中预期的手的数量进行比较，以检测所述帧中至少一个缺失的手；以及

响应于检测到帧中缺失的手，在帧中执行缺失的手的移动的插补。

(补充说明3)

根据补充说明2的所述方法，其中，通过使用在所述缺失的手的缺失时段中与所述缺失的手相对应的手的平均历史位置来填充所述缺失的手的缺失的位置，以执行所述插补。

(补充说明4)

根据补充说明1的所述方法，还包括：

生成对应于所述起始动作的手的位置的第一序列；以及

生成对应于所述结束动作的手的位置的第二序列；其中

所述第一移动的所述识别包括：识别与所述第一序列相匹配的所述第一移动；以及

所述第二移动的所述识别包括：识别与所述第二序列相匹配的所述第二移动。

(补充说明5)

根据补充说明4的所述方法，其中：

所述第一序列的所述生成包括：对与所述移动的所述周期的起始动作相对应的所述手的位置的多个序列求平均，以生成所述第一序列；以及

所述第二序列的所述生成包括：对与所述移动的所述周期的结束动作相对应的所述手的位置的多个序列求平均，以生成所述第二序列。

(补充说明6)

一种用于测量生产率的装置，所述装置包括：

至少一个处理器；以及

包括计算机程序代码的至少一个存储器；其中

所述至少一个存储器和所述计算机程序代码被配置为与至少一个处理器一起，使得所述装置：

基于至少一个图像帧，识别第一移动，其中所述第一移动与定义移动的周期的起始动作相匹配；

基于至少一个图像帧，识别第二移动，其中所述第二移动与定义所述周期的结束动作相匹配；以及

确定所识别的第一移动与所识别的第二移动之间的时间段，以测量生产率。

(补充说明7)

根据补充说明6的所述装置，其中所述至少一个存储器和所述计算机程序代码被配置为与至少一个处理器一起，使得所述装置：

检测所述图像帧中的手的数量；

将所检测的手的数量与所述帧中预期的手的数量进行比较，以检测所述帧中至少一个缺失的手；以及

响应于检测到所述帧中所述缺失的手，在所述帧中执行所述缺失的手的移动的插补。

(补充说明8)

根据补充说明7的所述装置，其中，通过使用在所述缺失的手的缺失时段中与所述缺失的手相对应的手的平均历史位置来填充所述缺失的手的缺失的位置，以执行所述插补。

(补充说明9)

根据补充说明6的所述装置，其中所述至少一个存储器和所述计算机程序代码被配置为与至少一个处理器一起，使得所述装置：

生成对应于所述起始动作的手的位置的第一序列；

生成对应于所述结束动作的手的位置的第二序列；

识别与所述第一序列相匹配的所述第一移动；以及

识别与所述第二序列相匹配的所述第二移动。

(补充说明10)

根据补充说明6或9的所述装置，其中所述至少一个存储器和所述计算机程序代码被配置为与至少一个处理器一起，使得所述装置：

对与所述移动的所述周期的起始动作相对应的所述手的位置的多个序列求平均，以生成所述第一序列；以及

对与所述移动的所述周期的结束动作相对应的所述手的位置的多个序列求平均，以生成所述第二序列。

(补充说明11)

一种非暂时性计算机可读介质，存储用于测量生产率的程序，其中所述程序使得计算机至少：

基于至少一个图像帧，识别第一移动，其中所述第一移动与定义移动的周期的起始动作相匹配；

基于至少一个图像帧，识别第二移动，其中所述第二移动与定义所述周期的结束动作相匹配；以及

确定所识别的第一移动与所识别的第二移动之间的时间段，以测量生产率。

附图标志列表

70 装置

71 处理器

72 存储器

100 系统

102 请求者设备

108 生产率测量服务器

109 数据库

140 远程辅助服务器

142A～142N 传感器

150A～150N 远程辅助主机