数据处理方法、装置、设备及系统

技术领域

本申请实施例涉及工程技术领域，尤其涉及一种数据处理方法、装置、设备及系统。

背景技术

流程规范主要是指对各项管理业务的范围、内容、程序和处理方法进行规定。在一些技术领域，对于流程规范有严格的要求，因此需要对工人的操作进行相应的流程监督。

目前进行流程规范的监督的方案，主要是通过人工现场监督完成的。一个工人出工时，需要派出多个不同类型的监督员对其工作过程进行监督，判断该工人在执行各项工作流程时是否符合相关规范，以避免工人出现遗漏、错误等情况发生。

上述通过人工现场监督的方案，需要消耗大量的人力资源，效率较低。

发明内容

本申请实施例提供一种数据处理方法、装置、设备及系统，以解决通过人工现场监督工作流程规范消耗大量的人力资源的问题。

第一方面，本申请实施例提供一种数据处理方法，包括：

获取预设流程，所述预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，所述操作信息包括如下至少一种：操作对象、操作方式、操作语音；

获取操作步骤对应的检测信息，所述检测信息为传感器对第一对象采集得到的，所述检测信息包括语音信息或至少一张图像；

根据操作步骤对应的操作信息和检测信息，确定操作步骤对应的检测结果，所述检测结果用于指示所述第一对象的操作步骤正确或者错误。

在一种可能的实施方式中，根据操作步骤对应的操作信息和检测信息，确定操作步骤对应的检测结果，包括：

针对所述至少一个操作步骤中的任意一个操作步骤，确定所述操作步骤对应的操作信息中包括的内容；

根据所述操作信息中包括的内容，对所述操作信息和所述操作步骤对应的检测信息进行匹配处理，得到所述检测结果。

在一种可能的实施方式中，所述操作信息中包括所述操作语音；根据所述操作信息中包括的内容，对所述操作信息和所述操作步骤对应的检测信息进行匹配处理，得到所述检测结果，包括：

对所述检测信息中的语音信息进行识别，得到第一信息；

获取所述操作语音对应的第二信息；

若所述第一信息中包括所述第二信息，确定所述检测结果为第一检测结果，所述第一检测结果用于指示所述第一对象的操作步骤正确；

若所述第一信息中不包括所述第二信息，确定所述检测结果为第二检测结果，所述第二检测结果用于指示所述第一对象的操作步骤错误。

在一种可能的实施方式中，所述操作信息中包括所述操作对象和操作方式；根据所述操作信息中包括的内容，对所述操作信息和所述操作步骤对应的检测信息进行匹配处理，得到所述检测结果，包括：

对所述检测信息中的图像集合进行图像识别，得到至少一个对象，所述图像集合中包括至少一张图像；

若所述至少一个对象中包括所述操作对象，根据所述图像集合确定所述第一对象操作所述操作对象的第一方式，并根据所述第一方式和所述操作方式，确定所述检测结果；

若所述至少一个对象中不包括所述操作对象，确定所述检测结果为第二检测结果，所述第二检测结果用于指示所述第一对象的操作步骤错误。

在一种可能的实施方式中，根据所述图像集合确定所述第一对象操作所述操作对象的第一方式，包括：

分别对所述图像集合中的每张图像进行图像识别，得到每张图像对应的对象信息，所述对象信息包括如下至少一种：所述操作对象与预设对象之间的位置关系、或者所述操作对象在所述图像中的位置；

根据每张图像对应的对象信息，确定所述第一方式，所述第一方式中包括所述操作对象与所述预设对象之间的第一位置关系和/或所述操作对象的第一运动轨迹。

在一种可能的实施方式中，所述操作方式包括所述操作对象与所述预设对象之间的第二位置关系和/或所述操作对象的第二运动轨迹；根据所述第一方式和所述操作方式，确定所述检测结果，包括：

将所述第一位置关系与所述第二位置关系进行匹配处理，得到第一匹配结果，并根据所述第一匹配结果，得到所述检测结果；或者，

将所述第一运动轨迹与所述第二运动轨迹进行匹配处理，得到第二匹配结果，并根据所述第二匹配结果，得到所述检测结果；或者，

将所述第一位置关系与所述第二位置关系进行匹配处理，得到第一匹配结果；将所述第一运动轨迹与所述第二运动轨迹进行匹配处理，得到第二匹配结果；并根据所述第一匹配结果和所述第二匹配结果，得到所述检测结果。

在一种可能的实施方式中，获取预设流程，包括：

获取控制指令，所述控制指令为按键控制指令或者语音控制指令；

根据所述控制指令，获取所述预设流程。

在一种可能的实施方式中，所述传感器为设置于所述第一对象的头部的头戴设备，所述头戴设备包括拾音器和摄像头；获取操作步骤对应的检测信息，包括：

从所述拾音器获取音频流，根据所述音频流和操作步骤对应的时段，获取所述操作步骤对应的语音信息；或者，

从所述摄像头获取视频流，根据所述视频流和操作步骤对应的时段，获取所述操作步骤对应的至少一张图像。

在一种可能的实施方式中，针对任意一个操作步骤，在获取所述操作步骤对应的检测信息之前，所述方法还包括：

向扩音器发送第一语音指令，所述第一语音指令用于控制所述扩音器播报所述操作步骤对应的操作信息。

在一种可能的实施方式中，针对任意一个操作步骤，在确定所述操作步骤对应的检测结果之后，所述方法还包括：

向扩音器发送第二语音指令，所述第二语音指令用于控制所述扩音器播报所述操作步骤对应的检测结果。

在一种可能的实施方式中，所述方法还包括：

获取第一视频，所述第一视频为对所述第一对象在每个操作步骤下执行的操作进行拍摄得到的；

根据所述每个操作步骤对应的检测结果对所述第一视频进行标记处理，生成第二视频。

第二方面，本申请实施例提供一种数据处理装置，包括：

第一获取模块，用于获取预设流程，所述预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，所述操作信息包括如下至少一种：操作对象、操作方式、操作语音；

第二获取模块，用于获取操作步骤对应的检测信息，所述检测信息为传感器对第一对象采集得到的，所述检测信息包括语音信息或至少一张图像；

处理模块，用于根据操作步骤对应的操作信息和检测信息，确定操作步骤对应的检测结果，所述检测结果用于指示所述第一对象的操作步骤正确或者错误。

在一种可能的实施方式中，所述处理模块具体用于：

针对所述至少一个操作步骤中的任意一个操作步骤，确定所述操作步骤对应的操作信息中包括的内容；

根据所述操作信息中包括的内容，对所述操作信息和所述操作步骤对应的检测信息进行匹配处理，得到所述检测结果。

在一种可能的实施方式中，所述操作信息中包括所述操作语音；所述处理模块具体用于：

对所述检测信息中的语音信息进行识别，得到第一信息；

获取所述操作语音对应的第二信息；

若所述第一信息中包括所述第二信息，确定所述检测结果为第一检测结果，所述第一检测结果用于指示所述第一对象的操作步骤正确；

若所述第一信息中不包括所述第二信息，确定所述检测结果为第二检测结果，所述第二检测结果用于指示所述第一对象的操作步骤错误。

在一种可能的实施方式中，所述操作信息中包括所述操作对象和操作方式；所述处理模块具体用于：

对所述检测信息中的图像集合进行图像识别，得到至少一个对象所述图像集合中包括至少一张图像；

若所述至少一个对象中包括所述操作对象，根据所述图像集合确定所述第一对象操作所述操作对象的第一方式，并根据所述第一方式和所述操作方式，确定所述检测结果；

若所述至少一个对象中不包括所述操作对象，确定所述检测结果为第二检测结果，所述第二检测结果用于指示所述第一对象的操作步骤错误。

在一种可能的实施方式中，所述处理模块具体用于：

分别对所述图像集合中的每张图像进行图像识别，得到每张图像对应的对象信息，所述对象信息包括如下至少一种：所述操作对象与预设对象之间的位置关系、或者所述操作对象在所述图像中的位置；

根据每张图像对应的对象信息，确定所述第一方式，所述第一方式中包括所述操作对象与所述预设对象之间的第一位置关系和/或所述操作对象的第一运动轨迹。

在一种可能的实施方式中，所述操作方式包括所述操作对象与所述预设对象之间的第二位置关系和/或所述操作对象的第二运动轨迹；所述处理模块具体用于：

将所述第一位置关系与所述第二位置关系进行匹配处理，得到第一匹配结果，并根据所述第一匹配结果，得到所述检测结果；或者，

将所述第一运动轨迹与所述第二运动轨迹进行匹配处理，得到第二匹配结果，并根据所述第二匹配结果，得到所述检测结果；或者，

将所述第一位置关系与所述第二位置关系进行匹配处理，得到第一匹配结果；将所述第一运动轨迹与所述第二运动轨迹进行匹配处理，得到第二匹配结果；并根据所述第一匹配结果和所述第二匹配结果，得到所述检测结果。

在一种可能的实施方式中，所述第一获取模块具体用于：

获取控制指令，所述控制指令为按键控制指令或者语音控制指令；

根据所述控制指令，获取所述预设流程。

在一种可能的实施方式中，所述传感器为设置于所述第一对象的头部的头戴设备，所述头戴设备包括拾音器和摄像头；所述第二获取模块具体用于：

从所述拾音器获取音频流，根据所述音频流和操作步骤对应的时段，获取所述操作步骤对应的语音信息；或者，

从所述摄像头获取视频流，根据所述视频流和操作步骤对应的时段，获取所述操作步骤对应的至少一张图像。

在一种可能的实施方式中，针对任意一个操作步骤，所述处理模块还用于，在获取所述操作步骤对应的检测信息之前：

向扩音器发送第一语音指令，所述第一语音指令用于控制所述扩音器播报所述操作步骤对应的操作信息。

在一种可能的实施方式中，针对任意一个操作步骤，所述处理模块还用于，在确定所述操作步骤对应的检测结果之后：

向扩音器发送第二语音指令，所述第二语音指令用于控制所述扩音器播报所述操作步骤对应的检测结果。

在一种可能的实施方式中，所述处理模块还用于：

获取第一视频，所述第一视频为对所述第一对象在每个操作步骤下执行的操作进行拍摄得到的；

根据所述每个操作步骤对应的检测结果对所述第一视频进行标记处理，生成第二视频。

第三方面，本申请实施例提供一种主机设备，包括：

存储器，用于存储程序；

处理器，用于执行所述存储器存储的所述程序，当所述程序被执行时，所述处理器用于执行如第一方面中任一所述的数据处理方法。

第四方面，本申请实施例提供一种数据处理系统，包括头戴设备和主机设备，其中：

所述头戴设备设置于第一对象的头部，用于对所述第一对象进行采集，得到预设流程中的每个操作步骤对应的检测信息，并向所述主机设备发送所述检测信息；

所述主机设备用于获取所述检测信息，并执行如第一方面任一项所述的数据处理方法。

本申请实施例提供的数据处理方法、装置、设备及系统，首先获取预设流程，该预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，操作信息包括操作对象、操作方式和操作语音中的至少一种，通过操作信息能够获知每个操作步骤需要第一对象如何进行完成。然后，获取每个操作步骤对应的检测信息，检测信息为第一对象执行操作步骤时传感器采集到的，根据每个操作步骤对应的操作信息和对应的检测信息，就可以确定每个操作步骤对应的检测结果，获知第一对象的每个操作步骤正确还是错误。本申请实施例的方案，无需人工对第一对象的工作过程进行监督，而是通过传感器对第一对象的操作步骤进行采集，并将其与对应的操作信息进行比较，得到第一对象的操作步骤的检测结果，无需消耗大量人力资源，效率较高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种工作流程检测示意图；

图2为本申请实施例提供的一种数据处理方法的流程示意图；

图3为本申请实施例提供的一种应用场景示意图；

图4为本申请实施例提供的一种数据处理方法的流程示意图；

图5为本申请实施例提供的图像识别示意图；

图6为本申请实施例提供的确定检测结果的示意图；

图7为本申请实施例提供的一种数据处理装置的结构示意图；

图8为本申请实施例提供的主机设备的硬件结构示意图；

图9为本申请实施例提供的一种数据处理系统的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先对本申请实施例涉及的概念进行解释说明。

流程规范：流程的规范主要是指对各项管理业务的范围、内容、程序和处理方法进行规定，即制定业务标准。比如铁路部门对每项工作都有相应的作业指导书作为流程规范文件。

对象检测：对象检测的任务是找出图像中所有感兴趣的对象(物体)，确定它们的位置和大小，是机器视觉领域的核心问题之一。

神经网络模型：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。神经网络模型中进行加速处理的硬件单元包括但不限于神经网络推理引擎(Neural Network Inference Engine，简称NNIE)，图形处理器(GraphicProcessing Unit，简称GPU)，中央处理器(Central Processing Unit，简称CPU)等几类。

图1为一种工作流程检测示意图，如图1所示，包括工人11，工人11需要出工，完成相应的工作流程。在一些行业中，对工人的工作流程有严格的要求，需要工人严格按照要求执行每个操作步骤，例如铁路行业对铁路的维护，飞机行业对飞机的检修等等。

图1的示例中，工人11需要执行的工作流程即为有严格要求的工作流程，因此，在工人11执行相应的工作流程时，也需要对工人11进行监督，判断工人11执行的各个操作步骤是否正确，是否符合规范。

目前对工人11进行监督的方案有两种。第一种是通过人工现场监督。具体的，如图1中所示，当工人11出工时，可以同时派出多个不同类型的监督员对其工作过程进行监督，如图1中的监督员12和监督员13。监督员12和监督员13根据自己观察到的工人11执行的操作步骤，判断工人11的操作是否符合流程规范，从而避免工人11出现操作遗漏、错误等情况。

这种方案在每次有工人出工时，通过派出监督员监督工人的操作步骤，需要消耗大量的人力资源，且不同的监督员的判断标准不一致，也可能导致不同的监督员对于工人的操作得到不同的结论，其效率较低。

第二种方案，如图1中所示，是通过记录仪14对工人11的工作过程进行拍摄，待工人11工作完成后，上传拍摄的视频，并组织人员对视频进行观看，找出工人11操作不符合规范的地方，并进行反馈。

这种方案首先由于是事后查看视频来判断工人操作的规范性，只能事后进行处理，对于部分需要现场提醒的操作步骤而言，存在一定的安全隐患。同时，工人在出工时也可能对记录仪产生遮挡，无法有效全程录像，也可能导致部分不符合规范的操作步骤未能被检测出来。

基于此，本申请实施例提供一种数据处理方法，以实现对工人的工作流程规范性的有效监督。

图2为本申请实施例提供的一种数据处理方法的流程示意图，如图2所示，该方法可以包括：

S21，获取预设流程，所述预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，所述操作信息包括如下至少一种：操作对象、操作方式、操作语音。

本申请实施例提供的数据处理方法的执行主体为主机设备，主机设备为具备一定的数据处理能力的设备，例如可以为处理器，可以为服务器，也可以为包括处理器或服务器的设备。

预设流程可以是指示了工作流程的规范文件，主机设备可以获取该预设流程，预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，其中，操作信息指示了需要进行何种操作。操作信息中包括操作对象、操作方式、操作语音中的至少一种。操作对象为工作人员需要操作的对象，该操作对象可以为某个具体的设备。操作方式为工作人员需要对操作对象进行的操作。操作语音为工作人员需要发出的语音指令。

S22，获取操作步骤对应的检测信息，所述检测信息为传感器对第一对象采集得到的，所述检测信息包括语音信息或至少一张图像。

预设流程中包括至少一个操作步骤，针对每个操作步骤均可以获取对应的检测信息进行检测。针对于任意一个操作步骤，传感器可以在第一对象执行操作步骤时采集检测信息，然后发送给主机设备。

检测信息可以包括语音信息，此时传感器可以为具备录音功能的设备。检测信息可以包括至少一张图像，此时传感器可以为具备摄像功能的设备，传感器可以直接拍摄图像，也可以拍摄视频，根据视频得到至少一张图像。

S23，根据操作步骤对应的操作信息和检测信息，确定操作步骤对应的检测结果，所述检测结果用于指示所述第一对象的操作步骤正确或者错误。

针对预设流程中的至少一个操作步骤中的任意一个操作步骤而言，首先获取该操作步骤对应的操作信息和对应的检测信息。其中，操作信息为预设流程中规定的，指示第一对象需要执行何种操作。检测信息是对第一对象实际执行的操作步骤进行采集得到的。

在获取了检测信息之后，就可以根据检测信息和操作信息判断第一对象在该操作步骤中的检测结果，获知第一对象的操作步骤是正确还是错误。

本申请实施例提供的数据处理方法，首先获取预设流程，该预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，操作信息包括操作对象、操作方式和操作语音中的至少一种，通过操作信息能够获知每个操作步骤需要第一对象如何进行完成。然后，获取操作步骤对应的检测信息，检测信息为第一对象执行操作步骤时传感器采集到的，根据操作步骤对应的操作信息和对应的检测信息，就可以确定操作步骤对应的检测结果，获知第一对象的操作步骤正确还是错误。本申请实施例的方案，无需人工对第一对象的工作过程进行监督，而是通过传感器对第一对象的操作步骤进行采集，并将其与对应的操作信息进行比较，得到第一对象的操作步骤的检测结果，无需消耗大量人力资源，效率较高。

下面将结合附图对本申请的方案进行详细说明。

图3为本申请实施例提供的一种应用场景示意图，如图3所示，包括第一对象31，设置于第一对象31头部的头戴设备32和主机设备33。

当第一对象31工作时，头戴设备32可以获取第一对象执行每个操作步骤时对应的检测信息，并将检测信息发送给主机设备33。主机设备33根据检测信息来判断第一对象31执行的操作步骤是否正确。

其中，头戴设备32中可以包括拾音器321和摄像头322，拾音器321用于获取语音数据，摄像头322用于获取视频数据或者图像数据。头戴设备32设置于第一对象31的头部，可以使得摄像头322的视角随着第一对象31的头部的移动而移动，覆盖第一对象31的视觉范围，保证摄像头322采集到的图像既是第一对象31的操作目标，避免了佩戴记录仪放置于固定位置或佩戴到身上导致部分操作目标无法进行摄像头322的拍摄画面的问题，从而保证第一对象31的整个工作过程中均有视频记录。同时，头戴设备32设置于头部离第一对象31的嘴部较近，能够较好的获取第一对象31发出的语音，避免设置于第一对象31的身上或其他位置造成的噪音干扰。

主机设备33可以单独设置，也可以和头戴设备32集成于一个设备中。当主机设备33单独设置时，主机设备33可以设置于第一对象31的身上，也可以设置于某个固定的位置。当主机设备和头戴设备32集成于一个设备中时，则均设置于第一对象31的头部。

可选的，还可以包括扩音器34和显示屏35，其中，扩音器34可以在主机设备33的控制下，进行语音播报，该语音播报可以是对操作步骤的内容的播报，也可以是在第一对象31执行操作步骤错误时的语音提醒。显示屏35可以显示主机设备发送的图像或视频，供工作人员对工作流程进行观看。

下面基于图3示例的设备对本申请的方案进行介绍。

图4为本申请实施例提供的一种数据处理方法的流程示意图，如图4所示，包括：

S41，载入流程规范，获取预设流程。

主机设备启动后，可以首先载入流程规范，获取预设流程。载入流程规范的过程可以是先对需要管理的业务的范围、内容、程序、处理方法进行规定后，生成相应的文件，并加载到主机设备中即可。

在流程规范加载完成之后，就可以获取预设流程。具体的，主机设备可以获取控制指令，根据控制指令获取预设流程，该控制指令可以为按键控制指令或者语音控制指令。

当主机设备启动之后，可以通过操控主机设备上的按键选择预设流程，也可以通过语音控制选择预设流程等等。

S42，启动判定流程。

主机设备获取了预设流程之后，预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，操作信息可以包括操作对象、操作方式、操作语音等等，其中操作对象为工人需要操作的设备，操作方式为工人对操作的设备执行的操作，操作语音为工人需要发出的口令等等。

当预设流程中包括多个操作步骤时，根据操作步骤的顺序，每次对其中的一个操作步骤进行判定，结束之后再切换到下一个操作步骤的判定流程。

可选的，在开始每个操作步骤的判定流程之前，可以语音播报当前的操作步骤的名称以及对应的工作内容，该工作内容由操作步骤对应的操作信息确定。通过语音播报，工人能够清晰的获知该操作步骤下需要执行的操作。例如在图3中，针对任意一个操作步骤，在获取该操作步骤对应的检测信息之前，主机设备33可以向扩音器34发送第一语音指令，通过第一语音指令控制扩音器34语音播报该操作步骤对应的操作信息，例如可以包括操作对象、操作方式、操作语音中的一个或多个，也可以播报该操作步骤需要注意的重点内容等等。

S43，对第一对象的操作步骤的过程进行采集，得到检测信息。

在S43中，以预设流程中的任意一个操作步骤的判定为例进行说明。

当操作步骤的判定流程开始之后，会对第一对象的操作步骤的过程进行采集，得到检测信息。

可选的，对第一对象的操作步骤的过程进行采集的设备为如图3中示意的头戴设备32，头戴设备32设置于第一对象的头部。由于检测信息中可能包括语音信息，因此头戴设备32中包括拾音器，拾音器用于获取第一对象的语音信息。由于检测信息中可能包括图像，因此头戴设备32中还包括摄像头，摄像头用于获取第一对象的图像信息。

在整个预设流程的判定过程中，拾音器是一直持续获取第一对象的音频流的，摄像头也是一直持续获取视频流的。针对任意一个操作步骤而言，针对该操作步骤的判定，则只需要根据该操作步骤对应的时段，从音频流中获取该操作步骤对应的语音信息，或者，从视频流中获取该操作步骤对应的至少一张图像。

在操作步骤对应的操作信息包括操作语音的情况下，操作步骤对应的检测信息包括拾音器获取的语音信息。在操作步骤对应的操作信息包括操作对象和/或操作方式的情况下，操作步骤对应的检测信息包括摄像头获取的至少一张图像。

S44，确定操作步骤对应的检测结果。

在确定了检测信息之后，就可以进一步确定操作步骤对应的检测结果。具体的，针对任意一个操作步骤，可以先确定操作步骤对应的操作信息中包括的内容，然后根据操作信息中包括的内容，对操作信息和操作步骤对应的检测信息进行匹配处理，得到对应的检测结果。

例如，在操作信息中包括操作对象和/或操作方式的情况下，需要检测的是第一对象在操作的设备以及对应的操作方式，此时的检测信息应当是至少一张图像；在操作信息中包括操作语音的情况下，需要检测的是第一对象应该发出的语音口令，此时的检测信息应当是语音信息。下面将分别针对这两种情况下的检测结果的获取进行说明。

在操作信息中包括操作语音的情况下，对应的检测信息应当是拾音器获取的语音信息。由于此时是需要判定第一对象是否按照要求说出相应的语音口令，因此，首先获取该操作步骤中的语音信息，并对该语音信息进行识别，得到第一信息。同时，获取该操作语音中对应的第二信息，并判断第一信息中是否包括第二信息。如果第一信息中包括第二信息，则表示第一对象按照要求说出了相应的语音口令，可以确定检测结果为第一检测结果，第一检测结果指示第一对象的操作步骤正确；如果第一信息中不包括第二信息，则表示第一对象没有按照要求说出相应的语音口令，可以确定检测结果为第二检测结果，第二检测结果指示第一对象的操作步骤错误。

其中，对语音信息进行的识别可以是直接进行语音识别，也可以是根据语音信息进行文本识别，即可以将语音信息进行语音转文本处理，得到该语音信息对应的第一文本信息。在对语音信息进行的识别为语音识别的情况下，第一信息为一个语音信息，操作语音对应的第二信息也是一个语音信息。在对语音信息进行的识别为文本识别的情况下，第一信息为一个文本信息，操作语音对应的第二信息也是一个文本信息。

例如，操作语音为“开启设备A”，则该操作步骤要求第一对象发出“开启设备A”的语音指令。获取该操作步骤对应的时段内的语音信息，并识别该语音信息中是否包括“开启设备A”这一语音指令，其中，语音信息中可以包括其他的语音，只要在该操作步骤对应的时段内发出“开启设备A”的语音指令，就可以认为第一对象按照规范要求完成了这一操作步骤，其操作步骤正确。

以对语音信息进行的识别为文本识别为例，第二信息为文本“开启设备A”，则当第一信息为文本“开启设备A”、“现在开启设备A”、“开启设备A了”等等时，均认为第一信息中包括第二信息，检测结果为第一检测结果，当第一信息为文本“开启”、“开启设备”、“开启设备B”等等时，均认为第一信息中不包括第二信息，检测结果为第二检测结果。

在操作信息中包括操作对象和操作方式的情况下，该操作步骤需要判定的是第一对象是否按照规定的操作方式对操作对象进行操作。因此，对该操作步骤的判定包括两步，第一步是判断第一对象是否在操作该操作对象，第二步是判断第一对象是否按照对应的操作方式来操作。

针对第一步，判断第一对象是否在操作该操作对象。由于第一对象戴着头戴设备来获取图像的，头戴设备的采集范围与第一对象的工作范围基本一致，因此，只需要获取该操作步骤对应的时段内的图像，并对图像进行判断即可。

具体的，可以对该操作步骤对应的时段内的图像集合进行图像识别，得到至少一个对象，该图像集合中包括至少一张图像。然后判断该至少一个对象中是否包括该操作对象。如果该至少一个对象中包括该操作对象，则可以根据这图像集合确定第一对象操作该操作对象的第一方式，并根据第一方式和操作方式确定该操作步骤对应的检测结果。如果该至少一个对象中不包括该操作对象，则表明第一对象根本没有操作该操作对象，也就不存在以何种方式来操作该操作对象，此时确定该操作步骤对应的检测结果为第二检测结果，指示第一对此的操作步骤错误。

图5为本申请实施例提供的图像识别示意图，以操作对象为轮胎，操作方式为卸轮胎为例，图像51为该操作步骤中的图像集合中的图像。图像集合中可以包括一张或多张图像，在图5中以图像集合中包括一张图像51为例进行说明。如图5所示，首先对图像51进行图像识别，得到至少一个对象。

对图像51进行图像识别可以通过神经网络模型来完成。在此之前，需要根据多组训练样本来训练神经网络模型，其中，每组训练样本中包括一张样本图像和对应的标记数据，样本图像中可能包括该操作对象，也可能不包括该操作对象，标记数据为对样本图像中的操作对象进行标记后的得到的数据。如果样本图像中包括该操作对象，则对应的标记数据中会标记该操作对象的大小、形状、位置和名称等信息；如果样本图像中不包括操作对象，则对应的标记数据中不包括上述信息。

针对任意一组训练样本，可以将样本图像输入至神经网络模型中，得到输出的识别图像，然后根据识别图像和标记图像之间的差别，调整神经网络模型中的参数。对每一组训练样本，均进行上述处理，不断调整神经网络模型，直至神经网络模型收敛，得到训练完成的神经网络模型。训练完成的神经网络模型具备对操作对象进行识别的能力，此时将图像51输入至训练完成的神经网络模型，就可以识别其中的操作对象。

对图像51进行图像识别后，可以得到对象52，其中，对象52即为轮胎，此时表明图像51中包括操作对象。如果在图像51中识别不出该操作对象，则表示第一对象没有执行相应的操作，第一对象的操作步骤错误。

若图像集合中包括多张图像，针对每张图像进行图像识别，可以得到一个或多个对象。当在图像集合中任意一张图像的图像识别结果均不包括操作对象时，表示第一对象没有执行相应的操作，第一对象的操作步骤错误。

例如在第一对象执行卸载轮胎的操作时，对应的图像中可以识别出轮胎，还可能识别出车辆，当第一对象卸载轮胎完成时，由于轮胎卸载完成，对应的图像中可能识别不出轮胎，即不同的图像中识别出的对象可能不同。但是只要第一对象执行卸载轮胎这一步骤，则在图像集合中至少有一张图像中包括轮胎。因此，如果图像集合中没有任何图像中包括轮胎，则表示第一对象没有执行卸载轮胎这一操作。

可选的，对图像51进行图像识别时，可以只要在图像51上识别出操作对象就认为第一对象在操作该操作对象，也可以进一步获取操作对象在图像51上的位置，并判断操作对象在图像51上的位置是否在预设范围内。如果超出预设范围，例如在图像51的边缘位置，此时也可以认为第一对象没有在操作该操作对象，第一对象的操作步骤错误。

在图像中包括操作对象的情况下，需要进一步判断对应的操作方式。具体的，分别对图像集合中的每张图像进行图像识别，得到每张图像对应的对象信息，然后根据每张图像对应的对象信息，确定第一对象操作的第一方式。

其中，对象信息可以包括操作对象与预设对象之间的位置关系，或者操作对象在图像中的位置，根据实际操作的不同，对象信息包括的内容可能不同。第一方式可以为操作对象与预设对象之间的第一位置关系，也可以为操作对象的第一运动轨迹，根据实际的对象信息确定。

其中，第一位置关系可以为操作对象与预设对象之间的位置范围，例如操作对象和预设对象的位置之间的距离，第一位置关系也可以是操作对象和预设对象之间的相对位置，如，如果操作步骤是工人用抹布擦拭某个设备，则此时预设对象为抹布，对象信息为该设备和抹布之间的位置关系，此时对应的第一方式为该设备和抹布之间的第一位置关系，此处的第一位置关系为操作对象和预设对象之间的相对位置，即抹布应该在该设备上。

第一运动轨迹为根据图像集合中识别到的操作对象在各张图像中的位置以及各张图像的拍摄时间确定的轨迹。例如如果操作步骤是工人卸轮胎，则此时对象信息为轮胎在图像中的位置，第一方式为轮胎的第一运动轨迹。

在确定了第一方式后，可以根据第一方式和操作方式确定检测结果。其中，该操作方式包括操作对象与预设对象之间的第二位置关系和/或操作对象的第二运动轨迹。

具体的，若操作方式包括第二位置关系，可以将第一位置关系和第二位置关系进行匹配处理，得到第一匹配结果，并根据第一匹配结果，得到该检测结果。

或者，若操作方式包括第二运动轨迹，可以将第一运动轨迹与第二运动轨迹进行匹配处理，得到第二匹配结果，并根据第二匹配结果，得到该检测结果。

或者，若操作方式包括第二位置关系和第二运动轨迹，可以将第一位置关系与第二位置关系进行匹配处理，得到第一匹配结果，将第一运动轨迹与第二运动轨迹进行匹配处理，得到第二匹配结果，并根据第一匹配结果和第二匹配结果，得到该检测结果。

下面以第一方式为操作对象的第一运动轨迹，操作方式为操作对象的第二运动轨迹为例进行说明。图6为本申请实施例提供的确定检测结果的示意图，如图6所示，其中操作对象为轮胎，执行的操作步骤为卸轮胎。

可以对多张图像进行图像识别，识别出轮胎在每张图像中的位置，并根据每张图像的时间先后顺序，得到轮胎的第一运动轨迹，如图6中示意的轨迹61。

卸轮胎需要将轮胎从一个位置移到另一位置，第二运动轨迹为轨迹62，其中，轨迹62可以设定为一个轨迹范围，若轨迹61在该轨迹范围内，认为检测结果为第一对象操作步骤正确，反之则认为第一对象操作步骤错误。在图6中，轨迹61位于轨迹62设定的轨迹范围内，此时认为第一对象操作步骤正确。

在上述实施例中，分别介绍了操作信息包括的内容不同时，如何对操作步骤的检测结果进行判定。在得到操作步骤的检测结果之后，可以进行记录。进一步的，在一个操作步骤对应的检测结果确定后，主机设备还可以向扩音器发送第二语音指令，控制扩音器播报该操作步骤对应的检测结果，以使得第一对象获知自身的操作合规或者不合规。可选的，对于一些需要现场提醒的操作步骤，也可以进行现场提醒。例如，若检测结果指示第一对象的操作步骤错误，主机设备可以向扩音器发送语音提醒指令，控制扩音器语音播报第一对象的操作步骤错误，以提醒第一对象进行及时的纠正。

S45，判定预设流程中的所有操作步骤是否均判定完毕，若是，则执行S46，若否，则执行S47。

S43-S44为针对任意一个操作步骤的判定流程，当一个操作步骤的判定流程结束之后，需要判断预设流程中的所有操作步骤是否均判定完毕。

S46，存储每个操作步骤对应的检测结果。

当预设流程中的所有操作步骤均判定完毕后，需要存储每个操作步骤对应的检测结果。具体的，主机设备可以从头戴设备获取第一视频，第一视频为对第一对象在每个操作步骤下执行的操作进行拍摄得到的，记录了第一对象执行完整的工作流程的过程。

然后，根据每个操作步骤对应的检测结果对第一视频进行标记处理，生成第二视频。第二视频中，针对不同的操作步骤，根据操作步骤执行的时间段对其进行了检测结果的标记。存储第二视频后，可以方便后期对该第一对象的各个操作步骤进行回看，并查到对其检测结果判定的依据。

S47，切换至下一操作步骤的判定流程，并执行S43。

如果预设流程中的操作步骤没有判定完毕，则可以切换至下一操作步骤的判定流程。其中，切换的触发，可以是第一对象主动触发，例如第一对象可以通过主机设备上的按键触发，也可以通过语音触发。切换的触发，也可以是主机设备自动触发，例如，主机设备为某个操作步骤设定了最大执行时间段，超过该最大执行时间段后，无论第一对象执行该操作步骤的检测结果如何，均自动切换至下一操作步骤的判定流程。

本申请实施例提供的数据处理方法，首先获取预设流程，该预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，操作信息包括操作对象、操作方式和操作语音中的至少一种，通过操作信息能够获知每个操作步骤需要第一对象如何进行完成。然后，获取操作步骤对应的检测信息，检测信息为第一对象执行操作步骤时传感器采集到的，根据操作步骤对应的操作信息和对应的检测信息，就可以确定操作步骤对应的检测结果，获知第一对象的操作步骤正确还是错误。本申请实施例的方案，无需人工对第一对象的工作过程进行监督，而是通过传感器对第一对象的操作步骤进行采集，并将其与对应的操作信息进行比较，得到第一对象的操作步骤的检测结果，无需消耗大量人力资源，效率较高。

图7为本申请实施例提供的一种数据处理装置的结构示意图，如图7所示，包括：

第一获取模块71，用于获取预设流程，所述预设流程中包括至少一个操作步骤和每个操作步骤对应的操作信息，所述操作信息包括如下至少一种：操作对象、操作方式、操作语音；

第二获取模块72，用于获取操作步骤对应的检测信息，所述检测信息为传感器对第一对象采集得到的，所述检测信息包括语音信息或至少一张图像；

处理模块73，用于根据操作步骤对应的操作信息和检测信息，确定操作步骤对应的检测结果，所述检测结果用于指示所述第一对象的操作步骤正确或者错误。

在一种可能的实施方式中，所述处理模块73具体用于：

针对所述至少一个操作步骤中的任意一个操作步骤，确定所述操作步骤对应的操作信息中包括的内容；

根据所述操作信息中包括的内容，对所述操作信息和所述操作步骤对应的检测信息进行匹配处理，得到所述检测结果。

在一种可能的实施方式中，所述操作信息中包括所述操作语音；所述处理模块73具体用于：

对所述检测信息中的语音信息进行识别，得到第一信息；

获取所述操作语音对应的第二信息；

若所述第一信息中包括所述第二信息，确定所述检测结果为第一检测结果，所述第一检测结果用于指示所述第一对象的操作步骤正确；

若所述第一信息中不包括所述第二信息，确定所述检测结果为第二检测结果，所述第二检测结果用于指示所述第一对象的操作步骤错误。

在一种可能的实施方式中，所述操作信息中包括所述操作对象和操作方式；所述处理模块73具体用于：

对所述检测信息中的图像集合进行图像识别，得到至少一个对象，所述图像集合中包括至少一张图像；

若所述至少一个对象中包括所述操作对象，根据所述图像集合确定所述第一对象操作所述操作对象的第一方式，并根据所述第一方式和所述操作方式，确定所述检测结果；

若所述至少一个对象中不包括所述操作对象，确定所述检测结果为第二检测结果，所述第二检测结果用于指示所述第一对象的操作步骤错误。

在一种可能的实施方式中，所述处理模块73具体用于：

分别对所述图像集合中的每张图像进行图像识别，得到每张图像对应的对象信息，所述对象信息包括如下至少一种：所述操作对象与预设对象之间的位置关系、或者所述操作对象在所述图像中的位置；

根据每张图像对应的对象信息，确定所述第一方式，所述第一方式中包括所述操作对象与所述预设对象之间的第一位置关系和/或所述操作对象的第一运动轨迹。

在一种可能的实施方式中，所述操作方式包括所述操作对象与所述预设对象之间的第二位置关系和/或所述操作对象的第二运动轨迹；所述处理模块73具体用于：

将所述第一位置关系与所述第二位置关系进行匹配处理，得到第一匹配结果，并根据所述第一匹配结果，得到所述检测结果；或者，

将所述第一运动轨迹与所述第二运动轨迹进行匹配处理，得到第二匹配结果，并根据所述第二匹配结果，得到所述检测结果；或者，

将所述第一位置关系与所述第二位置关系进行匹配处理，得到第一匹配结果；将所述第一运动轨迹与所述第二运动轨迹进行匹配处理，得到第二匹配结果；并根据所述第一匹配结果和所述第二匹配结果，得到所述检测结果。

在一种可能的实施方式中，所述第一获取模块71具体用于：

获取控制指令，所述控制指令为按键控制指令或者语音控制指令；

根据所述控制指令，获取所述预设流程。

在一种可能的实施方式中，所述传感器为设置于所述第一对象的头部的头戴设备，所述头戴设备包括拾音器和摄像头；所述第二获取模块72具体用于：

从所述拾音器获取音频流，根据所述音频流和操作步骤对应的时段，获取所述操作步骤对应的语音信息；或者，

从所述摄像头获取视频流，根据所述视频流和操作步骤对应的时段，获取所述操作步骤对应的至少一张图像。

在一种可能的实施方式中，针对任意一个操作步骤，所述处理模块73还用于，在获取所述操作步骤对应的检测信息之前：

向扩音器发送第一语音指令，所述第一语音指令用于控制所述扩音器播报所述操作步骤对应的操作信息。

在一种可能的实施方式中，针对任意一个操作步骤，所述处理模块73还用于，在确定所述操作步骤对应的检测结果之后：

向扩音器发送第二语音指令，所述第二语音指令用于控制所述扩音器播报所述操作步骤对应的检测结果。

在一种可能的实施方式中，所述处理模块73还用于：

获取第一视频，所述第一视频为对所述第一对象在每个操作步骤下执行的操作进行拍摄得到的；

根据所述每个操作步骤对应的检测结果对所述第一视频进行标记处理，生成第二视频。

本申请实施例提供的装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本申请实施例提供的主机设备的硬件结构示意图，如图8所示，该主机设备包括：至少一个处理器81和存储器82。其中，处理器81和存储器82通过总线83连接。

可选地，该模型确定还包括通信部件。例如，通信部件可以包括接收器和/或发送器。

在具体实现过程中，至少一个处理器81执行所述存储器82存储的计算机执行指令，使得至少一个处理器81执行如上的数据处理方法。

处理器81的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

在上述图8所示的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

图9为本申请实施例提供的一种数据处理系统的结构示意图，如图9所示，包括头戴设备91和主机设备92，其中：

所述头戴设备91设置于第一对象的头部，用于对所述第一对象进行采集，得到预设流程中的每个操作步骤对应的检测信息，并向所述主机设备发送所述检测信息；

所述主机设备92用于获取所述检测信息，并执行如上所述的数据处理方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的数据处理方法。

上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。

所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。