一种基于智能设备的协同式人机交互控制方法

技术领域

本发明涉及人机交互技术领域，特别涉及一种基于智能设备的协同式人机交互方法。

背景技术

虚拟现实(简称VR)是一门具有前沿性的多学科交叉的研究方向，综合了计算机图形技术、计算机仿真技术、传感器技术、显示技术等多种科学技术，在多维信息空间上创建一个虚拟信息环境，能使用户具有身临其境的沉浸感，具有与环境完善的交互能力，并有助于启发构思。一个完整的虚拟现实系统，主要由模拟环境系统、感知系统、人机交互系统和传感设备等若干子系统组成。人机交互系统是指人产生的一切行为动作的数据，通过系统自动分析与处理，再实时响应生成内容并反馈到人的各种感官器官上；传感设备主要是在虚拟现实应用中用到的各种交互设备和传感器，比如位置、速度、温度等。人机交互、人机互动(简称HCI或HMI)，是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机软件。

随着现代机电产品和装备的复杂性逐渐增长，保障费用和维修费用大幅增长，维修工作对保持机电产品和装备的完好性和可用性起着非常重要的作用。因此，复杂产品和装备的维修问题引起了工业界的重视。传统装备的维修训练、实施、评估和验证工作通常都是在实际装备上进行。

以虚拟现实为基础进行维修操作，为解决大型装备的维修训练难题提供了有效途径。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于智能设备的协同式人机交互控制方法。

为了达到上述发明目的，本发明采用的技术方案为：

本公开提供一种基于智能设备的协同式人机交互方法，包括以下步骤：

检测系统检测到至少一个设备发生故障后进行故障诊断并将诊断信息发送至服务器进行处理，所述服务器根据所述诊断信息生成维修方案发送至客户端虚拟维修平台进行共享；

至少一个维修人员通过所述客户端向所述服务器发送注册登录或登录信息，登陆成功后选择维修请求信息进入所述虚拟维修平台，选择虚拟场景及虚拟场景中的维修对象；

所述维修人员穿戴可穿戴设备进行维修操作，所述可穿戴设备实时采集所述维修人员的维修动作并上传至所述服务器，所述服务器对所述维修人员的实时操作信息进行分析和处理后，将其转换为虚拟虚拟场景中虚拟手模型的虚拟维修操作信息；

当有多个维修人员登陆虚拟维修平台对同一故障进行协同维修时，所述虚拟维修平台获取所述多个维修人员与维修对象、维修资源之间的交互行为信息，将所述交互行为信息对所述多个维修人员进行共享并对多个维修人员之间的协同配合进行控制和管理；

判断维修作业是否完成，当维修作业完成后退出当前虚拟场景，结束维修交互过程；

其中，所述虚拟维修平台通过所述服务器、所述客户端、所述可穿戴设备和虚拟现实设备搭建；通过对所述设备所处的环境信息进行网格化重构，生成所述虚拟场景并保存至服务器，所述虚拟场景中包括至少一个维修对象和至少一个维修资源；

所述可穿戴设备包括：数据手套、空间位置追踪设备、立体眼镜。

本公开的一实施例中，还包括：

结束维修交互过程后对所述维修人员的维修操作过程质量、多个维修人员的协同配合程度进行分析和评价。

本公开的一实施例中，还包括：

结束维修交互过程后将所述维修交互过程上传至所述服务器作为历史维修数据进行保存，所述维修人员可在历史维修记录中对所述历史维修数据进行调用学习。

本公开的一实施例中，还包括:

至少一个参观者通过客户端向服务器发送注册登录或登录信息，登陆成功后选择观看请求信息进入所述虚拟维修平台，选择虚拟场景和虚拟场景中的维修对象对维修人员的虚拟维修操作进行参观。

本公开的一实施例中，所述参观者可通过语音设备与所述维修人员进行互动。

本公开的一实施例中，所述维修方案中包括维修处理步骤和维修对象中各个零部件的大小、形状、材质、重量及相应的搬运力和拆装力的大小。

本公开的一实施例中，所述虚拟手的模型通过3DS MAX软件、编程软件和图形接口软件来建立并数据手套进行信息交互。

本公开的一实施例中，所述数据手套与所述空间位置追踪设备电连接，所述数据手套通过传感器实时采集所述维修人员各手指关节部位的运动数据，所述空间位置追踪设备获取所述维修人员的手部空间移动信息，通过所述运动数据和所述空间移动信息将所述维修人员的手姿态实时传递给所述虚拟场景中的所述虚拟手。

本公开的一实施例中，所述数据手套还用于接收所述虚拟手与所述维修对象的接触信息。

本公开的一实施例中，通过异构数据信息映射转换、时间同步和信息补偿技术提高维修人员与虚拟场景交互时的一致性。

本公开的有益效果为：

维修人员通过穿戴可穿戴设备可在虚拟维修平台上对设备的故障进行虚拟维修操作体验，并可模拟实现与其他维修人员的之间的交互，不消耗现实资源和能量，缩短维修训练时间，降低维修训练成本，增强了虚拟操作训练的效果，对推动数字化维修和维修训练技术的发展具有重要的意义。

附图说明

图1为本发明中基于智能设备的协同式人机交互方法步骤流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

本发明实施例中提供了一种基于智能设备的协同式人机交互方法，可以包括以下步骤：

步骤S101：检测系统检测到至少一个设备发生故障后进行故障诊断并将诊断信息发送至服务器进行处理，所述服务器根据所述诊断信息生成维修方案发送至客户端虚拟维修平台进行共享；

步骤S102：至少一个维修人员通过所述客户端向所述服务器发送注册登录或登录信息，登陆成功后选择维修请求信息进入所述虚拟维修平台，选择虚拟场景及虚拟场景中的维修对象；

步骤S103：所述维修人员穿戴可穿戴设备进行维修操作，所述可穿戴设备实时采集所述维修人员的维修动作并上传至所述服务器，所述服务器对所述维修人员的实时操作信息进行分析和处理后，将其转换为虚拟虚拟场景中虚拟手模型的虚拟维修操作信息；

步骤S104：当有多个维修人员登陆虚拟维修平台对同一故障进行协同维修时，所述虚拟维修平台获取所述多个维修人员与维修对象、维修资源之间的交互行为信息，将所述交互行为信息对所述多个维修人员进行共享并对多个维修人员之间的协同配合进行控制和管理；

步骤S105：判断维修作业是否完成，当维修作业完成后退出当前虚拟场景，结束维修交互过程；

其中，所述虚拟维修平台通过所述服务器、所述客户端、所述可穿戴设备和虚拟现实设备搭建；通过对所述设备所处的环境信息进行网格化重构，生成所述虚拟场景并保存至服务器，所述虚拟场景中包括至少一个维修对象和至少一个维修资源；

所述可穿戴设备包括：数据手套、空间位置追踪设备、立体眼镜。

上述方法中，维修人员通过穿戴可穿戴设备可在虚拟维修平台上对设备的故障进行虚拟维修操作体验，并可模拟实现与其他维修人员的之间的交互，不消耗现实资源和能量，缩短维修训练时间，降低维修训练成本，增强了虚拟操作训练的效果，对推动数字化维修和维修训练技术的发展具有重要的意义。

下面，将参考图1对本示例实施方式中的各个部分进行更详细的说明。

具体的，在步骤S101中，当检测系统检测到至少一个设备发生故障后，对设备的故障进行诊断并将诊断信息发送至服务器中进行处理，所述服务器中存储有故障信息库，所述故障信息库中包括多种故障类型及与所述故障类型对应的故障维修方案，所述服务器根据所述争端信息匹配故障信息库中的故障类型，从而生成所述故障类型对应的维修方案，并将所述维修方案发送至客户端的虚拟维修平台上共享。

在步骤S102中，想要或需要进行维修训练的维修人员通过所述客户端向所述服务器发送注册登录或登录信息，在登陆成功后选择请求维修信息进入所述虚拟维修平台，进入后选择所需的虚拟场景及想要进行维修的维修对象；所述虚拟场景中可以包括多个维修对象，虚拟维修平台也可以包括多个虚拟场景，当某个维修对象所需的维修人员个数足够后，该维修对象会进行锁定，不能再被其他维修人员选取，当某个虚拟场景中的多个维修对象均已被足够人数的维修人员选择，则该虚拟场景锁定，不能再被其他维修人员选择。

在步骤S103中，维修人员穿戴可穿戴设备后开始进行维修操作，可穿戴设备通过实时采集所述维修人员的维修动作并实时上传至所述服务器，所述服务器对所述维修人员的实时操作信息进行分析及处理后使其在虚拟场景中的虚拟手模型上进行体现。

在步骤S104中，当同一个维修对象有多个维修人员进行交互配合维修时或同一个虚拟场景中有多个维修人员进行交互配合维修时，虚拟维修平台实时获取所述多个维修人员与维修对象、维修资源之间的交互行为信息显示在虚拟虚拟场景中，所述虚拟平台上还可以有语音交互单元，使得多个维修人员可语音进行沟通和维修行为分别配，提高维修的效率，所述维修资源包括多个维修工具，如扳手、千斤顶、钢锯等，当然并不限于此。

在步骤S105中，判断未丢作业是否完成可以是当维修人员结束维修操作选择后或虚拟维修平台检测到维修方案已完成后，当维修作业完成后退出当前虚拟场景结束维修交互过程。

所述虚拟维修平台通过所述服务器、所述客户端、所述可穿戴设备和虚拟现实设备搭建；通过对所述设备所处的环境信息进行网格化重构，生成所述虚拟场景并保存至服务器，所述虚拟场景中包括至少一个维修对象和至少一个维修资源；

所述可穿戴设备可以包括：数据手套、空间位置追踪设备、立体眼镜，当然还可以包括其他可穿戴设备，当然并不限于此。

本公开的一实施例中，还可以包括：结束维修交互过程后对所述维修人员的维修操作过程质量、多个维修人员的协同配合程度进行分析和评价。具体的，结束维修交互过程后对维修人员的操作过程质量如维修效率、维修动作标准程度等进行分析评价，多个维修人员时还可对多个维修人员的配合熟练度进行分析评价，根据评价结果可对维修人员进行打分，分数高于预设值的维修人员可认为其合格，可以允许进行实体设备的维修操作。

本公开的一实施例中，还可以包括：结束维修交互过程后将所述维修交互过程上传至所述服务器作为历史维修数据进行保存，所述维修人员可在历史维修记录中对所述历史维修数据进行调用学习。将所述历史维修数据进行保存，维修人员可进行调用，对历史维修的过程进行复习。

本公开的一实施例中，还可以包括:至少一个参观者通过客户端向服务器发送注册登录或登录信息，登陆成功后选择观看请求信息进入所述虚拟维修平台，选择虚拟场景和虚拟场景中的维修对象对维修人员的虚拟维修操作进行参观。具体的，所述参观者可以是当前不能参与虚拟维修训练的维修人员，也可以是维修指导老师。

本公开的一实施例中，所述参观者可通过语音设备与所述维修人员进行互动。具体的，当参观者是维修指导老师时，可通过语音对虚拟维修过程进行指导。

本公开的一实施例中，所述维修方案中还可以包括维修处理步骤和维修对象中各个零部件的大小、形状、材质、重量及相应的搬运力和拆装力的大小。

本公开的一实施例中，所述虚拟手的模型通过3DS MAX软件、编程软件和图形接口软件来建立并数据手套进行信息交互。具体的，数据手套测得的人手数据后利用3DS MAX软件映射到虚拟场景中简历虚拟手的模型。

本公开的一实施例中，所述数据手套与所述空间位置追踪设备电连接，所述数据手套通过传感器实时采集所述维修人员各手指关节部位的运动数据，所述空间位置追踪设备获取所述维修人员的手部空间移动信息，通过所述运动数据和所述空间移动信息将所述维修人员的手姿态实时传递给所述虚拟场景中的所述虚拟手。

本公开的一实施例中，所述数据手套还用于接收所述虚拟手与所述维修对象的接触信息。大大增强了维修人员的互动性和沉浸感，所述数据手套可以是力反馈数据手套，当然并不限于此。

本公开的一实施例中，通过异构数据信息映射转换、时间同步和信息补偿技术提高维修人员与虚拟场景交互时的一致性。

智能构建仿真虚拟场景，解决了现有操作难以动态反应维修方案的问题，在虚拟环境中创造一个可控制的虚拟世界，使用户借助化身进入虚拟世界中，体验操作的经历，通过客户端实现多个场景对象之间的联系，实现一个虚拟社区，现有的虚拟设备大多都是与空气进行交互，不能给操作者更为真实的实操体验，数据手套通过传感器，给用户提供操作过程中的触觉体验，更加真实；通过客户端获取、分析、处理和发送操作输入数据信息，并接收故障维修仿真模块和三维立体视景仿真模块的数据信息和状态更新，设备接收到用户输入的请求指令，响应该指令并执行对应动作，实现与其他场景用户之间的数据通信和交互控制；采用虚拟现实交互相结合，不消耗现实资源和能量，缩短维修训练时间，降低维修训练成本，增强了虚拟操作训练的效果；对推动数字化维修和维修训练技术的发展具有重要的意义。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由所附的权利要求指出。