一种虚实结合和人机交互的水下遥控机器人机械手作业系统及方法

技术领域

本发明涉及的是一种水下机器人机械手的控制方法，具体地说，是一种虚实结合和人机交互的水下遥控机器人机械手作业系统及方法，应用于深海作业的水下遥控机器人(Remotely Operated Vehicle，简称ROV)机械手的一种控制作业。

背景技术

近些年，随着对海洋资源的开发力度逐渐加大，水下机器人被广泛应用于水下工程、海洋油气资源开发、深海生物及矿物调查、深海打捞等水下作业中。水下机器人种类很多，但作业型水下机器人绝大多数都是ROV(Remotely Operated Vehicle)，其机器人本体舱体上搭载机械手作为通用作业工具。目前，ROV机械手的操控作业方式由位于母船上的操作人员根据脐带缆传输上来的视频图像进行遥控操作，操控作业方式有开关式和主从式两种。目前广泛采用的是主从式，它由主手和从手组成，主手是母船上操作人员手中的运动控制器，从手是水中的作业机械手。一般主手是从手的缩小比例模型，其上每个关节与从手一一对应，以方便对从手相应关节的操作。这种主从遥控作业方式只注重控制功能的实现，存在操作时需要操作员特别集中精力，通常让操作员感觉疲劳紧张，作业效率和作业精度降低等问题。

发明内容

针对目前水下遥控机器人(ROV)机械手作业方法存在的不足，本发明的目的在于提供一种虚实结合和人机交互的水下遥控机器人机械手作业系统及方法。本发明的水下遥控机器人机械手操作方法采用虚实结合和人机交互的思想，降低了操作人员的操作难度，提高了作业效率和作业精度。

为了实现上述目的，本发明的作业方法构思是：

(1)计算机中构造一个与水下实体机械手完全相同的虚拟机械手，并显示在屏幕上，供操作者作业时观看；水下实体机械手将其关节实际角度数据通过脐带缆发送给计算机，计算机接收到实体机械手关节角度数据后，将屏幕上显示的虚拟机械手关节角度改变为与实体机械手关节完全一致的状态。

(2)操作者看着屏幕上的虚拟机械手，利用其手臂、手抓，对虚拟机械手发出前后伸缩、左右移动、手抓抓握的动作指令，计算机利用三维体感相机捕捉到操作者手臂、手抓的肢体动作，将其动作意图反映到屏幕上的虚拟机械手上，引起虚拟机械手的前后伸缩、左右移动、手抓抓握动作，并引起虚拟机械手关节角度的改变。同时，计算机通过脐带缆将虚拟机械手的关节角度数据发给水下实体机械手，使得水下实体机械手关节转动，实现水下机械手的前后伸缩、左右移动、抓手抓握动作。考虑到水下实际环境有可能限制实体机械手的运动，水下实体机械手将其实际关节转动角度数据通过脐带缆反馈给计算机，计算机接收到实体机械手关节状态数据后，将虚拟机械手关节角度修正为与实体机械手关节一致的状态。

(3)操作者看着屏幕上的虚拟机械手，根据作业任务需要，继续对屏幕上虚拟机械手发出肢体交互指令，水下实体机械手继续将关节实际转角数据发给计算机，计算机继续对虚拟机械手关节状态进行修正。

(4)上述过程重复进行，直到完成机械手作业任务。

根据上述构思，本发明采用下述技术方案：

一种虚实结合和人机交互的水下遥控机器人机械手作业系统，包括母船、计算机、显示器、三维体感相机、水下机器人及机械手、脐带缆。其中，计算机、显示器、三维体感相机置于母船作业舱内，水下机器人及机械手通过脐带缆在水下作业环境中。三维体感相机置于操作者的头部上方，用于捕捉操作者手臂、手抓的肢体动作；显示器用来显示计算机生成的虚拟机械手；计算机捕捉操作者的肢体动作获得操作者的作业意图，并通过虚拟机械手显示在屏幕上，供操作者观作业时观看，计算机将虚拟机械手关节角度通过脐带缆发给对水下实体机械手，驱动水下机械手关节转动，水下实体机械手通过脐带缆将实际关节转角反馈给计算机，让计算机对虚拟机械手关节状态进行实时修正，达到两者一致；脐带缆用来传输计算机和水下机械手之间的命令和数据。

优选地，所述虚实结合和人机交互的水下遥控机器人机械手作业系统，具体如下：

(1)所述计算机中构造一个与水下实体机械手完全相同的虚拟机械手，并显示在屏幕上，供操作者作业时观看；水下实体机械手将其关节实际角度数据通过脐带缆发送给计算机，计算机接收到实体机械手关节角度数据后，将屏幕上显示的虚拟机械手关节角度改变为与实体机械手关节完全一致的状态；

(2)所述操作者看着屏幕上的虚拟机械手，利用其手臂、手抓，对虚拟机械手发出前后伸缩、左右移动、手抓抓握的动作指令，计算机利用三维体感相机捕捉到操作者手臂、手抓的肢体动作，将其动作意图反映到屏幕上的虚拟机械手上，引起虚拟机械手的前后伸缩、左右移动、手抓抓握动作，并引起虚拟机械手关节角度的改变；同时，计算机通过脐带缆将虚拟机械手的关节角度数据发给水下实体机械手，使得水下实体机械手关节转动，实现水下机械手的前后伸缩、左右移动、抓手抓握动作；考虑到水下实际环境有可能限制实体机械手的运动，水下实体机械手将其实际关节转动角度数据通过脐带缆反馈给计算机，计算机接收到实体机械手关节状态数据后，将虚拟机械手关节角度修正为与实体机械手关节一致的状态；

(3)所述操作者看着屏幕上的虚拟机械手，根据作业任务需要，继续对屏幕上虚拟机械手发出肢体交互指令，水下实体机械手继续将关节实际转角数据发给计算机，计算机继续对虚拟机械手关节状态进行修正。

一种虚实结合和人机交互的水下遥控机器人机械手作业方法，采用上述本发明系统实现对水下机械手的作业控制，具体操作步骤为：

第一步：打开设备，包括计算机、显示屏、三维体感相机、水下实体机械手，确保设备正常，显示屏上显示有与水下实体机械手完全一致的三维图形，作为虚拟机械手。

第二步：操作者位于母船作业舱内，眼睛看着屏幕上的虚拟机械手，根据作业任务，做出手臂伸缩、左右移动、抓手抓握等作业意图，位于操作者头部上方的三维体感相机采集操作者手臂、手抓动作数据。

第三步：将操作者的手臂、手抓运动数据传输给计算机，并做一定的滤波处理、分析等，计算机接收操作者对机械手发出的前后伸缩、左右移动、手抓抓握的作业意图指令，控制屏幕上的虚拟机械手作出关节改变，同时通过脐带缆将虚拟机械手关节角度发送给水下实体机械手，驱动实体机械手相应关节的转动。

第四步：水下实体机械手将关节实际转角数据通过脐带缆反馈给计算机，计算机根据接收到的水下实体机械手关节转角实际数据，修改屏幕上虚拟机械手关节状态，使虚拟机械手与实体机械手状态保持一致。

第五步：根据作业任务，重复前面第二步～第四步，直至完成作业任务。

本发明与现有技术相比，具有如下显而易见的突出的实质性特点和显著的优点：

1.本发明采用操作者手臂、手抓运动对虚拟机械手发出运动意图，通过虚拟机械手的视频输出，建立了操作者与虚拟机械手之间的双向交互关系，极大地方便了操作人员的操作，降低了操作控制难度，提高了操作控制效率；

2.本发明采用虚拟机械手与水下实体机械手结合的方法，将虚拟机械手的关节角度输出给实体机械手，驱动实体机械手关节的转动，同时，实体机械手关节将实际转动角度反馈给虚拟机械手，修正其关节角度状态，通过虚实结合，保证了作业精度。

附图说明

图1是本发明方法及作业系统结构示意图。

图2是本发明虚实结合和人机交互关系图。

具体实施方式

为了使本发明的技术方案更加清楚明白，以下优选实施例结合附图，对本发明进行进一步详细说明。

实施例一

参见图1和图2，本虚实结合和人机交互的水下遥控机器人机械手作业系统，包括母船、计算机、显示器、三维体感相机、水下机器人及机械手和脐带缆。其特征在于：所述计算机、显示器、三维体感相机置于母船作业舱内，水下机器人及机械手通过脐带缆置于水下作业环境中。三维体感相机置于操作者的头部上方，用于捕捉操作者手臂、手抓的肢体动作；显示器用来显示计算机生成的虚拟机械手；计算机捕捉操作者的肢体动作获得操作者的作业意图，并通过虚拟机械手显示在屏幕上，供操作者观作业时观看，计算机将虚拟机械手关节角度通过脐带缆发给对水下实体机械手，驱动水下机械手关节转动，水下实体机械手通过脐带缆将实际关节转角反馈给计算机，让计算机对虚拟机械手关节状态进行实时修正，达到两者一致；脐带缆用来传输计算机和水下机械手之间的命令和数据。

本实施例系统的水下遥控机器人机械手操作方法采用虚实结合和人机交互的思想，降低了操作人员的操作难度，提高了作业效率和作业精度。

实施例二

本实施例与实施例一基本相同，特别之处如下：

在本实施例中，一种虚实结合和人机交互的水下遥控机器人机械手作业系统，具体如下：

(1)所述计算机中构造一个与水下实体机械手完全相同的虚拟机械手，并显示在屏幕上，供操作者作业时观看；水下实体机械手将其关节实际角度数据通过脐带缆发送给计算机，计算机接收到实体机械手关节角度数据后，将屏幕上显示的虚拟机械手关节角度改变为与实体机械手关节完全一致的状态。

(2)所述操作者看着屏幕上的虚拟机械手，利用其手臂、手抓，对虚拟机械手发出前后伸缩、左右移动、手抓抓握的动作指令，计算机利用三维体感相机捕捉到操作者手臂、手抓的肢体动作，将其动作意图反映到屏幕上的虚拟机械手上，引起虚拟机械手的前后伸缩、左右移动、手抓抓握动作，并引起虚拟机械手关节角度的改变。同时，计算机通过脐带缆将虚拟机械手的关节角度数据发给水下实体机械手，使得水下实体机械手关节转动，实现水下机械手的前后伸缩、左右移动、抓手抓握动作。考虑到水下实际环境有可能限制实体机械手的运动，水下实体机械手将其实际关节转动角度数据通过脐带缆反馈给计算机，计算机接收到实体机械手关节状态数据后，将虚拟机械手关节角度修正为与实体机械手关节一致的状态。

(3)所述操作者看着屏幕上的虚拟机械手，根据作业任务需要，继续对屏幕上虚拟机械手发出肢体交互指令，水下实体机械手继续将关节实际转角数据发给计算机，计算机继续对虚拟机械手关节状态进行修正。

本实施例相同采用操作者手臂、手抓运动对虚拟机械手发出运动意图，通过虚拟机械手的视频输出，建立了操作者与虚拟机械手之间的双向交互关系，极大地方便了操作人员的操作，降低了操作控制难度，提高了操作控制效率。

实施例三：

本实施例与上述实施例基本相同，特别之处如下：

在本实施例中，一种虚实结合和人机交互的水下遥控机器人机械手作业方法，采用上述系统进行操作，其特征在于操作步骤包括：

第一步，打开设备，包括计算机、显示屏、三维体感相机、水下实体机械手，确保设备正常，显示屏上显示有与水下实体机械手完全一致的三维图形，作为虚拟机械手；

第二步，操作者位于母船作业舱内，眼睛看着屏幕上的虚拟机械手，根据作业任务，做出手臂伸缩、左右移动、抓手抓握等作业意图，位于操作者头部上方的三维体感相机采集操作者手臂、手抓动作数据；

第三步，将操作者的手臂、手抓运动数据传输给计算机，并做一定的滤波处理、分析等，计算机接收操作者对机械手发出的前后伸缩、左右移动、手抓抓握的作业意图指令，控制屏幕上的虚拟机械手作出关节改变，同时通过脐带缆将虚拟机械手关节角度发送给水下实体机械手，驱动实体机械手相应关节的转动；

第四步，水下实体机械手将关节实际转角数据通过脐带缆反馈给计算机，计算机根据接收到的水下实体机械手关节转角实际数据，修改屏幕上虚拟机械手关节状态，使虚拟机械手与实体机械手状态保持一致；

第五步，操作者根据作业任务，重复前面第二步～第四步，直至完成作业任务。

本发明采用虚拟机械手与水下实体机械手结合的方法，将虚拟机械手的关节角度输出给实体机械手，驱动实体机械手关节的转动，同时，实体机械手关节将实际转动角度反馈给虚拟机械手，修正其关节角度状态，通过虚实结合，保证了作业精度。

实施例四：

本实施例与上述实施例基本相同，特别之处如下：

在本实施例中，图1是本实施例的方法及作业应用示意图，数字编号1～9代表了本发明涉及的主要设备或场景，分别表示：1—水下实体机械手；2—水下机器人；3—脐带缆；4—母船舱内部场景；5—操作员；6—操作员上方的三维体感相机；7—显示器；8—虚拟机械手(在显示器屏幕上)；9—计算机；10—母船。其中，虚线框4表示母船10船舱内的作业场景，船舱内部场景4中的操作员5的手部运动数据由三维体感相机6获取，并传输给计算机9，借此表达作业意图；脐带缆3用于传输计算机9的控制数据以及水下实体机械手1的反馈数据。

图2是本发明涉及的虚实结合和人机交互关系图。本实施例所述的虚实结合指的是计算机屏幕上显示的虚拟机械手与水下实体机械手的结合，一方面计算机通过脐带缆将虚拟机械手关节角度数据发给水下实体机械手，驱动实体机械手关节的转动；另一方面水下实体机械手将实际关节转动角度数据通过脐带缆反馈给计算机，让计算机对虚拟机械手关节角度进行修正，使之与实体机械手保持一致。本发明所述的人机交互指的是操作者通过手臂、手抓肢体动作对屏幕上虚拟机械手动作意图的输入、屏幕上虚拟机械手作业动作的视频输出给操作者观看，以及操作者通过虚拟机械手与水下实体机械手之间的交互。

结合图1、图2，进一步阐述本实施例作业方法和具体步骤如下：

步骤一：作业前期准备。检查相关设备后，将水下机器人2与脐带缆3连接后，实体机械手1活动到默认初始位置，放入水下一定深度作业环境；将三维相机6调节至默认属性，操作员5于控制台前就位，将手臂、手掌置于三维相机6的视场内，高度与肩平齐，以确定手掌坐标系的初始原点位置。

步骤二：确定操作员的操作意图。操作员5的手臂及手掌位于三维相机6视场中，手臂、手掌肢体动作被计算机9通过三维体感相机6捕获，由计算机9分析计算出作业意图命令。

步骤三：通过操作员的手掌移动数据来控制机械手。在控制过程中，三维体感相机6始终跟踪操作员5的手掌在空间中的坐标，当手掌移动后，计算机9记录手掌的运动数据，并将数据反映到虚拟机械手8的关节转角上，再将虚拟机械手的关节转角通过脐带缆输出给水下实体机械手1，驱动实体机械手1相应关节的转动。

步骤四：数据反馈修正。实体机械手1将关节实际转角通过脐带缆反馈给计算机9，并与虚拟机械手8的关节转角数据相比较，对虚拟机械手8的关节转角进行修正，以保证虚拟机械手8和实体机械手1的关节转角状态完全一致。

步骤五：操作员观察显示器7中的虚拟机械手8，判断机械手是否完成作业任务，如果完成，则结束操作控制；否则，跳转到步骤二，进行再一次的控制操作。

本实施例，具体实现过程如下：

本优选实施例主要采用的设备参数：水下实体机械手1采用法国ECA公司的深海五功能机械手Micro 5E；三维体感相机6采用Intel Realsense D435i相机；计算机9采用Intel Corei7-7700处理器，Nvidia GTX760独立显卡；显示器7采用1080P分辨率16英寸显示器；虚拟机械手8采用机器人仿真软件V-rep构建并运行。

实施前，使用脐带缆3连接水下机器人2，打开各相关设备，检查计算机9是否与水下机器人2和实体机械手1正常连接，并调节至默认的参数；打开虚拟机械手软件，检查虚拟机械手8是否正常显示；操作员准备就绪后，方可打开控制程序。

操作开始时，操作员需将手臂伸出，位于三维体感相机6的视场中，并根据显示器中显示的视频，调整手掌位置于视场中心位置，计算机9将手掌的当前位置设定为控制坐标系的原点。随后，操作员的手臂运动数据由体感相机6获取并传输给计算机处理分析，虚拟机械手8和实体机械手1的手臂、手抓会随着操作者手臂、手掌的移动而移动，如：操作者手掌从初始位置出发向左移动一定距离，则虚拟机械手8和实体机械臂1的手臂也会向左移动一定的距离；操作者手掌作握拳动作，虚拟机械手8和实体机械手1的手抓也会做出握拳动作。该实施例表明，所述的一种虚实结合和人机交互的水下遥控机器人机械手作业方法能较好地实现对水下遥控机器人机械手作业的操作控制，具有比原有方法明显的优势。

综上所述，上述实施例虚实结合和人机交互的水下遥控机器人机械手作业系统及方法。上述实施例系统包括母船、计算机、显示器、三维体感相机、水下机器人及机械手和脐带缆。本方法在计算机中构造一个与水下实体机械手完全相同的虚拟机械手，并显示在屏幕上，计算机利用三维体感相机捕捉到操作者手臂、手抓的肢体动作，将其动作意图反映到屏幕上的虚拟机械手上，引起虚拟机械手的前后伸缩、左右移动、手抓抓握动作，并引起虚拟机械手关节角度的改变；同时，计算机通过脐带缆将虚拟机械手的关节角度数据发给水下实体机械手，实现水下机械手的前后伸缩、左右移动、抓手抓握动作。考虑到水下实际环境有可能限制实体机械手的实际运动，水下实体机械手将其实际关节转动角度数据通过脐带缆反馈给计算机，计算机接收到实体机械手关节状态数据后，将虚拟机械手关节角度修正为与实体机械手关节一致的状态。上述实施例过程重复进行，直至作业任务完成。上述实施例虚实结合和人机交互的水下遥控机器人机械手作业方法，降低了操作人员的操作难度，提高了作业效率和作业精度，具有比原有方法明显的优势。

此外，本发明另外的实施例的技术方案还利用三维体感相机捕捉到操作者手臂、手抓的肢体动作，将动作意图反映到屏幕上的虚拟机械手上，引起虚拟机械手前后伸缩、左右移动、手抓抓握动作，并引起虚拟机械手关节角度改变；一方面通过脐带缆将虚拟机械手关节角度数据发给水下实体机械手，使水下机械手的前后伸缩、左右移动、抓手抓握动作；另一方面，水下实体机械手将其实际关节转动角度数据通过脐带缆反馈给计算机，计算机将虚拟机械手关节角度修正为与实体机械手关节一致的状态。作业过程中不断重复第二步～第四步，直至完成作业任务。本发明水下遥控机器人机械手作业方法降低了操作人员的操作难度，提高了作业效率和作业精度，具有比原有方法明显的优势。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明的技术原理和发明构思，都属于本发明的保护范围。