一种基于光流的双手空间交互方法与设备

技术领域

本发明属于鼠标控制技术领域，尤其涉及一种基于光流的双手空间交互方法与设备。

背景技术

随着科学技术的发展以及人们生活水平的不断提高，计算机的应用范围越来越广，已经成为普通家庭或者企业的必备之物之一，大屏幕中三维目标空间交互成为很多企业展示成果的一种方式，大屏幕交互控制对鼠标不方便操作，而当用户想要操控计算机时，需要回到计算机桌旁，非常不方便，因此需要寻求解决方案。常见的模拟鼠标方法包括采用游戏手柄的方式、识别特定的手势姿势、手指定位等方式，这些方式主要是缺乏在屏幕中精准控制，而且易受环境光的影响。

发明内容

有鉴于此，本发明结合高精度光流的位移特性，公布了一种基于光流的双手空间交互方法与设备，左右手各拿一个带按键的光流跟踪器(Optical Flow Tracker，简称OFT)，OFT能够持续跟踪手部在空间的移动，判断OFT上的按键是否按下，然后通过2.4GHz无线通信线路，向中央计算器(Central Computing Unit，简称CCU)发送OFT计算出的空间移动距离与按键状态，CCU接收到两个OFT输出的左右手的运动距离和按键状态后，按照事先定义的规则，计算出双手交互动作。

本发明第一方面公开的基于光流的双手空间交互方法，包括以下步骤：

两个带按键的光流跟踪器OFT上电，进行初始化，光流自检、复位，设置鼠标参数与光流对应参数；

左右手各拿一个光流跟踪器OFT，OFT用于持续跟踪手部在空间的移动；

判断OFT上的按键是否按下，计算出的空间移动距离与按键状态；

向中央计算器CCU发送空间移动距离与按键状态；

CCU接收到两个OFT输出的左右手的运动距离和按键状态后，计算出双手交互动作。

进一步地，OFT的工作步骤如下：

自检：检测OFT中光流是否工作正常、OFT按键状态，向CCU发送请求响应信息；

封装报文：把OFT中光流移动位置和按键信息封装为报文，左右手采用不同的2.4GHz工作频段发送给CCU；

休眠：设定时间段T，当在时间T内未发生光流移动，则进入休眠状态不通过2.4GHz无线通信发送数据，否则发送数据。

进一步地，当在模拟移动鼠标的同时，检测在时间范围T内移动光流的位置，如果移动光流的位置小于阈值T

其中D

进一步地，鼠标在屏幕上的移动与光流在真实场景下的移动采用坐标标定的方式形成对应关系，包括：

(u,v)为屏幕坐标，(x,y)为光流坐标；

光流移动过程中：记录当前大屏幕上光标的位置为(u,v)，下一步预计的光标的位置为(u',v')，差值为Δu＝u'-u，Δv＝v'-v，光流只获取像素点累计时间内的累加平均位移，两个方向分别为Δx和Δy，其中Δx＝k*Δu，Δy＝k*Δv，k为灵敏度系数；

光标初始化定位中：记录屏幕的分辨率为w和h，同时按下左右光流的按键，光标移动到u＝w/2和v＝h/2处。

进一步地，OFT中光流移动与按键状态映射到空间中三维目标运动状态的关系如下：

右OFT上下左右移动，对应于目标上下左右移动；同时按下左右OFT的按键，光流向外移动为放大，对应于目标区域放大；同时按下左右OFT的按键，光流向里移动为缩小，对应于目标区域缩小；右OFT按键按下，同时向下或向上移动，对应于目标俯仰；右OFT按键按下，同时向右下或左下移动，对应于目标滚转；右OFT按键按下，同时向右上或左上移动，对应于目标偏航。

本发明第二方面公开地基于光流的双手空间交互设备，包括两个OFT、一台CCU以及PC端软件，其中，

两个OFT，每只手佩戴一个，左手佩戴的OFT为左OFT，右手佩戴的OFT为右OFT；OFT佩戴于食指上，每个OFT有一个按钮，安装在大拇指和食指之间，大拇指朝食指方向移动，按下按键；

所述CCU与PC机相连，CCU负责收OFT计算出的空间移动距离与按键状态，并封装为USB鼠标数据格式，发送给PC端软件；

所述PC端软件接收CCU的数据，并控制大屏幕中的三维目标运动；PC端软件发送控制指令给CCU，调节光流的灵敏度、左手控制还是右手控制。

本发明的有益效果如下：

本发明通过光流的高精度移动和按键，实现了空间三维目标实现不同方向运动。

采用OFT、CCU的方式，实现即插即用的效果。

采用PC端软件，增强双手空间交互的体验感。

附图说明

图1本发明设备结构图；

图2功能模块图；

图3本发明流程图；

图4光流示意图；

图5光流与屏幕坐标转化示意图；

图6屏幕中三维目标运动示意图；

图7初始化界面图；

图8三维目标运动实景图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

本发明提供了一种基于光流的双手空间交互方法与设备，其设备结构图如图1所示，包括左右手各拿一个带按键的光流跟踪器(Optical Flow Tracker，OFT)，OFT能够持续跟踪手部在空间的移动，判断OFT上的按键是否按下，然后通过2.4GHz无线通信线路，向中央计算器(Central Computing Unit，CCU)发送OFT计算出的空间移动距离与按键状态，OFT采用分为不同频率的方式，CCU接收到两个OFT输出的左右手的运动距离和按键状态后，按照事先定义的规则，计算出双手交互动作。本发明通过光流的高精度移动和按键，以实现大屏幕中的三维目标实现不同方向运动。采用OFT、CCU的方式，实现即插即用的效果。采用PC端软件，增强双手空间交互的体验感。

图2为功能模块图：其主要分为三个部分，分别为两个OFT、一台CCU以及PC端软件，其具体为：

一、两个OFT，每只手佩戴一个，左手佩戴的OFT被称为左OFT，右手佩戴的OFT被称为右OFT，OFT一般佩戴在食指上，每个OFT有一个按钮，一般安装在大拇指和食指之间，大拇指朝食指方向移动，可较容易按下按键。OFT的工作步骤：

(1)自检：检测OFT中光流是否工作正常、OFT按键状态，向CCU发送请求响应信息。

(2)封装报文：把OFT中光流移动位置和按键信息封装为报文，左右手采用不同的2.4GHz工作频段发送给CCU。

(3)休眠：设定时间段T，当在时间T内未发生光流移动，则进入休眠状态不通过2.4GHz无线通信发送数据，否则发送数据。

二、一台CCU。CCU与PC机相连，CCU负责收OFT计算出的空间移动距离与按键状态，并封装为USB鼠标数据格式，发送给PC。

三、PC端软件。PC端软件接收CCU的数据，并控制大屏幕中的三维目标运动。PC端软件可以发送控制指令给CCU，调节光流的灵敏度、左手控制还是右手控制。

图3为一种基于光流的双手空间交互方法与设备流程图，首先上电后进行初始化，光流自检、复位，鼠标参数与光流对应参数设置，然后可以控制右手OFT对着三维目标移动和检测是否存在左右手OFT的按键，如果存在按键就执行模拟鼠标按键和移动的操作。当在模拟移动鼠标的同时，检测在时间范围T内移动光流的位置，如果移动光流的位置小于阈值T

其中D

图4为光流示意图，图5为光流到屏幕的坐标转换，鼠标在屏幕上的移动与光流在真实场景下的移动采用坐标标定的方式行程对应关系，其中包括：

(1)坐标系定义：(u,v)为屏幕坐标，(x,y)为光流坐标。

(2)光流移动过程中：记录当前大屏幕上光标的位置为(u,v)，下一步期待的光标的位置为(u',v')，差值为Δu＝u'-u，Δv＝v'-v，光流只获取像素点累计时间内的累加平均位移，两个方向分别为Δx和Δy，其中Δx＝k*Δu，Δy＝k*Δv。k为灵敏度系数，k通过PC端软件进行设置。

(3)光标初始化定位中：记录屏幕的分辨率为w和h，同时按下左右光流的按键，光标移动到u＝w/2和v＝h/2处。

图6为空间三维目标运动示意图，OFT中光流移动与按键状态映射到空间中三维目标运动状态的关系如下表所示：

图7为初始化界面以及光流初始化界面，界面设计包括光标形状大小、主按键、光标速度。初始上电后进入初始化界面，其中光标形状大小是改变屏幕中鼠标光标的形状大小，主按键是改变OFT的左右手习惯方式，可以选择左手控制屏幕移动也可以选择右手控制屏幕移动，默认情况下为右手操作，光标速度为改变上述光流移动的k值。

OFT发送给CCU的数据每次4个字节，分别有OFT坐标变化和按键状态。OFT模拟USB鼠标数据格式和部分按键状态，发送给PC，以实现即插即用的效果，实现三维目标的精准控制。

本发明的有益效果如下：

本发明通过光流的高精度移动和按键，实现了空间三维目标实现不同方向运动。

采用OFT、CCU的方式，实现即插即用的效果。

采用PC端软件，增强双手空间交互的体验感。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。