一种设备选择系统与方法

技术领域

本发明涉及人机交互领域，尤其涉及一种基于头戴式装置的设备选择系统与方法。

背景技术

现有的智能设备选择技术主要包括基于红外信号的选择技术、基于音频信号的选择技术、基于图像信号的选择技术以及基于无线信号同步的选择技术。

基于红外信号的选择技术多用于与智能设备绑定的遥控器上，遥控器配备红外发射器，在智能设备上配备红外接收器，用户通过调整遥控器指向，将红外发射器对准红外接收器以选择设备。基于音频信号的选择技术主要用于具有麦克风与扬声器的智能设备，用户可将配有扬声器的智能设备(如手机)挥向目标设备，目标设备对其麦克风收到的音频信号进行多谱勒分析，以确认选择。在基于图像信号的选择技术中，用户可对目标智能设备进行拍照，并对照片中的目标智能设备进行标识与图像识别，以达到配对的目的。在基于无线信号同步的选择技术中，用户通过观察目标智能设备上的LED灯，并与LED灯闪烁频率同步地拍击无线设备，从而使无线广播信号强度发生周期性变化，目标智能设备通过将无线广播信号强度变化与自身闪烁频率进行相关性分析，确认是否进行配对。

上述技术通常需要用户握持物品进行手势选择，如遥控器、手机等，这降低了选择的交互体验。现有智能设备选择方法通常需要用户进行学习，如甩动、同步拍击等，不够自然，并且通常需要在目标智能设备端添加硬件，如红外接收器、麦克风、LED灯等，增加了系统成本。

发明内容

根据现有技术的上述问题，本发明提出一种设备选择系统，所述系统包括头戴式装置，所述头戴式装置上布置有无线传感器阵列，所述无线传感器阵列包括至少两个无线传感器，用于接收环境中的设备发出的无线信号；

所述头戴式装置被配置为：

基于所述无线传感器阵列接收到的所述环境中的设备发出的无线信号计算对应的设备的来波方向角；

基于用户的选择动作计算其相对于所述头戴式装置的方向；以及

基于所述设备的来波方向角和所述用户的选择动作的方向，选择目标设备。

在一个实施例中，所述至少两个无线传感器布置在所述头戴式装置的框架的第一侧边和第二侧边上。

在一个实施例中，所述无线传感器阵列包括沿所述头戴式装置的框架布置的五个无线传感器，其中，第二无线传感器、第三无线传感器和第四无线传感器沿所述框架的第一侧边均匀布置，第一无线传感器和第五无线传感器沿所述框架的第二侧边布置，并且与所述第二无线传感器、所述第三无线传感器和所述第四无线传感器交错布置，其中，所述第一侧边和所述第二侧边是相对的。

在一个实施例中，所述无线传感器阵列包括沿所述头戴式装置的框架布置的五个无线传感器，其中，第二无线传感器、第三无线传感器和第四无线传感器沿所述框架的第一侧边均匀布置，第一无线传感器和第五无线传感器沿所述框架的第二侧边布置，并且所述第一无线传感器和所述第五无线传感器之间的距离尽可能远，其中，所述第一侧边和所述第二侧边是相对的。

在一个实施例中，所述头戴式装置基于MUSIC算法计算对应的设备的来波方向角。

在一个实施例中，所述用户的选择动作是所述用户的头部动作或手部动作。

在一个实施例中，通过以下公式计算所述设备的来波方向角和所述用户的选择动作的方向之间的差异，并选择差异最小的设备作为目标设备：

ΔE(D

其中ΔE是设备的来波方向角以及所述用户的选择动作的方向之间的差异，D

在一个实施例中，当所述用户的选择动作是头部动作时，θ

在一个实施例中，基于所述设备的来波方向角和所述用户的选择动作的方向通过机器学习分类器选择目标设备，其中，所述机器学习分类器通过对于每个设备的来波方向角和所述用户的选择动作的方向进行训练获得。

在一个实施例中，所述用户的选择动作为动态点头动作或静态指向动作或动态环绕动作，针对所述动态点头动作、静态指向动作和动态环绕动作中的每一种动作训练相应的机器学习分类器。

在一个实施例中，所述系统还包括用于发射无线信号的腕戴装置，所述头戴式装置基于所述腕戴装置的来波方向角和人体模型确定所述用户的选择动作的方向。

在一个实施例中，在所述人体模型中，坐标原点O设置在所述人体模型的胸部，位置G、S、D、F分别是所述头戴式装置、所述人体模型的肩膀、所述腕戴装置和所述人体模型的手指的位置，以及

在一个实施例中，基于所述腕戴装置的来波方向角和所述人体模型确定所述腕戴装置的位置D，基于所述腕戴装置的位置D和所述头戴式装置的位置G确定所述用户的选择动作的方向。

本发明还提供一种用于上述设备选择系统的设备选择方法，所述方法包括：

通过头戴式装置的无线传感器阵列接收环境中的设备发出的无线信号；

基于所述无线传感器阵列接收到的所述无线信号计算对应的设备的来波方向角；

基于用户的选择动作计算其相对于所述头戴式装置的方向；以及

基于所述设备的来波方向角和所述用户的选择动作的方向，选择目标设备。

本发明的基于头戴式装置的设备选择系统和方法，通过在头戴式装置上布置无线传感器阵列，使其可以较精确地检测外部设备所发射的无线信号的来波方位角和俯仰角。通过基于头部运动的设备选择方法，使得用户像与人沟通一样对目标设备进行如点头等头部动作，实现自然的设备选择。通过基于手部运动的设备选择方法，使得用户在手部佩戴手表或戒指等腕戴装置时，头戴式装置的无线传感器阵列同时追踪手部与环境中目标设备的来波方向角，并对两者的来波方向角进行匹配，从而实现自然的设备选择。

附图说明

图1示出了根据本发明一个实施例的基于头戴式装置的设备选择系统。

图2示出了根据本发明一个实施例的头戴式装置的示意图。

图3A示出了根据本发明一个实施例的无线传感器阵列1的示意图。

图3B示出了根据本发明一个实施例的无线传感器阵列2的示意图。

图4A示出了无线传感器阵列1和无线传感器阵列2的天线ANT1、ANT2和ANT3之间的交叉耦合。

图4B示出了无线传感器阵列1方位角方向性。

图4C示出了无线传感器阵列1俯仰角方向性。

图4D示出了无线传感器阵列2方位角方向性。

图4E示出了无线传感器阵列2俯仰角方向性。

图5示出了来波方向角测量的示意图。

图6示出了基于MUSIC算法的来波方向角测量的示意图。

图7示出了手势方向计算的示意图。

图8示出了不同人体尺寸对手势方向估计的影响。

图9示出了根据本发明一个实施例的选择动作。

图10示出了根据本发明一个实施例的基于头戴式装置的设备选择方法的流程图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，下面将结合附图通过具体实施例对本发明作进一步详细说明。应当注意，本发明给出的实施例仅用于说明，而不限制本发明的保护范围。

图1示出了根据本发明一个实施例的基于头戴式装置的设备选择系统，其包括头戴式装置100，该头戴式装置100上布置有无线传感器阵列，用于接收环境中的设备W1-W4所发出的无线信号，其中，无线传感器阵列包括至少两个无线传感器。根据本发明的一个实施例，头戴式装置100被配置为：基于无线传感器阵列接收到的环境中的设备发出的无线信号计算对应的设备的来波方向角(Angles of Arrival,AoA)；基于用户的选择动作计算其相对于头戴式装置的方向；基于环境中的设备的来波方向角和选择动作的方向，选择目标设备。

在一个实施例中，头戴式装置100还包括收发器，用于接收来自无线传感器阵列的信号，并解码该信号。在一个实施例中，头戴式装置100还包括RF开关，用于控制所述至少两个无线传感器的顺序启动。

头戴式装置可以例如是头戴式显示器、智能眼镜等。无线传感器可以例如是天线等。环境中的设备W1-W4能够发射无线信号，其可以包括手机、平板电脑、个人电脑、智能手表等。

在一个实施例中，设备W1-W4可以包括无线信号发射器，无线信号包括蓝牙(Bluetooth)、Wifi等。设备W1-W4上的无线信号发射器会周期性地发射无线信号，无线传感器通过时分复用与多个设备周期性地发射的无线信号周期同步。无线信号中通常包括用于识别不同设备的数据，头戴式装置接收该数据后，能够识别不同设备发射的数据。

图2示出了根据本发明一个实施例的头戴式装置(例如眼镜)的示意图，该头戴式装置上设置有五个无线传感器R1,R2,R3,R4,R5。五个无线传感器R1,R2,R3,R4,R5位于头戴式装置的外部框架上。水平方向(x轴方向)的无线传感器R1,R2,R3以及水平方向的无线传感器R4,R5可用于方位角测量，垂直方向(y轴方向)的无线传感器，例如R1和R4，R3和R5，R2和R5等可用于俯仰角测量。如图2所示，x方向为沿头戴式装置框架的长度的方向，y方向为沿头戴式装置框架的高度的方向，z方向为垂直于头戴式装置框架所在的平面的方向。在本发明中，将方位角所在的平面，即x-z平面定义为方位角平面，将俯仰角所在的平面，即y-z平面定义为俯仰角平面。

图2中的无线传感器阵列的布置仅为示例，在实际应用中，如果环境中的设备基本上处于相同的水平面上，例如都位于相同的方位角平面或都位于相同的俯仰角平面上，则可以仅使用两个无线传感器；如果环境中的设备位于方位角平面和俯仰角平面二者上，则至少需要三个无线传感器以检测方位角和俯仰角。

头戴式装置在任何平面(例如方位角平面和俯仰角平面)上的可分辨距离d

d

其中，λ是无线信号的波长，R是头戴式装置的接收器和发射无线信号的目标设备之间的距离，P是无线传感器阵列的尺寸(例如长度或面积)。由等式(1)可以看出，无线传感器阵列的尺寸越大，则可分辨距离越小，相应的分辨率就越高。

为了避免来波方向角估计模糊，相邻无线传感器之间的距离Dw应小于通信频带中最短波长的一半，例如2480MHz的蓝牙信道，距离Dw小于60.5mm。同时，距离Dw应该尽量的大，以使得无线传感器阵列的尺寸较大，从而最大限度地减少无线传感器元件之间的交叉耦合。例如，在2480MHz蓝牙信道的实施例中，距离Dw可设置为60mm。

理论上，无线传感器阵列的尺寸应该尽可能大(即无线传感器的数量应尽可能多)，以便在方位角平面和俯仰角平面上都具有高分辨率。然而，无线传感器阵列长度和高度受到头戴式装置框架(例如智能眼镜框架)的限制。在一个实施例中，可以根据人脸宽度设置原型设备框架的长度，例如男性和女性双颧面宽度第95百分位数的平均值，即145mm。设备框架的高度设置为Dw，以在俯仰角平面上提供尽可能大的无线传感器阵列面积，同时保持头戴式装置(例如眼镜)的典型外观。在一个实施例中，无线传感器阵列的宽度W＝145mm，以及高度H＝60mm。

无线传感器的尺寸、形状、方向性和效率也是需要考虑的关键因素。优选地，无线传感器的x轴方向的长度应小于Dw，y轴方向的高度与头戴式装置框架宽度相当，接地面积小或无接地面积，方向性应该在头戴式装置框架平面(即x-y平面)上有一个零点，以最小化方位角方向上的交叉耦合。无线传感器应该体积小、效率高，以节省头戴式装置的功率并避免产生热量，避免用户感到不舒服。在一个实施例中，无线传感器可以是偶极天线，其尺寸小，效率高。在另一个实施例中无线传感器可以是弯折偶极子(meander dipole)，其尺寸比偶极天线更小，效率仅比偶极天线略低。

图3A示出了根据本发明一个实施例的无线传感器阵列1的示意图；图3B示出了根据本发明一个实施例的无线传感器阵列2的示意图。其中，无线传感器为天线，无线传感器阵列包括布置在头戴式装置框架20上的天线ANT1-ANT5。在图3A的无线传感器阵列1中，三个天线ANT2-ANT4沿框架20上部的长度均匀布置，两个天线ANT1和ANT5沿框架20下部的长度布置，并且天线ANT1和ANT5之间的距离尽可能远。在图3B的无线传感器阵列2中，三个天线ANT2-ANT4沿框架20上部的长度均匀布置，两个天线ANT1和ANT5沿框架20下部的长度布置，并且与上部的三个天线ANT2-ANT4交错布置，即天线ANT1处于天线ANT2和天线ANT3之间，天线ANT5处于天线ANT3和天线ANT4之间。

图4A-图4E示出了无线传感器阵列1和无线传感器阵列2的模拟结果。其使用由MATLAB生成的默认的弯折线天线来进行模拟，无线频率为2450MHz。图4A示出了无线传感器阵列1和无线传感器阵列2的天线ANT1、ANT2和ANT3之间的交叉耦合。其中曲线L1表示无线传感器阵列1的天线ANT1和ANT3之间的交叉耦合S13，曲线L2表示无线传感器阵列2的天线ANT1和ANT3之间的交叉耦合S13；曲线L3表示无线传感器阵列1的天线ANT1和ANT2之间的交叉耦合S12，曲线L4表示无线传感器阵列2的天线ANT1和ANT2之间的交叉耦合S12；曲线L5表示无线传感器阵列1的天线ANT2和ANT3之间的交叉耦合S23，曲线L6表示无线传感器阵列2的天线ANT2和ANT3之间的交叉耦合S23。由图4A可以看出，无线传感器阵列2的交叉耦合比无线传感器阵列1的交叉耦合更小。以在俯仰角方向上的天线ANT1和ANT2之间的交叉耦合S12为例，无线传感器阵列2的交叉耦合S12仅是无线传感器阵列1的63％。弯折线天线的零点使得在方位角方向上的天线ANT2和ANT3之间的交叉耦合S23均在-6.6dB左右。

图4B示出了无线传感器阵列1方位角方向性，图4C示出了无线传感器阵列1俯仰角方向性，图4D示出了无线传感器阵列2方位角方向性，图4E示出了无线传感器阵列2俯仰角方向性。在方位角平面上，阵列1的方向性(8.17dBi)比阵列2的方向性(7.66dBi)更高。但是阵列1的旁瓣(-2.66dBi)是阵列2的旁瓣(-7.4dBi)的3倍。较高的旁瓣会从用户未面对的方向引入更强的干扰，从而降低来波方向角估计。此外，俯仰角平面上的方向性差异主要在90°和270°方向，与用户身体对齐，对来波方向角估计影响不大。基于以上模拟结果，阵列2的布置为更优选的方案，在下文中以阵列2的布置为例进行说明。

图5示出了来波方向角测量的示意图。在基础的来波方向角估计机制中，假设无线信号是单色平面波。如图5所示，来自环境中的设备的无线信号入射到无线传感器R1和R2上，且到达无线传感器R1和R2的时间不同，无线传感器R1和R2所接收的无线信号的相位差Δφ为：

Δφ＝2πdcosθ/λ (2)

其中，λ是无线信号的波长，δ是无线传感器R1和R2之间的距离，θ为该无线信号的来波方向角。相位差Δφ通常可以计算获得，例如无线传感器R1和R2可以通过模数转换器(ADC)读取无线信号的IQ值(I为同向分量，Q为正交分量)，分别计算得到无线信号的相位φ1，φ2，相减之后得到相位差Δφ。因此，可以计算得到来波方向角θ为：

θ＝arcos(λΔφ/2πd) (3)

上述基于相位差φ的来波方向角的直接计算容易受到多路径效应、极化失配等的影响。

MUSIC算法是最流行的无线电测向算法之一，图6示出了基于MUSIC算法的来波方向角测量的示意图。其将来自设备W1的无线信号分解为两个正交空间：信号空间和噪声空间。需要注意，两个无线信号不太可能同时到达天线阵列，因为与无线信号广播间隔(例如最小20ms)相比，无线信号的持续时间较短(例如最大160us)，并且随机选择广播频道。因此，可以假设在任何时间只有一个无线信号到达天线。可以对天线接收到的信号x(t)建模如下，

x(t)＝As(t)+n(t)，t＝1，2，...，N， (4)

其中s(t)是来自设备的无线信号向量，n(t)是方差为σ

x(t)由无线信号的IQ值生成的相位为α

导向矩阵A为：

其中，(d

在实际应用中，接收到的信号的协方差矩阵R

MUSIC算法然后使用协方差矩阵的特征向量分解和特征值来分离信号空间和噪声空间，公式是：

R

其中，Λ和V由特征值和相应的特征向量组成。

特征向量按相应的特征值的值排序。将具有最大特征值的第一特征向量作为信号空间，其余四个特征值和特征向量作为噪声空间。然后得到噪声向量V

通过选择频谱的峰值，可以获得三维空间中发射信号的方向，β1和β2。然后，将方向向量投影到YZ平面上，并根据以下等式获得设备的真实方位角φ和俯仰角θ：

在本发明中，可通过用户的手部运动和头部运动来选择相应的设备。当通过手部运动来选择设备时，本发明的基于头戴式装置的设备选择系统还可以包括腕戴装置，腕戴装置能够发射无线信号。头戴式装置基于上述方法计算腕戴装置的来波方向角，基于腕戴装置的来波方向角和人体模型确定用户手势方向。腕戴装置可以例如是手表、手环、手链等。

图7示出了手势方向计算的示意图。其示出了人体模型，可根据人体模型将腕戴装置相对于头戴式装置的方向

图8示出了不同人体尺寸对手势方向估计的影响，图中示出了另外6位身高在155厘米到185厘米之间的人体数据，并要求他们指向方向角和俯仰角均为0的设备。结果，手势方向估计的最大误差只有0.48°，这发生在身高184cm的参与者身上。结果表明，该校正模型对于不同身高的人没有引入较大的估计误差。

当通过头部运动来选择设备时，则不需要额外的腕戴装置，只需检测设备的来波方向角。此时也可以认为其手势方向的俯仰角和方位角均为0。

在本发明中，设计了三种用户已经熟悉的选择动作，如图9所示，从左到右依次为：

1)静态指向动作：用户指向目标设备并停留片刻；

2)动态环绕动作：用户围绕目标设备在空中画圆圈；

3)动态点头动作：用户对目标设备进行点头动作，如同人们之间互相点头示意。

用户可以多次点头、保持指向动作几秒钟或画多个圆圈来提高选择准确性。实际应用中，用户也可以用其他的动作来进行选择。

以下说明判断动态点头动作、静态指向动作以及动态环绕动作的方法。

首先，判断用户的头部是否静止，通过分析用户附近的设备的来波方向角的变化来确定用户的头部是否静止。如果该设备的来波方向角的俯仰角变化大于预定阈值(例如28°)，并且方位角变化小于预定阈值(例如4°)，则判断点头动作开始。上述预定阈值均是凭经验确定的。当俯仰角变化再次变小并且方位角变化与点头动作开始之前的值相似时，则判断点头动作结束。

其中，该设备可以是离用户最近的设备，也可以是用户面对的设备。

如果头部静止，则通过头戴式装置检测腕戴装置的无线信号强度，来判断手是否抬起。头戴式装置中的收发器通常具有接收信号强度指示器，手部的举手动作会导致接收信号强度显著增加，而手部的放下动作会导致接收信号强度大幅下降，这标志着选择手势的开始和结束。

在手部动作检测期间，当腕戴装置的来波方向角的平均值满足方位角变化大于或等于预定阈值(例如25°)，俯仰角变化大于或等于预定阈值(例如25°)，系统会将该手部动作标记为随机手部移动。如果方位角变化小于预定阈值(例如25°)，且俯仰角变化小于预定阈值(例如25°)，则系统将进行下一步的手部动作检测。

对于手部动作识别，如果腕戴装置的来波方向角在一段时间内的标准偏差小于预定阈值(例如3°)，则判断为静态指向动作。动态环绕动作会产生方位角和俯仰角的正弦变化。在一个实施例中，对俯仰角和方位角的变化应用64点快速傅里叶变换(FFT)，如果方位角平面或俯仰角平面中小于0.5Hz的频率分量的幅度大于预定阈值(例如4.5)，则判断为动态环绕动作。

在本发明中，提供了两种目标设备选择方法。角距离方法和基于机器学习分类器的方法

角距离方法：角距离方法基于设备的来波方向角以及手势方向的角度差异来完成选择。分别量化方位角平面和仰角平面上的3D角距离，由于图3B所示的天线阵列更准确地估计了方位角，相比于俯仰角，距离度量在方位角上的权重更大，如下所示：

ΔE(D

其中ΔE表示设备的来波方向角以及手势方向的角度差异，D

其中，D

基于机器学习分类器的方法：基于机器学习分类器的方法以设备的来波方向角作为输入，并输出该设备是否为目标设备。

可以将设备选择任务视为分类问题。每个设备都通过使用选择动作数据生成的模型进行分类，以确定设备是否为目标设备。当方位角和俯仰角接近零时，首先应用三角映射来提高模型的灵敏度，然后，为每个选择动作实例训练机器学习分类器，并使用这些模型来确定设备是否是选择目标。

在本发明中，通常用户在选择期间将直视目标设备，这会调整天线阵列的方向，使得目标设备的方位角和俯仰角都接近于零。因此，对所有来波方向角数据应用三角映射(a,e)＝(sinφ,sinθ)，以提高此类区域周围的灵敏度。

1)对于点头动作，可以预先训练一个分类器，该分类器的样本区域为-10°<俯仰角<30°，-5°<方位角<5°，0.5°的密度填充。该样本区域是通过实验预先得到的。使用该区域作为样本，基于One-class SVM算法训练，获得点头动作的姿势模型，对应的设备就能够被该姿势模型分类出来。

当检测到用户的动作为点头动作时，对于每个设备，将其对应的来波方向角输入到点头动作的姿势模型中，该模型输出每个设备在特定类别(即被选择设备的类别)中的概率，最后计算每个设备的平均被选择概率，被选择概率最高的设备作为目标设备。

2)对于指向动作，在检测到放下事件(即指向动作完成)后立即为每个选择手势实时训练机器学习模型。提取在指向动作期间(即从举手到放下的时间段内)的手势方向数据，该数据近似于目标设备的来波方向角。使用手势方向数据作为样本，基于One-classSVM算法训练，获得指向动作的姿势模型，对应的设备就能够被该姿势模型分类出来。

当检测到用户的动作为指向动作时，对于每个设备，将其对应的来波方向角输入到指向动作的姿势模型中，该模型输出每个设备在特定类别(即被选择设备的类别)中的概率，最后计算每个设备的平均被选择概率，被选择概率最高的设备作为目标设备。

3)对于环绕动作，与指向动作类似，为每个手势实时训练一个新模型。首先应用卡尔曼滤波器(Q＝10

当检测到用户的动作为环绕动作时，对于每个设备，将其对应的来波方向角输入到环绕动作的姿势模型中，该模型输出每个设备在特定类别(即被选择设备的类别)中的概率，最后计算每个设备的平均被选择概率，被选择概率最高的设备作为目标设备。

本发明还提供一种基于头戴式装置的设备选择方法；图10示出了该方法的流程图，其包括:

步骤S1：通过头戴式装置的无线传感器阵列接收环境中的设备发出的无线信号；

步骤S2：基于无线传感器阵列接收到的无线信号计算对应的设备的来波方向角；

步骤S3：基于用户的选择动作计算其相对于头戴式装置的方向；

步骤S4：基于设备的来波方向角和选择动作的方向，选择目标设备。

本发明通过在头戴式装置上布置无线传感器阵列，以接收环境中的设备所发出的无线信号，并计算其三维空间来波方向角(包括方位角与俯仰角)，以得到头戴式装置与环境中的设备的相对角度。在用户进行头部或手部运动时，头戴式装置与手部以及环境中设备的相对角度将发生变化。通过对角度变化信号进行监测与分析，可以得到用户所选择的设备。

本发明的基于头戴式装置的设备选择系统和方法，通过在头戴式装置上布置无线传感器阵列，使其可以较精确地检测外部设备的来波方位角和俯仰角。通过基于头部运动的设备选择方法，使得用户像与人沟通一样对目标设备进行如点头等头部动作，实现自然的设备选择。通过基于手部运动的设备选择方法，使得用户在手部佩戴手表或戒指等无线腕戴装置时，头戴式装置的无线传感器阵列同时追踪手部与环境中目标设备的来波方向角，并对两者的来波方向角进行匹配，从而实现自然的设备选择。

本发明无需在目标设备端添加额外的硬件，节省了成本。同时，用户可通过点头、手指等自然动作选择设备，实现了自然、即时的交互体验。

虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。