面向智能戒指的手势视觉交互方法及系统

技术领域

本发明涉及手势交互领域，具体涉及面向智能戒指的手势视觉交互方法及系统。

背景技术

随着技术的发展与交互方式的日益丰富，人机交互的应用越来越广泛，人机交互逐渐以更自然、更隐匿的方式实现。目前，基于智能戒指的手势视觉交互技术不需要穿戴笨重的手套设备，能够以一种更加灵活、自然的方式进行人机交互。该技术主要分为手势采集，手势分割、手势特征提取和手势识别四个阶段，其中，手势特征提取用于表达手势，是进行手势识别的依据，而手势识别用于区分手势，是实现手势交互的重要途径。因此，手势特征提取算法和手势识别算法是决定手势识别技术准确性和实时性的关键因素。

现有的手势视觉交互过程中，大多通过惯性传感器IMU来实现对用户手势的判定识别，该过程不能获取用户的静态手势，无法视觉获取用户的手部状态，且惯性传感器在信息采集过程中极易受到外界环境的影响，往往导致手势识别准确度低下，进而导致人机交互效率低。

发明内容

本发明提供面向智能戒指的手势视觉交互方法及系统，以解决现有的问题。

本发明的面向智能戒指的手势视觉交互方法及系统采用如下技术方案：

本发明一个实施例提供了面向智能戒指的手势视觉交互方法，该方法包括以下步骤：

通过用户佩戴智能戒指，根据智能戒指上的广角摄像头获取用户手势图像；

根据用户手势图像获取用户手部区域图像；获取手部中心点；通过边缘检测算法对手部区域图像进行边缘检测，得到手部边缘图；

将手部边缘图中的各个手部边缘像素点记为各个待测边缘点；根据手部边缘图提取手势信息，通过手部中心点作垂直向下的直线，与手部边缘线交于一点，获取边缘起始点；根据边缘起始点得到待测边缘点的位置特征；获取各个待测边缘点的轮廓距离指标；获取各个待测边缘点到手部中心点的距离，根据各个待测边缘点以及局部邻域内待测边缘点到手部中心点的距离得到各个待测边缘点的相对距离指标；根据各个待测边缘点的轮廓距离指标和相对距离指标得到各个待测边缘点的空间分布特征；根据各个待测边缘点以及自适应局部邻域内所包含的待测边缘点得到轮廓走向特征；

根据各个待测边缘点的位置特征、空间分布特征和轮廓走向特征得到各个待测边缘点的形状特征；根据各个待测边缘点的形状特征得到用户手势信息矩阵；根据各个标准手势图像得到各个标准手势信息矩阵；

根据用户手势信息矩阵以及各个标准手势信息矩阵得到各个匹配矩阵；通过DTW算法得到各个匹配矩阵的最短路径；根据各个匹配矩阵的最短路径得到用户手势信息矩阵与各个标准手势信息矩阵的匹配度；根据匹配度对用户手势进行判定得到用户手势匹配结果；根据用户手势匹配结果实现人机手势视觉交互过程。

优选的，所述手部区域图像的获取方法包括：通过肤色检测模型对手部区域进行提取分割，得到手部区域图像，手部区域图像为二值图像，手部区域像素值为1，其他区域像素值为0。

进一步，所述待测边缘点位置特征的获取表达式为：

式中，

进一步，所述待测边缘点轮廓距离指标的获取方法包括：边缘起始点沿边缘线按照顺时针方向移动到待测边缘点，获取这个过程中的移动距离，记为待测边缘点的轮廓距离指标，移动过程中每竖直向上、竖直向下、水平向左、水平向右移动一步，移动距离记为D，向左上方、左下方、右上方、右下方移动一步，移动距离记为

进一步，所述待测边缘点的相对距离指标的获取表达式为：

式中，

进一步，所述待测边缘点空间分布特征的获取方法包括：将待测边缘点的轮廓距离指标与相对距离指标组合，得到待测边缘点的空间分布特征。

进一步，所述待测边缘点轮廓走向特征的获取方法包括：计算待测边缘点的曲率，并以待测边缘点为中心分别计算两边各个待测边缘点的曲率，获取待测边缘点的两个边界点，两个边界点内所包含的边缘分段为待测边缘点的自适应局部邻域；统计待测边缘点及自适应局部邻域内所包含的待测边缘点的数量；将待测边缘点与对应的两个边界点分别进行连接，得到两条连接线的斜率；获取待测边缘点及自适应局部邻域内所包含的待测边缘点的曲率均值；分别以待测边缘点及自适应局部邻域内所包含的各个待测边缘点为起点，作指向用户的手部中心点的有向线段，统计每个有向线段与以手部中心点为原点的x坐标轴之间的角度，记为有向角度，将有向角度均值作为待测边缘点的方向角；将待测边缘点及自适应局部邻域内所包含的待测边缘点总数、待测边缘点对应的两条连接线的斜率、待测边缘点及自适应局部邻域内所包含的待测边缘点的曲率均值、待测边缘点的方向角作为待测边缘点的轮廓走向特征。

优选的，所述匹配矩阵的获取方法为：将用户手势信息矩阵中的每个元素与各个标准手势信息矩阵中的每个元素之间的欧式距离作为匹配矩阵中的元素；匹配矩阵表达式为：

式中，

第二方面，本发明提供了面向智能戒指的手势视觉交互系统，包括处理器和存储器，上述处理器用于处理存储在上述存储器中的指令，以实现上述的面向智能戒指的手势视觉交互方法。

本发明具有如下有益效果：

本发明通过用户佩戴智能戒指上的广角摄像头对用户手势进行图像采集，可实现用户双手手势图像的采集，并提取用户手部各个待测边缘点的多重特征，对用户手势进行准确检测。结合用户手部待测边缘点及其局部待测边缘点的曲率变化情况，自适应地获取了各个待测边缘点的自适应局部邻域，解决了由于局部邻域范围选取不当将使得用户手势的局部轮廓信息被覆盖，导致用户手势轮廓走向检测不准确的问题。同时，考虑到轮廓走向具有一定的方向性，本发明引入了待测边缘点轮廓走向的方向角，提高了用户手势轮廓检测的精度。最后，通过建立的手势信息矩阵，对用户手势特征进行全面表征，提高用户手势判定的精度，结合DTW算法获取用户手势与各个标准手势的匹配度，可实现对用户手势的快速识别，提高人机手势视觉交互效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的面向智能戒指的手势视觉交互方法及系统的步骤流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的面向智能戒指的手势视觉交互方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的面向智能戒指的手势视觉交互方法及系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的面向智能戒指的手势视觉交互方法的步骤流程图，该方法包括以下步骤：

步骤S001：通过用户佩戴智能戒指，根据智能戒指上的广角摄像头获取用户手势图像。

在智能戒指中集成摄像头，通过智能戒指的摄像头对佩戴用户的手势进行图像采集，获取用户手势图像。为提高便捷性，提升交互体验，本发明中智能戒指内集成的摄像头为广角摄像头，用户佩戴一个戒指即可同时实现双手手势的图像视频采集。需要说明的是，广角摄像头的种类及型号很有很多，实施者可以自行选取。

步骤S002：获取用户手部区域图像，并得到对应的手部边缘图，提取手部边缘图中各个待测边缘点的形状特征，进而得到用户手势信息矩阵。

首先，根据广角摄像头采集的用户手势图像，对用户手部区域进行提取，通过基于RGB颜色空间肤色检测模型来对手部区域进行提取分割，得到用户的手部区域图像，手部区域图像为二值图像，手部区域像素值为1，其他区域像素值为0。需要说明的是，基于RGB颜色空间的肤色检测模型为现有公知技术。

在用户的手部区域图像中获取手部中心点，用户的手部中心点C提取表达式为：

式中，W，H分别为手部二值图的尺寸，

通过边缘检测算法对手部区域图像进行边缘检测，得到手部边缘图。边缘检测算法有很多且为现有公知技术，本发明采用Canny算子对手部区域图像进行边缘检测。将手部边缘图中的各个手部边缘像素点记为各个待测边缘点。

根据手部边缘图提取用户的手势特征，首先，通过手部中心点作垂直向下的直线，与手部边缘线交于一点，将该点记为边缘起始点。从边缘起始点开始，沿着用户手部边缘顺时针方向移动，逐步计算每个待测边缘点相对手部中心点的坐标信息：

重复上述方法，获取手部边缘图中各个待测边缘点的位置特征。

然后，考虑到手部轮廓能够体现用户的手势信息，手部轮廓为通过边缘像素点集合组合得到的闭合曲线，因此，本发明将对手部轮廓的空间分布特征进行提取：

边缘起始点沿边缘线按照顺时针方向移动到第a个待测边缘点，获取这个过程中的移动距离，记为第a个待测边缘点的轮廓距离指标

重复上述方法，计算手部边缘图中各个待测边缘点的轮廓距离指标。

进一步，将通过各个待测边缘点相对手部中心点的距离，对各个待测边缘点的空间分布特征进行准确表征，但考虑到手势发生局部变化时，将会导致手部区域的手部中心点位置出现较大的变动，进而导致待测边缘点到手部中心点的距离发生较大变化，因此，为降低该情况对于手势判定的影响，避免手势局部的变化导致待测边缘点到手部中心点的距离特征变动过大，将对待测边缘点的相对距离指标进行提取。以待测边缘点为中心，沿着边缘线从其两边分别获取n个待测边缘点，可以得到中心待测边缘点的局部邻域，待测边缘点的相对距离指标的获取表达式为：

式中，

根据各个待测边缘点的轮廓距离指标和相对距离指标得到各个待测边缘点的空间分布特征：

重复上述方法，获取手部边缘图中各个待测边缘点的空间分布特征。

进一步，提取各个待测边缘点的轮廓走向特征。对于线段特征多通过斜率来进行描述，本发明也将通过待测边缘点局部邻域内所包含的待测边缘点的情况，来对待测边缘点的轮廓走向特征进行提取，但是，考虑到在用户手势轮廓走向分析时，由于局部邻域范围选取不当将使得用户手势的局部轮廓信息被覆盖，导致用户手势轮廓走向检测不准确；或者不同手势对应的两个待测边缘点之间的轮廓走向线斜率是一致的，出现误将不同的手势判定为同一手势的情况，导致手势轮廓的判定精度降低，因此，在对各个待测边缘点的轮廓走向特征进行提取时，本发明将获取待测边缘点的自适应局部邻域，并根据自适应局部邻域对待测边缘点的轮廓走向特征进行准确提取。以第a个待测边缘点为例：

首先，对于第a个待测边缘点，计算其曲率，根据相同的方法计算第a个待测边缘点两边各个待测边缘点的曲率。从第a个待测边缘点出发，按顺时针方向遍历沿着边缘线遍历每个待测边缘点，如果遍历到的待测边缘点的曲率满足低于曲率偏差阈值

同理从第a个待测边缘点出发，按逆时针方向遍历沿着边缘线遍历每个待测边缘点，如果遍历到的待测边缘点的曲率满足低于曲率偏差阈值

至此，获得第a个待测边缘点的两个分界点，两个分界点之间的一个边缘片段作为第a个待测边缘点的自适应局部邻域，自适应局部邻域不包含两个分界点，统计第a个待测边缘点及自适应局部邻域内所包含的待测边缘点总数

然后，将第a个待测边缘点分别与对应的两个边界点连接，可获取两条连接线，记为轮廓走向线，分别计算两条轮廓走向线的斜率，

最后，根据第a个待测边缘点及其自适应局部邻域内所包含的待测边缘点，将对第a个待测边缘点的轮廓走向特征进行准确提取，第a个待测边缘点的轮廓走向特征表达式为：

重复上述方法，获取手部边缘图中各个待测边缘点的轮廓走向特征。

进一步，根据第a个待测边缘点的位置特征、空间分布特征和轮廓走向特征，建立第a个待测边缘点的形状特征：

其中，

重复上述方法，获取各个待测边缘点的形状特征。

最后，根据用户的手部边缘图中各个待测边缘点的形状特征，构建用户手势信息矩阵，作为用户手势识别的关键信息。用户手势信息矩阵可以表示为：

式中，

通过上述手势信息矩阵的构建方法，根据各个标准手势图像，获取各个标准手势信息矩阵。

步骤S003：根据用户手势信息矩阵以及各个标准手势信息矩阵，构建匹配矩阵，对用户的手势进行判定。

进一步，为实现对佩戴智能戒指用户的手势进行识别，进而实现人机手势视觉交互，构建匹配矩阵，对用户的手势进行判定。将用户手势信息矩阵中的每个元素与各个标准手势信息矩阵中的每个元素之间的欧式距离作为匹配矩阵中的元素，则用户手势信息矩阵与第r种标准手势信息矩阵之间的匹配矩阵表达式为：

式中，

重复上述方法，得到用户手势信息矩阵与各个标准手势对应的标准手势信息矩阵之间的匹配矩阵。

通过DTW算法得到各个匹配矩阵的最短路径。需要说明的是，DTW算法及DTW算法获取匹配矩阵中的最短路径过程为现有公知技术。

最后，根据各个匹配矩阵的最短路径构建用户手势与各个标准手势的匹配度，用户手势与第r种标准手势的匹配度表达式具体为：

式中，

根据用户手势与各个标准手势的匹配度，对用户手势进行判定，将最大匹配度所对应的手势作为用户所对应的手势。根据用户手势匹配结果可实现用户手势识别，系统将用户手势对应的需求发送给计算机，计算机可根据用户手势来实现相关功能，至此，实现人机手势视觉交互。

进一步，本实施例还提出了面向智能戒指的手势视觉交互系统，该系统包括处理器和存储器以及存储在存储器上并可在处理器上运行的计算机程序，上述计算机程序被处理器执行时实现面向智能戒指的手势视觉交互方法的步骤。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。