一种基于计算机视觉的手柄控制器led灯定位方法和系统

技术领域

本发明涉及VR空间定位交互技术领域，尤其涉及一种基于计算机视觉的手柄控制器led灯定位方法和系统。

背景技术

随着科技的发展，VR设备逐渐应用于人们的生活，消费者可以佩戴VR头戴式显示设备，手持手柄控制器，从而实现VR空间定位交互，获得良好的交互体验。

然而，就目前的常见的定位方法主要有三种：

一是激光定位。激光定位技术是通过在空间内安装数个可发射激光的装置，对空间发射横竖两个方向扫射的激光，被定位的物体上放置了多个激光感应接收器，通过计算两束光线到达定位物体的角度差，从而得到物体的三维坐标。激光定位技术优势在于定位精度高，不会因为遮挡而无法定位，反应速度极快，几乎无延迟，同时可支持多个目标定位，可移动范围比较广；缺点是成本高，利用机械方式来控制激光扫描，稳定性和耐用性差。

二是红外定位。红外光学定位技术是通过在空间内安装多个红外发射摄像头，从而对整个空间进行覆盖拍摄，被定为的物体表面安装了红外反光点，摄像头发出的红外光经反光点反射后，摄像头再捕捉到这些经反射的红外光，然后通过后续程序计算后便能得到被定位物体的空间坐标。红外光学定位技术的优势在于复杂程度低，使用寿命长，连接方便，成本也相对较低；缺点是受摄像头视角影响，用户的活动范围不能太大，使用角度比较受限，并且不支持太多物体的定位。

三是可见光定位。可见光定位技术通过摄像头利用可见光捕捉被追踪物体的位置信息，通过不同的被追踪物体上安装能发出不同颜色的发光灯，摄像头捕捉到这些颜色光点从而区分不同的被追踪物体以及位置信息。可见光定位技术的优势在于成本低廉，灵敏度高，稳定性和耐用性都很好，而且无需后续复杂的算法，技术实现难度小。不足之处在于定位精度相对较差，抗遮挡性差，对周围环境光照条件比较敏感。

综上所述，现有技术在稳定性、耐用性、成本等方面存在不同程度的应用缺陷，当前缺少一种能够兼顾上述问题的定位技术。

发明内容

有鉴于此，本发明实施例提出一种基于计算机视觉的手柄控制器led灯定位方法和系统，结合红外光学定位技术和可见光定位技术，利用计算机视觉方法定位跟踪空间中带有led灯的红外手柄来实现VR设备的空间定位交互功能，能够对手柄控制器的实时跟踪，具有稳定性耐用性高，成本低的优点。

本发明的一实施例提出一种基于计算机视觉的手柄控制器led灯定位方法，包括：

通过多个摄像头获取手柄控制器多个使用状态下的二维图像；

利用计算机视觉方法对所述二维图像中的led灯进行定位。

进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述利用计算机视觉方法对所述二维图像中的led灯进行定位包括：

利用滑动窗口策略对所述二维图像进行遍历；

对每次滑动窗口遍历后的二维图像区域进行特征提取；

利用分类器对提取到的特征进行分类；

针对分类结果中包含手柄控制器的区域，利用阈值分割方法计算得到每个led灯在所述二维图像中的成像；

对分割错误的图像进行过滤。

进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述利用滑动窗口策略对所述二维图像进行遍历包括：

对滑动窗口的尺寸进行选择；

利用滑动窗口对所述二维图像进行遍历，每次滑动窗口扫描图像的重叠度为窗口较短边的一半。

进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述对滑动窗口的尺寸进行选择包括：

统计人工体学手臂相对相机的最大作业范围；

根据所述最大作业范围计算所述手柄控制器在图像中的尺寸范围；

将所述尺寸范围分为多个区间段，每个所述区间段具有不同的宽高比，根据不同的宽高比类型形成多种滑动窗口。

进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述对每次滑动窗口遍历后的二维图像区域进行特征提取包括：

根据应用的计算容量设计特征金子塔FPN网络；

利用所述特征金子塔FPN网络对遍历后的二维图像区域进行特征提取。

进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述利用分类器对提取到的特征进行分类包括：

使用支持向量机SVM分类器对提取到的特征进行分类；

根据所述手柄控制器在候选区域的位置判断所述候选区域是否完整包含手柄控制器；

若未完整包含，则舍弃所述候选区域。

进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述针对分类结果中包含手柄控制器的区域，利用阈值分割方法计算得到每个led灯在所述二维图像中的成像包括：

对包含所述手柄控制器的候选区域计算自适应阈值，其中，所述自适应阈值的计算方法包括；

利用所述自适应阈值对所述候选区域进行阈值分割进而得到每个led灯在所述二维图像中的成像。

进一步地，在上述的基于计算机视觉的手柄控制器led灯定位方法中，所述对分割错误的图像进行过滤包括：

根据人体工学手臂相对相机的最大作业范围统计不同距离下的led灯成像大小和形态特征；

根据所述成像大小和形态特征去除误分割的图像。

进一步地，所述根据所述成像大小和形态特征去除误分割的图像包括：

将所述led灯成像大小和形态特征作为led成像的先验信息；

根据所述候选区域的大小和相似三角形原理估计手柄控制器与相机的距离，并从所述先验信息中得到所述距离对应的成像大小和形态特征以去除误分割的图像，其中，根据下式计算所述手柄控制器与相机距离：

depth＝(scale_t*f)/scale_p

其中，depth为所述手柄控制器与相机距离，scale_p为物体的最大成像尺寸，scale_t为真实空间中物体的最大尺寸，f为焦距。

本发明的另一实施例提出一种基于计算机视觉的手柄控制器led灯定位系统，包括：

获取单元，用于通过多个摄像头获取手柄控制器多个使用状态下的二维图像；

定位计算单元，用于利用计算机视觉方法对所述二维图像中的led灯进行定位。

本发明的再一实施例提出一种计算机可读存储介质，其存储有计算机程序，在所述计算机程序被执行时，实施根据上述的支持VR一体机多维度内容聚合展示的方法。

本发明实施例提出的基于计算机视觉的手柄控制器led灯定位方法和系统，包括：首先，通过多个摄像头获取手柄控制器多个使用状态下的二维图像，多个摄像头组合可以扩大VR设备的视野，可以完全捕捉运动过程中手柄控制器的成像；进而利用计算机视觉方法对所述二维图像中的led灯进行定位，通过计算控制器上的led灯的成像与相机的关系，完成对led灯的空间定位，从而实现对手柄控制器空间定位以及对手柄控制器的实时跟踪，具有稳定性耐用性高，成本低的优点。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本发明实施例基于计算机视觉的手柄控制器led灯定位方法的流程示意图；

图2示出了本发明实施例步骤S102的流程示意图；

图3示出了本发明实施例步骤S201的流程示意图；

图4示出了本发明实施例步骤S301的流程示意图；

图5示出了本发明实施例步骤S202的流程示意图；

图6示出了本发明实施例去除误分割的图像的示意图；

图7示出了本发明实施例一种基于计算机视觉的手柄控制器led灯定位系统结构示意图。

主要元件符号说明：

10-获取单元；20-定位计算单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

实施例1

本发明实施例着重解决手柄控制器上的led灯定位问题。在VR空间定位交互系统中，通过利用外部摄像头捕获手柄控制器对应的二维图像，利用计算机视觉方法定位手柄控制器上led灯在二维图像中的坐标，进而对led灯进行三维建模，实现对手柄控制器的实时跟踪，从而完成VR的空间定位交互。本发明实施例中涉及的手柄控制器的led灯个数不少于5个，且为红外手柄。

请参照图1，本实施例提出一种基于计算机视觉的手柄控制器led灯定位方法，包括：

步骤S101，通过多个摄像头获取手柄控制器多个使用状态下的二维图像；

步骤S102，利用计算机视觉方法对所述二维图像中的led灯进行定位。

具体地，由于摄像头的视角范围有限，单个摄像头无法完全捕捉运动过程中手柄的成像，多个摄像头组合可以扩大VR设备的视野FOV，因此本发明实施例通过多个摄像头获取得到手柄控制器对应的多幅二维图像。通常，摄像头数目以保证VR设备上下左右的FOV需求范围为宜。

示范性地，参照图2，步骤S102包括：

步骤S201，利用滑动窗口策略对二维图像进行遍历；

步骤S202，对每次滑动窗口遍历后的二维图像区域进行特征提取；

步骤S203，利用分类器对提取到的特征进行分类；

步骤S204，针对分类结果中包含手柄控制器的区域，利用阈值分割方法计算得到每个led灯在二维图像中的成像；

步骤S205，对分割错误的图像进行过滤。

具体地，本发明实施例中用来定位的红外手柄控制器的led灯个数n在5个以上，以辅助后续的三维建模工作。步骤S202中的二维图像区域指对二维图像进行滑动窗口遍历后识别的区域。

示范性地，参照图3，步骤S201包括：

步骤S301，对滑动窗口的尺寸进行选择；

步骤S302，利用滑动窗口对二维图像进行遍历，每次滑动窗口扫描图像的重叠度为窗口较短边的一半。

示范性地，参照图4，步骤S301包括：

步骤S401，统计人工体学手臂相对相机的最大作业范围；

步骤S402，根据最大作业范围计算手柄控制器在二维图像中的尺寸范围；

步骤S403，将尺寸范围分为多个区间段，每个区间段具有不同的宽高比，根据不同的宽高比类型形成多种滑动窗口。

具体地，由于控制器在运动过程中与摄像机的远近和角度不同，控制器在二维图像中的成像存在尺度和姿态各异，因此对滑动窗口的选择有很高的要求。

通过统计人体工学手臂相对相机的最大作业范围可知，普通人手臂相对相机的最大直线作业范围是0-100cm，根据相机与手柄控制器的距离，每隔20cm控制器的成像尺度有一次大的改变。据此，本发明实施例对此设计5种比例划分，5种比例划分可形成9种宽高比，分别为1:1；1:2,1:3,1:4,1:5；2:3,2:5；3:5；4:5，9种宽高比又可以扩成18种尺度。通过统计人体工学手臂相对相机的最大作业范围，计算得到控制器在图像中的尺度范围(C1,C2)，为了更精细地覆盖住不同尺度的目标，将(C1,C2)分成10个区间，每个区间对应18种比例，则总共包含180种滑动窗口，即可设置共180种滑动窗口遍历二维图像。每次滑动窗口扫描图像的重叠度为窗口较短边的一半，能够保证扫描窗口以更大的概率包含控制器，并满足控制器在扫描窗口的中心

示范性地，参照图5，步骤S202包括：

步骤S501，根据应用的计算容量设计特征金子塔FPN网络；

步骤S502，利用特征金子塔FPN网络对遍历后的二维图像区域进行特征提取。

具体地，由于不同图像区域对应的控制器成像尺寸和形态各不相同，一般的网络仅能对同一个尺寸的图片进行网络训练，存在较大应用局限性。为更好地适应不同尺寸图片的需要，本发明实施例构建了一个较小的特征金子塔FPN网络来适应更多尺寸的图片，进而进行特征提取。另外，由于需要实现对控制器的实时跟踪，对计算的时效性要求比较高，因此采用金字塔FPN网络来对图像进行特征提取，能够在有效提取图像特征的同时，兼顾目标的多尺度信息。需要注意的是，由于神经网络伴随着大量的计算，因此需要根据用于进行手柄led灯定位的应用本身所需的计算容量来设计尺寸合适的FPN网络。

示范性地，步骤S203包括：

使用支持向量机SVM分类器对提取到的特征进行分类；

根据所述手柄控制器在候选区域的位置判断所述候选区域是否完整包含手柄控制器；

若未完整包含，则舍弃所述候选区域。

具体地，使用SVM分类器对提取到的特征进行分类以判断候选区域是否包含控制器，当候选区域只包含控制器一部分时，则不认为该候选区域包含控制器。本发明实施例中不需要对SVM分类器进行额外处理，只需在制作训练集过程中指定好样本的类别。

示范性地，步骤S204包括：

对包含手柄控制器的候选区域计算自适应阈值，其中，自适应阈值的计算方法包括，但不限于，大律法；

利用自适应阈值对所述候选区域进行阈值分割进而得到每个led灯在所述二维图像中的成像。

具体地，通过前述过程确定包含控制器的候选区域后，针对候选区域计算自适应阈值，并利用自适应阈值对所述候选区域进行阈值分割进而得到每个led灯在所述二维图像中的成像。

示范性地，步骤S205包括：

根据人体工学手臂相对相机的最大作业范围统计不同距离下的led灯成像大小和形态特征；

根据成像大小和形态特征去除误分割的图像。

具体地，由于传统阈值分割的鲁棒性差，会产生比较多的误分割目标。通过候选区域的大小，结合相机参数可以估计控制器与相机的距离，离相机近的led成像大，离相机远的led成像小，根据人体工学手臂相对相机的最大作业范围，统计不同距离阶段的led成像大小、形态特征。本发明实施例通过尺度阈值、形态阈值去除误分割目标，滤除错误检测的结果可参照图6进行理解。图6中，o为相机光圈中心，scale_p为图像平面中物体的最大scale,scale_t为真实空间中物体的最大scale，f为焦距，depth为真实空间中物体离相机的距离。根据相机成像的相似三角形原理(depth/f)＝(scale_t)/scale_p，可得depth＝(scale_t*f)/scale_p。根据人体工学手臂相对相机的最大作业范围，多次采集图像，统计不同距离对应led的成像大小和形态，作为led成像的先验信息，通过候选区域的大小可以估计控制器与相机的距离depth,然后从先验信息中得到当前depth对应的成像大小和形态，从而去除误分割的目标。

本发明实施例提出的基于计算机视觉的手柄控制器led灯定位方法，首先，通过多个摄像头获取手柄控制器多个使用状态下的二维图像，多个摄像头组合可以扩大VR设备的视野，可以完全捕捉运动过程中手柄控制器的成像；通过人体工学手臂的可作业范围，设计不同宽高比、不同尺度的滑动窗口，对二维图像进行遍历，对通过滑动窗口遍历得到的候选区域，通过一个比较小的FPN网络进行特征提取实现对图片的训练，利用svm分类器对提取到的特征进行分类，得到包含控制器的候选区域，并根据候选区域大小，预估手柄控制器与相机的距离，进而通过计算控制器上的led灯的成像与相机的关系，完成对led灯的空间定位，从而实现对手柄控制器空间定位以及对手柄控制器的实时跟踪，具有稳定性耐用性高，成本低的优点。

实施例2:

参照图7，一种基于计算机视觉的手柄控制器led灯定位系统，包括：

获取单元10，用于通过多个摄像头获取手柄控制器多个使用状态下的二维图像；

定位计算单元20，用于利用计算机视觉方法对所述二维图像中的led灯进行定位。

可以理解，上述的一种基于计算机视觉的手柄控制器led灯定位系统对应于实施例1的一种基于计算机视觉的手柄控制器led灯定位方法。实施例1中的任何可选项也适用于本实施例，这里不再详述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。