一种高鲁棒性的反向光学大范围跟踪方法和系统

技术领域

本发明涉及光学定位技术领域，更具体地，涉及一种高鲁棒性的反向光学大范围跟踪方法和系统。

背景技术

由相机进行光学定位的系统可以分为两种类型，一种称为由外向内的方法，安装在环境中固定位置的相机拍摄移动的目标，当多个相机同时捕捉到同一个目标，就可以使用多视角几何的原理来解算出目标的三维位置，并估算出目标朝向，缺点是系统需要使用多摄像机，标定复杂，位姿精度会随着摄像机到标记点的距离线性下降；

另一种称为由内而外的方法，是一种正好相反的策略，它直接把相机放到跟踪的目标上，通过追踪外界固定的标记（可以是人工设置，也可以是自然纹理特征），使用透视投影原理解算出相机自身的位姿，这种解算自身位姿的方法系统较为简单，易于扩展到大范围的跟踪区域中。现有方法在设计追踪所需的标记点时，要么设计为不连续的基准标记，只能在标记物周围小范围内使用，不能应用在大范围连续追踪，要么设计的连续标记点冗余度不够，易受遮挡影响，姿态解算的鲁棒性不足。

现有技术中公开了一种用于对移动对象进行反向光学跟踪的系统和方法，跟踪方法包括通过检测和配准基本光学图案的独特组合来自动调节跟踪区域的步骤，以及通过检测基本光学图案的独特组合及将该独特组合与在跟踪区域调节期间配准的基本光学图案的独特组合的比较来跟踪移动对象的位置和/或取向的变化的步骤；用于跟踪移动对象的系统包括处于移动对象上的至少一个跟踪器，该跟踪器包括光学传感器、至少一个标记条和中央处理单元，该至少一个标记条包括在从光学传感器获得的图像中形成基本光学图案的有源标记；该现有技术中的方案使用三个点组成的有向图案作为基本单位，通过基本单位的组合进行图案的编解码，同时混合使用了陀螺仪数据，当检测到的点阵能够成功匹配离线注册的点阵时，可以得到点的二维-三维对应；但该技术方案的纯光学方法鲁棒性不足，三个点组成的基本图元冗余度不高，很容易受遮挡的影响而无法匹配成功，而使用增加陀螺仪数据增强鲁棒性的方法，会使系统因为多出了一个传感器而变得笨重，同时增加成本。

发明内容

本发明为克服上述现有技术中光学追踪定位易受遮挡影响而失效、鲁棒性不足、成本较高，以及跟踪范围小的缺陷，提供一种高鲁棒性的反向光学大范围跟踪方法和系统，拥有更大的冗余度且复杂度较低，能够提升光学追踪定位的鲁棒和定位精度。

为解决上述技术问题，本发明的技术方案如下：

一种高鲁棒性的反向光学大范围跟踪方法，包括以下步骤：

S1：在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；

每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；

S2：利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；

所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；

S3：获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；

S4：利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；

S5：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。

优选地，所述步骤S1之前还包括：对跟踪区域进行网格划分；

所述步骤S1中，在跟踪区域内的网格中不重叠地设置至少2个基本图元，每个所述基本图元的共线方向均与网格边界平行或垂直。

优选地，所述步骤S1中，每个基本图元的交比值不同的设置方法为：

每个所述基本图元中，点A和点D之间的距离相等，且线段BC长度不相等。

优选地，所述步骤S2中，获取跟踪区域的实拍图像后还包括：对所述跟踪区域的实拍图像进行畸变校正。

优选地，所述步骤S3中，根据以下公式计算并获取所述跟踪区域的实拍图像中基本图元的交比值：

其中，

优选地，所述步骤S4中，利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系的具体方法为：

将跟踪区域的实拍图像中至少2个不共线的基本图元的交比值与跟踪区域的匹配模板中每个基本图元的交比值进行匹配；

将跟踪区域的实拍图像与跟踪区域的匹配模板中交比值相同的每个基本图元一一对应，获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系。

优选地，所述步骤S2和S5中，摄像机的成像模型为：

其中，

优选地，所述步骤S5中，利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，具体方法为：

S5.1：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系获取至少2组不共线且一一对应的基本图元；

S5.2：将每组一一对应的基本图元中点A、线段BC的端点B和端点C，以及点D的坐标分别建立

S5.3：根据每组基本图元中所有点的

S5.4：计算并求解所述PnP问题，获取摄像机的旋转矩阵

优选地，所述步骤S5.4中计算并求解PnP问题的具体方法为：直接线性变换DLT、EPnP、SDP、P3P、UPnP和非线性优化方法中的任意一种。

本发明还提供一种高鲁棒性的反向光学大范围跟踪系统，应用上述的一种高鲁棒性的反向光学大范围跟踪方法，包括：

模板生成单元：用于在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；

每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；

拍摄单元：用于利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；

所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；

交比值计算单元：用于获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；

图像匹配单元：用于利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；

定位跟踪单元：用于利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供一种高鲁棒性的反向光学大范围跟踪方法和系统，首先在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；之后利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪；

本发明具有以下优点：

1）本发明所使用的基本图元的标志点编码简易，仅由点和线段构成，在现实环境中部署较为方便；

2）本发明的基本图元具备良好的扩展性，可根据现场环境灵活布局，跟踪面积可扩展至数百平米，跟踪范围较大；

3）本发明中的每个基本图元都可以根据交比值直接计算和模板图元的匹配，不依赖其相邻图元的位置关系，计算量小，从而降低了对处理设备的性能要求；

4）本发明所用基本图元的编码图案中包含了线段，并利用点和线段的共线约束识别标记点，相对于单纯使用点的编码方案，能排除大部分图像噪点的干扰，其鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。

附图说明

图1为实施例1所提供的一种高鲁棒性的反向光学大范围跟踪方法流程图。

图2为实施例2所提供的基本图元示意图。

图3为实施例2所提供的跟踪区域的匹配模板示意图。

图4为实施例2所提供的包含基本图元的跟踪区域的实拍图像。

图5为实施例2所提供的利用共线特征确定跟踪区域的实拍图像中的每个基本图元的示意图。

图6为实施例2所提供的根据基本图元交比值将跟踪区域的实拍图像与匹配模板对应的示意图。

图7为实施例3所提供的一种高鲁棒性的反向光学大范围跟踪系统结构图。

具体实施方式

附图仅用于示例性说明，不能理解为对本申请的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，本实施例提供一种高鲁棒性的反向光学大范围跟踪方法，包括以下步骤：

S1：在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；

每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；

S2：利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；

所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；

S3：获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；

S4：利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；

S5：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。

在具体实施过程中，首先在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；该步骤用于图案编码，跟踪区域的匹配模板用于后续图案的解码匹配；

之后利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；

获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；

利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；该步骤为解码步骤，由于在摄影变换中交比值保持不变，故一个基本图元中的4个点在匹配模板和实拍图像中的交比值均保持不变，这也是进行对应点识别的理论基础；

最后利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪；

本方法所使用的基本图元的标志点编码简易，仅由点和线段构成，在现实环境中部署较为方便，且基本图元具备良好的扩展性，可根据现场环境灵活布局，跟踪面积可扩展至数百平米，跟踪范围较大；同时，本方法中的每个基本图元都可以根据交比值直接计算和模板图元的匹配，不依赖其相邻图元的位置关系，计算量小，从而降低了对处理设备的性能要求；另外，本方法所用基本图元的编码图案中包含了线段，并利用点和线段的共线约束识别标记点，相对于单纯使用点的编码方案，能排除大部分图像噪点的干扰，其鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。

实施例2

本实施例提供一种高鲁棒性的反向光学大范围跟踪方法，包括以下步骤：

S1：对跟踪区域进行网格划分，在跟踪区域的网格内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；

每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；每个所述基本图元的共线方向均与网格边界平行或垂直；

每个基本图元的交比值不同的设置方法为：

每个所述基本图元中，点A和点D之间的距离相等，且线段BC长度不相等；

S2：利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像，并对所述跟踪区域的实拍图像进行畸变校正；

所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；

S3：获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；

S4：利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；

S5：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪；

所述步骤S3中，根据以下公式计算并获取所述跟踪区域的实拍图像中基本图元的交比值：

其中，

所述步骤S4中，利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系的具体方法为：

将跟踪区域的实拍图像中至少2个不共线的基本图元的交比值与跟踪区域的匹配模板中每个基本图元的交比值进行匹配；

将跟踪区域的实拍图像与跟踪区域的匹配模板中交比值相同的每个基本图元一一对应，获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；

所述步骤S2和S5中，摄像机的成像模型为：

其中，

所述步骤S5中，利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，具体方法为：

S5.1：利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系获取至少2组不共线且一一对应的基本图元；

S5.2：将每组一一对应的基本图元中点A、线段BC的端点B和端点C，以及点D的坐标分别建立

S5.3：根据每组基本图元中所有点的

S5.4：利用直接线性变换DLT、EPnP、SDP、P3P、UPnP和非线性优化方法中的任意一种方法计算并求解所述PnP问题，获取摄像机的旋转矩阵

在具体实施过程中，本实施例的方案使用点和直线的组合对图案进行编码，得到基本图元间的几何不变量进行离线注册，在实时定位追踪的过程中，对相机拍摄的图像进行预处理，识别出每一个基本图元，之后还原基本图元组合的几何不变量，与离线注册表进行匹配和基本图元编号的解码，最终使用得到的点的二维-三维关系使用多个点求解单应矩阵的方法进行相机的外参的计算，得到包括旋转和位移的相机六自由度位姿，主要流程如下所示：

编码部分：

Step1：确定跟踪区域的长宽尺寸；

Step2：将跟踪区域用正方形网格划分，确定长和宽所占的网格数；

Step3：将数量的基本图元放入网格内，保证所有基本图元不重叠；

Step4：编码结束，保存当前的基本图元布局作为匹配模板；

解码部分：

Step1：摄像机拍摄场地内的标记点图像，并对图像进行畸变校正；

Step2：通过图像处理算法得到畸变校正后图像中的点、线的图像坐标；

Step3：通过点、线的共线关系等特征识别基本图元；

Step4：利用基本图元的交比值建立实拍图像点与匹配模板的对应关系；

Step5：通过上述对应点计算摄像机位姿，实现定位；

本方法中的基本图元如图2所示，其包含两个点和一条线段，其中点和线段的端点按照从左到右的顺序分别定义为A、B、C、D，上述4点共线；在本实施例中，每个基本图元都是独一无二的，交比值都互不相同；本实施例中改变交比值的方法为：线段AD的长度固定且已知，点B、C的位置各个基本图元均不相同；

在射影几何中，有关于交比的定义，用cr代表交比，因此，基本图元的交比值为：

其中，

由上式可知，当B、C点位置不同时，每个基本图元的交比值都不相同；由于在摄影变换中交比保持不变，故一个基本图元中的上述4点在匹配模板和实拍图像中的交比均保持不变，这是进行对应点识别的理论基础；

在跟踪区域的大小确定后，可将其用正方形网格划分；如图3所示，在跟踪范围内的各个网格区域分别布置一定数量（至少2个）的基本图元，注意各个基本图元的交比值不同，每个基本图元的共线方向均与网格边界平行或垂直；由此即完成了跟踪区域的编码，图3所示的编码图即是跟踪区域的匹配模板，可用于后续解码匹配；

通常摄像机拍摄的图像只涵盖了部分跟踪区域，在透视变换下，基本图元往往并不能如模板图像中那般始终保持水平和垂直的形态，举例如图4所示；

由于透视变换不改变点的共线性质，所以可以通过线段和与其相邻的共线点来提取基本图元，如图5所示；

然后根据上述交比值的计算公式可以计算出识别到的基本图元的交比，然后与匹配模板中的基本图元交比进行对比，找到交比一致的图元即可完成匹配，如图6所示；

经过上述处理，便得到了摄像机图像中的二维像素点与实物模板中的三维空间点之间的对应关系，由此可以计算摄像机位姿；摄像机的成像模型如下式所示：

其中，

在已知

对于上述PnP问题，在空间三维点共面和摄像机内参数

本方法所使用的基本图元的标志点编码简易，仅由点和线段构成，在现实环境中部署较为方便，且基本图元具备良好的扩展性，可根据现场环境灵活布局，跟踪面积可扩展至数百平米，跟踪范围较大；同时，本方法中的每个基本图元都可以根据交比值直接计算和模板图元的匹配，不依赖其相邻图元的位置关系，计算量小，从而降低了对处理设备的性能要求；另外，本方法所用基本图元的编码图案中包含了线段，并利用点和线段的共线约束识别标记点，相对于单纯使用点的编码方案，能排除大部分图像噪点的干扰，其鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。

实施例3

如图7所示，本实施例提供一种高鲁棒性的反向光学大范围跟踪系统，应用实施例1或2所述的一种高鲁棒性的反向光学大范围跟踪方法，包括：

模板生成单元301：用于在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；

每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；

拍摄单元302：用于利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；

所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；

交比值计算单元303：用于获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；

图像匹配单元304：用于利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；

定位跟踪单元305：用于利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪。

在具体实施过程中，首先模板生成单元301在跟踪区域内不重叠地设置至少2个基本图元，并获取跟踪区域的匹配模板；每个所述基本图元均包括共线且依次设置的点A、线段BC和点D；每个所述基本图元的交比值不同；该步骤用于图案编码，跟踪区域的匹配模板用于后续图案的解码匹配；

之后拍摄单元302利用摄像机拍摄设置有基本图元的跟踪区域的图像，获取跟踪区域的实拍图像；所述跟踪区域的实拍图像中至少包括2个不共线的基本图元；

交比值计算单元303获取所述跟踪区域的实拍图像中至少2个不共线的基本图元的交比值；

图像匹配单元304利用跟踪区域的实拍图像中至少2个不共线的基本图元的交比值获取跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系；该步骤为解码步骤，由于在摄影变换中交比值保持不变，故一个基本图元中的4个点在匹配模板和实拍图像中的交比值均保持不变，这也是进行对应点识别的理论基础；

最后定位跟踪单元305利用所述跟踪区域的实拍图像与跟踪区域的匹配模板的对应关系计算摄像机的位姿，完成反向光学定位跟踪；

本系统所使用的基本图元的标志点编码简易，仅由点和线段构成，在现实环境中部署较为方便，且基本图元具备良好的扩展性，可根据现场环境灵活布局，跟踪面积可扩展至数百平米，跟踪范围较大；同时，本系统中的每个基本图元都可以根据交比值直接计算和模板图元的匹配，不依赖其相邻图元的位置关系，计算量小，从而降低了对处理设备的性能要求；另外，本系统所用基本图元的编码图案中包含了线段，并利用点和线段的共线约束识别标记点，相对于单纯使用点的编码方案，能排除大部分图像噪点的干扰，其鲁棒性更强，并且由于是纯光学定位和计算位姿，比使用混合传感的系统定位精度更高，成本也更低廉。

本发明的关键点在于标志点仅使用了直线和点这种最简单的图形组合，其编、解码方式具有编码方案简单，解码处理流程简洁，实时性高、鲁棒性好的特点；其中标志点的编码构建方法和对应的解码方法为本发明的保护点；通过点和直线端点组成基本图元进行匹配获取二维-三维对应关系等与直线和点组合编解码的方法都在本发明的保护范围之内；

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本申请的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。