基于新型标定模型的光学跟踪与深度相机坐标的标定方法

技术领域

本发明涉及机器视觉标定技术领域，具体涉及一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法。

背景技术

随着成像技术和立体定位技术的发展，手术导航系统越来越多的应用在骨科，神经外科，耳鼻喉科等外科手术中。手术导航系统中一个重要的部分是手术器械的跟踪技术，常用的跟踪技术有光学跟踪，机械跟踪，超声波跟踪，电磁跟踪等，其中光学跟踪是目前手术导航系统中使用的主流跟踪方法。光学跟踪采用光学定位标志作为目标，光学定位标志上固定有反光小球，摄像机周围安装红外光源，小球反射的红外光被摄像机获取，便可计算光学定位标志在光学跟踪系统坐标系中的相对空间位置，实时地为手术引导提供所需的位置信息。

深度相机是一种获得三维表面点云数据的技术，主流的深度相机主要使用以下三种技术：结构光法，通过激光器发射预先设定的具有一定结构特征的图像，根据拍摄的图像中结构特征的变化计算成深度信息；飞行时间(ToF)法：给目标连续发射激光脉冲，根据传感器获得反射后的脉冲信息计算飞行往返时间来得到确切的距离；双目法：使用两个间隔一定距离放置的摄像机拍摄被测物体的两幅图像，通过计算对应点的位置偏差来获得物体三维几何信息。医学影像中常用的是深度相机是美国微软公司推出的Kinect，它使用的是飞行时间法，可以同时拍摄彩色图像和点云数据。现有的一种技术使用了Kinect跟踪手术过程中针的运动，现有的一种技术使用了Kinect提供2D/3D配准的的初始数据，现有的一种技术使用了Kinect跟踪脑部正电子发射断层成像过程中头的运动，现有的一种技术将Kinect集成到一个展示法医数据的增强现实系统中，现有的一种技术开发了基于Kinect的经皮穿刺手术导航系统，可以说Kinect这类深度相机在医学领域发挥着越来越大的作用。

深度相机采集到的点云数据与光学跟踪获得的位置信息相比，能够提供被拍摄场景中各个物体表面的几何信息和场景内各个物体的位置关系，而光学跟踪仅仅能提供光学定位标志所附着某一点位置，因此深度相机提供的点云数据在手术导航中具有不可替代的地位。但由于两种设备使用不同的坐标系，如不统一到同一个坐标系中则需要在后续步骤中进行额外的处理，为了避免额外处理需要一种标定方法计算这两个坐标系的变换关系，将其中一个坐标系转换到另外一个设备的坐标系中。

P

计算两个坐标系之间的变换矩阵(假设为刚体变换)实际要求的是公式(1)中的R与T使得式(1)对任意一对P

P

其中，T

对于一个绕x轴旋转α，绕y轴旋转β，绕z轴旋转γ，在x轴方向位移为x

因此，现有技术存在以下缺点：

1、需要多次手工移动带有光学标志点的定位标志才能获得多组光学跟踪坐标系中的点。

2、难以简便得获得光学跟踪坐标系中点在深度相机坐标系中的对应点。

发明内容

本发明的目的在于提供一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，该方法避免了传统标定方法需要多次手工移动光学定位标志，以及深度相机难以自动提取标志点位置等问题，能够实现自动，快速，精确标定。

为解决上述问题，本发明所采用的技术方案如下：

基于新型标定模型的光学跟踪与深度相机坐标的标定方法，该方法包括以下步骤：

提供一带有光学定位标志的棋盘格，将所述棋盘格放置在光学跟踪设备的有效范围内，并将所述棋盘格正面朝向深度相机；

通过光学跟踪系统获得光学标记点的空间位置与姿态，并根据所述棋盘格上各个拐角点到光学标志点的位置偏移量求出各个拐角点在光学跟踪坐标系中的位置；

通过深度相机获取所述棋盘格的图像信息，提取所述棋盘格的拐角点坐标，将该拐角点坐标转换到深度相机坐标系；

在获得超过三组对应拐角点坐标时计算深度相机坐标系到光学跟踪坐标系的空间变换矩阵，完成标定过程。

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，所述光学定位标志为所述棋盘格一侧上角相互固定呈L型的三个红外光学敏感小球。

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，所述通过光学跟踪设备获得光学标记点的空间位置与姿态，包括：

通过光学跟踪系统获取3个红外光学敏感小球相对于光学跟踪系统自身坐标系{O}的各种空间位置，分布表示为：p

根据p

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，根据所述L型标记架与所述棋盘格标记架的相对位置p

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，采用Harris算法提取棋盘格内的拐角点，使用一个固定窗口在获取到的图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况下窗口中的像素灰度变化程度；

若存在任意方向上的滑动都有着较大灰度变化，则认为该窗口中存在角点；

设置图像I在坐标(x,y)灰度变换表述为：R＝∑(I(x+u,y+v)-I(x,y))

将公式(1)变换为公式(2)：

其中，公式(2)的中间矩阵是协方差矩阵，表征所有方向上的强度变化率；

通过计算图像的局部协方差矩阵的特征值，确定棋盘格上内角点在图像上的坐标位置(u,v)，该坐标位置(u,v)为二维像素坐标。

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，所述将该拐角点坐标转换到深度相机坐标系，包括：

采用双目视觉的立体成像原理，将二维像素坐标(u,v)转换成深度相机下的空间齐次坐标(X,Y,Z,W)，表示为公式(3)：

其中，f

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，定义重投影矩阵Q计算得到点的三维坐标为公式(4)：

其中，b为基线距离，(c

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，通过深度图的视差值d和重投影矩阵Q将像素点(u,v)投影到三维空间

通过计算得到的投影矩阵Q＝T

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，获得在光学跟踪系统下的棋盘格内角点p

获得同一棋盘格内角点p

根据本发明提供的一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，基于K个三维空间的几何点集对，通过最小二乘法，求解从深度相机坐标系{D}到光学跟踪坐标系{O}的空间变换矩阵T

T

由此可见，相对于现有技术，本发明具有以下有益效果：

1、本发明使用棋盘格使得自动化可见光图像中的拐角点成为可能，在相机厂家SDK的支持下可以间接获得深度相机坐标系中该拐角点的坐标，简化了获得深度相机坐标系中对应点的过程，避免了处理点云数据中数据量大，速度慢的缺点，也不需要特殊设计的深度相机标定模型。

2、本发明通过定位标志(如L型)可以提供光学跟踪坐标系下的位置和姿态信息，通过位置和姿态信息，加上棋盘格中各个拐角点相对于L型光学标志点的位置偏移量，可以计算出各个拐角点在光学跟踪坐标系中的位置。

通过以上两种设计，本发明解决了获得光学跟踪坐标系中点在深度相机坐标系中的对应点的问题，也避免了手工移动光学标志点。

下面结合附图和具体实施方式对本发明作进一步详细说明。

附图说明

图1是本发明一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法实施例的流程图。

图2是本发明一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法实施例的原理图。

图3是本发明一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法实施例中关于新型标定模型的结构图。

图4是本发明一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法实施例中关于图像中棋盘格内角点的检测结果示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本实施例提供的标定方法开始前，首先需要固定光学跟踪系统与深度相机的相对位置，在标定过程中和标定后都需要保持该相对位置不变，另外还需要测的棋盘格上各个拐角点到光学标志点的位置偏移量。详细的标定过程如下：

参见图1至图4，本发明提供一种基于新型标定模型的光学跟踪与深度相机坐标的标定方法，该方法包括以下步骤：

步骤S1，提供一带有光学定位标志的棋盘格，将棋盘格放置在光学跟踪设备的有效范围内，并将棋盘格正面朝向深度相机，从而使得深度相机拍摄到的可见光图像内拐角点清晰可辨。

步骤S2，由于光学定位标志为棋盘格一侧上角相互固定呈L型的三个红外光学敏感小球，即棋盘格左上角固定呈L型的三个红外光学敏感小球，可通过光学跟踪系统获得光学标记点的空间位置与姿态，并根据棋盘格上各个拐角点到光学标志点的位置偏移量求出各个拐角点在光学跟踪坐标系中的位置。

步骤S3，通过深度相机获取棋盘格的图像信息，提取棋盘格的拐角点坐标，将该拐角点坐标转换到深度相机坐标系。其中，可以通过深度相机厂商提供的SDK转换到深度相机坐标系。

步骤S4，在获得超过三组对应拐角点坐标时计算深度相机坐标系到光学跟踪坐标系的空间变换矩阵，完成标定过程。

在上述步骤S2中，通过光学跟踪设备获得光学标记点的空间位置与姿态，包括：

首先，通过光学跟踪系统获取3个红外光学敏感小球相对于光学跟踪系统自身坐标系{O}的各种空间位置，分布表示为：p

根据p

然后，根据L型标记架与棋盘格标记架的相对位置p

因此，本实施例设计了新型的标定模型，如图2和3所示，该标定模型结合了传统相机标定使用的棋盘格与一“L”型光学定位标志，不需要手动移动带有光学标志点的定位标志就可以获得多组光学跟踪坐标西中的坐标，可以快速，准确地提取深度相机拍摄的点云数据中光学跟踪坐标的对应点，避免了复杂的点云处理。

当然，本实施例采用棋盘格作为可见光标定模板，但并不局限于这一种标定板，只要能简便的从可见光图像中提取特定点坐标的图案都可以作为标定板。光学定位标志不局限于“L”型，也可以为“+”或“X”型，只要保证能求得该标志与可见光标定模板上目标点之间的偏移量即可。

在上述步骤S3中，采用Harris算法提取棋盘格内的拐角点，该角点检测算法基本思想是使用一个固定窗口(取某个像素的一个邻域窗口)在获取到的图像上进行任意方向上的滑动，比较滑动前与滑动后两种情况下窗口中的像素灰度变化程度；

若存在任意方向上的滑动都有着较大灰度变化，则可以认为该窗口中存在角点；

在数学上，设置图像I在坐标(x,y)灰度变换表述为：R＝∑(I(x+u,y+v)-I(x,y))

将公式(1)变换为公式(2)：

其中，公式(2)的中间矩阵是协方差矩阵，表征所有方向上的强度变化率。协方差矩阵是一个实对称矩阵，它的两个特征值λ

在本实施例中，将该拐角点坐标转换到深度相机坐标系，包括：

采用双目视觉的立体成像原理，本实施例可以进一步将二维像素坐标(u,v)转换成深度相机下的空间齐次坐标(X,Y,Z,W)，表示为公式(3)：

其中，f

在双目视觉中，不同位置的目标物体在图像平面上有不同的落点，不同位置的图像点其d＝L-R的值也不相同。d与图像的z轴坐标存在反比关系。假设左右相机之间的基线距离表示为b，即Z＝f×b/(L-R)＝f×b/d。因此通过对应点之间的坐标关系，可以推算得到图像点对应的空间位置坐标。因此，定义重投影矩阵Q计算得到点的三维坐标为公式(4)：

其中，b为基线距离，(c

这样，通过计算得到的投影矩阵Q＝T

在上述步骤S4中，通过上述步骤S3后，可以获得在光学跟踪系统下的棋盘格内角点p

同时，通过上述步骤，可获得同一棋盘格内角点p

在本实施例中，基于35个三维空间的几何点集对，通过最小二乘法，求解从深度相机坐标系{D}到光学跟踪坐标系{O}的空间变换矩阵T

T

本实施例由该方法计算得到的转换矩阵与手工选取对应点误差很小；使用求得的转换矩阵在其他已知点上验证时的误差很小。

综上可得，本实施例使用棋盘格使得自动化可见光图像中的拐角点成为可能，在相机厂家SDK的支持下可以间接获得深度相机坐标系中该拐角点的坐标，简化了获得深度相机坐标系中对应点的过程，避免了处理点云数据中数据量大，速度慢的缺点，也不需要特殊设计的深度相机标定模型。本实施例通过定位标志(如L型)可以提供光学跟踪坐标系下的位置和姿态信息，通过位置和姿态信息，加上棋盘格中各个拐角点相对于L型光学标志点的位置偏移量，可以计算出各个拐角点在光学跟踪坐标系中的位置。

因此，本实施例新设计的标定方法同时利用了棋盘格与光学定位标志，通过提取棋盘格中各个拐角点在深度相机坐标系中的位置信息，光学定位标志在光学跟踪系统坐标系中的位置、姿态，可以自动，精确，高速地计算出两个坐标系统之间的变换关系，解决了获得光学跟踪坐标系中点在深度相机坐标系中的对应点的问题，避免了传统标定方法需要多次手工移动光学定位标志，以及深度相机难以自动提取标志点位置的问题。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。