一种双目视频图像的实时匹配方法

技术领域

本发明涉及图像匹配领域，特别是涉及一种优化的基于FAST的双目图像特征点匹配方法。

背景技术

双目图像匹配是双目视觉中的关键技术，也是决定双目视觉获得的三维场景是否真实的技术。正确匹配同名点的数量越多，获得的三维场景信息就越真实。双目图像匹配遵循核线约束的原则，即左图像上某核线上的像素点在右图像上的同名点一定在同名核线上。减少了同名点的搜索范围，加快了搜索效率。

目前的特征匹配算法主要包括SIFT、SURF、FAST、ORB等算法。其中SIFT算法对抗旋转、尺度缩放有较好的效果，但是其本身计算复杂。SURF是对SIFT算法的改进，加快其计算速度。FAST算法的计算效率高，检测速度快。本专利对双目图像正确匹配的同名点数量较少进行改进，采用FAST算法进行特征点的检测与提取，根据核线约束原则对核线上的特征点进行匹配。且在核线约束的基础上，提出了对右核线提取特征点时扩大范围的方式进行改进达到正确匹配数量增加的效果。对双目视觉技术恢复三维空间信息有很重要的意义。

发明内容

技术问题：本发明要解决的技术问题是：提供一种正确同名点多的双目视频图像的实时匹配方法，为双目视觉恢复三维空间信息提供丰富信息。

技术方案：为解决上述技术问题，本发明采用的技术方案是：一种双目视频图像的实时匹配方法，其特征在于，该方法包括：

步骤10)使用半径为2个像素的FAST算子对双目图像进行全局特征点提取，生成特征点位置矩阵；

步骤20)用共面条件法求解左图像上左核线与右图像上对应核线，记录核线上特征点的位置；

步骤30)对左图像进行逐条核线上特征点在右图像上进行匹配，匹配时对右图像的同名核线及上下相邻核线上进行搜索和相关运算，提取最佳匹配点。

所述的步骤10)具体包括：

步骤101)将FAST算子的半径设为两个像素，以待检测点为中心，两个像素为半径，共提取其周围12个像素点的灰度值，如图1所示；

步骤102)给定一个阈值t，如果12个像素点有连续8个以上的点都大于或都小于该待检测点的灰度值，且差值大于阈值t，那么该点就被判断为特征点。左图像的阈值t设为50，右图像阈值t设为30，对左右两幅图像进行特征点提取；

步骤103)设置一个与左图像同样大小的矩阵M，在左图像上搜索到的特征点位置，在矩阵M中相同位置上设为255，其余全设为0，就得到了左图像特征点位置矩阵M。同理可以得到右图像的位置矩阵M′，以便于下一步搜索。

所述的步骤20)具体包括：

步骤201)左图像摄影中心S与右图像摄影中心S′的连线为基线B。将左图像的某一列中每一个像素点设为每一条左核线的计算初始点a，通过共面条件：

步骤202)左图上左核线与右图像上的同名核线共面，则左核线上点与右核线上点共面。通过共面条件：

步骤203)搜索每一个核线向量

所述步骤30)具体包括：

步骤301)根据左图像的左核线向量以及记录在核线上的像素点的列号，计算核线上所有特征点的位置，并根据右图像对应核线以及其上下相邻核线共三条核线的核线向量以及记录的像素点列号，计算三条核线上所有特征点的位置；

步骤302)以左图像左核线上特征点为中心，在左图像上提取13*13的灰度矩阵。以右图像上三条核线特征点为中心，在右图像上提取13*13的灰度矩阵；

步骤303)将左图像提取的矩阵与右图像提取的矩阵逐一计算相关系数，取相关系数最大且大于阈值的点对为同名点。

有益效果：与现有技术相比，本发明技术方案具有以下有益技术效果：

本发明中FAST算子半径采用两个像素，加快了搜索特征点的效率。且扩大右图像搜索特征点的核线范围，大大增加了正确的特征点匹配数量。

附图说明

图1直径为2个像素的FAST算子示意图；

图2特征点搜索范围示意图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步的介绍。

本具体实施方式公开了一种双目视频图像的实时匹配方法，包括以下步骤：

步骤10)使用半径为2个像素的FAST算子对双目图像进行全局特征点提取，生成特征点位置矩阵。具体实施步骤如下：

本发明具体实施方式采用两个摄像头采集的同一时刻不同方位的1920*1080像素的地面图像作为实验的原始左、右图像，且两个摄像头的内外方位元素已知。按照式(1)进行畸变改正：

其中，x′、y′是畸变改正后的横纵坐标，x、y是未进行畸变改正的像点坐标，k

将畸变改正后的左、右图像除边缘两个像素外的其他点都作为特征点检测点。以左、右图像的左上角像素点为原点，图像像素自上而下为X轴正方向，自左向右为Y轴正方向。以检测点(x

同时设置一个与左图像同样大小的矩阵M，在左图像上搜索到的特征点位置在矩阵M中相同位置上设为255，其余全设为0，就得到了左图像特征点位置矩阵M。同理可以得到右图像的位置矩阵M′，以便于下一步搜索。

步骤20)用共面条件法求解左图像上左核线与右图像上对应核线，提取核线向量，记录核线上特征点的位置。具体实施步骤如下：

左图像摄影中心S与右图像摄影中心S′的连线为基线B。求过左图像Y＝0上所有点的左核线，以及这些左核线在右图像上的对应核线。以左图像核线上任意一点a(x

计算点a在像空间辅助坐标系下的坐标，计算如式(2)所示。通过共面条件，求取过a点核线上另一点b的坐标(x

式(2)、(3)中，x

通过共面条件求取过点a(x

式(4)中，v

搜索每一个核线向量

步骤30)对左图像进行逐条核线上特征点在右图像上进行匹配，匹配时对右图像的同名核线及上下相邻核线上进行搜索和相关运算，提取最佳匹配点。具体实施步骤如下：

根据左图像左核线上记录的特征点的Y轴值，通过步骤20)中计算出的该核线向量来计算特征点的位置，并以该位置为中心，提取左图像上13*13大小范围的像素灰度值，写成13*13的灰度矩阵。同时根据右图像对应核线以及其上下相邻核线共三条核线记录的特征点的Y轴值，计算三条核线的特征点位置，同样在右图像提取出13*13大小范围的像素灰度值，写成13*13的灰度矩阵。

将左核线上提取的灰度矩阵逐一与右图像三条核线提取的灰度矩阵计算相关系数计算公式如式(5)所示：

其中m、n为常数，代表矩阵的大小。本发明中m＝13，n＝13；矩阵A和B分别是左右图像提取的灰度矩阵

由本方法计算的正确同名点个数为2535个；而在其余条件不变的情况下，仅不用本发明步骤30)中的在右图像三条核线上选取特征点的方式获得正确同名点个数为636个。在匹配数量上的提升到398.58％，大大提升了正确匹配的点数量。