一种自适应区域的多特征融合立体匹配方法

技术领域

本发明涉及一种基于双目视觉的立体匹配方法，采用的是一种基于多特征信息融合的最小生成树的立体匹配算法，改进的最小生成树算法可以将无向图构造出更为准确的树结构，使图中像素点之间关系更为清晰，降低了双目视觉立体匹配的误匹配率，在代价计算前区分出纹理区域，并在不同纹理区域构造对应的代价函数，增强其在不同环境下的适应性，在弱纹理、无纹理区域，本发明提出的方法相较于原方法有较好的匹配效果，引入改进的Rank变换，解决了实际工程中因光照以及噪声等影响导致匹配精度降低的问题。

背景技术

随着人工智能的快速发展，人们对计算机视觉的研究也随着热浪达到了高潮。其中，双目立体视觉作为计算机视觉的一个重要分支引起了广大学者的探究，其广泛应用于三维重建、三维测量、无人机避障、目标跟踪等方面，双目立体视觉主要包括相机标定、极线校正、图像预处理、立体匹配、三维重建，其中立体匹配是双目立体视觉的重点，立体匹配的匹配率直接影响三维重建的准确性，传统的立体匹配方法分为全局算法和局部算法，其中全局算法虽然通过二维相邻像素视差之间的约束(如平滑性约束)而得到更好的匹配效果，但是对内存的占用量大，速度慢，很难运用到实际工程中；而局部算法虽然计算量小，但是所基于的局部窗口视差相同的假设在很多情况下并不成立导致匹配效果较差，受弱纹理等影响无法完成较精确的三维重建。

发明内容

针对传统算法在复杂环境的适应性不高，另外还没有一种匹配方法能够同时适用于不同纹理区域，本发明为了增强算法的强健性，提出一种自适应区域的多特征融合立体匹配方法。在代价计算阶段，首先区分强纹理区域，弱纹理区域和无纹理区域，针对强纹理区域，采用像素值截断的绝对强度差，在弱纹理区域，则采用像素值截断的绝对强度差与图像梯度相结合的代价方法，根据先前实验证明该方法在像素点细小变换的区域有着很好的效果，最后在无纹理区域，采用对弱纹理区域引入了改进的Rank变换参数方法，在很大程度上解决了因曝光等因素使图像产生无纹理区域而导致匹配精度下降等问题。在代价聚合阶段，采用最小生成树算法，将图像构造一个最小生成树，但传统的最小生成树算法仅仅采用像素值绝对强度差三通道最大值作为叶节点边权值进行计算，没有考虑其他两通道对最终边权值的影响，可能导致相似颜色处的像素点错误连接，在此基础上本发明提出一种基于多特征融合的最小生成树算法，将颜色内相关信息与叶节点间三通道颜色信息相结合，弥补了原始边权值采用颜色分量作为单一分量的不稳定性这一问题，从而减少了误匹配的概率。

本发明的技术方案如下：

自适应区域的多特征融合立体匹配算法，包括以下步骤：

步骤一：数据预处理，对输入的左右图像进行极线矫正；

步骤二：区分图像的纹理区域，对不同区域设定不同代价函数，并且引入改进的Rank变换参数，进行代价计算；

步骤三：进行代价聚合，将改进的多特征融合信息作为边权值对输入图像像素点构建最小生成树，之后从根节点到叶节点、叶节点到根节点进行两次代价聚合，计算聚合值并存储在根节点中；

步骤四：采用WTA(赢家通吃策略)计算视差，左右一致性检测优化视差，最终结合双目相机标定参数计算深度值，生成深度图。

所述步骤一中的具体过程如下：

(1)为了将相机极点变换到无穷远使得极线水平对准，创建一个旋转矩阵，首先是X轴的旋转，将X轴旋转到与基线相同的方向即旋转后新X轴就是O

其中T为视差，|T|为视差的模；

(2)确定旋转后的新Y轴，只需满足与e

e

其中R

(3)最终得到旋转矩阵：

R

即左图像新的旋转矩阵为：

右图像新的旋转矩阵为：

其中R

所述步骤二中的具体情况如下：

(1)对数据集构建改进的Rank变换图像：

改进的Rank变换方法：本发明提出通过选取子邻域最小像素灰度值与灰度值均值的平方差之和的像素灰度值均值来代替中心像素灰度值的方法，在一定范围内提高了传统Rank变换的降噪性，并且尽可能多的保持边缘和角点特征。对于以(u，v)为中心的Rank变换窗口，分别计算(u，v)左上角子邻域，右上角子邻域，左下角子邻域，右下角子邻域的灰度分布均匀度V，取最小灰度分布均匀度对应区域的均值作为参考值进行变换，其表达式为：

V＝∑[f(i，j)-f′(i，j)]

式中：f(i，j)为子邻域像素灰度值，f’(i，j)为子邻域像素灰度值的平均值；

(2)在代价计算阶段首先需要区分出图像的强纹理、弱纹理和无纹理区域，将任意像素点周围n个像素值进行相加并取平均值，常见的n可设置为四方向或者八方向，考虑到算法的实时性，本发明采用四方向，即代匹配像素点的上、下、左、右四个像素点三通道颜色值进行相加并取平均值与中心像素值进行比较，之后设置判断阈值τ，计算公式如下：

式中q为中心像素点三通道均值，纹理区域评判标准：

①若

②若

③若

(3)纹理区域区分之后，在不同区域采用不同代价计算匹配基元，计算公式如下：

①在强纹理区域采用像素值截断的绝对强度差进行代价计算，公式如下所示：

式中I

②在弱纹理区域采用像素值截断的绝对强度差与图像梯度信息结合，公式如下：

其中：

式(1)中C

③在无纹理区域引入改进的Rank变换参数来增强抗噪性。

所述步骤三中的具体情况如下：

传统的基于最小生成树的立体匹配算法在构建最小生成树时，边的权值定义为图像中两个像素点灰度值之差的三通道的最大值，但这种方法可能导致若纹理区域像素点连接错误，且忽略了其他两个通道的边权值对最终边权值的影响。在此基础上本发明提出一种RGB三通道互相关信息与颜色信息结合的多特征融合方法来计算边权值，使得获得的色彩信息可以更准确获取内部颜色结构特性，可以弥补原始边权值单一分量的不稳定性这一问题。

(1)改进的边权值，公式如下：

I

式(3)中I

(2)在最小生成树构建之后，将代价值沿着树结构进行两次遍历，从而完成代价聚合，第一次聚合如下，在最小生成树(MST)中，将像素之间的距离作为两个图像像素之间相似性的评判标准，使D(p，q)代表像素之间的距离，将叶节点的原始代价自下而上聚合到根节点，其公式加下：

式中的

δ是一个常量，用来调整两个节点之间的相似性；

(3)将根节点的原始代价自上而下的聚合到叶节点，其公式表达式如下：

由于在MST中的根节点

所述步骤四中的具体情况如下：

(1)视差计算：

本发明中的视差计算采用WTA(赢家通吃)策略计算每个像素点的最小代价，从而获得视差值，其公式如下：

其中dis

(2)视差优化：

采用非局部视差精化法作为优化初始视差图的方式，具体过程是依次以左图像和右图像作为参考图像来运行非局部成本聚合方法，以获得两个对应的视差图，将所有像素划分为稳定或不稳定的像素，公式如下：

d

式中d

(3)使用左右一致性检测重新计算新的匹配代价值，计算公式如下：

式中D(p)表示左视差图，并且对于稳定像素，针对每个视差水平d的每个像素p计算新的匹配代价值，对于所有不稳定像素，匹配代价值为零。最后采用代价聚合的方法重新聚合新的匹配代价值，进而得到最终高质量视差图。

附图说明

图1为本发明的方法流程图。

具体实施方式

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明提供了一种自适应区域的多特征融合的立体匹配方法，引入改进的Rank变换算法相对于原始算法更具有抗噪性，并且在生成树的边权值计算上采用多特征融合方法，弥补了原始边权值单一分量的不稳定性这一问题。在算法运行效率不变的情况下，既降低了光照噪声的影响，又提升了立体匹配的精度。

图1为本发明提出的立体匹配算法整体流程图，首先是图像预处理，为了在计算中只在一行中搜索最小代价值，降低算法复杂度，对输入的左右图像进行极线校正；然后是对左右图像构建改进的Rank变换图像，得到的Rank变换参数存储在o

具体的实现步骤为：

Step1.1对输入图像进行极线校正；

Stop1.2构建改进Rank变换图像；

Stop1.3对左图像的纹理区域进行区分；

利用周围像素三通道均值，取中心像素的上、下、左、右像素点作为评判基元：

其中n＝4，q为中心像素值；

Step1.4对图像不同区域分配不同代价函数；

Step1.4.1在强纹理区域采用像素值截断的绝对强度差作为代价函数；

式中I

Step1.4.2在弱纹理区域采用像素值截断的绝对强度差与图像梯度信息结合作为代价函数；

式中C

其中

式中的

Stepl.4.3在无纹理区域对弱纹理区域的代价函数引入Rank变换参数，增强匹配范围，提高算法抗噪性；

Step2.1构造最小生成树，为了弥补了原始边权值采用颜色分量作为单一分量的不稳定性这一问题，本发明提出一种多特征融合算法，RGB三通道互相关信息与颜色信息结合的方式，增强了叶节点之间的特征信息，

其中I

Step2.2代价聚合；

Step2.2.1将叶节点的原始代价自下而上聚合到根节点，具体公式如下：

式中的

δ是一个常量，用来调整两个节点之间的相似性；

Step2.2.2将根节点的原始代价自上而下的聚合到叶节点，其公式表达式如下：

由于在MST中的根节点

Step3.1视差计算；

Step3.2视差细化。