双目立体视觉成像的在线补偿方法及其系统

技术领域

本申请涉及视觉成像技术领域，特别涉及一种双目立体视觉成像的在线补偿方法及其系统。

背景技术

双目立体视觉测量是基于视差原理，图1展示了简单的平视双目立体成像原理图。两摄像机的投影中心连线的距离，即基线距为B。两摄像机在同一时刻观看空间物体的同一特征点P，分别在“左眼”“右眼”上获取了点P的图像。它们的图像坐标分别为

则视差为Disparity =

但实际的双目立体视觉系统很难满足上述理想情况，所以我们将实际图像转换到一个虚拟相机的成像，并保证左右相机的虚拟成像满足上述平视关系，转换后的图像满足行对齐条件，这个过程就是立体校正。

这个虚拟相机参数一般选用焦距较短的焦距为校正后焦距，通过旋转校正至相机为平视条件。在实际手机双摄立体系统的拍摄过程中，副摄一般为定焦，但主摄马达会推动镜头对焦，调节成像至最清晰的状态。对焦的过程等效焦距

另外线下标定的摄像机参数有时候会存在误差，不同参数影响机理不同，但总的效果上是会使校正后图像存在行差。并且视差也会存在一定的偏差，这种偏差在深度信息相当的时候基本保持不变。

上述两种偏差都最终会影响视差计算效果。

针对上述两种偏差，算法一般在对校正后的图像，再进行一次行差调整，但是这种调整一般比较耗时，当搜索范围较大时，校正效果稳定性不够好。

发明内容

本申请的目的在于提供一种双目立体视觉成像的在线补偿方法及其系统，通过记录一定数量的校正数据，对对焦变化和模型误差进行拟合补偿。

本申请一实施例中公开了一种双目立体视觉成像的在线补偿方法，包括：

计算双摄模组拍摄的图像中左图和右图之间的行差；

将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储；

重复多次记录对焦值和焦距校正值的过程，获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；

根据所述拟合曲线对待补偿图像的左图的等效焦距进行补偿。

优选的，所述行差等于左右两幅图上行差与下行差之间的差值，∆r_1 =∆r

优选的，所述焦距校正值

优选的，所述一组对焦值与焦距校正值包括至少20个对焦值与焦距校正值。

优选的，进行补偿包括：根据所述拟合曲线获得∆r_1进行缩放，记录∆r_2=(

优选的，根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线的步骤之前，还包括：计算

优选的，还包括：若存在负视差，则为系统误差，记录所述视差的最小值，将图像向视差增长的方向平移对应数值的像素，进行负视差补偿。

本申请还提供一种双目立体视觉成像的在线补偿系统，包括：

行差计算模块，用于计算双摄模组拍摄的图像中左图和右图之间的行差；

调整模块，用于将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储；

拟合模块，用于从调整模块中获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；

补偿模块，用于根据所述拟合曲线对待补偿图像的等效焦距进行补偿。

本申请实施方式中，本发明提出一种在线补偿方案，通过记录一定数量的校正数据，对对焦变化和模型误差进行拟合补偿。

附图说明

图1是现有的平视双目立体成像原理图。

图2是双目立体成像的图像示意图。

图3是根据本申请实施例的双目立体视觉成像的在线补偿方法流程示意图。

图4是根据本申请实施例的双目立体视觉成像的在线补偿方法示意图一。

图5是根据本申请实施例的双目立体视觉成像的在线补偿方法示意图二。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

本申请的第一实施方式涉及一种双目立体视觉成像的在线补偿方法，其流程如图3所示，该方法包括以下步骤：

步骤101，计算双摄模组拍摄的图像中左图和右图之间的行差。

优选的，所述行差等于上行差与下行差之间的差值，∆r_1 =∆r

步骤102，将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值进行存储。

优选的，所述焦距校正值

步骤103，重复多次记录对焦值和焦距校正值的过程，获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线。

优选的，所述一组对焦值与焦距校正值包括至少20个对焦值与焦距校正值。

计算

步骤104，根据所述拟合曲线对待补偿图像的左图的等效焦距进行补偿。

优选的，本实施例中的在线补偿方法包括：根据所述拟合曲线获得∆r_1进行缩放，记录∆r_2=(

优选的，本实施例中的在线补偿方法还包括：记录所述视差的最小值，进行负视差补偿。双摄算法会计算出全图的视差，根据视差直方图，排除噪声干扰，记录下来可靠的最小视差，通过在视差方向上（左右）平移，将最小视差由负视差调整为0。

为了能够更好地理解本申请的技术方案，下面结合一个具体的例子来进行说明。

（1）有效焦距补偿

为了补偿有效焦距变化，需要建立马达参数af与

因为是在线算法，镶嵌在现有的手机双摄算法中，必须满足不影响主算法效率的条件。动态调整

可以看出焦距的校正本质上是一个图像的放缩过程。若设定以

记录下来

具体的，如图4中，进行原理说明：以向上为正方向，以右图为基准，设H为10像素，H’为6像素，

左图宽度的修正可以根据高度的调整而进行调整，例如采用双线性插值等形式进行操作，此处不进行详述。

在用户初始拍摄时，算法采用行差调整算法解决行差和模型偏差问题，计算左右图行差调整左图向右图对齐，并记录下来此时的

（2）模型偏差补偿

模型偏差造成的行差是与深度有关的，本发明中优选为记录和补偿视差为零时模型偏差造成的行差，这是因为对于大部分应用场景尤其是短基线系统，图像边缘部分都不是关注的前景，而是视差为零的背景，容易得到大量的数据。并且其他视差由模型偏差带来的行差都会大于视差零，对视差零行差进行补偿，可以减小整体偏差，且不会补偿过头。

所以在算法运行中，我们根据af和实际视差计算结果（图像边缘是否视差为零），记录下来图像的上下平移量

请继续参考图4，

（3）负视差补偿

理论上校正后的图像视差不会存在负视差（式（1）），但由于模型偏差，即系统误差，实际校正后图像会存在负视差。在算法运行中，本方案也同时记录最小视差，在数据点足够多以后，开启负视差补偿，将图像向视差增长的方向平移对应数值的像素。以缩小后续算法视差搜索范围，提高算法效率和正确率。

以上补偿方案在实际运用中可以与动态的行差调整串行使用，这时补偿环节可以缩小动态调整搜索范围，提高算法效率和改善对齐效果; 在平台计算能力受限的情况下，也可以在拟合完成后直接替换动态调整环节，保证算法效率，提高用户流畅度体验。

本发明实施例中以右摄为定焦（副摄）、左摄为变焦（主摄）为例进行的阐述，可以理解的是，左摄为定焦、右摄为变焦同样适用。

本申请的第二实施方式涉及一种双目立体视觉成像的在线补偿系统，，该双目立体视觉成像的在线补偿系统包括：

行差计算模块，用于计算双摄模组拍摄的图像中左图和右图之间的行差；

调整模块，用于将所述左图调整为与所述右图对齐，并记录对应的对焦值和焦距校正值至加密文件中；

拟合模块，用于获取一组对焦值与焦距校正值，并根据该组数据获取所述对焦值与所述焦距校正值之间的拟合曲线；

补偿模块，用于根据所述拟合曲线对所述左图的等效焦距进行补偿。

第一实施方式是与本实施方式相对应的方法实施方式，第一实施方式中的技术细节可以应用于本实施方式，本实施方式中的技术细节也可以应用于第一实施方式。

在本说明书提及的所有文献都被认为是整体性地包括在本申请的公开内容中，以便在必要时可以作为修改的依据。此外应理解，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。