基于双目视差近似匹配的自动对焦方法及系统

技术领域

本发明涉及机器视觉领域，尤其涉及基于双目视差近似匹配的自动对焦方法及系统。

背景技术

双目摄像机正越来越广泛在监控、增强现实和机器人视觉中得到应用。与单目摄像机比较，双目摄像机优点在于可以通过目标图像在两个摄像头的视差计算得到目标的相对距离，所以可以实现三维的视觉图像，或者让机器人根据视差计算得到的目标物体的相对距离进行抓取动作控制。此外，双目摄像机的视差计算得到的目标物体的距离信息可以帮助确定获得清晰图像的对焦位置信息。然而，双目摄像机视差的计算需要复杂的视觉匹配算法，而且视差的精度受到图像清晰度和像素分辨率的影响。所以通过双目摄像机图像视差实现自动对焦，其关键在于如何快速获得视差数据，亟需要一种用于双目摄像机自动对焦的有效简洁的视觉匹配视差计算方法。

发明内容

为解决上述问题，本发明提供基于双目视差近似匹配的自动对焦方法及系统，能够快速找到清晰图像的最佳对焦位置，提高对焦的速度。

第一方面，本发明提供一种基于双目视差近似匹配的自动对焦方法，包括：

采集双目摄像头A、B的图像数据，其中，所述双目摄像头A、B能够自动对焦且二者的光轴互相平行设置；

分别对所述双目摄像头A、B的图像数据进行处理，得到对应双目摄像头A、B图像像素亮度的矩阵；

对所述双目摄像头A、B图像像素亮度的矩阵中每个相同像素点的最高位进行异或运算，得到两帧图像的视差二值化矩阵，其中，i、j分别为待对焦目标图像区域内的行、列像素坐标；

根据所述视差二值化矩阵，计算待对焦目标区域的视差数据；

根据所述视差数据和预先测定并建立的视差-最佳焦距位置查找表，得到对应所述双目摄像头A、B的最佳焦距位置x

分别比较所述双目摄像头A、B的当前起始焦距位置x

根据所述距离D，所述双目摄像头A、B进行自动对焦。

进一步的，其中，所述根据所述距离D，所述双目摄像头A、B进行自动对焦，包括：

根据所述距离D，确定所述双目摄像头A、B的焦距移动方式；

根据所述焦距移动方式，所述双目摄像头A、B进行自动对焦。

进一步的，其中，所述根据所述距离D，确定所述双目摄像头A、B的焦距移动的方式，包括：

当

当

当

根据所述图像清晰度指标Q，进一步采用最小二乘法计算并逼近最佳焦距位置。

进一步的，其中，所述方法包括：

当

如果

如果

如果

如果

进一步的，其中，所述根据所述图像清晰度指标Q，进一步采用最小二乘法计算并逼近最佳焦距位置，包括：

采用抛物线插值方法逼近搜索f’(x)=0的极值点，快速找到清晰图像的最佳对焦位置。

进一步的，其中，所述分别对所述双目摄像头A、B的图像数据进行处理，对应得到双目摄像头A、B图像像素亮度的矩阵，包括：

所述双目摄像头A、B的图像数据依次经过自动增益放大器AGC和模数转换器ADC进行处理后，得到处理后的图像数据；

根据所述处理后的图像数据，建立用于反映所述双目摄像头A、B一帧图像像素亮度的矩阵I

其中，所述自动增益放大器AGC用于根据照度情况自动调节图像像素亮度的大小；所述模数转换器ADC用于对所有像素的亮度模拟信号进行转换，得到数字亮度值，且所述数字亮度值采用二进制表示。

进一步的，其中，所述方法还包括：

分别对所述双目摄像头A、B图像像素亮度的矩阵I

计算所述差分结果的绝对值，其中，该绝对值在图像中某个区域的最大值为该区域的图像清晰度指标Q

其中，

进一步的，其中，所述视差-最佳焦距位置查找表通过如下方式预先测定并建立：

在不同距离上放置标准的图像，调节双目摄像头A、B的焦距分别使图像达到清晰度指标Q

根据所述不同距离上记录的焦距位置的数值和对应视差数值，建立视差-最佳焦距位置查找表。

进一步的，其中，所述对所述双目摄像头A、B图像像素亮度的矩阵中每个相同像素点的最高位进行异或运算，得到两帧图像的视差二值化矩阵，包括：

采用8位二进制表示所述双目摄像头A、B图像像素亮度值；

对所述双目摄像头A、B图像像素亮度的矩阵中每个相同像素点的第8位进行异或运算，得到两帧图像的视差二值化矩阵，其中计算公式如下：

；

其中，BW(i,j)为由0和1组成的二值化矩阵，MSB[I

第二方面，本发明提供一种基于双目视差近似匹配的自动对焦系统，包括：

图像采集单元，用于采集双目摄像头A、B的图像数据，其中，所述双目摄像头A、B能够自动对焦且二者的光轴互相平行设置；

图像处理单元，用于分别对所述双目摄像头A、B的图像数据进行处理，对应得到双目摄像头A、B图像像素亮度的矩阵；

异或运算单元，用于对所述双目摄像头A、B图像像素亮度的矩阵中每个相同像素点的最高位进行异或运算，得到两帧图像的视差二值化矩阵，其中，i、j分别为待对焦目标图像区域内的行、列像素坐标；

视差计算单元，用于根据所述视差二值化矩阵，计算待对焦目标区域的视差数据；

查找单元，用于根据所述视差数据和预先测定并建立的视差-最佳焦距位置查找表，得到对应所述双目摄像头A、B的最佳焦距位置x

比较单元，用于分别比较所述双目摄像头A、B的当前起始焦距位置x

对焦单元，用于根据所述距离D，所述双目摄像头A、B进行自动对焦。

与现有技术相比，本发明的有益效果在于：

本发明的视觉匹配视差计算方法有效简洁，能够快速获得视差数据；利用加权的最小二乘法可以融合双目摄像头A、B测量数据，减少测量的次数，提高对焦的速度，具体采用抛物线插值方法逼近搜索f’(x)=0的极值点，快速找到清晰图像的最佳对焦位置，从而实现自动对焦。另外，在单片机处理程序中可以通过对应区域统计分析处理提高视差数据的准确率和可信度。

附图说明

图1为本发明基于双目视差近似匹配的自动对焦系统的系统原理框图；

图2为根据本发明的技术原理计算得到的效果示意图；

图3为本发明一实施例提供的基于双目视差近似匹配的自动对焦方法的流程示意图；

图4为本发明一实施例提供的基于双目视差近似匹配的自动对焦方法中情况1利用加权最小二乘法估算得到的最大值位置示意图；

图5为本发明一实施例提供的基于双目视差近似匹配的自动对焦方法中情况2下的情形1利用加权最小二乘法估算得到的最大值位置示意图；

图6为本发明一实施例提供的基于双目视差近似匹配的自动对焦方法中情况2下的情形2利用加权最小二乘法估算得到的最大值位置示意图；

图7为本发明一实施例提供的基于双目视差近似匹配的自动对焦方法中情况3利用加权最小二乘法估算得到的最大值位置示意图；

图8为本发明另一实施例提供的基于双目视差近似匹配的自动对焦系统的单元模块示意图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

本发明采用双目图像的两个亮度矩阵元素的最高位进行异或运算可以得到近似的视差二值化图像。根据视差图像行x方向上的宽度，可以得到视差目标物体的视差近似值，从而可以判断目标物体的相对距离，从而根据初始化时标定的调焦的位置，确定镜片调焦的初步位置。进一步的，采用抛物线插值方法逼近搜索f’(x)=0的极值点，快速找到清晰图像的最佳对焦位置。

图1是本发明的基于双目视差近似匹配的自动对焦系统的系统原理框图，首先对本发明的技术原理作如下说明：

根据双目摄像头对极几何原理可知，如图1所示，在安装双目摄像机时，将光轴设置为互相平行，保证左右图像间的对应极线相互平行，且位于相同的图像水平扫描线上。此时，双目摄像机为平行式立体视觉模型，因而视差矢量平行于图像的水平扫描线，且视差矢量实际上退化为标量，即：

因此，不同目标距离对应不同的视差d，对应不同的最佳对焦像距

双目摄像机视差的计算需要复杂的视觉匹配算法，所以通过双目摄像机图像视差实现自动对焦，其关键在于如何快速获得视差数据，即需要一种用于双目摄像机自动对焦的有效简洁的视觉匹配视差计算方法。

因此，本发明采用双目图像两个亮度矩阵中每个像素的最高位进行异或运算得到一个反映双目图像视差的二值化矩阵BW(i,j)，其取值为‘1’的区域在行方向上的宽度间隔反应的是视差的近似值，其单位为像素点数。视差值与对应的焦距或镜片位置的初步估计值可以在生产线或者初始化时使用标准距离上的标准图形进行测定，以查找表的形式存储于系统只读存储空间的指定区域。

使用时，根据图像上不同区域的视差近似值从只读存储空间的视差-焦距对应关系表找到对应的焦距或镜片位置，将镜片调节移动到初步估计的位置。从以上二值化图像BW(i,j)点宽度可以直接获悉图像中目标物体的距离分布情况，因此可以根据需要聚焦不同距离上的目标物体。如果只需要对焦中心区域的目标，则可以通过下述抛物线插值方法进一步将镜片调节到对焦中心区域目标的最佳位置。如果还需要对焦其他区域和距离上的目标，则可以重复以上过程，根据此区域的视差数据将镜片调节移动到对焦此区域目标的初步估计的位置。

图2所示为基于上述原理计算得到的效果示意图，图2中的1）和2）为A、B摄像头获得的两幅图像，3）为采用上述方法得到的反映双目图像视差的二值化图像BW(i,j)，4）为反映A、B亮度与视差图像BW关系的三者叠加的图像。图2中的3）A、B视差二值化图像BW(i,j)中，白色为‘1’的区域，其宽度反映的是视差的大小，从图2的3）中可以看到，中心区域离摄像头远的图像，其宽度最窄，而四周边缘区域离摄像头越来越近的图像其宽度逐渐变宽。由于光照和反射率的影响会使A、B视差二值化图像BW产生一定的误差，所以其准确的对焦位置需要后续的抛物线插值方法进行校验和逼近。从图2中的3）还可以看到，垂直y方向保持持续连通区的宽度其反映的A、B视差数据误差较小，所以在单片机处理程序中可以通过对应区域统计分析处理提高视差数据的准确率和可信度。

图3为本发明一实施例提供的基于双目视差近似匹配的自动对焦方法100的流程示意图，请参阅图3所示，所述方法100包括：

S110：采集双目摄像头A、B的图像数据，其中，所述双目摄像头A、B能够自动对焦且二者的光轴互相平行设置；

S120：分别对所述双目摄像头A、B的图像数据进行处理，得到对应双目摄像头A、B图像像素亮度的矩阵；

在该步骤S120 中，具体地，自动对焦的双目摄像头A、B两者内部具有AGCA、AGCB自动增益放大器和ADCA、ADCB模数转换器，将采集的所述双目摄像头A、B的图像数据依次经过自动增益放大器AGC和模数转换器ADC进行处理后，得到处理后的图像数据；根据所述处理后的图像数据，建立用于反映所述双目摄像头A、B一帧图像像素亮度的矩阵I

其中，所述自动增益放大器AGC用于根据照度情况自动调节图像像素亮度的大小；所述模数转换器ADC用于对所有像素的模拟亮度值进行转换，得到数字亮度值，且所述数字亮度值采用二进制表示，且亮度取值落在二进制可以表示的范围内，一般二进制为8位，即亮度值应落在0到255的范围内。

S130：对所述双目摄像头A、B图像像素亮度的矩阵中每个相同像素点的最高位进行异或运算，得到两帧图像的视差二值化矩阵，其中，i、j分别为待对焦目标图像区域内的行、列像素坐标；

在此步骤S130中，采用8位二进制表示所述双目摄像头A、B图像像素亮度值；

对对应得到的所述双目摄像头A、B图像像素亮度的矩阵中每个相同像素点的第8位进行异或运算，得到两帧图像的视差二值化矩阵，其中计算公式如下：

；

其中，BW(i,j)为由0和1组成的二值化矩阵，MSB[I

两幅图像最高位异或后所得到的由0和1组成的二值化图像BW(i,j)实际上代表了两幅图像的视差图像，AB两幅图像对应像素亮度值都小于128或者都大于128时，对应点为0，说明两幅图像在对应像素上近似相同；若其中AB其中一幅图像对应像素亮度值大于128，而另一幅小于128，则对应点为1，反之亦然，即两幅图像在该像素上有差异。

S140：根据所述视差二值化矩阵，计算待对焦目标区域的视差数据；

在步骤S140中，根据以上步骤S130得到的视差二值化矩阵BW(i,j)图像边缘的横向纵坐标距离代表着视差，对焦开始时可以通过视差信息获得初步的最佳焦距位置，即当前起始焦距位置x

S150：根据所述视差数据和预先测定并建立的视差-最佳焦距位置查找表，得到对应所述双目摄像头A、B的最佳焦距位置x

此步骤S150包括：

S151：计算图像清晰度指标，具体包括：

S1511：分别对所述双目摄像头A、B图像像素亮度的矩阵I

S1512：计算所述差分结果的绝对值，其中，该绝对值在图像中某个区域的最大值为该区域的图像清晰度指标Q

，

；

S152：预先测定并建立视差-最佳焦距位置查找表，具体包括：

S1521：在不同距离上放置标准的图像，调节双目摄像头A、B的焦距分别使图像达到清晰度指标Q

S1522：根据所述不同距离上记录的焦距位置的数值和对应视差数值，建立视差-最佳焦距位置查找表。

S160：分别比较所述双目摄像头A、B的当前起始焦距位置x

此步骤S160中，由于摄像机会在单片机内存中实时记录存储步进电机的位置，进而记录当前的焦距位置，基于此可以确定任何对焦时刻的当前起始焦距位置，然后通过分别比较当前起始焦距位置x

S170：根据所述距离D，所述双目摄像头A、B进行自动对焦。

其中，该步骤S170具体包括：

根据所述距离D，确定双目摄像头A、B的焦距移动方式，根据该焦距移动方式，双目摄像头A、B进行自动对焦，具体分为3种情况：

情况1：当

1.1：如果

1.2：如果

1.3：如果

1.4：如果

情况2：当

情况3：当

双目摄像头A、B在上述情况下测量得到不同位置的图像清晰度指标Q，即使双目摄像头A、B的数据有差异但具有很强的相关性，所以利用加权的最小二乘法可以融合AB测量数据减少测量的次数，提高对焦的速度。

进一步的，其中，所述根据所述图像清晰度指标Q，进一步采用最小二乘法计算并逼近最佳焦距位置，包括：

采用抛物线插值方法逼近搜索f’(x)=0的极值点，快速找到清晰图像的最佳对焦位置。

进一步的，对于情况1中的1.1、1.2和1.3，摄像头A在x

根据以上设定，可以得到双目摄像头A、B的测量矩阵H和权值矩阵为W

；

；

；

对于情况2，可以设d为归一化的距离单位，d

；

；

；

如果预先测定的双目摄像头A、B对应视差-最佳焦距位置x

；

；

对于情况3，可以设M

；

；

根据本发明的上述实施例，本发明的视觉匹配视差计算方法有效简洁，能够快速获得视差数据；利用加权的最小二乘法可以融合双目摄像头A、B测量数据，减少测量的次数，提高对焦的速度，具体采用抛物线插值方法逼近搜索f’(x)=0的极值点，快速找到清晰图像的最佳对焦位置，从而实现自动对焦。

图8为本发明一实施例提供的基于双目视差近似匹配的自动对焦系统200的单元模块示意图，如图8所示，所述系统200包括：

图像采集单元210，用于采集双目摄像头A、B的图像数据，其中，所述双目摄像头A、B能够自动对焦且二者的光轴互相平行设置；

图像处理单元220，用于分别对所述双目摄像头A、B的图像数据进行处理，对应得到双目摄像头A、B图像像素亮度的矩阵；

如图1所示，自动对焦的双目摄像头A、B两者内部具有AGCA、AGCB自动增益放大器和ADCA、ADCB模数转换器，由此可以产生反映A、B摄像头一帧（幅）图像像素亮度的矩阵IA(i,j)和IB（i,j)。AGCA、AGCB自动增益放大器的主要作用是根据照度情况自动调节图像像素亮度的大小，使其所有像素亮度在模数转换后，其取值落在二进制可以表示的范围内，一般二进制为8位，即亮度值应落在0到255的范围内。

异或运算单元230，用于对所述双目摄像头A、B图像像素亮度的矩阵中每个相同像素点的最高位进行异或运算，得到两帧图像的视差二值化矩阵，其中，i、j分别为待对焦目标图像区域内的行、列像素坐标；

视差计算单元240，用于根据所述视差二值化矩阵，计算待对焦目标区域的视差数据；

查找单元250，用于根据所述视差数据和预先测定并建立的视差-最佳焦距位置查找表，得到对应所述双目摄像头A、B的最佳焦距位置x

比较单元260，用于分别比较所述双目摄像头A、B的当前起始焦距位置x

对焦单元270，用于根据所述距离D，所述双目摄像头A、B进行自动对焦。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，本发明的实施例还提供了一种电子设备，包括：处理器、存储器、系统总线；所述处理器以及所述存储器通过所述系统总线相连；所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述基于双目视差近似匹配的自动对焦方法100。

进一步地，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述基于双目视差近似匹配的自动对焦100。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。