一种异步双目相机的深度估计方法及系统

技术领域

本发明涉及计算机视觉技术领域，更具体地说，特别涉及一种异步双目相机的深度估计方法及系统。

背景技术

双目相机在深度感知、三维重建和虚拟现实领域获得了广泛的应用。标准的双目相机异步需要假定左右相机通过硬件或软件进行同步，这就显著增加了双目相机的成本，并且很多场合无法获得现成的双目相机产品，如视频监控摄像机，网络摄像头等，限制了双目视觉的应用。

发明内容

本发明的目的在于提供一种异步双目相机的深度估计方法及系统，以克服现有技术所存在的缺陷。

为了达到上述目的，本发明采用的技术方案如下：

一种异步双目相机的深度估计方法，包括以下步骤：

S1、将任意两台单目相机以视线方向平行放置，通过缓存分别存储两台单目相机在T秒内的视频帧；

S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；

S3、根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。

进一步地，所述步骤S1中的两台单目相机为两台同型号的监控相机、工业相机或网络摄像头。

进一步地，所述步骤S1中采用棋盘格法计算从第一单目相机到第二单目相机的旋转矩阵R和平移向量t，并计算第一单目相机到第二单目相机的内参数，该内参数包括

进一步地，所述步骤S1中的T小于1。

进一步地，所述步骤S2具体包括：

S20、提取第一单目相机视频帧

S21、计算第一单目相机视频帧

进一步地，所述步骤S3具体包括：

S30、给定第一单目相机的当前帧

S31、对第一单目相机的当前帧

S32、计算深度图集合D＝{D

S33、基于深度图集合D＝{D

进一步地，所述步骤S3中深度图的计算方法为深度学习方法或非学习方法。

本发明还提供一种用于实现上述的异步双目相机的深度估计方法的系统，包括：

视频帧缓冲模块，在将任意两台单目相机以视线方向平行放置后，通过缓存分别存储两台单目相机在T秒内的视频帧；

匹配帧集合计算模块，用于分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，并计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；

深度计算模块，用于根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到；

所述视频帧缓冲模块、匹配帧集合计算模块和深度计算模块依次连接。

与现有技术相比，本发明的优点在于：本发明只需要两台独立的相机按照双目相机的配置近似平行放置，就可实现深度图的实时获取，显著降低了双目相机的制作成本，可广泛应用在各类场景的三维感知中，如视频监控等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明异步双目相机的深度估计方法的示意图。

图2是本发明异步双目相机的深度估计系统的原理图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

参阅图1所示，本实施例公开了一种异步双目相机的深度估计方法，包括以下步骤：

步骤S1、将任意两台单目相机以视线方向平行放置，通过缓存分别存储两台单目相机在T秒内的视频帧。

本实施例中，两台单目相机可以为两台同型号的监控相机、工业相机或网络摄像头；即两台相机的摄像头朝向是平行的，两台相机根据位置摆放的不同，分别命名为第一单目相机(左相机)和第二单目相机(右相机)。将两台相机连接电脑后，通过相机的控制程序同时启动开始捕获画面。由于两台相机未经过硬件的同步，不保证两台相机的画面是在一个时间拍摄的。

本实施例采用棋盘格法计算从第一单目相机到第二单目相机的旋转矩阵R和平移向量t，并计算第一单目相机到第二单目相机的内参数，该内参数包括

两台相机需要静止放置，但两台相机所拍摄的场景可以包含运动的物体，如行人等。

两台相机的捕获画面存在时间不同步，且相差的时间差为T秒，即第一单目相机的画面比第二单目相机的画面提前T秒，或者第一单目相机的画面比第一单目相机滞后T秒。假设相机的帧率为H帧每秒，则两台相机的画面间隔为H×T帧。为了后续的深度估计，左右相机拍摄时，分别记录T秒内的视频帧作为缓存数据，即记录从当前时刻到T秒前这一段时间的视频帧，缓存数据可以保存在内存中。

本实施例中，根据实际情况，T的值一般小于1。即两台相机的时间延时小于1秒。帧率H一般等于30帧，所以两台相机的画面差异在30视频帧以内。

步骤S2、分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；也就是说：在当前时刻m，从第一单目相机的视频帧

首先、提取第一单目相机视频帧

然后、计算第一单目相机视频帧

步骤S3、根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到。即：计算第二单目相机的匹配帧集合G＝＝{J

首先、给定第一单目相机的当前帧

然后、对第一单目相机的当前帧

其次、计算深度图集合D＝{D

最后、基于深度图集合D＝{D

参阅图2所示，本发明还提供一种用于实现上述的异步双目相机的深度估计方法的系统，包括：视频帧缓冲模块1，在将任意两台单目相机以视线方向平行放置后，通过缓存分别存储两台单目相机在T秒内的视频帧；匹配帧集合计算模块2，用于分别提取第一单目相机视频帧和第二单目相机的缓冲帧的特征点，并计算第一单目相机视频帧和第二单目相机的缓存帧的匹配帧集合；深度计算模块3，用于根据匹配帧集合计算每一帧的深度图，并计算深度图的置信度，以形成一组深度图和对应的置信度，对于任意像素位置的最终深度是通过将匹配帧的深度图集合按照置信度的大小进行加权平均得到；所述视频帧缓冲模块1、匹配帧集合计算模块2和深度计算模3依次连接。

本发明只需要两台独立的相机按照双目相机的配置近似平行放置，就可实现深度图的实时获取，方法可将任意独立两台监控相机、工业相机和网络摄像头组成双目视觉系统，显著降低了双目相机的制作成本，预期可广泛应用在各类场景的三维感知中，如视频监控等领域。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。