一种融合焦点堆栈和全聚焦图像的光场特征提取方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种融合焦点堆栈和全聚焦图像的光场特征提取方法。

背景技术

图像的点特征是一个稀疏的向量组合，可以表示图像区别于其他图像的自身特征，是计算机识别和理解图像的开始。点特征也用来寻找不同图像中的对应位置，从而应用于图像拼接、三维重建、SLAM等领域。

手持式光场相机在图像传感器前放置一个微透镜阵列，能够在一次拍摄中同时记录场景光线的空间位置和方向信息，因此可以为图像重聚焦、深度图估计、虚拟现实等领域的研究提供助力。光场通常被参数化为二维空间信息与二维角度信息的组合，被描述为四维光场。因为光场有四个维度，而普通图像只包含两个维度，因此难以直接通过二维图像对四维光场进行描述，传统的二维图像特征提取方法不考虑图像角度信息，不能完整表征光场的高维信息。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种融合焦点堆栈和全聚焦图像的光场特征提取方法，能够提取深度和尺度都鲁棒的四维光场特征点。

为了达到上述目的，本发明采用以下技术方案：

本发明的一个实施例公开了一种融合焦点堆栈和全聚焦图像的光场特征提取方法，包括以下步骤：

A1：输入光场数据，对所述光场数据进行解码和预处理得到光场子视角图像阵列，根据所述光场子视角图像阵列得到多个视角位置的焦点堆栈和全聚焦图像；

A2：将多个视角位置的所述焦点堆栈和所述全聚焦图像分别进行级联得到图像集合，根据所述图像集合生成高斯差分金字塔；

A3：搜索所述高斯差分金字塔中的局部极值点作为特征点位置，并生成对应的特征点描述符。

优选地，步骤A1中根据所述光场子视角图像阵列得到多个视角位置的焦点堆栈和全聚焦图像具体包括：提取所述光场子视角图像阵列中对角线视角上的光场自视角图像，根据对角线视角上的光场自视角图像生成对角线视角上的焦点堆栈和全聚焦图像。

优选地，生成的对角线视角上的焦点堆栈为：

其中，

优选地，生成的全聚焦图像为：

其中，

优选地，步骤A2中将多个视角位置的所述焦点堆栈和所述全聚焦图像分别进行级联得到图像集合具体包括：采用下式将多个视角位置的所述焦点堆栈和所述全聚焦图像分别进行级联：

其中，

优选地，步骤A2中根据所述图像集合生成高斯差分金字塔具体包括：采用下式构建高斯差分金字塔：

其中，

进一步地，采用高斯函数对所述图像集合进行模糊和降采样处理，得到角度域坐标为(u

其中，G(s,t,σ

优选地，尺度可变高斯函数G(s,t,σ

其中，(s,t)为空间域坐标，σ

进一步地，尺度σ

优选地，步骤A3中搜索所述高斯差分金字塔中的局部极值点作为特征点位置具体包括：

计算所述高斯差分金字塔的局部Hessian矩阵：

其中，

当局部Hessian矩阵取局部最大值时，判定当前点为特征点，并将当前点的位置作为特征点位置。

优选地，步骤A3中生成对应的特征点描述符具体包括：对特征点位置的周围空间区域分块，并在4×4的窗口内计算8个方向的梯度直方图，得到128维向量表征描述子。

本发明的另一实施例公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使处理器实现上述的光场特征提取方法的步骤。

与现有技术相比，本发明的有益效果在于：本发明提供的融合焦点堆栈和全聚焦图像的光场特征提取方法，充分利用光场相机先拍照后对焦的特性，结合其同时采集到的空间信息及角度信息及两者之间的关系，生成一组稀疏的焦点堆栈和全聚焦图像并计算二者的级联图像集合对应的高斯差分金字塔空间中的极值点，从而得到深度和尺度都鲁棒的、准确度较高的四维光场特征点，大大丰富了光场在全景拼接、SLAM等领域的应用。

附图说明

图1是本发明优选实施例的融合焦点堆栈和全聚焦图像的光场特征提取方法的流程图。

具体实施方式

在具体的实施方案中执行以上步骤时，可以按照以下方式操作。需注意的是，在实施过程中所采用的具体方法都仅为举例说明，本发明所涵盖的范围包括但不局限于所列举的以下方法。下面对照附图并结合优选的实施方式对本发明作进一步说明。

四维光场包含的场景信息远大于普通图像，如果直接提取特征点，计算量巨大。三维焦点堆栈由光场降维得到，是聚焦在不同平面上的一系列图像，能够表征光场的角度信息和空间信息。从焦点堆栈中可以拼合生成全聚焦图像，清晰地表征光场的纹理信息。本发明优选实施例为充分利用光场空间域和角度域的信息，准确地提取光场特征，利用焦点堆栈和全聚焦图像提取光场特征点。

如图1，本发明优选实施例公开了一种融合焦点堆栈和全聚焦图像的光场特征提取方法，充分利用光场空间域和角度域的信息，准确地提取视角鲁棒的四维光场特征点，包括以下步骤：

A1：输入光场数据，对光场数据进行解码和预处理得到光场子视角图像阵列，根据光场子视角图像阵列得到多个视角位置的焦点堆栈和全聚焦图像；

具体地，步骤A1包括以下步骤：

A11：输入光场数据，进行解码和预处理，得到光场子视角图像阵列；

本实施例中，L(u,v,s,t)为输入光场，其中(u,v)为角度域坐标，(s,t)为空间域坐标。对输入光场进行解码和预处理，得到光场的子视角图像方法如下：

SAI(u

其中SAI(u

解码得到光场子视角图像阵列后，对该阵列进行去噪和颜色校正操作预处理，输出用于提取特征点的光场子视角图像阵列。

A12：对于对角线视角上的稀疏光场，生成对应这些视角位置的多个三维焦点堆栈。

光场具有多个视角，场景中不同深度的物体在多视角子图像中对应的视差不同。多个光场子视角图像平移叠加后能够实现合成孔径成像，生成一系列聚焦平面由近及远变化的光场图像F(s,t,λ)，即焦点堆栈。焦点堆栈能够描述场景点的深度信息，提取每个子视角对应的焦点堆栈，再提取特征点，即可得到深度鲁棒的光场特征点。其中，手持式光场相机各子视角图像直接的视差小，光场数据包含大量冗余，对角线视角上的光场即可代表整个光场的信息。因此本实施例中仅生成对应对角线视角的稀疏的一组焦点堆栈，进而提取光场特征点，一方面可以大大减少计算量，另一方面还可以提高提取特征点速度。

焦点堆栈由光场在空间维度进行平移后在角度维度进行积分得到，计算过程如下：

其中，

上式(2)也即可以表述为：

当

当

当

当

不同视角位置处生成焦点堆栈所使用的子视角图像数量不同，越靠近中心视角，使用的周围子视角图像数量越多，生成的焦点堆栈包含的聚焦平面范围越广，因此包含的光场深度信息越完整。

全聚焦图像通过提取焦点堆栈中对焦位置的像素拼合形成：

其中，

A2：将多个视角位置的焦点堆栈和全聚焦图像分别进行级联得到图像集合，根据图像集合生成高斯差分金字塔；

具体地，将焦点堆栈和全聚焦图像在RGB通道进行级联得到图像集合：

其中，

然后，对于级联后的图像集合，采用高斯函数进行模糊及降采样处理，生成四维高斯差分金字塔，以进一步有效地在高斯尺度空间中检测到鲁棒的极值点；

具体地，本实施例中构建的高斯差分金字塔D为：

其中，

为了模拟光场数据的多尺度特征，使用高斯函数对级联后的三维图像集合进行模糊和降采样处理，得到图像集合的尺度空间为：

其中，G(s,t,σ

本实施例构建具有N个尺度的高斯尺度空间(DoG)，即使用N个相差k倍的尺度(k＞0)：

σ

尺度σ

A3：搜索高斯差分金字塔空间中的局部极值点作为特征点位置，并生成对应的特征点描述符。

具体地，步骤A3包括以下步骤：

A31：搜索高斯差分金字塔空间中的局部极值点作为特征点位置；

在高斯差分金字塔空间中，计算其局部Hessian矩阵：

其中，

当Hessian矩阵判别式取局部四维(空间s,t+梯度λ+尺度σ)最大值，判定当前点为极值点，由此定位特征点位置。特征点位置用双平面坐标系定义的四维坐标表示，对视角位置(u

A32：对于每个特征点，计算特征点邻域梯度直方图，生成对应的特征点描述符。

特征点描述符是一组向量，描述符包括关键点及其周围对其有贡献的点，用来作为目标匹配的依据，也可使关键点具有更多的不变特性。本发明对特征点周围空间区域分块，然后在4×4的窗口内计算8个方向的梯度直方图，得到128维向量表征描述子。

由于本实施例中的特征描述子是从焦点堆栈和全聚焦图像中构造的，所以特征对不同深度的干扰物体，包括部分遮挡物和从光滑表面反射的物体，具有鲁棒性。

本发明优选实施例提出融合焦点堆栈和全聚焦图像的光场特征提取方法，将光场转换为一组稀疏的对角线视角图像位置上的三维焦点堆栈与二维全聚焦图像，再提取焦点堆栈高斯差分金字塔空间中的极值点为光场四维特征点位置。首先解码和预处理光场数据，得到光场子视角图像阵列，然后对于对角线视角上的稀疏光场，生成对应这些视角位置的多个三维焦点堆栈与二维全聚焦图像；将焦点堆栈与全聚焦图像级联，对于级联后的图像集合，采用高斯函数进行模糊及降采样处理，生成四维高斯差分金字塔；搜索高斯差分金字塔空间中的局部极值点作为特征点位置，并生成对应的特征点描述符。实验结果表明，与现有算法相比，该方法能够提取深度和尺度都鲁棒的四维光场特征点。

本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的光场特征提取方法，具体实现可参见方法实施例，在此不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。