一种光场极平面图像的深度提取方法

技术领域

本发明属于图像处理领域，具体涉及一种光场极面平图像的深度提取方法。

背景技术

光场相机，通过在主镜头及感光器之间设置布满数万个微型镜片的显微镜阵列，每个小镜阵列接收由主镜头而来的光线后，传送到感光器前，以小镜阵列控制额外光线，析出聚焦光线并进行转换，再通过内置软件追踪每条光线在不同距离的影像上的落点，经数码重新对焦后，展露每个影像的景深，拍出完美照片。光场相机通过同时采集光线方向和位置信息的特点，与传统相机相比，在多视角的信息采集，空间结构感知以及场景理解有着巨大的优势。光场相机具有先拍照、再对焦、体积小、速度快的特征，其照片的最后成像效果要在电脑上处理完成得到光场图像。

深度提取作为计算机视觉中最重要的场景信息之一，也是大多数场景信息分析的基础，仅通过二维的图像，就可以恢复每一个像素点对应的深度值。在获取深度值后，可以进行场景重构，特征识别等多方面的工作。

现有技术中，光场图像的深度提取包括两种方法，使用深度学习搭建的网络结构进行深度提取，或者使用传统的方法。使用深度学习的网络结构能获得更精确的结果，但是其需要大量的训练与学习，对计算机的性能要求较高，而且解释性较差。对于传统的算法，根据四维光场图像可以采用不同的方式进行二维重组，并且可以通过焦栈对图像进行重聚焦，可以分为基于子孔径图像的立体匹配算法、基于极平面图像的算法、基于聚焦序列的算法。目前，现有的基于极平面图像的深度提取算法，容易受到拍摄图像中的噪声、混叠、分辨率等多种因素的影响，且在遮挡区域和弱纹理区域，表现结果也会受到较大程度的影响，导致恢复的深度图像效果不佳。

发明内容

本发明实施例的目的是提出一种光场极面平图像的深度提取方法，通过计算颜色直方图的距离，同时考量自适应直方图、颜色权重与高斯融合，再融合不同方向的极平面图像，最后通过极平面图像中的斜率估计并经过引导滤波器后，达到深度提取的效果，输出平滑、精确的深度图像，对于弱纹理、噪声、遮挡都有着一定的适应性，提高建图精度。

为了实现上述目的，本发明所采用的技术方案如下：

本发明实施例提供了一种光场极平面图像的深度提取方法，所述深度提取方法包括如下步骤：

步骤S1，获取原始的光场图像，通过分别固定u、x与v、y轴，获取光场图像两个方向的极平面图像；

步骤S2，构建基于所述极平面图像的直方图，并通过预设直方图桶的值对颜色强度进行分类；

步骤S3，对所述直方图整体进行以桶内像素数量为基准的均衡化操作；

步骤S4，以极平面图像中的中心视角图像的像素为基准，在预设深度估计精度下，根据预设参数对斜率进行划分，构建每一个中心视角像素点下的平行四边形算子；

步骤S5，以不同平行四边形算子对应像素点所在不同斜率的直线为基准，计算直线中每一个视角下的像素和中心视角像素的颜色差异，并计算颜色权重；

步骤S6，将所述直方图的每一个桶，进行高斯模糊；

步骤S7，计算每一个中心视角需要估计的像素点在添加权重后的左右直方图的距离；

步骤S8，选择最大的左右直方图距离对应的深度，作为估计深度。

上述方案中，所述步骤S3均衡化操作的限制条件至少包括：

第一限制条件：像素总量的限制阈值μ，动态控制每一个桶内的像素数量的均衡；

第二限制条件：索引限制的阈值ξ，防止像素分配不均造成的过多桶被合并为一个。

上述方案中，所述步骤S3均衡化操作进一步为：

在直方图中，以每一个桶中的像素数量的总和以及不断变更的索引范围作为限制，采用公式(1)进行直方图均衡化：

式(1)中，n是当前第i个桶中的像素总和，s代表相加像素总和的索引起点，e代表索引的结尾，其中还包括两个限制阈值μ、ξ。

上述方案中，所述步骤S4构建每一个中心视角像素点下的平行四边形算子，具体包括如下步骤：

根据极平面图像的特点估计直线的斜率；

根据不同的深度估计精度值，划分斜率，斜率和深度值一一对应，判定弱斜率对应的深度值为该斜率下对应的深度；

不同斜率为估计深度下的平行四边形，中心线将所述平行四边形划分为两个部分，对每一个部分中所有的像素点进行距离权重设置。

上述方案中，所述对每一个部分中所有的像素点进行权重设置，采用公式(2) 设置距离权重：

式(2)中，c代表常量，σ是与平行四边形影响面积相关比例参数，d(i，j，λ)是所求像素点和中心线之间的水平距离。

上述方案中，所述步骤S5计算颜色权重进一步为，按照不同斜率下的平行四边形的中心线，其他视角和中心视角的颜色的差距，计算颜色权重w

上述方案中，所述计算颜色权重进一步为，采用公式(3)进行计算：

式(3)中，(x

上述方案中，所述步骤S6对直方图的每一个桶进行高斯融合，采用公式(4) 进行融合：

式(4)中，k＝i-3，d为当前k与i的距离，hist(i)是当前桶序号为i的直方图。

上述方案中，所述步骤S7添加权重，具体为将经过均衡化和高斯融合后的直方图，与颜色权重和距离权重相融合。

上述方案中，所述直方图与距离权重的融合，进一步为：水平和竖直两个方向的极平面图像，在每一个深度值下产生一个左右两侧直方图的距离及对应的代价矩阵，采用公式(5)进行距离权重的融合：

式(5)中，Θ代表融合后的代价量，c

所述直方图与颜色权重的融合，进一步为：计算由中心线分割而成的左右两块平行四边形的距离，直方图距离的计算采用χ

D(i,j,d)＝w

式(7)中，w

本发明具有以下有益效果：

本发明实施例光场极面平图像的深度提取方法，从不同的纹理、噪声、遮挡等多种环境中提供优秀的结果，通过计算颜色直方图的距离，并且加上自适应的直方图、颜色权重与高斯融合的考量，使得在以上环境下都能有较好的发挥。同时，融合了不同方向的极平面图像，通过引导滤波器优化后，可以输出平滑的深度图像。本发明实施例可以运用于机器人的领域中，机器人的寻路、实时场景建图等工作，往往需要多个传感器进行融合操作；同时，对于噪声、遮挡这些常见的难以处理的部分，都有较好的适应性，提高了机器人对场景的感知能力，提高了建图精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例光场极平面图像的深度提取方法的流程示意图；

图2为本发明实施例极平面图像的生成示例图；

图3为本发明实施例平行四边形算子的生成示例图。

具体实施方式

下面通过参考示范性实施例，对本发明技术问题、技术方案和优点进行详细阐明。以下所述示范性实施例仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非在这里进行定义，否则不会用理想化或过于正式的含义来解释。

本发明提供了一种光场极平面图像的深度提取的方法，获取光场图像后获取更精确、平滑的深度图像。所述的光场图像的深度提取方法，通过光场极平面图像直线斜率能体现深度信息的特性，计算极平面图像中中心视角像素限制范围内，在不同深度下的颜色直方图的差异，来判断当前深度标签的合理性。在这个基础上，增加约束颜色权重，通过比较同一个像素点在不同视差情况下的像素强度的不同赋予权重；通过对高斯融合直方图进行高斯权重的赋予，将原本分配错误到两侧的点以一定的权重增加到当前的桶中；再根据不同图像直方图分类的细致程度不同所产生的效果差异，采用动态划分的方法提高深度提取方法的自适应性。根据以上以光场信息的融合，充分考虑光场图像中包含的信息与特征，寻找最贴合实际深度的效果，对于不同的图像都有较好的适应性，输出平滑、准确的结果。所获得的深度结果可以用于三维重建、定位、虚拟现实等多个领域内，泛用性广。

下面结合附图，通过具体的实施例对本发明作进一步详细的说明。

本实施例提供了一种光场极平面图像深度信息的提取方法，通过输入基础光场图像，输出其中心视角的深度图像。本实施例所采用的数据集为HCI数据集，其图像格式为光场微透镜图像，总分辨率为4096×4096，单视角分辨率为 512×512，每张图片包含9个视角，其中‘training’与‘stratified’类别中含有真实深度值，可以用以评价算法的结果。

图1为本实施例光场极面平图像的深度提取方法流程示意图。如图1所示，本实施例所述光场极平面图像的深度提取方法，包括如下步骤：

步骤S1，获取原始的光场图像，通过分别固定u、x与v、y轴，获取光场图像两个方向的极平面图像。

本步骤是对原有数据进行预处理，原始的光场图像为微透镜图像，需要通过分别固定像平面和相机平面的一个坐标，转换为垂直、水平两个方向的极平面图像。图2所示为本实施例中所述极平面图像生成示例图。如图2所示，原始的空间分辨率为512×512，角度分辨率为9×9，所以最后得出的极平面图像的格式为512×9，每一个方向各有512张。

步骤S2，构建基于所述极平面图像的直方图，并通过预设直方图桶的值对颜色强度进行分类。

本步骤利用生成的极平面图像，进行一个整体的直方图生成。通过预先固定直方图桶的值对颜色强度进行分类。在本实施例中，预先分配的桶的数量为 256，即对于0-255的像素强度范围，每一个强度的像素都会被分配为一个单独的桶内。如果该像素在该桶内，则对应的值为1，反之则置为0。

步骤S3，对所述直方图整体进行以桶内像素数量为基准的均衡化操作。

本步骤中，通过直方图的均衡，对每一个桶内的像素数量进行累加，计算每一个桶内的像素数量的总值。由于所述直方图已经被置为0-1矩阵，所以要计算桶内像素总量，只需要对每一个桶索引下的矩阵进行累加操作即可。

优选地，直方图的均衡有两个限制条件。第一限制条件：关于像素总量的限制阈值μ，在累加过程中，如果累加的像素数量超过μ，这一部分的桶进行合并。μ为主要限制条件，动态控制了每一个桶内的像素数量的均衡，在此实施例中μ取所影响范围像素总量的1.5％。第二限制条件：关于索引限制的阈值ξ，此阈值为一个附加阈值，如果桶之间的间距过大，则会进行强制划分，防止由于像素分配不均造成的过多桶被合并为一个，影响最终结果的精度，在本实施例中ξ取值为8。

具体地，所述步骤S3中的直方图均衡化，在直方图中，以每一个桶中的像素数量的总和以及不断变更的索引范围作为限制，直方图均衡化的公式如式(1)：

式(1)中，n是当前第i个桶中的像素总和，s代表相加综合的索引起点，e代表索引的结尾，其中还包括两个限制阈值值μ、ξ，μ代表对像素数量总和的限制。

步骤S4，以极平面图像中的中心视角图像的像素为基准，在预设深度估计精度下，根据不同深度对应参数对斜率进行划分，构建每一个中心视角像素点下的平行四边形算子。

本步骤中，开始构建具体的平行四边形算子，针对极平面图像的特点，估计直线的斜率。针对不同的深度估计精度，将斜率进行划分，在本实施例中，深度的精度值被设置为256，则斜率的最小与最大之间的距离被平等地划分为 256份，斜率和深度值一一对应，弱斜率被估计为其中某一个值，则其深度则被判定为该斜率下对应的深度。

图3所示为本实施例中平行四边形算子的生成示例图。如图3所示，本步骤在所估计点的中心位置生成一个宽度为的平行四边形，在这里设置为13个像素宽度。实线与虚线的图示表示不同方向，即估计深度下的平行四边形，同时实线为中心线，将平行四边形划分为两个部分。每一个部分中所有的点都按照公式(2)进行距离权重设置为w

具体地，所述步骤S4在极平面图像中进行平行四边形的构建，包括构建的方法、参数以及权重的分配。将斜率的变化程度和深度的分辨率相关联，权重的赋予则以像素点和中心线的距离作为参考，具体实现距离权重w

式(2)中，c代表常量，σ是一个比例参数，和平行四边形影响面积相关，由图像的复杂程度决定，d(i，j，λ)代表着所求像素点和中心线之间的水平距离。

步骤S5，以不同平行四边形算子对应像素点所在不同斜率的直线为基准，计算直线中每一个视角下的像素和中心视角像素的颜色差异，并计算颜色权重。

本步骤中，所述计算颜色权重w

式(3)中，(x

本步骤中，将给刚生成的平行四边形添加一个与颜色差异相关的权重w

步骤S6，将所述直方图的每一个桶，进行高斯模糊。

具体地，本步骤将步骤S3生成的颜色均衡直方图进行高斯融合的处理。这里融合的最大限制为左右3个桶，融合的参数c为0.4，设置为1.44。此步骤之后直方图的整体矩阵尺寸没有发生变化，但是桶之间的联系增强了，共享了部分信息。通常与桶的距离越近其信息的重合度越高，所以高斯融合也采取以距离作为指标进行衰减的处理方法。

以步骤S2的直方图构建方法为基础，所述步骤S6对直方图的每一个桶进行高斯融合，采用公式(4)进行融合：

式(4)中，k＝i-3，d为当前k与i的距离，距离越远，则说明当前所添加的直方图的对应权重越小，hist(i)是当前桶序号为i的直方图。

步骤S7，计算每一个中心视角需要估计的像素点在添加权重后的左右直方图的距离。

具体地，本步骤是将经过均衡化和高斯融合后的直方图、颜色权重与距离权重相融合，从而计算左右直方图的距离。因此，本实施例处理后的光场图像，包含水平和竖直两个方向的极平面图像，并在256个深度下均会产生一个左右两侧直方图的距离。所得的光场图像结果为水平、竖直两个方向，尺寸为 512×512×256的代价矩阵。这里需要对两个方向的代价矩阵进行融合操作，具体融合操作如式(5)：

式(5)中，Θ代表融合后的代价量，c

式(6)中，融合了垂直于水平方向的结果，最后得到的代价矩阵尺寸不变，依旧为512×512×256。

计算由中心线分割而成的左右两块平行四边形的距离，以此来估计预判深度正确与否，直方图距离的计算采用χ

D(i,j,d)＝w

式(7)中，w

步骤S8，选择最大的左右直方图距离对应的深度，作为估计深度。

本步骤中，将上述得到的代价矩阵进行最后的处理，针对矩阵中的每一个像素值，去寻找其在256个深度中，数值最大的位置，并且记录该值在深度维度下的索引。最后通过索引，将该点的深度映射到实际的深度之中，至此获得一张分辨率为512×512的图片，即为深度估计算法所得出的结果。最后将此结果在引导滤波器中进行平滑操作，最后输出光场图像。

由以上可以看出，本发明实施例的所述光场极平面图像的深度提取方法，仅通过一张基础的光场图像，恢复出较为平滑、精确的深度图像；所获取的深度图像具有较好的鲁棒性，对于弱纹理、噪声、遮挡都有着一定的适应性；同时恢复出的深度图像，也可以用于较多的实际场景，如场景恢复、机器人实时建图、场景识别等，应用范围广泛，深度估计效果良好。

以上所述是本发明的优选实施方式，应当指出，本发明并不受限于以上所公开的示范性实施例，说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，在本发明揭露的技术范围做出的若干改进和润饰、可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。