基于纹理信息引导的光场深度图优化算法

技术领域

本发明属于光场深度估计领域，特别是涉及一种基于纹理信息引导的光场深度图优化算法。

背景技术

深度信息在智能医疗、无人驾驶、人脸识别、目标检测跟踪、3D视频制作等领域有着广泛的应用价值，基于光场相机的深度估计是近年来国内外诸多学者研究的热点。光场相机由光场成像理论发展而来，基于光场双平面表示模型，光场相机可实现空间光线位置信息与角度信息的同步记录，将这些信息进行变换处理，可实现场景深度估计。

目前，主流的光场深度估计技术主要包括散焦法、立体匹配法、EPI(Epipolar-Plane Image)斜率法以及基于深度学习的方法。散焦法以光场相机数字重聚焦得到的多张重聚焦图像为输入，通过图像间清晰度比较获得深度图，受清晰度评价函数敏感度的限制，该算法获得的深度图存在边缘不准确的问题。立体匹配法通过计算多幅子孔径图像的视差来确定深度图，子孔径图像间基线距离较短限制了该算法的精度。EPI斜率法利用极线图的特殊结构计算每个像素点对应的视差信息，将视差信息转化得到深度图，该算法在平滑区域鲁棒性较差。相比较于以上方法，基于深度学习的方法获取的深度图精度较高，但需要大量的训练数据，并且存在输出的深度图与光场空间分辨率不匹配的问题。

发明内容

为解决上述技术问题，提高传统光场深度估计算法获得的深度图的精度，本发明利用引导滤波器可实现引导图像边缘保持及被引导图像局部平滑特性，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，以获得噪声更低和边缘更为准确的深度图。

本发明保护的技术方案为：基于纹理信息引导的光场深度图优化算法，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，引导滤波的过程可简单用式(1)描述：

其中，O是输出图像，即优化后的光场深度图；I是引导图像，即携带纹理信息的光场中心孔径图像，其特征为边缘信息明显；i和k是像素索引；a

对式(1)两边求导，有

其中，|ω|表示ω

为了寻找合适的滤波窗口r以及正则化参数ε，建立了基于多评价函数的混合引导滤波参数寻优模型，该模型可表示为：

其中，E

进一步的，选取峰值信噪比PSNR、均方误差MSE、坏像素率BP、绝对相对误差ARE和细化Thining5个性能评价函数，对不同的滤波参数r、ε获得的优化深度图进行评价；

固定ε＝10

同理，参数ε的寻优模型可具体表示为：

固定ε＝10

本发明算法以纹理信息丰富的光场中心孔径图像作为引导图像，建立了基于多评价函数的混合引导滤波参数寻优模型，以获得合理滤波器参数实现深度图引导滤波优化。实验结果表明，优化后的深度图边缘的视觉效果有明显改善，与散焦结合相关性评价算法获得的原始深度图相比，优化后深度图的均方误差平均降低1.13％。

附图说明

下面结合附图对本发明做进一步详细的说明。

图1为引导滤波参数优化，其中(a)为ε＝10

图2为“cotton”场景实验效果对比图，其中(a)为光场原图，(b)为标准深度图，(c)为DCDC算法深度图，(d)为优化后的深度图。

图3为“dino”场景实验效果对比图，其中(a)为光场原图，(b)为标准深度图，(c)为DCDC算法深度图，(d)为优化后的深度图。

具体实施方式

为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。

为了提高传统光场深度估计算法获得的深度图的精度，本发明利用引导滤波器可实现引导图像边缘保持及被引导图像局部平滑特性，采用光场边缘特性明显的纹理图像来实现光场深度图的引导滤波优化，以获得噪声更低和边缘更为准确的深度图。引导滤波的过程可简单用式(1)描述：

其中，O是输出图像，即优化后的光场深度图；I是引导图像，即携带纹理信息的光场中心孔径图像，其特征为边缘信息明显；i和k是像素索引；a

对式(1)两边求导，有

其中，|ω|表示ω

评价指标客观反映了深度图获取的精度，由于不同评价函数侧重的深度图细节不同，因此评价结果也存在差异。为了提高引导滤波参数寻优模型的鲁棒性，使最终优化后的深度图能够在各评价指标下达到均衡的质量，本发明建立了基于多评价函数的混合引导滤波参数寻优模型，该模型可表示为：

其中，E

本发明选取峰值信噪比(Peak Signal to Noise Ratio,PSNR)、均方误差(MeanSquare Error,MSE)、坏像素率(Bad Pixels,BP)、绝对相对误差(Absolute and RelativeError,ARE)和细化(Thining)5个性能评价函数，对不同的滤波参数r、ε获得的优化深度图进行评价。

固定ε＝10

同理，参数ε的寻优模型可具体表示为：

固定ε＝10

为了证明本发明基于纹理信息引导的光场深度图优化算法的有效性，采用具有标准深度图的HCI光场数据集中的“cotton”和“dino”场景作为测试对象，将散焦结合相关性深度获取(Depth from combining defocus and correspondence，DCDC)算法获取的深度图作为待优化深度图，采用本发明所提算法对其进行优化，优化效果对比图如图2、图3所示：其中图2(a)、图3(a)分别为“cotton”和“dino”光场原图，图2(b)、图3(b)为对应的标准深度图，图2(c)、图3(c)为DCDC算法获得的深度图，图2(d)、图3(d)为采用本发明算法优化后的深度图。

截取图2的一个局部区域进行放大，如图中的矩形虚线框所框位置，该区域位于石像头部右侧，是前景与背景的交界处，且头发与额头存在深度差，采用DCDC算法得到的深度图在该区域边缘模糊，且丢失了头发与额头的深度层次。本发明提取携带4D光场纹理信息的子孔径图像作为引导图像，设置r＝5、ε＝10

鉴于主观视觉评价具有局限性，为了进一步客观论证本发明所提算法的性能，以标准深度图为基准，选取PSNR、MSE、BP作为评价指标，对原始深度图和本发明算法优化后的深度图进行了定量评价，评价结果如表1所示。对比表中数据可得，与原始深度图相比，优化后的深度图PSNR值更高，且MSE和BP值更低，验证了本发明所提算法的有效性。

表1.深度图精度的定量评价

针对现有光场图像深度估计算法普遍存在获取的深度图精度有限，边缘模糊等问题，提出了利用边缘清晰的光场纹理图像对边缘模糊的深度图进行引导滤波优化的方法。引导滤波过程中建立了混合引导滤波参数优化模型，获取了合理的引导滤波参数r＝5、ε＝10

上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。