基于镜面高光去除的抗噪光场深度测量方法、系统及介质

技术领域

本发明涉及光场成像的技术领域，具体提供一种基于镜面高光去除的抗噪光场深度测量方法、系统及介质。

背景技术

如何获得在自然光源下拍摄的无镜面图像一直是计算机视觉研究的热点。由于传统工业相机是单视图成像，动态范围有限，拍摄的图像容易出现过曝和局部高光现象，在视觉识别和缺陷检测中会导致表面信息的丢失。因此，高光去除已成为光学检测中非常重要和有价值的工作。

目前，现有技术的高光去除分为两类，包括多重曝光和单次曝光。多重曝光是利用多视点的互补信息进行多视点立体匹配得到的，存在着计算量大、采集系统复杂的缺点。而单次曝光方式的缺点是，对于已知光源或其他场景先验的假设并不通用，采用迭代的方式处理速度慢。

发明内容

本发明为解决上述问题，提供了一种基于镜面高光去除的抗噪光场深度测量方法、系统及介质，一方面提升了高光去除的运行效率；另一方面能最大限度地保留光场的细节信息。

本发明提供的一种基于镜面高光去除的抗噪光场深度测量方法，其包括：S1.获取光场原始图像；

S2.对所述光场原始图像进行

S3.基于所述剪切光场获取每一个深度标签

（1）

S4.基于公式（1），采用阈值法将预检测到的所述镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；

S5.利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；

S6.采用多方向部分角度相干性的方法得到所述光场原始图像的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。

优选的，所述S2的映射过程具体包括：

（2）。

优选的，所述S4的基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量中，包括：

公式（1）中的光场中心视图

（3）

其中，

通过所述中心视图减去每个像素的最小

（4）

其中，

根据公式(3)及公式(4)，所述无镜面图像和所述漫反射图像的关系式如下：

（5）

其中，

基于所述无镜面图像引入偏移量

（6）

其中，

对应/>

（7）

是根据能区分高光的像素阈值确定，令/>

（8）

（9）

其中

优选的，所述S4的在所述候选镜面反射分量中进行二次分离得到漫反射分量中，包括：

预设

（10）

（11）

由于

实际镜面反射分量

其中，

（12）

根据公式（11)及公式(12）确定最大的高光区域并将其标记为主区域，将所述主区域扩大

在平滑颜色过渡的标准下将所述主区域和所述周围区域的平均漫反射颜色设置为相等：

（13）

其中

优选的，所述S5包括：

预设所述中心视图

将目所述标图像

预设所述图像

通过泊松混合将所述图像

所述图像

优选的，所述S6中的噪声感知策略包括edge-preserving filter(EPF)、graphcut(GC)、weighted median filtering(WMT)和noise-aware filter(NAF)策略中的两种或两种以上。

一种基于镜面高光去除的抗噪光场深度测量系统，其包括：第一获取模块：用于获取光场原始图像；

映射模块：用于对所述光场原始图像进行

第二获取模块：用于基于所述剪切光场获取每一个深度标签

（1）

分离模块：用于基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；

修正模块：用于利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；

重建模块：用于采用多方向部分角度相干性的方法得到场景的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。

一种计算机可读存储介质，其包括，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如所述的基于镜面高光去除的抗噪光场深度测量方法的步骤。

与现有技术相比，本发明能够取得如下有益效果：

基于镜面高光去除的抗噪光场深度测量方法、系统及介质，其中，基于镜面高光去除的抗噪光场深度测量方法包括：S1.获取光场原始图像；S2.对所述光场原始图像进行

附图说明

图1是根据本发明实施例1提供的基于镜面高光去除的抗噪光场深度测量方法的流程图；

图2是根据本发明实施例1提供的光场参数化示例图；

图3是根据本发明实施例1提供的修正漫反射分量的流程图；

图4是根据本发明实施例2提供的基于镜面高光去除的抗噪光场深度测量系统。

其中的附图标记包括：

100-基于镜面高光去除的抗噪光场深度测量系统；10-第一获取模块；20-映射模块；30-第二获取模块；40-分离模块；50-修正模块；60-重建模块。

具体实施方式

在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。

实施例1

一种基于镜面高光去除的抗噪光场深度测量方法，其包括：

S1.获取光场原始图像；

S2.对所述光场原始图像进行

S3.基于所述剪切光场获取每一个深度标签

（1）

上述，需要进一步说明的是，根据光场的中心视图的特性可知，当角度坐标

S4.基于公式（1），采用阈值法将预检测到的所述镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；

S5.利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；

S6.采用多方向部分角度相干性的方法得到所述光场原始图像的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。

上述，如图1所示，本实施例的基于镜面高光去除的抗噪光场深度测量方法，首先在获取光场原始图像后，对获取到的光场原始图像进行光场重聚焦图像（即光场参数化后，输入光场

接着，利用基于场景先验驱动和改进的泊松混合方法来修正漫反射分量，得到高光恢复的中心视图。

采用多方向部分角度相干性的方法得到场景的初始深度图，最后采用噪声感知策略滤除高光恢复的中心视图及初始深度图的噪声，获得重建的最终深度图。

因此，本实施例的光场相机只需一次曝光即可获取多视角图像序列，相较于迭代的处理方式能大幅提升运行效率，突破了传统多次和单次曝光的瓶颈，去除镜面高光使三维重建获得更好的成像质量。传统的二色反射去除高光方法会引入黑色色块和背景颜色扭曲等视觉瑕疵，本实施例采用场景先验驱动和改进的泊松混合方法来修正这些视觉瑕疵，并且利用噪声感知优化策略去除光场（即高光恢复的中心视图及初始深度图）的场景噪声，能最大限度地保留光场的细节信息。

优选的，如图2所示，所述S2的映射过程具体包括：

（2）。

优选的，所述S4的基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量中，包括：

公式（1）中的光场中心视图

（3）

其中，

上述，是指使用基于二色反射模型的阈值分割获得候选镜面反射分量。值得说明的是，假设彩色相机以线性方式运行。

通过所述中心视图减去每个像素的最小

（4）

其中，

上述，无镜面(Specular-Free，SF)图像的概念是指不包含镜面反射分量的图像。本发明通过减去每个像素的最小

根据公式(3)及公式(4)，所述无镜面图像和所述漫反射图像的关系式如下：

（5）

其中，

上述，偏移量

目前得到

基于所述无镜面图像引入偏移量

（6）

其中，

上述，偏移量

对应/>

（7）

是根据能区分高光的像素阈值确定，令/>

（8）

（9）

其中

可以理解的是，候选镜面反射分量是具有相对较大

优选的，所述S4的在所述候选镜面反射分量中进行二次分离得到漫反射分量中，包括：

预设

（10）

（11）

由于

实际镜面反射分量

其中，

（12）

上述，由于

根据公式（11)及公式(12）确定最大的高光区域并将其标记为主区域，将所述主区域扩大

在平滑颜色过渡的标准下将所述主区域和所述周围区域的平均漫反射颜色设置为相等：

（13）

其中

由于获得的

优选的，所述S5包括：

预设所述中心视图

将所述目标图像

预设

上述，在合成图像

（14）

对于所有

（15）

对于所有

为了最小化方程(14)，使用以下方程：

（16）

而为了最小化方程(15)，使用以下方程：

（17）

因此，合成图像中每个像素的强度由以下方程确定：

（18）

（19）

其中

使用高斯消去法求解这些方程给出图像

如方程(18)和(19)所示，使用

通过泊松混合将

为了解决渗色问题，使用生成的图像

（20）

其中

（21）

其中

（22）

其中

（23）

其中

（24）

（25）

由此，得到中心视图修正后的漫反射分量

所述图像

优选的，所述S6中的噪声感知策略包括edge-preserving filter(EPF，保边滤波器)、graph cut(GC，图形切割)、weighted median filtering(WMT，加权中值滤波)和noise-aware filter(NAF，噪声滤波器)，采用上述两种或两种以上策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，以获得重建的最终深度图。

需要进一步说明的是，采用多方向部分角度相干性的方法得到所述光场原始图像的初始深度图为现有技术，在此不再赘述。

实施例2

一种基于镜面高光去除的抗噪光场深度测量系统，如图4所示，其包括：

第一获取模块10：用于获取光场原始图像；

映射模块20：用于对所述光场原始图像进行

第二获取模块30：用于基于所述剪切光场获取每一个深度标签

（1）

分离模块40：用于基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；

修正模块50：用于利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；

重建模块60：用于采用多方向部分角度相干性的方法得到场景的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。

实施例3

一种计算机可读存储介质，其包括，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现所述的基于镜面高光去除的抗噪光场深度测量方法的步骤。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。