一种基于光场成像的复杂环境目标提取方法及装置

技术领域

本发明属于图像处理领域，涉及一种基于光场成像的复杂环境目标提取方法及装置。

背景技术

在直升机飞行过程中需不断进行环境感知，对障碍物、地形或威胁目标等进行探测和识别，电视成像则是其中的重要形式之一，能真实反映实际场景环境，通过可见光的采集形成图像，利用相应的识别算法进行目标提取，可供飞行员进行观察分析或自动探测和处理，提取需要将目标与背景分离出来，目前使用最为广泛的方法是阈值分割法，通过设定不同的特征阈值,把图像的像素点划分为具有不同灰度级的目标区域和背景区域，但由于可见光图像容易受到干扰，尤其当周围环境背景存在复杂特征细节时，会大大增加目标提取的难度，此时阈值的设定尤为重要，因此需有较高的先验知识要求，同时多阈值的计算过程亦是复杂，分割结果对阈值变化也较为敏感，稳定性差。尽管目前采用多种改进方法提升分割效果，但其针对的都是传统成像获取的降维空间数据，光线中其余大量信息因不能在空间图像中描述而无法利用，从而让方法改进和效果提升陷入瓶颈，因此需要新型的图像采集方法和分割算法思路来让目标提取有进一步发展。

发明内容

本发明的目的：利用光场成像提取出场景的深度图像，采用深度的描述形式实现目标与复杂背景的分离，便于后续的目标自动识别或飞行员人工判别。

本发明的技术方案：

一种基于光场成像的复杂环境目标提取方法，包括：

对光场图像进行重聚焦，得到聚焦至不同深度的二维空间图像；

按照图像清晰程度评价所有二维空间图像中像素点；将同一像素点中最清晰点对应的聚焦系数赋值到该像素点，得到一幅深度图像。

对于所有图像的成像，都满足深度表示原则，深度表示原则为：

当图像中某个深度的位置最为清晰时，表明光线正确聚焦于该深度，此时在距离方面满足以下关系：

其中object表示场景中物体与相机之间的距离；image表示成像距离；focal表示焦距，聚焦系数α来表示目标距离object的相对大小，即用α来表示深度。

按照图像清晰程度评价所有二维空间图像中像素点，包括：

对于任一二维空间图像的任一像素点，获取该像素点、后方一个像素点和下方一个像素点的像素值；

对该像素点采用Canny算法对图像进行边缘提取；

采用评价公式，计算该像素点的评价结果；评价公式为：

Q(x,y)＝mS(x,y)+nC(x,y)

S(x,y)＝|Z(x,y)-Z(x+1,y)|*|Z(x,y)-Z(x,y+1)|；

Q(x,y)＝mS(x,y)+nC(x,y)；

其中S(x,y)表示像素点(x,y)处的梯度计算结果，C(x,y)表示像素点(x,y)处的Canny算子边缘提取结果，Q(x,y)表示像素点(x,y)处的清晰度评价结果，m与n为灵敏度系数。

将同一像素点中最清晰点对应的聚焦系数赋值到该像素点，得到一幅深度图像，包括：

对于同一像素位置，遍历二维空间图像，获取评价结果最大的像素点对应的α，用该α代替该像素点的像素值，即可得到完整的深度图像。

一种基于光场成像的复杂环境目标提取装置，包括：

重聚焦单元，用于对光场图像进行重聚焦，得到聚焦至不同深度的二维空间图像；

评价单元，用于按照图像清晰程度评价所有二维空间图像中像素点；将同一像素点中最清晰点对应的聚焦系数赋值到该像素点，得到一幅深度图像。

对于所有图像的成像，都满足深度表示原则，深度表示原则为：

当图像中某个深度的位置最为清晰时，表明光线正确聚焦于该深度，此时在距离方面满足以下关系：

其中object表示场景中物体与相机之间的距离；image表示成像距离；focal表示焦距，聚焦系数α来表示目标距离object的相对大小，即用α来表示深度。

评价单元具体用于：

对于任一二维空间图像的任一像素点，获取该像素点、后方一个像素点和下方一个像素点的像素值；

对该像素点采用Canny算法对图像进行边缘提取；

采用评价公式，计算该像素点的评价结果；评价公式为：

Q(x,y)＝mS(x,y)+nC(x,y)

S(x,y)＝|Z(x,y)-Z(x+1,y)|*|Z(x,y)-Z(x,y+1)|；

Q(x,y)＝mS(x,y)+nC(x,y)；

其中S(x,y)表示像素点(x,y)处的梯度计算结果，C(x,y)表示像素点(x,y)处的Canny算子边缘提取结果，Q(x,y)表示像素点(x,y)处的清晰度评价结果，m与n为灵敏度系数。

赋值单元具体用于：

对于同一像素位置，遍历二维空间图像，获取评价结果最大的像素点对应的α，用该α代替该像素点的像素值，即可得到完整的深度图像。

本发明的有益效果：光场成像不同于传统成像方式，其可以获得被成像物体的4D光线信息，不仅具备传统成像方式的空间分辨能力，同时还能进行方向分辨，丰富的视角信息能有效弥补单张图像数据不足的弊端，为后期的算法处理提供了重要的数据基础。光场结构也将视差空间扩展为连续空间，利用视角信息的差异量化可以进行视差估计，从而使深度求取成为可能。深度图像不仅可以描述目标的相对距离信息，对于细节的提取也更加准确，更有利于提高目标分割和识别的准确度。因此采用基于光场成像的原理对目标场景进行深度图像获取，可以有效抑制复杂背景环境的干扰，增强目标提取效果。

附图说明

图1为光场图像。

图2为常规分割算法处理结果图。

图3为提取的深度图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术，对图1采用Canny算子对捕获的图像进行分割得到图2，图2看出由于背景存在复杂纹理，而算法本身不会对其进行区分，这就导致目标边缘与背景细节会融合在一起，难以分别，这也是所有类似分割算法都会产生的问题。

本发明提供一种基于光场成像的复杂环境目标提取方法，包括：

步骤1、实现光场图像(图1)重聚焦，将四维光场数据投影至二维空间图像。

4D光场信息是由L(x,y,u,v)来描述，其中(x,y)为光线的空间坐标，这是普通成像方式所能记录的光线信息，(u,v)为光线的角度坐标，是光场利用其特殊的微透镜结构获取的光线特殊方向信息，将光线捕获结果从二维提升为四维。

普通成像方式会在成像前完成焦距对准，根据焦距大小的调节来实现不同距离清晰度的调节。而光场成像四维信息的记录，能够实现成像后的聚焦调节，即重聚焦，可以在一定范围调整聚焦位置。根据光场采集结构通过推导可以得到重聚焦公式：

其中w为距离系数，α为聚焦系数，距离系数由光场采集设备的物理参数决定，属于固定值，而聚焦系数为可调节参数，通过改变参数值能够调整光场图像的聚焦位置，对焦至所需深度，让该深度处的场景清晰度最高。完成对焦调整后，对四维光场数据进行角度信息求和

通过求和的方式可以将投射在空间点(x,y)处的各方向光线进行汇总，从而得到聚焦系数为α条件下的二维普通图像，完成光场数据的重聚焦，亦是将四维数据映射至二维图像。

步骤2、依据物距和焦距的相对关系，用像素点最清晰时刻的聚焦系数代表其深度相对大小，确定深度图像获取原则。

当图像中某个深度的位置最为清晰时，表明光线正确聚焦于该深度，此时在距离方面满足以下关系：

其中object表示场景中物体与相机之间的距离；image表示成像距离；focal表示焦距，其可以通过聚焦系数α进行调节，两者呈正比例关系。因此可以用聚焦系数α来表示目标距离object的相对大小，即用α来表示深度。

步骤3、设计评价函数进行清晰度量化，将评价结果达到最大值时，认定为该像素点重聚焦过程中的最清晰时刻。

可以看出图像某位置处深度的获取，即确定图像该位置最清晰时刻的聚焦系数，首先需要对清晰度进行有效的量化对比，本发明设计了一种清晰度评价函数进行处理。清晰度评价的实质是像素梯度计算，为了提高灵敏度，采用梯度相乘的方式作为评价基础，构建邻域模板对图像进行卷积

S(x,y)＝|Z(x,y)-Z(x+1,y)|*|Z(x,y)-Z(x,y+1)|；

其中Z(x,y)表示像素点(x,y)处的像素大小，S(x,y)表示像素点(x,y)处的梯度计算结果。该方法能够评估图像锐化程度，为了进一步增强目标提取能力，同时采用Canny算法对图像进行边缘提取后进行叠加

Q(x,y)＝mS(x,y)+nC(x,y)；

其中S(x,y)表示像素点(x,y)处的梯度计算结果，C(x,y)表示像素点(x,y)处的Canny算子边缘提取结果，Q(x,y)表示像素点(x,y)处的清晰度评价结果，m与n为灵敏度系数，其中m取值为10000，n取值为2。采用Laplacian函数或SMD函数亦可进行清晰度评价，其以周围像素点加减作为模板基础，因此在极值附近灵敏度较差，识别精度较低。

步骤4、获取全部像素点最清晰时刻的聚焦系数，形成深度图像(图3)。

利用评价函数量化每个像素点的清晰度，不断在一定范围内调整聚焦系数α进行重聚焦，每个像素点的清晰度也在发生改变，当清晰度Q(x,y)达到最大值时，可认为像素点(x,y)处于最为清晰的时刻，此时的聚焦系数α可代表该像素点的深度相对大小。遍历整个空间图像，获取每个像素点最清晰时的α，即可得到完整的深度图像。

选择不同聚焦系数α，将四维光场数据重聚焦至不同深度，产生对应的多幅二维空间图像，利用评价函数获取每个像素点最清晰点对应的聚焦系数，将聚焦系数赋值到该像素点，形成一幅完整的深度图像，实现目标与背景的分割。

以上所述，仅为本发明的具体实施例，对本发明进行详细描述，未详尽部分为常规技术。但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围为准。