一种近红外图像指导的跨模态立体图像超分辨率重构方法

技术领域

本发明属于图像编辑技术领域，具体涉及一种跨模态立体图像超分辨率重构方法。

背景技术

近年来，随着多相机跨光谱成像系统在许多现代RGBD设备上的普及，跨模态立体图像得到了广泛的关注。包括可见光模态图像和近红外模态图像的跨模态立体图像可以通过已经嵌入Kinect和iPhone X等成像设备中的可见光-近红外摄像头得到，同时在许多科学研究及实际应用领域具有较重要的作用，例如人脸识别、目标检测、车辆计数、场景解析等。这些领域通常需要高质量的图像来提升具体不同任务和方法的性能。

作为图像质量增强技术的研究分支，图像超分辨率重构是一门具有较高科学研究价值及较为广泛应用领域的现代图像处理技术。图像分辨率通常可以衡量图像的质量，即分辨率越高的图像具有更清晰的细节以及更高的图像质量，可以提供更丰富准确的信息。但由于在采集、存储及传输过程中存在着不可避免的限制或干扰因素，图像的质量受到不同程度退化影响。通常获取高分辨率图像最直接的方法是使用高分辨率相机，但由于成本问题，实际情况下许多应用并没有条件使用高分辨率相机。而图像超分技术采用基于信号处理的方法提高图像分辨率，是一种有效提高图像分辨率、改善图像性能的途径，并且该方法成本低，因此对高效高质量的图像超分技术的研究显得更加重要。目前，通过从低质量的图像中重构出新的具有更丰富细节内容的高分辨率图像，图像超分技术在生物医学、航空研究、军事应用、图像监控、显微成像、虚拟现实等领域都表现出巨大的应用潜力。因此，在多相机跨光谱成像系统中，图像超分辨率技术可以作为一项预处理来提高图像质量，进而增强后续任务的效果，具有十分重要的应用价值及研究前景。

近红外图像通常比可见图像具有更好的亮度对比度和丰富的纹理细节，这些丰富的信息有助于恢复可见光图像中的高频细节。因此，利用近红外图像的参考来指导可见光图像的超分辨率具有重要的意义。然而，对于多相机跨光谱成像系统，近红外图像和可见图像是在不同的视角采集的，很难直接使用右视角的近红外图像来指导生成左视角可见光图像的纹理信息。近红外图像指导的可见光图像超分辨率重构技术可以利用多相机跨光谱成像系统中不同视角和不同模态的图像信息，进而辅助图像超分辨率重构，因而具有较大的实际应用意义及研究价值。

发明内容

本发明的目的在于提供一种近红外图像指导的跨模态立体图像超分辨率重构方法，以提高可见光模态图像的分辨率，提升图像的主观视觉效果以及客观准确度。

本发明提供的近红外图像指导的跨模态立体图像超分辨率重构方法，主要针对多相机跨光谱成像系统的低分辨率可见光图像进行处理，通过构建图像超分辨率重构卷积神经网络，同时利用跨模态和跨视角的图像信息来增强多相机跨光谱成像系统中的图像分辨率，重构高质量的高分辨率可见光图像，参见图1所示。具体步骤如下：

(1)跨视角匹配：

将低分辨率立体图像的不同模态的左视图和右视图(I

NIR

(2)左右图超分特征提取：

将低分辨率左视图和对齐到左视角的右视图分别输入本发明构建的图像超分辨率重构卷积神经网络模型的两个超分分支，利用一个卷积层和残差块来表示不同模态视图的图像超分特征

(3)左右视图特征融合：

将提取的左视图的可见光模态图像特征和右视图的近红外模态的图像特征

(4)左右视图超分：

分别将融合了不同模态的图像特征

本发明中，步骤(1)所述的进行跨视角匹配的具体流程为：

首先，将低分辨率的跨模态立体图像送入一个跨模态视差预测网络(disparityprediction network,DPN)，输出一个跨模态视差(disparity)，表示为：

disparity＝DPN(NIR

其次，根据该视差将右视角的近红外图像对齐到左视角，得到的左视角的近红外图像NIR

NIR

具体地，图像对齐的方法：将右视角的近红外图像(NIR

NIR

本发明中，步骤(3)所述的进行跨模态特征迁移的具体流程为：

首先，使用一个卷积层根据输入的可见光图像特征(f

w

其次，学习一个通道维度的权重向量(w

最后，利用空间权重图(w

f

本发明中，步骤(4)所述需要迭代跨模态特征迁移模块以及卷积层和残差块的计算，具体步骤为：

首先，将图像超分辨率重构卷积神经网络模型经过步骤(3)提取到的可见光图像特征

然后，使用一个卷积层和一个残差块计算分别处理

将本步骤重复执行1次，得到最终融合了不同模态信息的图像特征

最后，使用一个卷积层和反卷积层的计算分别得到超分后的左视角的可见光图像

本发明采用跨视角匹配模块提取立体图像不同模态的左右图间的视差，再根据视差将右视角的近红外图像对齐到左视角；图像超分辨率重构网络采用两个网络分支分别提取立体图像左右图的特征；采用跨模态特征迁移模块融合左右图特征；在重构立体图像左视角的可见光模态的图像时，不仅利用了该可见光模态的图像空间信息，同时还结合了对应右视角的近红外图像包含的丰富细节来辅助左图的超分过程，从而生成更多的可见光图像中的高频细节纹理、恢复出更真实的高分辨率图像。实验结果表明，本发明方法可以有效利用跨模态立体图像不同模态的图像信息来提高可见光模态图像的分辨率、生成丰富的图像内容、提升图像的主观视觉效果以及客观准确度。此外，本方法重构的高分辨率图像可以有效提高多相机跨光谱成像系统中后续任务的效果，具有重要的实际应用价值。

附图说明

图1为本发明的流程图。

图2为本发明采用的跨视角匹配模块的结构图。

图3为本发明采用的跨模态特征迁移模块的结构图。

图4为利用本方法对低分辨率可见光图像超分的结果。

具体实施方式

对于一对低分辨率立体图像，进行超分处理，具体流程如图1所示。具体步骤为：

首先，将低分辨率跨模态立体图像的左视角的可见光图像(I

NIR

其次，分别将低分辨率左视图I

然后，将提取的左视图的可见光模态图像特征

使用一个卷积层和一个残差块计算分别处理

将本步骤重复执行1次，得到最终融合了不同模态信息的图像特征

最后使用一个卷积层和反卷积层的计算分别得到超分后的左视角的可见光图像

图4为本方法的一个实验例子。其中，(a)是输入的低分辨率可见光图像，(b)是使用本发明方法重构出来的高分辨率可见光图像，(c)是真实的高分辨率可见光图像。可以看出，本发明方法可以有效利用近红外模态的图像信息来辅助恢复出清晰的图像纹理及边缘，生成与原始高分辨率可见光图像更接近的真实且更丰富的可见光图像信息，重构出具有较高视觉质量的高分辨率可见光图像。

参考文献：

[1]D.S.Jeon,S.Baek,I.Choi,and M.H.Kim.2018.Enhancing the SpatialResolution of Stereo Images Using a Parallax Prior.In IEEE/CVF Conference onComputer Vision and Pattern Recognition(CVPR).1721–1730.

[2]L.Wang,Y.Wang,Z.Liang,Z.Lin,J.Yang,W.An,and Y.Guo.2019.Learningparallax attention for stereo image super-resolution.In IEEE/CVF Conferenceon Computer Vision and Pattern Recognition(CVPR).12250–12259.

[3]C.Duan and N.Xiao.Parallax-Based Spatial and Channel Attention forStereo Image Super-Resolution.IEEE Access 7(2019),183672–183679.

[4]C.Guo,C.Li,Jichang,R.Cong,H.Fu,and Ping.Hierarchical FeaturesDriven Residual Learning for Depth Map Super-Resolution.IEEE Transactions onImage Processing A Publication of the IEEE Signal Processing Society(2018).

[5]X.Song,Y.Dai,and X.Qin.Deeply Supervised Depth Map Super-Resolution as Novel View Synthesis.IEEE Transactions on Circuits and Systemsfor Video Technology 29,8(2019),2323–2336.

[6]Y.Wen,B.Sheng,P.Li,W.Lin,and D.D.Feng.Deep Color Guided Coarse-to-Fine Convolutional Network Cascade for Depth Image Super-Resolution.IEEETransactions on Image Processing 28,2(2019),994–1006。