一种基于深度学习的彩色计算鬼成像方法

技术领域

本发明属于计算鬼成像技术领域，具体设计一种基于深度学习的彩色计算鬼成像方法。

背景技术

鬼成像是一种基于光场涨落的关联特性，通过测量参考光场与目标探测光场之间的强度关联函数，可以非局域性地获取目标图像信息的新型成像技术。

计算鬼成像是传统鬼成像的发展与延伸。

计算鬼成像理论指出，参考光路的目的是为了测量到达成像物体的光场光强分布，因此可以用空间光调制器或者数字微反射镜对光场进行调控，再通过计算的方式得到光场到达成像物体时的强度分布。

目前，基于计算鬼成像理论已经实现了对灰度图像的成像。一般来说，采用三个对光谱过滤的单像素光电探测器，分别在红绿蓝三色光谱上进行灰度级成像后再将三色图像组合，也可以实现彩色成像。但这种方法无疑至少将测量时间提高了三倍。

如果只用一个单像素探测器对信号光的光强进行探测，色彩的相互交叠将会导致成像过程中不同色彩信息置乱，无法正确重建出物体图像及颜色。

最近有研究人员提出了一种基于特殊彩色散斑场的计算鬼成像方法，该方法虽然利用单像素探测器实现了对彩色物体成像，但是对不同彩色物体需要进行对应的特殊标定和编码。

近年来，随着硬件设备及计算能力的不断发展和提高，深度学习算法的进步非常迅速，并被广泛应用于各个领域。深度学习算法可通过在大规模图像识别数据集上训练的方式，来学习合适的图像特征表达，进而实现退化图像的恢复和还原。

发明内容

鉴于上述和/或现有存在的问题，提出了本发明。

本发明的目的，就是提供一种基于深度学习的彩色鬼成像方法，无需对不同彩色物体需要进行对应的特殊标定和编码，实现对细节丰富物体(而非简单的字母或数字)进行彩色成像。

计算鬼成像的一个主要特征，就是使用光源连续向待成像物体投射不同的、经过编码的照明光场，同时使用单像素探测器连续采集待成像物体的反射光信号；而物体的成像信息则被这些不同编码的照明光场，与单像素探测器接收到的光强信号之间的关联过程收集起来。

但对于一个彩色物体，如果使用一个单像素探测器同时接收所有颜色通道的信息，将会使这些色彩相互交叠，从而导致成像过程中不同色彩信息被置乱。

本发明提出一种信息恢复算法，利用这些置乱的信息生成一张包含有待成像物体彩色信息的信息图；通过这样的方式，一方面可以避免复杂的特定照明光场编码，另一方面可以减少重构算法的计算量。

生成信息图的具体方法如下：

由于彩色光源所投射的彩色照明光场是通过编码产生的，因此到达成像物体时光场的光强分布是已知的。

对于一幅彩色图像的光强分布，可以分解为三个大小为m×n的二维矩阵I

设由彩色照明光源投射出的红绿蓝三色照明散斑，其所构成的测量矩阵分别为S

则信息采集模块中，单像素探测器所得到的光强测量序列为：

L＝α

其中α

借鉴传统鬼成像的算法，将光强测量序列和彩色照明散斑序列进行关联运算，可以得到物体的信息图

求解信息图的具体方法为：

较佳的，虽然信息图

将不同的成像物体与其对应的信息图组成训练对，并构成训练数据集。

对于一个生成式对抗网络，其中存在生成器和判别器两个卷积神经网络；并且它的训练方式为对抗训练，即在训练过程中，生成器的目标就是尽量生成真实的图片去欺骗判别器，而判别器的目标则是尽量判别出生成器产生的假图片和真实图片。

较优地，设置生成式对抗网络中生成器和判别器的各个网络层的初始参数，将训练数据集输入上述神经网络中，对网络进行对抗训练。

对待成像物体进行信息采集，并生成信息图；将待成像物体信息图输入训练好的生成对抗网络中，实现对该物体彩色成像。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，其中：

图1为本发明提供的第一种实施例中所述彩色照明散斑示意图；

图2为本发明提供的第一种实施例中的待成像物体示意图；

图3为本发明提供的第一种实施例中的待成像物体信息图；

图4为本发明提供的第一种实施例中的生成式对抗网络中生成器模型示意图；

图5为本发明提供的第一种实施例中的生成式对抗网络中判别器模型示意图；

图6为本发明提供的第一种实施例中待成像物体重建彩色像示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

步骤1：采集信息图数据集。

步骤1-1：由计算机控制的数字光投影仪产生的如图1所示大小为32*32*3像素的随机编码彩色照明散斑图案，这些彩色散斑被连续地投射到待成像的物体上。

步骤1-2：如图2所示的彩色照片颜色信息，可由它对红、绿和蓝三色光的反射率矩阵描述，具体可表述为I

将彩色照片和其信息图构成一对样本；

步骤1-3：重复上述方法，得到多对样本，逐渐扩充构成训练数据集。

步骤2：设计与训练生成式网络模型

步骤2-1：设计一个如图4所示的生成器模型，输入信息图；紧接着输入层是3个卷积层，K为卷积核的个数，S代表卷积的步长。在这个过程中，图像的通道数不断增加，图像的尺寸不断减小，从而不断获取图像的抽象特征。选取Leaky-ReLU函数为激活函数,而放宽稀疏性限制；中间部分为10个残差稠密块，它将残差块和稠密块结合在一起来捕捉图像的语义信息；最后通过具有3个卷积核的卷积层得到生成器输出大小为32*32*3的图像。

判别器模型如图5所示，在判别器模型中，输入为生成器产生的图像和原始图像的图像对，图中的K为卷积核个数，S为卷积步长，F代表卷积核的大小。多个卷积层分别对原始图像和生成器产生图像进行特征提取，判别器会比较与其对应的抽象的特征图之间的差异，这有利于提高判别器分类的精确度。

将训练数据集输入所述神经网络中，对网络进行训练。

步骤3：通过上述方法采集待成像物体信息，生成信息图。将该信息图输入到训练好的生成对抗网络中，将会输出待成像物体相应的彩色像，成像效果如图6所示，彩色重建情况与图2非常接近。

总的来说，本发明基于深度学习成功地实现了利用一个单像素探测器合并检测多个波长的光信号，并从中恢复了物体的彩色像，为实时的彩色鬼成像或单像素成像的实际运用打下了基础。