一种端到端成像设备设计方法和装置

技术领域

本发明涉及光学设计领域，特别涉及一种端到端成像设备设计方法和装置。

背景技术

成像设备的设计通常是由经验驱动设计的光学系统，结合后续复杂的图像信号处理链路两个环节共同完成。

随着近年来计算成像技术的发展，通常使用端到端的方案来解决上述两个环节的隔阂问题。然而，现有端到端设计方案所采用的图像成像模型普遍过于简单，例如傅里叶变换模型或其他类似的近轴模型。这些模型仅支持单透镜表面的优化，限制了所设计的透镜所生成的图像成像质量。

发明内容

有鉴于此，本发明实施例的目的在于提供一种端到端成像设备设计方法和装置，具体包括：

第一方面，本发明实施例提供了一种端到端成像设备设计方法，所述方法包括：

获取训练所述成像设备对应的预设场景；

基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；

利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；

根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。

可选地，所述基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像，具体包括：

将透镜表示为一个球面镜和一个多项式矫正因子；

采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差；

根据传感器接收的光学成像模拟的光信号，生成模拟图像信号；

对所生成的模拟图像信号与参考图像进行图像对齐，得到所述预处理图像。

可选地，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，采用牛顿迭代法来确定光线与平面交点的数值解，获取与透镜参数相关的像差仿真。

可选地，所述采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差，具体包括，基于柯西色散公式模拟在各种光学材料和透镜面型情况下的光的色散。

可选地，所述预处理图像需要进行白平衡、去马赛克、颜色矫正、数字增益、图像恢复和/或Gamma校正处理。

可选地，所述根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数，具体包括：

根据所述生成图像和对应的参考图像，确定对应的损失函数值；

根据所述损失函数值，计算所述透镜和图像后处理网络参数的梯度值；

根据所述梯度值，使用梯度下降法更新所述透镜的参数和图像后处理网络的参数。

可选地，所述透镜的参数包括用于表征非球面透镜的多项式矫正因子中的曲率、圆锥系数和高阶系数。

可选地，所述图像后处理网络为生成对抗网络，所述生成对抗网络的生成网络采用7层尺度的U-net结构，并包含连续的6次下采样和6次上采样阶段；

所述生成对抗网络的对抗网络包括基于全局空间上下文的全局判别器，以及基于PatchGAN的局部判别器。

可选地，所述图像后处理网络包括所嵌入的ISP、优化迭代或神经网络结构。

第二方面，本发明实施例提供了一种端到端成像设备设计装置，所述装置包括：

场景获取模块，用于获取训练所述成像设备对应的预设场景；

图像渲染模块，用于基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；

图像后处理模块，用于利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；

参数更新模块，用于根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。

第三方面，本发明实施例提供了一种成像装置制造方法，包括：

确定所述成像装置的透镜的初始参数；

根据第一方面的端到端成像设备设计方法得到的所述成像装置更新后的参数，使用球面或非球面镜加工工艺制造出对应的透镜；

使用适配器将所述透镜与图像传感器进行组合，得到所述成像装置。

第四方面，本发明实施例提供了一种成像方法，所述方法包括：

根据第三方面的成像装置制造方法得到成像装置；

使用所述成像装置对目标场景进行成像，得到目标预处理图像；

根据第一方面的端到端成像设备设计方法得到的图像后处理网络的参数，将所述目标预处理图像输入至所述图像后处理网络中，得到目标数字图像。

本发明实施例提供的成像设备设计方法和装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳务的前提下，还可以根据这些附图获得其他的附图。通过附图所示，本申请的上述及其它目的、特征和优势将更加清晰。在全部附图中相同的附图标记指示相同的部分。并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本申请的主旨。

图1示出了根据本公开实施例提供的端到端成像设备设计方法的流程示意图。

图2示出了根据本公开实施例提供的端到端成像设备设计方法的另一流程示意图。

图3示出了根据本公开实施例提供的透镜模型以及基于可微的光线跟踪渲染方法的流程示意图。

图4示出了根据本公开实施例提供的端到端成像设备设计装置的结构示意图。

图5示出了根据本公开实施例提供的成像装置制造方法的流程示意图。

图6示出了根据本公开实施例提供的成像方法的流程示意图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

成像设备的设计通常是由经验驱动设计的光学系统，结合后续复杂的图像信号处理链路两个环节共同完成。

随着近年来计算成像技术的发展，通常使用端到端的方案来解决上述两个环节的隔阂问题。然而，现有的端到端设计方案所采用的图像成像模型普遍过于简单，例如傅里叶变换模型或其他类似的近轴模型。这些模型仅支持单透镜表面的优化，限制了所设计的透镜所生成的图像成像质量。

有鉴于此，本公开实施例的目的在于提供一种成像设备设计方法和装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。

以下结合附图详细描述本发明实施例公开的内容。

图1示出了本发明实施例提供的成像设备设计方法，具体步骤如下：

步骤S110，获取训练所述成像设备对应的预设场景。

本发明实施例采用的预设场景用于对实施例中采用的透镜的参数和生成对抗网络的参数进行训练。预设场景的数据可以来源于第三方的数据集，例如DIV2K。

步骤S120，基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像。

步骤S130，利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像。

本发明实施例中所获取的每个预设场景，需要输入至整个算法框架中的各个功能模块，最终输出得到预设场景对应的生成图像，从而根据生成图像来调整整个算法框架中的相关参数。

如图2所示的成像设备设计步骤示意图，本发明实施例中的图像数据主要经过透镜模块、图像传感器模块、图像处理流水线模块和图像后处理网络的处理，上述各模块也构成了成像设备的主要功能模块。其中，所述透镜模块包含用于将非球面透镜表达为球面镜和一个多项式矫正因子；所述图像传感器模块用于生成预设场景对应的原始数字图像；所述图像处理流水线模块用于对所述原始数字图像进行图像处理，得到所述预设场景对应的预处理图片；所述图像后处理网络用于从所述预处理图片恢复出所述预设场景对应的生成图像。

步骤S140，根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。

本发明实施例可以通过生成图像和对应的参考图像的信息，从而实现调整整个算法框架中的相关参数，并且可以实现同时训练算法框架中的透镜模块的参数和图像后处理网络的参数。其中训练出的透镜模块可以用于确定所设计出的透镜的主要参数，训练出的图像后处理网络可以用于确定图像后处理网络的参数。生成图像是根据步骤S130生成的，而参考图像是预设场景所生成图像的理想值。

具体地，所述透镜模块的参数包括所述多项式矫正因子的曲率、圆锥系数和高阶系数；所述图像后处理网络的参数为所采用的模型参数。

本发明实施例中的透镜模块可以实现球面透镜和非球面透镜的设计。一般性地，可以使用该透镜模型将透镜表达为一个球面镜和一个多项式矫正因子。在上述表示的基础上，所述多项式矫正因子的曲率、圆锥系数和高阶系数都是非球面透镜设计时的基本参数。此外，由于本发明实施例中的图像后处理网络可以采用生成对抗网络，因此生成对抗网络的模型参数可以理解为特定生成对抗网络结构中的模型所涉及的参数，例如生成对抗网络中生成网络的模型参数；图像后处理网络还可以是所嵌入的ISP、优化迭代或神经网络结构，相应地也需要更新相应模型的参数。

本发明实施例提供的成像设备设计方法，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。

基于上述实施例，附图3示出了本发明实施例提供了一种透镜模型以及基于可微的光线跟踪渲染方法，具体方法如下。

步骤S310，将透镜表示为一个球面镜和一个多项式矫正因子。

具体地，对于给定的笛卡尔坐标系(x,y,z)，z轴设定为光轴，(x,y)为对应的截面，且令截面半径

其中c为透镜的曲率，α＝(1+κ)c

因此，透镜模型的隐式表示及其空间导数可以表示为：

f(x,y,z)＝h(ρ)-z

特别地，当κ＝0且a

可以理解的是，本发明实施例中需要训练的参数为上述多项式矫正因子中的曲率c、圆锥系数κ和高阶系数a

步骤S320，采用可微分的光线跟踪渲染方法模拟光学成像并仿真出像差。

光线跟踪渲染方法的主要任务就是计算光线与透镜表面的交点，进行进行模拟光学成像并仿真出像差。为了在光线跟踪中使用前述实施例中的透镜模型，需要计算交点的坐标(x,y,z)以及光线到相交平面f(x,y,z)＝0的行进距离t。假设原点坐标为o＝(o

f(x,y,z)＝f(o+td)＝0

对于非球面透镜而言，上述求根问题没有解析解，我们可以采用牛顿迭代法来确定数值解，迭代过程的收敛条件可以是连续两次迭代求解的结果之差小于预设的阈值。

光线跟踪渲染方法中的另一任务是模拟光的色散。本发明实施例根据柯西色散公式模拟光的色散n(λ)：

λ为入射光的波长，而A、B、C为柯西色散系数。

在本发明实施例中，为综合考虑图像渲染质量和效率，实践中仅使用柯西色散公式携带参数A和B的前两项即可。当中心波长n

其中各项系数可以是λ

步骤S330，根据传感器接收的光学成像模拟的光信号，生成模拟图像信号。

本发明实施例中的端到端的计算成像方法包括根据光学信号生成带有各种像差的模拟图像数据。图像传感器模块在接收到光信号时，通常使用点扩展函数(point spreadfunction，PSF)描述成像系统对点源或点对象的响应。PSF通常在视场中变化，并跨越场景的深度和光谱。对于一个给定的颜色通道c而言，传感器测量记录的图像信息I

I

其中为p(x',y',d,λ,s

在渲染引擎中可以采用蒙特卡洛采样。对于每个像素，光线可以以随机的数目从传感器平面进行采样。被采样的光线根据斯涅耳定律依次通过每个折射表面。当计算出的采样光线对应的交点位于透镜几何空间之外或发生全反射时，光线被标记为无效且不会对最终的模拟图像信号值作出贡献。

步骤S340，对所生成的模拟图像信号与参考图像进行图像对齐，得到所述预处理图像。

本发明实施例中的透镜模型以及基于可微的光线跟踪渲染方法中，初始阶段所得到的图像往往是失真且被缩放的，即在训练过程中，该生成图像是未对齐的。使用这样的生成图像很难去计算生成图像与参考图像之间产生的图像损失。

为了解决生成图像未对齐的问题，我们可以从纹理平面的中心到边界跟踪均匀分布的16个点，并得到相应的与传感器平面相交的点r

r

为了模拟图像的失真和缩放，本发明实施例可以仅考虑径向失真，并求解如下最小二乘问题，得到对齐后的预处理图像。

其中K为ξ(1,k

此外，在对所生成的模拟图像信号进行图像对齐操作之后，还可以将图像数据输入到图像处理流水线中进行进一步处理。该处理包括白平衡、去马赛克、颜色矫正、数字增益和/或图像恢复处理，以便于使图像数据在后续步骤中与参考图像进行对比，从而对成像设备的参数进行更新。

本发明实施例提供的透镜模型以及基于可微的光线跟踪渲染方法，实现了端到端计算成像，通过可微分的基于光线跟踪的光学引擎，可以在生成包含各种像差的模拟图像数据的同时，训练更新复杂光学透镜的参数。该过程实现了完全可微分，达到了用数据训练的方式进行成像设备设计的效果。

基于上述任一实施例，本发明实施例中的图像后处理网络可以使用生成对抗网络来对图像进行重建。采用本发明实施例中的生成对抗网络结构不仅加快了训练过程，而且为端到端透镜设计的模拟信息编码提供了足够的自由度。

具体地，生成对抗网络中的生成网络G可以使用U-net结构，包括7个编码缩放等级，具体为6个降采样阶段和6个上采样阶段。对传感器图像I进行编码重建得到生成图像

其中，v

生成对抗网络中的判别网络D包含了所述图像后处理网络的生成对抗网络包括的对抗网络包括基于全局空间上下文的全局判别器，以及基于PatchGAN的局部判别器，以更好的处理全局和局部特征。判别网络D的损失函数可以表示为：

其中，P

结合上述生成网络和判别网络各自的损失函数计算方式，整个图像后处理网络的损失函数可以表示为：

其中，L

相应地，根据上述损失函数的设计，本发明实施例中的训练过程主要包括：根据所述生成图像和对应的参考图像，确定对应的损失函数值；根据所述损失函数值，计算所述透镜和图像后处理网络参数的梯度值；根据所述梯度值，使用梯度下降法更新所述透镜的参数和图像后处理网络的参数。

基于上述任一实施例，附图4示出了本发明实施例中的一种成像设备设计装置，具体包括：

场景获取模块410，用于获取训练所述成像设备对应的预设场景；

图像渲染模块420，用于基于可微分的光线追踪引擎构建复杂透镜系统，并使用可微分的光线跟踪渲染方法并基于传感器模型仿真，获得预设场景对应的预处理图像；

图像后处理模块430，用于利用图像后处理网络，从所述预处理图像中恢复出所述预设场景对应的生成图像；

参数更新模块440，用于根据所述生成图像和对应的参考图像，更新所述透镜的参数和图像后处理网络的参数。

本发明实施例提供的成像设备设计装置，实现了端到端计算成像，通过可微分的基于光线跟踪的光学计算，可以生成包含各种像差的模拟图像数据。该过程实现了完全可微分，使得后续可以通过透镜模型的渲染和图像重建网络实现透镜参数的更新，达到了用数据训练的方式进行成像设备设计的效果。

基于上述任一实施例，附图5示出了本发明实施例提供了一种成像装置制造方法，具体包括：

步骤S501，确定所述成像装置的透镜的初始参数；

在本发明实施例对成像装置进行训练之前，首先需要确定透镜的一些初始参数。本发明实施例所述的成像装置主要是指成像所需的主要硬件设备，例如透镜、传感器等，而不包含图像重建所需的图像后处理网络等软件设备。在本发明任一实施例中，透镜可以是单个透镜，也可以是多个透镜的组合。其中，多个透镜的组合可以根据实际的应用需求进行不同参数透镜的搭配组合。具体地，初始参数可以是透镜的型号、形状、曲率、材质、光栏等。

步骤S502，根据所述成像装置更新后的参数，使用球面或非球面镜加工工艺制造出对应的透镜。

本步骤所述的成像装置更新后的参数，是指根据前述实施例对成像设备进行训练后得到的透镜参数，具体包括多项式矫正因子的曲率、圆锥系数和高阶系数等，在此不做赘述。在这些参数训练完成后，结合透镜初始设置的参数，可以得到制造透镜所需的所有必要的参数。

值得说明的是，本发明实施例中的透镜主要考虑旋转对称透镜，这类透镜可以可以通过数控加工和单点金刚石车削工艺进行制造，也可以使用其他球面或非球面镜加工工艺进行制造。当透镜为其他类型的透镜时，也可以考虑以本领域技术人员能够理解的制造工艺和方法制造对应的透镜。

步骤S503，使用适配器将所述透镜与图像传感器进行组合，得到所述成像装置。

制造出透镜后，其与图像传感器需要通过适配器进行连接，两者共同构成了成像所需的主要硬件设备。

基于上述任一实施例，附图6示出了本发明实施例提供的一种成像方法，具体包括：

步骤S601，得到成像装置；

本步骤中的成像装置主要是指根据前述实施例制造出的成像装置，具体由透镜、图像传感器及其适配器等主要部件组成，在此不做赘述。

步骤S602，使用所述成像装置对目标场景进行成像，得到目标预处理图像；

在获得成像装置后，可以使用该成像装置对目标场景进行成像，目标场景对应的光学信号经过成像装置后得到图像数据，即目标场景对应的目标预处理图像。

步骤S603，根据得到的图像后处理网络的参数，将所述目标预处理图像输入至所述图像后处理网络，得到目标数字图像。

本步骤中的图像后处理网络可以是生成对抗网络，也可以是包括所嵌入的ISP、优化迭代或神经网络结构。以生成对抗网络为例，其参数是指根据前述实施例中对生成对抗网络进行训练后得到的网络参数，使用训练好的生成对抗网络对目标预处理图像进行进一步的重建，得到成像方法最终输出的目标数字图像。

以上所描述的相关装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。