图像增强模型的训练、图像增强方法及电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及图像增强模型的训练、图像增强方法及电子设备。

背景技术

由于传感器限制，在低照度环境下相机可获取的光子有限，传统的图像处理通常是通过提高相机增益来提升图像亮度，这会导致拍摄的图像会含有很多噪声，从而影响成像效果。

针对该问题，一类方法是增加相机的曝光时间，但是这种方法不太适用于包含复杂运动的场景。另一类方法使用闪光灯为场景增加光线，但这种方法会使得图像看起来不自然。此外，使用闪光灯可能会使干扰人眼。

近年来，适用近红外对低照度场景补光的方法逐渐流行起来，主要因为有实验研究表明人眼近红外光不敏感，所以可以使用额外的近红外补光来增加传感器接受的光子数，进而得到一张亮度更好、清晰度更高的图像。但是由于近红外光属于不可见光范畴，导致得到图像的颜色不正常。

发明内容

有鉴于此，本发明实施例提供了一种图像增强模型的训练、图像增强方法及电子深，以解决低照度场景下的图像成像问题。

根据第一方面，本发明实施例提供了一种图像增强模型的训练方法，包括：

获取基准图像以及双目相机采集的连续两帧的样本图像对，所述样本图像对包括第一视场的RGB图像与第二视场的NIR图像，其中，第一帧的样本图像对是所述双目相机在第一照度下不进行近红外补光后采集的，第二帧的样本图像对是所述双目相机在第一照度下进行近红外补光后采集的；

将所述第一帧的样本图像对以及所述第二帧的样本图像对输入图像增强模型中，以利用所述图像增强模型确定所述第一帧的样本图像对的对齐关系并基于所述对齐关系对所述第二帧的样本图像对进行图像配准以及图像增强，得到预测增强图像；

基于所述预测增强图像与所述基准图像进行损失计算，以更新所述图像增强模型的参数，确定目标图像增强模型。

本发明实施例提供的图像增强模型的训练方法，由于双目相机采集的RGB及NIR图像属于不同的模态，导致在这两个域之间进行图像对齐比较困难。基于此，采用双目相机采集的连续两帧的样本图像对的方式来解决这一问题，具体地，由于第一帧的样本图像对是未进行进红外补光后获得的，其捕获的是自然环境的可见光与红外光，第一照度下的可见光与红外光强度均较弱，会使得RGB图像与NIR图像在亮度/清晰度/噪声上的差异较小，利用第一帧的样本图像对能够得到较准确的对齐关系；再将该对齐关系应用到第二帧的样本图像对上，能够实现较准确地视场对齐处理，从而能够训练得到效果较好的目标图像增强模型，进而能够实现在低照度环境下的图像增强处理。

在一些实施方式中，所述将所述第一帧的样本图像对以及所述第二帧的样本图像对输入图像增强模型中，以利用所述图像增强模型确定所述第一帧的样本图像对的对齐关系并基于所述对齐关系对所述第二帧的样本图像对进行视场对齐以及图像增强，得到预测增强图像，包括：

利用所述图像增强模型中的特征提取模块对所述第一帧的样本图像对的亮度通道进行特征提取并基于提取出的特征确定所述对齐关系；

利用所述图像增强模型中的配准模块，基于所述对齐关系将所述第二帧的样本图像对对齐到预设视场，得到所述预设视场的配准图像，所述预设视场包括所述第一视场或所述第二视场；

利用所述图像增强模型中的图像增强重建模块，对所述配准图像以及所述第二帧的样本图像对中所述预设视场下的原始图像进行图像增强处理，得到所述预测增强图像。

本发明实施例提供的图像增强模型的训练方法，只提取亮度通道上的特征进行对齐关系的确定，能够减少输入图像在色彩上的差异。

在一些实施方式中，所述利用所述图像增强模型中的特征提取模块对所述第一帧的样本图像对的亮度通道进行特征提取并基于提取出的特征确定所述对齐关系，包括：

对所述第一帧的样本图像对的亮度通道分别进行特征提取，得到对应的第一特征以及第二特征；

基于所述第一特征以及所述第二特征进行光流场预测，得到所述对齐关系。

本发明实施例提供的图像增强模型的训练方法，同时使用第一帧的样本图像对来计算光流场，然后应用到第二帧的样本图像对中，可以大大增加光流计算的准确性。

在一些实施方式中，所述对所述第一帧的样本图像对的亮度通道进行特征提取，得到第一特征以及第二特征，包括：

利用所述特征提取模块中的第一特征提取单元，提取所述第一帧的样本图像中所述第一视场的样本图像的亮度通道的特征，得到所述第一特征；

利用所述特征提取模块中的第二特征提取单元，提取所述第一帧的样本图像中所述第二视场的样本图像的亮度通道的特征，得到所述第二特征，所述第一特征提取单元与所述第二特征提取单元的结构相同且参数不同。

本实施例提供的图像增强模型的训练方法，利用第一特征提取单元与第二特征提取单元分别对两个视场下的样本图像进行亮度通道的特征提取，其中，第一特征提取单元与第二特征提取单元的结构相同是为了保证提取出的特征数据的大小能够适用于后续的增强重建模块，同时，参数不同是为了能够适用于不同的两个视场。

在一些实施方式中，所述利用所述图像增强模型中的增强重建模块，对所述配准图像以及所述第二帧的样本图像对中所述预设视场下的原始图像进行图像增强处理，得到所述预测增强图像，包括：

将所述配准图像以及所述第二帧的样本图像对中所述预设视场下的原始图像输入所述增强重建模块中的注意力单元，得到注意力图；

将所述注意力图与所述配准图像进行融合，得到处理后的配准图像；

将处理后的配准图像与所述原始图像输入所述增强重建模块中的增强重建单元中，得到所述预测增强图像。

本发明实施例提供的图像增强模型的训练方法，由于双目视差的存在以及样本图像对中的图像所存在的模态差异，双目图像之间可能存在遮挡，可能会导致计算得到的光流场仍存在不准确的地方，导致最终融合的图像存在伪影。基于此，在图像增强处理之前先利用注意力单元来抑制经过对齐处理后仍存在的结构不一致的地方，依次来指导后续融合重建的过程。

在一些实施方式中，所述将所述配准图像以及所述原始图像输入所述增强重建模块中的注意力单元，得到注意力图，包括：

提取所述配准图像以及所述原始图像的亮度通道的特征，得到第三特征以及第四特征；

连接所述第三特征以及所述第四特征得到连接特征；

对所述连接特征进行卷积以及激活函数的处理，得到所述注意力图。

本发明实施例提供的图像增强模型的训练方法，仅提取配准图像与原始图像亮度通道的特征，能够减少两个图像之间的色彩差异，保证了所得到的注意力图的可靠性。

在一些实施方式中，所述获取基准图像，包括：

获取所述双目相机在第二照度下不进行红外补光后采集的图像，得到所述基准图像，所述第二照度大于所述第一照度；

或者，

控制所述双目相机处于长快门模式，并获取所述双目相机在所述第一照度下不进行红外补光后采集的图像，得到所述基准图像。

根据第二方面，本发明实施例还提供了一种图像增强方法，包括：

获取双目相机采集的连续两帧的图像对，所述图像对为RGB图像和NIR图像，所述RGB图像和所述NIR图像位于所述双目相机的不同视场，第一帧的图像对是所述双目相机不进行近红外补光后采集的，第二帧的图像对是所述双目相机进行近红外补光后采集的；

将所述连续两帧的图像对输入目标图像增强模型中，确定目标增强图像，所述目标图像增强模型是根据本发明第一方面或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的。

本发明实施例提供的图像增强方法，在所得到的目标图像增强模型的基础上，对双目相机采集的连续两帧的图像对进行图像增强处理，能够实现在低照度环境下的成像，提高了低照度成像质量。

根据第三方面，本发明实施例还提供一种图像增强模型的训练装置，包括：

第一获取模块，用于获取基准图像以及双目相机采集的连续两帧的样本图像对，所述样本图像对包括第一视场的RGB图像与第二视场的NIR图像，其中，第一帧的样本图像对是所述双目相机在第一照度下不进行近红外补光后采集的，第二帧的样本图像对是所述双目相机在第一照度下进行近红外补光后采集的；

预测模块，用于将所述第一帧的样本图像对以及所述第二帧的样本图像对输入图像增强模型中，以利用所述图像增强模型确定所述第一帧的样本图像对的对齐关系并基于所述对齐关系对所述第二帧的样本图像对进行图像配准以及图像增强，得到预测增强图像；

更新模块，用于基于所述预测增强图像与所述基准图像进行损失计算，以更新所述图像增强模型的参数，确定目标图像增强模型。

根据第四方面，本发明实施例还提供了一种图像增强装置，包括：

第二获取模块，用于获取双目相机采集的连续两帧的图像对，所述图像对为RGB图像和NIR图像，所述RGB图像和所述NIR图像位于所述双目相机的不同视场，第一帧的图像对是所述双目相机不进行近红外补光后采集的，第二帧的图像对是所述双目相机进行近红外补光后采集的；

增强模块，用于将所述连续两帧的图像对输入目标图像增强模型中，确定目标增强图像，所述目标图像增强模型是根据本发明第一方面或第一方面任一项实施方式中所述的图像增强模型的训练方法训练得到的。

根据第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的图像增强模型的训练方法，或者，执行第二方面所述的图像增强方法。

根据第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的图像增强模型的训练方法，或者，执行第二方面所述的图像增强方法。

需要说明的是，本发明实施例提供的图像增强模型的训练装置、图像增强装置、电子设备及计算机可读存储介质的相应有益效果，请参见上文图像增强模型的训练方法或图像增强方法的对应有益效果的描述，在此不再赘述。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的图像增强模型的训练方法的流程图；

图2是根据本发明实施例的图像增强模型的训练方法的流程图；

图3是根据本发明实施例的图像增强模型的结构示意图；

图4是根据本发明实施例的增强重建模块的结构示意图；

图5是根据本发明实施例的注意力单元的结构示意图；

图6是根据本发明实施例的图像增强方法的流程图；

图7是根据本发明实施例的图像增强模型的训练装置的结构框图；

图8是根据本发明实施例的图像增强装置的结构框图；

图9是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的图像增强方法，是一种双目红外可见光融合的低照度环境下的图像增强方法，旨在提升低照度环境下相机成像质量，重建出一张具有更好清晰度、亮度、色彩、动态范围的图像。该图像增强方法是依赖于训练得到的目标图像增强模型实现的，而目标图像增强模型的训练是利用双目相机采集的连续两帧的样本图像对对图像增强模型进行训练得到的。

在双目相机的配置中，对其中一个相机使用红外(IR)滤光片，只捕获可见光以获得RGB图像，对另外一个相机不使用IR滤光片，以同时捕获可见光及近红外光以获得近红外(NIR)图像。上述获取NIR图像的方式仅仅是一种示例，并不限定本发明的保护范围，具体还可以采用其他方式进行NIR图像的获取。由于在该配置中，两个相机位于不同的物理位置，所以需要对双目获取的图像进行密集配准，即视场对齐处理，以获取对齐后的图像。在利用对齐后的图像进行重建，使得重建图像需要能够融合RGB图像的色彩信息及NIR图像的细节纹理信息。

根据本发明实施例，提供了一种图像增强模型的训练方法或图像增强方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、移动终端，图1是根据本发明实施例的图像增强模型的训练方法的流程图，如图1所示，该流程包括如下步骤：

S11，获取基准图像以及双目相机采集的连续两帧的样本图像对。

其中，所述样本图像对包括第一视场的RGB图像与第二视场的NIR图像，其中，第一帧的样本图像对是所述双目相机在第一照度下不进行近红外补光后采集的，第二帧的样本图像对是所述双目相机在第一照度下进行近红外补光后采集的。

连续两帧的样本图像对是通过连续两次抓拍的方式来实现的，第一次抓拍不进行近红外补光，获得第一帧的样本图像对，该第一帧的样本图像对包括RGB

基准图像为训练得到的目标图像增强模型的期望输出，可以是在正常光照下的采集的图像，也可以是采用其他方式采集到的图像等等。

在一些实施方式中，获取基准图像包括：获取双目相机在第二照度下不进行红外补光后采集的图像，得到基准图像，所述第二照度大于所述第一照度。其中，第一照度可以理解为低照度环境下的照度，第二照度可以理解为正常光照环境下的照度。例如，正常环境下的光照强度是100lux，可以将低于10lux的照度称之为低照度，或者，也可以设置其他照度阈值以确定低照度。在此对其并不做任何限定，具体根据实际需求进行设置。

在一些实施方式中，获取基准图像包括：控制双目相机处于长快门模式，并获取双目相机在所述第一照度下不进行红外补光后采集的图像，得到基准图像。即，在第一照度下，采用长快门模式进行图像采集得到基准图像。

S12，将第一帧的样本图像对以及第二帧的样本图像对输入图像增强模型中，以利用图像增强模型确定第一帧的样本图像对的对齐关系并基于对齐关系对第二帧的样本图像对进行图像配准以及图像增强，得到预测增强图像。

由于样本图像对中的两个图像是在不同视场下采集的，因此需要进行视场对齐；同时，需要融合RGB图像的色彩信息与NIR图像的细节纹理信息，因此还需要在视场对齐的基础上进行图像增强。基于此，图像增强模型包括用于将立体视图下的NIR图像与RGB图像进行视场对齐的对齐模块，重建增强模块主要进一步将对齐后的NIR图像及RGB图像进行融合，消除对齐过程中可能带来的瑕疵，同时对RGB降噪及亮度提升，以获取一张具有更好清晰度、亮度、色彩、动态范围的图像。

其中，如上文所述，对齐关系是基于第一帧的样本图像对得到的，再将对齐关系作用到第二帧的样本图像对中，实现对第二帧的样本图像对的图像配准；再基于配准处理的结果进行图像增强，得到预测增强图像。

S13，基于预测增强图像与基准图像进行损失计算，以更新图像增强模型的参数，确定目标图像增强模型。

在进行损失计算时，是基于预测增强图像与基准图像之间的差异进行损失函数的计算得到的。关于具体损失函数的选择是根据实际需求确定的，在此对其并不做任何限定。经过多轮的迭代处理，对图像增强模型的参数进行更新，以确定出目标图像增强模型。

本实施例提供的图像增强模型的训练方法，由于双目相机采集的RGB及NIR图像属于不同的模态，导致在这两个域之间进行图像对齐比较困难。基于此，采用双目相机采集的连续两帧的样本图像对的方式来解决这一问题，具体地，由于第一帧的样本图像对是未进行进红外补光后获得的，其捕获的是自然环境的可见光与红外光，第一照度下的可见光与红外光强度均较弱，会使得RGB图像与NIR图像在亮度/清晰度/噪声上的差异较小，利用第一帧的样本图像对能够得到较准确的对齐关系；由于第二帧的样本图像对是在近红外补光后采集到的，其具有较好的纹理等特征，因此，再将该对齐关系应用到第二帧的样本图像对上，能够基于具有较好的纹理特征的图像实现较准确地视场对齐处理，从而能够训练得到效果较好的目标图像增强模型，进而能够实现在低照度环境下的图像增强处理。

在本实施例中提供了一种图像增强模型的训练方法，可用于电子设备，如电脑、移动终端，图2是根据本发明实施例的图像增强模型的训练方法的流程图，如图2所示，该流程包括如下步骤：

S21，获取基准图像以及双目相机采集的连续两帧的样本图像对。

其中，所述样本图像对包括第一视场的RGB图像与第二视场的NIR图像，其中，第一帧的样本图像对是所述双目相机在第一照度下不进行近红外补光后采集的，第二帧的样本图像对是所述双目相机在第一照度下进行近红外补光后采集的。

详细请参见图1所示实施例的S11，在此不再赘述。

S22，将第一帧的样本图像对以及第二帧的样本图像对输入图像增强模型中，以利用图像增强模型确定第一帧的样本图像对的对齐关系并基于对齐关系对第二帧的样本图像对进行图像配准以及图像增强，得到预测增强图像。

具体地，上述S22包括：

S221，利用图像增强模型中的特征提取模块对第一帧的样本图像对的亮度通道进行特征提取并基于提取出的特征确定对齐关系。

如上文所述，图像增强模型中的对齐模块是用于实现视场对齐的，具体地，对齐模块包括用于进行特征提取的特征提取模块以及用于配准的配准模块。对于第一帧的样本图像对的两个图像的亮度通道分别进行特征的提取，得到提取出的特征。再基于提取出的两个特征确定出对齐关系，其中，对齐关系的确定方式包括但不限于计算两个特征之间的相似度，或者，利用两个特征进行光流场预测得到。

在一些实施方式中，上述S221包括：

(1)对第一帧的样本图像对的亮度通道分别进行特征提取，得到对应的第一特征以及第二特征。

(2)基于第一特征以及第二特征进行光流场预测，得到对齐关系。

如图3所示，对第一帧的样本图像对中的两个图像的亮度通道进行特征提取，得到第一特征以及第二特征。再利用PWCNet单元对第一特征以及第二特征进行光流场预测，得到光流场，也可以称之为对齐关系。同时使用第一帧的样本图像对来计算光流场，然后应用到第二帧的样本图像对中，可以大大增加光流计算的准确性。

需要说明的是，图3以及图4中的cam1可以是第一视场下的图像，也可以是第二视场下的图像，cam2与cam1对应的视场不同，当cam1为第一视场下的图像时，cam2为第二视场下的图像；当cam1为第二视场下的图像时，cam2为第一视场下的图像。具体根据实际需求进行设置，在此对其并不做任何限定。

在一些实施方式中，上述S221的步骤(1)包括：

1.1)利用特征提取模块中的第一特征提取单元，提取第一帧的样本图像中第一视场的样本图像的亮度通道的特征，得到第一特征。

1.2)利用特征提取模块中的第二特征提取单元，提取第一帧的样本图像中第二视场的样本图像的亮度通道的特征，得到第二特征，所述第一特征提取单元与第二特征提取单元的结构相同且参数不同。

对于亮度通道的特征提取，使用两个结构相同但参数不同的第一特征提取单元以及第二特征提取单元进行亮度通道的特征提取，具体地，将第一帧的样本图像对的两个图像由RGB空间转换到YUV空间，然后只在Y通道上提取特征，得到第一特征以及第二特征，这样会进一步减少输入之间在色彩上的差异。

利用第一特征提取单元与第二特征提取单元分别对两个视场下的样本图像进行亮度通道的特征提取，其中，第一特征提取单元与第二特征提取单元的结构相同是为了保证提取出的特征数据的大小能够适用于后续的增强重建模块，同时，参数不同是为了能够适用于不同的两个视场。

S222，利用图像增强模型中的配准模块，基于对齐关系将第二帧的样本图像对对齐到预设视场，得到预设视场的配准图像。

其中，所述预设视场包括所述第一视场或所述第二视场。

如上文所述，第一帧的样本图像对是用于确定出对齐关系的，再将该对齐关系作用到第二帧的样本图像对中，实现视场对齐，也可以称之为图像配准。在进行视场对齐时，可以是将第二视场对齐到第一视场，也可以是将第一视场对齐到第二视场，或者，更进一步地，分别将第一视场对齐到第二视场，以及将第二视场对齐到第一视场，得到两路配准后的图像，再分别进行后续的图像重建增强。

配准模块的处理原理是：若将第二视场对齐到第一视场，则将对齐关系作用在第二帧的样本图像对中第二视场下的原始图像，将第二视场下的原始图像处理为第一视场下的配准图像。在这种情况下，会获得第一视场下的配准图像以及第二帧的样本图像对中第一视场下的原始图像。

若将第一视场对齐到第二视场，则将对齐关系作用在第二帧的样本图像对中第一视场下的原始图像，将第一视场下的原始图像处理为第二视场下的配准图像。在这种情况下，会获得第二视场下的配准图像以及第二帧的样本图像对中第二视场下的原始图像。

S223，利用图像增强模型中的增强重建模块，对配准图像以及第二帧的样本图像对中预设视场下的原始图像进行图像增强处理，得到预测增强图像。

增强重建模块是用于实现RGB图像与NIR图像的融合，即实现配准图像以及原始图像的融合。将配准图像以及原始图像进行融合的目标是能够从NIR图像中提取边缘及纹理信息，从RGB图像中提取出颜色信息，并对它们进行融合，以生成一张降噪、清晰、色彩及亮度较好的图像。所以，理想的融合过程应考虑图像空间结构的特征，则相同图像结构内的重建像素强度因该是均匀的。U-net架构是由编码器和解码器组成的金字塔结构，使重建像素对其相邻像素有良好的感知，非常适合可见光红外光融合的目的。基于此，在本实施例中采用U-net架构实现增强重建模块。将配准图像以及原始图像输入到增强重建模块中进行图像增强处理，得到预测增强图像。

在一些实施方式中，上述S223包括：

(1)将配准图像以及第二帧的样本图像对中所述预设视场下的原始图像输入图像增强重建模块中的注意力单元，得到注意力图。

(2)将注意力图与配准图像进行融合，得到处理后的配准图像。

(3)将处理后的配准图像与原始图像输入图像增强重建模块中的增强重建单元中，得到预测增强图像。

如上文所示，使用第一次抓拍的第一帧的样本图像对来计算光流场，然后应用到第二次抓拍的第二帧的样本图像对中，这样可以大大增加光流计算的准确性。但是由于第一帧的样本图像对之间仍然存在一定的模态差异，而且由于双目视差的存在以及样本图像对中的图像所存在的模态差异，双目图像之间可能存在遮挡，可能会导致计算得到的光流场仍存在不准确的地方，导致最终融合的图像存在伪影。基于此，在图像增强处理之前先利用注意力单元来抑制经过对齐处理后仍存在的结构不一致的地方，依次来指导后续融合重建的过程。

例如，如图4所示，将配准图像(结合图3，此时配准图像为第二帧中第一相机采集的原始图像配准至第二相机对应的视场下得到的图像)以及第二帧中第二相机采集的原始图像均输入到注意力单元中得到注意力图，再将注意力图与配准图像进行点乘，以此抑制输入结构不一致的部分，最后将配准图像与第二帧中第二相机采集的原始图像再送入增强重建单元中得到预测增强图像。

在一些实施方式中，上述S223的步骤(1)包括：

1.1)提取配准图像以及原始图像的亮度通道的特征，得到第三特征以及第四特征。

1.2)连接第三特征以及第四特征得到连接特征。

1.3)对连接特征进行卷积以及激活函数的处理，得到注意力图。

对于亮度通道的特征提取原理如上文所述，在进行亮度通道的特征提取时，由于类似于U-Net的卷积神经网络可以学习到图像的深度特征，特征本身会包含有丰富的结构信息，因此在本实施例中使用U-Net对图像来构建注意力单元中的特征提取部分，以实现亮度通道的特征提取得到第三特征以及第四特征。

如图5所示，只在Y通道进行特征提取得到第三特征f1以及第四特征f2。然后将f1与f2连接(即，concat)在一起，经过多层卷积及sigmoid激活函数将输出变为[0，1]的权重，得到注意力图。

通过仅提取配准图像与原始图像的亮度通道的特征的方式，能够减少两个图像之间的色彩差异，保证了所得到的注意力图的可靠性。

S23，基于预测增强图像与基准图像进行损失计算，以更新图像增强模型的参数，确定目标图像增强模型。

详细请参见图1所示实施例的S13，在此不再赘述。

本实施例提供的图像增强模型的训练方法，只提取亮度通道的特征进行对齐关系的确定，能够减少输入图像在色彩上的差异。

在本实施例中提供了一种图像增强方法，可用于电子设备，如电脑、移动终端，图6是根据本发明实施例的图像增强模型的训练方法的流程图，如图6所示，该流程包括如下步骤：

S31，获取双目相机采集的连续两帧的图像对。

其中，所述图像对为RGB图像和NIR图像，所述RGB图像和所述NIR图像位于所述双目相机的不同视场，第一帧的图像对是所述双目相机不进行近红外补光后采集的，第二帧的图像对是所述双目相机进行近红外补光后采集的。

S32，将连续两帧的图像对输入目标图像增强模型中，确定目标增强图像。

其中，所述目标图像增强模型是根据上述任一实施方式中所述的图像增强模型的训练方法训练得到的，关于目标图像增强模型的结构细节，请参见上文所述，在此不再赘述。

在图像增强处理时，输入目标图像增强模型的图像包括连续两帧的图像对，其中，第一帧的图像对是在不进行近红外补光采集的，用于确定对齐关系；并将对齐关系作用到第二帧的图像对上，并进行重建增强处理，得到目标增强图像。

本实施例提供的图像增强方法，在所得到的目标图像增强模型的基础上，对双目相机采集的连续两帧的图像对进行图像增强处理，能够实现在低照度环境下的成像，提高了低照度成像质量。

在本实施例中还提供了一种图像增强模型的训练装置或图像增强装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

本实施例提供一种图像增强模型的训练装置，如图7所示，包括：

第一获取模块41，用于获取基准图像以及双目相机采集的连续两帧的样本图像对，所述样本图像对包括第一视场的RGB图像与第二视场的NIR图像，其中，第一帧的样本图像对是所述双目相机在第一照度下不进行近红外补光后采集的，第二帧的样本图像对是所述双目相机在第一照度下进行近红外补光后采集的；

预测模块42，用于将所述第一帧的样本图像对以及所述第二帧的样本图像对输入图像增强模型中，以利用所述图像增强模型确定所述第一帧的样本图像对的对齐关系并基于所述对齐关系对所述第二帧的样本图像对进行图像配准以及图像增强，得到预测增强图像；

更新模块43，用于基于所述预测增强图像与所述基准图像进行损失计算，以更新所述图像增强模型的参数，确定目标图像增强模型。

在一些实施方式中，预测模块42包括：

提取单元，用于利用所述图像增强模型中的特征提取模块对所述第一帧的样本图像对的亮度通道进行特征提取并基于提取出的特征确定所述对齐关系；

对齐单元，用于利用所述图像增强模型中的配准模块，基于所述对齐关系将所述第二帧的样本图像对对齐到预设视场，得到所述预设视场的配准图像，所述预设视场包括所述第一视场或所述第二视场；

增强重建单元，用于利用所述图像增强模型中的增强重建模块，对所述配准图像以及所述第二帧的样本图像对中所述预设视场下的原始图像进行图像增强处理，得到所述预测增强图像。

在一些实施方式中，提取单元包括：

提取子单元，用于对所述第一帧的样本图像对的亮度通道分别进行特征提取，得到对应的第一特征以及第二特征；

光流场预测子单元，用于基于所述第一特征以及所述第二特征进行光流场预测，得到所述对齐关系。

在一些实施方式中，提取子单元包括：

第一提取子单元，用于利用所述特征提取模块中的第一特征提取单元，提取所述第一帧的样本图像中所述第一视场的样本图像的亮度通道的特征，得到所述第一特征；

第二提取子单元，用于利用所述特征提取模块中的第二特征提取单元，提取所述第一帧的样本图像中所述第二视场的样本图像的亮度通道的特征，得到所述第二特征，所述第一特征提取单元与所述第二特征提取单元的结构相同且参数不同。

在一些实施方式中，增强重建单元包括：

注意力子单元，用于将所述配准图像以及所述第二帧的样本图像对中所述预设视场下的原始图像输入所述增强重建模块中的注意力单元，得到注意力图；

融合子单元，用于将所述注意力图与所述配准图像进行融合，得到处理后的配准图像；

增强子单元，用于将处理后的配准图像与所述原始图像输入所述增强重建模块中的增强重建单元中，得到所述预测增强图像。

在一些实施方式中，注意力子单元包括：

第三提取子单元，用于提取所述配准图像以及所述原始图像的亮度通道的特征，得到第三特征以及第四特征；

连接子单元，用于连接所述第三特征以及所述第四特征得到连接特征；

处理子单元，用于对所述连接特征进行卷积以及激活函数的处理，得到所述注意力图。

在一些实施方式中，获取模块包括：

第一获取单元，用于获取所述双目相机在第二照度下不进行红外补光后采集的图像，得到所述基准图像，所述第二照度大于所述第一照度；

或者，

第二获取单元，用于控制所述双目相机处于长快门模式，并获取所述双目相机在所述第一照度下不进行红外补光后采集的图像，得到所述基准图像。

本实施例提供一种图像增强装置，如图8所示，包括：

第二获取模块51，用于获取双目相机采集的连续两帧的图像对，所述图像对为RGB图像和NIR图像，所述RGB图像和所述NIR图像位于所述双目相机的不同视场，第一帧的图像对是所述双目相机不进行近红外补光后采集的，第二帧的图像对是所述双目相机进行近红外补光后采集的；

增强模块52，用于将所述连续两帧的图像对输入目标图像增强模型中，确定目标增强图像，所述目标图像增强模型是根据上述任一项实施方式中所述的图像增强模型的训练方法训练得到的。

本实施例中的图像增强模型的训练装置或图像增强装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

本发明实施例还提供一种电子设备，具有上述图7所示的图像增强模型的训练装置，或图8所示的图像增强装置。

请参阅图9，图9是本发明可选实施例提供的一种电子设备的结构示意图，如图9所示，该电子设备可以包括：至少一个处理器61，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口63，存储器64，至少一个通信总线62。其中，通信总线62用于实现这些组件之间的连接通信。其中，通信接口63可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口63还可以包括标准的有线接口、无线接口。存储器64可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器64可选的还可以是至少一个位于远离前述处理器61的存储装置。其中处理器61可以结合图7或图8所描述的装置，存储器64中存储应用程序，且处理器61调用存储器64中存储的程序代码，以用于执行上述任一方法步骤。

其中，通信总线62可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器64可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器64还可以包括上述种类的存储器的组合。

其中，处理器61可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器61还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器64还用于存储程序指令。处理器61可以调用程序指令，实现如本申请任一实施例中所示的图像增强模型的训练方法，或图像增强方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像增强模型的训练方法，或图像增强方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。