基于稀疏变换网络的弱光增强方法

技术领域

本发明属于计算机数字图像处理技术领域，具体涉及一种基于稀疏变换网络的弱光增强方法。

背景技术

在弱光的环境下，当相机捕获到的光线不足时，图像总是会出现多种失真，如低对比度、能见度差和传感器噪声，这些拍摄到的低光图像的结果是不令人满意的，它会影响后面的人类可视化和计算机视觉任务。为了纠正对比度，揭示纹理，消除传感器噪声，在过去的几十年里，人们一直在努力开发低光图像增强算法。

近年来，基于学习的低光图像增强算法取得了巨大的成功，但是传统方法通常依赖于人工定义的先验假设，这些先验假设是无法适应各种复杂的弱光场景，并且对于不同场景的弱光图像增强的效果有限。而且，许多基于学习的方法已经采用各种卷积神经网络(CNN)架构作为相比传统算法更可取的选择，然而由于卷积操作的固有特性，即局部感受野和输入内容的独立性，限制了模型获取非局部信息。

发明内容

本发明的目的是提供一种基于稀疏变换网络的弱光增强方法，解决了现有技术中存在的基于稀疏变换网络的弱光增强方法的问题。

本发明所采用的技术方案是，基于稀疏变换网络的弱光增强方法，通过特征选择块STB进行特征选择，加入空间重建单元SRU和通道重建单元CRU减少模型中的冗余，使用NRetinex模块去除掉图像中不适当的特征，加入有效的混合尺度前馈网络MSFN补充信息，再加上两个相互补充的损失函数，以约束网络达到最优的弱光图像增强的结果。

本发明的特点还在于，

具体按照以下步骤实施：

步骤1、设计特征提取模块STB，STB模块中包括归一化层LN、注意力选择模块TKSA和去除不适当特征的模块NRetinex，通过堆叠不同空间分辨率和通道维度的STB来提取具有复杂环境的弱光图像的丰富特征；

步骤2、设计注意力选择模块TKSA-SC，TKSA-SC模块中还包括Top-k选择模块和混合尺度前馈网络MSFN模块，以自适应的保留最有用的注意力值，并且减少特征映射中的冗余，从而实现更好的特征聚合；

步骤3、设计去除不适当特征模块NRetinex，其中包括N-net、L-Net和R-Net这三部分网络。用N-net去除掉特征聚合以后不适当的特征，然后使用L-Net和R-Net将输入分解为反射图和照明图，随后，模块NRetinex调整照明图，并将NRetinex模块调整后的照明图与反射图重新组合，得到增强后的图像；

步骤4、损失函数包括两个：L

步骤5、对于基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络，用公开基准数据集LOL中的训练集进行训练，进行训练150000个Epoch，验证训练结果，保存神经网络的模型；基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络包括STB块、TKSA-SC块以及NRetinex块；

步骤6、加载步骤5训练好的网络模型，将公开基准数据集LOL中的测试集输入到所述步骤5训练好的网络模型中，之后对测试的结果进行保存，得到弱光增强以后的图像。

步骤1具体按照以下步骤实施：

步骤1.1、首先给定一个弱光图像

步骤1.2、将经过步骤1.1嵌入后的图像块送入专家混合特征补偿器MEFC模块，一共使用N

步骤1.3、STB块中包括STB-I和STB-II两部分，STB-I堆叠三个STB块用来编码，STB-II堆叠三个STB块用来解码。将步骤1.2经过MEFC模块细化后的特征输入到STB-I中，STB-I堆叠了N

形式上，给定第(l-1)个块的输入特征X

X

X

其中，l代表第几个STB块，X

步骤1.4、将步骤1.3经过STB-II以后输出的结果再次输入到专家混合特征补偿器MEFC模块，然后再经过3×3卷积输出最终的特征结果，然后将原始输入的弱光图像I

步骤2具体按照以下步骤实施：

步骤2.1、注意力选择模块TKSA-SC作为步骤1中STB模块中的一个部分，给定查询Q，键K和值V，查询Q、键K和值V的维度均为

其中，Att(Q,K,V)表示注意力机制，Q、K和V分别表示矩阵形式的查询Q、键K和值V，λ是一个可选的温度因子，定义为

在TKSA模块中，TKSA首先应用1×1卷积和3×3深度卷积Dw-Conv对整个STB模块的输入进行通道维度上的上下文编码；

步骤2.2、将经过步骤2.1的卷积分成的查询Q和键K通过空间重构单元SRU，SRU包括分离和重构操作，具体如下：

SRU单元中包括一个分组归一化层，SRU会首先利用分组归一化层中的缩放因子评估不同特征图的信息丰富程度，经过步骤2.1后的查询Q经过评估以后得到信息性权重W

然后，分别将步骤2.1生成的查询Q与信息性权重W

重构操作采用的是交叉重构操作，充分结合两个不同信息的加权特征，增强它们之间的信息流，将X

然后，将交叉重构以后的特征X

步骤2.3、将步骤2.1分成的值V通过通道重构单元CRU，通道重构单元CRU使用分离-变换-融合的策略，分离操作首先将输入特征的通道即值V部分分割成两部分，分别是αC通道和(1-α)C通道，随后，使用1×1卷积压缩特征图的通道以提高计算效率，经过分割和压缩操作，将步骤2.1分成的值V分为上层特征X

在成功将步骤2.1分成的值V分离为上层特征X

其中，

X

这里

融合过程首先对输出特征应用池化来收集具有通道统计信息的全局空间信息S

最终，在特征重要性向量β

Y＝β

步骤2.4、在经过步骤2.3即查询Q、键K经过SRU模块以后，进行计算查询和键之间的像素对的相似度，在计算相似度的过程中，用转置注意力矩阵M掩盖掉了分配有较低注意力权重的不必要因素。

步骤2.5、转置注意力矩阵M经过top-k模块，会自适应的选择前k个贡献分数较大的值，top-k模块的目的是为了保留最有用的值而去除掉相比较而言没有用的值。

步骤2.6、步骤2.5中得到的k会在每行的某个范围内的前k个值被归一化，用于softmax计算，而对于小于k参数的其他元素，用0代替它们对应位置的概率值，这样经过k参数的动态选择可以让注意力从密集变为稀疏；

步骤2.7、步骤2.6最终得到的softmax之后的查询Q、键K的结果和步骤2.3最终得到的值V的结果进行相乘；

步骤2.8、步骤2.7相乘以后的结果会经过混合尺度前馈网络MSFN模块去除掉一些不适当的特征，最终通过1×1卷积解码输出。

步骤3具体按照以下步骤实施：

步骤3.1、在经过步骤2的TKSA-SC模块输出结果，会紧接着经过NRetinex模块，NRetinex模块首先会经过N-net网络来去除输入特征中不适当的特征，N-net包括五个卷积层，前四个卷积层的激活函数为ReLU，最后一层是一个sigmoid层，用于将输出归一化到[0,1]的范围内，经过N-net网络以后生成特征图i；

步骤3.2、在经过步骤3.1的N-net网络以后的特征图i已经去除掉了输入特征中不适当的特征，然后将i经过L-Net网络和R-Net网络，生成对应i特征图的照明图和反射图，L-Net网络和R-Net网络与N-net网络的网络结构非常相似，它们也对应的包含五个卷积层，前四个卷积层的激活函数为ReLU，最后一层是一个sigmoid层，但是根据Retinex理论，将L-Net网络的输出通道设置为1，R-Net网络的输出通道设置为3，这样就生成了i对应的照明图L和反射图R；

步骤3.3、在步骤3.2生成照明图L和反射图R以后，NRetinex模块会调整照明图，然后将调整后的照明图L和刚才生成的反射图R重新组合，得到增强后的图像；

步骤3.4、步骤3.3最终生成的增强后的图像还会经过N

对应Retinex理论的公式如下：

其中I是照明图L和反射图R元素级乘法的结果，L是照明图，R是反射图，

步骤4具体按照以下步骤实施：

步骤4.1、损失函数包括两部分，分别是L

L

其中loss(x,y)是MSE损失函数，x是模型预测输出的值，y是groundtruth的值，

L

其中SSIM(x,y)是通过以(x,y)为中心的窗口来获得局部(x,y)点的局部均值，μ

步骤4.2、L

步骤5具体按照以下步骤实施：

步骤5.1、选择显存为12GB的GPU上训练，整个框架在PyTorch上运行，网络的优化器为AdamW优化器，并设置初始学习率在前92k次迭代中固定为3×10

步骤5.2、将步骤5.1训练的神经网络参数、正在训练的轮数Epoch、优化器ADAM和调度器进行保存，得到训练好的网络模型。

本发明的有益效果是，基于稀疏变换网络的弱光增强方法，它通过特征选择块STB进行特征选择，其中加入了空间重建单元SRU和通道重建单元CRU来减少模型中的冗余，使用NRetinex模块去除掉图像中不适当的特征，并且加入有效的混合尺度前馈网络MSFN来补充信息，再加上两个相互补充的损失函数，以约束网络达到最优的弱光图像增强的结果。

附图说明

图1是本发明本发明基于稀疏变换网络的弱光增强方法的总体结构示意图；

图2是本发明基于稀疏变换网络的弱光增强方法中特征提取模块STB具体的结构示意图；

图3是本发明基于稀疏变换网络的弱光增强方法中STB-I和STB-II编解码模块内部具体连接的结构示意图；

图4是本发明基于稀疏变换网络的弱光增强方法中注意力选择模块TKSA-SC的结构示意图；

图5是本发明基于稀疏变换网络的弱光增强方法中去除不适当特征的模块NRetinex的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于稀疏变换网络的弱光增强方法，结合图1，通过特征选择块STB进行特征选择，加入空间重建单元SRU和通道重建单元CRU减少模型中的冗余，使用NRetinex模块去除掉图像中不适当的特征，加入有效的混合尺度前馈网络MSFN补充信息，再加上两个相互补充的损失函数，以约束网络达到最优的弱光图像增强的结果。

具体按照以下步骤实施：

步骤1、设计特征提取模块STB，即Sparse TransformerBlock，STB模块中包括归一化层LN、注意力选择模块TKSA和去除不适当特征的模块NRetinex，通过堆叠不同空间分辨率和通道维度的STB来提取具有复杂环境的弱光图像的丰富特征；

步骤1具体按照以下步骤实施：

步骤1.1、首先给定一个弱光图像

步骤1.2、将经过步骤1.1嵌入后的图像块送入专家混合特征补偿器MEFC模块，一共使用N

步骤1.3、STB块中包括STB-I和STB-II两部分，STB-I堆叠三个STB块用来编码，STB-II堆叠三个STB块用来解码。将步骤1.2经过MEFC模块细化后的特征输入到STB-I中，STB-I堆叠了N

形式上，给定第(l-1)个块的输入特征X

X

X

其中，l代表第几个STB块，X

步骤1.4、将步骤1.3经过STB-II以后输出的结果再次输入到专家混合特征补偿器MEFC模块，然后再经过3×3卷积输出最终的特征结果，然后将原始输入的弱光图像I

步骤2、设计注意力选择模块TKSA-SC，即Top-k Sparse Attention-SRU、CRU，空间重构单元SRU，即Spatial Reconstruction Unit，通道重建单元CRU，即ChannelReconstruction Unit，TKSA-SC模块中还包括Top-k选择模块和混合尺度前馈网络MSFN模块，以自适应的保留最有用的注意力值，并且减少特征映射中的冗余，从而实现更好的特征聚合；

结合图2～图5，步骤2具体按照以下步骤实施：

步骤2.1、注意力选择模块TKSA-SC作为步骤1中STB模块中的一个部分，给定查询(Query)Q，键(Key)K和值(Value)V，查询Q、键K和值V的维度均为

其中，Att(Q,K,V)表示注意力机制，Q、K和V分别表示矩阵形式的查询Q、键K和值V，λ是一个可选的温度因子，定义为

在TKSA模块中，TKSA首先应用1×1卷积和3×3深度卷积Dw-Conv对整个STB模块的输入进行通道维度上的上下文编码；

步骤2.2、将经过步骤2.1的卷积分成的查询Q和键K通过空间重构单元SRU，SRU包括分离和重构操作，具体如下：

SRU单元中包括一个分组归一化层，SRU会首先利用分组归一化层中的缩放因子评估不同特征图的信息丰富程度，经过步骤2.1后的查询Q经过评估以后得到信息性权重W

然后，分别将步骤2.1生成的查询Q与信息性权重W

分离操作后，为了减少空间冗余，进一步是重构操作，重构操作将富含信息的特征与信息较少的特征相加，这样可以生成富含信息的特征并节省空间。没有直接将这两部分相加，重构操作采用的是交叉重构操作，充分结合两个不同信息的加权特征，增强它们之间的信息流，将X

然后，将交叉重构以后的特征X

步骤2.3、将步骤2.1分成的值V通过通道重构单元CRU，通道重构单元CRU使用分离-变换-融合的策略，分离操作首先将输入特征的通道即值V部分分割成两部分，分别是αC通道和(1-α)C通道，随后，使用1×1卷积压缩特征图的通道以提高计算效率，经过分割和压缩操作，将步骤2.1分成的值V分为上层特征X

在成功将步骤2.1分成的值V分离为上层特征X

其中，

X

这里

在变换操作以后，应该进行融合，不直接将两种类型的特征进行拼接或相加，而是使用简化的SKNet方法来自适应的合并来自上层和下层变换阶段的输出特征Y

融合过程首先对输出特征应用池化来收集具有通道统计信息的全局空间信息S

最终，在特征重要性向量β

Y＝β

步骤2.4、在经过步骤2.3即查询Q、键K经过SRU模块以后，进行计算查询和键之间的像素对的相似度，在计算相似度的过程中，用转置注意力矩阵M掩盖掉了分配有较低注意力权重的不必要因素。

步骤2.5、转置注意力矩阵M经过top-k模块(其中k是一个可调节的参数，用于动态控制稀疏度的大小，可以通过加权平均得到)，会自适应的选择前k个贡献分数较大的值，top-k模块的目的是为了保留最有用的值而去除掉相比较而言没有用的值。

步骤2.6、步骤2.5中得到的k会在每行的某个范围内的前k个值被归一化，用于softmax计算，而对于小于k参数的其他元素，用0代替它们对应位置的概率值，这样经过k参数的动态选择可以让注意力从密集变为稀疏；

步骤2.7、步骤2.6最终得到的softmax之后的查询Q、键K的结果和步骤2.3最终得到的值V的结果进行相乘；

步骤2.8、步骤2.7相乘以后的结果会经过混合尺度前馈网络MSFN模块去除掉一些不适当的特征，最终通过1×1卷积解码输出。

步骤3、设计去除不适当特征模块NRetinex，其中包括N-net、L-Net和R-Net这三部分网络。用N-net去除掉特征聚合以后不适当的特征，然后使用L-Net和R-Net将输入分解为反射图和照明图，随后，模块NRetinex调整照明图，并将NRetinex模块调整后的照明图与反射图重新组合，得到增强后的图像；

步骤3具体按照以下步骤实施：

步骤3.1、在经过步骤2的TKSA-SC模块输出结果，会紧接着经过NRetinex模块，NRetinex模块首先会经过N-net网络来去除输入特征中不适当的特征，N-net的网络结构很简单，包括五个卷积层，前四个卷积层的激活函数为ReLU，最后一层是一个sigmoid层，用于将输出归一化到[0,1]的范围内，经过N-net网络以后生成特征图i；

步骤3.2、在经过步骤3.1的N-net网络以后的特征图i已经去除掉了输入特征中不适当的特征，然后将i经过L-Net网络和R-Net网络，生成对应i特征图的照明图和反射图，L-Net网络和R-Net网络与N-net网络的网络结构非常相似，它们也对应的包含五个卷积层，前四个卷积层的激活函数为ReLU，最后一层是一个sigmoid层，但是根据Retinex理论，将L-Net网络的输出通道设置为1，R-Net网络的输出通道设置为3，这样就生成了i对应的照明图L和反射图R；

步骤3.3、在步骤3.2生成照明图L和反射图R以后，NRetinex模块会调整照明图，然后将调整后的照明图L和刚才生成的反射图R重新组合，得到增强后的图像；

步骤3.4、步骤3.3最终生成的增强后的图像还会经过N

对应Retinex理论的公式如下：

其中I是照明图L和反射图R元素级乘法的结果，L是照明图，R是反射图，

步骤4、损失函数包括两个：L

步骤4具体按照以下步骤实施：

步骤4.1、损失函数包括两部分，分别是L

L

其中loss(x,y)是MSE损失函数，x是模型预测输出的值，y是groundtruth的值，

L

其中SSIM(x,y)是通过以(x,y)为中心的窗口来获得局部(x,y)点的局部均值，μ

步骤4.2、L

步骤5、对于基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络，用公开基准数据集LOL中的训练集进行训练，进行训练150000个Epoch，验证训练结果，保存神经网络的模型；基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络包括STB块、TKSA-SC块以及NRetinex块；

步骤5具体按照以下步骤实施：

步骤5.1、选择显存为12GB的GPU上训练，整个框架在PyTorch上运行，网络的优化器为AdamW优化器，并设置初始学习率在前92k次迭代中固定为3×10

步骤5.2、将步骤5.1训练的神经网络参数、正在训练的轮数Epoch、优化器ADAM和调度器进行保存，得到训练好的网络模型。

步骤6、加载步骤5训练好的网络模型，将公开基准数据集LOL中的测试集输入到所述步骤5训练好的网络模型中，之后对测试的结果进行保存，得到弱光增强以后的图像。

本发明基于稀疏变换网络的弱光增强方法，它通过特征选择块STB进行特征选择，其中加入了空间重建单元SRU和通道重建单元CRU来减少模型中的冗余，使用NRetinex模块去除掉图像中不适当的特征，并且加入有效的混合尺度前馈网络MSFN来补充信息，再加上两个相互补充的损失函数，避免手工赋值，以约束网络达到最优的弱光图像增强的结果。这样从弱光环境中恢复到接近于正常光的图像，具有一定的实用意义。

实施例1

本发明基于稀疏变换网络的弱光增强方法，具体按照以下步骤实施：

步骤1、设计特征提取模块STB，STB模块中包括归一化层LN、注意力选择模块TKSA和去除不适当特征的模块NRetinex，通过堆叠不同空间分辨率和通道维度的STB来提取具有复杂环境的弱光图像的丰富特征；

步骤2、设计注意力选择模块TKSA-SC，TKSA-SC模块中还包括Top-k选择模块和混合尺度前馈网络MSFN模块，以自适应的保留最有用的注意力值，并且减少特征映射中的冗余，从而实现更好的特征聚合；

步骤3、设计去除不适当特征模块NRetinex，其中包括N-net、L-Net和R-Net这三部分网络。用N-net去除掉特征聚合以后不适当的特征，然后使用L-Net和R-Net将输入分解为反射图和照明图，随后，模块NRetinex调整照明图，并将NRetinex模块调整后的照明图与反射图重新组合，得到增强后的图像；

步骤4、损失函数包括两个：L

步骤5、对于基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络，用公开基准数据集LOL中的训练集进行训练，进行训练150000个Epoch，验证训练结果，保存神经网络的模型；基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络包括STB块、TKSA-SC块以及NRetinex块；

步骤6、加载步骤5训练好的网络模型，将公开基准数据集LOL中的测试集输入到所述步骤5训练好的网络模型中，之后对测试的结果进行保存，得到弱光增强以后的图像。

实施例2

步骤1、设计特征提取模块STB，STB模块中包括归一化层LN、注意力选择模块TKSA和去除不适当特征的模块NRetinex，通过堆叠不同空间分辨率和通道维度的STB来提取具有复杂环境的弱光图像的丰富特征；

步骤1具体按照以下步骤实施：

步骤1.1、首先给定一个弱光图像

步骤1.2、将经过步骤1.1嵌入后的图像块送入专家混合特征补偿器MEFC模块，一共使用N

步骤1.3、STB块中包括STB-I和STB-II两部分，STB-I堆叠三个STB块用来编码，STB-II堆叠三个STB块用来解码。将步骤1.2经过MEFC模块细化后的特征输入到STB-I中，STB-I堆叠了N

形式上，给定第(l-1)个块的输入特征X

X

X

其中，l代表第几个STB块，X

步骤1.4、将步骤1.3经过STB-II以后输出的结果再次输入到专家混合特征补偿器MEFC模块，然后再经过3×3卷积输出最终的特征结果，然后将原始输入的弱光图像I

步骤2、设计注意力选择模块TKSA-SC，TKSA-SC模块中还包括Top-k选择模块和混合尺度前馈网络MSFN模块，以自适应的保留最有用的注意力值，并且减少特征映射中的冗余，从而实现更好的特征聚合；

步骤3、设计去除不适当特征模块NRetinex，其中包括N-net、L-Net和R-Net这三部分网络。用N-net去除掉特征聚合以后不适当的特征，然后使用L-Net和R-Net将输入分解为反射图和照明图，随后，模块NRetinex调整照明图，并将NRetinex模块调整后的照明图与反射图重新组合，得到增强后的图像；

步骤3具体按照以下步骤实施：

步骤3.1、在经过步骤2的TKSA-SC模块输出结果，会紧接着经过NRetinex模块，NRetinex模块首先会经过N-net网络来去除输入特征中不适当的特征，N-net的网络结构很简单，包括五个卷积层，前四个卷积层的激活函数为ReLU，最后一层是一个sigmoid层，用于将输出归一化到[0,1]的范围内，经过N-net网络以后生成特征图i；

步骤3.2、在经过步骤3.1的N-net网络以后的特征图i已经去除掉了输入特征中不适当的特征，然后将i经过L-Net网络和R-Net网络，生成对应i特征图的照明图和反射图，L-Net网络和R-Net网络与N-net网络的网络结构非常相似，它们也对应的包含五个卷积层，前四个卷积层的激活函数为ReLU，最后一层是一个sigmoid层，但是根据Retinex理论，将L-Net网络的输出通道设置为1，R-Net网络的输出通道设置为3，这样就生成了i对应的照明图L和反射图R；

步骤3.3、在步骤3.2生成照明图L和反射图R以后，NRetinex模块会调整照明图，然后将调整后的照明图L和刚才生成的反射图R重新组合，得到增强后的图像；

步骤3.4、步骤3.3最终生成的增强后的图像还会经过N

对应Retinex理论的公式如下：

其中I是照明图L和反射图R元素级乘法的结果，L是照明图，R是反射图，

步骤4、损失函数包括两个：L

步骤5、对于基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络，用公开基准数据集LOL中的训练集进行训练，进行训练150000个Epoch，验证训练结果，保存神经网络的模型；基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络包括STB块、TKSA-SC块以及NRetinex块；

实施例3

步骤1、设计特征提取模块STB，即Sparse Transformer Block，STB模块中包括归一化层LN、注意力选择模块TKSA和去除不适当特征的模块NRetinex，通过堆叠不同空间分辨率和通道维度的STB来提取具有复杂环境的弱光图像的丰富特征；

步骤2、设计注意力选择模块TKSA-SC，即Top-k Sparse Attention-SRU、CRU，空间重构单元SRU，即Spatial Reconstruction Unit，通道重建单元CRU，即ChannelReconstruction Unit，TKSA-SC模块中还包括Top-k选择模块和混合尺度前馈网络MSFN模块，以自适应的保留最有用的注意力值，并且减少特征映射中的冗余，从而实现更好的特征聚合；

步骤3、设计去除不适当特征模块NRetinex，其中包括N-net、L-Net和R-Net这三部分网络。用N-net去除掉特征聚合以后不适当的特征，然后使用L-Net和R-Net将输入分解为反射图和照明图，随后，模块NRetinex调整照明图，并将NRetinex模块调整后的照明图与反射图重新组合，得到增强后的图像；

步骤4、损失函数包括两个：L

步骤4具体按照以下步骤实施：

步骤4.1、损失函数包括两部分，分别是L

L

其中loss(x,y)是MSE损失函数，x是模型预测输出的值，y是ground truth的值，

L

其中SSIM(x,y)是通过以(x,y)为中心的窗口来获得局部(x,y)点的局部均值，μ

步骤4.2、L

步骤5、对于基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络，用公开基准数据集LOL中的训练集进行训练，进行训练150000个Epoch，验证训练结果，保存神经网络的模型；基于稀疏变换网络的弱光增强方法搭建的有效稀疏Transformer网络包括STB块、TKSA-SC块以及NRetinex块；

步骤5具体按照以下步骤实施：

步骤5.1、选择显存为12GB的GPU上训练，整个框架在PyTorch上运行，网络的优化器为AdamW优化器，并设置初始学习率在前92k次迭代中固定为3×10

步骤5.2、将步骤5.1训练的神经网络参数、正在训练的轮数Epoch、优化器ADAM和调度器进行保存，得到训练好的网络模型。

步骤6、加载步骤5训练好的网络模型，将公开基准数据集LOL中的测试集输入到所述步骤5训练好的网络模型中，之后对测试的结果进行保存，得到弱光增强以后的图像。