一种视频去噪方法、装置、存储介质和电子装置

技术领域

本文涉及视频去噪技术，尤指一种视频去噪方法、装置、存储介质和电子装置。

背景技术

视频在生成过程中，通常会混杂噪音，而噪音会损失引起视频质量下降。

为了提升视频质量，需要对视频去噪。目前采用的视频去噪方法跟图像去噪有相通之处，采用神经网络作为去噪方案。但是视频去噪跟图像去噪又有区别，主要体现在视频具有时域多帧信息，输入的信息更多，帧间的连贯性要求也比图像去噪更高。连续的视频帧输入也同样意味着，对视频的处理过程伴随着性能要求和功耗要求，对视频去噪算法提出了更高的实时性要求。

针对如何兼顾视频去噪质量和实时性的问题，目前尚未提出有效的解决方案。

发明内容

本申请提供了一种视频去噪方法、装置、存储介质和电子装置，能够降低去噪后视频图像的失真率。

根据本发明实施例的一个方面，提供了一种视频去噪方法，上述方法包括：

将带噪图像帧序列依次输入训练好的去噪模型；通过所述去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；通过所述去噪模型的特征暂存模块更新所述图像特征，获取所述当前接收的带噪图像帧的目标图像特征；根据所述目标图像特征通过所述去噪模型的去噪模块进行去噪操作，获取与所述当前接收的带噪图像帧对应的实际去噪图像帧。

可选的，通过所述去噪模型的特征暂存模块更新所述图像特征，获取目标图像特征，包括：提取所述特征暂存模块中缓存的暂存特征；基于注意力机制根据所述暂存特征和所述图像特征获得所述目标图像特征。

可选的，所述根据所述目标图像特征通过所述去噪模型的去噪模块进行去噪操作之前，所述方法还包括：对所述目标图像特征进行特征精炼处理，将处理后的所述目标图像特征作为所述特征暂存模块中缓存的所述暂存特征。

可选的，所述基于注意力机制根据所述暂存特征和所述图像特征获得所述目标图像特征，包括：将所述暂存特征和所述图像特征进行特征融合，获得第一融合特征；通过第一权重和所述暂存特征进行点乘提取目标暂存特征，其中，所述第一权重通过所述第一融合特征经过激活函数映射后获取；将所述目标暂存特征和所述图像特征进行特征融合，获得所述目标图像特征。

可选的，构建所述去噪模型的过程，包括：通过获取的样本数据构建自适应训练数据集；将所述自适应训练数据集每一帧依次输入待训练去噪模型；通过计算预设的损失目标对所述待训练去噪模型进行参数调整直至所述待训练去噪模型满足预设的收敛条件。

可选的，通过获取的样本数据构建自适应训练数据集，包括：分别获取多类样本数据，其中，每类样本数据包括带噪图像样本序列，以及与所述带噪图像样本序列中每一带噪图像帧对应的目标去噪图像样本帧；将所述多类样本数据按比例组合构建所述自适应训练数据集。

可选的，获取每个所述样本数据的方式，包括：将通过外部设备采集的图像作为所述带噪图像样本序列，将所述带噪图像样本序列中的一帧作为目标带噪图像样本帧，将所述目标带噪图像样本帧及其之前的图像样本帧组成目标带噪图像样本组；通过已训练好的图像去噪模型对目标带噪图像样本组完成去噪操作，获取所述目标带噪图像样本帧对应的目标去噪图像帧；将所述带噪图像样本序列中的每帧作为所述目标带噪图像样本帧确定对应的目标去噪图像样本帧。

可选的，所述方法还包括：在通过调整所述待训练去噪模型的参数使所述损失函数仍无法收敛的情况下，继续将所述自适应训练数据集依次输入，直至通过调整所述待训练去噪模型的参数使相应的损失目标收敛，完成对所述去噪模型的训练。

可选的，将带噪视频包含的图像序列依次输入训练好的去噪模型，包括：

确定所述带噪视频中第一图像的图像质量，根据所述图像质量从多个候选去噪模型中自适应选择目标去噪模型，将所述第一图像输入所述目标去噪模型，其中，所述图像质量包含以下至少一个：图像属性和传感器类型，所述多个候选去噪模型之间的模型层数和模型通道数不同。

根据本发明实施例的另一个方面，还提供了一种视频去噪装置，所述装置包括：采集单元，用于将带噪帧序列依次输入训练好的去噪模型；提取单元，用于通过所述去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；更新单元，用于通过所述去噪模型的特征暂存模块更新所述图像特征，获取所述当前接收的带噪图像帧的目标图像特征；去噪单元，用于根据所述目标图像特征通过所述去噪模型的去噪模块进行去噪操作，获取与所述当前接收的带噪图像帧对应的实际去噪图像帧。

根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述中任一所述视频去噪方法。

根据本发明实施例的另一个方面，还提供了一种电子装置，包括：存储器，用于存储计算机可执行指令；处理器，用于执行所述计算机可执行指令，以实现上述任一项所述视频去噪方法的步骤。

在本发明实施例中，通过执行以下步骤：将带噪图像帧序列依次输入训练好的去噪模型；通过去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；通过去噪模型的特征暂存模块更新图像特征，获取当前接收的带噪图像帧的目标图像特征；根据目标图像特征通过去噪模型的去噪模块进行去噪操作，获取与当前接收的带噪图像帧对应的实际去噪图像帧。本申请实施例进行去噪操作时，每帧待去噪图像所依据图像特征来于已接收的带噪图像帧，上述图像特征可以更好的保留原始图像的信息，进而降低了去噪视频图像帧的失真率。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。

附图说明

附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。

图1为本申请实时例提供的一种视频的去噪方法的流程图；

图2为本申请实施例提供的一种特征融合的示意图；

图3为本申请实施例提供的一种基于融合特征的图像帧去噪示意图；

图4为本申请实施例提供的一种去噪模型的训练方法流程图；

图5为本申请实施例提供的一种I～δ(I)

图6为本申请实施例提供的根据每帧样本数据进行网络训练的示意图；

图7为本申请实施例提供的一种视频去噪装置组成图。

具体实施方式

本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。

本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的发明方案。任何实施例的任何特征或元件也可以与来自其它发明方案的特征或元件组合，以形成另一个由权利要求限定的独特的发明方案。因此，应当理解，在本申请中示出和/或讨论的任何特征可以单独地或以任何适当的组合来实现。因此，除了根据所附权利要求及其等同替换所做的限制以外，实施例不受其它限制。此外，可以在所附权利要求的保护范围内进行各种修改和改变。

此外，在描述具有代表性的实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本申请实施例的精神和范围内。

本领域技术人员在研究目前基于去噪模型对视频进行去噪过程中发现，现在技术在对视频去噪时，对后一带噪图像帧进行去噪所依据的图像特征来自前一已去噪完成的图像帧。由于已去噪完成的图像帧相对带噪图像帧除了去掉了噪声信息，还可能会去掉非噪声信息，使得从前一已去噪完成的图像帧中提取的图像特征出现信息丢失，由此造成根据所述提取的图像特征进行去噪得到的后一带噪图像帧也会出现信息丢失问题，增加了图像失真的风险。

本申请实施例提供了一种视频的去噪方法，如图1所示，所述方法包括：

S100，将带噪图像帧序列依次输入训练好的去噪模型；

S101，通过去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；

S102，通过去噪模型的特征暂存模块更新图像特征，获取当前接收的带噪图像帧的目标图像特征；

S103，根据目标图像特征通过去噪模型的去噪模块进行去噪操作，获取与当前接收的带噪图像帧对应的实际去噪图像帧。

通过上述的步骤，将带噪图像帧序列依次输入训练好的去噪模型；通过去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；通过去噪模型的特征暂存模块更新图像特征，获取当前接收的带噪图像帧的目标图像特征；根据目标图像特征通过去噪模型的去噪模块进行去噪操作，获取与当前接收的带噪图像帧对应的实际去噪图像帧。本申请实施例进行去噪操作时，每帧待去噪图像所依据图像特征来于已接收的带噪图像帧，上述图像特征可以更好的保留原始图像的信息，进而降低了去噪视频图像帧的失真率。

下面结合上述各实施例步骤进行说明。

S100，将带噪图像帧序列依次输入训练好的去噪模型；

本申请实施例中带噪视频由多个带噪图像帧组成，多个带噪图像帧也称为带噪帧序列；将获取的带噪帧序列依次输入去噪模型，由上述去噪模型完成对该图像帧的去噪操作，输出对应的去噪图像帧，即去噪模型对每一帧输入均能实现去噪，并输出当前帧的去噪结果帧。本申请实施例中保证连续的视频帧输入，输入去噪模型的数据格式可以有多种，如RGB，YUV，或RawRGB。本申请实施例支持对多种格式的数据去噪，能够满足不同终端用户的需求。

S101，通过去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；

本实施例中去噪模型针对当前接收的带噪图像帧，通过特征提取模块提取出当前带噪图像帧的图像特征，即为空间特征，本申请并不限制特征的种类。具体的，本申请实施例不限制特征提取模块的形式，可以采用多个卷积层，激活层，以及全连接层等组成的结构，或者注意力机制结构，或者长短期记忆网络(LSTM结构，GRU结构)。本实施例提取的图像特征包含完整的图像信息，而不是特定种类的噪声特征，能平衡去噪和保持信息量的关系。

S102，通过去噪模型的特征暂存模块更新图像特征，获取当前接收的带噪图像帧的目标图像特征；

在一示例性实施例中，通过所述去噪模型的特征暂存模块更新所述图像特征，获取目标图像特征，包括：提取所述特征暂存模块中缓存的暂存特征；基于注意力机制根据所述暂存特征和所述图像特征获得所述目标图像特征。

本申请实施例中的去噪模型还提供了一个特征暂存模块，随时当前接收的带噪图像帧的输入，特征暂存模块缓存的暂存特征会随着每帧的输入更新暂存特征，且综合考虑当前输入帧的空间特征以及缓存的时间特征，得到当前帧的目标图像特征，从而输出细节纹理保留得更好的结果。特征暂存模块缓存的暂存特征没有限定具体提取前面帧的数目，暂存特征随着视频帧的输入不断更新，初始暂存特征可为预设。

此外，本实施例采用注意力机制从当前帧包含的图像信息、暂存特征包含的信息等众多信息中选择出对当前目标去噪任务最更关键的信息，通过针对权重的选取，帮助改善存在移动物体时的运动鬼影。

在一示例性实施例中，基于注意力机制根据所述暂存特征和所述图像特征获得所述目标图像特征，包括：

将所述暂存特征和所述图像特征进行特征融合，获得第一融合特征；

通过第一权重和所述暂存特征进行点乘提取目标暂存特征，其中，所述第一权重通过所述第一融合特征经过激活函数映射后获取；

将所述目标暂存特征和所述图像特征进行特征融合，获得所述目标图像特征。

若直接将暂存特征和当前帧的图像特征进行特征融合，虽然可以获取时空特征，但同时将导致引入其余噪音信息，且信息过于冗余将导致计算量大，从而无法实现实时性。为了仅提取暂存特征中基于当前帧图像有用的特征信息，本申请实施例中首先将暂存特征和图像特征进行特征融合，获得第一融合特征；通过第一融合特征经过激活函数之后，将映射获取权重系数，权重系数用于表示暂存特征中各特征与当前帧图像特征的关联程度，基于权重系数从暂存特征中提取出目标暂存特征与当前帧的图像特征进行最终特征融合。此外，本申请实施例中的激活函数包括不限于sigmoid，根据采集的特征种类采用对应的激活函数进行映射，上述特征融合是常见的拼接和卷积过程。

图2给出了一种特征融合的示意图，该架构也称注意力机制网络；图中，符号

在一示例性实施例中，根据所述目标图像特征通过所述去噪模型的去噪模块进行去噪操作之前，所述方法还包括：

对所述目标图像特征进行特征精炼处理，将处理后的所述目标图像特征作为所述特征暂存模块中缓存的所述暂存特征。

具体的，基于获取的目标图像特征，去噪模型将其发往两个分支，一个分支继续做特征提取以及去噪功能，直至得到当前帧的去噪结果图；另一分支，经过一定的特征精炼后，作为下一帧输入的特征暂存模块。特征精炼即将特征进行精简，从而使处理后的特征维度与特征暂存模块中所需的特征维度一致，且提升特征信息的使用效率。故上述特征暂存模块中缓存的所述暂存特征随着视频图像帧输入而更新，本申请实施例中每帧的输入都来源于原始数据，而非前一帧的去噪结果，可以最大程度的保留原始的输入信息，将当前图像特征作为当前帧数据的辅助信息，从而提升当前帧的去噪效果。

S103，根据目标图像特征通过去噪模型的去噪模块进行去噪操作，获取与当前接收的带噪图像帧对应的实际去噪图像帧。

本申请实施例中去噪模型的去噪模块，亦采用算子组合实现，算子形式可以采用多个卷积层，激活层，以及全连接层等组成的结构，或者注意力机制结构，或者长短期记忆网络(LSTM结构，GRU结构)。本实施例提取的图像特征包含完整的图像信息，而不是特定种类的噪声特征，在特征层面做融合之后，再经过恢复图像的去噪网络，细节纹理信息就会变的更好，能平衡去噪和保持信息量的关系。

示例性的，图3给出了一种基于融合特征的图像帧去噪示意图，以图3为例说明去噪过程，当去噪模型接收到第n帧带噪图像后，将从第n-1帧获得的暂存特征和从第n帧获得的图像特征基于上述步骤S103融合获得目标图像特征，将目标图像特征作为第n帧的暂存特征进行存储。待去噪模型根据第n帧的目标图像特征对第n帧进行去噪操作，得到去噪后的图像帧。对于第1帧带噪图像，其目标图像特征即为本帧图像特征。由此可见，第n帧的目标图像特征，一方面，参与本帧的去噪过程，直至得到本帧的图像去噪结果；另一方面，参与下一帧的融合图像特征的生成过程。本申请实施例中每帧对应的图像特征均来自输入的原始图像帧，最大程度的保留了原始图像信息。本申请实施例通过当前帧的特征提取和特征暂存模块使得网络在更高维的特征层做信息融合，对帧间稳定性和当前帧结果的清晰度和去噪结果有帮助。

此外，本申请实施例还提供了一种去噪模型的训练方法，如图4所示，所述训练去噪模型的方法包括：

S400，通过获取的样本数据构建自适应训练数据集；

S401，将所述自适应训练数据集每一帧依次输入待训练去噪模型；

S402，通过计算预设的损失目标对所述待训练去噪模型进行参数调整直至所述待训练去噪模型满足预设的收敛条件。

在一示例性实施例中，通过获取的样本数据构建自适应训练数据集，包括：分别获取多类样本数据，其中，每类样本数据包括带噪图像样本序列，以及与所述带噪图像样本序列中每一带噪图像帧对应的目标去噪图像样本帧；将所述多类样本数据按比例组合构建所述自适应训练数据集。其中，所述多类样本数据的比例可设置，并且还可以根据待去噪图像序列的类型以及样本数据采集的难易程度进行调节；

在一示例性实施例中，获取每类样本数据的方式，包括：

方式一，

根据对目标物拍摄获得的视频获得带噪图像帧序列；

与所述带噪图像帧序列的每一帧对应的目标去噪图像帧的获得方式包括：对于所述带噪图像帧序列的每一帧，均获得预设数量的该带噪图像帧，将所述预设数量的该带噪图像帧进行叠加，即可获得与该帧对应的噪声小于预设阈值的目标去噪图像帧；

因为噪声存在随机性，通过叠加预设数量的带噪图像帧可以明显使噪声变小，信噪比提高，细节提升。所述预设数量可以根据带噪图像帧的噪声确定，如噪声较小(小于预设噪声阈值)，所述预设数量可以为6-10帧；如噪声较大(大于预设噪声阈值)，所述预设数量可以为60-100帧。

所述预设数量的带噪图像帧的叠加，可以使用加权相加的叠加方式，带有运动物的带噪图像帧的权值小于带有非运动物的带噪图像帧的权值。通过降低运动物的像素对应的权值，可以在保留图像细节的同时减小相机抖动或减小运动物带来的图像污染，进而减小在叠加后的图像帧中引入鬼影的可能，提升对神经网络的训练效果。

该方式一的优点：适用场景多，对采集工具无特别要求；缺点：采集成本高，采集环境要求高，需要保证亮度不变，采集过程没有抖动。

方式二，

通过使用短曝光，高增益(gain)值的图像采集设备采集图像获得每一带噪图像帧；通过使用长曝光，低增益(gain)值的图像采集设备采集图像获得每一去噪图像帧；

一般来说，曝光时间越短，噪声越大；曝光时间越长，噪声越小。可选的，可以根据增益值*曝光时间＝EV0(EV0指的是曝光量，对应于曝光时间为1秒，光圈为f/1.0的组合或其等效组合)确定曝光时间，由于EV0固定，将增益值设置得越小，得到的曝光时间越长，噪声越小；反之，将增益值设置得越大，得到的曝光时间越短，噪声越大。

方式二的优点：GT质量相对方式一较好；缺点：采集环境要求高，需要保证亮度不变，采集过程没有抖动。

方式三，

通过镜头带滤光镜的图像采集设备采集图像获得每一带噪图像帧；通过镜头不带滤光镜(即使用原镜头)的图像采集设备采集图像获得目标去噪图像帧。

由于镜头带滤光镜可以模拟暗光环境，因此可以将镜头带滤光镜的图像采集设备采集图像获得的图像帧作为带噪图像帧。

该方式三的优点：可应用于极暗场景；缺点：有炫光效应。

方式四，

将通过图像采集设备对目标物进行拍摄获得的噪声小于预设阈值的图像帧作为目标去噪图像帧；在所述目标去噪图像帧上增加预设噪声作为带噪图像帧。

其中，所述预设噪声的获取方式可以包括：

根据噪音分布模型获取所述预设噪声；

其中，所述噪音分布模型的待定参数根据所述目标去噪图像帧的不同感光值、所述目标去噪图像帧在不同感光值下对应的像素方差值、以及所述噪声分布模型标定的感光值与像素方差值之间的对应关系获取。

可选的，所述预设噪声分布模型满足泊松高斯分布模型：

其中，Poison()表示泊松函数，Normal()表示正态分布函数；I表示所述目标去噪图像帧的感光值；

根据所述目标去噪图像帧的不同感光值、所述目标去噪图像帧在不同感光值下对应的像素方差值、以及噪声分布模型

该方式四的优点：生成数据快捷，成本低，GT较好；缺点：只适合于特定图像传感器sensor直出的数据。

方式五，

将通过外部设备采集的图像作为所述带噪图像样本序列，

将所述带噪图像样本序列中的一帧作为目标带噪图像样本帧，将所述目标带噪图像样本帧及其之前的图像样本帧组成目标带噪图像样本组；

通过已训练好的图像去噪模型对目标带噪图像样本组完成去噪操作，获取所述目标带噪图像样本帧对应的目标去噪图像帧；

将所述带噪图像样本序列中的每帧作为所述目标带噪图像样本帧确定对应的目标去噪图像样本帧。

方式五复用已有的图像去噪模型，相较于前述四种方式，方式五的采集门槛较低，图像去噪模型相较于视频去噪模型，更复杂，参数量和深度足够大，但图像去噪模型实时性比较差，图像去噪模型尽可能多的保留了细节并去除了噪音，图像去噪模型可多输入单输出。以图像去噪模型结果作为视频去噪的参考图，但是可能会造成获得的目标去噪图像帧丢失图像信息。

如上所述，五种方式各有优缺点，实际实施时可以根据需求，选择其中一种或多种方式获取训练样本数据。比如raw域去噪，最高iso可以采用第三种方式获取训练样本数据，低iso可以使用第四种方法获取训练样本数据，中间iso可以使用第二种方法获取训练样本数据；在已有图像去噪模型的情况下，可以使用第五种方式获取训练样本数据。

在一示例性实施例中，所述方法还包括：

在通过调整所述待训练去噪模型的参数使所述损失函数仍无法收敛的情况下，继续将所述自适应训练数据集依次输入，直至通过调整所述待训练去噪模型的参数使相应的损失目标收敛，完成对所述去噪模型的训练。

具体的，在通过调整所述待训练去噪模型的参数后损失目标仍无法收敛的情况下，将上述自适应训练数据继续计算下一个带噪图像帧对应的实际去噪图像帧和目标去噪图像帧之间的损失函数，并通过继续调整所述待训练去噪模型的参数判断该损失函数是否收敛。示例性的，图6给出了一种训练去噪模型的示意图，以图6为例说明训练过程，当待训练去噪模型接收到第n帧带噪图像后，将从第n-1帧获得的暂存特征和从第n帧获得的图像特征基于上述步骤S103融合获得目标图像特征，根据第n帧目标图像特征对第n帧进行去噪，得到第n帧带噪图像对应的去噪后的图像帧；根据所述第n帧带噪图像对应的去噪后的图像帧与第n帧的目标去噪图像样本帧计算损失函数。样本包含的所有数据都会对网络权重做对应的调整，遍历当前自适应训练数据集后判断该损失函数是否收敛。如果收敛，完成对去噪模型的训练；如果无法收敛，继续重新遍历自适应训练数据集，通过调整待训练模型参数的参数判断该损失函数是否收敛；如此反复，直至使对应的损失函数收敛。

如果将全部样本数据包含的带噪图像帧序列输入待训练去噪模型后，仍无法使损失函数收敛，可以对样本数据、去噪模型结构等方面进行修改。

本申请实施例在对去噪模型进行去噪训练时，进行图像去噪操作所依据的图像特征来于已接收的带噪图像帧，相对来于去噪图像帧，所述图像特征可以更好的保留原始图像信息，进而降低了去噪视频图像帧的失真率。

在一示例性实施例中，损失函数的类型可以包括：L1 Loss，L2 Loss，ssim Loss，感知Loss，frequency loss中的一种或多种。

对去噪模型的训练完成后，可以冻结网络参数。

为保证视频处理的实时性以及低功耗，本申请实施例可以通过以下措施优化去噪模型的设计：

不做精确的帧间像素点对点的对齐，在特征层面提取特征后，通过特征的融合，做细节纹理信息的增强，节省对齐功能所带来的性能消耗和功耗；

在硬件加速平台(包括量化平台)上，可以通过量化训练和后量化训练使得网络参数整型化，根据不同的输入数据要求，可以对参数和权重进行8位量化、16位量化或者混合8bit和16bit的量化；

模型根据硬件的特点，设计匹配硬件的模型结构，比如NPU硬件适合16/32通道的模型设计等；

使用数据分块跑模型前向；根据硬件的容量，设计模型结构的参数，可以在数据处理中减少磁盘读写，加快前向性能和降低功耗；

使用更低bit数的模型参数，比如int4的使用等，配合硬件支持，实现低功耗。

在一示例性实施例中，将带噪视频包含的图像序列依次输入训练好的去噪模型，包括：确定所述带噪视频中第一图像的图像质量，根据所述图像质量从多个候选去噪模型中自适应选择目标去噪模型，将所述第一图像输入所述目标去噪模型，其中，所述图像质量包含以下至少一个：图像属性和传感器类型，所述多个候选去噪模型之间的模型层数和模型通道数不同。

此外，本申请实施例根据不同的输入帧的图像属性以及传感器类型决定输入帧质量，图像属性包含亮度、颜色等，传感器类型则包含噪音类型等，结合输入帧质量自适应选取去噪模型，多个候选去噪模型之间的模型层数和模型通道数不同，模型的设计是为了最低功耗情况下实现当前输入帧的去噪处理，从而保证视频处理的实时性和低功耗。

本申请实施例还提供了一种视频去噪装置，如图7所示，所述装置包括：

采集单元701，用于将带噪帧序列依次输入训练好的去噪模型；

提取单元702，用于通过所述去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；

更新单元703，用于通过所述去噪模型的特征暂存模块更新所述图像特征，获取所述当前接收的带噪图像帧的目标图像特征；

去噪单元704，用于根据所述目标图像特征通过所述去噪模型的去噪模块进行去噪操作，获取与所述当前接收的带噪图像帧对应的实际去噪图像帧。

通过上述单元，将带噪图像帧序列依次输入训练好的去噪模型；通过去噪模型的特征提取模块，获取当前接收的带噪图像帧的图像特征；通过去噪模型的特征暂存模块更新图像特征，获取当前接收的带噪图像帧的目标图像特征；根据目标图像特征通过去噪模型的去噪模块进行去噪操作，获取与当前接收的带噪图像帧对应的实际去噪图像帧。本申请实施例进行去噪操作时，每帧待去噪图像所依据图像特征来于已接收的带噪图像帧，上述图像特征可以更好的保留原始图像的信息，进而降低了去噪视频图像帧的失真率。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如前任一实施例所述的神经网络的训练方法。

本申请实施例还提供了一种电子装置，包括：

存储器，用于存储计算机可执行指令；

处理器，用于执行所述计算机可执行指令，以实现如前任一实施例视频去噪方法的步骤。

在一示例性实施例中，对输入训练好的去噪模型的每个带噪图像帧可以进行归一化处理，对应的，在获得每个带噪图像帧列对应的实际去噪图像帧后，也进行拟归一化处理。

在一示例性实施例中，所述待去噪视频可以是未经加工Raw视频，或可以为RGGB格式，GGR格式，GRBG格式，GBGR格式，和quadbayer格式中任一种；

由所有实际去噪图像帧序列组成的去噪视频也可以为未经加工Raw视频，或可以为RGGB格式，GGR格式，GRBG格式，GBGR格式，和quadbayer格式中任一种。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。