掌桥专利:专业的专利平台
掌桥专利
首页

一种处理图像的方法、终端及计算机可读存储介质

文献发布时间:2023-06-19 11:39:06


一种处理图像的方法、终端及计算机可读存储介质

技术领域

本申请属于计算机技术领域,尤其涉及一种处理图像的方法、终端及计算机可读存储介质。

背景技术

暗光条件下,拍摄得到的图像通常噪点多、色彩纯度较低,需要将这种图像处理为明亮清晰的图像,才能更好地供用户观看、使用。

然而,现有的图像处理方法在处理暗光或者逆光场景下的图像时,成像效果差,不能得到高质量的明亮清晰图像,不能达到良好的去噪效果。

发明内容

有鉴于此,本申请实施例提供了一种处理图像的方法及终端,以解决现有的图像处理方法在处理暗光或者逆光场景下的图像时,成像效果差,不能得到高质量的明亮清晰图像,不能达到良好的去噪效果的问题。

本申请实施例的第一方面提供了一种处理图像的方法,包括:

获取待处理的暗光图像;

对所述暗光图像进行预处理,得到目标暗光图像;

将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像;所述已训练的学生神经网络模型基于图像样本集中的第一样本暗光图像、由已训练的教师神经网络模型对所述第一样本暗光图像进行去噪处理得到的去噪图像,对未训练的学生神经网络模型训练得到。

进一步地,为了提高处理图像的速度,获取待处理的暗光图像可以包括:

当基于预设方法检测到图像中的噪点数量超过预设数量范围时,将所述图像标记为所述待处理的暗光图像。

进一步地,为了便于终端对待处理的暗光图像进行去噪处理,对所述暗光图像进行预处理,得到目标暗光图像可以包括:

将所述暗光图像处理为单颜色通道图像;所述单颜色通道图像包括红色通道图像、绿色通道图像以及蓝色通道图像;

将所述单颜色通道图像进行拼接,得到目标暗光图像。

进一步地,为了成像效果好,得到高质量的去噪图像,将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像可以包括:

对所述目标暗光图像进行特征编码处理,得到编码数据;

对所述编码数据进行特征增强处理,得到特征增强数据;

对所述特征增强数据进行特征解码处理,得到解码数据;

对所述解码数据进行特征融合处理,得到所述目标明亮图像。

进一步地,为了得到更好的去噪效果,在获取待处理的暗光图像之前还可包括:

将所述图像样本集中的第一样本暗光图像输入所述未训练的学生神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第一明亮图像;

获取所述去噪图像;

使用第一预设损失函数计算所述去噪图像与所述第一明亮图像之间的第一损失值,并基于所述第一损失值更新所述未训练的学生神经网络模型的模型参数;返回执行所述将所述图像样本集中的第一样本暗光图像输入所述未训练的学生神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第一明亮图像以及获取所述去噪图像;

当所述第一损失值满足第一预设条件时,停止训练,得到所述已训练的学生神经网络模型。

进一步地,为了得到更好的去噪效果,在获取待处理的暗光图像之前还可包括:

将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第二明亮图像;

使用第二预设损失函数计算所述第二明亮图像与所述训练样本集中所述第一样本暗光图像对应的第一样本明亮图像之间的第二损失值;

当所述第二损失值不满足第二预设条件时,基于所述第二损失值更新所述待训练的教师神经网络模型中的模型参数;返回所述将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第二明亮图像;

当所述第二损失值满足所述第二预设条件时,停止训练,得到所述已训练的教师神经网络模型。

本发明实施例的第二方面提供了一处理图像的终端,该终端包括:

获取单元,用于获取待处理的暗光图像;

预处理单元,用于对所述暗光图像进行预处理,得到目标暗光图像;

去噪单元,用于将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像;所述已训练的学生神经网络模型基于图像样本集中的第一样本暗光图像、由已训练的教师神经网络模型对所述第一样本暗光图像进行去噪处理得到的去噪图像,对未训练的学生神经网络模型训练得到。

本发明实施例的第三方面提供了另一种终端,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储支持终端执行上述方法的计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行以下步骤:

获取待处理的暗光图像;

对所述暗光图像进行预处理,得到目标暗光图像;

将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像;所述已训练的学生神经网络模型基于图像样本集中的第一样本暗光图像、由已训练的教师神经网络模型对所述第一样本暗光图像进行去噪处理得到的去噪图像,对未训练的学生神经网络模型训练得到。

本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:

获取待处理的暗光图像;

对所述暗光图像进行预处理,得到目标暗光图像;

将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像;所述已训练的学生神经网络模型基于图像样本集中的第一样本暗光图像、由已训练的教师神经网络模型对所述第一样本暗光图像进行去噪处理得到的去噪图像,对未训练的学生神经网络模型训练得到。

本申请实施例提供的一种处理图像的方法及终端具有以下有益效果:

本申请实施例,通过获取待处理的暗光图像,对所述暗光图像进行预处理,得到目标暗光图像,将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像。本发明实施例,使用已训练的学生神经网络模型对经过预处理的暗光图像进行去噪处理,由于该已训练的学生神经网络模型是基于轻量化的神经网络模型向已训练的教师神经网络模型进行学习、训练得到的,使其继承了教师神经网络模型成像效果好的优点;且其本身是轻量化的神经网络模型,处理图像的速度很快。因此使用已训练的学生神经网络模型对图像进行去噪处理,去噪效果佳,处理图像速度快,处理得到的图像明亮清晰、质量高。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种处理图像的方法的实现流程图;

图2是本申请一实施例提供的图像预处理示意图;

图3是本申请另一实施例提供的一种处理图像的方法的实现流程图;

图4是本申请又一实施例提供的一种处理图像的方法的实现流程图;

图5为本申请一实施方式提供的图像去噪效果对比图;

图6是本申请一实施例提供的一种处理图像的终端的示意图;

图7是本申请另一实施例提供的一种终端的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

请参见图1,图1是本发明实施例提供的一种处理图像的方法的示意流程图。本实施例中处理图像方法的执行主体为终端,终端包括但不限于智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)等移动终端,还可以包括台式电脑等终端。如图1所示的处理图像的方法可包括:

S101:获取待处理的暗光图像。

终端在检测到处理图像指令时,获取待处理的暗光图像。处理图像指令可以由用户触发,如用户点击终端中的处理图像选项。暗光图像可以为终端在暗光或者逆光场景下拍摄得到的图像,也可以是存储在终端中的由其他拍摄设备在暗光或者逆光场景下拍摄得到的图像。暗光场景是指拍摄环境中的光照不足或光照不均匀,逆光是指光位对着拍摄设备,从被摄体的背面照射过来的光。例如,用户人脸位于光源和摄像头之间,会导致被摄用户人脸曝光不充分,出现逆光的效果。

终端获取待处理的暗光图像可以是终端调用相机进行实时拍摄的暗光图像,也可以是用户上传至终端的暗光图像,还可以是终端根据处理图像指令中包含的文件标识获取该文件标识对应的图像文件,并提取图像文件中的暗光图像。进一步地,终端获取待处理的暗光图像也可以是,终端基于预设方法检测终端中各个图像的噪点数量,当检测到噪点数量超过预设数量范围时,将该图像标记为待处理的暗光图像。

进一步地,当待处理的图像有多张,且这些图像中既有需要被去噪的暗光图像,又有不需要进行去噪处理的正常图像,为了提高处理图像的速度,S101可以包括:

当基于预设方法检测到图像中的噪点数量超过预设数量范围时,将所述图像标记为所述待处理的暗光图像。

终端基于预设方法检测图像中的噪点数量,当检测到图像中的噪点数量在预设数量范围内时,则将该图像标记为正常图像,并按照图像存储的顺序依次检测下一张图像中的噪点数量。当检测到图像中的噪点数量超过预设数量范围时,将该图像标记为待处理的暗光图像。具体地,可以基于专业图像降噪软件对该图像进行图像噪点分析,并输出该图像对应的噪点数量,终端判断该噪点数量是否在预设数量范围内,并对该图像做不同的标记。

S102:对所述暗光图像进行预处理,得到目标暗光图像。

终端对待处理的暗光图像进行预处理,得到目标暗光图像。具体地,终端可以通过调用预设函数对待处理的暗光图像进行处理,得到目标暗光图像。其中,预设函数可根据实际情况编写,用于转换待处理图像的通道模式。

进一步地,为了便于终端对待处理的暗光图像进行去噪处理,S102可以包括:S1021-S1022,具体如下:

S1021:将所述暗光图像处理为单颜色通道图像;所述单颜色通道图像包括红色通道图像、绿色通道图像以及蓝色通道图像。

单颜色通道图像为由一种颜色元素的信息组成的颜色通道图像。保存图像颜色信息的通道称为颜色通道,每个颜色通道都存放着图像中颜色元素的信息。例如,在RGB色彩模式(RGB color mode,RGB)中,R表示一个红色通道,G表示一个绿色通道,B表示一个蓝色通道。终端可以通过调用预设函数将待处理的暗光图像的通道模式转换为多个单颜色通道图像。

例如,终端获取的待处理的暗光图像为原始图像,即未经处理、未经压缩的图像,此时,终端调用预设函数将原始图像的多颜色单通道模式转换为多个单颜色通道图像。具体地,终端通过调用的预设函数对原始图像中的每个颜色进行提取,并生成多个单颜色通道图像。

S1022:将所述单颜色通道图像进行拼接,得到目标暗光图像。

终端通过调用的预设函数将多个单颜色通道图像拼接,得到目标暗光图像。具体地,可以按照生成单颜色通道图像的顺序进行拼接,也可以任意拼接,对图像拼接的顺序不做限定,只需将生成的多个单颜色通道图像都拼接即可,拼接好的图像即为目标暗光图像。

如图2所示,左边分辨率为H×W单通道的原始图像经过预处理后,得到右边分辨率为

S103:将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像;所述已训练的学生神经网络模型基于图像样本集中的第一样本暗光图像、由已训练的教师神经网络模型对所述第一样本暗光图像进行去噪处理得到的去噪图像,对未训练的学生神经网络模型训练得到。

终端将目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与暗光图像对应的目标明亮图像。对于已训练好的学生神经网络模型来说,其输入为经过预处理的暗光图像,已训练的学生神经网络模型对其进行去噪处理,输出与暗光图像对应的目标明亮图像。已训练的学生神经网络模型基于图像样本集中的第一样本暗光图像、通过已训练的教师神经网络模型对该第一样本暗光图像进行去噪处理得到的去噪图像,对未训练的学生神经网络模型进行训练得到。

其中,学生神经网络模型指减少了模型参数量以及降低了计算复杂度的神经网络。图像样本集包括多个第一样本暗光图像,已训练的教师神经网络模型对每个第一样本暗光图像进行去噪处理,得到与每个第一样本暗光图像对应的去噪图像。在训练过程中,未训练的学生神经网络模型的输入为图像样本集中的第一样本暗光图像,未训练的学生神经网络模型对第一样本暗光图像进行去噪处理,未训练的学生神经网络模型的输出为与第一样本暗光图像对应的第一明亮图像。

已训练的教师神经网络模型是预先训练好的,用于对暗光图像进行去噪处理的神经网络模型。值得说明的是,学生神经网络模型是对未训练的轻量型的神经网络模型进行训练得到,教师神经网络模型是对复杂的神经网络模型进行训练得到。未训练的学生神经网络模型在训练过程中,以已训练的教师神经网络模型对第一样本暗光图像进行处理得到的去噪图像为目标进行学习、训练,最终得到训练好的学生神经网络模型。

可理解为,训练样本集中包含第一样本暗光图像以及第一样本图像对应的第一样本明亮图像;其中,第一样本暗光图像为在暗光或者逆光场景下拍摄得到的图像。将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,即将训练样本集中的在暗光或者逆光场景下拍摄得到的图像输入待训练的教师神经网络模型进行去噪处理,得到与第一样本暗光图像对应的第二明亮图像;使用第二预设损失函数计算第二明亮图像与训练样本集中第一样本图像对应的第一样本明亮图像之间的第二损失值;当第二损失值不满足第二预设条件时,基于第二损失值更新待训练的教师神经网络模型中的模型参数,并基于更新模型参数后的神经网络模型进行训练;当第二损失值满足第二预设条件时,停止训练,得到训练好的教师神经网络模型。

当教师神经网络模型训练好之后,将图像样本集中的第一样本暗光图像输入训练好的教师神经网络模型,训练好的教师神经网络模型对第一样本暗光图像进行去噪处理,训练好的教师神经网络模型输出第一样本暗光图像对应的去噪图像。未训练的学生神经网络模型在训练过程中,以该去噪图像为目标进行学习、训练,最终得到训练好的学生神经网络模型。具体地,将图像样本集中的第一样本暗光图像输入未训练的学生神经网络模型进行去噪处理,得到第一样本暗光图像对应的第一明亮图像;以训练好的教师神经网络模型处理该第一样本暗光图像得到的去噪图像为目标,使用第一预设函数计算该去噪图像与第一明亮图像之间的第一损失值,基于第一损失值更新未训练的学生神经网络模型的模型参数;基于更新模型参数后的神经网络模型继续进行训练;当检测到第一损失值满足第一预设条件时,停止训练,此时得到已训练好的学生神经网络模型。

终端将目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与暗光图像对应的目标明亮图像。具体地,终端对目标暗光图像进行特征编码处理,得到编码数据;对编码数据进行特征增强处理,得到特征增强数据;对特征增强数据进行特征解码处理,得到解码数据;对解码数据进行特征融合处理,得到目标明亮图像。

进一步地,为了提高图像的清晰度,得到高质量的去噪图像,S103可以包括S1031-S1034,具体如下:

S1031:对所述目标暗光图像进行特征编码处理,得到编码数据。

获取目标暗光图像在各个通道对应的数据,并通过已训练的学生神经网络模型对每个通道的数据进行特征编码,使数据的通道数提升,得到编码数据。例如,可以通过已训练的学生神经网络模型中的多层卷积层对每个通道的数据进行特征编码,使通道数由4提升至32,通道数提升后得到的数据即为编码数据。

S1032:对所述编码数据进行特征增强处理,得到特征增强数据。

具体地,已训练的学生神经网络模型中的卷积层对编码数据进行特征提取,提取到的数据为特征增强数据。通过对编码数据进行特征增强处理,可以保证暗光条件的成像清晰度及提升成像的速度。

S1033:对所述特征增强数据进行特征解码处理,得到解码数据。

终端采用与编码方法对应的解码方法对特征增强数据进行解码处理,使特征增强数据的通道数降低,得到相应的解码数据。例如,可以通过已训练的学生神经网络模型中的多层卷积层以及多层反卷积层对特征增强数据进行特征解码,使通道数由32降至4,通道数降低后得到的数据即为解码数据。

S1034:对所述解码数据进行特征融合处理,得到所述目标明亮图像。

具体地,已训练的学生神经网络模型中的卷积层对解码数据进行通道融合,经过通道融合后得到的数据即为目标明亮图像。已训练的学生神经网络模型输出与待处理的暗光图像对应的目标明亮图像。

本申请实施例,通过获取待处理的暗光图像,对所述暗光图像进行预处理,得到目标暗光图像,将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像。本发明实施例,使用已训练的学生神经网络模型对经过预处理的暗光图像进行去噪处理,由于该已训练的学生神经网络模型是基于轻量化的神经网络模型向已训练的教师神经网络模型进行学习、训练得到的,使其继承了教师神经网络模型成像效果好的优点;且其本身是轻量化的神经网络模型,处理图像的速度很快。因此使用已训练的学生神经网络模型对图像进行去噪处理,去噪效果佳,处理图像速度快,处理得到的图像明亮清晰、质量高。

请参见图3,图3是本发明另一实施例提供的一种处理图像的方法的示意流程图。本实施例中处理图像的方法的执行主体为终端,终端包括但不限于智能手机、平板电脑、个人数字助理等移动终端,还可以包括台式电脑等终端。

本实施例中S205-S207与上一实施例中的S101-S103完全相同,具体请参阅上一实施例中S101-S103的相关描述,此处不赘述。如图3所示的处理图像的方法,为了得到更好的去噪效果,在执行S205之前还可以包括S201-S204,具体如下:

S201:将所述图像样本集中的第一样本暗光图像输入所述未训练的学生神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第一明亮图像。

终端可以预先获取图像样本集,图像样本集包括多个第一样本暗光图像,第一样本暗光图像为在暗光或者逆光场景下拍摄得到的图像。将图像样本集中的第一样本暗光图像输入预先设置的未训练的学生神经网络模型,该未训练的学生神经网络模型对第一样本暗光图像进行去噪处理,具体的处理过程与已训练的学生神经网络模型对待处理的暗光图像进行的去噪处理过程相同,此处不做赘述。该未训练的学生神经网络模型输出与第一样本暗光图像对应的第一明亮图像。值得说明的是,未训练的学生神经网络模型对图像进行去噪处理的效果不是很好,经过不断向已训练的教师神经网络模型进行学习,最终得到已训练的学生神经网络模型,即该未训练的学生神经网络模型以已训练的教师神经网络模型对第一样本暗光图像进行去噪处理,得到的去噪图像为目标进行学习、训练,最终得到训练好的学生神经网络模型。

S202:获取所述去噪图像。

终端获取去噪图像。去噪图像为已训练的教师神经网络模型对第一样本暗光图像进行去噪处理得到的去噪图像。具体地,终端获取去噪图像的方式可以是,将所述图像样本集中的第一样本暗光图像输入未训练的学生神经网络模型进行去噪处理,得到与第一样本暗光图像对应的第一明亮图像之后,将该第一样本暗光图像输入预先训练好的教师神经网络模型,该训练好的教师神经网络模型对该第一样本暗光图像进行去噪处理,得到与该第一样本明亮图像对应的去噪图像。也可以是预先将图像样本集中的第一样本暗光图像逐一输入该训练好的教师神经网络模型中进行去噪处理,得到与每个第一样本暗光图像对应的去噪图像,并将这些去噪图像以及与其对应的第一样本暗光图像关联存储至数据库中;终端基于第一样本暗光图像在数据库中查找与其对应的去噪图像。

进一步地,为了使训练好的学生神经网络模型处理图像效果好,S202可以包括:将所述第一样本暗光图像输入所述已训练的教师神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的所述去噪图像。

将图像样本集中的第一样本暗光图像输入训练好的教师神经网络模型进行去噪处理,该训练好的教师神经网络模型对该第一样本暗光图像进行特征提取,得到多个特征信息;进一步地,该训练好的教师神经网络模型将得到的多个特征信息按照该训练好的教师神经网络模型对这个特征信息处理的顺序进行拼接,得到拼接特征信息;通过训练好的教师神经网络模型对拼接特征信息进行卷积处理,得到与该第一样本暗光图像对应的去噪图像,训练好的教师神经网络模型输出去噪图像。

S203:使用第一预设损失函数计算所述去噪图像与所述第一明亮图像之间的第一损失值,并基于所述第一损失值更新所述未训练的学生神经网络模型的模型参数;返回执行所述将所述图像样本集中的第一样本暗光图像输入所述未训练的学生神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第一明亮图像以及获取所述去噪图像。

终端使用第一预设损失函数计算该去噪图像与第一明亮图像之间的第一损失值,并基于该第一损失值更新未训练的学生神经网络模型的模型参数。可理解为终端计算已训练的教师神经网络模型处理第一样本暗光图像得到的去噪图像,与训练中的学生神经网络模型处理第一样本暗光图像得到的第一明亮图像之间的第一损失值。具体地,第一预设损失函数可以为:

L

其中,L

终端根据计算得到的第一损失值更新未训练的学生神经网络模型中的网络参数,如每一个神经网络层的权重值等。然后基于更新参数后的神经网络模型继续训练,即返回执行将图像样本集中的第一样本暗光图像输入未训练的学生神经网络模型神经网络模型进行去噪处理,得到与第一样本暗光图像对应的第一明亮图像以及获取去噪图像。

S204:当所述第一损失值满足第一预设条件时,停止训练,得到所述已训练的学生神经网络模型。

当终端检测到第一损失值满足第一预设条件时,停止训练,得到已训练的学生神经网络模型。具体地,第一预设条件可以是用户设定的第一损失值阈值,当终端检测到第一损失值小于第一损失值阈值时,证明模型已经训练完成,此时停止训练,得到已训练的学生神经网络模型。也可以是当终端检测到该损失函数收敛时,即第一损失值不再变化时,证明模型已经训练完成,此时停止训练,得到已训练的学生神经网络模型。

本申请实施例,通过获取待处理的暗光图像,对所述暗光图像进行预处理,得到目标暗光图像,将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像。本发明实施例,使用已训练的学生神经网络模型对经过预处理的暗光图像进行去噪处理,由于该已训练的学生神经网络模型是基于轻量化的神经网络模型向已训练的教师神经网络模型进行学习、训练得到的,使其继承了教师神经网络模型成像效果好的优点;且其本身是轻量化的神经网络模型,处理图像的速度很快。因此使用已训练的学生神经网络模型对图像进行去噪处理,去噪效果佳,处理图像速度快,处理得到的图像明亮清晰、质量高。

请参见图4,图4是本发明又一实施例提供的一种处理图像的方法的示意流程图。本实施例中处理图像的方法的执行主体为终端,终端包括但不限于智能手机、平板电脑、个人数字助理等移动终端,还可以包括台式电脑等终端。

本实施例中S305-S311与上一实施例中的S201-S207完全相同,具体请参阅上一实施例中S201-S207的相关描述,此处不赘述。如图4所示的处理图像的方法,为了得到更好的去噪效果,在执行S305之前还可以包括S301-S304,具体如下:

S301:将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第二明亮图像。

待训练的教师神经网络模型为预先设置的任意一种复杂网络;训练样本集中包括多个第一样本暗光图像,这些第一样本暗光图像与图像样本集中的第一样本暗光图像相同,不同的是,训练样本集中还包括预先设置好的,与这些第一样本暗光图像对应的第一样本明亮图像。

将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,待训练的教师神经网络模型对第一样本暗光图像进行特征提取,得到多个特征信息;进一步地,待训练的教师神经网络模型将得到的多个特征信息按照待训练的教师神经网络模型对这个特征信息处理的顺序进行拼接,得到拼接特征信息;通过待训练的教师神经网络模型对拼接特征信息进行卷积处理,得到与该第一样本暗光图像对应的第二明亮图像,并输出该第二明亮图像。

S302:使用第二预设损失函数计算所述第二明亮图像与所述训练样本集中所述第一样本暗光图像对应的第一样本明亮图像之间的第二损失值;

终端使用第二预设损失函数计算该第二明亮图像与训练样本集中第一样本暗光图像对应的第一样本明亮图像之间的第二损失值,并基于该第二损失值更新待训练的教师神经网络模型中的模型参数。具体地,第二预设损失函数可以为:

L

其中,L

S303:当所述第二损失值不满足第二预设条件时,基于所述第二损失值更新所述待训练的教师神经网络模型中的模型参数;返回所述将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第二明亮图像。

当终端检测到第二损失值不满足第二预设条件时,根据计算得到的第二损失值更新待训练的教师神经网络模型中的模型参数,如每一个神经网络层的权重值等。然后基于更新参数后的待训练的教师神经网络模型继续训练,即返回执行将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,得到与第一样本暗光图像对应的第二明亮图像。具体地,第二预设条件可以是用户设定的第二损失值阈值,当终端检测到第二损失值大于或等于第二损失值阈值时,证明第二损失值不满足第二预设条件;也可以是当终端检测到该损失函数未收敛时,证明第二损失值不满足第二预设条件。

S304:当所述第二损失值满足所述第二预设条件时,停止训练,得到所述已训练的教师神经网络模型。

当终端检测到第二损失值满足第二预设条件时,停止训练,得到训练好的教师神经网络模型。具体地,第二预设条件可以是用户设定的第二损失值阈值,当终端检测到第二损失值小于第二损失值阈值时,证明模型已经训练完成,此时停止训练,得到训练好的教师神经网络模型。也可以是当终端检测到该损失函数收敛时,即第二损失值不再变化时,证明模型已经训练完成,此时停止训练,得到训练好的教师神经网络模型。

图5为本申请一实施方式提供的图像去噪效果对比图。其中,图5左边的图像为普通神经网络模型对图像进行去噪处理得到的去噪图像,图5右边的图像为本方案中使用已训练的学生神经网络模型对图像进行去噪处理得到的去噪图像。显而易见,本方案实现了即使在处理暗光或者逆光场景下的图像时,也能得到高质量的去噪图像,达到很好的去噪效果。

本申请实施例,通过获取待处理的暗光图像,对所述暗光图像进行预处理,得到目标暗光图像,将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像。本发明实施例,使用已训练的学生神经网络模型对经过预处理的暗光图像进行去噪处理,由于该已训练的学生神经网络模型是基于轻量化的神经网络模型向已训练的教师神经网络模型进行学习、训练得到的,使其继承了教师神经网络模型成像效果好的优点;且其本身是轻量化的神经网络模型,处理图像的速度很快。因此使用已训练的学生神经网络模型对图像进行去噪处理,去噪效果佳,处理图像速度快,处理得到的图像明亮清晰、质量高。

请参见图6,图6是本申请一实施例提供的一处理图像的终端的示意图。该终端包括的各单元用于执行图1、图3、图4对应的实施例中的各步骤。具体请参阅图1、图3、图4各自对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图6,包括:

获取单元410,用于获取待处理的暗光图像;

预处理单元420,用于对所述暗光图像进行预处理,得到目标暗光图像;

去噪单元430,用于将所述目标暗光图像输入已训练的学生神经网络模型进行去噪处理,得到与所述暗光图像对应的目标明亮图像;所述已训练的学生神经网络模型基于图像样本集中的第一样本暗光图像、由已训练的教师神经网络模型对所述第一样本暗光图像进行去噪处理得到的去噪图像,对未训练的学生神经网络模型训练得到。

进一步地,所述去噪单元430具体用于:

对所述目标暗光图像进行特征编码处理,得到编码数据;

对所述编码数据进行特征增强处理,得到特征增强数据;

对所述特征增强数据进行特征解码处理,得到解码数据;

对所述解码数据进行特征融合处理,得到所述目标明亮图像。

进一步地,终端还包括:

第一去噪单元,用于将所述图像样本集中的第一样本暗光图像输入所述未训练的学生神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第一明亮图像;

去噪图像获取单元,用于获取所述去噪图像;

第一更新单元,用于使用第一预设损失函数计算所述去噪图像与所述第一明亮图像之间的第一损失值,并基于所述第一损失值更新所述未训练的学生神经网络模型的模型参数;返回执行所述将所述图像样本集中的第一样本暗光图像输入所述未训练的学生神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第一明亮图像以及获取所述去噪图像;

第一生成单元,用于当所述第一损失值满足第一预设条件时,停止训练,得到所述已训练的学生神经网络模型。

进一步地,所述去噪图像获取单元具体用于:

将所述第一样本暗光图像输入所述已训练的教师神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的所述去噪图像。

进一步地,终端还包括:

第二去噪单元,用于将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第二明亮图像;

计算单元,用于使用第二预设损失函数计算所述第二明亮图像与所述训练样本集中所述第一样本暗光图像对应的第一样本明亮图像之间的第二损失值;

第二更新单元,用于当所述第二损失值不满足第二预设条件时,基于所述第二损失值更新所述待训练的教师神经网络模型中的模型参数;返回所述将训练样本集中的第一样本暗光图像输入待训练的教师神经网络模型进行去噪处理,得到与所述第一样本暗光图像对应的第二明亮图像;

第二生成单元,用于当所述第二损失值满足所述第二预设条件时,停止训练,得到所述已训练的教师神经网络模型。

进一步地,所述获取单元410具体用于:

当基于预设方法检测到图像中的噪点数量超过预设数量范围时,将所述图像标记为所述待处理的暗光图像。

进一步地,所述预处理单元420具体用于:

将所述暗光图像处理为单颜色通道图像;所述单颜色通道图像包括红色通道图像、绿色通道图像以及蓝色通道图像;

将所述单颜色通道图像进行拼接,得到目标暗光图像。

请参见图7,图7是本申请另一实施例提供的一处理图像的终端的示意图。如图7所示,该实施例的终端5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机可读指令52。所述处理器50执行所述计算机可读指令52时实现上述各个终端处理图像的方法实施例中的步骤,例如图1所示的S101至S103。或者,所述处理器50执行所述计算机可读指令52时实现上述各实施例中各单元的功能,例如图6所示单元410至430功能。

示例性的,所述计算机可读指令52可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器51中,并由所述处理器50执行,以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令52在所述终端5中的执行过程。例如,所述计算机可读指令52可以被获取单元、预处理单元以及去噪单元,各单元具体功能如上所述。

所述终端可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是终端5的示例,并不构成对终端5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出终端、网络接入终端、总线等。

所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述终端5的内部存储单元,例如终端5的硬盘或内存。所述存储器51也可以是所述终端5的外部存储终端,例如所述终端5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端5的内部存储单元也包括外部存储终端。所述存储器51用于存储所述计算机可读指令以及所述终端所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神范围,均应包含在本申请的保护范围之内。

相关技术
  • 图像处理方法、终端、图像处理系统和计算机可读存储介质
  • 图像处理方法、计算机可读存储介质以及计算机终端
技术分类

06120113006688