掌桥专利:专业的专利平台
掌桥专利
首页

基于噪声场的图像降噪方法、装置、设备及存储介质

文献发布时间:2023-06-19 11:22:42


基于噪声场的图像降噪方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域,具体涉及一种基于噪声场的图像降噪方法、装置、设备及存储介质。

背景技术

随着人工智能在金融领域中的广泛使用,在移动端开展金融行为的场景越来越丰富,这些场景中均涉及到较为严格的审批业务,如人脸识别业务,人脸识别业务需要进行客户图像的抽取,出于体验感的考虑,这种留底往往是基于相机拍摄的联系视频中抽帧所得的图片,但目前通过这种方式得到的图片往往质量得不到保障,尤其是移动端本身的移动会造成图像的模糊,这样的图像缺陷对于后续的诸如人脸识别等任务来说是不利的。因此,为了有效提高后续业务诸如人脸识别的准确率,优化图像质量势在必行。

优化图像质量过程的一个必要的步骤是对图像进行降噪处理,通常图像降噪分为两种思路:一是采用人为设计模型的方式来进行图像降噪;二是采用深度学习预估的方式来进行图像降噪。前者往往因为设计的模型只能针对某一种特定情况,因而在大多数情况下适用性不强;近年来兴起的深度学习卷积神经网络的图像降噪方法,虽然具有较好的适应性,但是深度学习预估的方式实际的原理在于使模型对图像整体进行预测,在对图像进行预测之后,根据预测结果对图像整体统一进行降噪处理,但这种整体降噪的方式往往会在局部区域造成图像的畸变。

发明内容

本申请实施例的目的在于提出一种基于噪声场的图像降噪方法、装置、计算机设备及存储介质,以解决现有的图像降噪方案存在的适用性不强,且降噪后存在的局部区域图像畸变的技术问题。

为了解决上述技术问题,本申请实施例提供一种基于噪声场的图像降噪方法,采用了如下所述的技术方案:

一种基于噪声场的图像降噪方法,包括:

获取待降噪图像以及与待降噪图像相对应的无噪声图像;

将无噪声图像输入预设的噪声分布模型,并在噪声分布模型中构建无噪声图像的高斯-泊松联合噪声分布函数;

根据高斯-泊松联合噪声分布函数获取待降噪图像的噪声分布信息;

将待降噪图像和噪声分布信息导入到预先训练好的降噪模型,根据噪声分布信息在以降噪模型中对待降噪图像进行降噪,得到去噪图像。

进一步地,噪声分布模型中预设有一个高斯核和一个泊松核,将无噪声图像输入预设的噪声分布模型,并在噪声分布模型中构建无噪声图像的高斯-泊松联合噪声分布函数的步骤,具体包括:

将无噪声图像输入到噪声分布模型中,通过噪声分布模型获取无噪声图像的像素信息;

基于无噪声图像的像素信息、泊松核以及高斯核构建无噪声图像的高斯-泊松联合噪声分布函数。

进一步地,在将无噪声图像输入到噪声分布模型中,通过噪声分布模型获取无噪声图像的像素信息的步骤之前,还包括:

从预设的图像数据库中获取样本图像,将样本图像输入到预设的初始噪声分布模型,获取初始噪声分布模型的输出结果;

构建初始噪声分布模型的损失函数,基于输出结果和预设标准结果,使用噪声分布模型的损失函数进行误差计算,获取识别误差;

基于识别误差对噪声分布模型进行迭代,直至模型拟合,得到输出拟合的噪声分布模型。

进一步地,基于识别误差对噪声分布模型进行迭代,直至模型拟合,得到输出拟合的噪声分布模型的步骤,具体包括:

将识别误差与预设误差阈值进行比对;

若识别误差大于预设误差阈值,则基于反向传播算法对初始噪声分布模型进行迭代更新,直至识别误差小于或等于预设误差阈值为止,得到输出拟合的噪声分布模型;

输出噪声分布模型。

进一步地,根据高斯-泊松联合噪声分布函数获取待降噪图像的噪声分布信息的步骤,具体包括:

基于无噪声图像的像素信息对高斯-泊松联合噪声分布函数进行随机抽样,得到抽样矩阵;

根据抽样矩阵得到待降噪图像的噪声分布信息。

进一步地,根据抽样矩阵得到待降噪图像的噪声分布信息的步骤,具体包括:

获取无噪声图像的图像矩阵,融合无噪声图像的图像矩阵和抽样矩阵,得到第一噪声图像;

获取待降噪图像对应的相机响应函数,并基于相机响应函数对第一噪声图像处理,得到第二噪声图像;

获取待降噪图像对应的格式转化信息,并基于格式转化信息对第二噪声图像进行彩色插值,得到第三噪声图像;

获取待降噪图像对应的压缩参数,并基于压缩参数对第三噪声图像进行压缩,得到第四噪声图像;

获取第四噪声图像的的图像矩阵,并基于第四噪声图像的的图像矩阵得到待降噪图像的噪声分布信息。

进一步地,将待降噪图像和噪声分布信息导入到预先训练好的降噪模型,根据噪声分布信息在以降噪模型中对待降噪图像进行降噪,得到去噪图像的步骤,具体包括:

基于噪声分布信息获取噪声分布矩阵;

对待降噪图像的图像矩阵和噪声分布矩阵进行矩阵拼接,得到矩阵拼接张量;

利用降噪模型的卷积核对矩阵拼接张量进行卷积运算,得到卷积运算结果;

基于卷积运算结果进行图像重建,得到去噪图像。

为了解决上述技术问题,本申请实施例还提供一种基于噪声场的图像降噪装置,采用了如下所述的技术方案:

一种基于噪声场的图像降噪装置,包括:

图像获取模块,用于获取待降噪图像以及与待降噪图像相对应的无噪声图像;

函数构建模块,用于将无噪声图像输入预设的噪声分布模型,并在噪声分布模型中构建无噪声图像的高斯-泊松联合噪声分布函数;

噪声模拟模块,用于根据高斯-泊松联合噪声分布函数获取待降噪图像的噪声分布信息;

图像降噪模块,用于将待降噪图像和噪声分布信息导入到预先训练好的降噪模型,根据噪声分布信息在以降噪模型中对待降噪图像进行降噪,得到去噪图像。

为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:

一种计算机设备,包括存储器和处理器,存储器中存储有计算机可读指令,处理器执行计算机可读指令时实现如上述的基于噪声场的图像降噪方法的步骤。

为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:

一种计算机可读存储介质,计算机可读存储介质上存储有计算机可读指令,计算机可读指令被处理器执行时实现如上述的基于噪声场的图像降噪方法的步骤。

与现有技术相比,本申请实施例主要有以下有益效果:

本申请公开了一种基于噪声场的图像降噪方法、装置、设备及存储介质,属于人工智能技术领域,本申请通过将与待降噪图像内容相近或者相同的无噪声图像输入到预设的噪声分布模型得到一个高斯-泊松联合噪声分布函数,通过对高斯-泊松联合噪声分布函数进行随机抽样,模拟得到待降噪图像的噪声分布信息,然后预先训练的降噪模型根据噪声分布信息对待降噪图像进行降噪,得到去噪图像。相比于现有的对图像整体统一进行降噪方案,本申请基于噪声分布来进行降噪,即针对噪声越多的地方加大降噪力度,而针对噪声较少的地方减小降噪力度,这样不仅能够获得清晰、干净的降噪图像,而且能够防止图像降噪过程中产生的畸变。

附图说明

为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了本申请可以应用于其中的示例性系统架构图;

图2示出了根据本申请的基于噪声场的图像降噪方法的一个实施例的流程图;

图3示出了根据本申请的基于噪声场的图像降噪装置的一个实施例的结构示意图;

图4示出了根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是,本申请实施例所提供的基于噪声场的图像降噪方法一般由服务器或终端设备执行,相应地,基于噪声场的图像降噪装置一般设置于服务器或终端设备中。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。

继续参考图2,示出了根据本申请的基于噪声场的图像降噪的方法的一个实施例的流程图。所述的基于噪声场的图像降噪方法,包括以下步骤:

S201,获取待降噪图像以及与待降噪图像相对应的无噪声图像;

具体的,接收图像降噪指令,获取待降噪图像以及与降噪图像相对应的无噪声图像,其中,无噪声图像与待降噪图像的图像内容相同或者相似,例如,在同一场景下用同一相机拍摄的图像,无噪声图像图像指的是图像指标符合预设要求的图像,图像指标例如分辨率、曝光度、饱和度等等,可以预先设定图像指标的要求,将符合预设图像指标要求的图像确定为无噪声图像,在无噪声图像上模拟待降噪图像的图像噪声,并基于模拟的图像噪声生成噪声分布信息,基于噪声分布信息和预先训练的降噪模型对待降噪图像进行降噪,得到去噪图像。

在本实施例中,基于噪声场的图像降噪方法运行于其上的电子设备(例如图1所示的服务器或终端设备)可以通过有线连接方式或者无线连接方式接收图像降噪指令。需要指出的是,上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。

S202,将无噪声图像输入预设的噪声分布模型,并在噪声分布模型中构建无噪声图像的高斯-泊松联合噪声分布函数。

其中,图像噪声分为两类,分别为信号相关噪声与信号不相关噪声。信号相关噪声主要是散粒噪声,噪声随信号的增大而变大,可以使用泊松分布来模拟。信号不相关噪声主要是随机噪声,信号增大噪声没有明显变大,符合高斯分布,可以使用高斯分布来模拟。因此,在本申请具体的实施例中,图像噪声可以使用泊松-高斯联合分布来进行拟合。

在本申请具体的实施例中,通过构建噪声分布模型来模拟待降噪图像的噪声,根据上述理论光子传感产生的噪声,即信号相关噪声可以建模为泊松噪声,而其余的静止扰动噪声,即信号不相关噪声可以建模为高斯分布。将无噪声图像输入预设的噪声分布模型,并在噪声分布模型中构建无噪声图像的高斯-泊松联合噪声分布函数,通过高斯-泊松联合噪声分布函数模拟生成待降噪图像的图像噪声,高斯-泊松联合噪声分布函数可做如下定义:

其中,L认为是理想的无噪声图像,σ

S203,根据高斯-泊松联合噪声分布函数获取待降噪图像的噪声分布信息。

具体的,基于无噪声图像的像素信息对高斯-泊松联合噪声分布函数进行随机抽样,得到抽样矩阵,根据抽样矩阵得到待降噪图像的噪声分布信息。例如,输入的无噪声图像为512*512大小的图像,则需要对高斯-泊松联合噪声分布函数进行512*512次随机抽样,将随机抽样获得的结果进行组合,得到512*512抽样矩阵,将抽样矩阵添加到无噪声图像中,并添加与待降噪图像相关的相机噪声、格式转化噪声以及压缩噪声,最终模拟得到一张与待降噪图像相对应的含有噪声的真实图像,基于含噪声的真实图像和无噪声图像得到待降噪图像的噪声分布信息。

S204,将待降噪图像和噪声分布信息导入到预先训练好的降噪模型,根据噪声分布信息在以降噪模型中对待降噪图像进行降噪,得到去噪图像。

其中,这里的降噪模块是一个U型的卷积网络,分为编码层ecoder和解码层decoder,且编码层ecoder共包含三层卷积网络,每一层编码层ecoder的卷积通道数依次是64、128、256。对应的解码层decoder也是包含三层卷积网络,每一层解码层decoder的卷积通道数依次是256、128、64。

具体的,获取待降噪图像的图像矩阵,并基于噪声分布信息获取噪声分布矩阵,对待降噪图像的图像矩阵和噪声分布矩阵进行矩阵拼接,得到矩阵拼接张量,其中,矩阵拼接张量是一个三维张量。在获得矩阵拼接张量后,通过三层编码层ecoder分别对三维张量进行编码,然后通过三层解码层decoder分别对相应的编码结果进行解码,最后组合解码结果,得到降噪模型的输出,该输出即为去噪图像。

本申请公开了一种基于噪声场的图像降噪方法,属于人工智能技术领域,本申请通过将与待降噪图像内容相近或者相同的无噪声图像输入到预设的噪声分布模型得到一个高斯-泊松联合噪声分布函数,通过对高斯-泊松联合噪声分布函数进行随机抽样,模拟得到待降噪图像的噪声分布信息,然后预先训练的降噪模型根据噪声分布信息对待降噪图像进行降噪,得到去噪图像。相比于现有的对图像整体统一进行降噪方案,本申请基于噪声分布来进行降噪,即针对噪声越多的地方加大降噪力度,而针对噪声较少的地方减小降噪力度,这样不仅能够获得清晰、干净的降噪图像,而且能够防止图像降噪过程中产生的畸变。

进一步地,噪声分布模型中预设有一个高斯核和一个泊松核,将无噪声图像输入预设的噪声分布模型,并在噪声分布模型中构建无噪声图像的高斯-泊松联合噪声分布函数的步骤,具体包括:

将无噪声图像输入到噪声分布模型中,通过噪声分布模型获取无噪声图像的像素信息;

基于无噪声图像的像素信息、泊松核以及高斯核构建无噪声图像的高斯-泊松联合噪声分布函数。

具体的,噪声分布模型中预设有一个高斯核和一个泊松核,将无噪声图像输入到噪声分布模型中,通过噪声分布模型获取无噪声图像的像素信息,将无噪声图像的像素信息导入高斯核中进行高斯运算,得到高斯运算结果,将无噪声图像的像素信息导入泊松核中进行泊松运算,得到泊松运算结果,基于高斯运算结果和泊松运算结果构建高斯-泊松联合噪声分布函数。

在上述实施例中,通过利用噪声分布模型中预设有一个高斯核和一个泊松核分别对无噪声图像的像素信息进行处理,通过得到的处理结果构建构建高斯-泊松联合噪声分布函数,高斯-泊松联合噪声分布函数可用于模拟图像噪声。

进一步地,在将无噪声图像输入到噪声分布模型中,通过噪声分布模型获取无噪声图像的像素信息的步骤之前,还包括:

从预设的图像数据库中获取样本图像,将样本图像输入到预设的初始噪声分布模型,获取初始噪声分布模型的输出结果;

构建初始噪声分布模型的损失函数,基于输出结果和预设标准结果,使用噪声分布模型的损失函数进行误差计算,获取识别误差;

基于识别误差对噪声分布模型进行迭代,直至模型拟合,得到输出拟合的噪声分布模型。

具体的,样本图像可以是一张无噪声的图像,将该无噪声的图像输入到预设的初始噪声分布模型,获取初始噪声分布模型的输出结果,这里初始噪声分布模型的输出结果是以矩阵形式表示吗,例如,样本图像为512*512大小的图像,那么初始噪声分布模型的输出结果也应为512*512大小的矩阵。基于初始噪声分布模型的输出结果和预设标准结果,使用噪声分布模型的损失函数进行误差计算,获取识别误差,这里的预设标准结果可以是与将该无噪声的图像对应的一张含有噪声的图像。基于上述识别误差使用反向传播算法对噪声分布模型进行迭代,直至模型拟合,得到噪声分布模型。

其中,初始噪声分布模型可以是采用ResNet结构的预测模型,ResNet指的是残差网络(Residual Network)的缩写,ResNet预测模型是一种作为许多计算机视觉任务主干的经典神经网络,本申请通过在ResNet预测模型中添加一个高斯核和一个泊松核构建出一个噪声分布模型,通过构建出的噪声分布模型模拟图像的噪声分布。在本申请具体的实施例中,为了能真实刻画出待降噪图像噪声,这里需要定义一种新的损失函数L,新的损失函数L包括L1损失函数和L2损失函数,具体定义如下:

这里这样设计L1的优点在于展现出模拟生成图像噪声的不对称性,其中,i是指图像矩阵的坐标,

另外,为了防止训练过程中,随机性过强而导致预测噪声的连续性过差,根据噪声理论,图像结构具有完整的连续性,噪声也应当具有连续性,而不是在某些区域发生突变,因此需要设置L2损失函数,L2是防止后续图像合成产生畸变的保证,其中,这里

L=ωL

其中,ω和β为加权系数,在本申请具体的实施例中,L1和L2的初始加权系数分别设定为0.5和0.5,然后再根据初始噪声分布模型的输出结果持续对初始加权系数进行调整。

在上述实施例中,通过样本图像训练初始噪声分布模型,并通过构建初始噪声分布模型的损失函数,以及基于构建的损失函数计算初始噪声分布模型的输出误差,基于输出误差对初始噪声分布模型进行迭代,获得符合要求的噪声分布模型。

进一步地,基于识别误差对噪声分布模型进行迭代,直至模型拟合,得到输出拟合的噪声分布模型的步骤,具体包括:

将识别误差与预设误差阈值进行比对;

若识别误差大于预设误差阈值,则基于反向传播算法对初始噪声分布模型进行迭代更新,直至识别误差小于或等于预设误差阈值为止,得到输出拟合的噪声分布模型;

输出噪声分布模型。

其中,反向传播算法,即误差反向传播算法(Backpropagation algorithm,BP算法)适合于多层神经元网络的一种学习算法,它建立在梯度下降法的基础上,用于深度学习网络的误差计算。BP网络的输入、输出关系实质上是一种映射关系:一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射,这一映射具有高度非线性。BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中,输入信息通过输入层经隐含层,逐层处理并传向输出层,并转入反向传播,逐层求出目标函数对各神经元权值的偏导数,构成目标函数对权值向量的梯量,以作为修改权值的依据。

具体的,将识别误差与预设误差阈值进行比较,若识别误差大于预设误差阈值,则基于反向传播算法对训练完成的初始噪声分布模型进行迭代更新,直到识别误差小于或等于预设误差阈值为止,获取输出拟合的噪声分布模型。其中,预设误差阈值可以提前设定。在上述实施例中,通过反向传播算法对训练完成的初始噪声分布模型进行验证和迭代,得到符合要求的噪声分布模型。

进一步地,根据高斯-泊松联合噪声分布函数获取待降噪图像的噪声分布信息的步骤,具体包括:

基于无噪声图像的像素信息对高斯-泊松联合噪声分布函数进行随机抽样,得到抽样矩阵;

根据抽样矩阵得到待降噪图像的噪声分布信息。

具体的,基于无噪声图像的像素信息对高斯-泊松联合噪声分布函数进行随机抽样,得到抽样矩阵,根据抽样矩阵得到待降噪图像的噪声分布信息。例如,输入的无噪声图像为512*512大小的图像,则需要对高斯-泊松联合噪声分布函数进行512*512次随机抽样,将随机抽样获得的结果进行组合,得到512*512抽样矩阵,将抽样矩阵添加到无噪声图像中,并添加与待降噪图像相关的相机噪声、格式转化噪声以及压缩噪声,最终模拟得到一张与待降噪图像相对应的含有噪声的真实图像,基于含噪声的真实图像和无噪声图像得到待降噪图像的噪声分布信息。

在上述实施例中,通过对高斯-泊松联合噪声分布函数进行随机抽样,得到抽样矩阵,通过抽样矩阵添加到无噪声图像中,并添加与待降噪图像相关的相机噪声、格式转化噪声以及压缩噪声,最终模拟得到一张与待降噪图像相对应的含有噪声的真实图像,基于含噪声的真实图像和无噪声图像可以获得待降噪图像的噪声分布信息。

进一步地,根据抽样矩阵得到待降噪图像的噪声分布信息的步骤,具体包括:

获取无噪声图像的图像矩阵,融合无噪声图像的图像矩阵和抽样矩阵,得到第一噪声图像;

获取待降噪图像对应的相机响应函数,并基于相机响应函数对第一噪声图像处理,得到第二噪声图像;

获取待降噪图像对应的格式转化信息,并基于格式转化信息对第二噪声图像进行彩色插值,得到第三噪声图像;

获取待降噪图像对应的压缩参数,并基于压缩参数对第三噪声图像进行压缩,得到第四噪声图像;

获取第四噪声图像的的图像矩阵,并基于第四噪声图像的的图像矩阵得到待降噪图像的噪声分布信息。

具体的,获取无噪声图像的图像矩阵,融合无噪声图像的图像矩阵和抽样矩阵,得到第一噪声图像,考虑到实际情况中相机拍摄因素、格式转化因素和图像JPEG压缩因素,需要根据上述影响因素依次对第一噪声图像进行处理,模拟一张与待降噪图像相对应的含有噪声的真实图像,其中,格式转化从原相机的bayer图像转化到到RGB图的过程,格式转化过程会产生一定的噪声,图像JPEG压缩指的是图像传输前的压缩过程,图像压缩会产生一定的噪声。在本申请具体的实施例中,根据上述影响因素依次对第一噪声图像进行处理具体运算过程如下:

y=JPEG{f[DM(L+n(L))]}

其中,L认为是理想的无噪声图像,这里y是含噪声真实图像,f是相机响应函数,DM是指从bayer图像到RGB图像的过程,即彩色插值过程,另外考虑到实际处理的图像通常为JPEG格式,JPEG即图像压缩过程。至此,模拟图像噪声的步骤完成,得到一张与待降噪图像相对应的含有噪声的真实图像。

在上述实施例中,通过基于相机拍摄因素、格式转化因素和图像JPEG压缩因素对第一噪声图像进行处理,使得第一噪声图像获得相机噪声、格式转化噪声和压缩噪声,最终模拟得到一张与待降噪图像相对应的含有噪声的真实图像,基于含噪声的真实图像和无噪声图像可以获得待降噪图像的噪声分布信息。

进一步地,将待降噪图像和噪声分布信息导入到预先训练好的降噪模型,根据噪声分布信息在以降噪模型中对待降噪图像进行降噪,得到去噪图像的步骤,具体包括:

基于噪声分布信息获取噪声分布矩阵;

对待降噪图像的图像矩阵和噪声分布矩阵进行矩阵拼接,得到矩阵拼接张量;

利用降噪模型的卷积核对矩阵拼接张量进行卷积运算,得到卷积运算结果;

基于卷积运算结果进行图像重建,得到去噪图像。

具体的,基于噪声分布信息获取噪声分布矩阵,对待降噪图像的图像矩阵和噪声分布矩阵进行矩阵拼接,得到矩阵拼接张量,矩阵拼接张量是一个三维的条件张量,利用降噪模型的卷积核对矩阵拼接张量进行卷积运算,得到卷积运算结果,将卷积运算结果依次填入一个空白矩阵的矩阵体中,其中,空白矩阵与待降噪图像的图像矩阵大小一致,例如都是512*512大小的矩阵,上述过程相当于对图像进行重建,重建后得到去噪图像。这里利用条件引导的方式对矩阵拼接张量进行卷积,然后再基于卷积运算结果进行图像重建,得到去噪图像。

在绝大多数降噪场景中,针对降噪使用的是默认为均匀噪声分布,这在自然图像一般场景中是适用的,但是在移动端场景中,由于拍摄角、光线分布等原因,会造成噪声分布并不均匀,此时就应当基于噪声分布来进行降噪,简而言之就是噪声越多的地方应当降噪力度加大,而噪声较少的地方降噪力度减小,这样才能确保获得的图像是清晰、干净,且畸变的图像。而想要基于噪声分布来进行降噪首先需要估计图像的噪声分布,然后基于噪声分布进行降噪。

针对上述技术问题,本申请公开了一种基于噪声场的图像降噪方法、装置、设备及存储介质,属于人工智能技术领域,本申请通过将与待降噪图像内容相近或者相同的无噪声图像输入到预设的噪声分布模型得到一个高斯-泊松联合噪声分布函数,通过对高斯-泊松联合噪声分布函数进行随机抽样,模拟得到待降噪图像的噪声分布信息,然后预先训练的降噪模型根据噪声分布信息对待降噪图像进行降噪,得到去噪图像。相比于现有的对图像整体统一进行降噪方案,本申请基于噪声分布来进行降噪,即针对噪声越多的地方加大降噪力度,而针对噪声较少的地方减小降噪力度,这样不仅能够获得清晰、干净的降噪图像,而且能够防止图像降噪过程中产生的畸变。

需要强调的是,为进一步保证上述待降噪图像和无噪声图像的私密和安全性,上述待降噪图像和无噪声图像还可以存储于一区块链的节点中。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,该计算机可读指令可存储于一计算机可读取存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。

应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3,作为对上述图2所示方法的实现,本申请提供了一种基于噪声场的图像降噪装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图3所示,本实施例所述的基于噪声场的图像降噪装置包括:

图像获取模块301,用于获取待降噪图像以及与待降噪图像相对应的无噪声图像;

函数构建模块302,用于将无噪声图像输入预设的噪声分布模型,并在噪声分布模型中构建无噪声图像的高斯-泊松联合噪声分布函数;

噪声模拟模块303,用于根据高斯-泊松联合噪声分布函数获取待降噪图像的噪声分布信息;

图像降噪模块304,用于将待降噪图像和噪声分布信息导入到预先训练好的降噪模型,根据噪声分布信息在以降噪模型中对待降噪图像进行降噪,得到去噪图像。

进一步地,噪声分布模型中预设有一个高斯核和一个泊松核,函数构建模块302具体包括:

信息提取单元,用于将无噪声图像输入到噪声分布模型中,通过噪声分布模型获取无噪声图像的像素信息;

函数构建单元,用于基于无噪声图像的像素信息、泊松核以及高斯核构建无噪声图像的高斯-泊松联合噪声分布函数。

进一步地,该基于噪声场的图像降噪装置还包括:

样本获取模块,用于从预设的图像数据库中获取样本图像,将样本图像输入到预设的初始噪声分布模型,获取初始噪声分布模型的输出结果;

误差计算模块,用于构建初始噪声分布模型的损失函数,基于输出结果和预设标准结果,使用噪声分布模型的损失函数进行误差计算,获取识别误差;

模型迭代模块,用于基于识别误差对噪声分布模型进行迭代,直至模型拟合,得到输出拟合的噪声分布模型。

进一步地,模型迭代模块具体包括:

误差比对单元,用于将识别误差与预设误差阈值进行比对;

模型迭代单元,用于当识别误差大于预设误差阈值时,基于反向传播算法对初始噪声分布模型进行迭代更新,直至识别误差小于或等于预设误差阈值为止,得到输出拟合的噪声分布模型;

模型输出单元,用于输出噪声分布模型。

进一步地,噪声模拟模块303具体包括:

随机抽样单元,用于基于无噪声图像的像素信息对高斯-泊松联合噪声分布函数进行随机抽样,得到抽样矩阵;

噪声模拟单元,用于根据抽样矩阵得到待降噪图像的噪声分布信息。

进一步地,噪声模拟单元具体包括:

矩阵融合子单元,用于获取无噪声图像的图像矩阵,融合无噪声图像的图像矩阵和抽样矩阵,得到第一噪声图像;

相机噪声模拟子单元,用于获取待降噪图像对应的相机响应函数,并基于相机响应函数对第一噪声图像处理,得到第二噪声图像;

格式转化噪声模拟子单元,用于获取待降噪图像对应的格式转化信息,并基于格式转化信息对第二噪声图像进行彩色插值,得到第三噪声图像;

压缩噪声模拟子单元,用于获取待降噪图像对应的压缩参数,并基于压缩参数对第三噪声图像进行压缩,得到第四噪声图像;

噪声分布子单元,用于获取第四噪声图像的的图像矩阵,并基于第四噪声图像的的图像矩阵得到待降噪图像的噪声分布信息。

进一步地,图像降噪模块304具体包括:

分布矩阵单元,用于基于噪声分布信息获取噪声分布矩阵;

矩阵拼接单元,用于对待降噪图像的图像矩阵和噪声分布矩阵进行矩阵拼接,得到矩阵拼接张量;

卷积运算单元,用于利用降噪模型的卷积核对矩阵拼接张量进行卷积运算,得到卷积运算结果;

图像重建单元,用于基于卷积运算结果进行图像重建,得到去噪图像。

本申请公开了一种基于噪声场的图像降噪装置,属于人工智能技术领域,本申请通过将与待降噪图像内容相近或者相同的无噪声图像输入到预设的噪声分布模型得到一个高斯-泊松联合噪声分布函数,通过对高斯-泊松联合噪声分布函数进行随机抽样,模拟得到待降噪图像的噪声分布信息,然后预先训练的降噪模型根据噪声分布信息对待降噪图像进行降噪,得到去噪图像。相比于现有的对图像整体统一进行降噪方案,本申请基于噪声分布来进行降噪,即针对噪声越多的地方加大降噪力度,而针对噪声较少的地方减小降噪力度,这样不仅能够获得清晰、干净的降噪图像,而且能够防止图像降噪过程中产生的畸变。

为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图4,图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是,图中仅示出了具有组件41-43的计算机设备4,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable GateArray,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,所述存储器41可以是所述计算机设备4的内部存储单元,例如该计算机设备4的硬盘或内存。在另一些实施例中,所述存储器41也可以是所述计算机设备4的外部存储设备,例如该计算机设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(FlashCard)等。当然,所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中,所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件,例如基于噪声场的图像降噪方法的计算机可读指令等。此外,所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中,所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据,例如运行所述基于噪声场的图像降噪方法的计算机可读指令。

所述网络接口43可包括无线网络接口或有线网络接口,该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请公开了一种计算机设备,属于人工智能技术领域,本申请通过将与待降噪图像内容相近或者相同的无噪声图像输入到预设的噪声分布模型得到一个高斯-泊松联合噪声分布函数,通过对高斯-泊松联合噪声分布函数进行随机抽样,模拟得到待降噪图像的噪声分布信息,然后预先训练的降噪模型根据噪声分布信息对待降噪图像进行降噪,得到去噪图像。相比于现有的对图像整体统一进行降噪方案,本申请基于噪声分布来进行降噪,即针对噪声越多的地方加大降噪力度,而针对噪声较少的地方减小降噪力度,这样不仅能够获得清晰、干净的降噪图像,而且能够防止图像降噪过程中产生的畸变。

本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令可被至少一个处理器执行,以使所述至少一个处理器执行如上述的基于噪声场的图像降噪方法的步骤。

本申请公开了一种存储介质,属于人工智能技术领域,本申请通过将与待降噪图像内容相近或者相同的无噪声图像输入到预设的噪声分布模型得到一个高斯-泊松联合噪声分布函数,通过对高斯-泊松联合噪声分布函数进行随机抽样,模拟得到待降噪图像的噪声分布信息,然后预先训练的降噪模型根据噪声分布信息对待降噪图像进行降噪,得到去噪图像。相比于现有的对图像整体统一进行降噪方案,本申请基于噪声分布来进行降噪,即针对噪声越多的地方加大降噪力度,而针对噪声较少的地方减小降噪力度,这样不仅能够获得清晰、干净的降噪图像,而且能够防止图像降噪过程中产生的畸变。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。

显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。

相关技术
  • 基于噪声场的图像降噪方法、装置、设备及存储介质
  • 基于非中心点的声场重建方法、设备、存储介质及装置
技术分类

06120112899113