一种图像降噪模型生成方法、图像降噪方法、装置、存储介质及设备

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像降噪模型生成方法、图像降噪方法、装置、存储介质及设备。

背景技术

无论是CCD还是CMOS芯片，在工作时都会不可避免地产生高温。如果芯片的温度升高，噪音信号过强，会在画面上形成亮度不一的杂色斑点，特别是在暗处区域更为明显，这些点就是所述的噪点。而热噪声的产生是因为热电流叠加在正常信号电流上，所以导致部分像素点的信号电流大于正常感应电流，最终导致此像素点上的信号强度更强，表现在Raw图上就是亮度更高。此类像素点在后端ISP加上色彩处理后，就会导致颜色更深或更亮等噪点问题。

目前对于这些噪点的去噪，现有的Raw图像降噪方法一般只能针对相同Sensor参数条件下相同Bayer 阵列的Raw图像进行降噪处理，但Raw图像一般有多种Bayer Pattern，并且不同相机的Sensor的参数也不尽相同，导致在现有降噪方法上实现的Raw降噪的通用性较差。此外，一般Raw图像最后都需要经过ISP处理成可见的Raw图像，现有降噪方法一般在Raw图像本身上使用SSIM等客观指标作为参考，这就导致现有的降噪方法倾向于将Raw图像进行平滑，导致Raw图像清晰度丢失。

综上可知，现有的Raw图像降噪方法存在通用性差及清晰度丢失的问题，有必要在此基础上进行改进。

发明内容

本发明实施例提供一种图像降噪模型生成方法、图像降噪方法、装置、存储介质及设备，用于解决现有的Raw图像降噪方法存在通用性差及清晰度丢失的问题。

第一方面，本发明实施例提供了一种图像降噪模型生成方法，所述方法包括下述步骤：

获取同一场景下的N张不同Bayer阵列的第一Raw图像，N为大于等于2的整数；

将所述N张不同Bayer阵列的第一Raw图像分别进行融合处理，得到相对应的N张第二Raw图像；

基于所述第一Raw图像及所述第二Raw图像，建立样本图像数据库；

基于所述样本图像数据库进行模型训练，得到图像降噪模型。

结合第一方面，在一种可能实现的方式中，将所述N张不同Bayer阵列的第一Raw图像分别进行融合处理，得到相对应的N张第二Raw图像，具体包括：

依次选择所述N张第一Raw图像中任一张图像作为基准图像；

分别检测所述基准图像与其他N-1张第一Raw图像的差异点；

根据所述差异点，对所述基准图像进行相应处理，得到待融合图像；

将所述待融合图像进行逐像素加权融合处理，得到相应的第二Raw图像。

结合第一方面，在一种可能实现的方式中，分别检测所述基准图像与其他N-1张第一Raw图像的差异点，具体包括：

将所述N张第一Raw图像均划分为G个网格，其中，G为大于等于2的整数；

采用对齐算法，计算所述基准图像的每一个网格内容与其他N-1张第一Raw图像相对应网格内容的差异点。

结合第一方面，在一种可能实现的方式中，根据所述差异点，对所述基准图像进行相应处理，得到待融合图像，具体包括：

若检测到所述差异点为杂乱方向上移动造成的差异，则删除所述N张第一Raw图像中的相应网格，得到N张待融合图像；

若检测到所述差异点为单一方向上移动造成的差异，则将所述N-1张第一Raw图像对应的网格相对于所述基准图像在所述单一方向的反方向上进行平移，将N-1张平移后图像和所述基准图像作为N张待融合图像。

结合第一方面，在一种可能实现的方式中，基于所述第一Raw图像及所述第二图像，建立样本图像数据库，具体包括：

若所述第一Raw图像及所述第二Raw图像的Bayer阵列不一致，则对所述第一Raw图像及所述第二Raw图像进行转换处理，得到Bayer阵列一致的第一Raw图像及第二Raw图像。

结合第一方面，在一种可能实现的方式中，基于所述样本图像数据库进行模型训练，得到图像降噪模型，具体包括：

将所述Bayer阵列一致的第一Raw图像作为输入图像数据，将与所述第一Raw图像相对应的Bayer阵列一致的第二Raw图像作为对应的输出图像数据，进行模型训练，得到图像降噪模型。

第二方面，本发明实施例提供了一种图像降噪方法，所述方法包括如下步骤：

获取待处理Raw图像；

根据所述待处理Raw图像与预设图像降噪模型的Bayer阵列，得到对应的输入图像；

将所述输入图像输入对应的图像降噪模型进行降噪处理，得到第一降噪图像；

其中，所述预设图像降噪模型通过所述第一方面任一项所述的图像降噪模型生成方法得到。

结合第二方面，在一种可能实现的方式中，根据所述待处理Raw图像与预设图像降噪模型的Bayer阵列，得到对应的输入图像，具体包括：

判断所述待处理Raw图像的Bayer阵列是否与预设图像降噪模型的Bayer阵列一致；

若所述待处理Raw图像与预设图像降噪模型的Bayer阵列不一致，则对所述处理Raw图像进行转换处理，得到对应的输入图像；

若所述待处理Raw图像与预设图像降噪模型的Bayer阵列一致，则将所述待处理Raw图像作为对应的输入图像；

其中，所述输入图像与对应的图像降噪模型的Bayer阵列一致。

结合第二方面，在一种可能实现的方式中，将所述输入图像输入对应的图像降噪模型进行降噪处理，得到第一降噪图像之后，具体还包括：

判断所述第一降噪图像与相对应的待处理Raw图像的Bayer阵列是否一致；

根据判断结果，对所述第一降噪图像进行相应处理，得到所述待处理Raw图像相对应的最终降噪图像。

结合第二方面，在一种可能实现的方式中，根据判断结果，对所述第一降噪图像进行相应处理，得到所述待处理Raw图像相对应的最终降噪图像，具体包括：

若所述第一降噪图像与相对应的待处理Raw图像的Bayer阵列不一致，则对所述第一降噪图像进行转换处理，得到与所述相对应的待处理Raw图像Bayer阵列一致的最终降噪图像；

若所述第一降噪图像与相对应的待处理Raw图像的Bayer阵列一致，则将所述第一降噪图像作为相对应的待处理Raw图像的最终降噪图像。

第三方面，本发明实施例提供一种图像降噪模型生成装置，所述装置包括：

获取模块：用于获取同一场景下的N张不同Bayer阵列的第一Raw图像，N为大于等于2的整数；

第一处理模块：用于将所述N张不同Bayer阵列的第一Raw图像分别进行融合处理，得到相对应的N张第二Raw图像；

第二处理模块：用于基于所述第一Raw图像及所述第二Raw图像，建立样本图像数据库；

训练模块：用于基于所述样本图像数据库进行模型训练，得到图像降噪模型。

第四方面，本发明实施例提供一种图像降噪装置，所述装置包括：

获取模块：用于获取待处理Raw图像；

第一处理模块：用于根据所述待处理Raw图像与预设图像降噪模型的Bayer阵列，得到对应的输入图像；

第二处理模块：用于将所述输入图像输入对应的图像降噪模型进行降噪处理，得到第一降噪图像；

其中，所述预设图像降噪模型通过所述第一方面任一项所述的图像降噪模型生成方法得到。

第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如所述第一方面或者第二方面任一项所述方法的步骤。

第六方面，本发明实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如所述第一方面或者第二方面任一项所述方法的步骤。

本发明提供一种图像降噪模型生成方法及图像降噪方法，获取同一场景下的N张不同Bayer阵列的第一Raw图像，将所述N张不同Bayer阵列的第一Raw图像分别进行融合处理，得到相对应的N张第二Raw图像，基于第一Raw图像及相对应的第二Raw图像，建立样本图像数据库，基于所述样本图像数据库进行模型训练，得到图像降噪模型；将待处理Raw图像进行格式转换处理后输入上述图像降噪模型，得到第一降噪图像，针对第一降噪图像进行相应格式转换处理，得到最终降噪图像。基于本发明生成的图像降噪模型实现图像自动降噪，能明显降低画面噪声，提高图像的锐化度，使图像观感更舒适，使小尺寸图像传感器获得类似更大尺寸传感器的画质，且该图像降噪方法效率高，通用性好，鲁棒性强。

附图说明

图1是本发明实施例一提供的图像降噪模型生成方法的流程图；

图2是本发明实施例二提供的图像降噪方法的流程图；

图3是本发明实施例三提供的图像降噪模型生成装置的结构示意图；

图4是本发明实施例四提供的图像降噪装置的结构示意图；

图5是本发明实施例六提供的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术中，Raw图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，是无损的，包含了物体原始的颜色信息等。Raw图像的数据格式一般采用的是Bayer阵列排列方式，通过滤波光片，产生彩色滤波阵列(CFA)，鉴于人眼对绿色波段的色彩比较敏感，Bayer阵列数据格式中包含了50%的绿色信息，以及各25%的红色和蓝色信息。Bayer阵列是一个4×4阵列，由8个绿色、4个蓝色和4个红色像素组成，在将灰度图形转换为彩色图片时会以2×2矩阵进行9次运算，最后生成一幅彩色图形。Bayer阵列一般有四种格式：RGGB（a），BGGR（b），GBRG（c），GRBG（d）。

以下结合具体实施例对本发明的具体实现进行详细描述：

图1示出了本发明实施例一提供的一种图像降噪模型生成方法的实现流程。本发明实施例提供的图像降噪模型生成方法可应用在计算设备上，其中，计算设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和全景相机。

为了便于说明，图1仅示出了与本发明实施例相关的部分，详述如下：

如图1所示，该图像降噪模型生成方法包括如下步骤：

S101、获取同一场景下的N张不同Bayer阵列的第一Raw图像；

其中，可以通过任意具有拍摄功能的设备拍摄获取该第一Raw图像，比如数码相机、全景相机、手机、平板电脑、运动相机等。此外，该第一Raw图像也可以是通过任意图像处理方式得到的Raw图像，比如图像变换、图像拼接、图像分割、图像合成、图像压缩、图像增强、图像复原等。此外，该第一Raw图像可以是全景图像，也可以是普通平面图像。

其中，为了获取同一场景下的N张不同Bayer阵列的第一Raw图像，可以使用多种方式，例如：第一种方式，可以通过一个拍摄设备连续拍摄多张同一场景下的Raw图像，或者多个拍摄设备拍摄多张同一场景下的Raw图像，然后从多张Raw图像中挑选出Bayer阵列一致的N张第一Raw图像；第二种方式，也可以通过一个拍摄设备连续拍摄N张同一场景下的Raw图像，或者多个拍摄设备拍摄多张同一场景下的Raw图像，然后通过Bayer阵列转换方法得到Bayer阵列一致的N张第一Raw图像；第三种方式，还可以通过一个拍摄设备或者多个拍摄设备连续拍摄N张同一场景下不同Bayer阵列的第一Raw图像。应该理解，采取以上列举方式的不同组合或者采用任何其他方式，也可以获取同一场景下的N张不同Bayer阵列的第一Raw图像，在此不进行一一列举。

：将所述N张不同Bayer阵列的第一Raw图像分别进行融合处理，得到相对应的N张第二Raw图像；

在一个实施例中，S102具体包括如下步骤：

S1021：依次选择所述N张第一Raw图像中任一张图像作为基准图像；

S1022：分别检测所述基准图像与其他N-1张第一Raw图像的差异点；

S1023：根据所述差异点，对所述基准图像进行相应处理，得到待融合图像；

S1024：将所述待融合图像进行逐像素加权融合处理，得到相应的第二Raw图像。

在一个实施例中，步骤S1021中，依次选择所述N张第一Raw图像中任一张Raw图像作为基准图像，可以采用的一种方式为：将N张第一Raw图像依次标记为第1图像、第2图像、第3图像......第N图像，然后依次分别选择第1图像、第2图像、第3图像......第N图像作为基准图像。

在一个实施例中，步骤S1022中，分别检测所述基准图像与其他N-1张第一Raw图像的差异点，具体包括如下步骤：

将所述N张第一Raw图像均划分为G个网格，其中，G为大于等于2的整数；

采用对齐算法，计算所述基准图像的每一个网格内容与其他N-1张第一Raw图像相对应网格内容的差异点。

在一个实施例中，将所述N张第一Raw图像均划分为G个网格，其中，G为大于等于2的整数，可以采用多种方式将图像划分为多个网格，常见的网格可以分为两类：结构化网格和非结构化网格；结构化网格：单元结点之间的连接方式只有有限的几种，所[i1] 生成的网格体区域内的所以内部结点都有相同数量的相邻单元和相同数量的相邻结点，对应二维平面或三维曲面，结构化网格[i2] 生成的网格单元一般都是四边形，三维实体空间则主要是六面体；非结构化网格，网格单元节点之间可以以任意的形式连接，不需要具有相同的相邻单元，网格区域内的不同节点之间的连接数目可以不同，对应二维平面或三维曲面，非结构化网格生成的网格单元一般都是三角形，三维实体空间则主要是四面体。常见的结构化网格生成方法，一般有映射法、几何分解法等；非结构性网格的生成方法，一般有八叉树法、四叉树法、Delaunay三角化法等。

应当理解，上述只是列举常见的一些网格生成方法，本发明实施例并不局限于此，本发明实施例可以采用上述的任一种或者多种方法将所述N张第一Raw图像均划分为G个网格，也可以采用现有技术中的其他网格生成方法，在此不再赘述。

进一步地，应当理解，划分成的G个网格可以是任意形状，比如可以是AXA的网格，或者是AXB的网格，其中A和B不相等，且均为大于等于2的整数。

在一个实施例中，采用对齐算法，计算所述基准图像的每一个网格内容与其他N-1张第一Raw图像相对应网格内容的差异点，其中，对齐算法可以是任意的图像对齐算法，例如：基于像素值互相关的方法、序贯相似检测算法、基于傅里叶变换的相位相关算法、基于互信息的对齐算法、基于最优化的图像对齐方法是Lucas-Kanade算法及其改进算法。

在一个实施例中，步骤S1023中，根据所述差异点，对所述基准图像进行相应处理，得到待融合图像，具体包括如下步骤：

若检测到所述差异点为杂乱方向上移动造成的差异，则删除所述N张第一Raw图像中的相应网格，得到N张待融合图像；

若检测到所述差异点为单一方向上移动造成的差异，则将所述N-1张第一Raw图像对应的网格相对于所述基准图像在所述单一方向的反方向上进行平移，将N-1张平移后图像和所述基准图像作为N张待融合图像。

在一个实施例中，所述杂乱方向上移动造成的差异，是相对于单一方向上移动造成的差异而言的，即所述杂乱方向上移动造成的差异包含至少在两个方向上存在移动差异。进一步地，所述移动造成的差异，指的是在两个网格在设定的方向上存在偏移差，比如，网格1和网格2，网格1为对应的第一Raw图像上的一个网格，网格2为基准图像上对应的网格，均设定为在X和Y两个方向上检测差异点，若网格1与网格2在X和Y方向均上存在偏移差，则表示网格1和网格2之间的差异点为杂乱方向上移动造成的差异，则删除网格1和网格2。进一步地，如上所述，若网格1和网格2仅仅在X或者Y方向上存在偏移差，则表示网格1和网格2之间的差异点为单一方向上移动造成的差异，则将网格2相对于网格1在所述单一偏移方向的反方向上做一个平移，确保平移后的网格1和网格2之间不存在任意方向上的差异点。

在一个实施例中，步骤1024中，将所述待融合图像进行逐像素加权融合处理，得到相应的第二Raw图像，其中，所述逐像素加权融合处理，一般是直接对图像的像素点加权计算，权值选取的算法直接影响融合图像的效果，基于如何有效地选择融合权值系数，一般还可以分为平均加权融合算法（直接将两幅图像对应像素取均值处理）、多尺度加权梯度的融合算法、、主成分分析（Principal Component Analysis，PCA）等。

应当理解，步骤S1024中的逐像素加权融合处理，并不是步骤S102中融合处理的唯一方式，只是其中一种可选方式而已，所述逐像素加权融合处理也可以用其他像素级图像融合方法来替代，例如，简单点逐像素相加融合处理及基于多尺度变换的融合方法等，其中，所述逐像素相加融合处理，一般是指两幅或者多幅大小相同的图像对应位置像素的相加运算，以产生一副新的含有两幅或者多幅图像信息的图像的方法。应该理解，两幅或者多幅[i3] 255灰度级图像对应坐标位置像素值的相加，其结果必然会超过其最大的灰度表示范围255，显然对图像相加运算的结果都需要进行处理，基本方法有三种：一种是将两像素或者多像素灰度值相加后的平均值作为相加结果；一种是根据两幅图像或者多幅图像所有像素灰度值相加结果的最小值和最大值情况，作等比例缩小，使其结果灰度值符合 O 至255 的灰度值范围；还有一种是当两像素或者多像素灰度值相加后的值超过255时，取255即可。

进一步地，在本发明实施例中，可以将多张待融合图像进行逐像素平均加权融合处理，然后取多像素灰度值相加后的平均值作为相加结果，即作为相应的第二Raw图像的像素灰度值，这个过程中，因为采取了多像素灰度值相加的平均值作为相应的第二Raw图像的像素灰度值，可以有效减少待融合图像之间的随机噪声。

：基于所述第一Raw图像及所述第二Raw图像，建立样本图像数据库；

在一个实施例中，所述基于所述第一Raw图像及所述第二Raw图像，建立样本图像数据库，具体包括：

若所述第一Raw图像及所述第二Raw图像的Bayer阵列不一致，则对所述第一Raw图像及所述第二Raw图像进行转换处理，得到Bayer阵列一致的第一Raw图像及第二Raw图像。

其中，因为Raw图像Bayer阵列一般有四种格式：RGGB（a），BGGR（b），GBRG（c），GRBG（d）。在一个实施例中，所述转换处理，即将所述第一Raw图像与相对应的第二Raw图像进行Bayer阵列格式的转换，目的是使得样本图像数据库中，第一Raw图像及相对应的第二Raw图像的Bayer阵列格式保持一致；进一步地，为了清楚说明如何进行所述转换处理，举例如下：若第一Raw图像的Bayer阵列格式为“RGGB”，当第一Raw图像相对应的第二Raw图像的Bayer阵列格式不是“RGGB”时，可以采取如下方式进行转换处理，当相对应第二Raw图像的Bayer阵列格式为“GBRG”时，则在相对应第二Raw图像的上下边界各扩充一个像素；当相对应第二Raw图像的Bayer阵列格式为“GRBG”时， 则在相对应第二Raw图像的左右边界各扩充一个像素；当相对应第二Raw图像的Bayer阵列格式为“BGGR”时， 则在相对应第二Raw图像的上下左右边界各扩充一个像素。

进一步地，为了建立样本图像数据库，可以通过上述获取同一场景下N张图像的方法来分别获取M组场景下的图像数据集合，在此不再赘述，其中，M为大于等于2的整数。

：基于所述样本图像数据库进行模型训练，得到图像降噪模型。

在一个实施例中，基于所述样本图像数据库进行模型训练，得到图像降噪模型，具体包括：

将所述Bayer阵列一致的第一Raw图像作为输入图像数据，将与所述第一Raw图像相对应的Bayer阵列一致的第二Raw图像作为对应的输出图像数据，进行模型训练，得到图像降噪模型。

在一个实施例中，在完成样本图像数据集合的构建之后，即可将第一Raw图像集合作为训练输入、将对应的第二Raw图像集合作为目标输出，按照预先设定的训练算法来进行模型训练，以训练得到用于进行图像降噪处理的图像降噪模型。

其中，训练算法为机器学习算法，机器学习算法可以通过不断特征学习来对数据进行处理。机器学习算法可以包括：决策树算法、逻辑回归算法、贝叶斯算法、神经网络算法(可以包括深度神经网络算法、卷积神经网络算法以及递归神经网络算法等)、聚类算法等等。

需要说明的是，对于选取何种训练算法进行图像降噪模型的训练，可由本领域技术人员根据实际需要进行选取，比如，本申请实施例可以选取卷积神经网络算法来进行模型训练，以此来得到图像降噪模型。

应当理解，样本图像数据可以包含M组场景下的图像数据集合，此时每一组场景下包含N张Bayer阵列不一致的第一Raw图像，此时的样本图像数据包含M组场景下的第一Raw图像及对应的第二Raw图像，进一步地，当M和N的取值越来越大时，样本图像数据库中包含海量的训练数据，此时得到的图像降噪模型也会越来越精准。

实施例二：

图2示出了本发明实施例二提供的一种图像降噪方法的实现流程。本发明实施例提供的图像降噪方法可应用在计算设备上，其中，计算设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和全景相机。

为了便于说明，图2仅示出了与本发明实施例相关的部分，详述如下：

如图2所示，本发明实施例提供一种图像降噪方法，所述方法包括如下步骤：

S201：获取待处理Raw图像；

在一个实施例中，可以通过任意具有拍摄功能的设备拍摄获取该待处理Raw图像，比如数码相机、全景相机、手机、平板电脑、运动相机等。此外，该待处理Raw图像也可以是通过任意图像处理方式得到的Raw图像，比如图像变换、图像拼接、图像分割、图像合成、图像压缩、图像增强、图像复原等。此外，该待处理Raw图像可以是全景图像，也可以是普通平面图像。

：根据所述待处理Raw图像与预设图像降噪模型的Bayer阵列，得到对应的输入图像；其中，所述预设图像降噪模型通过实施例一中任一项所述的图像降噪模型生成方法得到。

在一个实施例中，根据所述待处理Raw图像与预设图像降噪模型的Bayer阵列，得到对应的输入图像，具体包括：

S2021：判断所述待处理Raw图像的Bayer阵列是否与预设图像降噪模型的Bayer阵列一致；

S2022：若所述待处理Raw图像与预设图像降噪模型的Bayer阵列不一致，则对所述处理Raw图像进行转换处理，得到对应的输入图像；

S2023：若所述待处理Raw图像与预设图像降噪模型的Bayer阵列一致，则将所述待处理Raw图像作为对应的输入图像；

其中，所述输入图像与对应的图像降噪模型的Bayer阵列一致。

在一个实施例中，步骤S2022中，若所述待处理Raw图像与预设图像降噪模型的Bayer阵列不一致，则对所述处理Raw图像进行转换处理，所述转换处理，即将所述待处理Raw图像进行Bayer阵列格式的转换，目的是使得待处理Raw图像与预设图像降噪模型的Bayer阵列格式保持一致；进一步地，为了清楚说明如何进行所述转换处理，举例如下：若预设图像降噪模型的Bayer阵列格式为“RGGB”，当待处理Raw图像的Bayer阵列格式不是“RGGB”时，可以采取如下方式进行转换处理，当待处理Raw图像的Bayer阵列格式为“GBRG”时，则在待处理Raw图像的上下边界各扩充一个像素；当待处理Raw图像的Bayer阵列格式为“GRBG”时， 则在待处理Raw图像的左右边界各扩充一个像素；当待处理Raw图像的Bayer阵列格式为“BGGR”时， 则在待处理Raw图像的上下左右边界各扩充一个像素。

：将所述输入图像输入所述预设图像降噪模型进行降噪处理，得到第一降噪图像；

在一个实施例中，将所述输入图像输入所述预设图像降噪模型，所述预设图像降噪模型通过任一项所述的图像降噪模型生成方法得到，由此可知，将输入图像输入预设图像降噪模型之后，输出图像即第一降噪图像，为待处理Raw图像对应的第二Raw图像，由于待处理Raw图像在输入预设图像降噪模型之前，可能在Bayer阵列格式上做过转换处理，所以得到的第二Raw图像与相对应的待处理Raw图像的Bayer阵列格式可能存在不一致。

在一个实施例中，上述图像降噪方法在步骤S203之后，具体还包括如下步骤：

判断所述第一降噪图像与相对应的待处理Raw图像的Bayer阵列是否一致；

根据判断结果，对所述第一降噪图像进行相应处理，得到所述待处理Raw图像相对应的最终降噪图像。

其中，如上所述，将待处理Raw图像输入预设图像降噪模型之前，需要判断待处理Raw图像的Bayer阵列格式与预设图像降噪模型是否一致，若不一致，需要进行转换处理，所以输入图像和相对应第一降噪图像的Bayer阵列格式一致，但与相对应待处理Raw图像的Bayer阵列不一定一致，因此需要判断所述第一降噪图像与相对应的待处理Raw图像的Bayer阵列是否一致，需要根据所述判断结果，对所述第一降噪图像进行相应格式转换，从而得到待处理Raw图像相对应的最终降噪图像。

在一个实施例中，根据判断结果，对所述第一降噪图像进行相应处理，得到所述待处理Raw图像相对应的最终降噪图像，具体包括：

若所述第一降噪图像与相对应的待处理Raw图像的Bayer阵列不一致，则对所述第一降噪图像进行转换处理，得到与所述相对应的待处理Raw图像Bayer阵列一致的最终降噪图像；

若所述第一降噪图像与相对应的待处理Raw图像的Bayer阵列一致，则将所述第一降噪图像作为相对应的待处理Raw图像的最终降噪图像。

进一步地，若所述第一降噪图像与相对应的待处理Raw图像的Bayer阵列不一致，则对所述第一降噪图像进行转换处理，所述转换处理，即将所述第一降噪图像进行Bayer阵列格式的转换，目的是使得第一降噪图像与相对应的待处理Raw图像的Bayer阵列格式保持一致；进一步地，为了清楚说明如何进行所述转换处理，举例如下：若待处理Raw图像的Bayer阵列格式为“RGGB”，当相对应的第一降噪图像的Bayer阵列格式不是“RGGB”时，可以采取如下方式进行转换处理，当相对应的第一降噪图像的Bayer阵列格式为“GBRG”时，则在相对应的第一降噪图像的上下边界各扩充一个像素；当相对应的第一降噪图像的Bayer阵列格式为“GRBG”时， 则在相对应的第一降噪图像的左右边界各扩充一个像素；当相对应的第一降噪图像的Bayer阵列格式为“BGGR”时， 则在相对应的第一降噪图像的上下左右边界各扩充一个像素。

其中，待处理Raw图像相对应的最终降噪图像应当与待处理Raw图像的Bayer阵列格式保持一致。

图3示出了本发明实施例三提供的图像降噪模型生成装置3的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，图像降噪模型生成装置3包括获取模块31、第一处理模块32、第二处理模块33及训练模块34，其中：

获取模块31：用于获取同一场景下的N张不同Bayer阵列的第一Raw图像，N为大于等于2的整数；

第一处理模块32：用于将所述N张不同Bayer阵列的第一Raw图像分别进行融合处理，得到相对应的N张第二Raw图像；

第二处理模块33：用于基于所述第一Raw图像及所述第二Raw图像，建立样本图像数据库；

训练模块34：用于基于所述样本图像数据库进行模型训练，得到图像降噪模型。

在本发明实施例中，图像降噪生成装置的各模块可由相应的硬件或软件单元实现，各模块可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

图4示出了本发明实施例四提供的图像降噪装置4的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，图像降噪装置4包括获取模块41、第一处理模块42、第二处理模块43，其中：

获取模块41：用于获取待处理Raw图像；

第一处理模块42：用于根据所述待处理Raw图像与预设图像降噪模型的Bayer阵列，得到对应的输入图像；

第二处理模块43：用于将所述输入图像输入对应的图像降噪模型进行降噪处理，得到第一降噪图像；

其中，所述预设图像降噪模型实施例一中任一项所述的图像降噪模型生成方法得到。

在本发明实施例中，图像降噪装置的各模块可由相应的硬件或软件单元实现，各模块可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

在一个实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述图像降噪模型生成方法实施例中的步骤，例如，图1所示的步骤S101至S104。

或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如，图3所示单元31至34的功能。

在一个实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述图像降噪方法实施例中的步骤，例如，图2所示的步骤S201至S203。

或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如，图4所示单元41至43的功能。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

图5示出了本发明实施例六提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

在一个实施例中，本发明的电子设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述图像降噪模型生成方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器50执行计算机程序52时实现上述装置实施例中各模块的功能，例如图3所示模块31至34的功能。

在一个实施例中，本发明的电子设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述图像降噪方法实施例中的步骤，例如图2所示的步骤S201至S203。或者，处理器50执行计算机程序52时实现上述装置实施例中各模块的功能，例如图4所示模块41至43的功能。

本发明实施例的电子设备可以为智能手机、个人计算机或全景相机本身等。该电子设备5中处理器50执行计算机程序52时实现图像降噪模型生成方法或者图像降噪方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。