一种极低照度下彩色图像降噪方法

技术领域

本发明涉及图像处理降噪领域，特别涉及一种极低照度下彩色图像降噪方法。

背景技术

目前，极低照度彩色图像成像质量的困扰着各种军用及民用低照度相机，而其中难以克服的关键问题在于极低照度彩色图像成像中的降噪问题。通常的图像降噪问题多数都是针对受高斯噪声污染的灰度图像，然而，对于极低照度下的彩色图像降噪，较之前的一般图像降噪问题要复杂得多，其难点在于：其一是极低照度成像噪声模型的特殊性，它不以高斯分布作为模型，而是以泊松分布作为模型处理；其二是彩色图像的多通道性，相比于灰度图像的单通道性，彩色图像由灰度图像的简单的标量处理变成复杂的矢量处理，复杂的降噪也导致计算量过大，时间消耗过多。

图像降噪算法按处理域的不同，通常可分为两大类：空域降噪算法和频域降噪算法。从整体而言，采用频域法需要经历频域正变换、频域处理和频域逆变换过程，其耗时时间长，不利于快速处理。空域图像降噪算法是在原图像上直接对灰度值进行处理运算的一类降噪算法，可分为两大类：一类是点运算，即对图像作逐点处理；另一类是局部运算，即在像素点的邻域空间上进行处理。传统的空域降噪算法有：均值滤波算法、偏微分滤波算法、全变差滤波算法等。本质上来说，均值滤波算法避免了偏微分滤波算法和全变差滤波算法的变差求解过程，因其计算速度快，故可满足应用需求。但是，采用均值滤波算法会损失细节信息，造成图像一定程度的模糊，所以针对极低照度下的降噪，大都采用各种变形滤波方法进行。

非局部均值(Non-local Means，NLM)图像降噪算是一种空域降噪算法，其思想起源于均值滤波算法，是对均值算法的进一步扩展。相比于邻域滤波算法使用单个像素灰度值进行对比计算权值，非局部均值算法是对单个像素周围整个区域的灰度分布做整体对比，根据灰度分布的相似性计算权值。但其自身的缺点包括1)局域窗口尺寸的选取对降噪效果的影响很大，很难去选择合适的窗口大小；2)局域相似度的计算量很大，实际应用价值低；3)在极低照度下，因未考虑原始图像的含噪强度和图像平滑度，使得接近边缘处的像素无法控制增幅程度，出现边缘过亮过宽现象。

现有技术的图像降噪算法诸如中值滤波、高斯滤波等现有技术算法中，均存在各自的缺陷而无法适用于极低照度下的噪声滤波处理，如中值滤波使用滤波器窗口包含区域的像素值的中值来得到窗口中心的像素值，属于非线性平滑滤波器。其优点在于抑制噪声又可以尽量保持图像细节，对滤除脉冲干扰及图像扫描噪声最为有效。但在极低照度下，对图像中点或线细节部分会更加模糊。

高斯滤波是线性滤波的一种，原理是针对图像中的每一个点与高斯内核进行卷积计算，并将计算结果相加，输出到目标图像中。其优点在于图像中各个方向上平滑程度相同，不会改变原图像的边缘走向，另外滤波过程中不会被其他高频信号污染，针对符合高斯分布的噪声降噪效果较好。然而，在极低照度下，很难降低泊松分布的随机噪声。

因此，现有技术的降噪方法无法直接应用于极低照度下的彩色图像的降噪，直接应用效果不佳。

发明内容

本发明的目的在于克服现有技术的不足，提供一种极低照度下彩色图像降噪方法，实现极低照度下彩色图像的快速降噪。

为了实现上述目的，本发明采用的技术方案为：一种极低照度下彩色图像降噪方法，包括如下步骤：

S1、将源彩色图像由RGB空间转换为YCbCr空间的图像，将转换后的蓝色色度分量Cb图像和红色色度分量Cr图像分别保存；提取转化后的亮度分量Y；

S2、测量亮度分量Y的图像含噪强度和图像平滑度；

S3、基于亮度分量Y的图像含噪强度和图像平滑度获取非局部均值滤波的滤波参数；并基于获取的滤波参数采用非局部均值滤波对亮度分量Y的图像进行降噪得到降噪后的亮度分量Y；

S4、判断是否降噪结束，若否则返回至步骤S2；若是则进入步骤S5；

S5、将降噪后的亮度分量Y的图像与步骤S1中保存的蓝色色度分量Cb图像和红色色度分量Cr图像合并后将合并后的图像转化至RGB色彩空间的图像。

步骤S2包括：

S21、将亮度分量Y图像进行三维随机化，产生随机噪声图像；

S22、计算含噪亮度分量图像的噪声强度；

S23、计算含噪亮度分量图像的图像平滑度。

步骤S3中，非局部均值滤波算法的滤波参数获取方法包括：

滤波参数h采用如下公式计算：

其中α为权重系数，

步骤S4包括：

S41、基于步骤S3中降噪处理后的亮度分量Y分别计算出其噪声强度

S42、将步骤S41中计算的噪声强度

当

步骤S5包括：

将降噪后的亮度分量Y图像与原蓝色色度分量和红色色度分量的图像合并，并将图像转化至RGB色彩空间；在获得降噪的亮度分量后，将原始极低照度彩色图像的蓝色色度分量Cb和红色色度分量Cr进行合并，然后将其从YCbCr色彩空间的图像转换到RGB色彩空间中，其转换的方法采用如下公式计算转换后的图像信息：

R＝1.164*(Y-16)+1.596*(Cr-128)

G＝1.164*(Y-16)-0.392*(Cb-128)-0.813*(Cr-128)

B＝1.164*(Y-16)+2.017*(Cb-128)

步骤S1包括：

S11、获取待降噪的源彩色图像A；

S12、将源彩色图像A从RGB色彩空间转化到YCbCr色彩空间：

将RGB图像数值归一化到[0,1]区间中，然后将归一化后的RGB图像数值带入如下公式后得到对应的亮度分量Y、蓝色色度分量Cb和红色色度分量Cr：Y＝0.257*R+0.564*G+0.098*B+16

Cb＝-0.148*R-0.291*G+0.439*B+128

Cr＝0.439*R-0.368*G-0.071*B+128。

步骤S22中测量亮度分量Y的图像含噪强度包括：

获取经过步骤S21处理后的含噪亮度分量Y图像，则先将图像重叠分块，计算L个分块图像的协方差矩阵，而后计算图像块的局部方差。随机抽取10个图像块，将其中拥有最小局部方差的图像块设定为最佳平滑图像块。用选出的平滑图像块构造协方差矩阵∑，而后计算该矩阵的最小特征值λ

其中L为构造协方差矩阵∑的平滑块数量。

步骤S23中测量亮度分量Y的图像平滑度包括：

获取经过步骤S21处理后的含噪亮度分量Y图像，选定高斯滤波核k，将高斯滤波核与亮度分量进行卷积并取绝对值，获得滤波图像Res：Res＝|k*Y|，其中其中，*为卷积；

按照如下公式计算图像平滑度：

步骤S21包括：

随机化像素坐标：

设亮度分量Y图像所支持的分辨率为M行N列，利用线性同余法产生随机化像素坐标：

x

x

y

y

其中，c

随机化像素值：随机化像素坐标后获得亮度分量Y的随机化像素坐标为(x,y)，则利用线性同余法产生随机化像素值：

f(x

f

其中，c

本发明的优点在于：

1、适用于极低照度下彩色图像降噪，降噪效果好；

2、将RGB空间的图像转换为YCbCr空间的图像，保留蓝色色度分量Cb和蓝色色度分量Cr不变，仅对人眼敏感的亮度分量Y进行降噪，因而运行速度较快，且能保持增强后的图像颜色失真度较小。

3、自馈可控非局部均值滤波可以根据图像自身含噪强度和图像平滑度自适应地回馈出滤波参数，并自动根据控制阈值选择滤波次数，直至满足滤波要求。滤波次数少，运行速度快；滤波次数多，滤波效果更好，这完全取决于用户自身的需求。

4、采用快速非局部均值滤波为内核，加快了图像滤波速度，有效提高了极低噪声环境下的图像处理速度。

5、相比较其他方法，本专利在图像峰值信噪比、结构相似度等方面保持良好的性能指标。

附图说明

下面对本发明说明书各幅附图表达的内容及图中的标记作简要说明：

图1为本发明三维随机化示例图；

图2为本发明滤波原理示意图；

具体实施方式

下面对照附图，通过对最优实施例的描述，对本发明的具体实施方式作进一步详细的说明。

本申请设计了一种极低照度下彩色图像降噪方法(为简明起，称为自馈可控非局部均值滤波)。针对于极低照度彩色图像，首先将其由RGB空间转换为YCbCr空间的图像，而后将分离后的蓝色色度分量Cb和红色色度分量Cr分别保存，继而测量亮度分量Y的图像含噪强度和图像平滑度，由此选择快速非局部均值的滤波参数并进行降噪，之后测量降噪后的图像含噪强度和图像平滑度，根据设定的控制阈值，自动选择处理方式。若高于所设控制阈值，则将进行第二轮的滤波，其参数也是根据第一轮降噪后图像的含噪强度和图像平滑度自动选择，依次进行，直至两个指标低于所设控制阈值，其中将最终降噪后的亮度分量与之前保存的蓝色色度分量Cb和红色色度分量Cr合并，将结果转至回RGB空间后，即可进行极低照度降噪彩色图像的输出。

如图2所示，为本申请的降噪方法的流程图，其步骤包括：

(1)输入极低照度带噪彩色图像；

(2)将图像从RGB色彩空间转换到YCbCr色彩空间；

(3)从步骤(2)转换后的YCbCr色彩空间对应的图像中分离出Cb和Cr分量并存储；

(4)从步骤(2)中分离出Y分量图像；

(5)设置图像噪声强度控制阈值σ

(6)设置非局部均值滤波的上采样模板滤波次数Θ和上采样模板滤波尺度(2n+1)*(2n+1)并初始化；

(7)测量带噪彩色图下个的噪声强度和平滑度和图像平滑度阈值

(8)基于当前滤波下的Y图像噪声强度和平滑度和图像平滑度阈值的计算出对应的滤波参数；调用快速非局部均值滤波算法对Y图像进行降噪滤波；

(9)测量步骤(8)降噪后的带噪彩色图像的噪声强度和平滑度；

(10)判断σ≥σ

(11)保存当前滤波后的图像；

(12)更新上采样模板滤波次数Θ和将降噪上采样模板滤波尺度，更新方式为：

(13)判断此时上采样模板滤波次数Θ是否为0；若是则说明此时只经过一次滤波操作，此时直接输出降噪后的Y分量；否则说明不止一次降噪，将保存的所有滤波图像进行累加平均后输出降噪后的Y分量。所有滤波图像进行累加平均具体方案就是像素值相加平均，通过累加平均得到较好的结果。

(14)将Y分量、Cb、Cr分量合并后转换成RGB色彩空间后得到降噪后的图像。

下面将具体介绍各步骤的具体实现方案：

一种极低照度下彩色图像降噪方法，包括如下步骤：

S1、将源彩色图像A从RGB色彩空间转化到YCbCr空间，保留蓝色色度分量Cb和红色色度分量Cr；

S2、提取转化后的亮度分量Y；

S3、将亮度分量图像进行三维随机化，以便产生随机(泊松)噪声图像；

S4、计算含噪亮度分量图像的噪声强度

S5、计算含噪亮度分量图像的图像平滑度；

S6、计算出滤波参数，并进行快速非局部均值滤波的降噪；

S7、根据控制策略选择降噪输出或继续降噪；判断是否降噪结束，若是则进入步骤S8，否则反馈至S4继续执行。

S8、将降噪后的亮度分量与原蓝色色度分量和红色色度分量合并，并将图像转化至RGB色彩空间；

步骤S1，具体包括：

S11、获取源彩色图像A；

S12、将源彩色图像A从RGB色彩空间转化到YCbCr色彩空间，首先将RGB图像数值归一化到[0,1]区间中

R’＝R/255；G’＝G/255；B’＝B/255 (1)

其中，R、G和B分别表示原始彩色图像的红分量、绿分量和分量的像素值。而后带入公式(2)-(4)，分别得到亮度分量Y、蓝色色度分量Cb和红色色度分量Cr。

Y＝0.257*R+0.564*G+0.098*B+16(2)

Cb＝-0.148*R-0.291*G+0.439*B+128(3)

Cr＝0.439*R-0.368*G-0.071*B+128 (4)

如图1所示为三维随机化原理图，三维随机化的步骤S3,具体包括：

S31、随机化像素坐标。设亮度分量Y图像所支持的分辨率为M行N列，其中x

x

其中，c

S32、随机化像素值。假设经过S31步骤后获得亮度分量Y的随机化像素坐标(x,y)，其中f(x

其中，c

步骤S4,具体包括：

S41、计算含噪亮度分量图像的噪声强度。假设经过S31步骤后获得亮度分量Y，则先将图像重叠分块，计算L个分块图像的协方差矩阵为

其中，P

S42、计算图像块局部方差

其中，y

S43、寻找最佳平滑图像块。在含噪亮度分量Y中随机选择10个图像块，将其中拥有最小局部方差的图像块设定为最佳平滑图像块。

S44、用选出的平滑图像块构造协方差矩阵∑，具体方法详见公式(8)，而后计算该矩阵的最小特征值λ

其中L为构造协方差矩阵∑的平滑块数量。

步骤S5,具体包括：

S51、计算含噪亮度分量图像的图像平滑度。假设经过S31步骤后获得亮度分量Y，则选定高斯滤波核：

S52、而后将高斯滤波核与亮度分量进行卷积并取绝对值，获得滤波图像Res：

Res＝|k*Y|(12)

其中，*为卷积。按公式(13)可计算出图像平滑度：

步骤S6,具体包括：

S61、计算滤波参数。由于含噪图像的噪声强度和图像平滑度对滤波参数均具有重要的影响，故采用加权的方式设计滤波参数。假设经过S43步骤和S52步骤分别获得噪声强度

其中α为权重系数，一般设为0.5。

S62、建立搜索小窗口，假设行为x

其中s

S63、计算邻域v(i)和v(j)之间的距离公式如下：

其中d

S64、计算邻域v(i)和v(j)之间的加权权值：

其中Gen(i)是归一化常数，且

式中

S65、计算非局部均值算法在像素i的降噪灰度值按公式(19)计算：

步骤S7,具体包括：

S71、设置算法的初始参数。图像噪声强度阈值σ

S72、利用S4步骤和S5步骤对经过S65步骤所得到的降噪后的图像进行测量，获得降噪后的噪声强度

显然，只要式(20)任一不等式成立，均说明滤波未能达到最终效果，因而需要保存当前降噪结果，并令

由于上采样模板滤波尺度已变为n+1，所以将可形成(2n+3)×(2n+3)的邻域，为下一次滤波做好准备，同时算法将跳到S6步骤继续执行。

S73、经过判断发现，式(20)中的不等式均不成立，说明滤波已经达到控制需求了，此时判断上采样模板滤波次数是否为0，若为0，说明只进行一次滤波后即满足要求，那么就不存在以前保留的滤波图像，直接将当前降噪后的图像输出即可；若其不为0，说明进行了不止一次的滤波，这样就需要将当前的降噪图像和以前保留的降噪图像做累加均值处理即可。

步骤S8,具体包括：

S81、将降噪的亮度分量与原蓝色色度分量和红色色度分量合并，并将图像转化至RGB色彩空间。在获得降噪的亮度分量后，将原始极低照度彩色图像的蓝色色度分量Cb和红色色度分量Cr进行合并，然后将其从YCbCr色彩空间的图像转换到RGB色彩空间中，其转换的方法如式(21)-式(23)：

R＝1.164*(Y-16)+1.596*(Cr-128)(22)

G＝1.164*(Y-16)-0.392*(Cb-128)-0.813*(Cr-128) (23)

B＝1.164*(Y-16)+2.017*(Cb-128) (24)

将降噪后的Y分量与保存的Cr、Cb分量合并转换为RGB色彩空间的图像后即为输出的降噪后的图像。

本申请的关键点和保护点主要是在极低照度下，依据人眼敏感的亮度分量自身的含噪强度与平滑度，自动选择滤波参数进行快速非局部均值滤波降噪，而后根据控制阈值可选择输出或进一步滤波，最终以满足控制阈值的要求完成滤波降噪任务。本申请具有如下优点：

1、将RGB空间的图像转换为YCbCr空间的图像，保留蓝色色度分量Cb和蓝色色度分量Cr不变，仅对人眼敏感的亮度分量Y进行降噪，因而运行速度较快，且能保持增强后的图像颜色失真度较小。

2、自馈可控非局部均值滤波可以根据图像自身含噪强度和图像平滑度自适应地回馈出滤波参数，并自动根据控制阈值选择滤波次数，直至满足滤波要求。滤波次数少，运行速度快；滤波次数多，滤波效果更好，这完全取决于用户自身的需求。

3、采用快速非局部均值滤波为内核，加快了图像滤波速度，有效提高了极低噪声环境下的图像处理速度。

4、相比较其他方法，本专利在图像峰值信噪比、结构相似度方面保持良好的性能指标，详见表1和表2。

为了证明本申请的上述方法降噪的效果更好，本申请通过试验对比进行验证，通过试验得到如下两个表格：

表1不同算法之间的客观指标对比

表2自馈可控非局部均值滤波降噪过程客观指标测试(随机噪声，噪声强度为0.04)

由表1和表2可知，本申请的降噪方法在图像峰值信噪比、结构相似度等方面保持良好的性能指标。从图像降噪的客观性指标来说，峰值信噪比和结构相似度是最具有说服力的指标，通过比较峰值信噪比和结构相似度可以看出本申请的降噪方法性能指标更好。

显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，均在本发明的保护范围之内。