图像降噪方法、设备及计算机存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像降噪方法、设备及计算机存储介质。

背景技术

由于图像传感器仅能获得强度信息，而为了获得颜色信息，目前图像采集大多为CFA模式(Color Filter Array)，采用bayer格式滤光片的设置，即每个像素点只能捕获R、G、B三种颜色中的一个。但是，Bayer格式的Raw图像会经过ISP(Image Signal Processor)各个模块处理，每一步的处理操作都会造成噪声不同的变化，如CFA插值，导致噪声性质变得更加复杂，难以处理。

现有技术中，通常采用经典的降噪方法，例如，空域降噪和变换域降噪来实现Raw图像的降噪。但是，经典降噪方法计算复杂度高，降噪后的图像模糊，并不能达到良好的降噪效果。

发明内容

本申请提供了一种图像降噪方法、设备及计算机存储介质，主要解决的技术问题是如何提高目标图像的清晰度。

为解决上述技术问题，本申请提供了一种图像降噪方法，所述方法包括：

对待降噪图像进行处理，得到子图像组，其中，所述子图像组中的每一子图像对应所述待降噪图像的每一通道；

对所述子图像进行特征提取，得到特征子图像组，其中，所述特征子图像组中的每一特征子图像对应每一所述子图像；

利用所述特征子图像的分割阈值对所述子图像组进行滤波处理；

将所述滤波处理后的子图像组进行变换处理，得到目标图像。

为解决上述技术问题，本申请还提供了一种电子设备，所述设备包括存储器以及与所述存储器耦接的处理器；

其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像降噪方法。

为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的图像降噪方法。

本申请通过对待降噪图像进行处理，得到子图像组，其中，子图像组中的每一子图像对应待降噪图像的每一通道；对子图像进行特征提取，得到特征子图像组，其中，特征子图像组中的每一特征子图像对应每一子图像；利用特征子图像的分割阈值对子图像组进行滤波处理；将滤波处理后的子图像组进行变换处理，得到目标图像。本申请利用特征子图像的分割阈值对子图像组进行滤波处理，使降噪基于子图像的图像细节，实现了降噪和细节保留兼顾，利用滤波处理后的子图像组变换得到目标图像，提高了目标图像的清晰度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的图像降噪方法一实施例的流程示意图；

图2是图1所示的图像降噪方法中S103一实施例的流程示意图；

图3是图1所示的图像降噪方法中S102一实施例的流程示意图；

图4是本申请提供的图像降噪方法中bayer格式的待降噪图像的示意图；

图5是图4所示的图像降噪方法中亮噪子图的示意图；

图6是图4所示的图像降噪方法中对R通道以及B通道的像素点进行处理后的示意图；

图7是图4所示的图像降噪方法中第一色噪子图的示意图；

图8是图4所示的图像降噪方法中第二色噪子图的示意图；

图9是图1所示的图像降噪方法中S104一实施例的流程示意图；

图10是本申请提供的电子设备一实施例的结构示意图；

图11是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提出了一种图像降噪方法，可应用于RAW图像的降噪。请参阅图1，图1是本申请提供的图像降噪方法一实施例的流程示意图。

其中，图像降噪方法的执行主体可以是图像降噪装置，例如，考图像降噪方法可以由电子设备或服务器或其它处理设备执行，其中，电子设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像降噪方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

具体而言，本实施例的图像降噪方法包括如下步骤：

S101：对待降噪图像进行处理，得到子图像组。

本实施例的图像降噪装置获取的待降噪图像为Bayer格式的RAW图像。其中，图像降噪装置可通过安装于固定位置的摄像头，获取待降噪图像，也可直接提取存储于存储区域的待降噪图像。

由于Bayer格式的RAW图像中每个像素点存在R、G、B三种颜色中的一种，为了方便降噪处理，避免降噪过程中待降噪图像中的色度对亮度的影响。本实施例的图像降噪装置分别对待降噪图像的色度和亮度进行处理，得到子图像组。具体地，图像降噪装置分别提取待降噪图像在R通道、G通道和B通道上的图像信息，得到子图像组。其中，子图像组包括亮噪子图、第一色噪子图和第二色噪子图。

进一步地，子图像组中的每一子图像对应待降噪图像的每一通道。亮噪子图对应待降噪图像中G通道上的图像信息，第一色噪子图对应待降噪图像中R通道上的图像信息，第二色噪子图对应待降噪图像中B通道上的图像信息。在具体实施例中，第一色噪子图可对应待降噪图像中B通道上的图像信息，第二色噪子图对应待降噪图像中R通道上的图像信息。在此不进行限定。

S102：对子图像进行特征提取，得到特征子图像组。

为了方便获取每一特征子图像的分割阈值，本实施例的图像降噪装置需对子图像进行特征提取，得到特征子图像组。其中，特征子图像组包括亮噪纹理特征子图、第一色噪纹理特征子图和第二色噪纹理特征子图。具体地，图像降噪装置分别对亮噪子图、第一色噪子图和第二色噪子图进行特征提取，得到与亮噪子图、第一色噪子图和第二色噪子图对应的亮噪纹理特征子图、第一色噪纹理特征子图和第二色噪纹理特征子图。

进一步地，为了使图像降噪装置在低照场景和大噪声图像上能够有效区分图像的平缓区域和非平缓区域。本实施例的图像降噪装置利用预设窗口分别对亮噪子图、第一色噪子图和第二色噪子图进行遍历，依次计算窗口中像素点的标准差，以将标准差作为窗口的中心像素点特征，得到特征子图像组。例如，子图像为9x9，预设窗口为3x3，图像降噪装置利用3x3的预设窗口遍历9x9的子图像，得到9个中心像素点特征，每个中心像素点特征为对应3x3预设窗口中9个像素点的标注差。

S103：利用特征子图像的分割阈值对子图像组进行滤波处理。

为了使滤波处理后的子图像组中的子图像清晰，本实施例的图像降噪装置应基于子图像的图像细节对子图像进行降噪，以保障在子图像的平缓区加强降噪，在子图像的非平缓区减少降噪，以更多保留子图像的细节信息。具体地，本实施例的图像降噪装置利用特征子图像的分割阈值对子图像组进行滤波处理，得到滤波处理后的子图像组。

S104：将滤波处理后的子图像组进行变换处理，得到目标图像。

基于S103中滤波处理后的子图像组，图像降噪装置将滤波处理后的亮噪子图、第一色噪子图和第二色噪子图进行变换处理，得到降噪处理后的图像，也即目标图像。

上述方案中，图像降噪装置通过对待降噪图像进行处理，得到子图像组，其中，子图像组中的每一子图像对应待降噪图像的每一通道；对子图像进行特征提取，得到特征子图像组，其中，特征子图像组中的每一特征子图像对应每一子图像；利用特征子图像的分割阈值对子图像组进行滤波处理；将滤波处理后的子图像组进行变换处理，得到目标图像。本申请利用特征子图像的分割阈值对子图像组进行滤波处理，使降噪基于子图像的图像细节，实现了降噪和细节保留兼顾，利用滤波处理后的子图像组变换得到目标图像，提高了目标图像的清晰度。

请继续参阅图2，图2是图1所示的图像降噪方法中S103一实施例的流程示意图。在上述实施例的基础上，S103还包括如下步骤：

S201：计算每一特征子图像的分割阈值。

由于分割阈值能够使图像基于子图像的细节内容进行降噪，以保障在子图像的平缓区加强降噪，在子图像的非平缓区减少降噪，并且使平缓区和非平缓区的过渡区的降噪平滑。为此，本实施例的图像降噪装置利用预设分割阈值将特征子图像分为两类，并将使得两类类间方差最大的预设分割阈值作为最终的分割阈值。

具体地，图像降噪装置获取每一特征子图像的最小像素值和最大像素值；在最小像素值和最大像素值范围内选取一像素值作为预设分割阈值；将特征子图像中特征值大于等于预设分割阈值的特征值划分为第一分类集；将特征子图像中特征值小于预设分割阈值的特征值划分为第二分类集；计算第一分类集和第二分类集之间的方差。图像降噪装置循环上述过程，直至获取最小像素值和最大像素值范围内任一像素值对应的方差，并比较所有方差，将最大方差对应的像素值作为最终的分割阈值。

S202：计算每一特征子图像中目标像素点的降噪强度。

考虑到图像中区域之间存在差异性，若图像降噪装置利用同一降噪强度对子图像进行滤波处理，将导致降噪后的目标图像模糊等问题。为此，本实施例的图像降噪装置充分考虑图像中区域之间的差异性，对不同的区域采用不同的降噪强度。

进一步地，图像降噪装置计算每一特征子图像中目标像素点所在区域与其他区域之间的区域差异度，并利用区域差异度平方与预设降噪参数平方之间的比值计算特征子图像中目标像素点的降噪强度。其中，目标像素点所在区域与其他区域的大小相同。例如，目标像素点所在区域的大小为3x3，则其他区域的大小也为3x3。

降噪强度包括弱降噪强度和强降噪强度。预设降噪参数包括强降噪参数和弱降噪参数。图像降噪装置利用区域差异度平方与预设强降噪参数平方之间的比值计算特征子图像中目标像素点的强降噪强度；图像降噪装置利用区域差异度平方与预设弱降噪参数平方之间的比值计算特征子图像中目标像素点的弱降噪强度。

具体地，强降噪强度的计算满足下式：

其中，Whigh为强降噪强度，Hh为强降噪参数，d为每一特征子图像中目标像素点所在区域与其他区域之间的区域差异度。

具体地，弱降噪强度的计算满足下式：

其中，Wlow为弱降噪强度，Hl为弱降噪参数，d为每一特征子图像中目标像素点所在区域与其他区域之间的区域差异度。

S203：利用每一特征子图像中目标像素点的特征与分割阈值的比值以及每一特征子图像中目标像素点的降噪强度对每一子图像进行滤波处理。

基于S201中获取的分割阈值及S202中获取的每一特征子图像中目标像素点的强降噪强度和弱降噪强度，本实施例的图像降噪装置利用每一特征子图像中目标像素点的特征与分割阈值的比值以及每一特征子图像中目标像素点的降噪强度对每一子图像进行非局部均值滤波处理。具体地，图像降噪装置利用每一特征子图像中目标像素点所的特征与分割阈值的比值以及每一特征子图像中目标像素点的降噪强度计算区域降噪强度，并利用区域降噪强度对子图像中的对应区域进行滤波处理。

具体地，区域的降噪强度W满足下式：

其中，map(i,j)/T为特征子图像中目标像素点的特征与分割阈值的比值，table为预设参数表，table的输入为特征子图像中目标像素点的特征与分割阈值的比值，Whigh为目标像素点的强降噪强度，Wlow为目标像素点的弱降噪强度。

在具体实施例中，每一特征子图像中目标像素点的特征与分割阈值的比值越大表示像素点所在区域更接近细节区域，每一特征子图像中目标像素点的特征与分割阈值的比值越小表示像素点所在区域更接近平滑区域。每一特征子图像中目标像素点的特征与分割阈值的比值的不同可以控制不同区域的降噪强度W。

上述方案中，图像降噪装置通过计算每一特征子图像的分割阈值及每一特征子图像中目标像素点所在区域的降噪强度，并利用每一特征子图像中目标像素点所在的区域特征与分割阈值的比值以及每一特征子图像中目标像素点所在区域的降噪强度对每一子图像进行滤波处理。图像降噪装置降噪所用的分割阈值能够使图像基于子图像的细节内容进行降噪，以保障在子图像的平缓区加强降噪，在子图像的非平缓区减少降噪，并且使平缓区和非平缓区的过渡区的降噪平滑；分别对每一子图像进行降噪处理，在第一色噪子图和第二色噪子图上也采用基于图像细节内容进行降噪强度调节的策略，避免色度处理单一以及降噪不平滑导致边缘偏色问题。

请继续参阅图3，图3是图1所示的图像降噪方法中S102一实施例的流程示意图。在上述实施例的基础上，S102还包括如下步骤：

S301：提取待降噪图像在G通道上的图像信息，得到亮噪子图。

如图4和图5所示，图4是本申请提供的图像降噪方法中bayer格式的待降噪图像的示意图，图5是图4所示的图像降噪方法中亮噪子图的示意图。由于图像在G通道上的图像信息可作为亮度信息，为了获取图像的亮度信息。本实施例的图像降噪装置可提取待降噪图像在G通道上的亮度信息，得到亮噪子图。

S302：对与待降噪图像中R通道上一像素点相邻的G通道上的像素点进行加权平均，得到R通道上一像素点的第一估计亮度值。

为了避免图像降噪过程中色度对亮度的影响，本实施例的图像降噪装置在亮度和色度两个维度上进行降噪处理，同时考虑图像通道间的相关性。为此，图像降噪装置提取待降噪图像在R通道上的图像信息，具体利用与R通道像素点相邻的G通道上的像素点估算R通道像素点的亮度值。也即对与待降噪图像中R通道上一像素点相邻的G通道上的像素点进行加权平均，得到R通道上一像素点的第一估计亮度值。

在具体实施例中，对于第一估计亮度值的计算，图像降噪装置还可对与R通道一像素点相邻的G通道上像素点进行平均处理，得到R通道上一像素点的第一估计亮度值。本实施例对此不作限定。

S303：计算R通道上一像素点的自身亮度值和第一估计亮度值的差值，得到第一色噪子图。

基于S302中获取的R通道上一像素点的第一估计亮度值，图像降噪装置计算R通道上一像素点的自身亮度值和第一估计亮度值的差值。可参阅图6，第一估计亮度值为Y，R通道上一像素点的自身亮度值为R，则差值U为R-Y。图像降噪装置提取R通道上一像素点的自身亮度值和第一估计亮度值的差值U，得到第一色噪子图，如图7所示。

S304：对与待降噪图像中B通道上一像素点相邻的G通道上的像素点进行加权平均，得到B通道上一像素点的第一估计亮度值。

基于S302中相同的考虑因素，图像降噪装置提取待降噪图像在B通道上的图像信息，具体利用与B通道像素点相邻的G通道上的像素点估算B通道像素点的亮度值。也即对与待降噪图像中B通道上一像素点相邻的G通道上的像素点进行加权平均，得到B通道上一像素点的第一估计亮度值。

S305：计算B通道上一像素点的自身亮度值和第一估计亮度值的差值，得到第二色噪子图。

图像降噪装置基于S304中获取的第一估计亮度值，计算B通道上一像素点的自身亮度值和第一估计亮度值的差值。继续参阅图6，B通道上一像素点的第一估计亮度值为Y，B通道上一像素点的自身亮度值为B，则差值V为B-Y。图像降噪装置提取B通道上一像素点的自身亮度值和第一估计亮度值的差值V，得到第二色噪子图，如图8所示。

上述方案中，图像降噪装置分别提取待降噪图像在G通道、R通道和B通道上的图像信息，得到亮噪子图、第一色噪子图和第二色噪子图，能够避免在图像降噪过程中色度对亮度的影响；利用与R通道、B通道一像素点相邻的G通道的像素点估计R通道、B通道的第一估计亮度值，充分考虑了图像通道间的相关性，使得色噪能够去除干净，避免产生偏色的情况。

请继续参阅图9，图9是图1所示的图像降噪方法中S104一实施例的流程示意图。在上述实施例的基础上，S104还包括如下步骤：

S401：按照待降噪图像对滤波处理后的子图像组进行排列处理，得到第一目标图像。

基于上述滤波处理后的子图像组，本实施例的图像降噪装置按照bayer格式的待降噪图像对子图像组进行排列，得到第一目标图像。

S402：对与第一目标图像中R通道上一像素点相邻的G通道上的像素点进行加权平均，得到R通道上一像素点的第二估计亮度值。

为了能够获取到降噪处理后的RAW图像中R通道上像素点的亮度值，本实施例的图像降噪装置利用第一目标图像中R通道上一像素点相邻的G通道上的像素点估计R通道上一像素点的第二估计亮度值。具体通过对与第一目标图像中R通道上一像素点相邻的G通道上的像素点进行加权平均，得到R通道上一像素点的第二估计亮度值。

S403：计算R通道上一像素点的自身亮度值和第一估计亮度值的差值与第二估计亮度值之和，得到目标图像中R通道上像素点的实际亮度值。

基于S402中获取的R通道上一像素点的第二估计亮度值，图像降噪装置计算R通道上一像素点的自身亮度值和第一估计亮度值的差值与第二估计亮度值之和，得到目标图像中R通道上像素点的实际亮度值。

S404：对与第一目标图像中B通道上一像素点相邻的G通道上的像素点进行加权平均，得到B通道上一像素点的第二估计亮度值。

为了能够获取到降噪处理后的BAW图像中B通道上像素点的亮度值，本实施例的图像降噪装置利用第一目标图像中B通道上一像素点相邻的G通道上的像素点估计B通道上一像素点的第二估计亮度值。具体通过对与第一目标图像中B通道上一像素点相邻的G通道上的像素点进行加权平均，得到B通道上一像素点的第二估计亮度值。

S405：计算B通道上一像素点的自身亮度值和第一估计亮度值的差值与第二估计亮度值之和，得到目标图像中B通道上像素点的实际亮度值。

基于S404中获取的B通道上一像素点的第二估计亮度值，图像降噪装置计算B通道上一像素点的自身亮度值和第一估计亮度值的差值与第二估计亮度值之和，得到目标图像中B通道上像素点的实际亮度值。

S406：利用目标图像中B通道上像素点的实际亮度值、R通道上像素点的实际亮度值以及G通道上像素点的实际亮度值，得到目标图像。

上述方案中，图像降噪装置将降噪后的亮噪子图、第一色噪子图和第二色噪子图按照bayer格式的待降噪图像进行排列，并估算出R通道和B通道上像素点的第二估计亮度值，以通过R通道和B通道上像素点的第二估计亮度值进行变换操作，得到降噪后的目标图像。

为实现上述实施例的图像降噪方法，本申请提出了一种电子设备，具体请参阅图10，图10是本申请提供的电子设备一实施例的结构示意图。

电子设备100包括存储器11和处理器12，其中，存储器11和处理器12耦接。

存储器11用于存储程序数据，处理器12用于执行程序数据以实现上述实施例的图像降噪方法。

在本实施例中，处理器12还可以称为CPU(Central Processing Unit，中央处理单元)。处理器12可能是一种集成电路芯片，具有信号的处理能力。处理器12还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器12也可以是任何常规的处理器等。

本申请还提供一种计算机存储介质，如图11所示，计算机存储介质1100用于存储程序数据110，程序数据110在被处理器执行时，用以实现如本申请方法实施例中所述的图像降噪方法。

本申请图像降噪方法实施例中所涉及到的方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。根据这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，卡口设备的异常检测设备，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。