堆叠降噪方法、装置、电子设备及存储介质

本申请是申请人影石创新科技股份有限公司于2020年1月7日向中国国家知识产权局提交的申请号为202010014410.7、申请日为2020年1月7日、名称为“超级夜景图像的生成方法、装置、电子设备及存储介质”的发明专利申请的分案申请。

技术领域

本发明属于图像处理技术领域，尤其涉及一种超级夜景图像的生成方法、装置、电子设备及存储介质。

背景技术

传统的夜景增强拍照处理，一般都是拍摄图像后，利用图像亮度算法或者对比度增强算法将已拍摄的夜景图像进行增强处理，这样就会提升图像暗部的亮度和对比度。但是，由于夜景图像的噪点比较多，并且噪点也可能会被增强，导致整个夜景图像的增强效果不佳。同时，根据局部方差确定增强系数的方案，容易在明暗过度剧烈的地方出现光晕。

现有技术方案中有利用多帧图像进行生成高动态范围图像的解决方案，但该方案在白天拍摄的场景中效果良好而在夜景照片的噪声很大；现有技术中还有直接对多帧夜景图像进行融合去噪等处理方案，但这种方案获得的夜景图像在图像的亮部或暗部仍旧不够清晰。

发明内容

本发明的目的在于提供一种超级夜景图像的生成方法、装置、电子设备及存储介质，旨在解决由于现有技术中生成的超级夜景图像的噪声大的问题。

一方面，本发明提供一种超级夜景图像的生成方法，所述方法包括下述步骤：

获取连续多帧原始图像，所述多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像；

对所述多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像；

对所述正常降噪图像进行灰度变换处理，得到一帧过曝光图像；

将所述欠曝光图像、所述正常降噪图像和所述过曝图像进行融合处理，得到一帧超级夜景图像。

优选地，所述对所述多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像的步骤，包括：

对所述多帧正常曝光图像进行加权融合降噪处理，得到一帧堆叠降噪图像；

采用单帧图像降噪法对所述堆叠降噪图像进行降噪处理，得到所述正常降噪图像。

优选地，所述对所述多帧正常曝光图像进行加权融合降噪处理，得到一帧堆叠降噪图像的步骤包括：

从所述多帧正常曝光图像中选择一帧图像作为参考图像；

将所述多帧正常曝光图像中除去所述参考图像以外的图像与所述参考图像进行对齐处理；

根据第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理，得到所述堆叠降噪图像；

其中，所述第一公式为：

优选地，所述根据第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理的步骤包括：

在YUV空间中根据所述第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理。

优选地，所述在YUV空间中根据所述第一公式对对齐处理后的所述多帧正常曝光图像进行加权融合降噪处理的步骤，包括：

获取对齐处理后的所述多帧正常曝光图像的Y分量数据，以及所述参考图像的U分量数据和V分量数据；

根据所述第一公式对所述Y分量数据进行加权融合降噪处理，并对所述U分量数据和所述V分量数据进行保边滤波处理；

将加权融合降噪处理后的Y分量数据，以及保边滤波处理后的所述U分量数据和所述V分量数据进行合成，得到所述堆叠降噪图像。

优选地，所述采用单帧图像降噪法对所述堆叠降噪图像进行降噪处理的步骤，包括：

在目标像素点的邻域窗口内随机选择若干参考像素点；

分别以所述目标像素点和每个所述参考像素点为中心获取像素块；

对每个所述像素块进行DCT变换，并根据预设阈值对每个所述像素块对应的DCT系数进行更新；

对更新后的DCT系数进行DCT反变换，以对每个所述像素块进行重建；

将重建后的每个像素块中与目标像素点的位置对应的像素点的像素值进行加权平均，将加权平均后的像素值作为所述目标像素点的像素值。

优选地，所述根据预设阈值对每个所述像素块对应的DCT系数进行更新的步骤，包括：

将所述DCT系数中小于所述预设阈值的系数置零。

优选地，所述将所述欠曝光图像、所述正常降噪图像和所述过曝图像进行融合处理，得到一帧超级夜景图像的步骤之后，包括：

采用细节增强算法对所述超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像；

其中，所述细节增强算法为基于保边滤波的细节增强算法，所述细节增强后的超级夜景图像为：I′(x,y)＝k

所述细节增强算法为基于普通滤波的细节增强算法，所述细节增强后的超级夜景图像为：I′(x,y)＝max(min(T(x,y),I

优选地，所述对所述正常降噪图像进行灰度变换处理的步骤，包括：

对所述正常降噪图像进行伽马变换处理。

优选地，对所述正常降噪图像进行伽马变换处理时的伽马系数为0.625。

另一方面，本发明提供了一种超级夜景图像的生成装置，所述装置包括：

图像获取单元，用于获取连续多帧原始图像，所述多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像；

堆叠降噪单元，用于对所述多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像；

灰度变换单元，用于对所述正常降噪图像进行灰度变换处理，得到一帧过曝光图像；以及

图像合成单元，用于将所述欠曝光图像、所述正常降噪图像和所述过曝图像进行融合处理，得到一帧超级夜景图像。

另一方面，本发明还提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述方法的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述方法的步骤。

本发明通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。

附图说明

图1是本发明实施例一提供的超级夜景图像的生成方法的实现流程图；

图2是本发明实施例二提供的超级夜景图像的生成方法的实现流程图；

图3是本发明实施例三提供的超级夜景图像的生成装置的结构示意图；以及

图4是本发明实施例四提供的电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

图1示出了本发明实施例一提供的超级夜景图像的生成方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S101中，获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像。

本发明实施例适用于电子设备，该电子设备可以包括手机、手表、平板、电脑、相机等具有拍照功能的设备。在本发明实施例中，获取电子设备在暗处连续拍摄的多帧原始图像，该暗处可以为在夜间或者其他光线较暗的场景下，为便于说明，本示例中原始图像的帧数用M表示，M≥3，该多帧原始图像应包含一帧欠曝光图像和多帧正常曝光图像。在实际中，为便于操作，通常欠曝光图像为获取到的第一帧图像，例如，连续拍摄的原始图像为9帧，第一帧为欠曝光图像，后8帧图像为正常曝光图像。

在步骤S102中，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像。

在本发明实施例中，在对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像时，具体可以包括：

S1021：对该多帧正常曝光图像进行加权融合降噪处理，得到一帧堆叠降噪图像。

具体地，从该多帧正常曝光图像中选择一帧图像作为参考图像，将该多帧正常曝光图像中除去该参考图像以外的图像与该参考图像进行对齐处理，再对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，得到该堆叠降噪图像，以降低因图像未对其造成的不良影响。其中，可以选取正常曝光图像中的第一帧图像作为参考图像，也可以选取正常曝光图像中的第二帧图像作为基准图像，还可以选取正常曝光图像中的最后一帧图像作为基准图像，在此不作限定。在将该多帧正常曝光图像中除去该参考图像以外的图像与该参考图像进行对齐处理时，由于将某一帧图像和其它帧图像进行对齐处理属于现有技术，如，可以通过稀疏光流进行对齐，在此不再赘述。

优选地，根据第一公式对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，得到该堆叠降噪图像；

其中，该第一公式为：

在这里需要说明的是，可以在RGB空间中根据该第一公式对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，优选地，在YUV空间中根据该第一公式对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，进一步优选地，获取对齐处理后的所述多帧正常曝光图像的Y分量数据，以及所述参考图像的U分量数据和V分量数据，根据所述第一公式对所述Y分量数据进行加权融合降噪处理，并对所述U分量数据和所述V分量数据进行保边滤波处理，将加权融合降噪处理后的Y分量数据，以及保边滤波处理后的所述U分量数据和所述V分量数据进行合成，得到所述堆叠降噪图像，以提升加权融合降噪处理过程中的计算速度。其中，保边滤波处理可以是双边滤波处理，也可以是导向滤波处理，在此不作限定；堆叠降噪图像可以是在YUV空间存储的图像，也可以是转换到RGB空间或其它颜色空间存储的图像，在此亦不作限定。

S1022：对该堆叠降噪图像采用单帧图像降噪法生成一张正常降噪图像。

对该堆叠降噪图像采用单帧图像降噪法生成一张正常降噪图像，可以进一步消除噪声的影响。该单帧图形降噪法在离散余弦空间进行，在采用离散余弦变换进行降噪时，每次滑动一个像素，为便于说明，本实施例中将每次滑动后对应的像素点称为目标像素点，优选地，在目标像素点的邻域窗口内随机选择若干参考像素点，分别以该目标像素点和每个该参考像素点为中心获取像素块，对每个像素块进行DCT变换(Discrete CosineTransform，离散余弦变换)，并根据预设阈值对每个像素块对应的DCT系数进行更新，对更新后的DCT系数进行DCT反变换，以对每个像素块进行重建，将重建后的每个像素块中与目标像素点的位置对应的像素点的像素值进行加权平均，将加权平均后的像素值作为该目标像素点的像素值，从而有效地提高了图像的降噪效果。其中，该邻域窗口的大小通常为8×8，相应地，每个该像素块的大小通常也为8×8，预设阈值通常由人工进行设定，该阈值的大小可以根据图像噪声水平进行设置，噪声水平可由ISO和相机曝光时间及相机传感器本身确定，ISO数值越高就说明该感光元器件的感光能力越强。在根据预设阈值对每个像素块对应的DCT系数进行更新时，可选地，将DCT系数中小于预设阈值的系数置零。

在步骤S103中，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像。

在本发明实施例中，在对该正常降噪图像进行灰度变换处理时，可以对该正常降噪图像进行反转变换处理、对数变换处理或分段线性变换处理，优选地，对该正常降噪图像进行伽马变换处理，以得到对比度和可辨细节加强的过曝光图像。其中，该伽马变换的公式为：s＝cr

在步骤S104中，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像。

在本发明实施例中，该欠曝光图像可以为图像高光处提供丰富的细节，该正常降噪图像可以为图像提供丰富的中间亮度的细节，该过曝图像可以为图像暗处提供细节，通过对该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到融合后的超级夜景图像，该超级夜景图像为HDR(High Dynamic Range，高动态范围)图像。在对该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理时，优选地，以正常曝光图像为参考，对欠曝光图像和过曝光图像消除运动像素，分别得到第三图像和第四图像，将正常曝光图像，第三图像和第四图像降采样，计算第一权值图，将降采样得到的三幅图像分别转换成灰度图，对灰度图做多分辨率融合，计算第二权值图，将第二权值图升采样到与原图尺寸一致，对正常曝光图像、欠曝光图像和过曝光图像做加权融合，从而提高了高动态范围图像的视觉效果。当然，在对该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理也可以采用现有技术中的其他融合处理方法，在此不作赘述。

在本发明实施例中，通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。在对该多帧正常曝光图像进行堆叠降噪处理时，在YUV空间中对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，从而提升了夜景图像的处理速度，进而进一步提升了用户体验。

图2示出了本发明实施例二提供的超级夜景图像的生成方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤S201中，获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像。

在步骤S202中，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像。

在步骤S203中，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像。

在步骤S204中，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像。

在本发明实施例中，步骤S201-S204的实施方式可对应参考前述实施例一中步骤S101-S104的描述，在此不再赘述。

在步骤S205中，采用细节增强算法对该超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像。

在本发明实施例中，采用细节增强算法对该超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像，以进一步提高图像细节，进而进一步提高了图像的清晰度。

优选地，该细节增强算法为基于保边滤波的细节增强算法，该细节增强后的超级夜景图像为：I′(x,y)＝k

又一优选地，该细节增强算法为基于普通滤波的细节增强算法，该细节增强后的超级夜景图像为：I′(x,y)＝max(min(T(x,y),I

在本发明实施例中，通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，采用细节增强算法对该超级夜景图像进行细节增强处理，从而进一步提升了夜景图像的细节，进而进一步提升了用户体验。

图3示出了本发明实施例三提供的超级夜景图像的生成装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

图像获取单元31，用于获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像；

堆叠降噪单元32，用于对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像；

灰度变换单元33，用于对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像；以及

图像合成单元34，用于将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像。

优选地，堆叠降噪单元包括：

第一降噪子单元，用于对该多帧正常曝光图像进行加权融合降噪处理，得到一帧堆叠降噪图像；

第二降噪子单元，用于采用单帧图像降噪法对该堆叠降噪图像进行降噪处理，得到该正常降噪图像。

优选地，该第一降噪子单元包括：

参考图像选择单元，用于从该多帧正常曝光图像中选择一帧图像作为参考图像；

图像对齐处理单元，用于将该多帧正常曝光图像中除去该参考图像以外的图像与该参考图像进行对齐处理；

第三降噪子单元，用于根据第一公式对对齐处理后的该多帧正常曝光图像进行加权融合降噪处理，得到该堆叠降噪图像；

其中，该第一公式为：

优选地，该第二降噪子单元包括：

像素点选择单元，用于在目标像素点的邻域窗口内随机选择若干参考像素点；

像素块获取单元，用于分别以该目标像素点和每个该参考像素点为中心获取像素块；

DCT变换单元，用于对每个像素块进行DCT变换，并根据预设阈值对每个像素块对应的DCT系数进行更新；

DCT反变换单元，用于对更新后的DCT系数进行DCT反变换，以对每个像素块进行重建；

像素值计算单元，用于将重建后的每个该像素块中与目标像素点的位置对应的像素点的像素值进行加权平均，将加权平均后的像素值作为该目标像素点的像素值。

优选地，该DCT变换单元包括：

DCT变换子单元，用于将DCT系数中小于所述预设阈值的系数置零。

优选地，该第三降噪子单元包括：

第四降噪子单元，用于在YUV空间中根据该第一公式对经对齐处理后的该多帧正常曝光图像进行加权融合降噪处理。

优选地，该第四降噪子单元包括：

分量数据获取单元，用于获取对齐处理后的所述多帧正常曝光图像的Y分量数据，以及所述参考图像的U分量数据和V分量数据；或

分量数据获取单元，用于根据所述第一公式对所述Y分量数据进行加权融合降噪处理，并对所述U分量数据和所述V分量数据进行保边滤波处理；

分量数据合成单元，用于将加权融合降噪处理后的Y分量数据，以及保边滤波处理后的所述U分量数据和所述V分量数据进行合成，得到所述堆叠降噪图像。

优选地，灰度变换单元包括：

伽马变换单元，用于对该正常降噪图像进行伽马变换处理。

优选地，对该正常降噪图像进行伽马变换处理时的伽马系数为0.625。

优选地，该装置还包括：

细节增强处理单元，用于采用细节增强算法对该超级夜景图像进行细节增强处理，得到细节增强后的超级夜景图像；

其中，该细节增强算法为基于保边滤波的细节增强算法，该细节增强后的超级夜景图像为：I′(x,y)＝k

该细节增强算法为基于普通滤波的细节增强算法，该细节增强后的超级夜景图像为：I′(x,y)＝max(min(T(x,y),I

在本发明实施例中，超级夜景图像的生成装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。超级夜景图像的生成装置的各单元的具体实施方式可参考前述方法实施例的描述，在此不再赘述。

图4示出了本发明实施例四提供的电子设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

本发明实施例的电子设备4包括处理器40、存储器41以及存储在存储器41中并可在处理器40上运行的计算机程序42。该处理器40执行计算机程序42时实现上述各方法实施例中的步骤，例如图1所示的步骤S101至S104。或者，处理器40执行计算机程序42时实现上述各装置实施例中各单元的功能，例如图3所示单元31至34的功能。

在本发明实施例中，通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。

在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例中的步骤，例如，图1所示的步骤S101至S104。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至34的功能。

在本发明实施例中，通过获取连续多帧原始图像，该多帧原始图像包含一帧欠曝光图像和多帧正常曝光图像，对该多帧正常曝光图像进行堆叠降噪处理，得到一帧正常降噪图像，对该正常降噪图像进行灰度变换处理，得到一帧过曝光图像，将该欠曝光图像、该正常降噪图像和该过曝图像进行融合处理，得到一帧超级夜景图像，从而降低了夜景图像的噪声，进而提升了用户体验。

本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。