一种图像噪声去除方法、装置、存储介质及电子设备

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像噪声去除方法、装置、存储介质及电子设备。

背景技术

高维数据，如含噪声的图像在采集过程中因设备故障、测量资源限制、环境干扰或人为等因素而造成采集的数据包含复杂噪声，这将严重阻碍高维数据的后续应用。作为有用的子空间学习工具，低秩张量分解（Low-rank Tensor Decomposition，LRTD）可以提取数据中有效的低维结构。

但目前大多数LRTD技术都是基于L2范数测量误差的最小化，这些方法对噪声的类型很敏感，因为L2范数在使用过程中往往导致的重构误差放大。为了缓解这一问题，可行的策略是将LRTD的L2范数替换为L1范数，这可以归结为L1范数对重尾噪声或异常值具有更好的鲁棒性。然而，由于L1范数的LRTD算法会导致非光滑且非凸的优化问题，导致很难被广泛应用到张量数据降噪问题中。也即，现有技术对于含噪图像的去噪质量偏低。

发明内容

本申请的主要目的在于提供一种图像噪声去除方法、装置、存储介质及电子设备，旨在解决现有技术中对含噪图像的去噪质量偏低的问题。

为实现上述目的，本申请的实施例采用的技术方案如下：

第一方面，本申请实施例提供一种图像噪声去除方法，包括以下步骤：

获取原始图像；

将原始图像输入去噪模型，获得目标图像；其中，去噪模型包括第一部分与第二部分，第一部分基于指数幂混合对噪声成分建模获得，第二部分基于低秩张量奇异值分解对无噪成分建模获得，无噪成分与噪声成分基于对若干含噪图像分解获得。

在第一方面的一种可能实现方式中，获取原始图像之前，图像噪声去除方法还包括：

对若干含噪图像进行分解，获得无噪成分与噪声成分；

基于指数幂混合，对噪声成分进行建模，获得第一部分；

基于低秩张量奇异值分解，对无噪成分进行建模，获得第二部分；

根据第一部分与第二部分，获得去噪模型。

在第一方面的一种可能实现方式中，根据第一部分与第二部分，获得去噪模型之后，图像噪声去除方法还包括：

初始化去噪模型中的无噪成分与噪声成分；

估计去噪模型中的噪声成分；

根据估计的噪声成分，获得无噪成分，并返回估计去噪模型中的噪声成分的步骤，直至满足迭代终止条件，获得目标去噪模型。

在第一方面的一种可能实现方式中，估计去噪模型中的噪声成分，包括：

基于期望最大化算法，估计去噪模型中的噪声成分。

在第一方面的一种可能实现方式中，基于期望最大化算法，估计去噪模型中的噪声成分，包括：

基于贝叶斯规则，获得噪声成分的条件期望；

根据条件期望，构造期望函数；

根据最大化的期望函数，估计去噪模型中的噪声成分。

在第一方面的一种可能实现方式中，根据估计的噪声成分，获得无噪成分，包括：

基于交替方向乘子法，根据估计的噪声成分，获得无噪成分。

在第一方面的一种可能实现方式中，基于交替方向乘子法，根据估计的噪声成分，获得无噪成分，包括：

根据进行张量奇异值分解后的无噪成分与估计的噪声成分，获得中间函数；

根据中间函数以及与中间函数对应的增广拉格朗日函数，更新进行张量奇异值分解后的无噪成分的参数；

根据更新的进行张量奇异值分解后的无噪成分的参数，获得无噪成分。

第二方面，本申请实施例提供一种图像噪声去除装置，包括：

获取模块，获取模块用于获取原始图像；

去噪模块，去噪模块用于将原始图像输入去噪模型，获得目标图像；其中，去噪模型包括第一部分与第二部分，第一部分基于指数幂混合对噪声成分建模获得，第二部分基于低秩张量奇异值分解对无噪成分建模获得，无噪成分与噪声成分基于对若干含噪图像分解获得。

第三方面，本申请实施例提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如上述第一方面中任一项提供的图像噪声去除方法。

第四方面，本申请实施例提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如上述第一方面中任一项提供的图像噪声去除方法。

与现有技术相比，本申请的有益效果是：

本申请实施例提出的一种图像噪声去除方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入去噪模型，获得目标图像；其中，去噪模型包括第一部分与第二部分，第一部分基于指数幂混合对噪声成分建模获得，第二部分基于低秩张量奇异值分解对无噪成分建模获得，无噪成分与噪声成分基于对若干含噪图像分解获得。本申请的方法通过对噪声成分与无噪成分分布建模，利用指数幂混合分布建模高维噪声数据中的复杂噪声，利用低秩张量奇异值分解建模噪声中的低秩成分，也即无噪成分，而无噪成分与噪声成分又来自于对含噪图像的分解，一方面使模型能够学习到含噪图像的分布，快速、准确地将原始图像进行分解；另一方面能够学习到噪声分量，从而更好地从噪声干扰的多维数据中恢复出真实的低秩张量，并保留图像的细节信息，也即对含噪图像进行去噪后尽可能多地保留无噪成分进行输出，有效提升了对含噪图像上噪声去除的质量。

附图说明

图1为本申请实施例涉及的硬件运行环境的电子设备结构示意图；

图2为本申请实施例提供的图像噪声去除方法的流程示意图；

图3为本申请实施例提供的图像噪声去除方法中的一种原始图像；

图4为图3对应的无噪成分的图像；

图5为采用本申请实施例提供的图像噪声去除方法对图3所示的原始图像进行去噪后的图像；

图6为采用BM4D对图3所示的原始图像进行去噪后的图像；

图7为采用TDL对图3所示的原始图像进行去噪后的图像；

图8为采用TRPCA对图3所示的原始图像进行去噪后的图像；

图9为本申请实施例提供的图像噪声去除装置的模块示意图；

图中标记：101-处理器，102-通信总线，103-网络接口，104-用户接口，105-存储器。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：提出一种图像噪声去除方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入去噪模型，获得目标图像；其中，去噪模型包括第一部分与第二部分，第一部分基于指数幂混合对噪声成分建模获得，第二部分基于低秩张量奇异值分解对无噪成分建模获得，无噪成分与噪声成分基于对若干含噪图像分解获得。

低秩张量近似（Low-rank Tensor Approximation，LRTA）的目的是从退化的高维数据中复原其固有的低维子空间，所提取的子空间往往能够传递数据潜在的低秩先验，因此基于张量低秩约束的高维数据处理在在计算机视觉、机器学习、模式识别和统计分析等领域引起了越来越多学者们的关注。然而，高维数据在采集过程中因设备故障、测量资源限制、环境干扰或人为等因素而造成采集的数据包含复杂噪声，这将严重阻碍高维数据的后续应用。

作为有用的子空间学习工具，低秩张量分解（Low-rank Tensor Decomposition，LRTD）可以提取数据中有效的低维结构。低秩张量分解过程中面临的挑战是如何设计合理合适的分解模型来表示被噪声干扰的高维数据中的低秩结构。目前大多数LRTD技术都是基于L2范数测量误差的最小化。然而，这些方法对噪声的类型很敏感，因为L2范数在使用过程中往往导致的重构误差放大。为了缓解这一问题，可行的策略是将LRTD的L2范数替换为L1范数，这可以归结为L1范数对重尾噪声或异常值具有更好的鲁棒性。然而，由于L1范数的LRTD算法会导致非光滑且非凸的优化问题，导致很难被广泛应用到张量数据降噪问题中。为了拟合真实高维数据中的未知噪声（该噪声既不服从基于L1 -范数的拉普拉斯分布，也不服从基于L2 范数的高斯分布），现有技术提出在LRTD框架中利用混合高斯（Mixture ofGaussians）分布建模数据中的混合噪声，其背后的关键思想是假设任何分布的真实噪声都可以用更复杂的混合高斯更好地逼近。

尽管基于LRTD的MoG噪声模型可以克服将矩阵化高维数据所导致结构信息丢失的缺点，而且同时与单一噪声分布假设相比，避免了LRTD模型对异常值或噪声的敏感性。然而，基于MoG的LRTD模型存在三个主要问题。首先，类似于矩阵秩，张量秩对于分离信号分量和噪声成分具有重要意义，但在实际应用中，由于缺乏合理有效的先验知识，张量分解的秩难以准确估计。其次，基于噪声模型的MoG可以根据中心极限定理从理论上近似任何分布噪声，但前提是MoG的分量趋于无穷，而在实际应用中只能指定有限的分量。最后，缺乏合理的方法来根据多维数据中实际混合的噪声来合理推断高斯混合分量的数量。因此，提供一种更好的、对数据噪声具有更强自适应能力的分布建模策略来替代MoG是至关重要的。

为此，本申请提供一种解决方案，通过对噪声成分与无噪成分分布建模，利用指数幂混合分布建模高维噪声数据中的复杂噪声，利用低秩张量奇异值分解建模噪声中的低秩成分，也即无噪成分，而无噪成分与噪声成分又来自于对含噪图像的分解，一方面使模型能够学习到含噪图像的分布，快速、准确地将原始图像进行分解；另一方面能够学习到噪声分量，从而更好地从噪声干扰的多维数据中恢复出真实的低秩张量，并保留图像的细节信息，也即对含噪图像进行去噪后尽可能多地保留无噪成分进行输出，有效提升了对含噪图像上噪声去除的质量。

参照附图1，附图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图，该电子设备可以包括：处理器101，例如中央处理器（Central Processing Unit，CPU），通信总线102、用户接口104，网络接口103，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器105可选的可以是独立于前述处理器101的存储装置，存储器105可能是高速的随机存取存储器（Random Access Memory，RAM）存储器，也可能是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器；处理器101可以是通用处理器，包括中央处理器、网络处理器等，还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本领域技术人员可以理解，附图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如附图1所示，作为一种存储介质的存储器105中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及电子程序。

在附图1所示的电子设备中，网络接口103主要用于与网络服务器进行数据通信；用户接口104主要用于与用户进行数据交互；本申请中的处理器101、存储器105可以设置在电子设备中，电子设备通过处理器101调用存储器105中存储的图像噪声去除装置，并执行本申请实施例提供的图像噪声去除方法。

参照附图2，基于前述实施例的硬件设备，本申请的实施例提供一种图像噪声去除方法，包括以下步骤：

S10：对若干含噪图像进行分解，获得无噪成分与噪声成分。

在具体实施过程中，为匹配本申请提出的分布建模，将噪声高维数据

S20：基于指数幂混合，对噪声成分进行建模，获得第一部分。

在具体实施过程中，利用指数幂混合分布建模数据中的噪声成分，也即第一部分，利用建模的混合噪声逼近真实噪声，具体的：

利用指数幂的混合（Mixture of Exponential Power，MoEP）分布建模高维噪声数据中复杂噪声

其中，

其中，

假设每个噪声

其中

那么，完全似然函数可以写成：

其中

那么，完全对数似然函数可以写成：

。

将惩罚似然法与MoEP分布相结合，提出了一个惩罚MoEP（Penalized MoEP，PMoEP）模型，即PMoEP-LRTSVD：

其中，

其中，

S30：基于低秩张量奇异值分解，对无噪成分进行建模，获得第二部分。

在具体实施过程中，利用奇异值分解来简化数据，去除噪声，利用低秩张量分解建模无噪部分，也即第二部分，确保从数据中提取有效的低维结构，具体的：

利用低秩张量奇异值分解（Low-Rank Tensor Singular Value Decomposition，LRTSVD）建模噪声数据中的低秩成分

其中，

S40：根据第一部分与第二部分，获得去噪模型。

在具体实施过程中，分布建模后通过现有的建模手段分布建模，最终获得具有多种能力去噪模型，以便于反复、高效地进行去噪工作。

S50：获取原始图像；通过图像获取设备如摄像机，或者调用已有的图库中的图像获得带有噪声的原始图像。

S60：将原始图像输入去噪模型，获得目标图像；其中，去噪模型包括第一部分与第二部分，第一部分基于指数幂混合对噪声成分建模获得，第二部分基于低秩张量奇异值分解对无噪成分建模获得，无噪成分与噪声成分基于对若干含噪图像分解获得。

在具体实施过程中，由于分布建模下，模型不同的部分各自学习到了不同的能力，将原始图像，也即待去噪的图像输入去噪模型后，模型首先能够学习到对图像的分解能力，将其分解为无噪成分与噪声成分，然后分别由不同的部分分别进行处理，一方面使混合噪声分量自适应拟合复杂的真实噪声，另一方面又从中学习到适当的噪声分量，从而更好地从噪声干扰的多维数据中恢复出真实的低秩张量。

本实施例中，通过对噪声成分与无噪成分分布建模，利用指数幂混合分布建模高维噪声数据中的复杂噪声，利用低秩张量奇异值分解建模噪声中的低秩成分，也即无噪成分，而无噪成分与噪声成分又来自于对含噪图像的分解，一方面使模型能够学习到含噪图像的分布，快速、准确地将原始图像进行分解；另一方面能够学习到噪声分量，从而更好地从噪声干扰的多维数据中恢复出真实的低秩张量，并保留图像的细节信息，也即对含噪图像进行去噪后尽可能多地保留无噪成分进行输出，有效提升了对含噪图像上噪声去除的质量，并提升了运行效率、准确性与鲁棒性。

在一种实施例中，根据第一部分与第二部分，获得去噪模型之后，图像噪声去除方法还包括：

初始化去噪模型中的无噪成分与噪声成分。

在具体实施过程中，为优化模型参数，验证模型参数的有效性，通过迭代的方式不断优化模型参数，使得模型的去噪能力进一步提升，通过估计噪声成分并反过来更新无噪成分，初始化无噪成分

估计去噪模型中的噪声成分。

在具体实施过程中，噪声估计的方法，如最小值跟踪噪声估计、直方图噪声估计等，本实施例中提出一种基于期望最大化算法，估计去噪模型中的噪声成分。具体的：基于期望最大化算法，估计去噪模型中的噪声成分，包括：

基于贝叶斯规则，获得噪声成分的条件期望。

根据条件期望，构造期望函数。

在具体实施过程中，基于期望最大化算法简称EM，一般包括两个步骤，即E步骤与M步骤，在E步骤中，利用贝叶斯规则计算

那么，可以构造出期望函数Q函数：

根据最大化的期望函数，估计去噪模型中的噪声成分。

在具体实施过程中，在M步骤中，通过最大化Q函数来更新Θ。为了更新π，引入拉格朗日乘子

通过对变量

其中，

其中，

根据估计的噪声成分，获得无噪成分，并返回估计去噪模型中的噪声成分的步骤，直至满足迭代终止条件，获得目标去噪模型。

在具体实施过程中，估计了噪声成分后，接下来对无噪成分进行更新，也即需要采用迭代手段如最小二乘法、交替方向乘子法等，本申请实施例提供一种采用交替方向乘子法的方式，具体来说：根据估计的噪声成分，获得无噪成分，包括：

基于交替方向乘子法，根据估计的噪声成分，获得无噪成分。

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种求解具有可分离性的凸优化问题的计算框架, 由于其是对偶分解法和增广拉格朗日乘子法的结合，使该算法有分解性的同时保证了良好的收敛性，处理速度快。

具体的：基于交替方向乘子法，根据估计的噪声成分，获得无噪成分，包括：

根据进行张量奇异值分解后的无噪成分与估计的噪声成分，获得中间函数。

在具体实施过程中，为了更新

等价于求解如下式子：

其中，

为了求解上式，引入张量奇异值分解

也即中间函数。

根据中间函数以及与中间函数对应的增广拉格朗日函数，更新进行张量奇异值分解后的无噪成分的参数。

在具体实施过程中，中间函数对应的对应的增广拉格朗日函数为：

其中

更新进行张量奇异值分解后的无噪成分的参数，也即

根据更新的进行张量奇异值分解后的无噪成分的参数，获得无噪成分。

在具体实施过程中，更新

考虑到它的非凸性和非光滑性，将其划分解为独立标量优化问题，如下：

其中，

对应的，需要更新拉格朗日乘子及步长

。

最后返回估计去噪模型中的噪声成分的步骤，直至满足迭代终止条件，获得目标去噪模型。迭代终止条件可以是满足最大迭代次数或者满足收敛条件，最大迭代次数itermax，收敛准则ε，正则化参数

结合附图3-附图8，将本申请的去噪方法与现有的去噪方法的效果进行对比：

选用如附图3所示的原始图像，该图像对应的无噪成分如附图4所示，附图5为采用本申请提供的方法进行去噪后的图像。

附图6为采用BM4D对图3所示的原始图像进行去噪后的图像，附图7为采用TDL对图3所示的原始图像进行去噪后的图像，BM4D为基于三维块匹配算法的图像序列去噪方法，TDL与BM4D均属于一种高斯去噪方法。

附图8为采用TRPCA对图3所示的原始图像进行去噪后的图像，TRPCA为张量鲁棒主成分分析法。

可以明显看出，BM4D几乎不能去除噪声，采用TDL与TRPCA能够去除部分噪声，但会严重破坏图像结构，相比之下，采用本申请的方法不仅能够有效去除噪声，还能够保留图像的部分纹理与细节，更佳接近无噪图像。

采用PSNR作为评价指标，上述方法的降噪结果对比表如下：

psnr是“Peak Signal to Noise Ratio”的缩写，即峰值信噪比，是一种评价图像的客观标准，其值越大表示去噪效果越好。根据上表不难看出，在其数据存储位置Chart-and-stuffed-toy中调用不同的图像，针对不同数据与不同噪声的情况，本申请的方法都能够获得较大的PSNR值，说明图像的不可感知性越好，也即图像质量越好，这也证明了该方法优良的鲁棒性。

参照附图9，基于与前述实施例中同样的发明构思，本申请实施例还提供一种图像噪声去除装置，该装置包括：

获取模块，获取模块用于获取原始图像；

去噪模块，去噪模块用于将原始图像输入去噪模型，获得目标图像；其中，去噪模型包括第一部分与第二部分，第一部分基于指数幂混合对噪声成分建模获得，第二部分基于低秩张量奇异值分解对无噪成分建模获得，无噪成分与噪声成分基于对若干含噪图像分解获得。

本领域技术人员应当理解，实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际应用时可以全部或部分集成到一个或多个实际载体上，且这些模块可以全部以软件通过处理单元调用的形式实现，也可以全部以硬件的形式实现，或是以软件、硬件结合的形式实现，需要说明的是，本实施例中图像噪声去除装置中各模块是与前述实施例中的图像噪声去除方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述图像噪声去除方法的实施方式，这里不再赘述。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如本申请实施例提供的图像噪声去除方法。

基于与前述实施例中同样的发明构思，本申请的实施例还提供一种电子设备，包括处理器及存储器，其中，

存储器用于存储计算机程序；

处理器用于加载执行计算机程序，以使电子设备执行如本申请实施例提供的图像噪声去除方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（HTML，Hyper TextMarkup Language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本申请各个实施例所述的方法。

综上，本申请提供的一种图像噪声去除方法、装置、存储介质及电子设备，该方法包括：获取原始图像；将原始图像输入去噪模型，获得目标图像；其中，去噪模型包括第一部分与第二部分，第一部分基于指数幂混合对噪声成分建模获得，第二部分基于低秩张量奇异值分解对无噪成分建模获得，无噪成分与噪声成分基于对若干含噪图像分解获得。本申请的方法通过对噪声成分与无噪成分分布建模，利用指数幂混合分布建模高维噪声数据中的复杂噪声，利用低秩张量奇异值分解建模噪声中的低秩成分，也即无噪成分，而无噪成分与噪声成分又来自于对含噪图像的分解，一方面使模型能够学习到含噪图像的分布，快速、准确地将原始图像进行分解；另一方面能够学习到噪声分量，从而更好地从噪声干扰的多维数据中恢复出真实的低秩张量，并保留图像的细节信息，也即对含噪图像进行去噪后尽可能多地保留无噪成分进行输出，有效提升了对含噪图像上噪声去除的质量。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。