使用局部信噪比的去卷积装置和方法

技术领域

本发明涉及一种用于数字图像恢复的方法和装置，特别是来自显微镜或内窥镜的数字输入图像。

背景技术

在图像处理的领域，已知去卷积可以提高分辨率并减少数字输入图像中的噪声。去卷积的基本假设是，观察到的数字输入图像I(x

其中h(x

数字输入图像可以是二维或更高维的。因此，一般而言，输入图像可以是n维的，n是大于1的整数，n≥2。

在每个输入体素x

此处和下文中，输入体素标记在输入图像中的位置x

为了对嘈杂的输入图像进行去卷积，需要有关信噪比的知识。实际上，必须估计图像噪声和信噪比。因此，去卷积仅允许计算真实输入图像

标准去卷积算法无法在诸如显微镜或内窥镜之类的特定应用中提供最佳结果，在这些特定应用中，尤其是荧光图像的图像特性不同于诸如肖像、风景、娱乐或艺术图像等其他应用中遇到的图像特性。此外，特别是考虑到现代图像的空间分辨率的提高，实时执行详细的估算和信噪比的计算很快变得繁重，尤其是在去卷积必须赶上高帧频，诸如60Hz的速度的情况下。

发明内容

因此，本发明的目的是提供一种具有改善的去卷积性能的装置和方法，特别是在荧光、内窥镜和/或显微镜图像的情况下。此外，本发明的目的是提供一种能够实时对高分辨率数字输入图像进行卷积的装置和方法。

根据本发明，此目的通过根据权利要求1的方法来解决，所述方法涉及一种用于对具有多个输入体素的数字输入图像进行去卷积的方法，所述数字输入图像特别是从显微镜或内窥镜获得的和/或使用荧光获得的数字输入图像，所述方法包括以下步骤：

计算数字输入图像的输入区内的局部信噪比，所述输入区由数字输入图像的多个输入体素的子集组成并且围绕当前输入体素；

根据局部信噪比计算噪声分量，所述噪声分量表示去卷积中的图像噪声；

其中，对于高于预定的上SNR阈值的局部信噪比，噪声分量被限制为预定的最小噪声值，且对于低于预定的下SNR阈值的局部声噪比，噪声分量被限制为预定的最大噪声值。

此外，根据本发明，通过根据权利要求13的用于医学观察装置的图像处理器也解决了上述目的，所述图像处理器包括：

用于存储包括多个输入体素的数字输入图像的存储或存储器部分，以及

去卷积引擎，用于从多个输入体素计算去卷积的输出图像；

其中，去卷积引擎包括噪声分量，所述噪声分量取决于输入体素上的局部信噪比，所述局部信噪比是在由数字输入图像的多个输入体素的子集组成的输入区中进行计算的；

其中，图像处理器包含预定的上SNR阈值和预定的下SNR阈值；以及

其中，对于高于预定的上SNR阈值的局部信噪比，噪声分量被限制为预定的最小噪声值，并且对于低于预定的下SNR阈值的局部声噪比，噪声分量被限制为预定的最大噪声值。

根据本发明的解决方案通过使用仅针对输入区计算的局部信噪比，来提高去卷积后的输出图像的质量，即降低的噪声和增加的清晰度。同时，本发明的方法和装置通过将加性噪声分量的计算限制在输入体素周围的局部输入区并通过引入较高的和下SNR阈值来实现计算优势。

通过本发明的方法和装置获得的输出图像的质量提高的一个原因可能是，特别是在诸如通过显微镜和内窥镜和/或通过使用荧光获得的生物物质的图像中，噪声的特性在整个数字输入图像中可能不同。例如，图像的区中的噪声特性处于焦点位置并显示出细胞或组织的照明或发荧光部分，其可能与大部分包含黑色或白色背景的区不同。

此外，已经观察到，对于高于预定的上SNR阈值的较大的局部信噪比，图像足够好，并且不需要对正则化参数执行进一步的计算。因此，对于高于预定的上SNR阈值的信噪比，可以将噪声分量设置为预定的最小噪声值。

此外，已经观察到，对于非常小的局部信噪比，SNR<1甚至SNR＜＜1，允许噪声分量增加到预定的最大值以上不会导致去卷积的输出图像中更好的结果。因此，如果信噪比下降到预定的下SNR阈值以下，则将噪声分量限制为预定的最大SNR值。

通过添加以下一个或多个以下特征可以进一步改善根据本发明的解决方案，这些特征可以彼此独立地组合。

例如，图像处理器可以是软件设备、硬件设备或硬件设备和软件设备两者的组合。图像处理器可以包括CPU、阵列处理器、GPU、ASIC、FPGA和/或FPU中的至少之一。图像处理器可以特别地适于执行阵列和/或并行地处理组装。图像处理器可以包括一个或多个软件模块，所述软件模块在操作中例如通过改变晶体管状态，来改变处理器的物理结构。

信噪比SNR(x

在另一个实施例中，信噪比可以被计算为

一旦已经针对数字输入图像的所有输入体素x

优选地，仅将当前体素周围的预定地输入区中的像素用于计算在该特定当前体素处的局部信噪比。特别地，可以仅在(相同)输入区中分别计算噪声电平N(x

根据一个实施例，可以通过将输入区R(x

其中Ω是进行卷积的区。

根据一个实施例，输入区可包含200至1000个输入体素，更优选地300至700个输入体素，并且最优选地约500个输入体素。此大小的输入区足够大，可以给出可靠的统计估计值，但同时又不能太大，以至于无法扩展到图像中具有不同噪声特性的区。

模糊核可以是线性滤波器，诸如高斯滤波器，例如具有以下形式：

其中，0.5<σ

根据另一个实施例，在一个有利的实施例中，可以通过如下基于输入区中的数字输入图像计算方差来估计输入体素x

在此，I′(x

特别地，

在输入体素x

在一个实施例中，可以将方差计算为

其中

为了计算(局部)信噪比SNR(x

如上所述，可以仅在输入区R(x

输入区优选地是输入体素的连续区。输入区优选围绕当前的输入像素或体素，为其计算信噪比SNR(x

优选地，在输入区考虑输入体素以计算信号和/或噪声电平，输入区具有至少两倍的对称性。输入区可以通过多个较小的n维长方体区与n维长方体形状偏离，每个区均是连续的。例如，在二维情况下，输入区可以与矩形或正方形相差一个或多个矩形，它们本身不是输入区的一部分。

特别地，输入区可以是输入体素的n维高斯、圆形、墨西哥帽或星形的连续布置，或其离散近似，特别是包括多个输入体素的矩形。

输入区可以具有通过叠加输入像素的多个n维长方体区而得到的形状。在二维情况下，输入区可以由矩形的叠加构成，每个矩形可以包括至少2×2或4×4的体素。

根据一个实施例，与在输入区中与当前输入体素间隔更远的输入体素相比，可以将更大的权重分配给更靠近计算噪声电平的当前输入体素的输入区中的输入体素。这样的加权导致平滑地从输入区向其边界淡出，从而导致局部噪声电平在输入体素上的平滑分布。

优选地，使用区域求和表来完成在输入区内使用

对于需要在输入区上求和的每个参数，可以生成单独的求和区表，最好在计算噪声电平之前。

例如，当将方差计算为

至少一个区域求和表可以是图像处理器的一部分，例如，通过至少暂时存储在图像处理器的存储部分中和/或通过指令分配图像处理器的存储器来存储区域求和表。

根据方差来定义噪声电平，然后使用区域求和表来计算方差，这会生成计算效率很高的去卷积算法，从而大大减少了计算多个局部信噪比所需的额外负担，而不是创建单个全局信噪比。

每个求和区表是具有与输入图像相同维数的值的数字阵列。

尽管上面描述了可以通过计算输入区中导数值的方差，即第二统计矩，来估计噪声电平，但也可以使用较高的第n个统计矩作为计算噪声电平。一般而言，第n个统计矩

也可以使用区域求和表来计算。

通过使用区域求和表，可以通过选择区域求和表内的相对于当前输入体素的坐标来隐式定义输入区的大小和形状，坐标定义求和值的块，即n维长方体，用于计算统计矩。通过组合区域求和表的块以构造输入区，位于块重叠处的输入体素将自动获得较大的权重。在这种情况下，优选的是，块的重叠位于输入区的中心。因此，可以自动为此区分配更大的权重。

在根据本发明的图像处理器的情况下，图像处理器可以包括区域求和表生成器，区域求和表生成器被配置为计算区的区域求和表并且使用区域求和表计算噪声电平。区域求和表生成器可以是硬件设备、软件设备或硬件和软件设备两者的组合。

为了进一步提高计算效率，可以通过并行计算前缀和来生成输入区的至少一个区域求和表。为了快速地执行此步骤，图像处理器，或者特别是区域求和表生成器优选地包括至少一个前缀和生成器，其可以是硬件设备、软件设备或两者的组合。硬件设备可以包括阵列处理器，诸如GPU，或者并行处理组装，包括多个GPU、CPU和/或FPU。软件设备可以包括用于硬件设备的指令集。在操作中，由于软件设备的指令集来执行前缀和的并行计算，因此硬件集可以改变其结构。前缀和生成器被配置为以并行方式计算前缀和。

去卷积可以使用不同的方法来完成。

例如，可以使用维纳滤波器来进行维纳去卷积。在此实施例中，可以从观察到的图像估计输出图像f(x

其中

是维纳滤波器。项β是维纳滤波器的噪声分量，在一个优选实施例中，将其选择为取决于如上所述的局部信噪比SNR：β＝β(SNR(x

在另一个实施例中，可以使用最大后验去卷积，诸如露西-理查森去卷积。露西-理查森去卷积例如在以下中进行了描述：Fish D.A.；Brinicombe A.M.；Pike E.R.；WalkerJ.G.:"Blind deconvolution by means of the Richardson–Lucy algorithm(通过Rich-ardson-Lucy算法进行盲去卷积)",Journal of the Optical Society of America A,12(1)，第58-65页(1995)。露西-理查森去卷积可以特别使用缩放梯度投影来提高计算性能。

在露西-理查森去卷积中，对输出图像执行以下迭代计算：

在第k次迭代中，使用f

正则化函数R

项b(x

在导致特别清晰的去卷积图像的实施例中，如果局部信噪比高于预定的下SNR阈值，则背景参数达到最小值。附加地或可替代地，如果局部信噪比低于预定的上SNR阈值，则背景参数可以达到最大值。

背景参数可以包括取决于噪声电平的缩放因子，例如，以上针对整个输入图像进行了计算。

参数β对应于去卷积的噪声分量，并且在本发明的一个实施例中被选择为取决于局部信噪比：β：＝β(SNR(x

与应用于数字输入图像的特定去卷积方法无关，噪声分量β(SNR)被计算为局部信噪比的连续函数。特别地，噪声分量可以是在预定下SNR阈值SNR

特别地，取决于

根据一个特定实施例，其导致良好的去卷积结果的，β

特别是对于由显微镜或内窥镜记录的数字输入图像，正则化参数被截断的预定的最大SNR值SNR

如果在SNR＝0和/或在预定的最大SNR值SNR

根据另一优选实施例，导致良好的去卷积结果，使用以下公式计算噪声分量β：

其中，SNR

上述目的还通过一种医学观察设备来解决，诸如显微镜或内窥镜，医学观察装置在上述实施例的至少一个中包括图像处理器。

最后，本发明还涉及一种存储程序的非暂时性计算机可读介质，所述程序使计算机执行上述任一实施例中的图像处理方法。

附图说明

在下文中，使用一个或多个实施例参照附图描述本发明的实际实现。该描述仅用作示例，绝不将本发明及其特征限制为在附图中示出并在下面解释。相反，实施例中示出的特征的组合可以如上文所描述的那样被改变。例如，如果对于特定实施方式不需要其一个或多个特征或其技术效果，则可以省略实施例的一个或多个特征。同样，如果一个或多个特定特征的技术效果对于特定应用有利，则可以添加一个或多个上述特征。

在附图中，相同的附图标记用于关于结构和功能中的至少一个彼此对应的元件。

在图中：

图1示出了根据本发明的医学观察装置的示意图。

图2示出了输入区的示例。

图3示出了根据本发明的方法的示意性流程图。

图4示出了去卷积之前的输入图像。

图5示出了使用已知的去卷积方法从图3的输入图像计算出的输出图像。

图6示出了使用根据本发明的去卷积从图3的输入图像计算出的输出图像。

具体实施方式

首先，参考图1描述根据本发明的图像处理器1的结构。图像处理器1可以包括一个或多个硬件组件2，诸如存储器4和集成电路6。集成电路6可以包括至少一个CPU、GPU、FPU、ASIC FPGA和/或其任何组合。图像处理器1可以是计算机8的一部分，诸如个人计算机、笔记本电脑或平板电脑。代替一个或多个硬件组件2或除了一个或多个硬件组件2之外，图像处理器1可以包括被配置为在一个或多个硬件组件2上运行的软件。

如在图1中示例性地示出的，图像处理器1可以是医学观察设备10的一部分，诸如显微镜12(示出)，特别是共焦扫描显微镜或内窥镜(未示出)。

使用诸如具有透镜16的相机14的光学记录设备，医学观察设备10记录包括输入体素x

相机14可以是RGB相机、单色相机、多光谱或高光谱相机或包括这样的相机的组合的组件，可以组合图像。相机14尤其可以是对光谱带敏感的相机，在光谱带中荧光团发射荧光。

数字输入图像I(x

在内窥镜的情况下，显微镜12的透镜16可以由光纤代替。另外，出于本发明的目的，内窥镜和显微镜可以被认为是相同的。

图像处理器1可以包括几个组件，类似于图像处理器1本身，每个组件可以被配置为硬件设备、软件设备或者硬件和软件设备的组合。

例如，图像处理器1可以包括用于输入数字输入图像I(x

图像处理器1可以进一步包括输出接口24，用于将去卷积的数字输出图像f(x

一个或多个显示设备26可以有线和/或无线地连接到输出接口24。输出接口24可以采用一种或多种数据传输标准，以将去卷积的数字输出图像f(x

图像处理器1被配置为执行数字输入图像I(x

在所示的实施例中，图像处理器1包括去卷积引擎34，其被配置为执行数字输入图像I(x

图像处理器1可以进一步包括区域求和表生成器36，其被配置为使用并行前缀和算法来计算数字输入图像I(x

在所示的实施例中，区域求和表生成器36被配置为计算

从区域求和表中，可以快速计算出整个图像的背景参数b

表达式

在示例性实施例中，输入图像是二维的，并且输入区由矩形构成。优选地，多个矩形在输入区R(x

在图2中示出了由三个矩形40、42、44的叠加产生的，以当前体素x

然后仅通过使用输入区R(x

接下来，再次仅使用输入区R(x

表达式k

当然，也可以使用其他模糊核。

一旦为每个输入体素x

所得的数字阵列SNR(x

如果选择使用例如在露西-理查森去卷积中，执行以下迭代以计算去卷积的输出图像f(x

直到满足以下收敛标准：

在此，f

其中，SNR

在当前实施例中，将背景参数b(x

最后，表达式V(x

如果满足收敛标准，则f

然后将输出图像f

如图3所示，可以概括由图像处理器1执行的去卷积。

在所述方法的开始，去卷积中使用的常数和函数可以由用户选择，或者自动地例如作为预设值，由图像处理器1选择。

例如，可以定义或改变上SNR阈值SNR

可以由用户例如从可用的函数的列表中选择噪声分量β(SNR(x

可以由用户选择算子

可以由用户例如从可用的滤波器的列表中选择用于模糊阵列SNR(x

可以由用户选择特定的去卷积方法。例如，用户可以在维纳去卷积和最大后验去卷积，诸如露西-理查森去卷积，之间进行选择。

如果选择了维纳去卷积，则用户可以例如从库中指定或选择传递函数，诸如适用于当前记录系统的点扩散函数。可替代地，传递或点扩散函数可以存储在存储器或存储部分中，并且可以根据显微镜或内窥镜的设置自动确定，例如通过自动检测当前使用的镜头类型。

如果使用露西-理查森去卷积，则可以由用户例如从可用的函数的列表中选择正则化函数R

用户可以定义输入区R(x

此外，用户可以设置和/或改变在去卷积中使用的任何常数。

在步骤50中，获取数字输入图像I(x

在下一步骤52中，优选地使用诸如前缀和之类的并行算法从输入图像I(x

一旦区域求和表38可用，就在步骤54中仅使用当前体素x

在计算去卷积之前的任何时间，如上所述，针对输入图像I(x

一旦信号电平S(x

对于每个体素x

在步骤62，执行去卷积并且计算输出图像f(x

如步骤64所示，输出图像f(x

在步骤66，可以将输出图像f(x

从图4到图6，输入图像I(x

在图6中，示出了在本发明的示例性实施例的上下文中描述的使用去卷积的结果。

图5和图6的比较清楚地表明，与传统的去卷积相比，根据本发明的实施例的去卷积能够更有效地减小噪声并且呈现更精细的细节。

同时，尽管原则上，使用局部信噪比与使用全局信噪比相比，局部信噪比在计算上更加繁琐，根据统计矩和用前缀和计算出的区域求和表来定义噪声电平，可以快速计算出去卷积后的输出图像f(x

参考数字

1 图像处理器

2 硬件组件

4 存储器

6 集成电路

8 计算机

10 医疗观察设备

12 显微镜

14 相机

16 透镜

18 输入图像的时间序列

20 输入接口

22 相机和图像处理器之间的连接

24 输出接口

26 显示设备

28 目镜

30 监视器

32 虚拟现实眼镜

34 去卷积引擎

36 区域求和表生成器

38 区域求和表

40、42、44 组成输入区的矩形

50 获取数字输入图像的步骤

52 计算区域求和表的步骤

54 计算噪声电平的步骤

56 计算信号电平的步骤

58 计算信噪比的步骤

60 使信噪比阵列模糊的步骤

62 通过对输入图像进行去卷积计算输出图像的步骤

64 输出图像的后处理

66 显示和/或存储输出图像的步骤

b

f(x

f

h(x

I(x

k

N(x

R(x

R

S(x

SNR(x

SNR

SNR

V(x

x

a,b,c,n,x,y 坐标，变量

β(x

β

β

Ω 输入图像的区，在其中执行操作