一种荧光显微图像下的微液滴自动检测方法

技术领域

本发明涉及一种基于微液滴的微流控系统，尤其是涉及一种荧光显微图像下的微液滴自动检测方法。

背景技术

基于微液滴的微流控系统是一个极具发展前景的超小体积、高通量的化学和生物实验平台，在单细胞分析、数字PCR和高通量筛选等领域都取得了巨大的进展。在基于液滴的微流体系统的开发和应用中，微液滴的定性和定量分析能力起着至关重要的作用。通过液滴微流控技术的应用，可以将对待检测样本溶度等定量生物特性的检测分析转化到对微液滴的定量分析之中。微液滴的定量分析往往需要借助荧光显微成像技术的辅助以及对微液滴荧光图像的分析处理。但是，由于针对微液滴的图像检测方法的缺乏，荧光微液滴图像的计数、检测、分析等操作，大都依赖于生物科研工作对荧光图像的解读，所需时间长，工作负担大。为了提高诊断效率，降低生物科研工作者的工作负担，自动化的荧光斑点检测方法受到了广泛的研究和关注。微液滴荧光显微图像(Fluorescence microscopic images ofmicro-droplets,FMIM)是指微液滴目标经过荧光显微镜后得到的荧光显微图像。该类图像不含有自由酶引发的背景荧光，仅包含两部分检测目标：能够发出亮光的荧光微液滴和不发光的空微液滴。空微液滴由于在图像中的亮度等特征信息过于微弱，是这类图像中最难检测的目标。

目前没有专门针对微液滴检测分析的研究和方法提出，但很多学者对荧光斑点检测的方法进行了研究，荧光斑点与微液滴结构特征类似，因此，荧光斑点检测方法的发展现状可以反映微液滴检测方法的技术发展现状。该领域下的研究方法主要包括以下几种，Zhang,B,提出了基于多尺度方差稳定性变换(MSVST)的方法，该方法根据图像不同结构特征间的小波特性，滤除图像中噪声，检测出荧光斑点的数量，该方法能够很好的区分目标信息和背景信息，但这种方法无法有效区分待检测斑点与其它的非斑点检测目标，常会出现误检测和漏检测的问题；Rezatofighi提出一种基于最大概率高度圆顶的目标检测算法(MPHD)，该方法根据图像的局部特性自适应的提取图像中的圆顶区域来检测荧光斑点，该方法对亮度显著的或分散的斑点目标具有非常好的检测，但当斑点粘连，或是没有显著的圆顶特征时，该方法表现较差；Jaiwal等提出了一种基于多尺度圆点增强滤波算法(MSSEF)来检测荧光斑点，该方法通过选取不同尺度的拉普拉斯高斯滤波核来对目标图像进行滤波，从而获取不同尺度检测下的荧光斑点数量，该方法能够明显改进多斑点粘连区域的检测效果，然而，该方法选择的参数依赖于图像整体的均值和方差，面对种类多变的复杂荧光图像，其检测效果变化较大，难以保证检测准确性；Basset等提出了选择最优高斯拉普拉斯(LoG)尺度或针对不同斑点大小的多尺度LoG检测算法，该方法在传统的LoG方法上进行了改进，与MSSEF类似，多尺度信息提供了更高的检测准确度，降低了漏检率。但实践中最优的尺度信息难以获得，检测目标特征微弱时，面临和MSSEF一样的问题。

如上所述，这些主流的方法在某些荧光斑点图像中会取得较好的检测效果，但对于微液滴荧光显微图像(FMIM)，仍然存在以下缺陷：

第一，FMIM中空微液滴的亮度特征十分微弱，图像中噪声强度与空微液滴的亮度强度近似，因而对空微液滴的检测造成极大影响。利用上文所述方法难以有效的滤除图像噪声，同时保留图像中的微液滴亮度特征；其次，现有方法大都根据图像中检测目标与背景显著的亮度差异来区分和识别，在亮度特征十分微弱的情况下，难以有效识别图像中的空微液滴。

第二，FMIM中空微液滴大量粘连聚集，同时图像中还有一些非微液滴目标的其他结构干扰检测结果，上述提到的方法检测结果会出现较多的错误检测和漏检测问题。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷而提供一种荧光显微图像下的微液滴自动检测方法。

本发明的目的可以通过以下技术方案来实现：

一种荧光显微图像下的微液滴自动检测方法，包括以下步骤：

S101，对带噪声的FMIM灰度图进行高斯噪声变换；

S102，对步骤S101获得的图像降噪后进行高斯噪声逆变换，获得降噪后的微液滴图像；

S103，对降噪后的微液滴图像进行自适应对比度增强，获得微液滴增强结果图；

S104，提取微液滴增强结果图的类Radon特征，获得边缘特征图；

S105，分别对步骤S102获得的降噪后的微液滴图像及步骤S104获得的边缘特征图进行微液滴目标检测；

S106，合并步骤S105中两类图像的微液滴目标检测结果，将两类结果中圆心坐标差的绝对值和小于判别阈值的微液滴目标视为一个微液滴进行计数，得到最终的微液滴检测数目。

进一步地，所述步骤S102中，基于自适应聚类和渐进PCA近似的图像降噪算法进行图像降噪，具体过程包括：

S201，将整个图像划分为重叠的若干图像块，估计全局噪声水平；

S202，基于估计的全局噪声水平，使用“过聚类-迭代合并”的方式进行图像块的自适应聚类，获得多个类矩阵；

S203，基于Marchenko-Pastur定律将所述类矩阵转化为低秩类矩阵；

S204，使用LMMSE降噪方法，对所述低秩类矩阵在PCA变换域上的每个变换带上进行局部估计的降噪处理；

S205，将降噪处理后的矩阵变换为空间域，得到降噪后的微液滴图像。

进一步地，所述自适应聚类中，采用K-means方法进行聚类。

进一步地，所述LMMSE降噪方法中，LMMSE估计子参数通过局部平均的方式获得。

进一步地，所述步骤S103中，采用基于亮度图的低亮度图像增强算法进行自适应对比度增强，具体过程包括：

S301，以降噪后的微液滴图像作为初始化亮度图

S302，求解目标函数优化问题获得精确的亮度图T，所述目标函数优化问题的表达式为：

其中，α为调节系数，

S303，对亮度图T进行Gamma校正后，获得增强后的结果图

S304，对增强后的图像运用BM3D算法进行局部自适应降噪重组，得到最终的微液滴增强结果图R

进一步地，所述加权矩阵采用以下三种方式中的任一获得：

1)W

2)

3)

其中，W

进一步地，所述类Radon特征的提取过程包括：

S401，对微液滴增强结果图J(x,y)进行变换：

式中，σ和φ表示基于二阶高斯微分的边界增强滤波器ΔG(σ,φ)的尺度大小和方向角，

S402，运用下式对图像求取类Radon特征：

Ψ(p,l,t

其中，T(·)为类Radon特征提取函数，l表示获取特征所用的有方向的射线，其角度变化范围为(0,2π)，(t

进一步地，所述方向角φ取值范围为

进一步地，所述步骤S105中的微液滴目标检测具体包括：

S501，对图像采用形态学顶帽变换和Otsu阈值化算法相结合的自适应阈值分割法，获取相应的二值分割图；

S502，使用改进的Hough圆变换算法检测微液滴目标，并计数。

进一步地，所述步骤S502具体包括：

S521，基于所述二值分割图获得边缘图像L，将L的边缘像素指定为候选像素，采用投票获得累计矩阵A(a)，A(a)表示半径和圆心固定的圆的权重；

S522，对于每一个像素x，将所有满足圆的解析表达式f(x,a)＝0的A(a)的单元累加，然后检测累计矩阵中的局部峰值，将其设置为圆心；

S523，根据每个圆心周围的半径直方图确定半径；

S524，设置待检测的微液滴目标的检测半径范围(r

与现有技术相比，本发明具有如下有益效果：

第一，本发明提出了一种特别的用于荧光显微图像中目标检测的检测思路，即通过检测待检测目标的边缘特征，充分利用微液滴的几何结构特征，根据边缘特征的检测结果来获取检测目标的精确计数结果。该方法为荧光显微检测应用提供了新的解决思路。

第二，本发明首先对带噪声的FMIM灰度图进行高斯噪声变换，将泊松高斯混合噪声变换为高斯噪声，有利于后续处理，提高效率。

第三，本发明对图像依次进行降噪、增强、边缘提取等操作后进行微液滴目标检测，检测结果更加准确可靠。

第四，本发明首次提出将自适应聚类和渐进PCA近似的图像降噪算法和基于亮度图估计的低亮度图像增强方法用于自动化微液滴检测框架之中，这两种先进的图像处理算法确保了微液滴自动检测的可行性和准确性。

第五，本发明采用形态学顶帽变换和Otsu阈值化算法进行自适应阈值分割，并采用改进的Hough圆变换算法检测微液滴目标，检测精度高。

第六，本发明的识别准确率优于MSVST、MPHD等现有主流算法。

附图说明

图1为本发明的流程图；

图2为微液滴荧光显微图像下不同算法的检测结果图，其中，(2a)FMIM原图，(2b)为MSVST检测结果图，(2c)为MPHD检测结果图，(2d)为本发明提出方法的处理结果图；

图3为几种微液滴图像检测算法的TPR、FPR

图4为局部替换后的算法对比结果图，其中，(4a)为FMIM原图，(4b)为降噪环节替换为BM3D的结果图，(4c)为增强环节替换为CLAHE的检测结果图，(4d)为本发明提出方法的检测结果图；

图5为局部替换方法后的TPR和FPR

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明提供一种荧光显微图像下的微液滴自动检测方法，该方法运行在Matlab中，通过图像变换、降噪获得降噪后的微液滴图像，并进一步对降噪后的微液滴图像进行增强、边缘特征提取等处理，分别对获得的两类图像进行微液滴目标检测，结合后获得最终的微液滴检测数目。

该方法具体包括：

步骤S101，对带噪声的FMIM灰度图进行高斯噪声变换，具体是泊松高斯混合噪声变换为高斯噪声。

本实施例中，采用基于像素的Anscombe变换进行高斯噪声变换。给定的带噪声的FMIM灰度图的图像大小为a×b，按像素进行Anscombe变换操作，变换公式为：

其中，I(x,y)表示给定坐标(x,y)下的灰度值。

需要说明的是，Anscombe变换不只包含这一种变换形式，也可使用其他变换形式实现相同的高斯噪声变换功能。

步骤S102，对步骤S101获得的图像降噪后进行高斯噪声逆变换，获得降噪后的微液滴图像。本实施例中高斯噪声逆变换为Anscombe变换。

该步骤中，基于自适应聚类和渐进PCA近似的图像降噪算法(AC-PT)进行图像降噪，具体过程包括：

S201，将整个图像划分为重叠的若干图像块，估计全局噪声水平。

将整个图像划分为重叠的d

其中，1(·)表示一个指示函数，

S202，基于估计的全局噪声水平，使用“过聚类-迭代合并”的方式进行图像块的自适应聚类，获得多个类矩阵。

在过聚类过程中，使用K-means方法加速和改善聚类效果：第一阶段，将聚类数量设置为

S203，基于Marchenko-Pastur(MP)定律将所述类矩阵转化为低秩类矩阵，来移除每个类矩阵中绝大多数的噪声。

令X表示任一带噪声的类矩阵X

其中阈值

S204，使用LMMSE降噪方法，对所述低秩类矩阵在PCA变换域上的每个变换带上进行局部估计的降噪处理。

本发明微液滴自动检测方法采用细节保留降噪算法进行降噪处理，上述降噪算法是本发明的一种选择，也可采用其他类型的细节保留降噪算法。

去除绝大多数噪声之后，得到了秩为r

则软阈值操作符w

对于参数

其中ζ控制用于平均的相邻系数的数目，本发明默认将其设为1来获得令人满意的效果。

S205，将降噪处理后的矩阵变换为空间域，得到AC-PT降噪后的微液滴图像。

步骤S103，采用基于亮度图的低亮度图像增强算法(LIME)对降噪后的微液滴图像进行自适应对比度增强，获得微液滴增强结果图。给定初始亮度图

其中，α为调节系数，

基于亮度图的低亮度图像增强算法的具体步骤包括：

S301，以降噪后的微液滴图像作为初始化亮度图

策略1：

W

策略2：

策略3：

其中，其中，W

函数dist(x,y)表示测量位置x和y之间的欧几里得距离。

S302，利用增广拉格朗日乘法器(Augmented Lagrangian Multiplier，ALM)的精确求解算法求解目标函数优化问题获得精确的亮度图。

S303，通过T←T

S304，对增强后的图像运用BM3D算法进行局部自适应降噪重组，得到最终的微液滴增强结果图R

其中R

上述基于亮度图的低亮度图像增强算法(LIME)是本发明进行自适应对比度增强的一种选择，也可以采用其他微弱发光对比度增强算法进行对比度增强。

步骤S104，采用类Radon提取算法对微液滴增强结果图进行边缘特征提取与增强，获得边缘特征图，具体包含以下几个步骤：

S401，对微液滴增强结果图J(x,y)进行变换：

式中，σ和φ表示基于二阶高斯微分(Gaussian Second Derivative,GSD)的边界增强滤波器ΔG(σ,φ)的尺度大小和方向角，

S402，运用下式对图像求取类Radon特征：

Ψ(p,l,t

其中，T(·)为类Radon特征提取函数，l表示获取特征所用的有方向的射线，其角度变化范围为(0,2π)，改变不同的角度，则可得到不同的类Radon特征值。(t

对K(x,y)运用Canny边缘提取算法，得到初步的边缘特征图，类Radon特征的结点则可以由这一边缘图确定。类Radon特征提取函数则如下所示：

这一提取函数简单地将结点t

步骤S105，分别对步骤S102获得的降噪后的微液滴图像及步骤S104获得的边缘特征图进行微液滴目标检测。

微液滴目标检测具体包括：

S501，对图像采用形态学顶帽变换(MTH)和Otsu阈值化算法相结合的自适应阈值分割法，获取相应的二值分割图。

MTH算法通过以下公式实现：

其中，f和B分别表示灰度图像和结构元素，

对MTH处理后得到的结果图像应用Otsu阈值提取算法，求解分割待检测微液滴边缘特征的最佳分割阈值，变换MTH灰度结果图为二值图。

S502，使用改进的Hough圆变换算法检测微液滴目标，并计数。

改进的Hough圆变换算法的具体步骤如下：

S521，累计矩阵计算。在二进制图上执行Sobel边缘检测算法以获得边缘图像(L)。L的边缘像素被指定为候选像素，并且允许在累计矩阵A(a)中进行“投票”，A(a)表示半径和圆心固定的圆的权重。其中，a＝{i,j,r}。开始时，A(a)的所有元素都设置为0。

S522决定圆的中心坐标。对于荧光图像的每一个像素x，其空间坐标为(x

f(x,a)＝(x

然后，检测累计矩阵中的局部峰值，并将其作为圆心。

S523，根据每个圆心周围的半径直方图确定半径。

S524，设置待检测的微液滴目标的检测半径范围(r

步骤S106，合并步骤S105中两类图像的微液滴目标检测结果，将两类结果中圆心坐标差的绝对值和小于判别阈值的微液滴目标视为一个微液滴进行计数，得到最终的微液滴检测数目，从而确保了对图像中所有微液滴检测计数的准确性。在某些实施例中，阈值t可设置为8。

为了验证本发明的性能，本实施例在来自上海交通大学纳米生物医学中心(NanoBiomedical Research Center,NBRC)的FMIM上进行了实验，所获取的微液滴图像都是在荧光完全显影后，用IX73倒置显微镜在100倍放大后拍摄得到的，图像中微液滴的直径大小近似为30μm。用于测试的图像样本有15幅，其分辨率为1920×1080，像素位深为16。在一台处理器为英特尔Core i7-8550U的四核1.8GHz的CPU和16GB内存的笔记本电脑中运行。本发明使用的改进Hough圆算法检测的半径范围参数设置为(16，32)。MTH变换结构元素B设置的大小为5，呈圆盘状。

本发明将本发明提出的方法那与前文提到的MSVST、MPHD两种算法进行了对比实验分析，此外还将步骤S102、S103使用的降噪、增强算法分别替换为广泛使用的BM3D降噪算法和有背景下FMIM图像中表现良好的CLAHE算法，然后进行了分析比较。下文给出了定性和定量的对比分析结果。首先直接的视觉结果图呈现了不同算法的微液滴检测结果，定性衡量检测算法的优劣。其次，本发明通过人工检测的方式对微液滴进行手动计数，获取真实微液滴检测结果，然后通过真阳性率(TPR)、修正的假阳性率(FPR

其中N

表1多种微液滴检测算法的TPR、FPR

表2多种微液滴检测算法的F-测度指标对比结果表

图4、图5、表3和表4给出了局部算法替换后的对比分析结果。其中BM3D+表示用BM3D替换AC-PT后的微液滴自动检测算法，CLAHE+表示用CLAHE替换LIME后的微液滴自动检测算法，三种对比算法下的F-测度的平均值和标准差分别为0.5701±0.3236、0.9489±0.0461、0.9824±0.0171。综合指标分析表明，本发明采用的AC-PT算法和LIME算法能够使得本发明提出的微液滴自动检测方法取得最好的检测结果。

表3局部替换方法后的TPR和FPR*对比结果表

表4局部替换方法后的F-测度对比结果表

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。