一种数字显微镜图像快速拼接融合方法

技术领域

本发明涉及光学显微成像、图像拼接技术领域，特别是一种数字显微镜图像快速拼接融合方法。

背景技术

近自显微镜发明以来，在各个学科的研究和应用领域发挥着重要作用，科技发展又对显微镜提出了更高的要求。目前在显微镜观测条件下，采集大量相互具有重叠的高分辨率图像，如果在手动条件下，要求拼接成超高分辨率大视野图像，在保证精确、快速的同时将非常耗费时间。由于现有成像系统均受限于其光学系统数值孔径，所以很难做到大景深与高分辨率兼备，采集高分辨率的大景深图像也是一个难题。医学显微图像的应用研究领域中，越来越倾向于得到大视野且高分辨率图像，但是，由于光学显微镜物镜放大倍率越大，视野就越小，两者的相互矛盾使得在高分辨率条件下，在同一时刻只能采集到小视野的待测样品图像。但是通过图像拼接技术，将多幅高分辨率图像拼接，不仅可以保证观察视野的完整性，而且满足图像高分辨率观测任意细节的要求。经过近年来研究者的不断努力，基于计算显微成像系统的图像拼接技术促进了医学“远程诊断”的发展，在进行远程诊断过程中，通过互联网远距离传送医学图像要求在远程的另一端医生能够对图像进行细节放大处理，而且要求获得大视野高分辨率兼备的医学图像，进而进行医学诊断与救助的工作。图像拼接的目的就是将一系列有重叠边界的图像进行拼合，从而得到超宽视角的图像。

在图像拼接技术中图像配准和融合是该技术的两个核也模块，两者相互关联相辅相承，图像配准是融合的基础。图像配准是指利用图像的特点找到两幅图像重叠区域之间的对应变换关系，然后根据这种对应关系将两幅有重叠区域的图像对准。配准是图像拼接技术的核心，配准算法的选择直接关系到能否成功拼接以及拼接速度。经过图像配准，我们就能得到两幅连续且有重叠区域的图像之间的相对位置关系，然后利用这种相对位置关系对两幅图片进行融合就可获得一幅大视场的图片。由于两幅图片之间的光照、噪声等因素的影响，拼接之后有可能会出现拼接缝，使用配准技术提高拼接后图像的质量。该技术主要是在找到的多种变换关系中选出最适合的变换关系，使拼接后的图像看起来更逼真。可是算法在计算精度、计算实时性及抗干扰能力之间相互矛盾，如何提高图像拼接的精度和拼接速度是目前图像处理领域的一个关键问题。

在图像拼接的研究中，根据不同的应用领域，研巧人员提出了许多图像拼接的算法。国内的图像拼接技术发展相对国外较迟缓，国内最早研究图像拼接技术也是应用在国防军事领域，国防科技大学的孙立峰利用全景图像拼接技术实现了“虚拟现实”系统。1997年，王小睿使用互相关系数作为相似度关系评估图像间的相似关系，进而提出了自动图像拼接技术。21 世纪初，随着越来越多的应用领域使用图像拼接，并对拼接的准确度要求越来越高，郭红玉、王鉴提出了一种基于 RANSAC 基本矩阵的坐标归一化方法，这对图像配准的错误匹配问题提出了有效的解决途径。2010 年，李会平基于特征提取配准算法，提出使用双向搜索的方法得到图像最大相关性特征点，该方法能够在一定程度上提高配准精度和速度。由此可见，通过科学家的不断努力，图像拼接技术已经取得了非常丰富的科研成果，越来越多的应用领域在使用图像拼接技术，这无疑将会使这项技术向更广阔的方向发展。

发明内容

为了解决显微图像中大视野与分辨率无法同时兼顾的问题，本发明提出了一种基于两步法的远心光路畸变中心定位方法。

本发明的技术方案如下：一种数字显微镜图像快速拼接融合方法，步骤如下：

步骤一，从多模态成像系统中获取图像：

通过步进电机驱动物镜移动，获取多张不同视野下的图像序列，将采集的图像序列传输到电脑，实现了显微图像的获取的图像，获取的相邻视野的图像需保持有一部分重叠的区域；以采集到的某一幅图像为基础图像

步骤二，对获取的图像进行预处理：采用高斯滤波对获取到的显微图像进行滤波处理，降低拼接图像的噪声；

步骤三，对图像进行图像配准，将预处理得到的图像通过基于相位相关的优化算法进行图像配准：

步骤3.1，计算基础图像

步骤3.2，将图像

式中

步骤3.3，使用互功率谱计算公式计算两者的互功率谱，得到结果如下：

式中

式中

步骤3.4，计算出重合区域所占原图像的比例大小

步骤3.5，使用基于模板配准的思想将这两幅图像的重合区域进行相似度评估，进一步保证重合区域的准确性，当评估结果大于预设的阈值时，表明配准是准确的，否则配准不准确，重新采集图像进行配准；

步骤四，对图像进行融合，将配准后的图像采用渐入渐出的优化算法进行图像融合，完成显微图像的拼接：

步骤4.1，对经过配准后的基础图像

步骤4.2，调整完重合区域的亮度之后，将两幅图像重合部分的像素值按照一定的权值相加，实现平滑过渡，利用渐入渐出的融合算法对图像进行融合。

优选的，步骤一中的多模态成像系统由彩色相机、多模态显微镜、步进电机及电脑组成。

优选的，步骤二具体为：使用窗口大小为3×3的卷积核对从多模态成像系统中采集到的基础图像

优选的，步骤3.4中的阈值取0.7。

优选的，步骤3.5具体为：将重合区域按照0.4倍进行降采样，假设降采样后的重合区域图像为

优选的，步骤4.1具体为：读取重合区域中心线左侧图像A点的灰度值，计算A点与区域中心线右侧对应的B点的4邻域像素点灰度值的均值，比较A点灰度值与B点4邻域平均值的大小；如果A点的值大于B点4邻域均值则A点的灰度值减去差值的一半，反之加上差值的一半，如果他们的差值在4个灰度值之内则不做处理，A点的灰度值不变；完成上述步骤后继续在左侧区域内进行下一个像素点的判断，然后重复上述步骤，将整个区域修正一遍。

优选的，步骤4.2具体为：假设两幅图像的权重因子

式中

本发明与传统方法相比，具有如下优点：（1）与普通的基于相位相关的配准算法相比，本发明提出的优化后的基于相位相关的配准算法在进行图像配准时能够降低配准错误的几率，有效的提升了配准的精准性，为大视野图像拼接提供了稳定的配准条件。（2）与普通的基于加权融合算法相比，本发明提出的优化后的渐入渐出融合算法能够有效的消除拼接痕迹，使重合区域达到平滑过渡的效果，对大视野图像无缝拼接起到关键作用。

附图说明

图1是本发明实施例的数字显微镜图像快速拼接融合方法的流程图。

图2是本发明实施例中多模态成像系统获取的示意图。

图3是本发明实施例步骤三中基于相位相关的优化算法的流程图。

图4是本发明实施例步骤四中渐入渐出融合算法的过程示意图。

图5是按相位相关法得到的洋葱鳞片叶样本图像的拼接结果。

图6是按本发明实施例的优化算法得到的洋葱鳞片叶样本图像的拼接结果。

图7是基于加权融合算法得到的南瓜茎纵切样本图像的拼接结果。

图8是按本发明实施例的优化算法得到的南瓜茎纵切样本图像的拼接结果。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。本实施例的数字显微镜图像快速拼接融合方法的流程如图1所示，具体内容如下。

步骤一，从多模态成像系统中获取图像。

本实施例使用的多模态成像系统主要由彩色相机、多模态显微镜、步进电机及电脑组成，如图2所示。通过步进电机驱动物镜移动，获取多张不同视野下的图像序列。彩色相机采集到像面所成的像后，通过USB将采集的图像传输到电脑，实现了显微图像的获取的图像，获取的相邻视野的图像需保持有一部分重叠的区域。以采集到的某一幅图像为基础图像

步骤二，对图像进行预处理。

考虑到为了消除多模态成像显微镜光源部分密封性不佳可能会带来的亮度不均匀和空气中灰尘等其它因素的影响，导致成像信息夹杂多余的噪声，因此要对多模态成像系统采集的图像进行降噪处理。常用的图像去噪方法有中值滤波、均值滤波、高斯滤波，为了保护原始图像的信息，本实施例采用高斯滤波对获取到的显微图像进行滤波处理。高斯滤波是一种平滑去噪算法，该算法通过高斯滤波函数与图像进行卷积运算使原图像的噪声减小。对于一幅图像

式中

步骤三，对图像采用基于相位相关的优化算法进行图像配准，具体步骤如图3所示。

步骤3.1，计算基础图像与待匹配图像之间的相对位移关系，待匹配图像

步骤3.2，将图像

式中

步骤3.3，使用互功率谱计算公式计算两者的互功率谱，得到结果如下：

式中

式中

根据上述结果可得，互功率谱在进行逆傅里叶变换后，当

步骤3.4，进而可以计算出重合区域所占原图像的比例大小

步骤3.5，为了进一步保证重合区域的准确性，使用基于模板配准的思想将这两幅图像的重合区域进行相似度评估。当评估结果大于一定的阈值

评估方法如下：将重合区域按照0.4倍进行降采样，假设降采样后的重合区域图像为

步骤四，对图像采用渐入渐出的优化算法进行融合。

步骤4.1，对经过配准后的基础图像

首先读取重合区域中心线左侧图像A点的灰度值，计算A点与区域中心线右侧对应的B点的4邻域像素点灰度值的均值。比较A点灰度值与B点4邻域平均值的大小，如果A点的值大于B点4邻域均值则A点的灰度值减去差值的一半，反之加上差值的一半；如果他们的差值在4个灰度值之内则不做处理，A点的灰度值不变。完成上述步骤后继续在左侧区域内进行下一个像素点的判断，然后重复上述步骤，将整个区域修正一遍。

步骤4.2，调整完重合区域的亮度之后，再利用渐入渐出的融合算法对图像进行融合，渐入渐出融合算法就是将两幅图像重合部分的像素值按照一定的权值相加，实现平滑过渡，其过程示意图如图4所示：

假设两幅图像的权重因子

式中

本实施例提供了一种数字显微镜图像快速拼接融合方法，首先从多模态成像系统中获取显微图像，然后对获取到的图像使用3×3的卷积算子进行预处理，再将图像通过基于相位相关的优化算法进行配准，最后在通过渐入渐出的优化算法实现显微图像的融合。下面针对图像拼接中的两个关键内容进行实验和验证，分别是配准精度和融合效果。

（1）配准效果：图5、6是洋葱鳞片叶样本的拼接图像，其中图5是按照相位相关法得到的拼接图像，图6是通过本实施例提出的基于相位相关的优化算法得到的拼接图像，图5、6中虚线框为需要配准的区域。经过对比发现，洋葱鳞片叶样本图片在优化前发生了配准错误，导致拼接结果中虚线框无法重合，如图5所示。图6可以看出经过优化后的相位相关算法得到了有效配准，拼接图像中待配准区域均得到了理想的拼接效果。

（2）融合效果：图7、8是南瓜茎纵切样本图像的拼接结果，图7是基于加权融合算法得到的拼接图像，图8是采用本实施例提出的渐入渐出的优化算法得到的拼接图像。对比发现，图7虚线框中存在微弱的拼接痕迹，图8虚线框中处拼接痕迹得到有效消除，重合区域达到平滑过渡的效果，对大视野图像无缝拼接起到关键作用。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。