一种显微系统的实时大尺度图像合成算法

技术领域

本发明涉及显微光学成像和图像处理技术领域，具体而言，涉及一种用于显微系统的实时大尺度图像合成算法。

背景技术

由于光学成像原理的限制，传统光学显微镜的视场被限制在比较小的范围内，大多数传统光学显微镜(10×)的物方视场被限制在2.5mm以下，并且采用相对比较笨拙的扫描方式(镜头扫描、转盘扫描)和移动载物台的方式来进行显微成像。这不但对观察样品特定区域带来极大不便，特别是对感兴趣区域局部细节的把控，而且对大范围快速观测微小物体等更是无能为力。显微领域的处理时间是很宝贵的，一边扫描一边再返回去处理数据是十分不科学的。然而，虽然已经有可用于显微成像的图像合成算法，但传统意义上的图像合成算法要么因速度慢而无法实时成像，往往采取先采集保存图像再选择后处理的方式；要么因计算量大精度低等原因而无法形成大尺度成像，这给我们的实时大尺度显微成像造成很大的困扰。因此，急需一种快捷有效且可实时大尺度成像的图像合成算法，即一种视频帧率、合成精度高的显微图像合成算法以满足工程上的需求，该算法可被广泛应用于生命科学、医学治疗和微纳光学等研究领域。

发明内容

本发明在于提供一种显微系统的实时大尺度图像合成算法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

本发明提供了一种显微系统的实时大尺度图像合成算法，包括以下步骤：

S1、并行采集样本的多个不同视野的图像，构成图像序列S，相邻两图像具有重叠区域，设W为S中的任一图像；

S2、确定S中各图像的感兴趣区域ROI，设WROI表示W的感兴趣区域；

S3、并行提取S中各图像ROI的特征点集，对于WROI，其特征点集是根据W的待匹配图像提取的，该待匹配图像指的是S中与W具有重叠区域的图像，记为WD，设WDROI表示WD的感兴趣区域；

S4、在GPU加速环境下，并行求取S中各图像的M个匹配对集，

对于W，获取其M个匹配对集的方法为：

S41、根据WROI的特征点集，基于概率密度函数求取WROI的特征点分布密度情况，根据该特征点分布密度情况，按照由密至疏的顺序将WROI划分为N个子区域，将其中前M个子区域作为有效子区域，按照由密至疏的顺序，WROI的有效子区域与WDROI的有效子区域一一对应；

S42、对于WROI的每一有效子区域，将其特征点与其对应有效子区域的特征点匹配，得到多个匹配对并构成W的匹配对集；

S5、对于S中的每一图像，将其与其待匹配图像的中心连线，得到参考线；

S6、基于参考线的长度和斜率，从匹配对集筛选出若干最优匹配对；

S7、确定图像合成区域，对该图像合成区域进行预处理后，采用最优匹配对在该区域合成得到最终的图像。

本方案的技术效果是：

1)采用了多线程的并行图像采集式，既便捷又迅速；

2)利用多线程技术仅对感兴趣区域ROI提取特征，避免了对合成图像无贡献的特征点的计算，大大的减少了计算时间和计算步骤，避免了错误特征点的影响，提高了所提取特征点的准确度和效率；

3)在GPU加速环境下，并行按由密至疏的方法求取各图像的匹配对集，极大的减少了对特征点稀疏区域的计算，优先保证密集特征集的匹配，提高了处理效率和精度；

4)基于参考线的长度和斜率筛选最优匹配对，简化了计算过程；

5)该算法易于实现显微系统的实时大尺度图像合成。

在本发明的一较佳实施方式中，所述步骤S1中，相邻两图像的重叠比例为10％-20％。

本方案的技术效果是：

通过反复的实验证明，用于计算的特征点个数维持上述重叠比例最为合适，避免特征点数量的冗余或不足，提升了计算效率。

在本发明的一较佳实施方式中，所述步骤S2中，对于S中的某一图像，采用图像边界表达式表示其ROI。

本方案的技术效果是：

采用边界表达式规范ROI，缩小了计算范围，间接地去除了无效的特征点集的影响，加快了搜索效率。

在本发明的一较佳实施方式中，所述步骤S3中，提取WROI的特征点集的方法具体为：将W非ROI的像素值以掩模版的方式置为0，将WD非ROI的像素值置为255，之后通过ORB算法提取WROI的若干特征点并构成特征点集。

本方案的技术效果是：保证了提取特征点为实际参与运算的特征集，避免了无效特征点的计算冗余，加快了提取速度并保证了匹配准确率。

在本发明的一较佳实施方式中，所述步骤S4中，3≤N≤9，1≤M≤3，M＜N。

本方案的技术效果是：

该取值方式是通过多次实验比较的最优结果，N值过大会导致区间内特征点过多影响计算量，N值过小会导致有效特征点达不到图像合成的要求。

在本发明的一较佳实施方式中，所述步骤S41中，特征点分布密度情况的求取公式如下：

其中，a，b为积分区间范围，f(i)为特征点分布的概率密度函数，f(M)是第M个子区间特征点的概率分布函数，J

本方案的技术效果是：

该方案避免了传统方法中直接求取均值和中值等阈值方式的弊端(即避免了一部分不合适的特征点的影响)，此方法能最接近真实地求取每个子区间内特征点的像素值，为后面计算的准确性提供保障。

在本发明的一较佳实施方式中，所述步骤S42中，对于WROI的每一有效子区域，将其特征点与其对应有效子区域的特征点匹配的方法是：对于该有效子区域的每一特征点，求取与对应有效子区域的各特征点的欧式距离；对于该有效子区域的每一特征点，和与其具有最短欧式距离的特征点匹配，得到匹配对。

本方案的技术效果是：

采用欧氏距离进行初步的匹配，简洁有效，易于实现特征点集的粗匹配过程。

在本发明的一较佳实施方式中，所述步骤S6具体包括以下步骤：

S61、设参考线的两端点分别为O1和O2，计算参考线的长度LO12和斜率kO12，设参考线所对应的两幅图的匹配对集为PEDJ1；

S62、初始化最优匹配对数量H＝0，输入匹配对筛选数量阈值H1，设定差阈值δ；

S63、若H＜H1，且PEDJ1中还有没被第一次选取过的匹配对，则继续执行步骤S64，

若H＜H1，且PEDJ1中所有匹配对均被第一次选取过而没被第二次选取过，则将PEDJ1中没被选作最优匹配对的若干匹配对组成集合PEDJ2，跳转至步骤S66，

若H＜H1，且PEDJ2中所有匹配对均被第二次选取过而没被第三次选取过，则将PEDJ2中没被选作最优匹配对的若干匹配对组成集合PEDJ3，跳转至步骤S68，

若H＝H1或者PEDJ3中所有匹配对均被第三次选取过，则跳转至步骤S70；

S64、从PEDJ1中选取一没被第一次选取过的匹配对，设该匹配对的两特征点分别为A1和A2，其中A1与O1在一幅图中，A2与O2在另一幅图中，计算A1与A2的距离LA12，A1与A2的连线斜率kA12，A1与O1的距离LAO1，A2与O2的距离LAO2；

S65、若LA12+LAO1+LAO2＝LO12，且kA12＝kO12，则将当前选取的匹配对作为最优匹配对，H＝H+1，跳转至步骤S63，否则直接跳转至步骤S63；

S66、从PEDJ2中选取一没被第二次选取过的匹配对，设该匹配对的两特征点分别为B1和B2，其中B1与O1在一幅图中，B2与O2在另一幅图中，计算B1与B2的距离LB12，B1与B2的连线斜率kB12，B1与O1的距离LBO1，B2与O2的距离LBO2；

S67、若LB12+LBO1+LBO2-LO12小于δ，且kB12＝kO12，则将当前选取的匹配对作为最优匹配对，H＝H+1，跳转至步骤S63，否则直接跳转至步骤S63；

S68、从PEDJ3中选取一没被第三次选取过的匹配对，设该匹配对的两特征点分别为C1和C2，其中C1与O1在一幅图中，C2与O2在另一幅图中，计算C1与C2的连线斜率kC12；

S69、若kC12＝kO12，则将当前选取的匹配对作为最优匹配对，H＝H+1，跳转至步骤S63，否则直接跳转至步骤S63；

S70、筛选结束，保存当前被选择的所有最优匹配对。

本方案的技术效果是：采用了三个不同精度的筛选方式筛选最优匹配对，若高精度筛选方式所筛选的最优匹配对数量足够，就不用再进行低精度的筛选，该筛选方法能确保所筛选出的匹配对为最优的匹配对。

在本发明的一较佳实施方式中，所述步骤S7中，采用待拼接的图像边界表达式确定图像合成区域，对图像合成区域进行预处理的方法具体包括：利用概率密度函数求取图像合成区域周围像素亮度值的分布规律，求取该亮度值的数学期望E(X)，根据每个像素亮度值所占比重赋权值，并对权值归一化；

所述数学期望为：

E＝∑

每个像素值的权重系数计算方法为：

本方案的技术效果是：

采用像素亮度值重新分配的方式解决了因拍摄原因而出现的曝光差异问题，图像不会出现过曝或者欠曝的情况，大尺度合成图像保持均匀统一的分辨率，满足观察者对标本的全局观察的目标。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明算法应用的显微成像系统示意图；

图2是本发明显微系统的实时大尺度图像合成算法流程图；

图3是本发明的多路子视场交叠示意图；

图4是本发明待合成的显微样本图；

图5是本发明图像合成算法处理后的大尺度显微图。

上述各附图中的图示标号为：

1-支架，2-显微物镜阵列，3-CMOS相机阵列，4-样本载物台，5-基座，6-光源，7-数据传输模块，8-图像处理模块，9-调节转换器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，本发明提供的算法，可以适用于该图中所示的显微成像系统，该系统包括：

支架1，用于支撑显微系统主体结构，起辅助作用；

显微物镜阵列2，用于获取每个变焦物镜的采集数据并将传给CMOS相机阵列3；

CMOS相机阵列3，用于对采集的样本信息进行显微成像；

样本载物台4，用于放置或搭载显微样本；

基座5，用于平衡整个显微系统的重力，使整个显微镜保持平衡状态；

光源6，用于对显微样本打光并将样本信息传递给显微物镜阵列2，照明光源可选同轴光源或LED面光源；

数据传输模块7，用于传输庞大的数据量，将CMOS相机阵列3成像数据传输至图像处理模块8，数据传输装置可以为交换机，输入端可由多个网络接口与CMOS相机连接，输出端由一根网线与计算机连接，以网络传输的方式实时数据传输；

图像处理模块8，用于对多路子图像进行并行处理，本申请实施例所提供的用于显微系统的图像合成算法由图像处理模块8的载体(可以包括搭载显卡的服务器、台式机和笔记本)来完成；

调节转换器9，用于控制显微镜的调焦能力，保证采集图像的清晰度。

根据本申请的一个实施例的用于显微系统的图像合成算法，图2给出了根据本申请的实施例的用于显微系统的图像合成算法的流程图。如图2所示，该方法包括以下步骤：

本发明申请提供了一个实时大尺度图像合成算法的实施例，图2给出了流程图，具体包括以下步骤：

S1、并行采集松果样本的九个不同视野的图像，构成图像序列S＝{s1，s2,s3……s9}，相邻两图像具有重叠区域，设W为S中的任一图像。

在本实施例中，相邻两图像的重叠比例为10％-20％。

由于传统串行方式需要处理完线程1再处理线程2容易造成时间迟滞，因此在本实施例中，将传统的串行采集传输升级为9路并行采集传输，同时开多个线程处理数据，采用多线程技术同时并行处理多个线程大大提高了效率。

S2、确定S中各图像的感兴趣区域ROI，设WROI表示W的感兴趣区域。

在本实施例中，通过点的坐标求取边界条件的表达式，设像素点坐标为(x,F(x))，表达式具体为：F(x)＝ax+b，其中确定图像的感兴趣区域ROI，具体过程为：根据上述求得的所有边界公式，判断感兴趣区域的具体方向和位置，判断方法为：按照从上至下依次递增和从左至右依次递增的顺序规范感兴趣区域的方向和位置，为了更好的体现边界条件的规范性，规定图像左上顶点为坐标系原点，向下和向右的方向规定为正方向。

S3、并行提取S中各图像ROI的特征点集，对于WROI，其特征点集是根据W的待匹配图像提取的，该待匹配图像指的是S中与W具有重叠区域的图像，记为WD，设WDROI表示WD的感兴趣区域。

在本实施例中，利用多线程技术提取感兴趣区域ROI内的特征点，区别于传统串行方式一次性只能提取一张图像特征点的方式，利用多线程技术同时开启多个线程并行处理多幅图像，每个线程处理一张图像并同步提取多幅图像的特征点，提取WROI的特征点集的方法具体为：

将W非ROI的像素值以掩模版的方式置为0，将WD非ROI的像素值置为255，之后通过ORB算法提取WROI的若干特征点并构成特征点集。

S4、在GPU加速环境下，并行求取S中各图像的2个匹配对集，

对于W，获取其2个匹配对集的方法为：

S41、根据WROI的特征点集，基于概率密度函数求取WROI的特征点分布密度情况，求取公式如下：

其中，a，b为积分区间范围，f(i)为特征点分布的概率密度函数，f(M)是第M个子区间特征点的概率分布函数，J

根据求取到的特征点分布密度情况，按照由密至疏的顺序将WROI划分为7个子区域，具体方法为：利用步骤S2所建空间坐标系将感兴趣区域内的x坐标划分为7等份，将其中前2个子区域作为有效子区域(稀疏区间的特征集往往错误率很高，因此优先保证密集特征集的匹配)，按照由密至疏的顺序，WROI的有效子区域与WDROI的有效子区域一一对应；

S42、对于WROI的每一有效子区域，将其特征点与其对应有效子区域的特征点匹配，具体方法是：对于该有效子区域的每一特征点，求取与对应有效子区域的各特征点的欧式距离；对于该有效子区域的每一特征点，和与其具有最短欧式距离的特征点匹配，得到匹配对，将得到的多个匹配对构成W的匹配对集。

S5、对于S中的每一图像，将其与其待匹配图像的中心连线，得到参考线。

S6、基于参考线的长度和斜率，从匹配对集筛选出若干最优匹配对，具体方法如下：

S61、设参考线的两端点分别为O1和O2，计算参考线的长度LO12和斜率kO12，设参考线所对应的两幅图的匹配对集为PEDJ1；

S62、初始化最优匹配对数量H＝0，输入匹配对筛选数量阈值H1，设定差阈值δ；

S63、若H＜H1，且PEDJ1中还有没被第一次选取过的匹配对，则继续执行步骤S64，

若H＜H1，且PEDJ1中所有匹配对均被第一次选取过而没被第二次选取过，则将PEDJ1中没被选作最优匹配对的若干匹配对组成集合PEDJ2，跳转至步骤S66，

若H＜H1，且PEDJ2中所有匹配对均被第二次选取过而没被第三次选取过，则将PEDJ2中没被选作最优匹配对的若干匹配对组成集合PEDJ3，跳转至步骤S68，

若H＝H1或者PEDJ3中所有匹配对均被第三次选取过，则跳转至步骤S70；

S64、从PEDJ1中选取一没被第一次选取过的匹配对，设该匹配对的两特征点分别为A1和A2，其中A1与O1在一幅图中，A2与O2在另一幅图中，计算A1与A2的距离LA12，A1与A2的连线斜率kA12，A1与O1的距离LAO1，A2与O2的距离LAO2；

S65、若LA12+LAO1+LAO2＝LO12，且kA12＝kO12，则将当前选取的匹配对作为最优匹配对，H＝H+1，跳转至步骤S63，否则直接跳转至步骤S63；

S66、从PEDJ2中选取一没被第二次选取过的匹配对，设该匹配对的两特征点分别为B1和B2，其中B1与O1在一幅图中，B2与O2在另一幅图中，计算B1与B2的距离LB12，B1与B2的连线斜率kB12，B1与O1的距离LBO1，B2与O2的距离LBO2；

S67、若LB12+LBO1+LBO2-LO12小于δ，且kB12＝kO12，则将当前选取的匹配对作为最优匹配对，H＝H+1，跳转至步骤S63，否则直接跳转至步骤S63；

S68、从PEDJ3中选取一没被第三次选取过的匹配对，设该匹配对的两特征点分别为C1和C2，其中C1与O1在一幅图中，C2与O2在另一幅图中，计算C1与C2的连线斜率kC12；

S69、若kC12＝kO12，则将当前选取的匹配对作为最优匹配对，H＝H+1，跳转至步骤S63，否则直接跳转至步骤S63；

S70、筛选结束，保存当前被选择的所有最优匹配对。

在本实施例中，采用以下距离公式计算距离：

采用以下斜率公式计算斜率：

其中，C

S7、确定图像合成区域，对该图像合成区域进行预处理后，采用最优匹配对在该区域合成得到最终的图像，并曝光均匀的实时显示于显示屏上。

在本实施例中，采用待拼接的图像边界表达式确定图像合成区域，对图像合成区域进行预处理的方法具体包括：利用概率密度函数求取图像合成区域周围像素亮度值I(x，y)的分布规律，求取该亮度值的数学期望E(X)，根据每个像素亮度值所占比重赋权值，并对权值归一化，理论上越接近数学期望值的亮度值权值越大。

在本实施例中，数学期望公式为：

E＝∑

每个像素值的权重系数计算方法为：

传统显微系统往往需要缓慢的扫描时间、繁杂的系统及后处理方式，造成操作不便、等候时间过长而无法准确判断的弊端，此外成像精度不够高。如图3所示，本发明避开传统扫描方式，采用多视场一体化实时观察样本的策略，提高了空间带宽积，每个物镜呈会聚式排布，最大程度地节省空间体积。图4给出本发明实施例待处理的一组显微系统采集的子图像，在本发明处理之前为多个独立的小视野下的显微图像，可以预见的是，每个视野下的显微图因复杂的环境而导致曝光上出现差异，经本发明处理后的效果如图5所示，本发明大视场成像精度达到亚像素级别，视场扩大几倍以上，曝光度良好，没有视觉不适的情况，解决了传统显微系统扫描速度慢且成像精度不高的问题，达到了预期的技术效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。