一种用于多通道单分子定位的图像配准方法

技术领域

本申请涉及光学显微成像领域，特别涉及一种用于多通道单分子定位的图像配准方法。

背景技术

单分子定位技术已经被广泛应用在生物样品的单分子检测和单粒子追踪研究中，并且在超分辨显微成像领域取得了显著的成果，分辨率可达几十纳米，远超于传统光学显微镜的200-300纳米分辨率极限。然而，尽管这项技术取得了非凡的成就，但也存在一些固有的挑战。在多通道单分子定位时，尤其存在一个主要问题，即多通道图像之间的精准匹配问题。由于光路搭建时的人工测量误差，多色成像通道中的场曲和色差，及在某些情况下存在的放大倍率差异等因素，多通道图像之间往往存在不能严格匹配的情况，从而影响协同定位和分析。

此外，为了提高配准精度，图像配准操作是多通道单分子定位中的关键环节，这通常需要通过基于控制点的方法，并且控制点的获取一般可通过对基准物进行多通道成像和单分子定位来直接得到。然而，现有的对于图像配准和控制点获取的技术和手段，尤其是采用精密位移台和纳米网格的方法，都存在相当高的技术难度和成本，限制了这些技术在某些应用场景中的使用。

因此，如何在不使用精致而昂贵的设备，也不需要系统带有明场照明模式的情况下，通过简化的方式获取高精度的图像配准参数，是当前多通道单分子定位技术面临的一个亟待解决的技术问题。

因而现有技术还有待改进和提高。

发明内容

本申请要解决的技术问题在于，针对现有技术的不足，提供一种用于多通道单分子定位的图像配准方法。

为了解决上述技术问题，本申请实施例第一方面提供了一种用于多通道单分子定位的图像配准方法，所述方法包括：

获取若干不同视野的荧光珠多通道图像；

对于每个荧光珠多通道图像，将所述荧光珠多通道图像转换为若干双通道图像对，其中，各个双通道图像对中的参考图像相同；

对于每个双通道图像对，定位所述双通道图像对的荧光珠来获得控制点对集，基于所述控制点对集确定所述双通道图像对的图像配准参数，并基于所述图像配准参数以及基准配准误差对所述控制点对集进行筛选，以得到目标控制点对集；

基于各双通道图像对的目标控制点对集确定图像配准参数，并通过所述图像配准参数对实际生物样品的多通道图像进行配准。

根据上述技术手段，通过使用随机分布的荧光珠样品作为基准物，并采集其不同视野的多通道图像，通过使用特征匹配和变换模型参数估计过程中基于基准配准误差对控制点对进行迭代筛选的方法，实现对实际生物样品的多通道图像配准，增强了多通道图像之间的匹配精准度，同时降低了技术难度和成本。

在一个实现方式中，所述的用于多通道单分子定位的图像配准方法，其中，所述定位所述双通道图像对的荧光珠来获得控制点对集具体包括：

利用高斯拟合定位双通道图像中的参考图像的荧光珠来获得预设数量的参考控制点以及待配准图像的荧光珠来获得预设数量的配准控制点；

基于预设数量的参考控制点和预设数量的配准控制点形成所述双通道图像对的控制点对集。

根据上述技术手段，通过高斯拟合方法对荧光珠进行定位，得到高精度的控制点位置信息，满足了高精度图像配准的需求；再利用预设数量的参考控制点和配准控制点形成的控制点对集实现更精确的图像配准，即同一组双通道图像对中的图像能够被映射到同一坐标系中，进而实现具有高精度、稳定性和可靠性的多通道单分子定位。

在一个实现方式中，所述的用于多通道单分子定位的图像配准方法，其中，所述图像配准参数的确定过程具体包括：

利用局部加权平均法对控制点对集进行变换，以得到图像配准参数。

根据上述技术手段，利用控制点对位置信息进行基于局部加权平均的二阶多项式拟合来获取最优估计参数，更好地适用于不同通道间存在局部非线性畸变的情形，可应用于复杂的多通道单分子定位系统。

在一个实现方式中，所述的用于多通道单分子定位的图像配准方法，其中，所述图像配准参数中的变换函数为：

其中，P

根据上述技术手段，通过多项式近似和多变量设定，实现了对图像配准的灵活和精准控制，又通过考虑控制点的权重和距离信息，增加了图像配准的精确度和对于局部图像特性的适应性，以及通过引入局部控制范围和配准变换参数，使得模型能够针对具体的配准任务进行精细调整。

在一个实现方式中，所述的用于多通道单分子定位的图像配准方法，其中，所述基于所述图像配准参数以及基准配准误差对所述控制点对集进行筛选，以得到目标控制点对集具体包括：

基于所述图像配准参数对所述双通道图像对中的待配准图像进行变换，以得到配准图像；

对所述配准图像进行定位以得到配准控制点，并分别计算所述配准控制点与所述参考图像中的参考控制点的基准配准误差；

将基准配准误差大于预设配准误差的控制点对去除，以得到筛选后的控制点对集。

根据上述技术手段，通过图像变换和定位，准确获取控制点，从而提高图像配准精度；通过计算和筛选过程，只保留误差较小的控制点对，将不准确的数据排除在外，从而优化了图像配准的效果，进一步提高了多通道单分子定位的精确度和可靠性。

在一个实现方式中，所述的用于多通道单分子定位的图像配准方法，其中，所述将基准配准误差大于预设配准误差的控制点对去除，以得到筛选后的控制点对集之后，所述方法还包括：

重新执行基于所述图像配准参数以及预设配准误差对所述控制点对集进行筛选的步骤，直至不存在基准配准误差大于预设配准误差的控制点对。

根据上述技术手段，通过反复迭代对控制点对进行筛选，去除那些配准误差大的控制点对，不断优化和提高图像配准参数的准确性；上述技术手段适应各种具有非线性特性的图像配准问题，对于解决因各种原因导致的配准错误具有很强的鲁棒性；此外，在相对简单的条件下实现对多通道单分子定位的精准配准，提高了多通道单分子定位的精度和可靠性。

在一个实现方式中，所述的用于多通道单分子定位的图像配准方法，其中，所述基准配准误差的表达式为：

其中，(X

根据上述技术手段，提供了一个可以量化的配准误差评价标准，有助于评估和比较不同图像配准参数的精度和效果；通过提供准确的配准误差评价，极大的提高了后续图像协同定位和分析的准确性。

本申请实施例第二方面提供了一种用于多通道单分子定位的图像配准装置，所述装置包括：

定位模块，用于获取若干不同视野的荧光珠多通道图像；

转换模块，对于每个荧光珠多通道图像，将所述荧光珠多通道图像转换为若干双通道图像对，其中，各双通道图像对中的参考图像相同；

筛选模块，对于每个双通道图像对，定位所述双通道图像对的荧光珠来获得控制点对集，基于所述控制点对集确定所述双通道图像对的图像配准参数，并基于所述图像配准参数以及基准配准误差对所述控制点对集进行筛选，以得到目标控制点对集；

确定模块，基于各双通道图像对的目标控制点对集确定图像配准参数，并通过所述图像配准参数对实际生物样品的多通道图像进行配准。

在一个实现方式中，本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的用于多通道单分子定位的图像配准方法中的步骤。

本申请实施例第四方面提供了一种终端设备，其包括：处理器和存储器；

所述存储器上存储有可被所述处理器执行的计算机可读程序；

所述处理器执行所述计算机可读程序时实现如上任一所述的用于多通道单分子定位的图像配准方法中的步骤。

有益效果：

通过在特征匹配和变换模型参数估计的过程中，监测基准配准误差对控制点对进行迭代筛选，剔除因单分子定位不准确或精度差导致的未精确匹配的控制点对，从而消除了以随机分布荧光珠样品作为基准物在获取控制点准确性及其精确匹配方面的困难，缓解了现有方法对基准物及其图像获取质量严重依赖的问题。

在进行图像配准时，直接采用随机分布于盖玻片表面的荧光珠样品作为基准物，并随机选取若干个不同视野采集其多通道图像，实现高精度图像配准。不仅降低了基准物和系统的成本，也使得本技术方案可以广泛适用于任何多通道单分子定位系统。

使用基于多次迭代的二阶多项式变换和局部加权平均法进行变换模型估计。在每一次迭代剔除控制点对的过程中，采用剩余控制点对的位置信息进行基于局部加权平均的二阶多项式拟合，获取最优估计参数，更好地应对不同通道间存在局部非线性畸变的情况，提高了图像配准的精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请提供的用于多通道单分子定位的图像配准方法的流程图。

图2为本申请提供的用于多通道单分子定位的图像配准方法的正交像散单分子定位系统的光学结构示意图。

图3为本申请提供的用于多通道单分子定位的图像配准方法的正交像散导致的双通道图像畸变及预期配准效果图。

图4为本申请提供的用于多通道单分子定位的图像配准方法的局部加权平均法的原理示意图。

图5a为本申请提供的用于多通道单分子定位的图像配准方法的以模拟荧光珠图像为例说明本发明所提方法中控制点对剔除环节的实现过程图的左通道参考图像。

图5b为本申请提供的用于多通道单分子定位的图像配准方法的以模拟荧光珠图像为例说明本发明所提方法中控制点对剔除环节的实现过程图的右通道待配准图像。

图6a为本申请提供的用于多通道单分子定位的图像配准方法的实验荧光珠图像的配准效果对比的传统局部加权平均方法结果图。

图6b为本申请提供的用于多通道单分子定位的图像配准方法的实验荧光珠图像的配准效果对比的本申请所公开的方法结果图。

图6c为图6a中的蓝色方框放大图。

图6d为图6b中的蓝色方框放大图。

图6e为图6a中的红色方框放大图。

图6f为图6b中的红色方框放大图。

图7为本申请提供的用于多通道单分子定位的图像配准装置的结构原理图。

图8为本申请提供的终端设备的结构原理图。

具体实现方式

本申请提供一种用于多通道单分子定位的图像配准方法及相关装置，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

应理解，本实施例中各步骤的序号和大小并不意味着执行顺序的先后，各过程的执行顺序以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

发明人经过研究发现，单分子定位技术已经被广泛应用在生物样品的单分子检测和单粒子追踪研究中，并且在超分辨显微成像领域取得了显著的成果，分辨率可达几十纳米，远超于传统光学显微镜的200-300纳米分辨率极限。然而，尽管这项技术取得了非凡的成就，但也存在一些固有的挑战。在多通道单分子定位时，存在多通道图像之间的精准匹配问题。由于光路搭建时的人工测量误差，多色成像通道中的场曲和色差，及在某些情况下存在的放大倍率差异等因素，多通道图像之间往往存在不能严格匹配的情况，从而影响协同定位和分析。

此外，为了提高配准精度，图像配准操作是多通道单分子定位中的关键环节，通常需要通过基于控制点的方法，控制点的获取一般可通过对基准物进行多通道成像和单分子定位来直接得到。然而，现有的对于图像配准和控制点获取的技术和手段，尤其是采用精密位移台和纳米网格的方法，都存在相当高的技术难度和成本，限制了这些技术在某些应用场景中的使用。因此，如何在不使用精致而昂贵的设备，也不需要系统带有明场照明模式的情况下，通过简化的方式获取高精度的图像配准参数，是当前多通道单分子定位技术面临的一个亟待解决的技术问题。

为了解决上述问题，在本申请实施例，获取若干不同视野的荧光珠多通道图像，并转换为若干双通道图像对，其中，各双通道图像对中的参考图像相同；对于每个双通道图像对，定位图像对的荧光珠来获得控制点对集，基于控制点对集确定双通道图像对的图像配准参数，并基于图像配准参数以及基准配准误差对控制点对集进行筛选，以得到目标控制点对集；基于各双通道图像对的目标控制点对集确定图像配准参数，并对实际生物样品的多通道图像进行配准。本申请通过多通道图像确定图像配准模型，对实际样品进行配准操作，借助于监测基准配准误差对控制点对进行迭代筛选，并使用基于多次迭代的二阶多项式变换和局部加权平均法进行变换模型估计，实现了高精度且高效的图像配准，在适用于各种多通道单分子定位系统的基础上，显著降低了经济成本和技术要求。

下面结合附图，通过对实施例的描述，对申请内容作进一步说明。

本实施例提供了用于多通道单分子定位的图像配准方法，如图1所示，所述方法包括：

S10、获取若干不同视野的荧光珠多通道图像。

具体地，荧光珠多通道图像是指通过多通道单分子定位成像系统，对含有荧光珠的样品进行成像而获取的多通道图像。多通道单分子定位可以弥补传统光学成像系统因衍射限制无法实现的超高分辨率成像，并可以实现对单个荧光分子的准确定位。

在多通道单分子定位成像系统的图像配准环节中，选择随机分布的荧光珠样品作为基准物。由于荧光珠的能够发射出亮度足够且稳定的光线，使其作为单分子定位的理想基准物。同时，随机分布的荧光珠样品相比于精致的纳米网格等基准物，更具有可获取性和普适性。

将该荧光珠样品放置在盖玻片上，然后随机移动盖玻片，以改变成像视野并采集其不同视野的多通道基准物图像，每次移动后，都会获得一个不同视野中的荧光珠多通道图像。确保了基准物图像能够充分覆盖整个视场，以使得后续的控制点获取和图像配准操作能够在整个视场范围内进行。

在本申请的具体实现中，以一套复杂的正交像散单分子定位系统中双通道图像的配准为例，制备随机分布于盖玻片表面的荧光珠样品，置于多通道单分子定位系统载物台上，随机移动样品并调整好系统物镜焦距，拍摄若干不同视野的荧光珠多通道图像。荧光珠激发和发射波长应与系统相匹配，大小以直径不超过200纳米为宜，浓度以每个视野不少于30个为宜，制备方式可采用平铺、旋涂等常规方法。拍摄时应尽量选择视野中荧光珠分散性好且分布较为均匀的区域。具体地，采用的荧光珠型号是TetraSpeck

在正交像散实例中，购买的荧光珠样品原液浓度是3.7×10

如附图2所示，正交像散单分子定位系统的光路图，其中Laser表示激光器，ND表示衰减片，L表示透镜，M表示反射镜，TS表示位移台，DM表示二向色镜，OL表示物镜，F表示滤光片，A表示光阑，BS表示分束器，CL表示柱透镜，EMCCD表示电子倍增电荷耦合器件。该系统将荧光信号均分为两束，并分别经过两个聚焦方向相互正交的柱透镜后，成像于同一探测器的不同区域进行双通道成像，用于实现高密度三维单分子定位成像。该系统的响应是一组点扩散函数图像对，因此相比基于单个柱透镜的传统像散三维单分子定位，该系统响应具有更低的相关性，可显著提高其高密度三维定位的准确性，且离焦程度越大时两个像散点扩散函数的形状差异越大，这种准确定位的优势就越明显。但由于该双通道系统的复杂性，其图像配准的难度和要求也更高。附图3给出了正交像散导致的双通道图像畸变及预期配准效果。可见，由于在该系统中两个柱透镜的聚焦方向互相垂直，两个成像通道的平均焦平面分别处于未加柱透镜之前焦平面的两侧，这使得双通道图像在产生所需的正交像散点扩散函数图像对的同时，还不可避免地存在由于x、y方向上像散的非各向同性放大引起的图像畸变。

S20、对于每个荧光珠多通道图像，将所述荧光珠多通道图像转换为若干双通道图像对，其中，各个双通道图像对中的参考图像相同。

具体地，双通道图像对是指每个荧光珠多通道图像被分解成的多个图像对。每个图像对都包括两个通道图像，一个作为参考图像，另一个为待配准图像。参考图像确定后，其他待配准的图像则需要与参考图像进行配准。其中，所有的双通道图像对都使用同一参考图像，确保所有的待配准图像的配准基准是一致的，提升整体的图像匹配和分析过程的效率和精度。

在本申请的具体现实中，双通道单分子定位系统获得的双通道图像配准场景中，左通道(Left channe l)图像为参考图像，右通道(Right channe l)图像为待配准图像。若为多通道系统，将其中一个通道的图像作为参考图像，其余通道图像分别作为待配准图像，与参考图像组成若干对双通道图像逐个通道进行配准。

S30、对于每个双通道图像对，定位所述双通道图像对的荧光珠来得到控制点对集，基于所述控制点对集确定所述双通道图像对的图像配准参数，并基于所述图像配准参数以及基准配准误差对所述控制点对集进行筛选，以得到目标控制点对集。

具体地，通过对目标进行观察和成像，得到若干双通道图像对，所述图像对包含了荧光珠多通道图像的信息。双通道图像对指的是两个图像共享同一参考图像且包含相同荧光珠对象的不同视角图像。控制点对集是在双通道图像对中明确定位的位置坐标，其中，所述位置坐标采用亚像素级的坐标。

在确定了双通道图像对的控制点对集之后，基于所述控制点对集来获得双通道图像对的图像配准参数。所述图像配准参数用于描述两个图像之间对应点之间的几何变换关系的模型，用于将一个图像转换到另一个图像的坐标空间，使得两者达到最佳的一致性。

再次，基于图像配准参数以及基准配准误差对控制点对集进行筛选。所述基准配准误差指的是在图像配准之后，通过对比原图像和配准后的图像在控制点位置上的差异计算得出的误差值。基于这个误差值对控制点对集进行迭代筛选，筛选过程中，删除那些因为单分子定位不准确导致匹配度较差的控制点对，只保留那些能够提供准确信息的控制点对，从而得到目标控制点对集。

在本申请的具体实现中，所述定位所述双通道图像对的荧光珠来获得控制点对集具体包括：

S31、利用高斯拟合定位双通道图像中的荧光珠来获得参考图像的预设数量的参考控制点以及待配准图像的荧光珠来获得预设数量的配准控制点；

S32、基于预设数量的参考控制点和预设数量的配准控制点形成所述双通道图像对的控制点对集。

具体地，在步骤S31中，高斯拟合是一种广泛使用的拟合方法，提供明确的数据中心(形状的最高点)和形状的宽度，适合于点状图像或者是类似波峰形状的像斑中心点的定位。通过高斯拟合方法，从每一个通道的图像之中找出双通道图像对应的预设数量的控制点，这些控制点被用于后续的图像配准参数的建立。

其次，在步骤S32中，所述控制点对集包含了大量的参考控制点和配准控制点，被用于后续的图像配准过程，通过这些控制点对集来确定双通道图像对在几何空间里的变换关系，完成从一个图像对到另一个图像对的配准工作。

通过以上步骤，得到一个完整的控制点对集，通过所述控制点对集合精确地控制和调整图像的配准过程，使得配准后的图像能够达到最佳的一致性。同时，所述高斯拟合方法以相对较低的计算复杂度获得高精度的结果，提升整个系统效果。

在本申请的具体实现中，首先对参考图像和待配准图像中的荧光珠像斑分别进行定位，定位方法采用高斯拟合等常规单分子定位方法，定位结果(即像斑中心点坐标)即为控制点坐标。具体地，在多通道单分子定位中，荧光珠像斑的定位采用高斯拟合等常规单分子定位方法。高斯拟合是一种常用的像斑定位方法，通过拟合数据的峰值和宽度，精确地找到像斑的中心，即荧光珠的准确位置。具体操作上，先对图像进行平滑处理，然后在平滑后的图像中找到像斑，并对每个像斑的亮度进行高斯拟合，从而确定像斑的中心点坐标。每个荧光珠像斑的定位结果(即像斑中心点坐标)即为控制点。对参考图像和待配准图像中的所有荧光珠像斑进行上述操作，得到预设数量的参考控制点和配准控制点，所述参考和配准控制点将用于后续的图像配准过程，用于形成控制点对集。

在本申请的另一个具体实现中，所述图像配准参数的确定过程具体包括：

S33、利用局部加权平均法对控制点对集进行变换，以得到图像配准参数。

具体地，局部加权平均法是一种图像处理中常用的局部处理算法，利用图像的局部像素值以及其对应的权重进行加权平均，实现对图像的局部处理。在本申请的具体实现中被用于对控制点对集进行变换，以获取图像配准参数。

在确定图像配准参数的过程中，首先利用局部加权平均法对控制点对集进行变换。控制点是由随机分布的荧光珠样品作为基准物，并随机选取若干个不同视野采集其多通道图像得到的，精确匹配多通道图像。然后，使用局部加权平均法对这些控制点对集进行变换，通过对变换后的点对进行拟合，得到图像配准参数。通过直接使用随机分布的荧光珠样品作为基准物，并且不需要精密的设备和复杂的操作步骤，实现高精度的图像配准，同时在控制点的获取和处理上有效地降低误差。

在本申请的具体实现中，利用局部加权平均法对获得的控制点对的坐标进行变换，获得变换模型的参数矩阵，其中变换模型选择为基于局部加权平均的二阶多项式变换。

具体地，选择基于局部加权平均的二阶多项式变换模型表达更复杂的几何变换，包括旋转、平移、缩放、非线性形变等，而基于局部加权平均则可以使模型更加稳健，能够抵抗噪声和异常点的影响，对于局部非线性的变换保持适应性。

进行变换获得变换模型的参数矩阵，所述参数矩阵描述了从原始控制点对到目标位置的映射关系。所述参数矩阵将作为进一步进行图像配准的依据，实现高精度的图像配准，提高多通道单分子定位的准确性。

在本申请的另一个具体实现中，所述图像配准参数中的变换函数为：

其中，P

在本申请的具体实现中，图像配准参数估计利用控制点对的位置信息进行基于局部加权平均的二阶多形式拟合来获取最优估计参数，适用于不同通道间存在局部非线性畸变的情形，可应用于复杂的多通道单分子定位系统。

具体地，局部加权平均法基本原理如下：基于控制点的图像配准方法，在参考图像和待配准图像中选择若干对控制点并建立其对应关系，其中控制点的获取通过对荧光珠图像进行高斯拟合得到的定位点坐标，其对应关系通过判断控制点在各自通道图像中的坐标是否相近来建立，然后再利用插值或拟合来确定图像中其余点的变换函数，即：

X＝f(x,y),Y＝g(x,y)

式中(X,Y)和(x,y)分别表示参考图像和待配准图像中任一对应点的坐标，而图像配准过程是确定变换函数f和g的过程，可通过预设模型并利用控制点对的坐标信息估计模型参数来获得。考虑到多通道单分子定位系统中可能存在不同通道因非各向同性放大而导致图像存在非线性畸变，且不同部位可能存在不同程度畸变的复杂情况，本申请所述方法在变换模型估计时选用局部加权平均法，其基本原理如附图4所示。其中黑色点表示图像上的任意一点，红色点表示控制点，而局部区域的大小可通过设置最近邻点数n来进行调节(图中以n＝6为例)。对于某个控制点(x

式中m表示多项式P

式中

式中N表示所有控制点的数量。只有当点(x,y)位于控制点(x

确定参数矩阵T后，采用双线性内插法根据该参数矩阵对应的二阶多项式变换函数对待配准图像进行重采样，从而得到配准后的图像。

在本申请的另一个具体实现中，所述基于所述图像配准参数以及基准配准误差对所述控制点对集进行筛选，以得到目标控制点对集具体包括：

S341、基于所述图像配准参数对所述双通道图像对中的待配准图像进行变换，以得到配准图像；

S342、对所述配准图像进行定位以得到配准控制点，并分别计算所述配准控制点与所述参考图像中的参考控制点的基准配准误差。

具体地，在步骤S341中，将图像配准参数连同其参数矩阵应用于待配准的图像，进行变换处理，从而获得经过配准处理后的图像，使待配准的图像与参考图像进行对齐，进而使得图像间的控制点位置能够在整个图像空间上进行精准的匹配。

其次对配准后的图像使用高斯拟合法重新进行定位，并将定位结果与参考图像的定位结果逐一比较，计算出每个控制点对的基准配准误差。

在本申请的一个具体实现中，所述基准配准误差的表达式所述基准配准误差作为评价配准质量的重要参数，指示出参考图像与待配准图像在控制点上的差异程度。

准配准误差定义为：

其中，(X

S343、将基准配准误差大于预设配准误差的控制点对去除，以得到筛选后的控制点对集。

具体地，对每个控制点对根据其基准配准误差进行筛选，当某个控制点对的基准配准误差大于等于设定的误差阈值，这个控制点对将被剔除，从而从控制点对集中筛选出一部分具有较小基准配准误差的控制点对，形成目标控制点对集。其中，设定的误差阈值可以通过系统的单分子定位精度来设计。

在本申请的一个具体实现中，所述将基准配准误差大于预设配准误差的控制点对去除，以得到筛选后的控制点对集之后，所述方法还包括：

重新执行基于所述图像配准参数以及预设配准误差对所述控制点对集进行筛选的步骤，直至不存在基准配准误差大于预设配准误差的控制点对。

具体地，基于图像配准参数和预设的配准误差，对每个双通道图像对的控制点对集进行评估。如果一个控制点对的基准配准误差大于预设配准误差，则认为这个控制点对的配准效果不佳，需要从待处理的控制点对集中删除。

其次，对剩下的控制点对集重新执行基于图像配准参数与预设配准误差的筛选步骤。这个步骤会一直重复进行，直到所有剩余的控制点对的基准配准误差都小于或等于预设配准误差，实现逐步剔除配准效果不佳的控制点对，只保留了那些配准效果良好的控制点对。

最后，对于多通道图像，是对每一个视野的不同通道图像都进行上述的步骤。将所有满足条件的控制点对进行合并，形成一个大的、全面的、准确定位和精确匹配的控制点对集。使用这个控制点对集，可以得到一个更好的、全面的图像配准参数，以完成图像配准任务。

S40、基于各双通道图像对的目标控制点对集确定图像配准参数，并通过所述图像配准参数对实际生物样品的多通道图像进行配准。

具体地，对于每一个双通道图像对，基于筛选并合并后的目标控制点对集，利用局部加权平均法对合并后控制点对的坐标进行变换，得到系统的变换参数，从而确定每一个双通道图像对的最终的图像配准参数,用于实际生物样品的多通道图像配准。

通过上述步骤，实现了一种高精度的图像配准方法，这种方法可以直接应用于各种多通道单分子定位系统，并且特别适应于不同通道之间存在非线性畸变的情况。在采用这种方法进行图像配准时，不需要购买精密的(通常也是昂贵的)纳米网格作为基准物，也不需要系统带有明场照明模式，更不要求系统配备纳米精度的精密位移台，只需要直接采用多通道单分子定位系统中通常都会使用的随机分布于盖玻片表面的荧光珠样品作为基准物，并随机选取若干个不同视野采集其多通道图像，就可以用于实现高精度图像配准。

在本申请的另一个具体实现中，如附图5所示，利用一组模拟荧光珠图像数据给出了本申请所提方法中控制点对剔除环节的实现过程。附图5(左)和附图5(右)分别为模拟的利用正交像散单分子定位系统拍摄的随机分布荧光珠样品的左通道图像和右通道图像及其定位结果，为其中白色光斑为荧光珠像斑，红色十字为单分子定位结果。在该模拟实验中，荧光珠的三维位置设置为随机，两个通道的荧光珠图像根据荧光珠的x、y、z方向坐标以及实际成像系统的校准曲线(即像斑x、y方向的尺寸与轴向位置z的关系)产生；同时，为了模拟实际系统中两个正交像散通道之间出现的局部非线性差异，对右通道图像中荧光珠的位置引入了平均为200纳米的随机误差。可以看出，两个通道图像由于存在不同的非各向同性放大而导致畸变(表现为两个图像中荧光珠像斑的相对分布模式不一致)，且由于荧光珠位置是随机的，视野中存在一些靠得较近的荧光珠像斑，其定位结果明显不准确(如红色数字方框所示的定位2-5)。若将该视野中的所有定位点对(约40个)均用于局部加权平均变换配准，则配准后得到的平均基准配准误差(即

此外，在本申请的另一个具体实现中，为了评估本发明所提图像配准方法在正交像散单分子定位系统中的实际配准效果，附图6a-附图6f给出了一组实际拍摄的荧光珠图像结果，其中，紫色代表左通道图像，绿色代表配准后的右通道图像，两者准确重合时为灰白色图像。实验首先制备了随机分布在盖玻片上的直径200纳米荧光珠样品，并将其置于正交像散单分子定位系统载物台上进行双通道成像，然后对获得的双通道图像进行单分子定位，将定位结果作为控制点对坐标，分别采用传统的局部加权平均变换方法(即未剔除错误匹配控制点对)和本申请所提方法(即通过监测配准误差剔除错误匹配控制点对)计算得到配准参数矩阵，并用于对右通道图像进行变换，得到配准后的右通道图像。为了直观显示配准效果，我们将左通道参考图像设置为紫色伪彩图像，将配准后的右通道图像设置为绿色伪彩图像，并将两者进行叠加，采用传统局部加权平均方法和采用本发明所提方法所得的叠加结果分别如附图6a和附图6b所示，其中两通道图像中荧光珠像斑准确重叠的部分将呈现为灰白色，否则将呈现为互相错开的紫色和绿色。附图6c和附图6d分别为附图6a和附图6b中蓝色方框的放大图，附图6e和附图6f分别为附图6a和附图6b中红色方框的放大图。可以看到，在这两个方框区域中，采用传统局部加权平均变换方法配准后两通道的荧光珠像斑仍存在比较明显的未准确匹配情况，而采用本发明所提方法时荧光珠像斑则能够很好地匹配，基本未出现紫色和绿色。进一步定量计算结果表明，附图6a对应的平均基准配准误差为54.69纳米，而附图6b仅为6.08纳米，配准精度实现了9倍的提升，与模拟结果相吻合，说明即使是对于正交像散单分子定位系统这种双通道图像存在复杂的严重非线性畸变的情况，本申请所提方法仍能够直接利用随机分布的荧光珠样品实现约6纳米的配准精度。

综上所述，本实施例提供了一种用于多通道单分子定位的图像配准方法，本申请通过获取若干不同视野的荧光珠多通道图像，并转换为若干双通道图像对，其中，各个双通道图像对中的参考图像相同；对于每个双通道图像对，定位图像对的荧光珠来获得控制点对集，基于控制点对集确定双通道图像对的图像配准参数，并基于图像配准参数以及基准配准误差对控制点对集进行筛选，以得到目标控制点对集；基于各双通道图像对的目标控制点对集确定图像配准参数，并对实际生物样品的多通道图像进行配准。本申请通过多通道图像确定图像配准模型，对实际样品进行配准操作，借助于监测基准配准误差对控制点对进行迭代筛选，并使用基于多次迭代的二阶多项式变换和局部加权平均法进行变换模型估计，实现了高精度且高效的图像配准，在适用于各种多通道单分子定位系统的基础上，显著降低了经济成本和技术要求。

基于上述一种用于多通道单分子定位的图像配准方法，本实施例提供了一种用于多通道单分子定位的图像配准的装置，如图2所示，所述装置包括：

定位模块100，用于多通道单分子定位的图像配准方法；

转换模块200，对于每个荧光珠多通道图像，将所述荧光珠多通道图像转换为若干双通道图像对，其中，各个双通道图像对中的参考图像相同；

筛选模块300，对于每个双通道图像对，定位所述双通道图像对的荧光珠来获得控制点对集，基于所述控制点对集确定所述双通道图像对的图像配准参数，并基于所述图像配准参数以及基准配准误差对所述控制点对集进行筛选，以得到目标控制点对集；

确定模块400，基于各双通道图像对的目标控制点对集确定图像配准参数，并通过所述图像配准参数对实际生物样品的多通道图像进行配准。

基于上述用于多通道单分子定位的图像配准方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的用于多通道单分子定位的图像配准方法中的步骤。

基于上述用于多通道单分子定位的图像配准方法，本申请还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。