一种细胞三维运动的定位与追踪方法、装置及存储介质

技术领域

本发明涉及成像测量领域，尤其涉及一种细胞三维运动的定位与追踪方法、装置及存储介质。

背景技术

细胞作为生命的最小单位，其三维运动和迁移行为的研究对于生命科学、医学、农业生产等领域具有重要意义。然而，细胞自身与周围介质的光学对比度弱，内部存在复杂的细胞器结构；同时，它在运动和迁移的过程中可发生复杂的形态变化。因此，尽管对细胞，尤其是非贴壁细胞进行原位、实时的三维定位及追踪极具挑战性。

目前，细胞动态观测方法通常基于明场照明或标记细胞进行荧光实时成像，获取图像后得到细胞的二维轨迹并进行分析。这些方法适合在表面迁移的贴壁细胞，在对细胞成像后结合图像分割等处理方法可识别细胞的中心或特异性标记的细胞器，进而实现细胞在二维方向上的定位与追踪。然而，这类方法无法反映细胞在真实三维空间中的运动和迁移方式，尤其是处于非贴壁状态，尤其是复杂三维环境中迁移的细胞，具有很大的局限性。目前要实现对细胞的三维追踪，往往要依赖高速的共聚焦荧光显微镜在不同高度的焦面对细胞进行染色并逐层扫描，相关硬件成本高昂，而且无法实现原位监测。而对细胞进行特殊的染色处理可能会破坏某些细胞，譬如免疫细胞的健康状态。

可见，亟需一种高精度、无需标记、鲁棒性好的细胞三维定位追踪方法，以实现对细胞运动规律的实时研究，为相关领域提供启示。

发明内容

为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种细胞三维运动的定位与追踪方法、装置及存储介质。

本发明所采用的技术方案是：

一种细胞三维运动的定位与追踪方法，包括以下步骤：

S1、使用干涉光学成像方法对包含多个细胞的样品进行拍摄，对所拍摄的细胞干涉图像进行数值重建，计算出细胞样品在三维空间的散射光强分布；

S2、通过纵向光强值的叠加和局部最大值搜索的方式获取每一帧干涉图像上细胞中心的投影位置，以实现单帧细胞图像二维定位；

S3、对于已经实现二维定位的细胞个体，根据其位置的空时一致性进行前后帧的二维轨迹连接；

S4、根据二维定位坐标以及散射光强分布获取不同时刻下细胞中心的纵向光强变化曲线，根据纵向光强变化曲线计算同一细胞相邻帧的相对纵向位移；

S5、根据相对纵向位移和二维轨迹的空时一致性获得同一细胞的三维连续空间运动轨迹。

进一步地，步骤S1中所述干涉光学成像方法通过平面波或者球面波的方式进行照明，获得的图像为离焦光学干涉图；

所述三维空间的散射光强分布由离焦光学干涉图像，根据光学衍射原理的传播模拟公式获得，为了确保能够获得细胞三维位置，重建距离应囊括离焦-聚焦-离焦整个范围。

进一步地，步骤S2中二维定位的步骤中应用了纵向光强值叠加的方法，包括：

对单帧图像计算获得散射光强分布的离散数值沿纵向进行叠加，进而获得与原图像像素尺寸一致的纵向光强叠加图，在该纵向光强叠加图的基础上进行后续的二维定位计算。

进一步地，所述步骤S2，包括：

根据细胞尺寸及放大倍数设定局部最大值的判定范围，遍历整个叠加图进行搜索；

当图像上某位置数值大于以该点为中心划定的预设判定范围内的其余点，则判定该点为单个细胞对应二维投影位置。

进一步地，所述步骤S3，包括：

S31、设定轨迹连接最大距离，当相邻图像二维定位点距离大于预设值时，判定两帧图像中的细胞不为同一细胞；

S32、按时间顺序排列所有二维定位结果，以第一帧二维定位点为中心，寻找下一帧是否存在对应点；当预设距离范围内不存在定位点时，终止该轨迹的搜索；当预设距离内仅存在一个定位点时，认为该点与起点为同一轨迹；当预设距离内二个及以上定位点时，先假定定位点均为对应点，并根据后续计算的参数判定前后帧的二维轨迹连接方式；

S33、重复步骤S32，并判断所有相邻帧的二维定位点间的连接关系，根据连接关系将获得的所有定位点整理为细胞中心二维投点影随时间运动的轨迹，舍弃其中未被连接的定位点及过短的轨迹，获得细胞的二维投影轨迹。

进一步地，所述步骤S4，包括：

S41、根据二维轨迹确定需要进行匹配的两条光强曲线I1、I2；

S42、从光强曲线I1中获取细胞光强特征曲线；

S43、将光强特征曲线与光强曲线I2进行匹配：从光强曲线I2的端点出发，截取与光强特征曲线等长的线段，计算该线段与光强特征曲线间相似度的评价参数r1；平移一个离散数据点再次截取与特征曲线等长的线段，计算新线段的评价参数r2；以步进方式重复该过程，直至截取线段终点超出光强曲线I2的范围，获得系列参数r3、r4、……、rn，根据参数变化规律获得曲线的位移关系，进而计算两帧图像间细胞相对运动距离；

S44、使用空间光强最大值位置确定轨迹起点三维位置，并对两两相对位移进行叠加获得细胞在空间中运动轨迹，从而实现细胞的纵向定位和三维轨迹追踪。

进一步地，所述光强特征曲线包含细胞中心位置，该光强特征曲线通过光强曲线I1舍弃两端远离焦面的数据获得；根据估算细胞最大纵向位移和重建范围，截取包含光强曲线I1聚焦范围的部分光强曲线作为细胞定位特征。

进一步地，步骤S43中的评价参数不仅用于获取细胞纵向位移，也用于进行二维轨迹定位点是否为同一细胞的二次验证评估；该评价参数通过计算相关系数或者计算对应位置数值的差值平方和的方式获得。

本发明所采用的另一技术方案是：

一种细胞三维运动的定位与追踪装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述方法。

本发明所采用的另一技术方案是：

一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。

本发明的有益效果是：本发明使用干涉光学成像法获取三维空间中细胞的散射光场分布，再通过先进行二维细胞定位后基于该位置的三维细胞光场的相对位移进行纵向定位的方法实现对多个细胞的三维实时定位与追踪。本发明可实现对各种种类、不同形态的细胞的三维实时定位和追踪，定位准确性高，具有较好的鲁棒性，能应用于包括贴壁或非贴壁细胞在内的具有复杂三维形态变化细胞的三维运动与迁移的相关表征与研究。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1是本发明实施例中一种细胞三维运动的定位与追踪方法的流程图；

图2是本发明实施例中干涉光学成像方法获得的T细胞的离焦干涉图像；

图3是本发明实施例中细胞的二维投影轨迹图；

图4是本发明实施例中相关系数随步进长度的变化曲线；

图5是本发明实施例中获得的T细胞的三维轨迹图像。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

如图1所示，本实施例提供一种细胞三维运动的定位与追踪方法，该方法通过纵向光强值的叠加和局部最大值搜索的方式对细胞进行二维定位，再通过二维定位点对应纵向光强变化曲线间的匹配获得纵向位移，从而实现对细胞的像素级的三维定位追踪。该方法具体包括以下步骤：

S1、获取视野范围内多个细胞在空间中的实时三维散射光场分布。

获取方式为使用干涉光学成像方法对包含多个细胞的样品进行实时、连续拍摄，对所拍摄的细胞干涉图像进行数值重建，计算出细胞样品在三维空间的散射光强分布；为了确保能够获得细胞三维位置，获取的图像为离焦光学干涉图，且重建距离应囊括离焦-聚焦-离焦整个范围。

S2、通过纵向光强值的叠加和局部最大值搜索的方式获取每一帧干涉图像上细胞中心的投影位置，以实现单帧细胞图像二维定位。

对步骤S1中单帧图像计算获得散射光强分布的离散数值沿纵向进行叠加，获得与原图像像素尺寸一致的纵向光强叠加图；根据细胞尺寸及放大倍数设定局部最大值的判定范围，遍历整个叠加图进行搜索；当图像上某位置数值大于以该点为中心划定的预设判定范围内的其余点，则认定该点为单个细胞对应二维投影位置。由于噪声等因素的存在，该二维定位方法会不可避免地在空白背景上获得一些虚假判定，可通过阈值法等方法的引入进行排除。此外，该二维定位还可以通过引入质心法等方法进行修正以进一步提高定位准确性。

S3、对视野内已实现二维定位的细胞个体根据其位置的空时一致性等进行前后帧的二维轨迹连接。

二维轨迹连接的方法具体包括以下步骤S31-S33：

S31、根据细胞运动速度及图像拍摄速度等参数设定轨迹连接最大距离，当相邻图像二维定位点距离大于预设值时，则认为两者不可能为同一细胞。

S32、按时间顺序排列所有二维定位结果，以第一帧二维定位点为中心，寻找下一帧是否存在对应点。当预设距离范围内不存在定位点时，终止该轨迹的搜索；当预设距离内仅存在一个定位点时，认为该点与起点为同一轨迹；当预设距离内二个及以上定位点时，先假定其均为对应点，根据后续计算获得的点间距离、运动的时空一致性、最终获得的轨迹长度等参数判定前后帧的二维轨迹连接方式。

S33、重复第二步判断所有相邻帧的二维定位点间的连接关系，将其整理为细胞中心二维投点影随时间运动的轨迹，舍弃其中未被连接的定位点及过短的轨迹，即可获得细胞的二维投影轨迹。

S4、对单个细胞的二维轨迹上每个位置点进行纵向定位。

根据二维定位坐标及步骤S1中获得的散射光强分布获得不同时刻下细胞中心的纵向光强变化曲线，并根据这些曲线计算同一细胞相邻帧的相对纵向位移，该过程具体包括：

S41、根据二维轨迹确定需要进行匹配的两条光强曲线I

S42、从光强曲线I

S43、将特征曲线与光强曲线I

所述特征曲线匹配获得的评价参数不仅用于获取细胞纵向位移，也用于进行二维轨迹定位点是否为同一细胞的二次验证评估，该参数可以通过计算相关系数、计算对应位置数值的差值平方和等方式获得，并可根据实际情况作进一步扩展。所述特征曲线匹配可通过拟合等方式实现更精确的匹配效果，达到提高定位和追踪精度的效果。

S44、使用空间光强最大值位置确定轨迹起点三维位置，并对两两相对位移进行叠加获得细胞在空间中运动轨迹，从而实现细胞的纵向定位和三维轨迹追踪。

S5、根据相对纵向位移和二维轨迹的空时一致性获得同一细胞的三维连续空间运动轨迹。

获取的细胞三维轨迹可用于计算细胞运动速度、加速度等运动参数，从而进一步对细胞运动行为进行分析。

作为一种可选的实施方式，在步骤S2的二维投影位置获取、步骤S4的纵向位移计算等过程中，可以在计算过程引入包括但不限于质心法、聚类、拟合等算法对结果进行优化，从而实现更高精度的三维定位与追踪。

以下结合附图及具体实施例对上述方法进行详细地解释说明。

本发明实施例该处一个使用同轴全息成像系统对T细胞的运动进行三维定位与追踪的实验结果。实验所用的光源为波长λ＝505nm的LED光源，全息成像系统放大倍数为10x。成像所用相机为像素点边长为6.5μm的黑白相机。使用相机对T细胞进行成像，获得其离焦干涉图像如图2。记录100帧图像，时间间隔为5s。

考虑到计算速度及准确性，本发明实施例对距离成像面3.5μm到603.5μm范围内的三维光场进行重建。根据像素边长及放大倍数计算获得相邻重建光强图像之间距离应与像素点单元尺寸成像范围相一致，即0.65μm，即以3.5μm、4.15μm、4.8μm、……的距离使用Rayleigh Sommerfeld衍射公式模拟光学传播过程获得三维离散光场。

对单帧图像获得的三维光场沿纵向进行叠加，获得与原图像像素尺寸一致的纵向光强叠加图。根据细胞大小及成像硬件参数，设定50*50像素范围大小作为局部最大值的判定范围，遍历整个叠加图进行搜索；为了排除空白背景上的虚假判定点，以叠加图上所有离散点的平均值的5％为阈值，舍弃小于该数值的二维定位点。

对获得的二维定位点进行连接，设定距离在13μm距离内的点在可能在同一轨迹上，以第一帧二维定位点为中心，寻找下一帧是否存在对应点。当预设距离范围内不存在定位点时，终止该轨迹的搜索；当预设距离内仅存在一个定位点时，认为该点与起点为同一轨迹；当预设距离内二个及以上定位点时，先假定其均为对应点，根据后续计算获得的点间距离、运动的时空一致性、最终获得的轨迹长度等参数判定前后帧的二维轨迹连接方式；重复该步骤判断所有相邻帧的二维定位点间的连接关系，获得细胞的二维投影轨迹，结果如图3所示。

对细胞的纵向位置进行计算。获得细胞二维投影轨迹在纵向传播时的光强变化曲线，以第一帧和第二帧图像为例，获取细胞中心在纵轴方向上的光强曲线I

综上所述，本发明实施例相对于现有技术，至少具有如下优点及有益效果：

(1)本实施例方法应用了光强变化曲线匹配的方法进行纵向定位，从而获取细胞的相对位置变化，对于具有复杂内部结构难以聚焦成像的细胞样品，这一方法仍然有效。

(2)本实施例方法应用了光强变化曲线匹配的方法进行纵向定位，相对位移仅与这两张图像对应的三维光场有关，在分析运动问题能有效降低分析过程的路径依赖性，在数据处理上更具有普适性，能更客观反映细胞运动规律。

(3)本实施例方法应用了光强变化曲线匹配的方法，在进行细胞轴向定位的同时也能对定位点是否为同一细胞进行了评估，在实际应用中能较好的减少错误识别的结果。

(4)本实施例方法采用先二维定位，后进行纵向定位的方法实现对细胞的三维空间定位，传统的二维追踪研究可以很便捷地引入本方法，具有极高的优化价值。

(5)本实施例方法可以较为便捷地扩展应用于具有复杂结构的样品的三维追踪，对于解决一类特殊样品的定位追踪问题具有较高的参考意义。

本实施例还提供一种细胞三维运动的定位与追踪装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如图1所示方法。

本实施例的一种细胞三维运动的定位与追踪装置，可执行本发明方法实施例所提供的一种细胞三维运动的定位与追踪方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种细胞三维运动的定位与追踪方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。