一种基于深度学习的Cell-SORT细胞跟踪方法和装置

技术领域

本发明属于视觉目标跟踪领域，涉及一种基于深度学习的Cell-SORT细胞跟踪方法和装置。

背景技术

研究细胞活动对生物医学领域具有重要的意义。细胞是生物体的基本结构和功能单位，了解细胞的活动可以深入了解生物体的正常功能和疾病发生的机制，从而推动医学领域的发展和进步。研究细胞活动对于疾病诊断和治疗至关重要。通过观察细胞的异常变化，可以提供疾病的诊断和治疗线索，如癌症的早期标志物发现。此外，细胞是药物研发的重要目标和模型，通过评估药物对细胞的影响，可以为新药的开发提供基础。了解细胞活动对于器官和组织的形成和功能恢复至关重要，通过控制细胞活动，可以推动组织工程和人工器官的发展。研究细胞的基因调控网络和信号通路也为基因治疗提供理论基础，通过修正或调节细胞的基因表达，可以纠正疾病发生过程中的异常。总的来说，研究细胞活动可深化对生物体结构和功能的理解，为疾病的诊断、治疗和预防提供科学依据，推动药物研发、器官和组织工程以及基因治疗等领域的发展具有重要意义。为了进一步分析细胞在其生命周期内的活动，研究人员记录活细胞的图像视频并对其进行分析，即随着时间的推移准确的记录细胞位置和运动轨迹，也称为细胞跟踪任务。

细胞跟踪是一种应用于生物医学领域的多目标跟踪任务，但与主流的多目标跟踪任务相比，细胞跟踪任务则更具有挑战性，具体表现在三个方面。

(1)细胞外观特征少。

(2)细胞在整个视频中形变明显。

(3)背景复杂。

因此，亟需一种既能对噪声、细胞形变以及细胞事件具有鲁棒性，又有优异的跟踪性能的方法来进行细胞跟踪。

发明内容

本发明针对细胞跟踪中，目标外观特征少、分辨率低的难点，选择当前主流目标检测模型YOLO系列中的最优模型YOLOv7-X作为细胞检测模型，并修改其特征融合模块，提出高分辨率的YOLOv7-X-A细胞检测模型。针对细胞跟踪中，目标形变明显，且背景噪声复杂多变的挑战，基于SORT数据关联架构，采用优化后的卡尔曼滤波器(KF+)以便更好的预测目标的位置，同时引入BYTE匹配机制对目标检测框进行两次匹配，并引入轨迹插值后处理方法对轨迹进行填充。最后将改进的YOLOv7-X-A细胞检测模型与重建的SORT数据关联方法相结合，提出一种基于深度学习的Cell-SORT细胞跟踪方法，实现鲁棒性强，准确性更高的细胞跟踪。

本发明提供一种基于深度学习的Cell-SORT细胞跟踪方法，具体包括如下步骤：

(1)将视频帧送入训练好的目标检测模型中，并获得检测目标框置信度分数bb

(2)使用卡尔曼滤波器预测上一帧轨迹在该帧中的位置；如果是第一帧，则根据bb

(3)利用BYTE机制对bb

(4)返回步骤(2)，处理下一帧，直到处理完所有视频帧；

(5)处理完所有视频帧后得到轨迹集合T，然后对T使用轨迹插值后处理方法进行轨迹的填充，获得最终跟踪结果Tracks。

进一步的，所述目标检测模型采用原始YOLOv7-X模型，所述YOLOv7-X由三部分构成：Backbone、Neck以及Head，其中Backbone由多个CBS、ELAN、MPConv模块组成，用来提取图像的特征，其中CBS是具有不同尺度的一组卷积操作，包括一个卷积层，一个批数据归一化层以及激活函数SiLU层，ELAN是由多个CBS和连接操作组合而成，MPConv则是由CBS卷积操作和MaxPooling层组合而成，增强了模型对特征的融合提取能力；Neck部分则用来融合不同维度的特征以获得更丰富的语义信息；Head则根据特征信息预测目标物体的位置和类别。

进一步的，所述目标检测模型采用YOLOv7-X-A，YOLOv7-X-A是在原始YOLOv7-X的基础上修改了Neck部分的融合路径，

在原始YOLOv7-X模型中，Neck融合的特征图分别来自Backbone中的28层，43层以及59层，其中28层的特征图输入到76层再输入到77层进行融合，43层的特征图输入到62层的再输入到63层进行融合，59层的特征图则输入到107层进行融合；

而在YOLOv7-X-A中，Neck融合的特征图分别来自Backbone中的13层，28层以及43层，即13层的特征图输入到76层再输入到77层进行融合，28层的特征图输入到62层的再输入到63层进行融合，在43层的融合路径中，增加一个3*3卷积模块，此处为107层，原本的107层变为108层，后续层序号均加一，即43层特征图输出到107层后再输入到108层进行融合，并将原模型中76层与62层的1*1卷积模块替换为3*3的卷积模块，其余部分与原模型相同。

进一步的，步骤(2)中使用卡尔曼滤波器KF+包括两个步骤：预测和更新，预测阶段则是预测细胞的状态以及协方差，细胞的状态即中心坐标以及宽高，更新步骤则是利用目标检测模型得到的细胞状态和预测阶段得到的状态估计更新系统的后验估计并更新协方差矩阵；经过不断的预测和更新后，卡尔曼滤波可以精确的预测细胞在下一时刻的位置；

预测的目标状态向量表示为一个八元组，如公式(1)所示，如公式(1)所示，其中(x

和(4)所示，

此处，σ

此处，σ

其具体预测与更新实现步骤如下：

此处，

此处，P

进一步的，步骤(3)的具体实现方式如下；

(31)将视频帧送入目标检测模型并获得检测目标框bb

(32)根据预测目标框bb

(33)使用卡尔曼滤波器对上一帧轨迹集合中的每一条轨迹预测新的位置，获得当前轨迹集合T；

(34)将IOU作为相似度度量指标，使用匈牙利算法对轨迹集合T与高分检测框D

(35)为D

(36)重复步骤(31)-(35)，直到处理完所有视频帧。

进一步的，步骤(34)中匹配使用到的IOU指标指的是交并比，是度量两个检测框的交叠程度，公式如下：

进一步的，步骤(5)的具体实现方式如下；

假设现在有一个细胞轨迹T，由于细胞运动的原因导致轨迹在t

其中，t

进一步的，还包括步骤(6)，采用客观评价指标MOTA和IDF1对细胞跟踪效果进行评价。

本发明还提供一种基于深度学习的Cell-SORT细胞跟踪装置，包括以下模块：

置信度分数获取模块，用于将视频帧送入训练好的目标检测模型中，并获得检测目标框置信度分数bb

位置预测模块，用于使用卡尔曼滤波器预测上一帧轨迹在该帧中的位置；如果是第一帧，则根据bb

轨迹更新模块，用于利用BYTE机制对bb

返回位置预测模块，处理下一帧，直到处理完所有视频帧，处理完所有视频帧后得到轨迹集合T，然后对T使用轨迹插值后处理方法进行轨迹的填充，获得最终跟踪结果Tracks。

与现有技术相比，本发明的优点和有益效果：利用新的细胞跟踪数据集CTMC进行训练，并使用更加粗糙的边界框进行细胞检测而不是要求更为精确的细胞分割方法，并且根据细胞的特点优化了目标检测模型和关联方法。与以往方法相比，具有更高的鲁棒性，可以在外观特征少、背景复杂等情况下取得良好的跟踪效果。

附图说明

图1为原始YOLOv7-X结构图。

图2为本发明实施例改进后的YOLOv7-X-A结构图。

图3为本发明实施例中细胞跟踪方法框架图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图3所示，本发明实施例提供一种基于深度学习的Cell-SORT细胞跟踪方法，具体包括如下步骤：

(1)将细胞视频序列的每一帧送入到训练好的目标检测模型YOLOv7-X-A中进行细胞的检测，在送入检测模型时细胞图像大小会被调整为416×416；在经过目标检测模型后，会得到预测目标框bb

(2)如果是第一帧，则根据bb

(3)利用BYTE机制对bb

(4)返回步骤(2)，处理下一帧，直到处理完所有视频帧。

(5)处理完所有视频帧后会得到轨迹集合T，然后对T使用轨迹插值后处理方法进行轨迹的填充，获得最终跟踪结果Tracks。

进一步的，步骤(1)中，目标跟踪模型采用YOLOv7-X-A，该结构由本发明所提出，该检测模型是在YOLOv7-X的基础上修改了Neck部分的融合路径，YOLOv7-X-A主要由三部分构成：Backbone、Neck以及Head。其中Backbone由多个CBS、ELAN、MPConv等模块组成，用来提取图像的特征。其中CBS是具有不同尺度的一组卷积操作，包括一个卷积层，一个批数据归一化层以及激活函数SiLU层。ELAN是由多个CBS层和连接操作组合而成，可以丰富的提取不同维度的特征。MPConv则是由CBS卷积操作和MaxPooling层组合而成，增强了模型对特征的融合提取能力。Neck部分则用来融合不同维度的特征以获得更丰富的语义信息。Head则根据特征信息预测目标物体的位置和类别。

在原YOLOv7-X模型中，Neck融合的特征图分别来自Backbone中的28层，43层以及59层，其中28层的特征图输入到76层再输入到77层进行融合，43层的特征图输入到62层的再输入到63层进行融合，59层的特征图则输入到107层进行融合。

而在YOLOv7-X-A中，Neck融合的特征图分别来自Backbone中的13层，28层以及43层，即13层的特征图输入到76层再输入到77层进行融合，28层的特征图输入到62层的再输入到63层进行融合。在43层的融合路径中，增加一个3*3卷积模块(此处为107层，原本的107层变为108层，后续层序号均加一)，即43层特征图输出到107层后再输入到108层进行融合。并将原模型中76层与62层的1*1卷积模块替换为3*3的卷积模块。其余部分与原模型相同。

进一步的，在数据关联阶段，采用改进的卡尔曼滤波器(KF+)。KF+算法是一种用于估计系统状态的递归算法，它能够通过融合多个不完全准确的传感器测量值和系统模型，得出对系统真实状态的最优估计。具体而言，KF+算法包括两个主要步骤：预测和更新。

预测步骤中，KF+算法利用上一时刻的状态估计通过状态转移方程预测当前时刻的状态以及协方差矩阵。在更新步骤中，卡尔曼滤波利用传感器的测量值和预测步骤得到的状态估计通过测量更新方程计算出系统状态的后验估计，同时更新协方差矩阵，这一步骤是对系统状态的校正和优化。通过递归的进行预测和更新步骤，卡尔曼滤波算法能不断优化状态估计并减少估计的不确定性。

在多目标跟踪算法SORT中，目标的状态向量表示为

此处，σ

此处，σ

在本发明中，预测阶段则是预测细胞的状态(即中心坐标以及宽高)以及协方差，更新步骤则是利用传感器(即检测模型)得到的细胞状态和预测阶段得到的状态估计更新系统的后验估计并更新协方差矩阵。其具体预测与更新实现步骤如下：

此处，

此处，P

进一步的，在数据关联阶段，采用BYTE作为匹配策略，具体流程如下：

(1)将视频帧送入检测模型YOLOv7-X-A并获得检测目标框bb

(2)根据预测目标框bb

(3)使用卡尔曼滤波器对上一帧轨迹集合T中的每一条轨迹预测新的位置，获得当前轨迹集合T。

(4)使用匈牙利算法对轨迹T与高分检测框D

(5)为D

(6)重复步骤(1)-(5)，直到处理完所有视频帧。

此处步骤(4)中匹配使用到的IOU指标指的是交并比，该指标是度量两个检测框(对于目标检测来说)的交叠程度，公式如下：

最后，采用轨迹插值作为后处理方法，用于填充在跟踪过程中由于目标丢失或遮挡等原因导致的轨迹间断。轨迹插值针对目标被遮挡或丢失视野造成的轨迹断裂有着一定的效果。假设现在有一个细胞轨迹T，由于细胞运动的原因导致轨迹在t

另一方面，本发明实施例还提供一种基于深度学习的Cell-SORT细胞跟踪装置，包括以下模块：

置信度分数获取模块，用于将视频帧送入训练好的目标检测模型中，并获得检测目标框置信度分数bb

位置预测模块，用于使用卡尔曼滤波器预测上一帧轨迹在该帧中的位置；如果是第一帧，则根据bb

轨迹更新模块，用于利用BYTE机制对bb

返回位置预测模块，处理下一帧，直到处理完所有视频帧，处理完所有视频帧后得到轨迹集合T，然后对T使用轨迹插值后处理方法进行轨迹的填充，获得最终跟踪结果Tracks。

为了说明本发明在跟踪准确性和鲁棒性上的设计，本发明针对于多目标跟踪流程的两个阶段，即目标检测阶段与数据关联阶段，进行跟踪性能的比对和分析，以下结合图表和具体实施例来对本发明做进一步的说明。

表1：目标检测模型精度对比

表1所示为YOLOv7-X(原模型)与YOLOv7-X-A(本发明提出，具体结构如图1所示)的检测效果对比，为了公平的对两种检测模型进行对比，以目标检测领域常用的mAP作为评价指标。使用CTMC数据集在两个检测模型上进行训练。训练总共200个循环，使用COCO预训练模型作为初始权重，图片输入尺寸为416×416，学习率为0.01，优化器使用SGD并设置权重衰减为5×10

其中mAP指标的解释如下：

首先介绍IOU指标，交并比(IOU)是度量两个检测框(对于目标检测来说)的交叠程度，公式如下：

目标检测模型的准确性在目标跟踪流程中起着重要的作用，一般来说检测模型的精度越高，跟踪的精度也越高。为了验证YOLOv7-X-A模型在细胞跟踪任务上的有效性，我们将YOLOv7-X模型和YOLOv7-X-A模型运用在SORT算法上并使用MOTA和IDF1指标来度量跟踪的效果。具体结果如表2所示，可以看到使用YOLOv7-X-A作为检测模型的SORT跟踪算法，在MOTA和IDF1指标上均有着较大的提升，分别为2.2以及1.2。

表2：使用不同检测器在测试集上生成的跟踪结果

此处MOTA和IDF1指标解释如下：

这里FN

这里IDTP和IDFP分别代表正确分配和错误分配的ID数，IDFN代表因漏检而未分配的ID数。

本发明将改进后的卡尔曼滤波器(KF+)作为运动模型并融合到数据关联阶段，其目标状态向量表示为一个八维向量，如公式(1)所示，其中(x

在本发明中，使用BYTE作为轨迹匹配策略，其具体流程如下。

(1)将视频帧送入检测模型YOLOv7-X-A并获得检测目标框bb

(2)根据预测目标框bb

(3)使用卡尔曼滤波器对上一帧轨迹集合T中的每一条轨迹预测新的位置，获得当前轨迹集合T。

(4)使用匈牙利算法对轨迹T与高分检测框D

(5)为D

(6)重复步骤(1)-(5)，直到处理完所有视频帧。

在本发明中，还引入了轨迹插值作为后处理方法。轨迹插值针对目标被遮挡或丢失视野造成的轨迹断裂有着一定的效果。假设现在有一个细胞轨迹T，由于细胞运动的原因导致轨迹在t

表3表示SORT在分别融合KF+、BYTE以及轨迹插值方法后细胞跟踪算法的跟踪效果。表中实验均采用YOLOv7-X-A作为检测器，在BYTE机制中，μ

表3：融合KF+以及BYTE后跟踪效果对比

本发明使用提出的高分辨率检测模型YOLOv7-X-A作为目标检测模型，同时引入KF+，BYTE机制、以及轨迹插值来重建SORT数据关联方法，最终提出一种基于深度学习的Cell-SORT细胞跟踪方法，可在细胞特征少、分辨率低、形变明显、且背景噪声复杂多变的情况下，实现鲁棒性强、准确性更高的细胞跟踪。

为了说明本发明的高鲁棒性以及高准确性，在CTMC相同测试集上选取了主流多目标跟踪算法进行比较。

表5：主流算法在CTMC数据集上的评测指标

如表5所示，本发明提出的基于深度学习的Cell-SORT细胞跟踪方法在MOTA、IDF1等多目标跟踪评价指标上取得了最好的成绩，有着较高的鲁棒性以及准确率。

以上内容是结合最佳实施方案对本发明所做的进一步详细说明，不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的情况下，可以在细节上进行各种修改，都应当视为属于本发明的保护范围。