血管识别方法、装置、电子设备及可读存储介质

技术领域

本发明实施例涉及血管内OCT诊断医学成像领域技术领域，尤其涉及一种血管识别方法、装置、电子设备及可读存储介质。

背景技术

冠状动脉介入治疗是当前治疗动脉粥样硬化引起的血管堵塞最常见的治疗手段。对于分叉病变领域的治疗，植入支架是一种最直接有效的治疗方案。植入支架前需要确定支架的尺寸和最佳放置位置，而这需要精确的定位主血管和分支血管。

当前，基于OCT(Optical CoherenceTomography，光学相干断层扫描技术)图像的高分辨率，存在部分识别模型能够对主血管与分支血管进行识别和定位。

然而，当前的识别模型对血管的识别准确度低、识别效率低。

发明内容

本发明实施例提供一种血管识别方法、装置、电子设备及可读存储介质，以解决现有的识别模型对血管的识别准确度低、识别效率低的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种血管识别方法，包括：

获取血管内OCT图像；

采用EffcientFormer提取所述血管内OCT图像中的特征，得到目标训练特征图像；

采用所述目标训练特征图像对Polyp_PVT模型进行训练，得到目标识别模型；

获取待识别的血管内OCT图像，将所述待识别的血管内OCT图像输入至所述目标识别模型，得到识别结果。

可选地，

采用EffcientFormer提取所述训练血管内OCT图像中的特征，包括：

按照预设的预处理规则，至少两次对所述血管内OCT图像进行预处理，

其中：在每次预处理之后，采用EffcientFormer提取当次预处理之后的所述血管内OCT图像中的特征，得到当次的所述目标训练特征图像，并以当次预处理之后的血管内OCT图像作为新的所述血管内OCT图像进行下一次所述预处理，直至预处理次数达到所述预处理规则确定的预处理次数。

可选地，

所述预处理规则包括：预设的梯度缩减规则以及预设的再处理策略；

对所述血管内OCT图像进行预处理，包括：

按照所述梯度缩减规则，对所述血管内OCT图像进行尺寸缩减；

按照预设的再处理策略，对当次尺寸缩减之后的所述血管内OCT图像进行再处理。

可选地，

所述预处理规则确定的预处理次数为四次。

可选地，

采用所述目标训练特征图像对Polyp_PVT模型进行训练，包括：

采用伪装识别模块CIM对第一次所述预处理得到的所述目标训练特征图像进行特征粗提取，得到粗提取特征图像；

对第一次之外的其他次所述预处理得到的所述目标训练特征图像进行特征细提取，得到细提取特征图像；

采用所述粗提取特征图像以及所述细提取特征图像对Polyp_PVT模型进行训练，得到所述目标识别模型。

可选地，

采用TensorRT加快所述目标识别模型的识别速度。

可选地，

采用所述目标训练特征图像对Polyp_PVT模型进行训练，包括：

每隔预设的时间间隔，采用损失函数度量真实值与当前Polyp_PVT模型得到的预测值之间的差异值，若所述差异值小于预设的目标差异值，确定当前Polyp_PVT模型为所述目标识别模型；

所述损失函数为：

Loss＝L

其中，N为所有像素个数，N

第二方面，本发明实施例提供了一种血管识别装置，包括：

第一获取模块，用于获取血管内OCT图像；

第一执行模块，用于采用EffcientFormer提取所述血管内OCT图像中的特征，得到目标训练特征图像；

所述第一执行模块，还用于采用所述目标训练特征图像对Polyp_PVT模型进行训练，得到目标识别模型；

所述第一执行模块，还用于获取待识别的血管内OCT图像，将所述待识别的血管内OCT图像输入至所述目标识别模型，得到识别结果。

第三方面，本发明实施例提供了一种电子设备，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面中任一项所述的血管识别方法中的步骤。

第四方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面中任一项所述的血管识别方法中的步骤。

在本发明实施例中，通过获取血管内OCT图像，将EffcientFormer作为特征提取模块提取血管内OCT图像中的特征，提高了被提取特征(即目标训练特征图像)的准确度，再采用所述目标训练特征图像对Polyp_PVT模型进行训练，所得到的目标识别模型能够高效且准确地对血管进行识别。本发明实施例能够实现高准确度和高效率的血管识别。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例血管识别方法的流程示意图；

图2为应用本发明实施例血管识别方法的流程示意图；

图3a为预处理示意图；

图3b为MB4D模块的原理框图；

图3c为MB3D模块的原理框图；

图4为本发明实施例血管识别装置的原理框图；

图5为本发明实施例电子设备的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种血管识别方法，参见图1所示，图1为本发明实施例血管识别方法的流程示意图，血管识别方法包括：

步骤11：获取血管内OCT图像；

步骤12：采用EffcientFormer提取血管内OCT图像中的特征，得到目标训练特征图像；

步骤13：采用目标训练特征图像对Polyp_PVT模型进行训练，得到目标识别模型；

步骤14：获取待识别的血管内OCT图像，将待识别的血管内OCT图像输入至目标识别模型，得到识别结果。

EffcientFormer是一种维度一致的设计，将网络分层4D分区，算子以卷积网络样式MB4D实现，同时使用一个3D分区，线性投影和注意力在3D上执行利用Transformer多头注意力的全局建模能力，同时不牺牲效率。因此，本发明实施例中，通过使用EffcientFormer作为特征提取模块来提取特征加速网络效率，并且也没有降低网络的性能。

EfficientFormer在移动设备上的性能和速度方面具有优势。EfficientFormer-L1在ImageNet-1K上实现了79.2％的Top-1准确率，在iPhone12(使用CoreML编译)上只有1.6ms的推理延迟，这甚至比MobileNetV2(1.7ms，71.8％Top-1)，EfficientFormer-L7获得了83.3％的准确率，延迟仅为7.0ms。EfficientFormer证明，正确设计的Transformer可以在移动设备上达到极低的延迟，同时保持高性能。

Polyp_PVT模型(Polyp，意为息肉；PVT，意为Pyramid Vision Transformer，特征金字塔Transformer模型；Polyp_PVT为本领域专有名称，Polyp_PVT模型特指该用于识别息肉的特征金字塔Transformer模型)。

Polyp_PVT模型，大多数息肉分割方法使用CNN作为其骨干，导致在编码器和解码器之间交换信息时出现两个关键问题：1)考虑到不同级别特征之间的贡献差异；2)设计一个有效的机制来融合这些特征。与现有的基于CNN的方法不同，Polyp_PVT模型采用了一个Transformer编码器，可以学习到更强大和稳健的表征。此外，考虑到图像采集的影响和息肉难以捉摸的特性，引入了三个新的模块，包括级联融合模块(CFM)、伪装识别模块(CIM)和相似度聚合模块(SAM)。Polyp_PVT模型能够有效地抑制特征中的噪音。在五个广泛采用的数据集上进行的广泛实验表明，与现有的方法相比，所提出的模型对各种具有挑战性的情况(如外观变化、小物体)更加稳健，并实现了新的最先进的性能。

本发明实施例中，识别结果即为对待识别的血管内OCT图像中主血管与分支血管的识别和定位结果。

在本发明实施例中，通过获取血管内OCT图像，将EffcientFormer作为特征提取模块提取血管内OCT图像中的特征，提高了被提取特征(即目标训练特征图像)的准确度，再采用所述目标训练特征图像对Polyp_PVT模型进行训练，所得到的目标识别模型能够高效且准确地对血管进行识别。本发明实施例能够实现高准确度和高效率的血管识别。

本发明实施例中，可选地，

采用EffcientFormer提取训练血管内OCT图像中的特征，包括：

步骤a：按照预设的预处理规则，至少两次对血管内OCT图像进行预处理，

其中：在每次预处理之后，采用EffcientFormer提取当次预处理之后的血管内OCT图像中的特征，得到当次的目标训练特征图像，并以当次预处理之后的血管内OCT图像作为新的血管内OCT图像进行下一次预处理，直至预处理次数达到预处理规则确定的预处理次数。

示例性的，参见图2及图3a所示，图2为应用本发明实施例血管识别方法的流程示意图，图3a为预处理示意图，其中，预处理规则确定的预处理次数为四次，即Stage1至Stage4；预处理规则包括：预设的梯度缩减规则以及预设的再处理策略；每次对血管内OCT图像进行预处理，包括：按照梯度缩减规则，对血管内OCT图像进行尺寸缩减；按照预设的再处理策略，对当次尺寸缩减之后的血管内OCT图像进行再处理。

参见图2所示，图2示意了“按照梯度缩减规则，对血管内OCT图像进行尺寸缩减”，具体地：

input(输入)血管内OCT图像；

Stage1中，将血管内OCT图像的高(即图中H)值缩减为input(输入)时的1/4，将血管内OCT图像的宽(即图中W)值也缩减为input(输入)时的1/4；

Stage2中，将血管内OCT图像的高(即图中H)值缩减为input(输入)时的1/8，将血管内OCT图像的宽(即图中W)值也缩减为input(输入)时的1/8；

Stage3中，将血管内OCT图像的高(即图中H)值缩减为input(输入)时的1/16，将血管内OCT图像的宽(即图中W)值也缩减为input(输入)时的1/16；

Stage4中，将血管内OCT图像的高(即图中H)值缩减为input(输入)时的1/32，将血管内OCT图像的宽(即图中W)值也缩减为input(输入)时的1/32。

参见图3a所示，图3a示意了“按照预设的再处理策略，对当次尺寸缩减之后的血管内OCT图像进行再处理”，具体地：

Stage1中，对Stage1尺寸缩减之后的血管内OCT图像进行的再处理为：两次Conv(卷积)操作，以及一次MB4D模块操作；

Stage2中，对Stage2尺寸缩减之后的血管内OCT图像进行的再处理为：一次MB4D模块操作；

Stage3中，对Stage3尺寸缩减之后的血管内OCT图像进行的再处理为：一次MB4D模块操作，以及一次MB3D模块操作；；

Stage4中，对Stage4尺寸缩减之后的血管内OCT图像进行的再处理为：一次MB3D模块操作。

参见图3b所示，图3b为MB4D模块的原理框图，其中，

Pooling:表示池化操作；

Conv1*1：表示1*1大小的卷积操作；

BN：表示批归一化操作；

GeLU：激活函数；

圆圈内一点表示点积操作，即矩阵相乘；

弯箭头表示短路链接操作，加号表示相加。

参见图3c所示，图3c为MB3D模块的原理框图，其中，

LN：LN层；

Transpose:表示矩阵转置；

Linear：线性层；

GeLU：激活函数；

Bias：偏差；

弯箭头表示短路链接操作，加号表示相加；

圆圈内一点表示点积操作，即矩阵相乘；

Q、K、V：Transformer注意力机制。

本发明实施例中，通过按照预设的预处理规则，至少两次对血管内OCT图像进行预处理，其中：在每次预处理之后，采用EffcientFormer提取当次预处理之后的血管内OCT图像中的特征，得到当次的目标训练特征图像，并以当次预处理之后的血管内OCT图像作为新的血管内OCT图像进行下一次预处理，直至预处理次数达到预处理规则确定的预处理次数，实现了高效且高准确度的特征提取，避免因特征提取不准确造成的后续训练效率低下，进而提高了模型的训练效率；并且，基于高准确度的特征提取，也有利于提高模型的识别准确度。

本发明的一些实施例中，可选地，

预处理规则包括：预设的梯度缩减规则以及预设的再处理策略；

对血管内OCT图像进行预处理，包括：

步骤b：按照梯度缩减规则，对血管内OCT图像进行尺寸缩减；

步骤c：按照预设的再处理策略，对当次尺寸缩减之后的血管内OCT图像进行再处理。

参见图2所示，图2示意了“按照梯度缩减规则，对血管内OCT图像进行尺寸缩减”，具体地：

input(输入)血管内OCT图像；

Stage1中，将血管内OCT图像的高(即图中H)值缩减为input(输入)时的1/4，将血管内OCT图像的宽(即图中W)值也缩减为input(输入)时的1/4；

Stage2中，将血管内OCT图像的高(即图中H)值缩减为input(输入)时的1/8，将血管内OCT图像的宽(即图中W)值也缩减为input(输入)时的1/8；

Stage3中，将血管内OCT图像的高(即图中H)值缩减为input(输入)时的1/16，将血管内OCT图像的宽(即图中W)值也缩减为input(输入)时的1/16；

Stage4中，将血管内OCT图像的高(即图中H)值缩减为input(输入)时的1/32，将血管内OCT图像的宽(即图中W)值也缩减为input(输入)时的1/32。

参见图3a所示，图3a示意了“按照预设的再处理策略，对当次尺寸缩减之后的血管内OCT图像进行再处理”，具体地：

Stage1中，对Stage1尺寸缩减之后的血管内OCT图像进行的再处理为：两次Conv(卷积)操作，以及一次MB4D模块操作；

Stage2中，对Stage2尺寸缩减之后的血管内OCT图像进行的再处理为：一次MB4D模块操作；

Stage3中，对Stage3尺寸缩减之后的血管内OCT图像进行的再处理为：一次MB4D模块操作，以及一次MB3D模块操作；；

Stage4中，对Stage4尺寸缩减之后的血管内OCT图像进行的再处理为：一次MB3D模块操作。

本发明实施例中，通过每次预处理均按照梯度缩减规则，对血管内OCT图像进行尺寸缩减；按照预设的再处理策略，对当次尺寸缩减之后的血管内OCT图像进行再处理；多次的预处理、预处理中对特征图像的缩减凝练，以及预处理中对缩减凝练之后的特征图像的再处理，实现了高准确度的特征提取，避免因特征提取不准确造成的后续训练效率低下，进而提高了模型的训练效率；并且，基于高准确度的特征提取，也有利于提高模型的识别准确度和识别效率。

本发明的一些实施例中，可选地，预处理规则确定的预处理次数为四次。

本发明的一些实施例中，可选地，采用目标训练特征图像对Polyp_PVT模型进行训练，包括：

步骤d：采用伪装识别模块CIM对第一次预处理得到的目标训练特征图像进行特征粗提取，得到粗提取特征图像；

步骤e：对第一次之外的其他次预处理得到的目标训练特征图像进行特征细提取，得到细提取特征图像；

步骤f：采用粗提取特征图像以及细提取特征图像对Polyp_PVT模型进行训练，得到目标识别模型。

参见图2所示，第一次预处理得到的目标训练特征图像即为Stage1处理之后的特征图像，Stage1处理之后的特征图像未经过后续Stage2-3的处理，故而保留了较多的底层特征，采用CIM从Stage1处理之后的特征图像中提取得到伪装在底层特征中的血管信息，即得到粗提取特征图像。

对第一次之外的其他次预处理得到的目标训练特征图像，即为经过后续Stage2-3的处理得到的特征图像，其经过的预处理轮次多，极少保留底层特征，故对其进行特征细提取，得到细提取特征图像。

具体地，细提取包括：

Stage3及Stage4的处理得到的特征图像上采样(UpSample；up*2，意为2倍率的上采样)；

上采样完成之后，执行图2中“Conv”步骤：进行一次3*3卷积，做BN(批归一化)处理，做ReLu激活操作；

将未经过上采样的Stage3处理得到的特征图像与经过上采样的Stage4处理得到的特征图像做Hadmard Product(哈达玛积)运算，将运算之后得到的特征图像与经过上采样的Stage4处理得到的特征图像做concat(合并)处理，合并处理之后的特征图像做两次“Conv”步骤，其中第二次“Conv”步骤之前对特征图像进行上采样；

将经过上采样的Stage3处理得到的特征图像、经过上采样的Stage4处理得到的特征图像，以及Stage2处理得到的特征图像做Hadmard Product(哈达玛积)运算，之后与上述做两次“Conv”步骤得到的特征图像做concat(合并)处理，合并处理后的特征图像做两次“Conv”步骤，完成细提取，输出(out)。

采用粗提取特征图像以及细提取特征图像对Polyp_PVT模型进行训练，得到目标识别模型，参见图2所示，即相当于完成细提取的特征图像与根据stage1得到的粗提取特征图像进行多级特征融合处理，采用多级特征融合处理之后的输出(out)特征图像对Polyp_PVT模型进行训练，得到目标识别模型。

实际应用中，多级特征融合采用轻量化Transformer进行多分辨率下图像特征信息提取，同时out输出不再采用1*1卷积操作，而改为3通道输出用于同时提取主血管、分支血管和背景特征信息。

本发明实施例中，通过采用伪装识别模块CIM对第一次预处理得到的目标训练特征图像进行特征粗提取，得到粗提取特征图像；对第一次之外的其他次预处理得到的目标训练特征图像进行特征细提取，得到细提取特征图像；采用粗提取特征图像以及细提取特征图像对Polyp_PVT模型进行训练，得到目标识别模型；实现了高准确度的特征提取，避免因特征提取不准确造成的后续训练效率低下，进而提高了模型的训练效率；并且，基于高准确度的特征提取，也有利于提高模型的识别准确度和识别效率。

本发明的一些实施例中，可选地，采用TensorRT加快目标识别模型的识别速度。

TensorRT是一款高性能深度学习推理SDK(Software Development Kit，软件开发工具包)。此SDK包含深度学习推理优化器和运行环境，可为深度学习推理应用提供低延迟和高吞吐量。在推理过程中，基于TensorRT的应用程序比仅仅使用CPU作为平台的应用程序要快40倍。

本发明的一些实施例中，可选地，模型训练时根据方差和均值对训练数据进行归一化处理，方差和均值由所有训练样本计算出的均值和方差的平均值表示。归一化公式如下：

其中，X为输入，y为归一化后输出，μ为归一化使用的均值，σ为方差值。

本发明的一些实施例中，可选地，采用增强方式优化模型训练，增强方式包括：目标训练特征图像上下翻转，目标训练特征图像左右翻转，目标训练特征图像随机旋转、目标训练特征图像对比度调整，目标训练特征图像随机Gamma变化，目标训练特征图像随机高斯噪声。采用增强方式辅助模型训练增强模型泛化学习能力，提高模型的识别准确度。

本发明的一些实施例中，可选地，

采用所述目标训练特征图像对Polyp_PVT模型进行训练，包括：

每隔预设的时间间隔，采用损失函数度量真实值与当前Polyp_PVT模型得到的预测值之间的差异值，若所述差异值小于预设的目标差异值，确定当前Polyp_PVT模型为所述目标识别模型；

所述损失函数为：

Loss＝L

其中，N为所有像素个数，N

实际应用中，在模型训练过程中，每个预设的时间间隔，采用损失函数度量训练至当前时刻的模型能够得到的预测值与真实值之间的差异值，当该差异值小于用户预设的目标差异值，即代表训练得到的模型满足用户要求，得到目标识别模型。上述采用损失函数优化模型训练，有利于通过及时确定模型是否达到要求而避免模型的过度训练，进而提高训练效率。

本发明的一些实施例中，可选地，得到识别结果后，将回拉数据堆叠成三维数据进行对应的处理(形态学开运算和三维连通区域处理)，在三维图像上进行进一步的处理优化和定位血管分支开口位置，在三维结果上进行进一步的分支血管连通域判断优化去除，通常分支血管在回拉图像上一般是连续几帧的图像，通过三维连通区域大小和三维形态学开处理得到优化后的分支识别效果，最终根据分支血管和主血管相交的三维表面曲线点确定分支开口位置标识。进一步提高了本发明实施例对主血管与分支血管进行识别和定位的准确度。

本发明实施例提供了一种血管识别装置，参见图4所示，图4为本发明实施例血管识别装置的原理框图，血管识别装置50包括：

第一获取模块51，用于获取血管内OCT图像；

第一执行模块52，用于采用EffcientFormer提取所述血管内OCT图像中的特征，得到目标训练特征图像；

所述第一执行模块52，还用于采用所述目标训练特征图像对Polyp_PVT模型进行训练，得到目标识别模型；

所述第一执行模块52，还用于获取待识别的血管内OCT图像，将所述待识别的血管内OCT图像输入至所述目标识别模型，得到识别结果。

本发明的一些实施例中，可选地，

所述第一执行模块52，还用于按照预设的预处理规则，至少两次对所述血管内OCT图像进行预处理，

其中：在每次预处理之后，采用EffcientFormer提取当次预处理之后的所述血管内OCT图像中的特征，得到当次的所述目标训练特征图像，并以当次预处理之后的血管内OCT图像作为新的所述血管内OCT图像进行下一次所述预处理，直至预处理次数达到所述预处理规则确定的预处理次数。

本发明的一些实施例中，可选地，

所述预处理规则包括：预设的梯度缩减规则以及预设的再处理策略；

所述第一执行模块52，还用于按照所述梯度缩减规则，对所述血管内OCT图像进行尺寸缩减；

所述第一执行模块52，还用于按照预设的再处理策略，对当次尺寸缩减之后的所述血管内OCT图像进行再处理。

本发明的一些实施例中，可选地，

所述预处理规则确定的预处理次数为四次。

本发明的一些实施例中，可选地，

所述第一执行模块52，还用于采用伪装识别模块CIM对第一次所述预处理得到的所述目标训练特征图像进行特征粗提取，得到粗提取特征图像；

所述第一执行模块52，还用于对第一次之外的其他次所述预处理得到的所述目标训练特征图像进行特征细提取，得到细提取特征图像；

所述第一执行模块52，还用于采用所述粗提取特征图像以及所述细提取特征图像对Polyp_PVT模型进行训练，得到所述目标识别模型。

本发明的一些实施例中，可选地，

所述第一执行模块52，还用于采用TensorRT加快所述目标识别模型的识别速度。

本发明的一些实施例中，可选地，

所述第一执行模块52，还用于每隔预设的时间间隔，采用损失函数度量真实值与当前Polyp_PVT模型得到的预测值之间的差异值，若所述差异值小于预设的目标差异值，确定当前Polyp_PVT模型为所述目标识别模型；

所述损失函数为：

Loss＝L

/>

其中，N为所有像素个数，N

本申请实施例提供的血管识别装置能够实现图1至图3c的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例提供了一种电子设备70，参见图5所示，图5为本发明实施例电子设备70的原理框图，包括处理器71，存储器72及存储在存储器72上并可在处理器71上运行的程序或指令，程序或指令被处理器执行时实现本发明的任一项血管识别方法中的步骤。

本发明实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如上述任一项的血管识别方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述的可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。