冠脉造影标记点的自动追踪方法、装置、设备及存储介质

技术领域

本发明涉及目标追踪技术领域，尤其涉及一种冠脉造影标记点的自动追踪方法、装置、设备及存储介质。

背景技术

心血管疾病已构成威胁人类生命安全的主要疾病之一，目前冠脉造影是患者诊断非常重要的医疗手段，在冠脉造影DSA实时显影时，医生需要观测病变或者感兴趣位置的动态影像信息，然而动态图像随着心脏在不停的跳动，目标位置也在不停的运动，从而导致医生观测时费时费力。

发明内容

本发明的主要目的在于提供一种冠脉造影标记点的自动追踪方法、装置、设备及存储介质，旨在解决现有技术中因动态图像中目标位置的不断变动而导致医生在观测目标位置时费时费力的技术问题。

为实现上述目的，本发明提供了一种冠脉造影标记点的自动追踪方法，所述方法包括以下步骤：

S1、获取目标冠脉造影视频，并从所述目标冠脉造影视频中获取标记帧图像，其中，所述标记帧图像中标注有标记点的位置坐标；

S2、根据所述标记帧图像中标记点的位置坐标确定目标隐含信息；

S3、将所述目标隐含信息以及所述标记帧图像输入到训练好的追踪模型，得到所述标记帧图像中标记点的预测位置坐标以及输出层信息；

S4、判断所述标记帧图像是否为所述目标冠脉造影视频中的最后一帧图像；

S5、若否，则将所述标记帧图像的下一帧图像作为新的标记帧图像，以及将所述输出层信息作为新的目标隐含信息来重复执行步骤S3-S5，直至标记帧图像为所述目标冠脉造影视频中的最后一帧图像为止。

可选地，将所述目标隐含信息以及所述标记帧图像输入到训练好的追踪模型之前，还包括：

S31、获取冠脉造影视频，其中，所述冠脉造影视频的每一帧图像中均标注有标记点的位置坐标；

S32、根据t帧图像中标记点的位置坐标确定第一隐含信息；

S33、将所述第一隐含信息以及所述冠脉造影视频中的t帧图像输入到追踪模型，得到t帧图像的预测位置坐标以及第二隐含信息；

S34、基于所述t帧图像的位置坐标和预测位置坐标，确定预测误差；

S35、基于所述预测误差通过反向传播来更新所述追踪模型中的参数；

S36、将所述冠脉造影视频中的t+1帧图像作为新的t帧图像以及将所述第二隐含信息作为新的第一隐含信息来重复执行步骤S33-S36，直至预测误差小于预设值，得到训练好的追踪模型。

可选地，所述根据所述冠脉造影视频中的t帧图像确定第一隐含信息，包括：

通过MLP网络将所述t帧图像的位置坐标进行升维处理，得到第一隐含信息。

可选地，追踪模型包括CNN网络和LSTM网络；其中，

将所述第一隐含信息以及所述冠脉造影视频中的t帧图像输入到追踪模型，得到t帧图像的预测位置坐标以及第二隐含信息，包括：

将所述冠脉造影视频中的t帧图像输入到追踪模型的CNN网络中，得到所述t帧图像的高维特征，其中，所述高维特征中保留了所述t帧图像的空间结构信息；

对所述高维特征进行展平操作得到一维向量之后，将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息。

可选地，所述LSTM网络具有三个门路，所述三个门路分别是输入门、遗忘门以及输出门；其中，

所述将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息，包括：

通过所述LSTM网络中的输入门确定输入数据，其中，所述输入数据从所述一维向量以及所述第一隐含信息中确定；

通过所述LSTM网络中的遗忘门去除所述输入数据中的清除数据，得到保留数据；

基于所述保留数据，通过所述LSTM中的输出门得到t帧图像的预测位置坐标以及第二隐含信息。

可选地，将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络之前，还包括：

将所述一维向量输入到FC层中，得到相关向量；

将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息，包括：

将所述相关向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息。

可选地，真实位置坐标以及预测位置坐标均为二维坐标；其中，

所述基于所述t帧图像的真实位置坐标和预测位置坐标，确定预测误差，包括：

根据所述t帧图像的真实位置坐标确定真实位置横坐标以及真实位置纵坐标；

根据所述t帧图像的预测位置坐标确定预测位置横坐标以及预测位置纵坐标；

确定所述真实位置横坐标与所述预测位置横坐标的横坐标差值，以及确定所述真实位置纵坐标与所述预测位置纵坐标的纵坐标差值；

基于所述横坐标差值的平方以及所述纵坐标差值的平方，确定预测误差。

此外，为实现上述目的，本发明还提出一种冠脉造影标记点的自动追踪装置，所述冠脉造影标记点的自动追踪装置包括：

获取模块，用于获取目标冠脉造影视频，并从所述目标冠脉造影视频中获取标记帧图像，其中，所述标记帧图像中标注有标记点的位置坐标；

确定模块，用于根据所述标记帧图像的位置坐标确定目标隐含信息；

预测模块，用于将所述目标隐含信息以及所述标记帧图像输入到训练好的追踪模型，得到所述标记帧图像中标记点的预测位置坐标以及输出层信息；

判断模块，用于判断所述标记帧图像是否为所述目标冠脉造影视频中的最后一帧图像；

所述预测模块，用于在判定所述标记帧图像不为所述目标冠脉造影视频中的最后一帧图像时，则将所述标记帧图像的下一帧图像作为新的标记帧图像，以及将所述输出层信息作为新的目标隐含信息来确定所述新的标记帧图像的预测位置坐标。

此外，为实现上述目的，本发明还提出一种冠脉造影标记点的自动追踪设备，所述冠脉造影标记点的自动追踪设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的冠脉造影标记点的自动追踪程序，所述冠脉造影标记点的自动追踪程序配置为实现如上文所述的冠脉造影标记点的自动追踪方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有冠脉造影标记点的自动追踪程序，所述冠脉造影标记点的自动追踪程序被处理器执行时实现如上文所述的冠脉造影标记点的自动追踪方法的步骤。

本发明提出的冠脉造影标记点的自动追踪方法，获取目标冠脉造影视频，并从所述目标冠脉造影视频中获取标记帧图像，其中，所述标记帧图像中标注有标记点的位置坐标；根据所述标记帧图像中标记点的位置坐标确定目标隐含信息；将所述目标隐含信息以及所述标记帧图像输入到训练好的追踪模型，得到所述标记帧图像中标记点的预测位置坐标以及输出层信息；判断所述标记帧图像是否为所述目标冠脉造影视频中的最后一帧图像；若否，则将所述标记帧图像的下一帧图像作为新的标记帧图像，以及将所述输出层信息作为新的目标隐含信息来获取新的标记帧图像的预测位置坐标，直至标记帧图像为所述目标冠脉造影视频中的最后一帧图像为止，进而可以预测出目标冠脉造影视频中每一帧图像中标记点的预测位置坐标，从而能够对目标冠脉造影视频中的标记点进行追踪，以方便医生观测到目标冠脉造影视频中的标记点。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的冠脉造影标记点的自动追踪设备的结构示意图；

图2为本发明冠脉造影标记点的自动追踪方法第一实施例的流程示意图；

图3为本发明冠脉造影标记点的自动追踪方法第一实施例的部分流程示意图；

图4为本发明冠脉造影标记点的自动追踪方法第二实施例的流程示意图；

图5为本发明冠脉造影标记点的自动追踪装置第二实施例中基于CNN网络和LSTM网络预测帧图像中标记点的位置坐标的示意图；

图6为本发明冠脉造影标记点的自动追踪装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的冠脉造影标记点的自动追踪设备结构示意图。

如图1所示，该冠脉造影标记点的自动追踪设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对冠脉造影标记点的自动追踪设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及冠脉造影标记点的自动追踪程序。

在图1所示的冠脉造影标记点的自动追踪设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明冠脉造影标记点的自动追踪设备中的处理器1001、存储器1005可以设置在冠脉造影标记点的自动追踪设备中，所述冠脉造影标记点的自动追踪设备通过处理器1001调用存储器1005中存储的冠脉造影标记点的自动追踪程序，并执行本发明实施例提供的冠脉造影标记点的自动追踪方法。

基于上述硬件结构，提出本发明冠脉造影标记点的自动追踪方法实施例。

参照图2，图2为本发明一种冠脉造影标记点的自动追踪方法第一实施例的流程示意图。

本实施例中，所述冠脉造影标记点的自动追踪方法包括以下步骤：

步骤S1：获取目标冠脉造影视频，并从所述目标冠脉造影视频中获取标记帧图像，其中，所述标记帧图像中标注有标记点的位置坐标。

需要说明的是，本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备，例如手机、平板电脑、个人电脑等，或者是一种能够实现上述功能的电子设备或冠脉造影标记点的自动追踪设备。以下以所述冠脉造影标记点的自动追踪设备为例，对本实施例及下述各实施例进行说明。

需要说明的是，冠脉造影视频可以通过向冠脉中注射造影剂，从而使得冠脉血管显影，再通过X射线拍摄而取得的清晰影像；目标冠脉造影视频指的是医生需要观测标记点的冠脉造影视频；位置坐标指的是由人工进行标注的位置坐标。

可以理解的是，冠脉造影视频中每一帧图像会随着心脏的搏动而呈现出不同形态，因此，冠脉标记点在帧图像中的位置也会随着心脏的搏动而发生改变，故而导致医生在观测冠脉标记点时费时费力。

需要说明的是，为了保证人工标注的置信度，标记点可以是一些特殊点，比如，病变点、支架点以及血管分叉点等等，这类特殊点在冠脉中的位置相较于其他点来说更为明显，不仅能够方便医生进行标注，还能够提高追踪标记点的精准度。

可以理解的是，为了追踪到目标冠脉造影视频所有帧图像中的标记点，由人工标注了标记点的位置坐标的标记帧图像可以是目标冠脉造影图像中的第一帧图像，本实施例对此不做限定。

在具体实现中，需要先从目标冠脉造影视频中获取其中一帧图像，并由医生对该帧图像中标记点的位置进行标注，从而得到标注有标记点位置信息的帧图像即标记帧图像。

步骤S2：根据所述标记帧图像中标记点的位置坐标确定目标隐含信息。

需要说明的是，初始的目标隐含信息是根据初始的标记帧图像中标记点的位置坐标来确定的，初始的标记帧图像中标记点的位置坐标是人为进行标注的。

步骤S3：将所述目标隐含信息以及所述标记帧图像输入到训练好的追踪模型，得到所述标记帧图像中标记点的预测位置坐标以及输出层信息。

需要说明的是，目标冠脉造影视频中不同帧图像中的标记点指的是冠脉上的同一解剖结构点。

需要说明的是，标记帧图像中标注有标记点的位置坐标；训练好的追踪模型指的是预测出帧图像中标记点的位置坐标接近于真实位置坐标的追踪模型。

需要说明的是，通过训练好的追踪模型来预测目标冠脉造影视频帧图像中标记点的预测位置坐标比通过未训练的追踪模型来预测目标冠脉造影视频帧图像中标记点的预测位置坐标更精准。

需要说明的是，追踪模型可以由CNN网络+LSTM网络构成，还可以是由CNN网络+GRN网络构成，也可以是由CNN网络+RNN网络构成，还可以是CNN网络+transformer网络构成。

在一实施例中，如图3所示，将所述标记帧图像输入到训练好的追踪模型之前，还包括：

S31、获取冠脉造影视频，其中，所述冠脉造影视频的每一帧图像中均标注有标记点的位置坐标。

需要说明的是，可以由医生将冠脉造影视频每一帧图像中标记点的真实位置坐标进行提前标注，真实位置坐标指的是由人工进行标注的位置坐标。

S32、根据所述t帧图像中标记点的位置坐标确定第一隐含信息。

需要说明的是，初始的第一隐含信息是根据初始的t帧图像中标记点的位置坐标来确定的，初始的t帧图像中标记点的位置坐标是人为进行标注的。

S33、将所述第一隐含信息以及所述冠脉造影视频中的t帧图像输入到追踪模型，得到t帧图像的预测位置坐标以及第二隐含信息。

需要说明的是，追踪模型指的是未训练好的追踪模型；t帧图像中标注有标记点的位置坐标。

可以理解的是，将第一隐含信息以及t帧图像输入至未训练好的追踪模型中预测t帧图像中标记点的预测位置坐标时是不够精准的；故而需要不断地对追踪模型进行训练，以使追踪模型在预测帧图像中标记点的位置坐标时能够更加精准。

S34、基于所述t帧图像的位置坐标和预测位置坐标，确定预测误差。

需要说明的是，预测误差可以为真实位置坐标与预测位置坐标的差值平方和，也可以为真实位置坐标与预测位置坐标的距离平方和，本实施例对此不做限定。

在一实施例中，真实位置坐标以及预测位置坐标均为二维坐标；其中

所述基于所述t帧图像的真实位置坐标和预测位置坐标，确定预测误差，包括：

根据所述t帧图像的真实位置坐标确定真实位置横坐标以及真实位置纵坐标；

根据所述t帧图像的预测位置坐标确定预测位置横坐标以及预测位置纵坐标；

确定所述真实位置横坐标与所述预测位置横坐标的横坐标差值，以及确定所述真实位置纵坐标与所述预测位置纵坐标的纵坐标差值；

基于所述横坐标差值的平方以及所述纵坐标差值的平方，确定预测误差。

在具体实现中，将t帧图像中标记点的真实位置坐标用(x_label,y_label)来表示，将t帧图像中标记点的预测位置坐标用(x_pred,y_pred)来表示，则预测误差的计算公式为loss＝(x_label-x_pred)

S35、基于所述预测误差通过反向传播来更新所述追踪模型中的参数。

需要说明的是，根据每一个预测误差能够更新一次追踪模型中的参数，也可能根据每一个预测误差来多次更新追踪模型中的参数。

在具体实现中，可以利用梯度下降法将预测误差进行反向传播，从而更新追踪网络中的参数。

S36、将所述冠脉造影视频中的t+1帧图像作为新的t帧图像以及将所述第二隐含信息作为新的第一隐含信息来重复执行步骤S33-S36，直至预测误差小于预设值，得到训练好的追踪模型。

需要说明的是，不断地根据前后帧图像之间的时序信息来确定帧图像中标记点的预测位置坐标，进而得到预测误差，再根据预测误差来调整追踪模型中的参数，其中，前后帧图像指的是t帧图像和t+1帧图像，后一帧图像即下一帧图像；为了让追踪模型在预测帧图像中标记点的位置坐标更为精准，可以通过不断地获取多个预测误差来训练追踪模型，比如，可以通过不断地重复执行步骤S33-S36来获取多个预测误差，还可以通过新的冠脉造影视频来不断地重复执行步骤S33-S36来获取多个预测误差。

需要说明的是，预设值是提前进行设定的，当预测误差小于预设值时，可以确定此时的追踪模型处于收敛状态，即可以确定此时的追踪模型是训练好的追踪模型。

在本实施例中，通过大量的标注有真实位置坐标的前后帧图像来确定多个预测误差，再根据多个预测误差来调整追踪模型中的参数即训练追踪模型，使得最终训练好的追踪模型在预测帧图像中标记点的位置坐标时能够更加精准。

步骤S4：判断所述标记帧图像是否为所述目标冠脉造影视频中的最后一帧图像。

可以理解的是，当标记帧图像不为目标冠脉造影视频中的最后一帧时，可以确定对目标冠脉造影图像各帧图像中标记点的追踪工作还未完成，故而需要判断标记帧图像是否为目标冠脉造影图像中的最后一帧图像。

步骤S5：若否，则将所述标记帧图像的下一帧图像作为新的标记帧图像，以及将所述输出层信息作为新的目标隐含信息来重复执行步骤S3-S5，直至标记帧图像为所述目标冠脉造影视频中的最后一帧图像为止。

可以理解的是，通过训练好的追踪模型预测到标记帧图像中标记点的预测位置坐标接近于标记帧图像中标记点的位置坐标，将第一隐含信息以及标记帧图像输入至训练好的追踪模型中，还能输出所述标记帧图像的下一帧图像的第二隐含信息。

需要说明的是，第二隐含信息是根据追踪模型来确定的。

本实施例通过获取目标冠脉造影视频，并从所述目标冠脉造影视频中获取标记帧图像，其中，所述标记帧图像中标注有标记点的位置坐标；根据所述标记帧图像中标记点的位置坐标确定目标隐含信息；将所述目标隐含信息以及所述标记帧图像输入到训练好的追踪模型，得到所述标记帧图像中标记点的预测位置坐标以及输出层信息；判断所述标记帧图像是否为所述目标冠脉造影视频中的最后一帧图像；若否，则将所述标记帧图像的下一帧图像作为新的标记帧图像，以及将所述输出层信息作为新的目标隐含信息来获取新的标记帧图像的预测位置坐标，直至标记帧图像为所述目标冠脉造影视频中的最后一帧图像为止，进而可以预测出目标冠脉造影视频中每一帧图像中标记点的预测位置坐标，从而能够对目标冠脉造影视频中的标记点进行追踪，以方便医生观测到目标冠脉造影视频中的标记点。

参考图4，图4为本发明一种冠脉造影标记点的自动追踪方法第二实施例的流程示意图。

基于上述第一实施例，本实施例冠脉造影标记点的自动追踪方法中的追踪模型包括CNN网络和LSTM网络；其中，

将所述第一隐含信息以及所述冠脉造影视频中的t帧图像输入到追踪模型，得到t帧图像的预测位置坐标以及第二隐含信息，包括：

步骤S331：将所述冠脉造影视频中的t帧图像输入到追踪模型的CNN网络中，得到所述t帧图像的高维特征，其中，所述高维特征中保留了所述t帧图像的空间结构信息。

需要说明的是，CNN网络的网络结构可以是VGG，也可以是ResNet等神经卷积网络，通过CNN网络获取到的高维特征能够很好地保留图像的空间结构信息。

步骤S332：对所述高维特征进行展平操作得到一维向量之后，将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息。

需要说明的是，可以通过flat来对高维特征进行展平操作得到一维向量。

需要说明的是，LSTM网络能够很好地利用前后帧图像之间的时序信息来进行对帧图像中标记点的位置坐标进行预测。

在具体实现中，如图5所示，先是将冠脉造影视频中的t帧图像输入到追踪模型的CNN网络中，得到所述t帧图像的高维特征，对高维特征进行展平操作得到一维向量之后，再将一维向量以及第一隐含信息输入到LSTM网络中，其中，h

在本实施例中，CNN网络能够保留图像的空间结构信息，LSTM网络能够利用前后帧图像之间的时序信息来实现帧图像中标记点位置的预测，CNN网络+LSTM网络能够有效提高标记点的追踪准确性。

在一实施例中，所述根据所述冠脉造影视频中的t帧图像确定第一隐含信息，包括：

通过MLP网络将所述t帧图像的位置坐标进行升维处理，得到第一隐含信息。

需要说明的是，由于LSTM网络的输入信息需要是向量，故而需要通过MLP网络将t帧图像中标记点的位置坐标进行处理得到第一隐含信息，t帧图像中标记点的第一隐含信息为向量。

在一实施例中，所述LSTM网络具有三个门路，所述三个门路分别是输入门、遗忘门以及输出门；其中，

所述将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息，包括：

通过所述LSTM网络中的输入门确定输入数据，其中，所述输入数据从所述一维向量以及所述第一隐含信息中确定；

通过所述LSTM网络中的遗忘门去除所述输入数据中的清除数据，得到保留数据；

基于所述保留数据，通过所述LSTM中的输出门得到t帧图像的预测位置坐标以及第二隐含信息。

需要说明的是，输入门用于接收输入信息，并控制数据输入对记忆单元值的影响；遗忘门用于遗忘状态信息，可以通过遗忘门来忽略掉一些无用的时序信息；输出门主要用户输出新的信息。

在一实施例中，将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络之前，还包括：

将所述一维向量输入到FC层中，得到相关向量；

将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息，包括：

将所述相关向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息。

需要说明的是，FC层即为全连接层，FC层的数量可以为n层，本实施例不对FC层的数量做限定。

可以理解的是，一维向量在输入至LSTM网络中进行学习之前需要将一维向量通过FC层转化为相关向量。

本实施例通过获取冠脉造影视频，其中，所述冠脉造影视频的每一帧图像中均标注有标记点的位置坐标；根据所述t帧图像中标记点的位置坐标确定第一隐含信息；将所述第一隐含信息以及所述冠脉造影视频中的t帧图像输入到追踪模型，得到t帧图像的预测位置坐标以及第二隐含信息；基于所述t帧图像的位置坐标和预测位置坐标，确定预测误差；基于所述预测误差通过反向传播来更新所述追踪模型中的参数；将所述冠脉造影视频中的t+1帧图像作为新的t帧图像以及将所述第二隐含信息作为新的第一隐含信息来重复执行步骤S33-S36，直至预测误差小于预设值，得到训练好的追踪模型。通过上述方式，将CNN网络与LSTM网路结合之后预测标记帧图像中标记点的预测位置坐标，先是通过CNN网络保留了图像的空间结构信息，再通过LSTM网络利用前后帧图像之前的时序信息来对标记帧图像中标记点的位置坐标进行预测，从而能够有效提高预测标记帧图像中标记点的位置坐标的精准性。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有冠脉造影标记点的自动追踪程序，所述冠脉造影标记点的自动追踪程序被处理器执行时实现如上文所述的冠脉造影标记点的自动追踪方法的步骤。

参照图6，图6为本发明冠脉造影标记点的自动追踪装置第一实施例的结构框图。

如图6所示，本发明实施例提出的冠脉造影标记点的自动追踪装置包括：

获取模块10，用于获取目标冠脉造影视频，并从所述目标冠脉造影视频中获取标记帧图像，其中，所述标记帧图像中标注有标记点的位置坐标；

确定模块20，用于根据所述标记帧图像中标记点的位置坐标确定目标隐含信息；

预测模块30，用于将所述目标隐含信息以及所述标记帧图像输入到训练好的追踪模型，得到所述标记帧图像中标记点的预测位置坐标以及输出层信息；

判断模块40，用于判断所述标记帧图像是否为所述目标冠脉造影视频中的最后一帧图像；

所述预测模块30，用于在判定所述标记帧图像不为所述目标冠脉造影视频中的最后一帧图像时，则将所述标记帧图像的下一帧图像作为新的标记帧图像，以及将所述输出层信息作为新的目标隐含信息来确定所述新的标记帧图像的预测位置坐标。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

本实施例通过获取目标冠脉造影视频，并从所述目标冠脉造影视频中获取标记帧图像，其中，所述标记帧图像中标注有标记点的位置坐标；根据所述标记帧图像中标记点的位置坐标确定目标隐含信息；将所述目标隐含信息以及所述标记帧图像输入到训练好的追踪模型，得到所述标记帧图像中标记点的预测位置坐标以及输出层信息；判断所述标记帧图像是否为所述目标冠脉造影视频中的最后一帧图像；若否，则将所述标记帧图像的下一帧图像作为新的标记帧图像，以及将所述输出层信息作为新的目标隐含信息来获取新的标记帧图像的预测位置坐标，直至标记帧图像为所述目标冠脉造影视频中的最后一帧图像为止，进而可以预测出目标冠脉造影视频中每一帧图像中标记点的预测位置坐标，从而能够对目标冠脉造影视频中的标记点进行追踪，以方便医生观测到目标冠脉造影视频中的标记点。

在一实施例中，所述预测模块30，还用于：

获取冠脉造影视频，其中，所述冠脉造影视频的每一帧图像中均标注有标记点的位置坐标；

根据t帧图像中标记点的位置坐标确定第一隐含信息；

将所述第一隐含信息以及所述冠脉造影视频中的t帧图像输入到追踪模型，得到t帧图像的预测位置坐标以及第二隐含信息；

基于所述t帧图像的位置坐标和预测位置坐标，确定预测误差；

基于所述预测误差通过反向传播来更新所述追踪模型中的参数；

将所述冠脉造影视频中的t+1帧图像作为新的t帧图像以及将所述第二隐含信息作为新的第一隐含信息获取新的t帧图像的预测位置坐标，直至预测误差小于预设值，得到训练好的追踪模型。

在一实施例中，所述预测模块30，还用于：

通过MLP网络将所述t帧图像的位置坐标进行升维处理，得到第一隐含信息。

在一实施例中，追踪模型包括CNN网络和LSTM网络；其中，

所述预测模块30，还用于：

将所述冠脉造影视频中的t帧图像输入到追踪模型的CNN网络中，得到所述t帧图像的高维特征，其中，所述高维特征中保留了所述t帧图像的空间结构信息；

对所述高维特征进行展平操作得到一维向量之后，将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息。

在一实施例中，所述LSTM网络具有三个门路，所述三个门路分别是输入门、遗忘门以及输出门；其中，

所述预测模块30，还用于：

通过所述LSTM网络中的输入门确定输入数据，其中，所述输入数据从所述一维向量以及所述第一隐含信息中确定；

通过所述LSTM网络中的遗忘门去除所述输入数据中的清除数据，得到保留数据；

基于所述保留数据，通过所述LSTM中的输出门得到t帧图像的预测位置坐标以及第二隐含信息。

在一实施例中，所述预测模块30，还用于：

将所述一维向量输入到FC层中，得到相关向量；

将所述一维向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息，包括：

将所述相关向量以及所述第一隐含信息输入到所述追踪模型的LSTM网络中，得到t帧图像的预测位置坐标以及第二隐含信息。

在一实施例中，真实位置坐标以及预测位置坐标均为二维坐标；其中

所述预测模块30，还用于：

根据所述t帧图像的真实位置坐标确定真实位置横坐标以及真实位置纵坐标；

根据所述t+1帧图像的预测位置坐标确定预测位置横坐标以及预测位置纵坐标；

确定所述真实位置横坐标与所述预测位置横坐标的横坐标差值，以及确定所述真实位置纵坐标与所述预测位置纵坐标的纵坐标差值；

基于所述横坐标差值的平方以及所述纵坐标差值的平方，确定预测误差。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的冠脉造影标记点的自动追踪方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。