心脏瓣膜图像分割方法、电子设备和存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种心脏瓣膜图像分割方法、电子设备和存储介质。

背景技术

在现代医学影像学中，超声图像具有强度低、价格便宜、对人体无害等优点,尤其对软组织的探测和心血管脏器的血流观察有独到之处。随着生活水平的提高、人口老龄化加剧，主动脉瓣畸形等比较常见的心脏瓣膜类疾病越来越多。临床上这类疾病的主要诊断方法是用超声设备观察瓣膜的形状和运动，超声心动图就是一种很好的检测心脏瓣膜疾病的工具，对其分析的首要步骤是超声心动图像分割。因为超声图像中斑点噪声多,目标运动复杂，目标和背景灰度对比度低，所以对其分割具有很大的难度。在实际的超声图像处理与分析中，对目标和病灶的识别、定位和定量分析主要依赖医生经验得到的手动分割。所以，医生要想从混杂着大量斑点噪声和伪影的心脏超声图像中分割出主动脉瓣，就需要有丰富的临床医学知识和敏锐的空间位置感。通常一组超声序列就由几十甚至上百张的图片组成，如果完全由医生手动分割，将会是非常庞大的工作量。

随着图像处理技术的发展，基于神经网络算法分割主动脉瓣得到了一定发展。然而由于主动脉瓣的运动特性和B超采集过程中，主动脉瓣会存在模糊甚至不可见的情况，使得主动脉瓣分割结果的连续性差。

需要说明的是，公开于该发明背景技术部分的信息仅仅旨在加深对本发明一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种心脏瓣膜图像分割方法、电子设备和存储介质，以解决现有技术中直接采用神经网络对主动脉瓣超声图像进行分割所得到的分割结果的连续性较差的问题。

为解决上述技术问题，本发明提供一种心脏瓣膜图像分割方法，包括：

采用目标检测模型对所获取的心动视频中的各帧心动图像进行目标心脏瓣膜感兴趣区域的提取，以获取对应的目标心脏瓣膜感兴趣区域图像；

采用瓣环分割模型对所述目标心脏瓣膜感兴趣区域图像进行分割，以获取对应的目标心脏瓣膜瓣环图像；

将所述目标心脏瓣膜瓣环图像输入瓣膜生成模型中，以生成对应的目标心脏瓣膜掩膜；

将所述目标心脏瓣膜掩膜和与其对应的目标心脏瓣膜感兴趣区域图像输入瓣膜分割模型中，以获取对应的目标心脏瓣膜分割图像。

可选的，所述采用目标检测模型对所获取的心动视频中的各帧心动图像进行目标心脏瓣膜感兴趣区域的提取，以获取对应的目标心脏瓣膜感兴趣区域图像，包括：

采用目标检测模型对所获取的心动视频中的各帧心动图像进行目标心脏瓣膜感兴趣区域的提取，以获取对应的目标心脏瓣膜感兴趣区域的位置信息；

根据各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行曲线拟合，并根据拟合后的结果对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正；

根据各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息，在各帧心动图像上裁剪出对应的目标心脏瓣膜感兴趣区域，以获取对应的目标心脏瓣膜感兴趣区域图像。

可选的，所述根据各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行曲线拟合，并根据拟合后的结果对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正，包括：

根据所述目标检测模型所提取的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息，进行曲线拟合，以获取拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系；

根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正，以获取各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息。

可选的，所述根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正，以获取各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息，包括：

针对每一帧心动图像：

根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，获取该帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的位置信息；

根据所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息与该帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的位置信息之间的差值的绝对值，获取该帧心动图像所对应的第一位置偏差信息；

根据该帧心动图像所对应的第一位置偏差信息以及所述目标检测模型提取该帧心动图像所对应的目标心脏瓣膜感兴趣区域的置信概率值，获取该帧心动图像所对应的第二位置偏差信息；

根据该帧心动图像所对应的第二位置偏差信息，判断所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息是否准确；

若是，则将所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息作为该帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息；

若否，则根据与该帧心动图像相邻的前一帧位置信息准确的心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息以及后一帧位置信息准确的心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息，获取该帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息。

可选的，所述根据该帧心动图像所对应的第二位置偏差信息，判断所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息是否准确，包括：

根据各帧心动图像所对应的第一位置偏差信息，获取所述心动视频所对应的第一位置偏差均值信息；

根据所述目标检测模型提取各帧心动图像所对应的目标心脏瓣膜感兴趣区域的置信概率值的平均值，获取所述心动视频所对应的置信概率均值；

根据所述心动视频所对应的第一位置偏差均值信息以及所述心动视频所对应的置信概率均值，获取所述心动视频所对应的第二位置偏差均值信息；

根据预设倍数阈值以及所述心动视频所对应的第二位置偏差均值信息，获取位置判断阈值；

针对所述心动视频的各帧心动图像，根据该帧心动图像所对应的第二位置偏差信息以及所述位置判断阈值，判断所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息是否准确。

可选的，在采用瓣环分割模型对所述目标心脏瓣膜感兴趣区域图像进行分割之前，所述分割方法还包括：

以所述目标心脏瓣膜感兴趣区域图像的长度方向尺寸为目标边长尺寸；

沿宽度方向对所述目标心脏瓣膜感兴趣区域图像进行填充，以将所述目标心脏瓣膜感兴趣区域图像的宽度方向尺寸调整至所述目标边长尺寸；

将宽度方向尺寸调整至所述目标边长尺寸的目标心脏瓣膜感兴趣区域图像放大或缩小，以将所述目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸。

可选的，所述将所述目标心脏瓣膜瓣环图像输入瓣膜生成模型中，包括：

采用瓣环状态分类模型对所述目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜的开放状态和关闭状态进行判断；

若所述目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜为开放状态，则将所述目标心脏瓣膜瓣环图像输入开放瓣膜生成模型中；

若所述目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜为关闭状态，则将所述目标心脏瓣膜瓣环图像输入关闭瓣膜生成模型中。

可选的，所述瓣膜生成模型为生成对抗网络中的生成器。

可选的，所述瓣膜生成模型通过以下步骤训练得到：

获取训练样本，所述训练样本包括心脏瓣膜瓣环图像和对应的心脏瓣膜标签图像；

根据所述训练样本对预先获取的生成对抗网络进行训练，以获取训练好的生成对抗网络；

将所述训练好的生成对抗网络中的生成器作为所述瓣膜生成模型。

可选的，所述根据所述训练样本对预先获取的生成对抗网络进行训练，包括：

根据所述训练样本采用交替训练的方式对所述生成对抗网络中的生成器和判别器进行训练，直至满足预设训练结束条件。

可选的，所述预设训练结束条件为所述生成器和所述判别器达到均衡。

可选的，所述瓣膜分割模型包括第一输入层、第二输入层、第一卷积层、第一池化层(优选为最大池化层)、第一密集连接块、第一过渡块、第二密集连接块、第二过渡块、第三密集连接块、第三过渡块、第四密集连接块、第一向上过渡块、第二向上过渡块以及第二卷积层；

其中，所述第一输入层用于接收目标心脏瓣膜掩膜，所述第二输入层用于接收对应的目标心脏瓣膜感兴趣区域图像；

所述第一卷积层用于对所述目标心脏瓣膜感兴趣区域图像进行目标心脏瓣膜瓣环特征的提取，所述第一池化层用于对所述第一卷积层的输出进行池化操作，所述第一密集连接块用于对所述第一池化层的输出或者所述第一池化层的输出与所述目标心脏瓣膜掩膜相加后的结果进行目标心脏瓣膜瓣环特征的提取，所述第一过渡块用于对所述第一密集连接块的输出或者所述第一密集连接块的输出与所述目标心脏瓣膜掩膜相加后的结果进行压缩操作，所述第二密集连接块用于对所述第一过渡块的输出或者所述第一过渡块的输出与所述目标心脏瓣膜掩膜相加后的结果进行目标心脏瓣膜瓣环特征的提取，所述第二过渡块用于对所述第二密集连接块的输出或者所述第二密集连接块的输出与所述目标心脏瓣膜掩膜相加后的结果进行压缩操作，所述第三密集连接块用于对所述第二过渡块的输出或者所述第二过渡块的输出与所述目标心脏瓣膜掩膜相加后的结果进行目标心脏瓣膜瓣环特征的提取，所述第三过渡块用于对所述第三密集连接块的输出或者所述第三密集连接块的输出与所述目标心脏瓣膜掩膜相加后的结果进行压缩操作，所述第四密集连接块用于对所述第三过渡块的输出或者所述第三过渡块的输出与所述目标心脏瓣膜掩膜相加后的结果进行目标心脏瓣膜瓣环特征的提取，所述第一向上过渡块用于对所述第四密集连接块的输出或者所述第四密集连接块的输出与所述目标心脏瓣膜掩膜相加后的结果进行反卷积操作，所述第二向上过渡块用于对所述第一向上过渡块的输出进行反卷积操作，所述第二卷积层用于对所述第二向上过渡块的输出进行非线性映射回归，以获取目标心脏瓣膜分割结果。

为解决上述技术问题，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上文所述的心脏瓣膜图像分割方法。

为解决上述技术问题，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上文所述的心脏瓣膜图像分割方法。

与现有技术相比，本发明提供的心脏瓣膜图像分割方法、电子设备和存储介质具有以下优点：本发明通过先采用目标检测模型对所获取的心动视频中的各帧心动图像进行目标心脏瓣膜感兴趣区域的提取，以获取对应的目标心脏瓣膜感兴趣区域图像；再采用瓣环分割模型对所述目标心脏瓣膜感兴趣区域图像进行分割，以获取对应的目标心脏瓣膜瓣环图像；然后将所述目标心脏瓣膜瓣环图像输入瓣膜生成模型中，以生成对应的目标心脏瓣膜掩膜；最后将所述目标心脏瓣膜掩膜和与其对应的目标心脏瓣膜感兴趣区域图像输入瓣膜分割模型中，以获取对应的目标心脏瓣膜分割图像。由于本发明中的目标心脏瓣膜掩膜是根据其所对应的目标心脏瓣膜瓣环图像采用瓣膜生成模型直接生成的，由此所述目标心脏瓣膜掩膜可以作为形状先验信息和与其对应的目标心脏瓣膜感兴趣区域图像共同输入瓣膜分割模型中，从而不仅可以提高最终分割得到的目标心脏瓣膜分割图像(例如主动脉瓣分割图像)的分割精度和连续性，而且还可以减少人为因素可能产生的差异化的问题。此外，本发明能够实现端到端的算法流程，泛用性强，从而可以更好地辅助医生提高诊断效率，减小利用超声心动图进行心脏瓣膜异常分析中因误差引起的风险。

附图说明

图1为本发明一实施方式提供的心脏瓣膜图像分割方法的流程示意图；

图2a为本发明一具体示例提供的心动图像；

图2b为从图2a中的心动图像中裁剪下来的目标心脏瓣膜(主动脉瓣)感兴趣区域图像；

图2c为对图2b进行填充后的目标心脏瓣膜(主动脉瓣)感兴趣区域图像；

图3为本发明一具体示例提供的瓣环分割模型的结构示意图；

图4为本发明一具体示例提供的瓶颈层的结构示意图；

图5为本发明一具体示例提供的过渡块的结构示意图；

图6为本发明一具体示例提供的向上过渡块的结构示意图；

图7a为本发明一具体示例提供的开放状态的目标心脏瓣膜(主动脉瓣)感兴趣区域图像；

图7b为对图7a进行分割所得到的目标心脏瓣膜(主动脉瓣)瓣环图像；

图7c为本发明一具体示例提供的关闭状态的目标心脏瓣膜(主动脉瓣)感兴趣区域图像；

图7d为对图7c进行分割所得到的目标心脏瓣膜(主动脉瓣)瓣环图像；

图7e为根据图7b所示的目标心脏瓣膜(主动脉瓣)瓣环图像所生成的目标心脏瓣膜(主动脉瓣)图像；

图7f为根据图7d所示的目标心脏瓣膜(主动脉瓣)瓣环图像所生成的目标心脏瓣膜(主动脉瓣)图像；

图8为本发明一具体示例提供的生成器的网络结构示意图；

图9为本发明一具体示例提供的瓣膜分割模型的结构示意图；

图10为本发明一实施方式中的电子设备的方框结构示意图。

其中，附图标记如下：

处理器-101；通信接口-102；存储器-103；通信总线-104。

具体实施方式

以下结合附图和具体实施方式对本发明提出的心脏瓣膜图像分割方法、电子设备和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在与本发明所能产生的功效及所能达成的目的相同或近似的情况下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方式或示例以及不同实施方式或示例的特征进行结合和组合。

本发明的核心思想在于提供一种心脏瓣膜图像分割方法、电子设备和存储介质，以解决现有技术中直接采用神经网络对主动脉瓣超声图像进行分割所得到的分割结果的连续性较差的问题。

需要说明的是，本发明实施方式的心脏瓣膜图像分割方法可应用于本发明实施方式的电子设备上，其中，该电子设备可以是个人计算机、移动终端等，该移动终端可以是手机、平板电脑等具有各种操作系统的硬件设备。此外，需要说明的是，虽然本文是以超声心动图为例进行说明，但是如本领域技术人员所能理解的，所述心动图还可以为除超声设备以外的其它设备(例如心脏内窥镜)采集的心动图，本发明对此并不进行限定。另外，需要说明的是，虽然本文是以主动脉瓣作为目标心脏瓣膜为例进行说明，但是如本领域技术人员所能理解的，所述目标心脏瓣膜还可以为二尖瓣、三尖瓣、肺动脉瓣等，本发明对此并不进行限定。还需要说明的是，本文中定义图像的长边方向为长度方向，定义图像的短边方向为宽度方向。另外需要说明的是，本发明中所称的目标心脏瓣膜瓣环是指目标心脏瓣膜所对应的血管空腔，例如主动脉瓣瓣环是指主动脉瓣对应的主动脉血管空腔。

为实现上述思想，本发明提供一种心脏瓣膜图像分割方法，请参考图1，其示意性地给出了本发明一实施方式提供的心脏瓣膜图像分割方法的流程示意图。如图1所示，所述心脏瓣膜图像分割方法包括如下步骤：

步骤S100、采用目标检测模型对所获取的心动视频中的各帧心动图像进行目标心脏瓣膜感兴趣区域的提取，以获取对应的目标心脏瓣膜感兴趣区域图像。

步骤S200、采用瓣环分割模型对所述目标心脏瓣膜感兴趣区域图像进行分割，以获取对应的目标心脏瓣膜瓣环图像。

步骤S300、将所述目标心脏瓣膜瓣环图像输入瓣膜生成模型中，以生成对应的目标心脏瓣膜掩膜。

步骤S400、将所述目标心脏瓣膜掩膜和与其对应的目标心脏瓣膜感兴趣区域图像输入瓣膜分割模型中，以获取对应的目标心脏瓣膜分割图像。

由此，本发明通过先获取目标心脏瓣膜感兴趣区域图像；再采用预先训练好的瓣环分割模型对所述目标心脏瓣膜感兴趣区域图像进行分割，不仅可以提高所获取的目标心脏瓣膜瓣环图像(例如主动脉瓣瓣环图像)的精度，以为后续生成准确的目标心脏瓣膜掩膜奠定良好的基础，同时也可以进一步减少瓣环分割模型的计算量，提高计算效率。此外，由于本发明中的目标心脏瓣膜掩膜是根据其所对应的目标心脏瓣膜瓣环图像采用瓣膜生成模型直接生成的，由此所述目标心脏瓣膜掩膜可以作为形状先验信息和与其对应的目标心脏瓣膜感兴趣区域图像共同输入瓣膜分割模型中，从而不仅可以提高最终分割得到的目标心脏瓣膜分割图像(例如主动脉瓣分割图像)的分割精度和连续性，而且还可以减少人为因素可能产生的差异化的问题。此外，本发明能够实现端到端的算法流程，泛用性强，从而可以更好地辅助医生提高诊断效率，减小利用超声心动图进行心脏瓣膜异常分析中因误差引起的风险。

作为一种示例，所述心动视频是超声心动视频(每个心动视频含有多个心动周期)，所述超声心动视频的分辨率可以根据具体情况进行设置，例如600×800，所述超声心动视频具体为超声设备采集的psax-av切面影像，所述超声心动视频含有若干个心动周期。

在一种示范性的实施方式中，所述采用目标检测模型对所获取的心动视频中的各帧心动图像进行目标心脏瓣膜感兴趣区域的提取，以获取对应的目标心脏瓣膜感兴趣区域图像，包括：

采用目标检测模型对所获取的心动视频中的各帧心动图像进行目标心脏瓣膜感兴趣区域的提取，以获取对应的目标心脏瓣膜感兴趣区域的位置信息；

根据各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行曲线拟合，并根据拟合后的结果对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正；

根据各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息，在各帧心动图像上裁剪出对应的目标心脏瓣膜感兴趣区域，以获取对应的目标心脏瓣膜感兴趣区域图像。

由此，本发明通过对目标检测模型所提取的各帧心动图像的目标心脏瓣膜感兴趣区域的位置信息进行修正，并根据修正后的目标心脏瓣膜感兴趣区域的位置信息从所述心动图像上裁剪出对应的目标心脏瓣膜感兴趣区域图像，从而可以获取更加准确的目标心脏瓣膜瓣环图像，进而可以为生成更加准确的目标心脏瓣膜掩膜奠定良好的基础，有效提高最终所获取的目标心脏瓣膜分割图像的精度。请参考图2a和图2b，其中图2a示意性地给出了本发明一具体示例提供的心动图像，图2b示意性地给出了从图2a中的心动图像中裁剪下来的目标心脏瓣膜(主动脉瓣)感兴趣区域图像。

在一种示范性的实施方式中，所述根据各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行曲线拟合，并根据拟合后的结果对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正，包括：

根据所述目标检测模型所提取的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息，进行曲线拟合，以获取拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系；

根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正，以获取各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息。

由此，通过对所述目标检测模型所提取的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行曲线拟合，以获取拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，从而可以根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，获取每一帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的位置信息。

在一种示范性的实施方式中，所述根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正，以获取各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息，包括：

针对每一帧心动图像：

根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，获取该帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的位置信息；

根据所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息与该帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的位置信息之间的差值的绝对值，获取该帧心动图像所对应的第一位置偏差信息；

根据该帧心动图像所对应的第一位置偏差信息以及所述目标检测模型提取该帧心动图像所对应的目标心脏瓣膜感兴趣区域的置信概率值，获取该帧心动图像所对应的第二位置偏差信息；

根据该帧心动图像所对应的第二位置偏差信息，判断所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息是否准确；

若是，则将所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息作为该帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息；

若否，则根据与该帧心动图像相邻的前一帧位置信息准确的心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息以及后一帧位置信息准确的心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息，获取该帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息。

进一步地，所述根据所述目标检测模型所提取的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息，进行曲线拟合，以获取拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，包括：

根据所述目标检测模型所提取的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的第一角点的横坐标信息和纵坐标信息以及第二角点的横坐标信息和纵坐标信息，分别进行目标心脏瓣膜感兴趣区域的第一角点的横坐标的曲线拟合、第一角点的纵坐标的曲线拟合、第二角点的横坐标的曲线拟合以及第二角点的纵坐标的曲线拟合，以获取拟合后的图像帧与目标心脏瓣膜感兴趣区域的第一角点的横坐标之间的对应关系、拟合后的图像帧与目标心脏瓣膜感兴趣区域的第一角点的纵坐标之间的对应关系、拟合后的图像帧与目标心脏瓣膜感兴趣区域的第二角点的横坐标之间的对应关系以及拟合后的图像帧与目标心脏瓣膜感兴趣区域的第二角点的纵坐标之间的对应关系。

具体地，所述第一角点可以为所述目标检测模型在每一帧所述心动图像提取出的目标心脏瓣膜感兴趣区域的左上角位置，所述第二角点可以为所述目标检测模型在每一帧所述心动图像提取出的目标心脏瓣膜感兴趣区域的右下角位置，由此，所述第一角点的位置信息和所述第二角点的位置信息即可以表示出所述目标心脏瓣膜感兴趣区域的位置信息。通过将所述目标检测模型所提取出的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的第一角点的横坐标进行曲线拟合，可以获取用于表征拟合后的图像帧与目标心脏瓣膜感兴趣区域的第一角点的横坐标之间的对应关系的曲线；通过将所述目标检测模型所提取出的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的第一角点的纵坐标进行曲线拟合，可以获取用于表征拟合后的图像帧与目标心脏瓣膜感兴趣区域的第一角点的纵坐标之间的对应关系的曲线；通过将所述目标检测模型所提取出的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的第二角点的横坐标进行曲线拟合，可以获取用于表征拟合后的图像帧与目标心脏瓣膜感兴趣区域的第二角点的横坐标之间的对应关系的曲线；通过将所述目标检测模型所提取出的各帧心动图像所对应的目标心脏瓣膜感兴趣区域的第二角点的纵坐标进行曲线拟合，可以获取用于表征拟合后的图像帧与目标心脏瓣膜感兴趣区域的第二角点的纵坐标之间的对应关系的曲线。由此，根据拟合出的这四条曲线，即可以获取任意一帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的第一角点的横坐标信息和纵坐标信息以及第二角点的横坐标信息和纵坐标信息，也即可以获取任意一帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的位置信息。

在一种示范性的实施方式中，所述根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，对各帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息进行修正，以获取各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息，包括：

针对每一帧心动图像：

根据拟合后的图像帧与目标心脏瓣膜感兴趣区域的位置信息之间的对应关系，获取该帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的位置信息；

根据所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息与该帧心动图像所对应的拟合后的目标心脏瓣膜感兴趣区域的位置信息之间的差值的绝对值，获取该帧心动图像所对应的第一位置偏差信息；

根据该帧心动图像所对应的第一位置偏差信息以及所述目标检测模型提取该帧心动图像所对应的目标心脏瓣膜感兴趣区域的置信概率值，获取该帧心动图像所对应的第二位置偏差信息；

根据该帧心动图像所对应的第二位置偏差信息，判断所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息是否准确；

若是，则将所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息作为该帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息；

若否，则根据与该帧心动图像相邻的前一帧位置信息准确的心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息以及后一帧位置信息准确的心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息，获取该帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息。

由此，针对每一帧心动图像，根据所述目标检测模型所提取的目标心脏瓣膜感兴趣区域的位置信息以及拟合后的目标心脏瓣膜感兴趣区域的位置信息，获取该帧心动图像所对应的第一位置偏差信息，并根据该帧心动图像所对应的第一位置偏差信息以及所述目标检测模型提取该帧心动图像所对应的目标心脏瓣膜感兴趣区域的置信概率值，获取该帧心动图像所对应的第二位置偏差信息；再根据第二位置偏差信息，判断所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息是否准确，从而可以更加准确地判断出该帧心动图像的由所述目标检测模型所提取的目标心脏瓣膜感兴趣区域的位置信息是否准确，有效避免误判断，进而可以有效提高目标心脏瓣膜感兴趣区域的位置信息的修正效果，进一步为获取准确地心动视频分类结果奠定良好的基础。

更进一步地，所述根据该帧心动图像所对应的第一位置偏差信息以及所述目标检测模型提取该帧心动图像所对应的目标心脏瓣膜感兴趣区域的置信概率值，获取该帧心动图像所对应的第二位置偏差信息，包括：

根据如下公式，获取该帧心动图像所对应的第二位置偏差信息：

e

式中，e

具体地，以第i帧心动图像为例，假设所述目标检测模型所提取的第i帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息为(w

E

则第i帧心动图像所对应的第二位置偏差e

e

在一种示范性的实施方式中，所述根据该帧心动图像所对应的第二位置偏差信息，判断所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息是否准确，包括：

根据各帧心动图像所对应的第一位置偏差信息，获取所述心动视频所对应的第一位置偏差均值信息；

根据所述目标检测模型提取各帧心动图像所对应的目标心脏瓣膜感兴趣区域的置信概率值的平均值，获取所述心动视频所对应的置信概率均值；

根据所述心动视频所对应的第一位置偏差均值信息以及所述心动视频所对应的置信概率均值，获取所述心动视频所对应的第二位置偏差均值信息；

根据预设倍数阈值以及所述心动视频所对应的第二位置偏差均值信息，获取位置判断阈值；

针对所述心动视频的各帧心动图像，根据该帧心动图像所对应的第二位置偏差信息以及所述位置判断阈值，判断所述目标检测模型所提取的该帧心动图像所对应的目标心脏瓣膜感兴趣区域的位置信息是否准确。

具体地，通过对各帧心动图像所对应的第一位置偏差取平均值，即可获取所述心动视频所对应的第一位置偏差均值；通过对各帧心动图像所对应的置信概率值取平均值，即可以获取所述心动视频所对应的置信概率均值；所述心动视频所对应的第一位置偏差均值与所述心动视频所对应的置信概率均值的乘积即为所述心动视频所对应的第二位置偏差均值；所述第二位置偏差均值与预设倍数阈值的乘积即为位置判断阈值。由于所述位置判断阈值是基于所述心动视频的第二位置偏差均值与预设倍数阈值得到的，即不同的心动视频所对应的位置判断阈值是不同的，也即本发明中的位置判断阈值是动态变化的，由此可以进一步提高目标心脏瓣膜感兴趣区域的位置信息的修正效果，为获取准确的目标心脏瓣膜感兴趣区域的位置信息奠定良好的基础。

假设所述心动视频包括n帧心动图像，则所述心动视频所对应的第一位置偏差均值

所述心动视频所对应的置信概率均值

所述心动视频所对应的第二位置偏差均值

假设预设放大倍数为m，则所述心动视频所对应的位置判断阈值T

需要说明的是，如本领域技术人员所能理解的，在进行位置判断时，分别对所述目标心脏瓣膜感兴趣区域的第一角点的横坐标、第一角点的纵坐标、第二角点的横坐标以及第二角点的纵坐标进行判断，并根据对应的判断结果对所述目标心脏瓣膜感兴趣区域的第一角点的横坐标、第一角点的纵坐标、第二角点的横坐标以及第二角点的纵坐标进行相应修正。具体地，以第i帧心动图像为例，若第i帧心动图像所对应的目标心脏瓣膜感兴趣区域的第一角点的横坐标满足以下条件：|w

若第i帧心动图像所对应的目标心脏瓣膜感兴趣区域的第一角点的纵坐标满足以下条件：|h

若第i帧心动图像所对应的目标心脏瓣膜感兴趣区域的第二角点的横坐标满足以下条件：|w

若第i帧心动图像所对应的目标心脏瓣膜感兴趣区域的第二角点的纵坐标满足以下条件：|h

在一种示范性的实施方式中，所述目标检测模型为ResNet50神经网络模型。由于ResNet中使用了跳跃连接(或称捷径)，它将某一层的网络层激活值，直接传递给网络的更深层，另外跳跃连接只传递数据，通过跳跃连接，反向传播时信号可以无衰减地传递，不用担心梯度会发生改变，能够向上一层传递有效的梯度，由此，通过跳跃连接能够有效的缓解因为加深网络层而导致的梯度消失问题，通过Residual block(残差模块)的堆叠，可以构建非常深的网络模型，使深的网络层次也能进行有效的训练。

进一步地，所述根据各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息，在各帧心动图像上裁剪出对应的目标心脏瓣膜感兴趣区域，以获取对应的目标心脏瓣膜感兴趣区域图像，包括：

根据各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息，计算各帧心动图像所对应的放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息；

将放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息作为该帧心动图像所对应的所述目标心脏瓣膜感兴趣区域的位置信息。

由于采用目标检测模型虽然可以在心动图像中检测出目标心脏瓣膜感兴趣区域，为后续的分割模型提供初步定位，但是也会造成目标心脏瓣膜周围组织等细节信息的丢失，由此本发明通过根据各帧心动图像所对应的修正后的目标心脏瓣膜感兴趣区域的位置信息，计算放大预设倍数后的目标心脏瓣膜感兴趣区域的位置信息，即将修正后的目标心脏瓣膜感兴趣区域的边框(boundingbox)放大预设倍数，例如1.3倍，以得到放大后的边框，该放大后的边框所限定的区域即为最终的目标心脏瓣膜感兴趣区域，由于该放大后的边框所限定的区域包括目标心脏瓣膜周围组织等细节信息，由此可以进一步提高后续分割模型的分割精度。需要说明的是，如本领域技术人员所能理解的，放大后的边框的中心位置与放大前的边框的中心位置一致。

在一种示范性的实施方式中，在采用分割模型对所述目标心脏瓣膜感兴趣区域图像进行分割之前，所述方法还包括：

以所述目标心脏瓣膜感兴趣区域图像的长度方向尺寸为目标边长尺寸；

沿宽度方向对所述目标心脏瓣膜感兴趣区域图像进行填充，以将所述目标心脏瓣膜感兴趣区域图像的宽度方向尺寸调整至所述目标边长尺寸；

将宽度方向尺寸调整至所述目标边长尺寸的目标心脏瓣膜感兴趣区域图像放大或缩小，以将所述目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸。

当所述瓣膜分割模型为神经网络模型时，由于神经网络模型需要统一大小的图像作为输入，由此通过将所述目标心脏瓣膜感兴趣区域图像的尺寸调整至预设尺寸，可以满足瓣膜分割模型的输入需要。具体地，所述预设尺寸可以根据具体情况进行设置。作为一种优选，在所述预设尺寸中，图像的长度方向尺寸与宽度方向相一致，即调整至预设尺寸后的图像为方形图像，例如所述预设尺寸为320*320。由此，通过将预设尺寸中的长度方向尺寸和宽度方向设置为一致，可以更加便于将所述目标心脏瓣膜感兴趣区域图像的尺寸调整至所述预设尺寸。

具体地，请参考图2b和图2c，其中图2c示意性地给出了对图2b进行填充后的目标心脏瓣膜(主动脉瓣)感兴趣区域图像。如图2b和图2c所示，可以沿宽度方向，以黑色像素(像素值为0)对所述目标心脏瓣膜感兴趣区域图像进行填充，以将所述目标心脏瓣膜感兴趣区域图像的宽度方向尺寸调整至与长度方向尺寸相一致的尺寸，即将所述目标心脏瓣膜感兴趣区域图像调整为方形图像，再将调整至方形的目标心脏瓣膜感兴趣区域图像放大或缩小一定倍数即可。

在一种示范性的实施方式中，所述瓣环分割模型为DenseNet神经网络模型，由于DenseNet神经网络模型是一种具有密集连接的卷积神经网络，每一层的输入来自前面所有层的输出，这种神经网络结构加强了特征的传递，更有效利用了特征，另外DenseNet神经网络模型具有较好的抗过拟合性能，尤其适合于训练数据相对匮乏的应用。因此，采用DenseNet神经网络模型作为本发明中的瓣环分割模型，可以有效提高目标心脏瓣膜(例如主动脉瓣)的内轮廓和外轮廓的分割效率和分割准确率。具体地，DenseNet神经网络模型由多个密集连接块通过过渡块连接组成，即任意相邻的两个密集连接块之间通过一过渡块相连，且密集连接块内的卷积输出通道的数量是一致的，以便于能够将每一层的特征信息进行叠加。

密集连接块中的一层称为瓶颈层，DenseNet中的密集连接将一个密集连接块中的每层与之后的所有层进行连接，实现特征复用。

请继续参考图3，其示意性地给出了本发明一具体示例提供的瓣环分割模型的结构示意图。如图3所示，在本示例中，所述瓣环分割模型包括依次连接的第一卷积层、第一池化层(优选为最大池化层)、第一密集连接块、第一过渡块、第二密集连接块、第二过渡块、第三密集连接块、第三过渡块、第四密集连接块、第一向上过渡块、第二向上过渡块以及第二卷积层(卷积核尺寸为1×1)。其中，所述第一卷积层用于对输入的图像进行目标心脏瓣膜(例如主动脉瓣)瓣环边界、纹理等特征的提取，所述第一池化层用于对所述第一卷积层的输出进行池化操作，以去掉图像中的不必要的冗余信息，例如背景噪声等，所述第一密集连接块用于对所述第一池化层的输出进行目标心脏瓣膜(例如主动脉瓣)瓣环特征的提取，所述第一过渡块用于对所述第一密集连接块的输出进行压缩操作，以降低所述第一密集连接块所输出的特征图的尺寸，所述第二密集连接块用于对所述第一过渡块的输出进行目标心脏瓣膜(例如主动脉瓣)瓣环特征的提取，所述第二过渡块用于对所述第二密集连接块的输出进行压缩操作，以降低所述第二密集连接块所输出的特征图的尺寸，所述第三密集连接块用于对所述第二过渡块的输出进行目标心脏瓣膜(例如主动脉瓣)瓣环特征的提取，所述第三过渡块用于对所述第三密集连接块的输出进行压缩操作，以降低所述第三密集连接块所输出的特征图的尺寸，所述第四密集连接块用于对所述第三过渡块的输出进行目标心脏瓣膜(例如主动脉瓣)瓣环特征的提取，所述第一向上过渡块用于对所述第四密集连接块的输出进行反卷积操作，以增大所述第四密集连接块所输出的特征图的尺寸，所述第二向上过渡块用于对所述第一向上过渡块的输出进行反卷积操作，以增大所述第一向上过渡块所输出的特征图的尺寸，所述第二卷积层用于对所述第二向上过渡块的输出进行非线性映射回归，以获取目标心脏瓣膜(例如主动脉瓣)的瓣环的分割结果。

具体地，所述第二卷积层可通过sigmoid函数对所述第二向上过渡块的输出进行非线性映射回归，sigmoid函数的公式如下所示：

由上式可知，Sigmoid函数可以将任意的输入实数映射到实数映射区间(0,1)内，当输入值x较大时，输出值g趋向于1，输入值x较小时，输出值g趋向于0。

需要说明的是，如本领域技术人员所能理解的，所述第一密集连接块、所述第二密集连接块、所述第三密集连接块和所述第四密集连接块均包括多个瓶颈层，且所述第一密集连接块、所述第二密集连接块、所述第三密集连接块和所述第四密集连接块所具有的瓶颈层的数目可以相同也可以不同，其具体数目可以根据实际需要进行设置，本发明对此并不进行限定，例如，所述第一密集连接块中可设有6层瓶颈层，所述第二密集连接块中可设有12层瓶颈层，所述第三密集连接块中可设有24层瓶颈层，所述第四密集连接块中可设有16层瓶颈层。

请继续参考图4，其示意性地给出了本发明一具体示例提供的瓶颈层的结构示意图。如图4所示，所述瓶颈层包括依次连接的第一批量归一化层A、第一激活层A、第三卷积层A、第一批量归一化层B、第一激活层B和第三卷积层B，其中，第三卷积层A的卷积核的尺寸为1×1，第三卷积层B的卷积核的尺寸为3×3。由此，本发明通过在瓶颈层的3×3的卷积之前加入1×1的卷积可以减少特征映射图的数量和降低每张特征映射图的维度，以减少计算量，还能够融合各个通道的特征。此外，由于所述瓶颈层在执行1×1和3×3的卷积操作之前均进行批量归一化BN操作和ReLU激活操作，由此可以进一步提升训练速度和收敛效率。

请继续参考图5，其示意性地给出了本发明一具体示例提供的过渡块的结构示意图。如图5所示，所述第一过渡块、所述第二过渡块、所述第三过渡块均包括依次连接的第二批量归一化层、第二激活层、第四卷积层和第二池化层(优选为平均池化层)，其中，所述第四卷积层的卷积核的尺寸为1×1。由此，通过所述第四卷积层的卷积操作能够对特征映射图进行降维，通过第二池化层的平均池化操作可以解决特征映射图的通道数过多的问题，防止过多的密集连接块导致的模型复杂化问题。此外，由于每一过渡块在进行1×1的卷积操作之前还进行批量归一化BN操作和ReLU激活操作，由此可以进一步压缩参数数量。

请继续参考图6，其示意性地给出了本发明一具体示例提供的向上过渡块的结构示意图。如图6所示，所述第一向上过渡块和所述第二向上过渡块均包括依次连接的第三批量归一化层A、第三激活层A、第五卷积层A、第三批量归一化层B、第三激活层B、第五卷积层B、第三批量归一化层C、第三激活层C和第一反卷积层，其中，所述第五卷积层A和所述第五卷积层B的卷积核的尺寸均为3×3。

进一步地，所述瓣环分割模型训练过程中所采用的样本为已标注出目标心脏瓣膜感兴趣区域的样本心动图像以及与所述样本心动图像对应的目标心脏瓣膜瓣环掩膜图像。具体地，可以采用OpenCV轮廓提取算法，在所述样本心动图像中的目标心脏瓣膜感兴趣区域查找目标心脏瓣膜瓣环轮廓，以分割出目标心脏瓣膜瓣环掩膜图像。需要说明的是，如本领域技术人员所能理解的，由于神经网络模型需要统一大小的图像作为输入，因此需要将已标注出目标心脏瓣膜感兴趣区域的样本心动图像以及其对应的目标心脏瓣膜瓣环掩膜图像均转换至预设尺寸，例如320×320。

在一种示范性的实施方式中，所述瓣环分割模型在训练过程中采用的损失函数为binary_crossentropy交叉熵损失函数，binary_crossentropy交叉熵损失函数的公式如下所示：

式中，y

进一步地，在完成瓣环分割模型的训练后本发明还采用Dice coefficient公式对所述瓣环分割模型的算法精度进行评价，Dice coefficient公式如下所示：

式中，X为预测结果，Y为真实标签。

Dice的取值范围是0到1，Dice值越接近1说明瓣环分割模型的分割精度越高。

作为一种示例，在瓣环分割模型的训练过程中，设置学习率为1e-3(即0.001)，并使用Adam(adaptive moment estimation)为优化器，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，并在优化器的参数中增加clipnorm＝0.001用于对梯度进行裁剪。

请继续参考图7a至图7d，其中图7a示意性地给出了本发明一具体示例提供的开放状态的目标心脏瓣膜(主动脉瓣)感兴趣区域图像；图7b示意性地给出了对图7a进行分割所得到的目标心脏瓣膜(主动脉瓣)瓣环图像；图7c示意性地给出了本发明一具体示例提供的关闭状态的目标心脏瓣膜(主动脉瓣)感兴趣区域图像；图7d示意性地给出了对图7c进行分割所得到的目标心脏瓣膜(主动脉瓣)瓣环图像。如图7a至图7d所示，通过采用本发明中的的瓣环分割模型对所述心动图像所对应的目标心脏瓣膜感兴趣区域进行分割，可以精确地获取心动图像所对应的目标心脏瓣膜瓣环图像。

在一种示范性的实施方式中，为了直观显示，还可以在所述心动图像上绘制出目标心脏瓣膜(例如主动脉瓣)瓣环的轮廓，并采用中值滤波法将所述心动图像中的每一像素点的灰度值设置为该像素点的邻域窗口内的所有像素点的灰度值的中值，其中滤波内核的尺寸参数可以根据具体情况进行设置，例如设置为5×5，由此通过采用中值滤波法可以有效去除所述心动图像中的椒盐噪声。需要说明的是，如本领域技术人员所能理解的，在其它一些实施方式中，还可以采用除中值滤波法以外的其它滤波法对所述心动图像进行滤波处理，本发明对此并不进行限定。

在一种示范性的实施方式中，所述将所述目标心脏瓣膜瓣环图像输入瓣膜生成模型中，包括：

采用瓣环状态分类模型对所述目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜的开放状态和关闭状态进行判断；

若所述目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜为开放状态，则将所述目标心脏瓣膜瓣环图像输入开放瓣膜生成模型中；

若所述目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜为关闭状态，则将所述目标心脏瓣膜瓣环图像输入关闭瓣膜生成模型中。

由此，本发明通过先采用瓣环状态分类模型对所述目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜的开放状态和关闭状态进行判断，进而选择对应的瓣膜生成模型根据所述目标心脏瓣膜瓣环图像生成对应的目标心脏瓣膜掩膜，可以进一步提高所生成的目标心脏瓣膜掩膜的精度。请继续参考图7e和图7f，其中图7e为根据图7b所示的目标心脏瓣膜(主动脉瓣)瓣环图像所生成的目标心脏瓣膜(主动脉瓣)掩膜；图7f为根据图7d所示的目标心脏瓣膜(主动脉瓣)瓣环图像所生成的目标心脏瓣膜(主动脉瓣)掩膜。如图7e和图7f所示，通过根据目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜是开放状态还是关闭状态，选择对应的瓣膜生成模型来生成对应的目标心脏瓣膜掩膜，可以有效提高所生成的目标心脏瓣膜掩膜的精度。需要说明的是，如本领域技术人员所能理解的，在其它一些实施方式中，可以根据所述目标心脏瓣膜(主动脉瓣)掩膜的开口面积，判断所述目标心脏瓣膜瓣环图像所对应的目标心脏瓣膜是开放状态还是关闭状态。

在一种示范性的实施方式中，所述瓣环状态分类模型也为DenseNet神经网络模型，所述瓣环状态分类模型与上文所述的瓣环分割模型的不同之处在于：在所述瓣环状态分类模型中，所述第二卷积层之后连接的是节点数为2的全连接层，激活函数为softmax，经过全连接层与softmax激活函数，所述瓣环状态分类模型将输出目标心脏瓣膜掩膜属于开放状态和关闭状态的概率，根据预设概率阈值即可判定输入的目标心脏瓣膜瓣环图像属于开放状态还是关闭状态。

在一种示范性的实施方式中，所述瓣膜生成模型为生成对抗网络中的生成器。

生成对抗网络(GAN)是一种全新的非监督式的架构，能够生成非常逼真的图像，其包括两套独立的网络：生成器和判别器，其中，生成器的目标是绘制出与“真”图像非常接近的“假”图像来欺骗判别器，判别器用来分辨其所接收的图像是“真”图像还是“假”图像。在训练过程中，判别器会接收数据集中的“真”图像和生成器生成的“假”图像，它的任务是尽最大可能将生成器生成的图像判定为0(即判定为“假”图像)，将数据集中的“真”图像判定为1(即判定为“真”图像)，对于最后输出的结果，可以同时对生成器和判别器的参数进行调优。如果判别器判断正确，就需要调整生成器的参数从而使得生成器生成的“假”图像更为逼真；如果判别器判断错误，则需要调节判别器的参数，避免下次再判断出错。训练会一直持续到两者(生成器和判别器)进入到一个均衡和谐的状态，训练好的生成对抗网络包括一个质量较高的自动生成器和一个判断能力较强的判别器。由此，本发明通过采用训练好的生成对抗网络中的生成器作为瓣膜生成模型，可以使得所述瓣膜生成模型能够生成更加逼真的心脏瓣膜图像，从而可以更好地辅助医生提高诊断效率。

在一种示范性的实施方式中，所述瓣膜生成模型通过以下步骤训练得到：

获取训练样本，所述训练样本包括心脏瓣膜瓣环图像和对应的心脏瓣膜标签图像；

根据所述训练样本对预先获取的生成对抗网络进行训练，以获取训练好的生成对抗网络；

将所述训练好的生成对抗网络中的生成器作为所述瓣膜生成模型。

具体地，开放瓣膜生成模型和关闭瓣膜生成模型是采用不同的训练样本分别对对应的预先搭建的生成对抗网络进行训练得到。其中，针对开放瓣膜生成模型，所获取的训练样本包括通过对开放状态下的心动图像进行分割所得到的心脏瓣膜瓣环图像和对应的心脏瓣膜标签图像。针对关闭瓣膜生成模型，所获取的训练样本包括通过对关闭状态下的心动图像进行分割所得到的心脏瓣膜瓣环图像和对应的心脏瓣膜标签图像。需要说明的是，如本领域技术人员所能理解的，所述开放瓣膜生成模型所对应的生成对抗网络的结构和所述关闭瓣膜生成模型所对应的生成对抗网络的结构相同，且所述开放瓣膜生成模型的训练过程和所述关闭瓣膜生成模型二者的训练过程也大体相同。

进一步地，所述根据所述训练样本对预先获取的生成对抗网络进行训练，包括：

根据所述训练样本采用交替训练的方式对所述生成对抗网络中的生成器和判别器进行训练，直至满足预设训练结束条件。

具体地，可以先固定所述判别器的参数不变，对所述生成器进行训练：先将所述训练样本中的心脏瓣膜瓣环图像作为所述生成对抗网络中的生成器的输入，以生成对应的心脏瓣膜生成图像；然后将所述心脏瓣膜生成图像和对应的心脏瓣膜标签图像一起作为所述生成对抗网络中的判别器的输入，以得到所述心脏瓣膜生成图像的概率；再根据所述概率计算所述生成器的损失函数，并根据所述生成器的损失函数调整所述生成器的参数，所述生成器训练一次或多次后可以进行判别器的训练。然后固定所述生成器的参数不变，对所述判别器进行训练：先将所述训练样本中的心脏瓣膜瓣环图像作为所述生成对抗网络中的生成器的输入，以生成对应的心脏瓣膜生成图像；然后将所述心脏瓣膜生成图像和对应的心脏瓣膜标签图像一起作为所述生成对抗网络中的判别器的输入，以得到所述心脏瓣膜生成图像的概率；再根据所述概率计算所述判别器的损失函数，然后根据所述判别器的损失函数调整所述判别器的参数，所述判别器训练一次或多次后可以进行生成器的训练。

进一步地，所述预设训练结束条件为所述生成器和所述判别器达到均衡。

具体地，当所述判别器输出的概率接近0.5时，相当于判别器无法分辨真假，只能随机猜测，从而达到稳态的纳什平衡，此时，所述生成器所生成的心脏瓣膜图像与真实的心脏瓣膜图像非常接近。需要说明的是，如本领域技术人员所能理解的，在其它一些实施方式中，所述预设训练结束条件还可以为训练次数达到预设次数。

在一种示范性的实施方式中，所述生成器采用的网络结构为UNet基础网络。请继续参考图8，其示意性地给出了本发明一具体示例提供的生成器的网络结构示意图。如图8所示，所述生成器包括解码模块和编码模块；其中，所述解码模块包括多个级联的第一神经网络组和第六卷积层(卷积核尺寸为3×3)，所述第一神经网络组包括级联的第七卷积层(卷积核尺寸为3×3)和最大池化层，所述第七卷积层用于对输入至所述第一神经网络组的图像或上一层第一神经网络组的输出图像进行图像特征信息的提取，所述最大池化层用于对所述第七卷积层的输出图像进行池化，所述第六卷积层用于对最深层的第一神经网络组的输出图像进行图像特征信息的提取。所述编码模块包括多个级联的第二神经网络组、第八卷积层(卷积核尺寸为1×1)和第一输出层，所述第二神经网络组与所述第一神经网络组一一对应，所述第二神经网络组包括级联的第二反卷积层、合并层和第九卷积层(卷积核尺寸为3×3)，所述第二反卷积层用于进行与所述解码模块中的相应的最大池化层的池化操作相反的反向操作，所述合并层用于将所述第二反卷积层的输出图像与所述解码模块中的相应的所述第七卷积层的输出图像进行线性相加合并，所述第九卷积层用于恢复所述解码模块中的相应的最大池化层对图像进行池化过程中丢失的图像特征信息，所述第八卷积层用于对最深层的第九卷积层的输出结果进行逻辑回归。

需要说明的是，图8所示的生成器的网络结构中，解码模块包括的第一神经网络组的个数以及编码模块包括的第二神经网络组的个数均为示例，不应理解为对本申请实施方式的限定。所述解码网络包括的第一神经网络组的个数以及编码模块包括的第二神经网络组的个数可以根据具体需要进行设置。需要说明的是，因编码和解码具有一一对应的关系，所以在本申请实施方式提供的生成器的网络结构中，所述解码模块包括的第一神经网络组的个数与编码模块包括的第二神经网络组的个数相等。此外，第一神经网络组包括的第七卷积层的个数以及第二神经网络组包括的第九卷积层的个数不限定为2个，其还可以为3个或3个以上，本发明对其并不进行限制。

请继续参考图9，其示意性地给出了本发明一实施方式提供的瓣膜分割模型的结构示意图。如图9所示，在一种示范性的实施方式中，所述瓣膜分割模型也采用DenseNet神经网络模型，所述瓣膜分割模型与上文所述的瓣环分割模型的不同之处在于：所述瓣膜分割模型包括两个输入层，分别为第一输入层和第二输入层，其中所述第一输入层用于接收目标心脏瓣膜掩膜，所述第二输入层用于接收对应的目标心脏瓣膜感兴趣区域图像，由此，输入至所述瓣膜分割模型中的所述目标心脏瓣膜掩膜和所述目标心脏瓣膜感兴趣区域图像二者能够进行特征融合，从而可以基于所述目标心脏瓣膜掩膜的形状先验信息，提高最终的目标心脏瓣膜分割图像的分割精度。具体地，所述第一卷积层用于对所述目标心脏瓣膜感兴趣区域图像进行目标心脏瓣膜瓣环特征的提取，所述第一池化层用于对所述第一卷积层的输出进行池化操作，所述第一密集连接块用于对所述第一池化层的输出或者所述第一池化层的输出与所述目标心脏瓣膜掩膜相加后的结果进行目标心脏瓣膜瓣环特征的提取，所述第一过渡块用于对所述第一密集连接块的输出或者所述第一密集连接块的输出与所述目标心脏瓣膜掩膜相加后的结果进行压缩操作，所述第二密集连接块用于对所述第一过渡块的输出或者所述第一过渡块的输出与所述目标心脏瓣膜掩膜相加后的结果进行目标心脏瓣膜瓣环特征的提取，所述第二过渡块用于对所述第二密集连接块的输出或者所述第二密集连接块的输出与所述目标心脏瓣膜掩膜相加后的结果进行压缩操作，所述第三密集连接块用于对所述第二过渡块的输出或者所述第二过渡块的输出与所述目标心脏瓣膜掩膜相加后的结果进行目标心脏瓣膜瓣环特征的提取，所述第三过渡块用于对所述第三密集连接块的输出或者所述第三密集连接块的输出与所述目标心脏瓣膜掩膜相加后的结果进行压缩操作，所述第四密集连接块用于对所述第三过渡块的输出或者所述第三过渡块的输出与所述目标心脏瓣膜掩膜相加后的结果进行目标心脏瓣膜瓣环特征的提取，所述第一向上过渡块用于对所述第四密集连接块的输出或者所述第四密集连接块的输出与所述目标心脏瓣膜掩膜相加后的结果进行反卷积操作，所述第二向上过渡块用于对所述第一向上过渡块的输出进行反卷积操作，所述第二卷积层用于对所述第二向上过渡块的输出进行非线性映射回归，以获取目标心脏瓣膜分割结果。需要说明的是，虽然图9是以所述第一输入层所接收的目标心脏瓣膜掩膜仅与所述第三过渡块的输出进行特征融合，但是如本领域技术人员所能理解的，在其它一些实施方式中，所述目标心脏瓣膜掩膜可以与第二输入层、第一卷积层、第一池化层、第一密集连接块、第一过渡块、第二密集连接块、第二过渡块、第三密集连接块、第三过渡块、第四密集连接块中的任一者或者多者的输出进行特征融合。

基于同一发明构思，本发明还提供一种电子设备，请参考图10，其示意性地给出了本发明一实施方式提供的电子设备的方框结构示意图。如图10所示，所述电子设备包括处理器101和存储器103，所述存储器103上存储有计算机程序，所述计算机程序被所述处理器101执行时，实现上文所述的心脏瓣膜图像分割方法。

如图10所示，所述电子设备还包括通信接口102和通信总线104，其中所述处理器101、所述通信接口102、所述存储器103通过通信总线104完成相互间的通信。所述通信总线104可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线104可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口102用于上述电子设备与其他设备之间的通信。

本发明中所称处理器101可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器101是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。

所述存储器103可用于存储所述计算机程序，所述处理器101通过运行或执行存储在所述存储器103内的计算机程序，以及调用存储在存储器103内的数据，实现所述电子设备的各种功能。

所述存储器103可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现上文所述的心脏瓣膜图像分割方法。

本发明实施方式的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

综上所述，与现有技术相比，本发明提供的心脏瓣膜图像分割方法、电子设备和存储介质具有以下优点：本发明通过先采用目标检测模型对所获取的心动视频中的各帧心动图像进行目标心脏瓣膜感兴趣区域的提取，以获取对应的目标心脏瓣膜感兴趣区域图像；再采用瓣环分割模型对所述目标心脏瓣膜感兴趣区域图像进行分割，以获取对应的目标心脏瓣膜瓣环图像；然后将所述目标心脏瓣膜瓣环图像输入瓣膜生成模型中，以生成对应的目标心脏瓣膜掩膜；最后将所述目标心脏瓣膜掩膜和与其对应的目标心脏瓣膜感兴趣区域图像输入瓣膜分割模型中，以获取对应的目标心脏瓣膜分割图像。由于本发明中的目标心脏瓣膜掩膜是根据其所对应的目标心脏瓣膜瓣环图像采用瓣膜生成模型直接生成的，由此所述目标心脏瓣膜掩膜可以作为形状先验信息和与其对应的目标心脏瓣膜感兴趣区域图像共同输入瓣膜分割模型中，从而不仅可以提高最终分割得到的目标心脏瓣膜分割图像(例如主动脉瓣分割图像)的分割精度和连续性，而且还可以减少人为因素可能产生的差异化的问题。此外，本发明能够实现端到端的算法流程，泛用性强，从而可以更好地辅助医生提高诊断效率，减小利用超声心动图进行心脏瓣膜异常分析中因误差引起的风险。

需要说明的是，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明的保护范围。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若这些修改和变型属于本发明及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。