基于超声视频的病灶检测方法、装置、设备及存储介质

技术领域

本申请涉及病灶检测领域，尤其涉及一种基于超声视频的病灶检测方法、装置、设备及存储介质。

背景技术

在群体性癌症病灶(例如乳腺癌)筛查中，通常通过自动扫查机器人替代医生的双手实现标准高效地扫查和超声视频采集。这样，对每例病人扫查都会产生大量超声视频数据。按传统方式，医生需要逐个视频逐帧去审查，效率非常低下，不能满足群体性筛查的要求。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本申请实施例提供一种基于超声视频的病灶检测方法、装置、设备及存储介质，旨在超声视频的病灶检测中辅助医生提高阅片效率。

本申请实施例提供了一种基于超声视频的病灶检测方法，包括：

获取目标对象检测位置的超声视频；

基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；

在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；

输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。

在一些实施例中，所述目标检测算法包括：YOLO检测算法、SSD检测算法以及RetinaNet检测算法中的任一种。

在一些实施例中，在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频，包括：

通过跟踪匹配算法，基于所述疑似病灶位置处疑似病灶的形状，向前选取符合疑似病灶形状相似性阈值的超声视频组成前段视频；

通过跟踪匹配算法，基于所述疑似病灶位置处疑似病灶的形状，向后选取符合疑似病灶形状相似性阈值的超声视频组成后段视频；

将所述前段视频和所述后段视频拼接融合得到疑似病灶生衰视频。

在一些实施例中，所述跟踪匹配算法选用DeepSort算法。

在一些实施例中，所述输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息的步骤之前，还包括：

对所述疑似病灶生衰视频进行感兴趣区域裁剪得到疑似病灶所在区域图像的三维图像序列；

使用3D卷积网络模型从三维图像序列提取特征；

基于提取的特征使用分类网络进行分类，得到符合预设条件的疑似病灶生衰视频。

在一些实施例中，所述基于超声视频的病灶检测方法还包括：

若不符合预设条件，则排除所述疑似病灶生衰视频。

在一些实施例中，所述病灶特征信息包括病灶在图像中的大小信息和位置信息。

本申请还提出一种基于超声视频的病灶检测装置，包括：

获取模块，用于获取目标对象检测位置的超声视频；

记录模块，用于基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；

组成模块，用于在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；

输出模块，用于输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。

本申请还提出一种基于超声视频的病灶检测设备，所述设备包括处理器、与所述处理器电连接的存储器及存储在所述存储器上并可在所述处理器上运行的基于超声视频的病灶检测程序；所述基于超声视频的病灶检测程序被所述处理器执行时实现所述的基于超声视频的病灶检测方法的步骤。

本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的基于超声视频的病灶检测方法中的步骤。

本申请通过基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；再通过在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；最后输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。从而本申请的实施例将疑似病灶从产生到消失的时间信息和病灶特征信息告知医生，便于医生直接在超声视频中找到疑似病灶从产生到消失的时间信息和病灶特征信息，相比传统方式中医生需要在超声视频中逐帧去审查疑似病灶，本申请在超声视频的病灶检测中辅助医生提高阅片效率。

附图说明

图1为本申请的基于超声视频的病灶检测设备的一实施例的硬件框架图；

图2为本申请的基于超声视频的病灶检测方法的实施例一的流程框图；

图3为图2中步骤300的一实施例的流程框图；

图4为本申请的基于超声视频的病灶检测方法的实施例二的流程框图；

图5为本申请的基于超声视频的病灶检测方法的实施例三的流程框图；

图6为本申请的基于超声视频的病灶检测装置的一实施例的模块示意图。

具体实施方式

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

在群体性癌症病灶(例如乳腺癌)筛查中，通常通过自动扫查机器人替代医生的双手实现标准高效地扫查和超声视频采集。这样，对每例病人扫查都会产生大量超声视频数据。按传统方式，医生需要逐个视频逐帧去审查，效率非常低下，不能满足群体性筛查的要求。

因此，当前需要在超声视频的病灶检测中辅助医生提高阅片效率。鉴于此，本申请提出一种基于超声视频的病灶检测方法、装置、设备及存储介质。

请参照图1，下面介绍一种基于超声视频的病灶检测设备，该基于超声视频的病灶检测设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选包括无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中出示的基于超声视频的病灶检测设备结构并不构成对基于超声视频的病灶检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于超声视频的病灶检测程序。其中，操作系统是管理和控制基于超声视频的病灶检测设备硬件和软件资源的程序，支持基于超声视频的病灶检测程序以及其它软件或程序的运行。

在图1所示的基于超声视频的病灶检测设备中，处理器1001可以用于调用存储器1005中存储的基于超声视频的病灶检测程序，并执行如上所述的基于超声视频的病灶检测方法的步骤。

在一实施例中，处理器1001可以用于调用存储器1005中存储的基于超声视频的病灶检测程序，并执行以所述方法包括：

获取目标对象检测位置的超声视频；

基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；

在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；

输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。

在一实施例中，处理器1001可以用于调用存储器1005中存储的基于超声视频的病灶检测程序，并执行以所述方法包括：

所述目标检测算法包括：YOLO检测算法、SSD检测算法以及RetinaNet检测算法中的任一种。

在一实施例中，处理器1001可以用于调用存储器1005中存储的基于超声视频的病灶检测程序，并执行以所述方法包括：

在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频，包括：

通过跟踪匹配算法，基于所述疑似病灶位置处疑似病灶的形状，向前选取符合疑似病灶形状相似性阈值的超声视频组成前段视频；

通过跟踪匹配算法，基于所述疑似病灶位置处疑似病灶的形状，向后选取符合疑似病灶形状相似性阈值的超声视频组成后段视频；

将所述前段视频和所述后段视频拼接融合得到疑似病灶生衰视频。

在一实施例中，处理器1001可以用于调用存储器1005中存储的基于超声视频的病灶检测程序，并执行以所述方法包括：

所述跟踪匹配算法选用DeepSort算法。

在一实施例中，处理器1001可以用于调用存储器1005中存储的基于超声视频的病灶检测程序，并执行以所述方法包括：

所述输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息的步骤之前，还包括：

对所述疑似病灶生衰视频进行感兴趣区域裁剪得到疑似病灶所在区域图像的三维图像序列；使用3D卷积网络模型从三维图像序列提取特征；基于提取的特征使用分类网络进行分类，得到符合预设条件的疑似病灶生衰视频。

在一实施例中，处理器1001可以用于调用存储器1005中存储的基于超声视频的病灶检测程序，并执行以所述方法包括：

所述基于超声视频的病灶检测方法还包括：

若不符合预设条件，则排除所述疑似病灶生衰视频。

在一实施例中，处理器1001可以用于调用存储器1005中存储的基于超声视频的病灶检测程序，并执行以所述方法包括：

所述病灶特征信息包括病灶在图像中的大小信息和位置信息。

本申请的超声视频的病灶检测设备通过基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；再通过在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；最后输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。从而本申请的实施例将疑似病灶从产生到消失的时间信息和病灶特征信息告知医生，便于医生直接在超声视频中找到疑似病灶从产生到消失的时间信息和病灶特征信息，相比传统方式中医生需要在超声视频中逐帧去审查疑似病灶，本申请在超声视频的病灶检测中辅助医生提高阅片效率。

请参照图2，基于上述基于超声视频的病灶检测设备硬件架构，下面提出本申请的基于超声视频的病灶检测方法的实施例一，所述基于超声视频的病灶检测方法包括以下步骤：

S100、获取目标对象检测位置的超声视频；

具体地，在本实施例中，目标对象为具有生命的人体。检测位置可以是人体的各种可能发生病灶的身体部位，例如腹部，胸部，肝脏，咽部，心脏，肾脏等。因此，本实施例中的检测位置并不限定为人身体上的某一单独位置。

超声视频指的是通过超声对人体的内部组织进行成像检测形成的视频。并且，进一步地，这里的超声视频应该选用可以实现癌症病灶检测的超声波类型。

S200、基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；

可以理解地，由于检测位置可以是人体的各种可能发生病灶的身体部位，所以疑似病灶也可以是对用检测位置出现的病灶。本申请主要以乳腺癌病灶为例进行说明。

具体地，通过目标检测算法，将设定大小范围内的肿瘤作为检测对象，逐帧对超声视频进行检测，记录超声视频中疑似病灶位置。例如，可设定通过目标检测算法检测最大直径在20cm范围内的肿瘤。应理解，这里例举的具体数值只是为了本领域技术人员更好地理解本申请的技术方案，不应该理解为对本申请技术方案的限制。

需要说明的是，这里的疑似病灶位置通常情况下是超声视频中的单帧图像。

具体地，这里的目标检测算法可以选用YOLO(全称为You Only Look Once)检测算法、SSD(全称为Single Shot MultiBox Detector)检测算法以及RetinaNet检测算法中的任一种。例如目标检测算法可使用YOLOV4检测算法来检测所述超声视频中疑似病灶。

S300、在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；

在前一步骤中，目标检测算法仅使用了单个时刻的超声影像数据，这样会丢失很多信息，各帧的检测结果是孤立的，没有形成对病灶的整体描述，对辅助医生阅片还存在较大的弊端。在实际的操作中，人类医生需前后反复观察局部区域的超声图像连续动态变化才能进一步地分析。

因此，在本步骤中，可对疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频。疑似病灶生衰视频指的是疑似病灶从产生到衰落或消失的全过程。

通过在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频，捕获病灶从出现到消失的全过程，从而形成对病灶更全面的描述。有利于医生根据连续的多帧疑似病灶生衰视频中对病灶进行分析。得出更加准确的结果。

在一些实施例中，请参照图3，在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频，包括：

S310、通过跟踪匹配算法，基于所述疑似病灶位置处疑似病灶的形状，向前选取符合疑似病灶形状相似性阈值的超声视频组成前段视频；

S320、通过跟踪匹配算法，基于所述疑似病灶位置处疑似病灶的形状，向后选取符合疑似病灶形状相似性阈值的超声视频组成后段视频；

S330、将所述前段视频和所述后段视频拼接融合得到疑似病灶生衰视频。

由于超声视频中的病灶通常情况下不会凭空产生和消失，因此需要对病灶从产生到消失的整个过程进行提取。在一些实施例中，以所述疑似病灶位置处疑似病灶的形状为基准，在疑似病灶位置处向前跟踪每帧图像中疑似病灶的形状与疑似病灶位置处的疑似病灶的形状相似性。应理解，这里的在疑似病灶位置处向前跟踪指的是从疑似病灶位置处向超声视频的开始播放的方向跟踪疑似病灶。

当向前跟踪到的疑似病灶与疑似病灶位置处的形状相似性低于形状相似性阈值时，此时说明当前追踪到的疑似病灶与疑似病灶位置处的形状相似度低，可能是疑似病灶的开始阶段(或产生阶段)，至此不再在超声视频中向前跟踪疑似病灶。将疑似病灶的开始阶段到疑似病灶位置处的超声视频作为前段视频。例如，从疑似病灶位置处向前检测到的疑似病灶与疑似病灶位置处的形状相似性为30％，此时不再在超声视频中向前跟踪疑似病灶。应理解，这里例举的具体数值只是为了本领域技术人员更好地理解本申请的技术方案，不应该理解为对本申请技术方案的限制。

同理地，以所述疑似病灶位置处疑似病灶的形状为基准，在疑似病灶位置处向后跟踪每帧图像中疑似病灶的形状与疑似病灶位置处的疑似病灶的形状相似性。应理解，这里的在疑似病灶位置处向后跟踪指的是从疑似病灶位置处向超声视频的结束播放的方向跟踪疑似病灶。

当向后跟踪到的疑似病灶与疑似病灶位置处的形状相似性低于形状相似性阈值时，此时说明当前追踪到的疑似病灶与疑似病灶位置处的形状相似度低，可能是疑似病灶的结束阶段(或消失阶段)，至此不再在超声视频中向后跟踪疑似病灶。将疑似病灶的结束阶段到疑似病灶位置处的超声视频作为后段视频。

具体地，上述跟踪匹配算法可选用DeepSort算法。

将步骤S310得到的前段视频与步骤S320得到的后段视频拼接融合得到疑似病灶生衰视频。从而疑似病灶生衰视频可以表示病灶从出现到消失的全过程。

S400、输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。

具体地，例如疑似病灶位置处为超声视频的第5秒，第5秒向前跟踪到低于疑似病灶形状相似性阈值的时间在超声视频的第3秒，第5秒向后跟踪到低于疑似病灶形状相似性阈值的时间在超声视频的第7秒，那么前段时间为第3-5秒，后端时间为第5-7秒，疑似病灶生衰视频在超声视频中的时间信息为3-7秒。医生可以通过观察超声视频的3-7秒得到病灶从出现到消失的全过程。

另外，病灶特征信息包括病灶在图像中的大小信息和位置信息。通过位置信息可以获知疑似病灶在图像中的位置，通过大小信息可以获知疑似病灶实际的大小，

本申请通过基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；再通过在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；最后输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。从而本申请的实施例将疑似病灶从产生到消失的时间信息和病灶特征信息告知医生，便于医生直接在超声视频中找到疑似病灶从产生到消失的时间信息和病灶特征信息，相比传统方式中医生需要在超声视频中逐帧去审查疑似病灶，本申请在超声视频的病灶检测中辅助医生提高阅片效率。

基于同一发明构思，请参照图4，本申请还提出实施例二，实施例二建立在实施例一的基础之上。

实施例二

本实施例的基于超声视频的病灶检测方法包括：

S100、获取目标对象检测位置的超声视频；

S200、基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；

S300、在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；

S500、对所述疑似病灶生衰视频进行感兴趣区域裁剪得到疑似病灶所在区域图像的三维图像序列；使用3D卷积网络模型从三维图像序列提取特征；基于提取的特征使用分类网络进行分类，得到符合预设条件的疑似病灶生衰视频；

具体地，首先对疑似病灶生衰视频进行感兴趣区域裁剪，提取出疑似病灶的核心区域，排除干扰区域，降低对后续分类的难度。这样就得到疑似病灶所在区域图像的三维图像序列。对该三维图像序列，使用3D卷积网络模型从三维图像序列提取特征。具体可使用的卷积网络架构有很多，例如可使用的3D-ResNet卷积网络。最后，基于3D卷积网络模型提取的特征，使用分类网络进行更精细的分类。值得一提的是，这里的分类可以是二分类。即病灶、非病灶两个分类。在一些实施例中也可是三分类，即非病灶、良性病灶、恶性病灶。可以理解地，也可以是四个或以上的更多类别。

得到的属于病灶分类的疑似病灶生衰视频即可确认为属于预设条件，若属于非病灶分类则是正常组织或者良性病灶。属于病灶分类的疑似病灶生衰视频可输出疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。便于医生快速在超声视频找到病灶从产生到消失的时间信息和病灶特征信息，提高医生的阅片效率。

本步骤通过对疑似病灶生衰视频进行分类得到属于病灶的疑似病灶生衰视频，排除前述步骤可能误将正常组织分成疑似病灶的疑似病灶生衰视频，在超声视频的病灶检测中辅助医生提高阅片效率。由于步骤S300得到的疑似病灶生衰视频只基于单帧2D图像(即二维图像)决策，二维图像可能存在信息缺失，因此会存在一定的误判，如把正常组织判断成病灶。因此本步骤将疑似病灶生衰视频识别分类是对前面结果的进一步优化提升。

S400、输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。

上述步骤S100至步骤S400的具体实施原理及方式与对应图2的实施例中的步骤S100至步骤S400一致，具体可参见步骤S100至步骤S400的描述。

基于同一发明构思，请参照图5，本申请还提出实施例三，实施例三建立在实施例二的基础之上。

实施例三

本实施例的基于超声视频的病灶检测方法包括：

S100、获取目标对象检测位置的超声视频；

S200、基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；

S300、在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；

S500、对所述疑似病灶生衰视频进行感兴趣区域裁剪得到疑似病灶所在区域图像的三维图像序列；使用3D卷积网络模型从三维图像序列提取特征；基于提取的特征使用分类网络进行分类，得到符合预设条件的疑似病灶生衰视频；

S400、输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。

S600、若不符合预设条件，则排除所述疑似病灶生衰视频；

若不符合预设条件，属于非病灶分类则是正常组织或者良性病灶。此时疑似病灶生衰视频表示的是正常组织或者良性病灶，所以应该排除，不显示其在超声视频中的时间信息和病灶特征信息，辅助医生排除正常组织或者良性病灶，从而在超声视频的病灶检测中辅助医生提高阅片效率。

上述步骤S100至步骤S500的具体实施原理及方式与对应图4的实施例中的步骤S100至步骤S500一致，具体可参见步骤S100至步骤S500的描述。

请参照图6，本申请还提出一种基于超声视频的病灶检测装置，包括：获取模块101、记录模块102、组成模块103以及输出模块104。

获取模块101，用于获取目标对象检测位置的超声视频；

记录模块102，用于基于目标检测算法逐帧检测所述超声视频，记录所述超声视频中疑似病灶位置；

组成模块103，用于在所述疑似病灶位置处分别向前和向后选取预设长度的超声视频组成疑似病灶生衰视频；

输出模块104，用于输出所述疑似病灶生衰视频在所述超声视频中的时间信息和病灶特征信息。

其中，基于超声视频的病灶检测装置的各个功能模块实现的步骤可参照本申请基于超声视频的病灶检测方法的各个实施例，此处不再赘述。

本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的基于超声视频的病灶检测方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。