智能辅助导引方法、超声设备及存储介质

技术领域

本发明涉及超声技术领域，具体涉及一种智能辅助导引方法、超声设备及存储介质。

背景技术

超声成像因为其无创性、实时性、操作方便、价格便宜等诸多优势，使其成为临床上应用最为广泛的诊断工具之一。操作者(例如，医生)使用超声探头在对患者进行检测时，图像区域的识别和探头位置的移动都依赖于操作者的个人经验，当操作者需要对某些形状比较大的组织区域进行诊断时，需要反复对某些特定区域进行查询，而操作者可能不能及时查找到，从而影响出图诊断效率，导致诊断效果不佳。

发明内容

有鉴于此，本发明实施例之一提供了一种智能辅助导引方法，从而便于操作者查询超声探头的当前位置，以及通过引导信息快速地移动到目标查询区域。

所述智能辅助导引方法包括：获取宽景图像数据，所述宽景图像数据对应的内容包括待检测对象；至少基于所述宽景图像数据，获取提示信息，所述提示信息至少包括超声探头的当前位置信息和/或路径信息，所述路径信息用于引导所述超声探头从当前位置移动至目标区域所在的位置。

在一些实施例中，所述获取宽景图像数据，所述宽景图像数据对应的内容包括待检测对象，包括：利用超声探头获取待检测对象的第一超声数据，所述第一超声数据包括连续的超声图像序列；至少基于所述第一超声数据，获得所述待检测对象的宽景图像数据。

在一些实施例中，所述至少基于所述第一超声数据，获得所述待检测对象的宽景图像数据，包括：利用宽景拼接模型对所述第一超声数据进行处理，获得所述待检测对象的宽景图像数据。

在一些实施例中，所述至少基于所述宽景图像数据，获取提示信息，包括：利用特征识别模型对所述第一超声数据进行处理，识别出所述第一超声数据中的每帧超声图像对应的特征区域；至少基于所述特征区域，获得所述待检测对象的特征区域信息，所述特征区域信息至少包括所述特征区域与所述待检测对象的对应关系；至少基于所述待检测对象的宽景图像数据和所述待检测对象的特征区域信息，获得所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系；对所述待检测对象的宽景图像数据和所述第一超声数据中的超声图像序列与所述待检测对象的对应关系进行处理，获得对应的提示信息。

在一些实施例中，所述特征识别模型为深度学习模型，所述特征识别模型通过以下方法得到：获取训练集，所述训练集包括多个样本超声图像和标记数据，所述样本超声图像对应的内容的检测对象是相同的，所述标记数据至少包括所述样本超声图像中对应的特征区域；利用所述训练集对初始模型进行训练，得到特征识别模型。

在一些实施例中，还包括：获取查询信息，所述查询信息至少包括第二超声数据，所述第二超声数据利用超声探头对所述待检测对象检测获得，所述第二超声数据至少包括所述待检测对象的一帧超声图像时；将所述第二超声数据中的每帧超声图像与所述待检测对象的宽景图像数据进行匹配处理，获得所述第二超声数据中的每帧超声图像在所述宽景图像数据中的对应关系；基于所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系和所述第二超声数据中的每帧超声图像在所述宽景图像数据中的对应关系，获得提示信息，所述提示信息至少包括所述第二超声数据与所述待检测对象的对应关系。

在一些实施例中，还包括：当所述查询信息还包括目标特征区域时，所述提示信息还包括路径信息，所述路径信息引导超声探头从当前位置移动至目标特征区域所在的位置。

在一些实施例中，所述查询信息为宽景图像查看命令时，显示获得的所述宽景图像数据。

本发明实施例提供的方法，通过获取到的待检测对象的连续的超声图像序列得到宽景图像数据和超声图像与待检测对象的对应关系，从而实现定位的功能，并可以通过输入当前超声图像，利用宽景图像来自动定位当前超声图像帧与宽景图像的对应关系，从而确定所述当前超声图像在所述连续超声图像序列中位置，并快速定位当前超声图像对应的超声探头在所述待检测对象中的位置，从而当操作者需要到某一特定区域进行扫查时，可以通过输入查询信息，基于所述当前超声图像帧与宽景图像的对应关系，提供提示信息，快速引导超声探头移动至目标特征区域。

本发明实施例之一提供了一种超声设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例所述的智能辅助导引方法。

本发明实施例之一提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例所述的智能辅助导引方法。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例所示的智能辅助导引方法100的流程图；

图2是本发明实施例所示的宽景图像处理方法200的流程图；

图3是本发明实施例所示的对应关系获取方法300的流程图；

图4是本发明实施例所示的特征识别模型训练方法400的流程图；

图5是本发明实施例所示的超声设备500的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，所述智能辅助导引方法100可以包括：

步骤110：获取宽景图书数据，所述宽景图像数据对应的内容包括待检测对象。在一些实施例中，可以利用超声探头获取待检测对象的第一超声数据，所述第一超声数据包括连续的超声图像序列；至少基于所述第一超声数据，获得所述待检测对象的宽景图像数据。

在一些实施例中，可以利用宽景拼接模型对所述第一超声数据进行处理，获得所述待检测对象的宽景图像数据。宽景图像数据是利用超声探头在同一平面内移动采集的多个二维切面图像，通过处理形成一幅大视野、高分辨率的宽景图像，从而方便医生诊断。

所述宽景拼接模型可以包括：图像配准模块，图像融合模块及图像边缘优化模块。所述图像配准模块用于图像配准处理，包括获取角点、角点位移和变换矩阵，所述图像融合模块用于图像融合处理，包括对由所述图像配准模块获得的变换矩阵与预设的位移阈值进行比较，通过比较结果判断是否将该图像进行图像融合处理，所述图像边缘优化模块用于图像边缘优化处理，包括对得到的整幅宽景图像进行边缘优化。所述宽景拼接模型的内容可以参见图2的相关描述，在此不再赘述。

在一些实施例中，可以通过超声设备(例如，彩色超声设备、黑白超声设备、掌上超声设备等)、数据库(例如，PACS系统)等方式获取到第一超声数据，所述超声数据应当是操作者(例如，医生)在连续的时间段内对待检测对象的连续扫查获得的。例如，可以利用彩色超声设备对病患的肺部进行连续扫查，获得该病患肺部的超声数据。所述扫查的方式可以包括但不限于机械扇扫查、相控扇扫查、线阵式线性扫查、凸阵式扇形扫查、环形阵扇形扫查等。例如，可以在乳腺皮肤表面涂以耦合剂，利用超声探头直接接触皮肤表面对乳腺进行连续的S型条扫，获得乳腺的超声数据。在实际的应用中，可以根据扫查的探头类型、待扫查的病患区域或组织选择相应的扫查方式，本发明实施例在此不做具体限定。在一些实施例中，所述待检测对象可以包括：待测器官或待测组织等。所述待测器官可以包括但不限于脑部、肺部、心脏、肾脏、肝脏等。所述待测组织可以包括但不限于上皮组织、结缔组织、神经组织、肌肉组织等。在一些实施例中，可以根据待检测对象的不同类型采用不同的探头，例如，对肝脏或孕妇进行检测时，可以采用凸阵探头，在对心脏进行检测时，可以采用相控阵探头等。

步骤120：至少基于所述宽景图像数据，获取提示信息，所述提示信息至少包括超声探头的当前位置信息和/或路径信息，所述路径信息用于引导所述超声探头从当前位置移动至目标区域所在的位置。

在一些实施例中，可以通过人工标记(例如，医生手工标记)或者预设的模型的方法识别出第一超声数据中的特征区域。在一些实施例中，可以利用特征识别模型对所述第一超声数据进行处理，获得所述第一超声图像中的每帧超声图像对应的特征区域，从而通过所述特征区域信息来得到所述第一超声数据中的超声图像序列与所述待检测对象的对应关系。在一些实施例中，所述对应关系可以包括表示所述超声探头获取到对应的超声图像时在所述待检测对象上的三维空间位置信息。所述对应关系的相关内容可以参考图3-4的具体描述，在此不再赘述。

在一些实施例中，还可以通过人工标记(例如，医生手工标记)的方法标记出超声图像中的特征区域，并在宽景图像中进行显示。

在一些实施例中，可以获取查询信息，所述查询信息可以包括第二超声数据，所述第二超声数据可以通过超声探头扫查获得，当所述第二超声数据至少包括所述待检测对象的一帧超声图像时，可以将所述第二超声数据中的每帧超声图像与所述待检测对象的宽景图像进行匹配处理，获得所述第二超声数据中的每帧超声图像在所述宽景图像中的对应关系；可以基于所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系和所述第二超声数据中的每帧超声图像在所述宽景图像中的对应关系，获得提示信息，所述提示信息至少包括所述第二超声数据与所述待检测对象的对应关系。

在一些实施例中，所述查询信息可以是输入的一帧超声图像，通过与宽景图像进行比较匹配，获得所述超声图像在所述宽景图像中的位置信息。例如，当超声设备通过获取待检测对象的第一超声数据已经获得宽景图像后，操作者(例如，医生)利用超声探头对所述待检测对象再次进行扫查，获得若干帧新的超声图像，将所述新的超声图像作为查询信息，则超声设备可以返回显示当前超声图像在所述宽景图像中的位置，所述位置可以利用坐标信息(例如，笛卡尔坐标系)进行显示。

在一些实施例中，当所述查询信息还包括目标特征区域时，所述提示信息还可以包括路径信息，所述路径信息引导超声探头从当前位置移动至目标特征区域。例如，当操作者想要再次扫查待检测对象的某一特定区域时，可以在宽景图像上再次输入查询信息，所述查询信息可以是目标特征区域，超声设备基于所述目标特征区域以及当前超声图像，输出路径信息，从而引导超声探头移动至目标区域所在位置。在一些实施例中，所述路径信息中探头的移动可以通过以下方法获得：将当前超声图像和宽景图像分别输入图像配准模块，计算对应的仿射变换矩阵，仿射变换矩阵中包含x和y的平移量(例如，可以以像素为单位)，再将以像素为单位的平移量乘于宽景图像的分辨率即可以获得超声探头对应的实际平移量，从而移动至目标区域。例如，当操作者对病患的乳腺进行扫查时，通过连续的扫查，获得所述病患乳腺的宽景图像，操作者再次对所述病患的乳腺的某区域进行扫查，将所述区域对应的当前超声图像作为输入的查询信息，超声设备通过所述乳腺的宽景图像和当前超声图像，获得所述当前超声图像对应的区域在所述宽景图像中的位置信息，并进行显示，当操作者需要在之前通过特征识别模型识别出的特征区域再次进行扫查诊断时，可以在显示的宽景图像上选择需要的目标特征区域所在的图像作为查询信息，然后超声设备通过所述当前超声图像和宽景图像，获得引导超声探头移动至目标区域所在位置的路径信息。

在一些实施例中，所述查询信息还可以是全景图像查看命令，通过输入所述全景图像查看命令，从而显示获得的全景图像，便于操作者快速排查是否存在漏检区域，从而对漏检区域进行快速定位。

如图2所示，宽景图像处理方法200可以包括：

步骤210：对获取到的连续超声图像序列进行图像配准处理。

所述步骤210具体包括获取角点检测、角点位移计算和变换矩阵。在一些实施例中，可以使用角点检测算法(例如，Shi-Tomasi算法)对当前超声图像和宽景图像进行处理，获取多对角点，所述宽景图像在操作者利用超声探头对待检测对象检测的时候不断创建，并基于观测向量正交性的FindCornerSubPix算法进行角点物理位置的确定。在一些实施例中，可以将角点位置精确到亚像素级别，且角点数不少于4对。在一些实施例中，可以使用RANSAC算法，再从所述获得的多对角点中选取最能代表当前超声图像与所述宽景图像之间真实位移和角度变化的3对角点，以所述者3对角点作为输入参数，获得当前超声图像对应宽景图的仿射变换矩阵。

在一些实施例中，所述仿射变换矩阵可以为

其中x、y分别代表全景图像任意一点的横坐标与纵坐标，x'、y'分别代表当前超声图像相对应点的横坐标与纵坐标，m

步骤220：对获取到的连续超声图像序列进行图像融合处理。

在一些实施例中，对图像配准模块获得的变换矩阵M

m

则进行一次图像融合处理；否则，则选取顺序向下的一帧图像，将该帧超声图像与所述宽景图像作为一对，发送到所述图像配准模块，得到(d+2)帧图像与(d+1)帧图像的仿射变换矩阵M

步骤230：对获取到的宽景图像进行图像边缘优化处理。

在一些实施例中，可以对宽景图像进行拼接、缝合处理，并对缝合的边界进行平滑处理，让缝合边界区域自然过渡，并消除宽景图像边缘因旋转、位移造成的锯齿。

如图3所示，通过对应关系获取方法可以获得所述第一超声图像数据中的超声图像序列与所述待检测对象的对应关系，所述方法300可以包括：

步骤310：可以利用特征识别模型对所述第一超声图像数据进行处理，识别出所述第一超声图像中的每帧超声图像对应的特征区域。

在一些实施例中，所述特征识别模型可以是事先已经训练好的深度学习模型。所述特征识别模型的输入数据为超声图像，输出数据为所述超声图像的特征区域信息。在一些实施例中，当超声设备获取到超声图像的特征区域后，可以利用标识符、矩形框、圆形标记等方式，将所述特征区域识别出来。在一些实施例中，所述特征识别模型可以采用FasterRCNN模型，还可以是RetinaNet、SSD、YOLO、Cascade RCNN、CornerNet、CenterNet、ExtremeNet、RepPoints等等。所述特征识别模型的内容可以参见图4的相关描述，在此不再赘述。

在一些实施例中，所述特征区域信息可以包括超声图像中的特征区域以及所述特征区域在所述超声图像的位置信息，所述特征区域的位置信息可以利用坐标信息(例如，笛卡尔坐标)进行表示，即所述位置信息可以表示所述特征区域在所述超声图像中的位置。在一些实施例中，可以将识别出的特征区域在所述宽景图像中进行标记，即所述宽景图像中可以显示所述特征区域。在一些实施例中，所述宽景图像数据可以包括所述特征区域信息。

步骤320：可以至少基于所述特征区域，获得所述待检测对象的特征区域信息，所述特征区域信息至少包括所述特征区域与所述待检测对象的对应关系。

在一些实施例中，可以通过所述特征区域信息(例如，包括所述特征区域在所述超声图像中的位置信息)来获得所述特征区域与所述待检测对象的对应的关系，所述对应关系可以表示所述特征区域与所述待检测对象上的位置信息。

步骤330：至少基于所述待检测对象的宽景图像数据和所述待检测对象的特征区域信息，获得所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系在一些实施例中，在利用宽景拼接模型生成宽景图像时，可以根据输入的第一超声数据建立输入的每帧超声图像与宽景图像之间的对应关系，然后获得当前超声图像与宽景图像之间的变换矩阵以及移动关系，同时，通过手工识别或者利用预设的模型进行特征区域的检测，基于所述特征信息，获取宽景图像与所述待检测对象之间的对应关系。

例如，当操作者(例如，医生)指定当前超声图像的特定区域(例如，乳腺实体区域)为特征区域，则可以根据所述操作者输入的当前超声图像建立输入超声图像帧与宽景图像之间的对应关系；利用图像配准模块，先计算获得当前输入超声图像与宽景图像的变换矩阵及对应移动关系，然后把操作者输入的特征区域标注到宽景图像上，并建立宽景图像与三维乳腺实体之间的对应关系。

又例如，当使用自动模式时(例如，利用特征识别模型对输入超声图像进行处理)，对所述当前超声图进行特征区域的检测，(例如，乳头、乳腺左边缘、乳腺右边缘等)，并输出特征区域信息，基于所述特征区域信息，利用图像配准模块，获得当前超声图像与所述宽景图像的变换矩阵及对应移动关系，然后把所述特征区域标记到宽景图像上，从而建立宽景图像与三维乳腺实体之间的对应关系。

步骤340：对所述待检测对象的宽景图像数据和所述第一超声数据中的超声图像序列与所述待检测对象的对应关系进行处理，获得对应的提示信息。

在一些实施例中，所述移动关系可以通过以下方法获得：将当前超声图像和宽景图像分别输入图像配准模块，计算对应的仿射变换矩阵，仿射变换矩阵中包含x和y的平移量(以像素为单位)，再将以像素为单位的平移量乘于超声图像的分辨率即可以获得超声探头对应的实际平移量，从而移动至目标区域。

如图4所示，所述特征识别模型训练方法400包括：

步骤410：获取训练集，所述训练集包括多个样本超声图像和标记数据，所述样本超声图像对应的内容的检测对象是相同的，所述标记数据至少包括所述样本超声图像的特征区域。

在一些实施例中，所述样本超声图像中对应的内容的检测对象可以包括：器官或组织等。所述器官可以包括但不限于脑部、肺部、心脏、肾脏、肝脏等。所述组织可以包括但不限于上皮组织、结缔组织、神经组织、肌肉组织等。

在一些实施例中，所述特征区域信息可以包括所述特征区域的位置信息，所述位置信息可以通过坐标信息(例如，笛卡尔坐标)来表示该特征区域在所述样本超声图像中的具体位置。在一些实施例中，可以通过利用标记符标记出所述样本超声图像中的特征区域。所述标记符可以是圆形符号、正方形符号、矩形符号等，本实施例对于标记符不做具体形式的限定，只要能够标记出特征区域即可。

在一些实施例中，所述特征区域可以是检测对象中需要判断的病灶、关键点区域等。例如，当所述检测对象为乳腺时，所述特征区域可以包括但不限于乳头、乳腺左边缘、乳腺右边缘、乳腺上边缘、乳腺下边缘等。如上所述，乳腺边缘中不包含腺体，且有明显肋骨等特征，上下左右边缘的不同根据肋骨形态、脂肪形态的不同加于区分；乳头的特征择包含明显的声影特征，不同于其他非乳头部位。在一些实施例中，可以通过人工标记(例如，医生标记)或者预设的识别算法对样本超声图像进行处理，标记出特征区域。在一些实施例中，可以通过采集不同年龄段、不同体重范围的人群，分别收集乳腺上边缘、下边缘、左边缘、右边缘及正常乳腺腺体的超声图像作为样本超声图像，并在所述样本超声图像中标注出乳头、乳腺上边缘、乳腺下边缘、乳腺左边缘和乳腺右边缘等特征区域以及对应的位置信息作为标记数据。

步骤420：利用所述训练集对初始模型进行训练，得到特征识别模型。

在一些实施例中，所述初始模型可以具有多个初始模型参数，例如，学习率，超参数等。所述初始模型参数可以是默认值，也可以根据实际应用情况进行调整修改。当满足某一预设条件时，例如，训练样本数达到预定的数量，模型的检测正确率大于某一预定准确率阈值，或损失函数(Loss Function)的值小于某一预设值，训练过程停止，训练完成后获取到特征识别模型。

如图5所示，图5是本发明实施例提供的一种超声设备的结构示意图，如该超声设备500可以包括：至少一个处理器510，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口530，存储器540，至少一个通信总线520。其中，通信总线520用于实现这些组件之间的连接通信。其中，通信接口520可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口530还可以包括标准的有线接口、无线接口。存储540可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

其中，通信总线520可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线520可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类别的总线。

其中，存储器540可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器840还可以包括上述种类的存储器的组合。

其中，处理器510可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器510还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器540还用于存储程序指令。处理器510可以调用程序指令，实现如本申请图1-4实施例中所示的智能辅助导引方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的智能辅助导引方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。