超声智能成像导航方法、装置、超声设备及存储介质

技术领域

本发明涉及超声图像处理技术领域，具体涉及一种超声智能成像导航方法、装置、超声设备及存储介质。

背景技术

超声诊断仪在临床医学中有着广泛应用，超声扫查获取的超声影像质量决定后期的诊断。然而，不同身高、体重、性别的人的器官位置、边界是有差异的，放置超声探头的位置不一定是需要扫查的部位。

目前，在实际工作中，医师操作超声探头移动至目标部位处进行扫查，而不同医师的经验积累和操作熟练程度不同，有的医师经验积累较少，并不能快速准确地操作超声探头获取到标准的超声图像。

发明内容

有鉴于此，本发明实施例提供了一种超声智能成像导航方法、装置、超声设备及存储介质，以解决现有技术无法准确获取超声图像的问题。

本发明提出的技术方案如下：

本发明实施例第一方面提供一种超声智能成像导航方法，该方法包括：通过视觉传感器获取至少包含检测对象以及超声探头的环境影像，基于待扫查目标部位，利用经训练的识别网络模型从所述环境影像中识别所述检测对象的待扫查目标部位的位置信息以及所述超声探头的初始位置信息；基于所述待扫查目标部位的位置信息及超声探头的初始位置信息确定所述超声探头对应待扫查目标部位的扫查导航路径；展示所述扫查导航路径；在探头移动过程中，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，在所述超声探头偏离所述扫查导航路径时，根据所述超声探头的实时位置更新所述扫查导航路径。

进一步地，该超声智能成像导航方法还包括：在所述超声探头引导至所述待扫查目标部位处时，获取所述超声探头扫查的所述待扫查目标部位的当前超声影像；基于获取的所述待扫查目标部位加载所述待扫查目标部位对应的三维超声模型，所述三维超声模型中至少包含一个标记有探头位置信息和探头角度信息的标准扫查切面；根据当前超声影像和/或视觉传感器采集的当前环境影像确定当前超声探头的位置信息和角度信息；根据所述当前超声探头的位置信息、角度信息与所述标准扫查切面标记的对应探头的位置信息和所述标准扫查切面标记的对应探头的角度信息，引导所述超声探头移动至所述标准扫查切面处。

进一步地，所述根据所述当前超声影像和/或视觉传感器采集的当前环境影像确定当前超声探头的位置信息和角度信息，包括：将所述当前超声影像和/或视觉传感器采集的当前环境影像与所述三维超声模型输入训练好的索引神经网络模型或CNN深度卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息；或，将所述当前超声影像和/或视觉传感器采集的当前环境影像输入训练好的全卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息。

进一步地，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像与所述三维超声模型输入训练好的索引神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：通过二维卷积神经网络提取所述当前超声图像和/或视觉传感器采集的当前环境影像中的第一特征向量；通过三维卷积神经网络提取所述三维超声模型中的第二特征向量；在维度上将所述第一特征向量与所述第二特征向量进行拼接，得到第一拼接特征向量；将所述第一拼接特征向量输入全连接层，输出当前超声探头的位置信息和角度信息。

进一步地，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像输入训练好的全卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：将当前超声图像输入全卷积神经网络进行处理，得到所述当前超声图像的特征图；对所述特征图进行全局最大池化处理，得到所述当前超声图像的第三特征向量；对所述特征图进行全局平均池化处理，得到所述当前超声图像的第四特征向量；将所述第三特征向量与所述第四特征向量进行拼接，得到第二拼接特征向量；将所述第二拼接特征向量输入全连接层，输出当前超声探头的位置信息和角度信息。

进一步地，所述将所述当前超声影像和/或视觉传感器采集的当前环境影像与三维超声模型输入训练好的CNN深度卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息，包括：获取设置在所述超声探头中的惯性测量单元采集的IMU信息；通过所述CNN深度卷积神经网络提取当前超声图像和/或视觉传感器采集的当前环境影像中的第五特征向量；通过所述CNN深度卷积神经网络提取所述三维超声模型中的第六特征向量；通过所述CNN深度卷积神经网络提取所述IMU信息中的第七特征向量；将所述第五特征向量、第六特征向量以及第七特征向量进行拼接，得到第一拼接特征向量；将所述第一拼接特征向量输入全连接层进行特征向量融合，得到当前超声探头的位置信息和角度信息。

进一步地，所述获取设置在所述超声探头中的惯性测量单元采集的IMU信息，包括：通过惯性测量单元采集所述超声探头当前时刻的第一IMU信息；获取预先测量并存储的所述超声探头当前时刻前预设时间段内的多个IMU信息；将超声探头当前时刻的第一IMU信息以及当前时刻前预设时间段内的多个IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度，将所述第二IMU信息确定为所述超声探头中的惯性测量单元采集的IMU信息。

进一步地，该超声智能成像导航方法还包括：在所述超声探头引导至所述待扫查目标部位处时，获取所述超声探头扫查的待扫查目标部位的超声影像；根据所述超声影像与预设影像数据库中的匹配影像的匹配度值确定标准影像，所述匹配影像包含若干标记信息，所述超声影像与所述标准影像的匹配度值大于第一预设匹配度值；根据所述标准影像包含的标记信息引导所述超声探头移动，将与所述标准影像匹配度值超过第二预设匹配度值的超声影像确定为目标超声影像，所述第二预设匹配度值大于等于所述第一预设匹配度值；根据所述标准影像包含的标记信息确定所述目标超声影像的诊断信息，所述诊断信息至少包括目标部位信息、病灶信息中的一种或多种。

进一步地，所述识别网络模型为基于分割不同器官轮廓以及超声探头轮廓的分割模型，或所述识别网络模型为用于识别器官以及超声探头分布区域的检测模型，所述分割模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，所述双线性插值层的通道数与待扫查目标部位以及所述探头的数量相同；所述检测模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，其中，所述双线性插值层与所述卷积层相加的输出再通过两层卷积进入所述输出层输出。

进一步地，所述利用经训练的识别网络模型从所述环境影像中识别所述检测对象的待扫查目标部位的位置信息以及所述超声探头的初始位置信息的步骤，包括：利用经训练的识别网络模型从所述环境影像中分割出所述检测对象的不同部位的分布区域以及所述超声探头的分布区域；利用经训练的识别网络模型识别不同分布区域对应的部位信息，所述部位信息至少包括部位名称或部位类别；利用经训练的识别网络模型基于待扫查目标部位及部位信息确定待扫查目标部位的分布区域；根据待扫查目标部位的分布区域及所述超声探头的分布区域确定待扫查目标部位的位置信息以及所述超声探头的初始位置信息。

进一步地，基于待扫查目标部位的位置信息及超声探头的初始位置信息确定所述超声探头对应待扫查目标部位的扫查导航路径，包括：基于待扫查目标部位的位置信息获取的所述超声探头的若干历史导航路径；根据所述超声探头的初始位置信息从所述若干历史导航路径中确定所述超声探头对应待扫查目标部位的扫查导航路径。

进一步地，所述根据所述超声探头的初始位置信息从所述若干历史导航路径中确定所述超声探头引导至待扫查目标部位的扫查导航路径，包括：根据所述超声探头的初始位置信息判断所述超声探头是否位于所述若干历史导航路径中任意一条历史导航路径上；若所述超声探头位于所述若干历史导航路径中任意一条历史导航路径上，则将对应的历史导航路径确定为扫查导航路径；若所述超声探头不在任意一条历史导航路径上，则将所述若干历史导航路径中与超声探头垂直距离最短的一条历史导航路径确定为扫查导航路径。

进一步地，若所述超声探头不在任意一条历史导航路径上，则将所述若干历史导航路径中与超声探头垂直距离最短的一条历史导航路径确定为扫查导航路径，包括：若所述超声探头不在任意一条历史导航路径上，确定超声探头与若干历史导航路径中垂直距离最短的一条历史导航路径；将所述超声探头与确定的历史导航路径之间的垂直距离以及确定的历史导航路径的垂点与确定的历史导航路径的终点之间的距离确定为扫查导航路径。

进一步地，基于待扫查目标部位的位置信息及超声探头的初始位置信息确定所述超声探头引导至待扫查目标部位的扫查导航路径，包括：基于待扫查目标部位的位置信息及超声探头的初始位置信息生成扫查导航路径。

进一步地，所述追踪神经网络模型采用卷积神经网络，所述通过训练好的追踪神经网络模型识别所述超声探头的实时位置的步骤，包括：获取超声探头的模型图像；将所述模型图像以及所述环境影像输入卷积神经网络，所述卷积神经网络输出所述模型图像对应的第一特征，所述环境影像对应的第二特征；以所述第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；将所述空间响应图输出所述卷积神经网络至线性插值层，以获取所述超声探头在所述环境影像中的实时位置。

进一步地，所述在所述超声探头偏离所述扫查导航路径时，根据所述超声探头的实时位置更新所述扫查导航路径，包括：在所述超声探头在偏离所述扫查导航路径的距离在预设距离范围内时，发出偏离提示，所述偏离提示包括视觉提示、语音提示以及触感提示中的一种或几种；在所述超声探头在偏离所述扫查导航路径的距离超出预设距离范围时，则将所述若干历史导航路径中与超声探头垂直距离最短的一条历史导航路径确定为扫查导航路径。

进一步地，所述超声影像与所述匹配影像的匹配度值或所述超声影像与所述标准影像的匹配度值通过以下方法计算，包括：通过余弦相似度算法计算超声影像与匹配影像或超声影像与标准影像的匹配度值；和/或通过训练好的匹配神经网络模型计算超声影像与匹配影像或超声影像与标准影像的匹配度值。

进一步地，所述匹配影像至少包括匹配超声影像、匹配CT影像、匹配核磁影像、匹配X射线影像中的一种或多种。

进一步地，所述引导所述超声探头移动，包括：根据机械臂导航或指示导航引导所述超声探头移动，所述机械臂导航包括采用至少一个机械臂引导所述超声探头移动，所述指示导航包括视觉引导方式、语音引导方式或力反馈引导方式中的一种或多种。

进一步地，所述视觉引导方式配置为通过图像引导、视频引导、标识引导、文字引导、投影引导中的一种或多种；所述力反馈引导方式配置为触觉引导、震动引导、牵引引导中的一种或多种。

本发明实施例第二方面提供一种超声智能成像导航装置，该装置包括：识别模块，用于通过视觉传感器获取至少包含检测对象以及超声探头的环境影像，基于待扫查目标部位，利用经训练的识别网络模型从所述环境影像中识别所述检测对象的待扫查目标部位的位置信息以及所述超声探头的初始位置信息；路径确定模块，用于基于所述待扫查目标部位的位置信息及超声探头的初始位置信息确定所述超声探头引导至待扫查目标部位的扫查导航路径；展示模块，用于展示路径；实时追踪模块，用于在探头移动过程中，通过训练好的追踪神经网络模型识别所述超声探头的实时位置，在所述超声探头偏离所述扫查导航路径时，根据所述超声探头的实时位置更新所述扫查导航路径。

本发明实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的超声智能成像导航方法。

本发明实施例第四方面提供一种超声设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如本发明实施例第一方面及第一方面任一项所述的超声智能成像导航方法。

本发明提供的技术方案，具有如下效果：

本发明实施例提供的超声智能成像导航方法、装置、超声设备及存储介质，利用训练好的识别网络模型从环境影像中识别目标部位以及超声探头，基于识别的目标部位获取对应的若干历史扫查路径，从若干历史扫查路径中确认超声探头的扫查导航路径，由此可以基于医师的操作习惯确定扫查路径，速度快且准确度高，大大提高了医师的超声扫查效率。同时通过训练好的追踪神经网络模型识别超声探头的实时位置，能够根据超声探头的实时位置判断是否需要更新引导路径，以寻找最短的引导路径。本发明实施例提供的识别网络模型可以精准简便获取目标部位的位置，同时采用追踪神经网络模型追踪超声探头的实时位置信息，自动化程度高，精确度高。

本发明实施例提供的超声智能成像导航方法、装置、超声设备及存储介质，通过索引神经网络模型、全卷积神经网络模型或CNN深度卷积神经网络模型以及加载的三维超声模型，能够快速准确地确定超声探头获取的当前超声图像的位置信息和角度信息以及标准扫查切面的位置信息和角度信息，根据当前超声图像与标准扫查切面的位置关系，引导超声探头移动至标准扫查切面处。本发明实施例提供的超声智能成像导航方法，提高了超声探头查找标准扫查切面的速度和准确度。进一步地，本发明实施例提供的超声智能成像导航方法，能够生成直观地引导路径，并且实时显示引导路径、标准扫查切面以及超声探头，提高了扫查的准确度。

本发明实施例提供的超声智能成像导航方法、装置、超声设备及存储介质，将超声探头获取的超声影像与预设影像数据库中的匹配影像进行匹配得到匹配度值后，再通过标准影像包含的标记信息引导超声探头移动进行精准定位，进而获得辅助诊断所需的目标超声影像。由此，本发明实施例能够引导医生获得目标超声影像的扫查速度、提高了医生了工作效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的超声智能成像导航方法的流程图；

图2是根据本发明实施例的追踪神经网络模型的结构示意图；

图3是根据本发明实施例的分割模型的结构示意图；

图4是根据本发明实施例检测模型的结构示意图；

图5是根据本发明另一实施例的超声智能成像导航方法的流程图；

图6是本发明实施例的索引神经网络模型的结构示意图；

图7是本发明实施例的循环神经网络模型的结构示意图；

图8是本发明实施例的在显示器上的成像引导示意图；

图9是根据本发明另一实施例的超声智能成像导航方法的流程图；

图10是根据本发明实施例的超声智能成像导航装置的结构框图；

图11是根据本发明实施例提供的计算机可读存储介质的结构示意图；

图12是根据本发明实施例提供的超声设备的结构示意图。

具体实施方式

正如背景技术所述，医护人员对患者进行超声成像扫查时，医护人员需要用手拿着探头，然后将探头放置在需要扫查的部位进行扫查成像。然而，不同身高、体重、性别、年龄人的器官或组织的位置、边界等是有差异的，且有些操作经验不足的操作者并不能快递、准确地找到待扫查目标部位，及目标部位的超声标准切面。本发明提供了一种能够引导超声探头移动至需要扫查的目标部位及目标部位的超声标准切面的超声智能成像导航方法。

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本发明实施例提供一种超声智能成像导航方法，如图1所示，该方法包括：

步骤S100：通过视觉传感器获取至少包含检测对象以及超声探头的环境影像，基于待扫查目标部位，利用经训练的识别网络模型从环境影像中识别检测对象的待扫查目标部位的位置信息以及超声探头的初始位置信息。具体地，视觉传感器可以是摄像机，例如深度摄像机等，通过摄像机拍摄至少包含检测对象以及超声探头的环境影像，环境影像可以是RGB图像也可以是RGB视频。摄像机可以选择深度摄像机。深度摄像机与传统摄像机相比拍摄的图片或视频的每个像素点具有深度信息。

对于待扫查的目标部位，可以通过超声设备或手机、iPad、电脑等电子设备上的输入单元输入待扫查目标部位信息，使得超声设备能够获取检测对象的待扫查目标部位信息；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，待扫查目标部位信息可以是目标部位的名称或者通过输入单元选择显示器上显示的目标部位图标。

本发明实施例中的“目标部位”可以包括人、动物、人的一部分或动物的一部分。例如，对象可以包括诸如肝脏、心脏、子宫、脑部、胸部、腹部等的器官或血管。另外，术语“目标部位”也可以包括人造模型。该人造模型表示具有非常接近于有机体的密度和有效原子数的体积的材料，并且可以包括具有与人体类似的情绪的球状人造模型。

在一实施例中，利用经训练的识别网络模型从环境影像中识别检测对象的待扫查目标部位的位置信息以及超声探头的初始位置信息，包括：

步骤S101：从环境影像中分割出检测对象的不同部位的分布区域以及超声探头的分布区域；具体地，若环境影像为RGB视频时，选取RGB视频中任意一帧RGB图像，可以通过识别网络模型从RGB图像中分割出检测对象的不同部位的分布区域以及超声探头的分布区域，不同的部位以及探头进行区别显示，例如，不同的部位或超声探头的分布区域采用不同颜色或者明暗度进行区别显示。

步骤S102：识别不同分布区域对应的部位信息，部位信息至少包括部位名称或部位类别；在通过识别网络模型识别不同分布区域对应的部位信息，进而可以识别不同部位的名称或类别。其中，识别网络模型可以是基于分割不同部位轮廓以及超声探头轮廓的分割模型或用于识别器官以及超声探头分布区域的检测模型。

步骤S103：基于待扫查目标部位及部位信息确定待扫查目标部位的分布区域；可以理解的是，基于获取的检测对象待扫查的目标部位信息可以定位目标部位的分布区域。

步骤S104：根据待扫查目标部位的分布区域及超声探头的分布区域确定待扫查目标部位的位置信息以及超声探头的初始位置信息。具体地，由于超声探头可能有一个或多个，在确定待扫查目标部位的分布区域后，可以根据超声探头的分布区域确定超声探头的初始位置信息。

可选地，对于超声探头的位置信息还可以通过磁传感器获取，磁传感器包括磁发射器和磁感应器，磁发射器发射形成一个强磁场，相当于建立了一个世界坐标系，通过设置在超声探头中的磁感应器就可以获取超声探头的位置信息。此外，还可以通过摄像机获取超声探头的初始位置信息。需要理解的是，此时，摄像机拍摄的视频包括了目标部位和超声探头，摄像机相当于建立了一个世界坐标系，超声探头与目标部位的位置关系可以从视频中获取。

步骤S200：基于待扫查目标部位的位置信息及超声探头的初始位置信息确定超声探头引导至待扫查目标部位的扫查导航路径。

目前，规划超声引导路径的方法大都采用获取超声探头的初始位置信息以及需要扫查器官的位置信息，再根据超声探头与需要扫查器官之间的最短距离规划扫查路径。这种规划方式规划的扫查路径正确性是无法确定的，且以两点之间最短距离作为规划依据的方式没有考虑到目标部位是在检测对象体表处时非平面的，例如乳腺。也没有考虑到医师的常规操作习惯，不同的部位适合采用同一规划原则进行路径规划。由此，在确定扫查导航路径时，可以先基于待扫查目标部位的位置信息获取超声探头的若干历史导航路径；根据超声探头的初始位置信息从所述若干历史导航路径中确定超声探头对应待扫查目标部位的扫查导航路径。

其中，该实施例中获取超声探头的扫查导航路径是基于医师使用超声探头扫查不同器官的历史导航路径集进行确定。

具体地，首先根据超声探头的初始位置信息判断超声探头是否位于若干历史导航路径中任意一条历史导航路径上；若超声探头位于若干历史导航路径中任意一条历史导航路径上，则将对应的历史导航路径确定为扫查导航路径，即如果超声探头刚好位于历史导航路径上，可以将对应的历史导航路径确定为扫查导航路径，无需根据超声探头的初始位置信息和目标部位的目标位置信息进行路径规划，大大提高了获取超声探头的扫查导航路径的速度。

若超声探头不在任意一条历史导航路径上，则将若干历史导航路径中与超声探头垂直距离最短的一条历史导航路径确定为扫查导航路径。即先将超声探头移动至最优的历史导航路径的线路上，然后沿该最优的历史导航路径移动，即扫查导航路径为超声探头与最优历史导航路径之间的垂直距离以及最优历史导航路径上的垂点与终点之间的距离。将需要理解的是，虽然该实施例也是根据超声探头与历史导航路径之间最短的垂直距离作为选择依据，但本发明仍然是根据医生操作超声探头扫查目标部位的历史导航路径确定本次超声探头的扫查导航路径。

在一实施例中，当若干历史导航路径中有多条历史导航路径是部分重合或相交的情况时，需要根据超声探头的初始位置信息与若干历史导航路径判断是否只有一条符合条件的历史导航路径。若超声探头只位于若干历史导航路径中的一条历史导航路径上时，将对应的历史导航路径确定为扫查导航路径；若超声探头同时位于所述若干历史导航路径中的多条历史导航路径上时，选取导航次数最多的历史导航路径作为扫查导航路径。

当若干历史导航路径中有多条历史导航路径是部分重合或相交的情况，且超声探头同时位于若干历史导航路径中的多条历史导航路径上时，选取导航次数最多的历史导航路径作为扫查导航路径，具体包括：若超声探头位于的多条历史导航路径中有至少两条历史导航路径为导航次数最多的历史导航路径，则根据超声探头在对应历史导航路径上剩余的扫查距离确定扫查导航路径。例如，若符合条件的历史导航路径中导航次数最多的有2条历史导航路径，则根据超声探头沿上述2条历史导航路径扫查目标部位剩余扫查距离确定扫查导航路径，例如A历史导航路径需要超声探头移动2cm，B历史导航路径需要超声探头再移动3cm，则选择A历史导航路径作为超声探头本次扫查的扫查导航路径。

步骤S300：展示扫查导航路径；具体地，当确定扫查导航路径之后，可以将该扫查导航路径进行展示，例如可以在显示器上进行展示，也可以采用投影或者传感器的方式进行展示。

步骤S400：在探头移动过程中，通过经训练的追踪神经网络模型识别超声探头的实时位置，在超声探头偏离扫查导航路径时，根据超声探头的实时位置更新扫查导航路径。具体地，在根据扫查导航路径引导超声探头移动时，由于操作的问题，超声探头可能会偏离扫查导航路径，由此可以实时追踪超声探头的实时位置。

在一实施例中，追踪神经网络模型采用卷积神经网络，通过经训练的追踪神经网络模型识别超声探头的实时位置的步骤，包括：

步骤S401：获取超声探头的模型图像；具体地，超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用；输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。

步骤S402：将模型图像以及环境影像输入卷积神经网络，卷积神经网络输出模型图像对应的第一特征，环境影像对应的第二特征；其中，卷积神经网络选择共用全卷积神经网络，该全卷积神经网络至少包括：输入层、卷积层、批量归一化层、线性整流函数层、最大池化层以及输出层。

步骤S403：以第一特征为卷积核与第二特征进行卷积，得到空间响应图；空间响应图包括第一特征在第二特征上的响应强度以及模型图像与环境影像中各个位置的相识度值，其中，响应强度值为0－1。

步骤S404：将空间响应图输出至线性插值层，以获取超声探头在环境影像中的实时位置。

如图2所示，s代表要跟踪的目标，该实施例中为超声探头，d代表摄像头拍摄的环境影像，环境影像中包含超声探头。本发明实施例通过追踪神经网络模型实时追踪环境影像中的超声探头。将模型图像和环境影像输入同一个全卷积神经网络，全卷积神经网络用于将特征映射，将原模型图像和环境影像映射到特定的特征空间。共用全卷积神经网络输出模型图像对应的第一特征，环境影像对应的第二特征。随后，模型图像得到的第一特征用作于卷积核，以第一特征为卷积核与第二特征进行卷积操作，得到空间响应图，即得到第一特征在第二特征上的响应强度以及模型图像与所述环境影像中各个位置的相识度值，响应强度值为0－1。由于是全卷积神经网络，可接受任意尺寸的图像。

需要理解的是，环境影像可以是RGB图像，也可以是RGB视频，若环境影像为RGB视频时，即对RGB视频中的每一帧RGB图像进行处理。

在制作追踪神经网络模型训练样本时，在环境影像中，超声探头周围一定范围内的点作为正样本，标记为1，其余为负样本，标记为0，并映射到追踪神经网络结构的输出上，也就是每个环境影像都有一个对应的标签，大小为目标跟踪网络结构输出的大小。损失函数采用逻辑回归损失或交叉熵损失，优化器不做限制。

共用全卷积神经网络的结构包括：卷积、BN(批量归一化)、ReLU(线性整流函数)、最大池化。在实际跟踪时，将跟追踪神经网络的输出线性插值到和环境影像一样的大小，这样跟踪网络输出的响应强度映射到环境影像，此时选取响应值最大的区域即为超声探头的位置。在摄像机为深度摄像机时，获取的是RGBD的环境影像，基于RGBD的环境影像，只需要更改输入，在网络的输出上附加深度D信息。

需要理解的是，追踪神经网络模型的训练数据为摄像机所拍摄的至少包含检测对象以及超声探头的环境影像，在该环境影像中会有一把超声探头，此时目标检测的对象是超声探头，也就是目标检测的类别数为2，超声探头和其他背景。因为实时的要求，可以简化上述器官检测的网络结构，例如减少通道数，或者去除双线性插值的模块，直接采用池化后的输出作为后续预测的输入等。在实际运用中，可以依据不同的超声探头定制各自的检测模型，或者一个检测模型可以检测多种超声探头，此时检测的类别即探头种类数量+1。

在一实施例中，当根据追踪的超声探头的实时位置，发现超声探头偏离扫查导航路径时，可以根据超声探头的实时位置更新扫查导航路径。

具体地，在超声探头在偏离扫查导航路径的距离在预设距离范围内时，发出偏离提示，偏离提示包括视觉提示、语音提示以及触感提示中的一种或几种。视觉提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成虚拟指示图标。触感提示可以是控制超声探头触感，医师可以根据超声探头触感判断是否偏离扫查导航路径，偏离的距离越大触感的频率和幅度越大。由于超声探头偏离扫查导航路径的距离比较小，无需重新规划路径，只需提示控制超声探头返回原来的扫查导航路径上继续移动即可。

在超声探头在偏离扫查导航路径的距离超出预设距离范围时，则将若干历史导航路径中与超声探头距离最短的一条历史导航路径确定为扫查导航路径。即先将超声探头移动至最优的历史导航路径的线路上，将对应的历史导航路径确定为扫查导航路径。可选地，预设距离为0.5cm。

本发明实施例提供的超声智能成像导航方法，利用训练好的识别网络模型从环境影像中识别目标部位以及超声探头，基于识别的目标部位获取对应的若干历史扫查路径，从若干历史扫查路径中确认超声探头的扫查导航路径，由此可以基于医师的操作习惯确定扫查路径，速度快且准确度高，大大提高了医师的超声扫查效率。并且通过训练好的追踪神经网络模型识别超声探头的实时位置，能够根据超声探头的实时位置判断是否需要更新引导路径，以寻找最短的引导路径。本发明实施例提供的识别网络模型可以精准简便获取目标部位的位置，同时采用追踪神经网络模型追踪超声探头的实时位置信息，自动化程度高，精确度高。

在一实施中，步骤S100中的识别网络模型为基于分割不同部位轮廓以及超声探头轮廓的分割模型或用于识别器官以及超声探头分布区域的检测模型，其中，分割模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，双线性插值层的通道数与待扫查目标部位以及探头的数量相同；检测模型包括：输入层、若干卷积层、若干池化层、若干双线性插值层以及输出层，双线性插值层与卷积层相加的输出再通过两层卷积进入输出层输出。

如图3所示，分割模型的输入是一幅三通道的RGB图像，接着是两层卷积+池化的模块，卷积核大小为3×3，步长为1，卷积的核数量以32的倍数递增，池化层的核大小为2×2，步长为2，此模块的数量与后续的双线性插值和卷积的模块相一致，可依据训练测试效果增加或减少模块的数量。在两个模块间会有两层卷积(卷积核3×3，步长1)用于连接，增强特征提取。双线性插值和卷积层输出的通道数为部位和超声探头的类别数，并在卷积后加入ReLU激活函数，用于缓解梯度消失的问题。在前面池化层后接着一层卷积层，卷积核大小为1×1，目的是和前者输出的通道数(即器官和超声探头的类别数)相同，同时也增加了非线性，增加网络的拟合能力，此部分会与前者相加作为下一次上采样的输入，起到改善网络分类的能力。在最后的双线性插值+卷积层里，在输出的通道数上做softmax，取最大值的索引，即每个像素都会对应一个类别，此时的输出为1通道，也就是最终的部位分割图像，在此图像上不同的部位区域会有不同的类别值表示。

如图4所示，检测模型的结构与分割模型类似，在卷积和池化的模块中，尺寸不断减半，图像的分辨率不断减小，有用的语义信息不断增强，在与双线性插值和卷积模块的融合后，有效增强了网络对目标的检测能力，而不同分辨率阶段的预测，有效增强了网络对小目标的检测。与分割模型不同的是，取每次双线性插值和卷积与池化后卷积相加的输出，再加上两层卷积，一层是为了回归目标矩形框(x，y，w，h)，(x，y)为目标矩形框的左上点，(w，h)为目标矩形框的宽高；另一层是为了得到目标矩形框框所对应的类别分数，类别分数最高的类别代表该目标矩形框为该类别对应的部位。

在一实施例中，分割模型(检测模型)通过如下步骤进行训练获得：采集若干包含超声探头的检测对象图像，对检测对象图像的部位和超声探头进行标注；将标注好的包含超声探头的检测对象图像输入分割神经网络(检测神经网络)进行训练，根据训练调整分割神经网络(检测神经网络)的参数，得到训练后的分割模型(检测模块)。例如检测对象为人体时，采集不同人的全身照，利用标注工具对照片进行人体的器官标注，这边采用两种标注方式，器官分割是基于全图的器官轮廓，并以一个类别数值对应一个轮廓里的所有像素，非器官轮廓的区域为类别0；器官检测是基于矩形框的，以一个矩形框包含一个器官，并标记该器官所对应的类别。

需要理解的是，识别网络模型可以通过共用全卷积神经网络，同时识别不同的部位以及超声探头，也可以通过不同的卷积神经网络分布识别检测对象的部位以及超声探头。利用训练好的识别网络模型从环境影像中识别超声探头的位置信息。

在一实施例中，如图5所示，该超声智能成像导航方法还包括：

步骤S500：在超声探头引导至待扫查目标部位处时，获取超声探头扫查的待扫查目标部位的当前超声影像；该超声影像为单帧超声图像、多帧超声图像或超声视频中的一种或多种，在获取超声影像时通过超声探头向目标部位发射和接收超声波。具体地，超声探头受发射脉冲的激励，向目标部位发射超声波，经一定延时后接收从目标区域反射回来的带有目标部位的信息的超声回波，并将此超声回波重新转换为电信号，以获得超声影像。。超声探头可以是通过有线的方式与超声主机连接，也可以是无线连接的超声探头，比如掌上超声。

需要理解的是，超声探头可以根据需要扫查的目标部位，调取扫查该目标部位的预设参数组，预设参数组包括：发射频率，深度参数、动态范围参数等。具体地，通过输入单元调节，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。也可以选择超声设备上目标部位的指示图标，选择之后超声设备自动加载目标部位对应的预设参数组。

步骤S600：基于获取的待扫查目标部位加载待扫查目标部位对应的三维超声模型，三维超声模型中至少包含一个标记有探头位置信息和探头角度信息的标准扫查切面；具体地，在加载检测对象待扫查目标部位对应的三维超声模型需要获取检测对象待扫查的目标部位信息，目标部位信息可以由步骤S100中获取的目标部位信息获取。其中，对应的三维超声模型，是根据不同年龄、性别、身高、体重等信息获取的对应的经训练的三维超声模型。切面中含有标记，标记包括有探头的位置信息、角度信息，探头种类、型号等。在加载待扫查目标部位对应的三维超声模型时，可以采用外部输入的方式，例如键盘、触摸屏、语言输入、刷卡，也可以采用摄像自动获取，或者影像读取的方式。

三维超声模型是预先存储在存储介质，根据需要扫查的目标部位加载对应器官的三维超声模型。需要理解的是，三维超声模型是预先对目标部位进行扫查重建而成。具体地，通过超声探头沿预设方向对目标部位进行超声扫描，获取目标部位的每个切面的超声图像；获取探头扫查不同切面的超声图像所对应的六自由度参数；将每个切面的超声图像以及对应的六自由度参数输入训练好的深度神经网络模型得到目标部位的三维超声模型。

三维超声模型中的每个切面的超声图像都带有位置信息和角度信息。在超声探头扫查过程中通过磁场发生器生成包含探头以及目标部位的世界坐标系；通过安装在探头上的磁定位器获取探头的六自由度参数，六自由度参数包括探头的位置参数和方向参数。在实际超声诊断过程中，往往需要观察器官不同的切面以辅助医师进行诊断，因此本发明实施例的三维超声模型中至少包含一个带有位置信息和角度信息的标准扫查切面。

步骤S700：根据当前超声影像和/或视觉传感器采集的当前环境影像确定当前超声探头的位置信息和角度信息。

步骤S800：根据当前超声探头的位置信息、角度信息与标准扫查切面标记的对应探头的位置信息和角度信息，引导超声探头运动至标准扫查切面处。具体地，位置信息和角度信息为六自由度坐标(x，y，z，ax，ay，az)，ax、ay、az为在xyz方向的角度信息。其中，超声探头的位置信息和角度信息存储的时候是对应到超声图像，相当于标记到超声图像，因此，超声探头的位置信息和角度信息也就是超声图像的位置信息和角度信息。

在一实施例中，由当前超声影像确定当前超声探头的位置信息和角度信息时，可以将当前超声影像中的一帧图像与三维超声模型输入训练好的索引神经网络模型、全卷积神经网络模型或CNN深度卷积神经网络模型进行处理，确定当前超声探头的位置信息和角度信息。

其中，索引神经网络模型至少包括：二维卷积神经网络和三维卷积神经网络。其中，二维卷积神经网络用于对输入的当前超声图像进行处理，二维卷积神经网络至少包含二维卷积层、最大池化层、平均池化层、激活函数层。三维卷积神经网络用于对输入的三维超声模型进行处理。三维卷积神经网络至少包含三维卷积层、最大池化层、平均池化层、激活函数层。在采用索引神经网络模型进行处理时，具体包括：

步骤S801：通过二维卷积神经网络提取当前超声图像和/或视觉传感器采集的当前环境影像中的第一特征向量；索引神经网络模型至少包含二维卷积神经网络和三维卷积神经网络，当前超声图像输入对应的二维卷积神经网络，通过二维卷积神经网络提取当前超声图像中的第一特征向量，其中，第一特征向量为一维特征向量。如图6所示，a代表输入的当前超声图像。

步骤S802：通过三维卷积神经网络提取三维超声模型中的第二特征向量；加载的三维超声模型输入对应的三维卷积神经网络进行处理，通过三维卷积神经网络提取三维超声模型中的第二特征向量。三维卷积神经网络至少包含三维卷积层、最大池化层、平均池化层、激活函数层，输出是在通道上进行平均或相加，从而得到一维的特征向量，即第二特征向量也是一维特征向量。其中三维卷积层的卷积核可以为3×3×3，如图6所示，b代表三维超声模型。

步骤S803：在维度上将第一特征向量与第二特征向量进行拼接，得到第一拼接特征向量。

步骤S804：将第一拼接特征向量输入全连接层，输出当前超声图像的位置信息和角度信息。全连接层的神经元与位置信息和角度信息的个数相同，优选地，全连接层的个数为6个。

全卷积神经网络模型是基于二维卷积神经网络训练，二维卷积神经网络至少包括二维卷积层、最大池化层、平均池化层、激活函数层。需要理解的是，虽然全卷积神经网络模型比索引神经网络模型少了三维卷积网络，但是全卷积神经网络模型的数据处理能力比索引神经网络模型中的二维卷积神经网络处理能力强。三维超声模型为沿某个角度扫描的多张切面图像，每张切面图像带有对应的(x，y，z，ax，ay，az)，b可看做目标部位的三维模型。在采用全卷积神经网络模型进行处理时，具体包括：

步骤S810：将当前超声图像和/或视觉传感器采集的当前环境影像输入全卷积神经网络进行处理，得到当前超声图像的特征图。

步骤S811：对特征图进行全局最大池化处理，得到当前超声图像的第三特征向量。

步骤S812：对特征图进行全局平均池化处理，得到当前超声图像的第四特征向量。

步骤S813：将第三特征向量与所述第四特征向量进行拼接，得到第二拼接特征向量。

步骤S814：将第二拼接特征向量输入全连接层，输出当前超声探头的位置信息和角度信息。

需要理解的是，全卷积神经网络模型是对目标部位进行多角度扫描，得到多角度多张切面图像，每张切面图像带有对应的(x，y，z，ax，ay，az)，网络的目的是建立一张目标部位的切面图像和对应位置的关系模型，即预测阶段，例如，对若干不同人的同一器官进行采样(例如：5000人)，每一个器官进行不同角度的扫查(例如：360个角度)，每个角度方向上可以获得200帧超声图像，那么全卷积神经网络模型的训练样本数为5000＊360＊200＝360000000；通过对庞大的样本超声图像进行训练，更新全卷积神经网络的参数，得到全卷积神经网络模型。当一张当前超声图像输入全卷积神经网络模型，可以得到当前超声探头的位置信息和角度信息(x，y，z，ax，ay，az)。训练采用回归方法，损失函数为均方误差。

在采用CNN深度卷积神经网络模型进行处理时，具体包括：

步骤S821：获取设置在超声探头中的惯性测量单元采集的IMU信息；具体地，在采用CNN深度卷积神经网络获取位置信息和角度信息时，需要首先获取IMU信息。例如，可以通过设置在超声探头中的惯性测量单元(Inertial measurement unit)采集IMU信息。惯性测量单元至少包括加速度计和陀螺仪，以多轴方式组合精密陀螺仪、加速度计，经过融合为稳定和导航应用提供可靠的位置和移动识别功能。即使在复杂的工作环境和动态或极端移动动力学条件下，精密MEMS IMU亦能提供所需的精度水平。获取IMU信息能够提高计算当前超声图像位置信息和角度信息的精度。一个惯性测量单元包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量超声探头在三维空间中的角速度和加速度，并以此解算出超声探头的姿态。

为了提高惯性测量单元采集的IMU信息的准确度，在一实施例中，获取设置在超声探头中的惯性测量单元采集的IMU信息具体包括：通过惯性测量单元采集超声探头当前时刻的第一IMU信息；获取预先测量并存储的超声探头当前时刻前预设时间段内的多个IMU信息；将超声探头当前时刻的第一IMU信息以及当前时刻前预设时间段内的多个IMU信息输入循环神经网络模型处理，得到超声探头的第二IMU信息，其中，第二IMU信息的准确度大于第一IMU信息的准确度，将第二IMU信息确定为所述超声探头中的惯性测量单元采集的IMU信息。

本发明实施例的循环神经网络模型为级联循环神经网络模型，IMU信息至少包括多轴的角速度数据和加速度数据。如图7所示，X1(t

如图7所示，本发明实施例中设置了两级RNN网络，用于分别提取陀螺仪采集数据的特征信息和加速度计采集数据的特征信息。循环神经网络结构输出的特征信息进行拼接后输入全连接网络进行特征融合，最后输出超声探头的第二IMU信息。需要理解的是，第二IMU信息为超声探头当前时刻准确度高的IMU信息。需要理解的是，陀螺仪和加速度计采集的原始数据可以直接作为输入，也可以通过嵌入向量层(embedding)再输入RNN进行处理。

步骤S822：通过CNN深度卷积神经网络提取当前超声图像和/或视觉传感器采集的当前环境影像中的第五特征向量。

步骤S823：通过CNN深度卷积神经网络提取三维超声模型中的第六特征向量。

步骤S824：通过CNN深度卷积神经网络提取IMU信息中的第七特征向量。

步骤S825：将第五特征向量、第六特征向量以及第七特征向量进行拼接，得到第一拼接特征向量。

步骤S826：将第一拼接特征向量输入全连接层进行特征向量融合，得到当前超声探头的位置信息和角度信息。全连接层的神经元与位置信息和角度信息的个数相同，优选地，全连接层的个数为6个。

本发明实施例的CNN深度卷积神经网络包括二维卷积神经网络和三维卷积神经网络。本发明实施例通过二维卷积神经提取当前超声图像中的第一特征向量，其中，二维卷积神经网络至少包含二维卷积、最大池化、平均池化、激活函数，所述第一特征向量为一维特征向量。通过三维卷积神经网络提取三维超声模型中的第二特征向量；通过三维卷积神经网络至少包含三维卷积，卷积核可以为3×3×3，最大池化、平均池化、激活函数，输出是在通道上进行平均或相加，从而得到一维的第二特征向量。

在一实施例中，当确定了当前超声图像的位置信息和角度信息(x，y，z，ax，ay，az)以及三维超声图像中预设的标准扫查切面的位置信息和角度信息(X，Y，Z，AX，AY，AZ)之后，根据二者的位置信息和角度信息，规划超声探头移动至标准扫查切面的引导路径，位置信息和角度信息为六自由度坐标。

如图8所示，显示器上显示的扫查引导区1000至少包括第一引导区1600和第二引导区1700，其中第一引导区1600至少显示当前超声探头的位置信息和角度信息、标准扫查切面对应探头的位置信息和角度信息，以及操作提示信息。本发明实施例的操作提示信息至少包括平移的距离以及选择的角度，也可以是超声探头下压的压力。第二引导区包括待检测对象1100、在检测对象1100上突出显示的目标器官1500、当前超声探头1200、引导路径1400，以及目标虚拟探头1300，需要理解的是，突出显示可以是高亮显示整个目标器官1500或目标器官1500的轮廓。当前超声探头1200根据其实时位置进行移动，目标虚拟探头1300为获得标准扫查切面对应的超声探头需要移动到的位置。

在一实施例中，医师对某一目标器官进行超声扫查时可能需要扫查多个标准扫查切面，本发明实施例会根据不同标准扫查切面的位置信息相对当前超声探头1200的距离规划引导路径1400。需要理解的是引导路径1400也进行突出显示，可以采用区别颜色、闪烁等方式进行突出显示。

在一实施例中，根据当前超声图像与标准扫查切面的位置信息和角度信息，引导超声探头移动至标准扫查切面处，包括：

步骤S831：根据位置信息和角度信息规划超声探头移动至标准扫查切面的引导路径；具体地，根据当前超声图像的位置信息和角度信息与标准扫查切面的位置信息和角度信息规划超声探头移动至标准扫查切面的引导路径。

步骤S832：获取超声探头的实时位置。

在一实施例中，可以获取摄像机拍摄的至少包含检测对象以及超声探头的环境影像，通过训练好的追踪神经网络模型识别超声探头的实时位置，具体包括：获取超声探头的模型图像；将模型图像以及所述环境影像输入共用全卷积神经网络，共用全卷积神经网络输出所述模型图像对应的第一特征，环境影像对应的第二特征；第一特征为卷积核与所述第二特征进行卷积，得到空间响应图；将空间响应图输出至线性插值层，以获取超声探头在环境影像中的实时位置。

需要理解的是，超声探头的模型图像预先设置在超声设备中，可以通过输入单元调用，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合，输入单元也可以采用语音识别输入单元，或手势识别输入单元等。需要理解的是，目标部位信息可以是目标部位的名称或者通过输入单元选择显示器上显示的目标部位图标。空间响应图包括第一特征在第二特征上的响应强度以及模型图像与环境影像中各个位置的相识度值，响应强度值为0－1。

步骤S833：根据超声探头的实时位置判断超声探头是否偏离引导路径，若是，根据实时位置更新引导路径；在超声探头偏离引导路径预设距离范围内，发出偏离提示；偏离报警提示包括指示灯、语音提示以及振动提示中的一种或几种；发出偏离纠正提示，偏离纠正提示包括在显示器上提示超声探头移动的方向和距离，需要理解的是，由于超声探头偏离引导路径的距离比较小，无需重新规划路径，只需提示控制超声探头返回原来的引导路径上继续移动即可。

在一实施例中，可以采用显示器在检测对象的表面显示超声探头移动的方向和距离，具体地，可以通过投影设备或者激光引导装置在检测对象体表处显示引导路径、以及超声探头的操作提示步骤。在超声探头偏离引导路径超出预设范围后，根据超声探头的实时位置重新规划引导路径。具体地，根据此时超声探头的实时位置与目标部位的位置从新选择最短的引导路径。其中，显示器包括VR、AR等显示设备的显示器。

步骤S834：实时显示引导路径、标准扫查切面以及超声探头。

具体地，在环境影像和/或检测对象体表突出显示引导路径、标准扫查切面以及所述超声探头。其中，引导路径、标准扫查切面以及所述超声探头可以通过不同颜色或者明暗度等方式进行区别显示。

为了进一步提示标准扫查切面的位置，在标准扫查切面对应的检测对象体表位置显示目标虚拟探头，以引导超声探头。需要理解的是，可以是在显示器中检测对象的对应的位置显示，也可以将三维的虚拟超声探头投影在实际检测对象对应的位置处。

为了进一步提高扫查的速度和准确度，还包括：在引导超声探头移动至标准扫查切面处的过程中，提供操作提示信息，操作提示信息包括：语音操作提示、视觉操作提示以及触觉操作提示中的一种或多种。视觉操作提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成虚拟指示图标。触觉操作提示为在超声探头偏离引导路径时，超声探头振动。当超声探头移动到标准扫查切面时进行振动，以提示到达目标位置，或者在扫查过程中未到达标准扫查切面处时就发现病灶，也可以发出语音提示或者振动提示。

本发明实施例提供的超声智能成像导航方法，通过索引神经网络模型、全卷积神经网络模型或CNN深度卷积神经网络模型以及加载的三维超声模型，能够快速准确地确定超声探头获取的当前超声图像的位置信息和角度信息以及标准扫查切面的位置信息和角度信息，根据当前超声图像与标准扫查切面的位置关系，引导超声探头移动至标准扫查切面处。本发明实施例提供的超声智能成像导航方法，提高了超声探头查找标准扫查切面的速度和准确度。进一步地，本发明实施例提供的超声智能成像导航方法，能够生成直观地引导路径，并且实时显示引导路径、标准扫查切面以及所述超声探头，提高了扫查的准确度。

在一实施例中，如图9所示，该超声智能成像导航方法还包括：

步骤S5000：在超声探头引导至待扫查目标部位处时，获取超声探头扫查的待扫查目标部位的超声影像；具体地，在超声探头引导至待扫查目标部位处时，通过超声探头向目标部位发射和接收超声波。超声探头受发射脉冲的激励，向目标部位发射超声波，经一定延时后接收从目标区域反射回来的带有目标部位的信息的超声回波，并将此超声回波重新转换为电信号，以获得超声图像或者视频。需要理解的是，本发明实施例的超声影像为单帧超声图像、多帧超声图像或超声视频中的一种或多种。超声探头可以是通过有线的方式与超声主机连接，也可以是掌上超声探头。

需要理解的是，超声探头可以根据需要扫查的目标部位，调取扫查该目标部位的预设参数组，预设参数组包括：发射频率，深度参数、动态范围参数等。具体地，通过输入单元调节，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。也可以选择超声设备上目标部位的指示图标，选择之后超声设备自动加载目标部位对应的预设参数值。

步骤S6000：根据超声影像与预设影像数据库中的匹配影像的匹配度值确定标准影像，匹配影像包含若干标记信息，超声影像与标准影像的匹配度值大于第一预设匹配度值。具体地，为了向医生快速提供诊断参考依据，本发明实施例通过检索查询的方式，计算待辅助诊断的超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值。标记信息至少包括匹配影像对应的导航信息、目标部位信息、病灶信息中的一种或多种。需要理解的是，导航信息为采集匹配影像时对应的位置信息与角度信息，以作为引导的依据。此外，当数据库中与超声影像匹配度值大于第一预设匹配度值的标准影像有多个时，则将计算的匹配度值最高的影像确定为标准影像；当计算得到的匹配度值均低于第一预设匹配度值时，则可以根据实际情况适当降低第一预设匹配度值的大小，从而可以在数据库中得到所需的标准影像。

位置信息与角度信息可以通过磁传感定位、视觉传感定位、惯性测量单元定位中的一种或多种方式获取匹配影像对应的位置信息与角度信息。磁传感定位可以通过磁发射器建立一个磁场即世界坐标系，再根据设置在超声探头的上的磁接收器进行定位。视觉传感定位通过至少一个摄像机建立世界坐标系，通过图像识别，获取超声探头的位置信息和角度信息。惯性测量单元至少包括加速度计和陀螺仪，以多轴方式组合精密陀螺仪、加速度计，经过融合为稳定和导航应用提供可靠的位置和移动识别功能。即使在复杂的工作环境和动态或极端移动动力学条件下，精密MEMS IMU亦能提供所需的精度水平。获取IMU信息能够提高计算当前超声图像位置信息和角度信息的精度。一个惯性测量单元包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

预设影像数据库可以为：本地影像数据库、医院同盟影像数据库、云端影像数据库中的一种或多种。本发明实施例的预设影像数据库中的匹配影像类型至少包括匹配超声影像、匹配CT影像、匹配核磁影像中的一种或多种。

在一实施例中，对于超声影像和匹配影像的匹配度值可以通过余弦相似度算法计算。其中，余弦相似度算法通过计算代表超声影像的图像特征向量与影像数据库中若干匹配影像的内积空间的夹角余弦值，从而度量超声影像与匹配影像之间的相似性。

在一实施例中，还可以采用训练好的匹配神经网络模型计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值。其中，匹配神经网络模型包括：第一神经网络、第二神经网络、筛选神经网络和匹配神经网络。第一神经网络用于识别超声影像的扫查部位，第一神经网络通过若干已标记好扫查部位类别的超声影像训练获得；本发明实施例的第一神经网络为卷积神经网络，第一神经网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的待诊断超声影像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；第一神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；第一神经网络中的卷积层用于自动提取超声影像中的特征向量。通过若干已标记好扫查部位类别的超声影像进行训练之后，将超声影像输入第一神经网络之后可以快速识别待诊断超声影像对应的扫查部位。可以理解的是，医院在将包含标记信息的匹配影像存储到本地影像数据库、医院同盟影像数据库或云端影像数据库中时，会对匹配影像进行分类存储，例如将所有“心脏”相关的匹配影像存储在一个子影像集中。影像数据库根据不同的扫查部位例如“子宫”、“脑部”、“胸部”、“腹部”等，建立对应的子影像集。本发明实施例通过第一神经网络能够快速识别出超声影像的扫查部位后能够减少检索匹配的量，提高检索匹配的速度。

为了进一步提高影像匹配的速度，本发明实施例的第二神经网络用于识别超声影像的病灶信息，第二神经网络通过若干已标记好病灶信息的超声影像训练获得；第二神经网络也为卷积神经网络。第二神经网络的训练方法具体如下：将若干已标记好病灶信息的超声影像样本输入第二神经网络中，以预测超声影像样本中的病灶区域；利用预测出的病灶区域，确定与预测出的病灶区域对应的目标病灶区域；根据超声影像样本的病灶信息，以及预测出的病灶区域，确定超声影像样本的采样权重，进而获得训练好的第二神经网络。通过第二神经网络可以快速识别超声影像的病灶区域。可以理解的是，影像数据库可以根据同一扫查部位不同病灶区域，建立对应的子影像集。本发明实施例通过第二神经网络能够快速识别出待诊断超声影像的病灶信息后能够减少检索匹配的量，提高检索匹配的速度。

在一实施例中，将与超声影像的匹配度值超过第一预设匹配度的匹配影像确定为标准影像。操作人员可以通过输入单元设置第一预设匹配值，输入单元用于输入操作人员的控制指令。输入单元可以为键盘、跟踪球、鼠标、触摸面板、手柄、拨盘、操纵杆以及脚踏开关中的至少一个。输入单元也可以输入非接触型信号，例如声音、手势、视线或脑波信号。操作人员可以设置具体的第一预设匹配值，例如95％，影像数据库中的超过95％的匹配影像会被筛选出来。需要理解的是，标准影像相当于扫查目标部位需要获得的标准界面，可以提高医生诊断的正确性，避免出现误诊。

步骤S7000：根据标准影像包含的标记信息引导超声探头移动，将与所述标准影像匹配度值超过第二预设匹配度值的超声影像确定为目标超声影像，第二预设匹配度值大于等于第一预设匹配度值。

本发明实施例的标准影像是通过计算超声影像与预设影像数据库中匹配影像的匹配度值获得的，因此，此时超声探头获得的超声影像可能是一个大概的位置，需要进行一步引导调整超声探头的位置和角度，才能获得目标超声影像。当确定好标准影像后，根据标准影像包含的标记信息引导超声探头移动，标记信息至少包括匹配影像对应的导航信息、目标部位信息、病灶信息中的一种或多种。根据采集标准影像对应的位置信息和角度信息以及当前超声探头的位置信息和角度信息规划引导路径，并引导超声探头获得目标超声影像。即提供操作提示信息引导超声探头移动获得精确的超声图像，例如，视觉操作提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成虚拟指示图标。触觉操作提示为在超声探头偏离引导路径时，超声探头振动。当超声探头移动到标准扫查切面时进行振动，以提示到达目标位置，或者在扫查过程中未到达标准扫查切面处时就发现病灶，也可以发出语音提示或者振动提示。

步骤S8000：根据标准影像包含的标记信息确定目标超声影像的诊断信息，诊断信息至少包括目标部位信息、病灶信息中的一种或多种。具体地，获得目标部位的目标超声影像后可以获得目标超声影像的诊断信息。

诊断信息至少包括目标部位信息、病灶信息中的一种或多种。在一实施例中，通过标准影像包含的标记信息推断目标超声影像的诊断信息，可以理解的是，目标超声影像与标准影像是最匹配的，也就是最接近的，因此可以通过标准影像的目标信息辅助推断出目标超声影像的诊断信息。

在一实施例中，还包括获取目标超声影像对应的扫查对象信息；根据目标超声影像对应的扫查对象信息查询扫查对象的历史诊断超声影像，历史诊断超声影像存储在影像数据库中；存在历史诊断超声影像时，根据历史诊断超声影像的诊断时间进行排列，作为确定目标超声影像诊断信息的参考依据。可以得到趋势判断或区别信息判断。

在一实施例中，还可以获取相似超声影像下扫查对象的疾病信息诊断结论、用药记录，诊疗效果等。即根据目标超声影像的诊断信息确定病灶信息；根据病灶信息在预设影像数据库中查询同类病灶对应的匹配影像；将同类病灶对应的匹配影像的标记信息作为确定目标超声影像诊断信息的参考依据

本发明实施例还通过显示器实时显示标准影像与目标超声影像；实时显示标准影像与目标超声影像的匹配度值。其中，显示标准影像时还显示对应的标记信息。显示器不限制数量。显示的超声影像、目标超声影像以及标准影像可以是显示在一个显示器上，也可以同时显示在多个显示器上，在此本实施例也不作限制。此外，显示器在显示的同时还提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给操作人员利用人机交互设备输入操作指令来控制这些被控对象，从而执行相应的控制操作。例如投影、VR眼镜，当然显示器中也可以包含输入装置，例如触摸输入的显示屏、感应动作的投影机VR眼镜。利用人机交互设备可以对显示器显示的图标进行操作，用来执行特定的功能。

本发明实施例提供的超声智能成像导航方法，将超声探头获取的超声影像与预设影像数据库中的匹配影像进行匹配得到匹配度值后，再通过标准影像包含的标记信息引导超声探头移动进行精准定位，进而获得辅助诊断所需的目标超声影像。由此，本发明实施例能够引导医生获得目标超声影像的扫查速度、提高了医生了工作效率。

在一实施例中，在步骤S400、步骤S700以及步骤S7000中引导超声探头运动时，可以采用机械臂导航或指示导航引导超声探头移动，机械臂导航包括采用至少一个机械臂引导超声探头移动，机械臂可以集成在超声探头上，以驱动超声探头在检测对象体表移动，机械臂包括电机以及带有吸附力的滚轮。

指示导航包括视觉引导方式、语音引导方式或力反馈引导方式中的一种或多种。其中，视觉引导方式配置为通过图像引导、视频引导、标识引导、文字引导、投影引导中的一种或多种；力反馈引导方式配置为触觉引导、震动引导、牵引引导中的一种或多种。

本发明实施例还提供一种超声智能成像导航装置，如图10所示，该装置包括：

识别模块10，用于通过视觉传感器获取至少包含检测对象以及超声探头的环境影像，基于待扫查目标部位，利用经训练的识别网络模型从环境影像中识别检测对象的待扫查目标部位的位置信息以及超声探头的初始位置信息；详细内容参见上述方法实施例中步骤S100的相关描述。

路径确定模块20，用于基于待扫查目标部位的位置信息及超声探头的初始位置信息确定超声探头引导至待扫查目标部位的扫查导航路径；详细内容参见上述方法实施例中步骤S200的相关描述。

展示模块30，用于展示扫查导航路径；详细内容参见上述方法实施例中步骤S300的相关描述。

实时追踪模块40，用于在探头移动过程中，通过训练好的追踪神经网络模型识别超声探头的实时位置，在超声探头偏离扫查导航路径时，根据超声探头的实时位置更新扫查导航路径。详细内容参见上述方法实施例中步骤S300的相关描述。

本发明实施例提供的超声智能成像导航装置，利用训练好的识别网络模型从环境影像中识别目标部位以及超声探头，基于识别的目标部位获取对应的若干历史扫查路径，从若干历史扫查路径中确认超声探头的扫查导航路径，由此可以基于医师的操作习惯确定扫查路径，速度快且准确度高，大大提高了医师的超声扫查效率。并且通过训练好的追踪神经网络模型识别超声探头的实时位置，能够根据超声探头的实时位置判断是否需要更新引导路径，以寻找最短的引导路径。本发明实施例提供的识别网络模型可以精准简便获取目标部位的位置，同时采用追踪神经网络模型追踪超声探头的实时位置信息，自动化程度高，精确度高。

本发明实施例提供的超声智能成像导航装置的功能描述详细参见上述实施例中超声智能成像导航方法描述。

本发明实施例还提供一种存储介质，如图11所示，其上存储有计算机程序601，该指令被处理器执行时实现上述实施例中超声智能成像导航方法的步骤。该存储介质上还存储有音视频流数据，特征帧数据、交互请求信令、加密数据以及预设数据大小等。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(RandomAccess Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本发明实施例还提供了一种电子设备，如图12所示，该电子设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图12中以通过总线连接为例。

处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的超声智能成像导航方法。

存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1－9所示实施例中的超声智能成像导航方法。

上述电子设备具体细节可以对应参阅图1至图9所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。