超声扫查引导方法、装置、系统、计算机设备和存储介质

技术领域

本申请涉及超声成像技术领域，特别是涉及一种超声扫查引导方法、装置、系统、计算机设备、存储介质及程序产品。

背景技术

医学超声成像是新阶段最广泛使用的非侵入性医学成像手段之一，一般用于人体器官的非侵入性筛查和疾病诊断，例如甲状腺结节扫查。医学超声成像对超声操作医师的操作水平和训练时长有较高的要求。

超声操作医师需要经过较长时间的培训和实际操作才能熟练地将超声探头放置在受试者身体上的目标位置，从而获得可用于筛查和诊断应用的优质超声图像。

然而，超声操作医师可能没有机会或条件接受足够长时间的实践培训。因此，需要一种能够辅助超声操作医师执行超声扫查操作的引导方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够辅助和引导超声操作医师执行超声扫查操作的引导方法与系统。

一种超声扫查引导方法，其特征在于，所述方法包括：

显示超声扫查的真实场景图像，所述真实场景图像基于采集的若干帧扫查实景图像进行图像处理得到，所述扫查实景图像基于对扫查对象的感兴趣部位进行超声扫查的场景进行图像采集得到，所述扫查实景图像中包括感兴趣部位的实景图像和超声探头的实景图像；

对所述扫查实景图像中的扫查对象进行姿态检测，确定所述扫查对象的对象姿态数据；

根据所述扫查实景图像中超声探头的实景图像，获取所述超声探头的探头姿态数据；

根据所述对象姿态数据和所述探头姿态数据，生成并在所述真实场景图像中叠加显示所述超声探头的引导信息，所述引导信息包括引导操作者将所述超声探头移动至所述感兴趣部位中的目标扫描位置的增强现实指示图标、探头需要移动的偏移量、所述超声探头移动后的反馈信息、扫查流程提示信息中的至少一个。

在其中一个实施例中，所述根据所述扫查实景图像中超声探头的实景图像，获取所述超声探头的探头姿态数据，包括：

根据若干帧扫查实景图像对所述超声探头进行目标追踪，确定所述超声探头的空间位置数据；

根据所述空间位置数据，确定所述探头姿态数据。

在其中一个实施例中，所述根据所述扫查实景图像中超声探头的实景图像，获取所述超声探头的探头姿态数据，还包括：

根据若干帧扫查实景图像对所述超声探头进行目标追踪，确定所述超声探头的空间位置数据；

对所述超声探头采集的超声图像进行图像处理和推断，得到所述超声探头的当前扫描位置；

根据所述空间位置数据和/或所述当前扫描位置，确定所述超声探头的探头姿态数据。

在其中一个实施例中，所述方法包括：

在所述真实场景图像的显示界面中，显示增强现实视图，所述增强显示视图基于所述对象姿态数据和所述探头姿态数据进行渲染而得到。

在其中一个实施例中，所述根据所述对象姿态数据和所述探头姿态数据，生成所述超声探头的引导信息，包括：

基于人体解剖结构数据对所述对象姿态数据进行目标检测，确定所述感兴趣部位中的目标扫描位置；

根据所述当前扫描位置和所述目标扫描位置确定所述超声探头扫描的当前部位与所述感兴趣部位的位置关系；

根据所述当前扫描区域与所述感兴趣部位的位置关系，生成所述超声探头的引导信息。

在其中一个实施例中，所述引导信息包括所述超声探头需要移动的偏移量，所述偏移量根据所述当前扫描区域与所述感兴趣部位的位置关系确定，包括以图形或文字形式表征的偏移方向和偏移大小。

在其中一个实施例中，所述引导信息包括超声探头扫描位置与目标扫描位置是否重叠的反馈信息，所述反馈信息由在所述超声探头被移动后，检测所述超声探头的移动后扫描位置与所述目标扫描位置是否重叠而生成，所述反馈信息包括以图形或文字形式表征的操作者移动超声探头后是否对目标扫描位置完成超声扫查的提示信息。

在其中一个实施例中，所述检测所述超声探头的移动后扫描位置与所述目标扫描位置是否重叠，并生成反馈信息，包括：

获取所述移动后扫描位置与所述目标扫描位置之间的偏移量；

若所述偏移量位于预设的偏移阈值范围内，检测所述超声探头在所述移动后扫描位置的停留时间；

若所述停留时间大于预设的时间阈值，则生成反馈信息。

在其中一个实施例中，所述对扫查实景图像中的扫查对象进行姿态检测，确定所述扫查对象的对象姿态数据，包括：

对扫查实景图像中的扫查对象进行姿态检测，得到若干个人体特征点的位置；

根据各所述人体特征点的位置，得到所述对象姿态数据。

在其中一个实施例中，所述方法还包括：

在所述真实场景图像的显示界面中，显示扫查流程提示信息，所述扫查流程提示信息包括扫查进度显示、对已完成扫查部位的提示信息、对扫查注意事项、错误的提示信息中的至少一个。

在其中一个实施例中，所述根据所述对象姿态数据和所述探头姿态数据，生成所述超声探头的引导信息，包括：

对所述对象姿态数据和所述探头姿态数据进行校准；

根据校准后的对象姿态数据和探头姿态数据，生成所述超声探头的引导信息。

一种超声扫查引导装置，所述装置包括：

真实场景显示模块，用于显示超声扫查的真实场景图像，所述真实场景图像基于采集的若干帧扫查实景图像进行图像处理得到，所述扫查实景图像基于对扫查对象的感兴趣部位进行超声扫查的场景进行图像采集得到，所述扫查实景图像中包括感兴趣部位的实景图像和超声探头的实景图像；

对象姿态检测模块，用于对所述扫查实景图像中的扫查对象进行姿态检测，确定所述扫查对象的对象姿态数据；

探头姿态检测模块，用于根据所述扫查实景图像中超声探头的实景图像，获取所述超声探头的探头姿态数据；

引导信息处理模块，用于根据所述对象姿态数据和所述探头姿态数据，生成并在所述真实场景图像中叠加显示所述超声探头的引导信息，所述引导信息包括引导操作者将所述超声探头移动至所述感兴趣部位中的目标扫描位置的增强现实指示图标、探头需要移动的偏移量、所述超声探头移动后的反馈信息、扫查流程提示信息中的至少一个。

一种超声扫查引导系统，所述系统包括：

图像采集模块，用于对扫查对象的感兴趣部位进行超声扫查的场景进行图像采集，得到若干帧扫查实景图像，所述扫查实景图像中包括感兴趣部位的实景图像和超声探头的实景图像；

图像显示模块，用于显示超声扫查的真实场景图像，所述真实场景图像基于采集的若干帧扫查实景图像进行图像处理得到；

图像处理模块，与所述显示模块连接，用于对所述扫查实景图像中的扫查对象进行姿态检测，确定所述扫查对象的对象姿态数据；根据所述扫查实景图像中超声探头的实景图像，获取所述超声探头的探头姿态数据；根据所述对象姿态数据和所述探头姿态数据，生成并在所述真实场景图像中叠加显示所述超声探头的引导信息，所述引导信息包括引导操作者将所述超声探头移动至所述感兴趣部位中的目标扫描位置的增强现实指示图标、探头需要移动的偏移量、所述超声探头移动后的反馈信息、扫查流程提示信息中的至少一个。

在其中一个实施例中，所述系统还包括超声图像获取模块和超声图像处理模块，其中：

所述超声图像获取模块，用于获取超声探头采集的超声图像；

所述超声图像处理模块，用于对所述超声探头采集的超声图像进行图像处理和推断，得到所述超声探头的当前扫描位置。

在其中一个实施例中，所述图像处理模块，还用根据若干帧扫查实景图像对所述超声探头进行目标追踪，确定所述超声探头的空间位置数据；根据所述空间位置数据和/或所述当前扫描位置，确定所述超声探头的探头姿态数据。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述超声扫查引导方法、装置、计算机设备和存储介质及其所构成的系统，通过在对扫查对象的感兴趣部位进行超声扫查时，显示超声扫查的真实场景图像；并对扫查实景图像中的扫查对象进行姿态检测，确定扫查对象的对象姿态数据；以及获取超声探头的探头空间位置和姿态数据；从而根据对象姿态数据和探头姿态数据，生成并显示超声探头的引导信息，通过引导信息辅助操作者将超声探头移动至感兴趣部位的目标扫描位置，使得操作者高效而准确地执行超声扫查检测任务。

附图说明

图1a至图1b为一个实施例中超声扫查引导方法的应用环境图；

图2为一个实施例中超声扫查引导方法的流程示意图；

图3为一个实施例中步骤S230的流程示意图；

图4为一个实施例中步骤S240的流程示意图；

图5为一个实施例中反馈信息生成步骤的流程示意图；

图6a为一个实施例中步骤S220的流程示意图；

图6b为一个实施例中增强现实视图的示意图；

图7为另一个实施例中超声扫查引导方法的流程示意图；

图8为一个实施例中超声扫查引导装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的超声扫查引导方法，可以应用于如图1a和图1b所示的应用场景中，包括扫查对象102和操作者104。通过具有图像采集装置功能的电子设备采集超声扫查的真实场景图像。与图像采集装置连接有数据处理装置，数据处理装置可以用于对真实场景图像进行处理。图像采集装置与数据处理装置可以相互独立的模块，比如图像采集装置可以采用摄像头，数据处理装置可以采用各种个人计算机、笔记本电脑等，摄像头与各种个人计算机、笔记本电脑等连接。图像采集装置与数据处理装置可以集成在一个电子设备106，电子设备106可以但不限于是智能手机、平板电脑和便携式可穿戴设备。操作者104可以利用超声探头108对扫查对象102的感兴趣部位进行扫查。以甲状腺超声扫查检测为例，操作者104将面对扫查对象102坐在其正前方，手持电子设备106，通过电子设备106的摄像头拍摄扫查对象102的身体部位(此处为颈部)。电子设备106的屏幕上显示真实场景图像(扫查对象102颈部的超声扫查场景)。同时，操作者104将超声探头放置于颈部区域，并确保摄像头能捕捉到超声探头108。随着摄像头追踪超声探头108，超声探头108的图像也会显示在屏幕中，即可以生成探头图像和扫描投影。接着，电子设备106可以对包含颈部和探头的视频图像进行处理，同时通过定位和标定确定增强现实视图中的放置引导信息的位置(可以采用可视化引导框的形式)。最后，可以通过渲染显示扫查流程提示信息，引导操作者104完成超声图像的采集。扫查流程提示信息可以用于提醒已经完成扫查的部位和/或未完成扫查的部位。

需要说明的是，本申请的一些实施例可以采用甲状腺为例进行说明，也可以通过超声探头扫查任何感兴趣的部位。例如，可以做腹部超声，通过拍摄人体躯干以及四肢的图像，从而结合人体生理结构比例推断出一些腹部的超声感兴趣的脏器位置，如肝脏等。

在一个实施例中，如图2所示，提供了一种超声扫查引导方法，以该方法应用于图1a中的电子设备106为例进行说明，包括以下步骤：

步骤S210、显示超声扫查的真实场景图像。

其中，真实场景图像可以基于图像采集设备实时获取的实景帧图像进行图像处理得到，图像采集设备可以是RGB摄像头。扫查实景图像基于对扫查对象的感兴趣部位进行超声扫查的场景进行图像采集得到。扫查实景图像中包括感兴趣部位的图像和超声探头的图像。感兴趣部位可以是扫查对象的某个部位，并对该感兴趣部位发射超声波，以实现超声成像的目的。需要说明的是，扫查对象可以是动物，包括哺乳动物特别是人类。在一些实施例中，感兴趣部位可以是人体的颈部、腹部等部位，通过超声探头发射的超声波在人体中的传播，来取得人体组织和器官结构的超声波特征信息。具体地，通过超声探头向扫查对象的感兴趣部位发射超声波进入人体，通过超声探头接收来自人体组织结构散射或反射的回波，从而得到感兴趣部位的超声图像。在对扫查对象的感兴趣部位进行超声扫查时，为了辅助操作者将超声探头准确的放置在目标位置，通过图像采集装置可以对扫查对象进行实时的实景图像采集，可以得到至少一帧扫查实景图像。真实场景图像中包括感兴趣部位的实景图像和超声探头的实景图像。

步骤S220、对扫查实景图像中的扫查对象进行姿态检测，确定扫查对象的对象姿态数据。

其中，可以采用姿态检测算法对真实场景图像中的扫查对象进行姿态检测，在一些实施例中，姿态检测算法可以采用PoseNet姿态检测算法。以该算法举例，PoseNet利用一个23层深度卷积神经网络(CNN)模型，以常规的摄像头RGB图像为输入，并在该图像的基础上输出包括眼、鼻、耳、躯干关节等共计17个人体特征点，从而完成姿态识别。PoseNet姿态检测算法中涉及一个分类器，该分类器通过一个卷积神经网络来训练，以一系列人体姿态RGB图像和预先标定好的身体关节和特征点位置作为训练集进行训练。具体地，通过姿态检测算法对若干帧扫查实景图像中的扫查对象进行姿态检测，确定扫查对象的对象姿态数据。对象姿态数据包括扫查对象的位置和姿态。

步骤S230、根据扫查实景图像中超声探头的图像，获取超声探头的探头姿态数据。

具体地，探头姿态数据包括超声探头的位置和姿态。可以对超声探头的位置进行追踪，在一些实施例中，在超声探头的尾部附上标记点，比如标记图片。在超声探头底部贴上一个已知大小尺寸的标记图片，通过分析对比实际操作中采集的探头尾部的图片的大小、朝向，进行图像处理(可以理解为近大远小的透视原理)判断追踪超声探头相对于相机的空间位置。需要说明的是，本实施例中仅仅是示例性的说明超声探头的一种追踪手段，并不对超声探头的追踪方法进行具体限定。

步骤S240、根据对象姿态数据和探头姿态数据，生成并在真实场景图像中叠加显示超声探头的引导信息。

其中，引导信息包括引导操作者将超声探头移动至感兴趣部位中的目标扫描位置的增强现实指示图标、探头需要移动的偏移量、超声探头移动后的反馈信息、扫查流程提示信息中的至少一个。具体地，根据对象姿态数据和探头姿态数据，确定超声探头的目标扫描位置；从而根据建议扫描区域生成超声探头的引导信息，并在真实场景图像的显示界面中展示引导信息。若确定的目标扫描位置与超声探头的当前位置具有一定的距离，为了生成高质量的超声图像，通过引导信息可以指示操作者水平移动或者上下移动超声探头至目标扫描位置。通过引导信息也可以调整超声探头的放置姿态。

上述超声扫查引导方法中，通过显示超声扫查的真实场景图像；并对扫查实景图像中的扫查对象进行姿态检测，确定扫查对象的对象姿态数据；以及获取超声探头的探头姿态数据；从而根据对象姿态数据和探头姿态数据，以增强现实的方式生成并在实景图像上叠加显示超声探头的引导信息，通过引导信息辅助操作者将超声探头移动至感兴趣部位的目标扫描位置，使得操作者高效而准确地执行超声扫查检测任务。

在一个实施例中，根据扫查实景图像中超声探头的实景图像，获取超声探头的探头姿态数据，包括：根据若干帧扫查实景图像对超声探头进行目标追踪，确定超声探头的空间位置数据；根据空间位置数据，确定探头姿态数据。

具体地，通过图像采集设备对超声扫查的场景进行图像采集，得到若干帧扫查实景图像，每帧扫查实景图像均包括超声探头。通过采集得到的系列帧扫查实景图像对超声探头进行目标追踪，从而确定超声探头的空间位置数据，进而根据空间位置数据，确定超声探头的位置数据和方位数据。

在一个实施例中，如图3所示，在步骤S230中，根据扫查实景图像中超声探头的图像，获取超声探头的探头姿态数据，包括：

步骤S310、根据若干帧扫查实景图像对超声探头进行目标追踪，确定超声探头的空间位置数据。

具体地，通过图像采集设备对超声扫查的场景进行图像采集，得到若干帧扫查实景图像，每帧扫查实景图像均包括超声探头。通过采集得到的系列帧扫查实景图像对超声探头进行目标追踪，从而确定超声探头的空间位置。

步骤S320、对超声探头采集的超声图像进行图像处理和推断，得到超声探头的当前扫描位置。

具体地，如前文，通过超声探头向扫查对象的感兴趣部位发射超声波进入人体，通过超声探头接收来自人体组织结构散射或反射的回波，与超声探头连接得有回波处理模块，通过回波处理模块对回波进行信号分析，得到超声图像。回波处理模块可以与电子设备通信连接，可以是有线形式，也可以是无线形式。电子设备接收到超声图像，对超声图像进行图像分割和特征识别，确定超声探头的当前扫描位置，示例性地，通过对超声图像进行图像处理和推断，可以得到超声图像对应人体的什么部位或者什么器官等。

步骤S330、根据空间位置数据和/或当前扫描位置，确定探头姿态数据。

具体地，探头姿态数据包括超声探头的空间位置和姿态，通过对超声探头进行追踪，确定超声探头的控件位置数据，通过对超声图像进行图像后处理和图像识别，确定超声探头的当前扫描位置，从而可以根据空间位置数据和当前扫描位置，确定探头姿态数据。通过当前扫描位置对超声抬头的空间位置数据进行修正，得到更加准确的抬头姿态数据。或者通过对超声图像进行图像后处理和图像识别，确定超声探头的当前扫描位置，利用超声探头的当前扫描位置确定探头姿态数据。

本实施例中，通过根据若干帧扫查实景图像对超声探头进行目标追踪，确定超声探头的空间位置数据；并对获取的超声图像进行图像分割处理，得到超声探头的当前扫描位置；从而根据空间位置数据和当前扫描位置，确定探头姿态数据，利用超声图像所确定的当前扫描位置可以对空间位置数据进行进一步地为修正，生成引导信息提供准确的数据基础。

在一个实施例中，如图4所示，在步骤S240中，根据对象姿态数据和探头姿态数据，生成超声探头的引导信息，包括：

步骤S410、基于人体解剖结构数据对对象姿态数据进行目标检测，确定感兴趣部位中的目标扫描位置。

具体地，人体解剖结构数据可以理解为人体解剖模型。对象姿态数据可以表征扫查对象的各特征点的位置，将对象姿态数据与人体解剖结构数据进行对应，从而可以确定超声探头的目标扫描位置。

步骤S420、根据当前扫描位置和目标扫描位置确定超声探头扫描的当前部位与感兴趣部位的位置关系。

具体地，当前扫描位置为超声探头扫查的当前部位的位置。目标扫描位置是操作者期望扫查的感兴趣部位的位置。将当前扫描位置与目标扫描位置进行比较，可以确定超声探头扫描的当前部位与感兴趣部位的位置关系。

步骤S430、根据当前扫描区域与感兴趣部位的位置关系，生成超声探头的引导信息。

具体地，由当前扫描区域与感兴趣部位的位置关系可以确定超声探头扫查的当前部位与目标扫描位置的偏离关系，从而可以确定引导操作者如何移动或者调整超声探头的引导信息。

在一些实施例中，引导信息包括超声探头需要移动的偏移量，偏移量根据当前扫描区域与感兴趣部位的位置关系确定，并以图形或文字形式表征的偏移方向和偏移大小。如前文，超声探头可能还需要调整的姿态，则引导信息还可以包括超声探头需要调整的姿态信息，从而可以引导操作者调整超声探头的姿态。

本实施例中，根据对象姿态数据和探头姿态数据，生成超声探头的引导信息，确定引导信息的准确性，有利于提高超声图像的质量。

在一个实施例中，该方法还包括：引导信息包括超声探头扫描位置与目标扫描位置是否重叠的反馈信息，反馈信息由在超声探头被移动后，检测超声探头的移动后扫描位置与目标扫描位置是否重叠而生成。反馈信息包括以图形或文字形式表征的操作者移动超声探头后是否对目标扫描位置完成超声扫查的提示信息。

其中，反馈信息包括提醒操作者移动后的超声探头是否完成超声扫查的提示信息。具体地，在一些实施中，提供基于增强现实的反馈功能。操作者在扫描过程中需要知道超声探头的当前位置是否与目标扫查区域(ROI)重合，是否与扫查的引导信息相互吻合，以便操作者知道当前获取的超声图像是否有效。具体地，在超声探头被移动后，可以检测超声探头的移动后扫描位置与目标扫描位置是否重叠，并根据是否重叠的检测结果生成反馈信息。将反馈信心呈现给操作者。通过反馈信息，操作者可以了解超声图像的扫描进度和质量。

在一个实施例中，如图5所示，检测超声探头的移动后扫描位置与目标扫描位置是否重叠，并生成反馈信息，包括：

步骤S510、获取移动后扫描位置与目标扫描位置之间的偏移量。

步骤S520、若偏移量位于预设的偏移阈值范围内，检测超声探头在移动后扫描位置的停留时间。

步骤S530、若停留时间大于预设的时间阈值，则生成反馈信息。或者当探头当前扫描区域与目标扫差区域重合，且超声探头获取到的超声图像经过后处理后，包含扫查目标区域的所需特征，则生成反馈信息。

具体地，将移动后扫描位置与目标扫描位置进行比较，确定两者之间的偏移量。将偏移量与预设的偏移阈值范围进行比较，若偏移量位于预设的偏移阈值范围内，说明超声探头处于感兴趣部位的目标扫描位置，进而检测超声探头在移动后扫描位置是否停留，若停留一段时间，且停留时间大于预设的时间阈值，表明已经完成对该感兴趣部位的超声扫查，向操作者呈现反馈信息。

在一个实施例中，如图6a所示，在步骤S220中，对扫查实景图像中的扫查对象进行姿态检测，确定扫查对象的对象姿态数据，包括：

步骤S610、对扫查实景图像中的扫查对象进行姿态检测，得到若干个人体特征点的位置。

步骤S620、根据各人体特征点的位置，得到对象姿态数据。

具体地，通过姿态检测算法对扫查实景图像中的扫查对象进行姿态检测，得到若干个人体特征点。根据各人体特征点的位置，按照预设顺序连接各人体特征点，得到对象姿态数据。对象姿态数据包括扫查对象的位置和姿态。示例性地，若干帧扫查实景图像可以是一系列实景RGB帧图像，可以通过移动终端的后置摄像头获取，在每一帧扫查实景图像中，人体特征点，例如受试者的左右肩、鼻子和左右眼的位置，将通过图像分割的方式从每一帧扫查实景图像中提取出来。

在一个实施例中，该方法还包括：在真实场景图像的显示界面中，显示增强现实视图，增强显示视图基于对象姿态数据和探头姿态数据进行渲染而得到。

具体地，可以提供增强现实渲染模块。基于对象姿态数据和探头姿态数据进行渲染可以得到增强显示视图(如图6b所示)。根据获得的一系列位置和尺寸信息，指示超声探头的目标扫描区域。这些信息可以转化为可视化的扫查引导信息。渲染模块可以呈现引导和反馈，告知操作者如何移动超声探头到目标位置，从而获得所需的高质量超声图像。

在一个实施例中，该方法还包括：在真实场景图像的显示界面中，显示扫查流程提示信息，扫查流程提示信息包括扫查进度显示、对已完成扫查部位的提示信息、对扫查注意事项、错误的提示信息中的至少一个。

在真实场景图像的显示界面中，显示扫查流程提示信息。

其中，扫查流程提示信息包括提醒已经完成扫查的部位和/或未完成扫查的部位的提示信息。具体地，扫查流程提示信息主要用于指示某一位置是否已完成超声扫查，用于指示扫查进度。以甲状腺扫查为例进行说明，甲状腺的超声扫查共需要扫查5个位置，继续如图6b所示,未扫查到该位置时，该位置图标显示为一种颜色，比如红色。若该位置完成超声扫差时，该位置图标显示为一种颜色，比如绿色。还可以通过弹窗的形式呈现扫查流程提示信息，提示扫查进度。

在一个实施例中，根据对象姿态数据和探头姿态数据，生成超声探头的引导信息，包括：对对象姿态数据和探头姿态数据进行校准；根据校准后的对象姿态数据和探头姿态数据，生成超声探头的引导信息。

具体地，对象姿态数据和探头姿态数据可能存在一些漂移或者偏差，利用校准后的对象姿态数据和探头姿态数据，生成超声探头的引导信息。进一步地，在一些实施例中，还可以提供校准模块来调整姿态数据的输出。校准模块将辅助设置标准定位，包括相机的原始深度和位置。校准模块还可以使用放置在扫查环境中的标记物或预设的滤波器调整定位过程和增强现实渲染过程中积累的漂移或偏差。

在一个实施例中，本申请提供一种超声扫查引导方法，如图7所示，方法包括以下步骤：

S702、显示超声扫查的真实场景图像。

其中，真实场景图像基于采集的若干帧扫查实景图像进行图像处理得到，扫查实景图像基于对扫查对象的感兴趣部位进行超声扫查的场景进行图像采集得到，扫查实景图像中包括感兴趣部位的实景图像和超声探头的实景图像。

S704、对扫查实景图像中的扫查对象进行姿态检测，得到若干个人体特征点的位置。

S706、根据各人体特征点的位置，得到对象姿态数据。

S708、根据若干帧扫查实景图像对超声探头进行目标追踪，确定超声探头的空间位置数据。

S710、对获取的超声图像进行图像处理和推断，得到超声探头的当前扫描位置。

S712、根据空间位置数据和/或当前扫描位置，确定探头姿态数据。

S714、基于人体解剖结构数据对对象姿态数据进行目标检测，确定目标扫描位置。

S716、根据当前扫描位置和目标扫描位置确定超声探头扫描的当前部位与感兴趣部位的位置关系。

S718、根据当前扫描区域与感兴趣部位的位置关系，生成超声探头的引导信息。

S720、在真实场景图像的显示界面中，显示生成超声探头的引导信息。

S722、在真实场景图像的显示界面中，显示增强现实视图。

其中，增强显示视图基于对象姿态数据、超声探头的空间位置数据以及超声探头的当前扫描位置进行渲染而得到。

S724、在超声探头被移动后，获取移动后扫描位置与目标扫描位置之间的偏移量。

S726、若偏移量位于预设的偏移阈值范围内，检测超声探头在移动后扫描位置的停留时间，或对当前扫描位置获取的超声图片进行处理识别。

S728、若停留时间大于预设的时间阈值，或者当探头当前扫描区域与目标扫差区域重合，且超声探头获取到的超声图像经过后处理后，包含扫查目标区域的所需特征，则生成反馈信息。

其中，反馈信息用于提醒操作者移动后的超声探头是否完成超声扫查。

S730、在真实场景图像的显示界面中，显示扫查流程提示信息。

其中，扫查流程提示信息用于提醒已经完成扫查的部位和/或未完成扫查的部位。

应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图8所示，提供了一种超声扫查引导装置800，引导装置800包括：真实场景显示模块810、对象姿态检测模块820、探头姿态检测模块830和引导信息处理模块840，其中：

真实场景显示模块810，用于显示超声扫查的真实场景图像，所述真实场景图像基于采集的若干帧扫查实景图像进行图像处理得到，所述扫查实景图像基于对扫查对象的感兴趣部位进行超声扫查的场景进行图像采集得到，所述扫查实景图像中包括感兴趣部位的实景图像和超声探头的实景图像；

对象姿态检测模块820，用于对所述扫查实景图像中的扫查对象进行姿态检测，确定所述扫查对象的对象姿态数据；

探头姿态检测模块830，用于根据所述扫查实景图像中超声探头的实景图像，获取所述超声探头的探头姿态数据；

引导信息处理模块840，用于根据所述对象姿态数据和所述探头姿态数据，生成并在所述真实场景图像中叠加显示所述超声探头的引导信息，所述引导信息包括引导操作者将所述超声探头移动至所述感兴趣部位中的目标扫描位置的增强现实指示图标、探头需要移动的偏移量、所述超声探头移动后的反馈信息、扫查流程提示信息中的至少一个。

在一个实施例中，探头姿态检测模块830，还用于根据若干帧扫查实景图像对所述超声探头进行目标追踪，确定所述超声探头的空间位置数据；根据所述空间位置数据，确定所述探头姿态数据。

在一个实施例中，探头姿态检测模块830，还用于根据若干帧扫查实景图像对所述超声探头进行目标追踪，确定所述超声探头的空间位置数据；对所述超声探头采集的超声图像进行图像处理和推断，得到所述超声探头的当前扫描位置；根据所述空间位置数据和/或所述当前扫描位置，确定所述超声探头的探头姿态数据。

在一个实施例中，引导信息处理模块840，还用于基于人体解剖结构数据对所述对象姿态数据进行目标检测，确定所述感兴趣部位中的目标扫描位置；根据所述当前扫描位置和所述目标扫描位置确定所述超声探头扫描的当前部位与所述感兴趣部位的位置关系；根据所述当前扫描区域与所述感兴趣部位的位置关系，生成所述超声探头的引导信息。

在一个实施例中，所述引导信息包括所述超声探头需要移动的偏移量，所述偏移量根据所述当前扫描区域与所述感兴趣部位的位置关系确定，包括以图形或文字形式表征的偏移方向和偏移大小。

在一个实施例中，该装置还包括反馈信息生成模块，用于在所述超声探头被移动后，检测所述超声探头的移动后扫描位置与所述目标扫描位置是否重叠，并生成反馈信息，所述反馈信息包括当前扫查进度，当前扫查位置和提醒操作者移动后的超声探头是否完成超声扫查的提示信息。

在一个实施例中，所述引导信息包括超声探头扫描位置与目标扫描位置是否重叠的反馈信息，所述反馈信息由在所述超声探头被移动后，检测所述超声探头的移动后扫描位置与所述目标扫描位置是否重叠而生成，所述反馈信息包括以图形或文字形式表征的操作者移动超声探头后是否对目标扫描位置完成超声扫查的提示信息。

在一个实施例中，对象姿态检测模块820，用于对扫查实景图像中的扫查对象进行姿态检测，得到若干个人体特征点的位置；根据各所述人体特征点的位置，按照预设顺序连接各所述人体特征点，得到所述对象姿态数据。

在一个实施例中，该装置还包括扫查信息显示模块，用于在所述真实场景图像的显示界面中，显示扫查流程提示信息，所述扫查流程提示信息包括提醒已经完成扫查的部位和/或未完成扫查的部位的提示信息。

在一个实施例中，引导信息处理模块840，还用于对所述对象姿态数据和所述探头姿态数据进行校准；根据校准后的对象姿态数据和探头姿态数据，生成所述超声探头的引导信息。

在一个实施例中，该装置还包括增强视图显示模块，用于在所述真实场景图像的显示界面中，显示增强现实视图，所述增强显示视图基于所述对象姿态数据和所述探头姿态数据进行渲染而得到。

关于超声扫查引导装置的具体限定可以参见上文中对于超声扫查引导方法的限定，在此不再赘述。上述超声扫查引导装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，本申请提供一种超声扫查引导系统，所述系统包括：

图像采集模块，用于对扫查对象的感兴趣部位进行超声扫查的场景进行图像采集，得到若干帧扫查实景图像，所述扫查实景图像中包括感兴趣部位的实景图像和超声探头的实景图像；

图像显示模块，用于显示超声扫查的真实场景图像，所述真实场景图像基于采集的若干帧扫查实景图像进行图像处理得到；

图像处理模块，与所述显示模块连接，用于对所述扫查实景图像中的扫查对象进行姿态检测，确定所述扫查对象的对象姿态数据；根据所述扫查实景图像中超声探头的实景图像，获取所述超声探头的探头姿态数据；根据所述对象姿态数据和所述探头姿态数据，生成并在所述真实场景图像中叠加显示所述超声探头的引导信息，所述引导信息包括引导操作者将所述超声探头移动至所述感兴趣部位中的目标扫描位置的增强现实指示图标、探头需要移动的偏移量、所述超声探头移动后的反馈信息、扫查流程提示信息中的至少一个。

在一个实施例中，所述系统还包括超声图像获取模块和超声图像处理模块，其中：

所述超声图像获取模块，用于获取超声探头采集的超声图像；

所述超声图像处理模块，用于对所述超声探头采集的超声图像进行图像处理和推断，得到所述超声探头的当前扫描位置。

在一个实施例中，所述图像处理模块，还用根据若干帧扫查实景图像对所述超声探头进行目标追踪，确定所述超声探头的空间位置数据；根据所述空间位置数据和/或所述当前扫描位置，确定所述超声探头的探头姿态数据。

关于超声扫查引导系统的具体限定可以参见上文中对于超声扫查引导方法的限定，在此不再赘述。上述超声扫查引导系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种超声扫查引导方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法。

一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。