超声探头的速度确定方法、装置及存储介质

技术领域

本申请涉及一种超声探头的速度确定方法、装置及存储介质，属于深度学习技术领域。

背景技术

宽景成像技术是利用超声设备中的超声探头生成宽景图像的过程。通常，使用超声探头进行扫查诊断时，医疗人员可以通过不断地移动超声探头来观察人体的组织结构，以进行诊断。然而，超声探头的空间尺寸较小，医疗人员只能观察到当前超声探头所在体表处切面的图像。

为了得到整体影像，超声宽景成像成为目前常见的一种解决方案。在超声宽景成像过程中，需要得到超声探头的移动速度。传统的获取超声探头的移动速度的方式包括：在超声探头中设置速度传感器，通过速度传感器来获取超声探头的移动速度。

然而，在超声探头中增加速度传感器会更改超声探头的硬件结构，导致增加超声探头的结构复杂度、研发人员的研发成本以及后期的维护成本的问题。

发明内容

本申请提供了一种超声探头的速度确定方法、装置及存储介质，可以解决通过速度传感器来获取超声探头的移动速度时，导致的超声探头的结构复杂度增加的问题。本申请提供如下技术方案：

第一方面，提供一种超声探头的速度确定方法，所述方法包括：

获取所述超声探头采集到的多帧超声图像；

将所述多帧超声图像中的第n帧超声图像和第n+1帧超声图像输入预先训练的神经网络中，得到所述第n帧超声图像和第n+1帧超声图像之间的仿射变换矩阵；其中，所述神经网络包括第一网络分支、第二网络分支、以及与所述第一网络分支和所述第二网络分支均相连的矩阵回归层；所述第一网络分支用于提取所述第n帧超声图像中的第一预设关键点，所述第二网络分支用于提取所述第n+1帧超声图像中的第二预设关键点，所述矩阵回归层用于基于所述第一预设关键点和所述第二预设关键点回归出所述仿射变换矩阵；所述n为正整数；

基于所述仿射变换矩阵和当前帧频，确定所述超声探头相对于当前扫查部位的瞬时速度信息；

根据所述瞬时速度信息和图像分辨率，确定所述超声探头的移动速度。

可选地，所述基于所述仿射变换矩阵和当前帧频，确定所述超声探头相对于当前扫查部位的瞬时速度信息，包括：

计算所述仿射变换矩阵的平移分量与所述当前帧频的乘积，得到所述瞬时速度信息。

可选地，所述仿射变换矩阵包括旋转分量和所述平移分量；对于同一扫查部位对应的第一预设关键点和第二预设关键点，所述第一预设关键点和第二预设关键点满足下述公式：

其中，(x，y)为所述第一预设关键点的坐标，(x’，y’)为所述第二预设关键点的坐标，θ为所述超声探头的移动方向和水平方向的夹角，tx表示所述超声探头在水平向的移动距离，ty表示所述超声探头在垂直方向的移动距离。

可选地，所述根据所述瞬时速度信息和图像分辨率，确定所述超声探头的移动速度，包括：

在预设的单位采样时间内，计算所述瞬时速度信息的平均值；

将所述平均值与所述图像分辨率的乘积确定为所述移动速度。

可选地，所述矩阵回归层为全连接神经网络。

可选地，所述第一网络分支和所述第二网络分支的网络结构相同或不同；所述第一网络分支包括卷积层、池化层、双线性插值层、全连接层和跨层连接；所述第二网络分支包括卷积层、池化层、双线性插值层、全连接层和跨层连接。

可选地，所述方法还包括：

确定当前扫查模式是否为宽景成像模式；

在所述当前扫查模式是所述宽景成像模式时，触发执行所述将所述多帧超声图像中的第n帧超声图像和第n+1帧超声图像输入预先训练的神经网络中，得到所述第n帧超声图像和第n+1帧超声图像之间的仿射变换矩阵的步骤。

第二方面，提供一种超声探头的速度确定装置，所述装置包括：

图像获取模块，用于获取所述超声探头采集到的多帧超声图像；

矩阵生成模块，用于将所述多帧超声图像中的第n帧超声图像和第n+1帧超声图像输入预先训练的神经网络中，得到所述第n帧超声图像和第n+1帧超声图像之间的仿射变换矩阵；其中，所述神经网络包括第一网络分支、第二网络分支、以及与所述第一网络分支和所述第二网络分支均相连的矩阵回归层；所述第一网络分支用于提取所述第n帧超声图像中的第一预设关键点，所述第二网络分支用于提取所述第n+1帧超声图像中的第二预设关键点，所述矩阵回归层用于基于所述第一预设关键点和所述第二预设关键点回归出所述仿射变换矩阵；所述n为正整数；

第一计算模块，用于基于所述仿射变换矩阵和当前帧频，确定所述超声探头相对于当前扫查部位的瞬时速度信息；

第二计算模块，用于根据所述瞬时速度信息和图像分辨率，确定所述超声探头的移动速度。

第三方面，提供一种超声探头的速度确定装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的超声探头的速度确定方法。

第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的超声探头的速度确定方法。

本申请的有益效果至少包括：通过获取超声探头采集到的多帧超声图像；将多帧超声图像中的第n帧超声图像和第n+1帧超声图像输入预先训练的神经网络中，得到第n帧超声图像和第n+1帧超声图像之间的仿射变换矩阵；其中，神经网络包括第一网络分支、第二网络分支、以及与第一网络分支和第二网络分支均相连的矩阵回归层；第一网络分支用于提取第n帧超声图像中的第一预设关键点，第二网络分支用于提取第n+1帧超声图像中的第二预设关键点，矩阵回归层用于基于第一预设关键点和第二预设关键点回归出仿射变换矩阵；基于仿射变换矩阵和当前帧频，确定超声探头相对于当前扫查部位的瞬时速度信息；根据瞬时速度信息和图像分辨率，确定超声探头的移动速度；可以解决通过速度传感器来获取超声探头的移动速度时，导致的超声探头的结构复杂度增加的问题；由于无需设置速度传感器即可确定出超声探头的移动速度，因此，可以降低超声探头的结构复杂度。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的超声探头的速度确定方法的流程图；

图2是本申请一个实施例提供的神经网络模型的示意图；

图3是本申请一个实施例提供的超声探头的速度确定装置的框图；

图4是本申请再一个实施例提供的超声探头的速度确定装置的框图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

可选地，本申请以各个实施例的执行主体为与超声探头通信相连的电子设备为例进行说明，该电子设备可以为超声设备，或者是与超声设备通信相连的终端，终端可以为计算机、手机、平板电脑等，本实施例不对电子设备的类型作限定。

下面对本申请提供的超声探头的速度确定方法进行介绍。

图1是本申请一个实施例提供的超声探头的速度确定方法的流程图。该方法至少包括以下几个步骤：

步骤101，获取超声探头采集到的多帧超声图像。

超声图像是超声探头对扫查对象进行超声扫查得到的图像。其中，扫查对象可以人体组织，当然也可以为动物组织，本实施例不对扫查对象的类型作限定。

步骤102，将多帧超声图像中的第n帧超声图像和第n+1帧超声图像输入预先训练的神经网络中，得到第n帧超声图像和第n+1帧超声图像之间的仿射变换矩阵。n为正整数。

其中，参考图2，神经网络包括第一网络分支21、第二网络分支22、以及与第一网络分支21和第二网络分支22均相连的矩阵回归层23。

示意性地，第一网络分支用于提取第n帧超声图像中的第一预设关键点。

第二网络分支用于提取第n+1帧超声图像中的第二预设关键点。其中，第一预设关键点和第二预设关键点包括对于同一扫查部位对应的第一预设关键点和第二预设关键点。换句话说，第一预设关键点与第二预设关键点之间具有对应关系，对于同一扫查部位的第一预设关键点和第二关键点，具有相同的关键点标识。

其中，第一网络分支和第二网络分支的网络结构相同或不同；第一网络分支包括卷积层、池化层、双线性插值层、全连接层和跨层连接；第二网络分支包括卷积层、池化层、双线性插值层、全连接层和跨层连接，当然，第一网络分支和第二网络分支还可以包括关键点提取时所需的其它网络层，本实施例不对第一网络分支和第二网络分支的网络结构作限定。

第一网络分支和第二网络分支是使用训练数据对初始网络结构进行迭代训练得到的。第一网络分支和第二网络分支可以同时进行训练，或者，依次训练，本实施例不对第一网络分支和第二网络分支的训练时机作限定。

以第一网络分支的训练过程为例进行说明，第一网络分支的训练数据包括：样本超声图像、该样本超声图像中第一预设关键点的标签位置和标签分类；在训练过程中，将样本超声图像输入初始网络结构，得到输出结果；根据预设损失函数比较输出结果与标签位置和标签分类的差异，并基于该差异对初始网络结构进行迭代训练，得到第一网络分支。

第二网络分支的训练过程与第一网络分支的训练过程相同，只是将第一预设关键点替换为第二预设关键点，本实施例在此不再赘述。

矩阵回归层用于基于第一预设关键点和第二预设关键点回归出仿射变换矩阵。在一个示例中，矩阵回归层为全连接神经网络。

其中，仿射变换矩阵包括旋转分量和平移分量。仿射变换矩阵包括3种参数，即，θ、tx和ty。θ为超声探头的移动方向和水平方向的夹角，tx表示超声探头在水平向的移动距离，ty表示超声探头在垂直方向的移动距离。对于同一扫查部位对应的第一预设关键点和第二预设关键点，第一预设关键点和第二预设关键点满足下述公式：

其中，(x，y)为第一预设关键点的坐标，(x’，y’)为第二预设关键点的坐标。

步骤103，基于仿射变换矩阵和当前帧频，确定超声探头相对于当前扫查部位的瞬时速度信息。

电子设备计算仿射变换矩阵的平移分量与当前帧频的乘积，得到瞬时速度信息。其中，瞬时速度信息以图像像素为单位。

具体地，仿射变换矩阵包含旋转和平移分量，分别在水平方向和垂直方向投影后可得前后两帧图像移动量(该移动量以像素为单位)。

步骤104，根据瞬时速度信息和图像分辨率，确定超声探头的移动速度。

电子设备在预设的单位采样时间内，计算瞬时速度信息的平均值；将平均值与图像分辨率的乘积确定为移动速度。其中，单位采样时间预设在电子设备中。

可选地，为了避免每次扫查过程中都执行上述方法流程，导致浪费电子设备的计算资源的问题，电子设备还可以确定当前扫查模式是否为宽景成像模式；在当前扫查模式是宽景成像模式时，触发执行将多帧超声图像中的第n帧超声图像和第n+1帧超声图像输入预先训练的神经网络中，得到第n帧超声图像和第n+1帧超声图像之间的仿射变换矩阵的步骤。即，执行步骤102-104。在当前扫查模式是宽景成像模式时，不执行步骤102-104，速度确定的流程结束。

基于本实施例，在实时扫图模式下，通过调用以上算法流程可以得到探头的实时扫查速度，便于用户获取更详细的信息；在静态视频模式下，调用以上算法流程，可以得到该段视频内探头的移动距离。

可选地，在得到的移动速度后，电子设备还可以显示该移动速度，以供用户控制扫查速度。

综上所述，本实施例提供的超声探头的速度确定方法，通过获取超声探头采集到的多帧超声图像；将多帧超声图像中的第n帧超声图像和第n+1帧超声图像输入预先训练的神经网络中，得到第n帧超声图像和第n+1帧超声图像之间的仿射变换矩阵；其中，神经网络包括第一网络分支、第二网络分支、以及与第一网络分支和第二网络分支均相连的矩阵回归层；第一网络分支用于提取第n帧超声图像中的第一预设关键点，第二网络分支用于提取第n+1帧超声图像中的第二预设关键点，矩阵回归层用于基于第一预设关键点和第二预设关键点回归出仿射变换矩阵；基于仿射变换矩阵和当前帧频，确定超声探头相对于当前扫查部位的瞬时速度信息；根据瞬时速度信息和图像分辨率，确定超声探头的移动速度；可以解决通过速度传感器来获取超声探头的移动速度时，导致的超声探头的结构复杂度增加的问题；由于无需设置速度传感器即可确定出超声探头的移动速度，因此，可以降低超声探头的结构复杂度。

图3是本申请一个实施例提供的超声探头的速度确定装置的框图。该装置至少包括以下几个模块：图像获取模块310、矩阵生成模块320、第一计算模块330和第二计算模块340。

图像获取模块310，用于获取所述超声探头采集到的多帧超声图像；

矩阵生成模块320，用于将所述多帧超声图像中的第n帧超声图像和第n+1帧超声图像输入预先训练的神经网络中，得到所述第n帧超声图像和第n+1帧超声图像之间的仿射变换矩阵；其中，所述神经网络包括第一网络分支、第二网络分支、以及与所述第一网络分支和所述第二网络分支均相连的矩阵回归层；所述第一网络分支用于提取所述第n帧超声图像中的第一预设关键点，所述第二网络分支用于提取所述第n+1帧超声图像中的第二预设关键点，所述矩阵回归层用于基于所述第一预设关键点和所述第二预设关键点回归出所述仿射变换矩阵；所述n为正整数；

第一计算模块330，用于基于所述仿射变换矩阵和当前帧频，确定所述超声探头相对于当前扫查部位的瞬时速度信息；

第二计算模块340，用于根据所述瞬时速度信息和图像分辨率，确定所述超声探头的移动速度。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的超声探头的速度确定装置在进行超声探头的速度确定时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将超声探头的速度确定装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的超声探头的速度确定装置与超声探头的速度确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图4是本申请一个实施例提供的超声探头的速度确定装置的框图。该装置至少包括处理器401和存储器402。

处理器401可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的超声探头的速度确定方法。

在一些实施例中，超声探头的速度确定装置还可选包括有：外围设备接口和至少一个外围设备。处理器401、存储器402和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，超声探头的速度确定装置还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的超声探头的速度确定方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的超声探头的速度确定方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。