一种用于远程心脏超声的虚拟探头及诊疗系统

技术领域

本公开涉及远程医疗设备技术领域，特别涉及一种用于远程心脏超声的虚拟探头及诊疗系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

超声成像由于其无创、即时诊断、实时、高性价比等优点，与其他医学成像方法相比具有很大的优势。

在超声获取过程中，过小的压力会损害良好的声耦合从而影响超声成像质量，而过大的压力又会伤害到患者甚至使观察到的器官变形，因此超声探头操纵者必须根据超声图像的反馈来调整探头的位姿和探头与病人之间的接触力，超声图像的质量取决于内在因素，如硬件设计和不同的采集参数，同时也取决于检查条件。实际上，超声采集过程中探头的位姿、探头与人体之间的耦合度、作用于人体上的接触力、超声波光束的入射角以及超声波凝胶的分布都是获得良好超声成像质量的关键因素。然而最佳超声图像的获取在很大程度上取决于操控超声探头的专家技术，但是很多情况下在医疗落后地区(如小岛、渔村、贫困山区、偏远军事基地、突发疫情事件等)可能没有专业的超声检查医生，或者现场扫查被检者存在困难和极大的风险。因此为了使这些特殊情况下病人也能得到尽快的诊断与救治，越来越多的专家学者开发出与信息和通信技术以及力反馈相结合的机器人系统，来实现力反馈机械臂辅助超声成像。

在远程超声诊断中，最重要的就是让远程端专家的动作准确映射到现场机械臂上去，这包括操作动作的映射以及力度的映射。然而，目前的远程超声专利所提出的虚拟探头以及远程超声检查方法存在的问题：(1)没有存在力反馈装置，因此专家无法远程控制机械臂施加的力，容易造成过大的力误伤患者或者过小的力造成的超声图像模糊；(2)虚拟探头不够小巧集成，不能映射出专家的所有操作动作，还需额外借助传感器或者键盘鼠标进行部分自由度的操控；(3)针对的超声扫描部位为肝脏、肺部这类扫描轨迹固定且简单的部位，没有对心脏这类操作复杂的器官的远程超声扫描装置；(4)数据传输有延时，不能做到实时的复现。

经检索，公开号为CN110993087A的中国发明专利，其采用陀螺仪采集姿态信息，但是需要在探头外额外放置红外线传感器采集位置信息，因此不够集成，借助了额外的传感器；同时数据使用TCP/IP协议传输，数据交换不够实时；第三个存在的问题是其产品是把探头放在一个平面上，这对于腹部超声探查而言，接近了专家的操作习惯，但是不适用于心脏超声探查。心脏超声探查时，由于胸壁有很多骨性结构，因此胸壁轮廓更起伏，同时在接受超声检查时，患者采取侧卧位，因此公开号为CN110993087A的中国专利发明，只适用于探查部位平整并且探查路径固定且简单的超声探查，不适用于心脏这类复杂的超声探查。

发明内容

为了解决现有技术的不足，本公开提供了一种用于远程心脏超声的虚拟探头及诊疗系统，通过对虚拟探头时的操作，可以将其位姿以及施加的力实时传递给现场端的机械臂，使机械臂复现虚拟探头的动作，进而带动真实探头实现动作复现，极大的提高了远程诊疗的准确性。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种用于远程心脏超声的虚拟探头。

一种用于远程心脏超声的虚拟探头，包括：壳体、位姿检测元件和力检测元件，位姿检测元件固定在壳体内部，力检测元件固定在壳体的用于接触仿生模型的检测面上。

进一步的，壳体采用3D打印方式制造，且与真实超声探头的形状和尺寸相同。

进一步的，位姿传感元件至少包括惯性测量单元、GPS定位单元、超宽带定位单元、NOKOV动作捕捉单元、射频识别单元、里程计量单元以及红外定位单元中的一种或多种。

更进一步的，惯性测量单元至少包括陀螺仪、加速度计以及重力感应器中的一种或多种。

本公开第二方面提供了一种远程心脏超声诊疗系统。

一种远程心脏超声诊疗系统，包括第一控制终端、第二控制终端、音视频采集模块、机器人以及本公开第一方面所述的虚拟探头；

位姿检测元件和力检测元件均与第一控制终端通信连接，第一控制终端与第二控制终端通信连接，音视频采集模块和机器人控制终端均与第二控制终端通信连接；

第一控制终端根据接接收到的施加到仿生模型上的虚拟探头位姿和力生成机器人机械臂控制指令并发送给第二控制终端；

第二控制终端根据接收到的控制指令进行机器人的机械臂控制，进而控制真实探头的动作，并实时的将现场的音视频数据和超声图像传输给第一控制终端。

进一步的，将位姿传感器采集到的姿态欧拉角转换为四元数，然后将表示位置信息的x、y、z以及表示姿态信息的tx、ty、tz、tw作为机械臂末端执行器的位姿。

进一步的，所述机器人包括机器人底座、机器人控制终端和自由机械臂，自由机械臂固定在机械臂底座上，机械臂控制终端根据接收到的第二控制终端的控制指令控制自由机械臂的动作。

进一步的，所述机器人为移动机器人平台，所述移动机器人平台根据接收到的第二控制终端的控制指令控制机械臂的动作。

进一步的，所述仿生模型包括弹性膜以及设置在弹性膜内的粘弹性物质，且弹性膜内填充有气体。

本公开第三方面提供了一种远程心脏超声诊疗系统的工作方法。

一种远程心脏超声诊疗系统的工作方法，利用本公开第二方面所述的远程心脏超声诊疗系统，包括以下过程：

第二控制终端向第一控制终端发送准备就绪信号；

第一控制终端向第二控制终端发送准备就绪确认信号；

通过位姿传感器采集虚拟探头的位置和方向以及施加在仿生模型上的作用力，并发送给第一控制终端；

第一控制终端根据接收到的虚拟探头的位置和方向以及施加在仿生模型上的作用力生成控制指令并发送给第二控制终端；

第二控制终端将接收到的控制指令发送给机器人控制终端，机器人控制终端根据控制指令控制机械臂的运动，进而带动真实探头的运动；

第二控制终端将现场音视频数据和获取的超声图像传输给第一控制终端；

重复上述过程，直至接收到符合预设要求的超声图像。

与现有技术相比，本公开的有益效果是：

1、本公开所述的内容，通过对虚拟探头时的操作，可以将其位姿以及施加的力实时传递给现场端的机械臂，使机械臂复现虚拟探头的动作，进而带动真实探头实现动作复现，极大的提高了远程诊疗的准确性。

2、本公开所述的虚拟探头具有和临床探头一样的设计比例，符合临床医生操作习惯，方便临床医生在面对新型的远程超声操作设备时可以很快上手操作，大大节省了业务培训的时间。

3、本公开所述的力传感器可以准确反映出操作者施加在仿人体模型上的作用力，并能够根据现场操作情况进行及时反馈调整，不仅可以保证患者的人身安全，而且可以保证探头和人体的良好耦合，使超声成像更加清晰，提高了远程超声诊断的准确性。

4、本公开所述的位姿传感器可以准确输出操作者手握探头时的位置和方向，并将姿态转换为四元数避免了万向节死锁的问题，同时可反映出空间的所有姿态变换，非常适用于探查姿态复杂多变的远程心脏超声检测。

5、本公开所述的数据传输方式采用5G网络传输，解决了数据传输的时延问题，实现了诊断的实时性并能够及时规避意外情况的发生。

本公开附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的虚拟超声探头结构示意图。

图2为本公开实施例1提供的仿人体模型结构示意图。

图3为本公开实施例1提供的远程心脏超声检测流程。

图4为本公开实施例3提供的远程心脏超声检查信号控制流示意图。

1、位姿传感器；2、力传感器；3、外壳；4、虚拟超声探头；5、弹性物质；6、空气填充物；7、弹性膜。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

下面将结合具体实例对本公开进行详细说明。其中第一个优选实施例中针对的机械臂为固定在某个确定位置，机械臂底座不可移动；第二个优选实施例中采用的是移动机器人平台，机械臂及机器人平台可自由移动。通过介绍这两个实施例将有助于本领域的技术人员进一步理解本公开，但不以任何形式限制本公开。同时需要说明的是，对本领域的普通人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进。这些都属于本公开的保护范围。

实施例1：

机械臂底座固定不动，以病人移动作为主要的调整位置方式。

具体内容如下：

如图1所示，虚拟超声探头1用来将远程端专家操作探头时的位置和姿态以及作用于仿人体模型时的作用力传递给现场端机械臂，用来复现专家的动作。

在一较优实施例中虚拟超声探头由位姿传感器1、力传感器2以及3D打印外壳3组成。

其中位姿传感器1固定在3D打印外壳3的内部，实时输出探头的位置和方向。

在一优选实施例中，将位姿传感器1安装在虚拟探头4的重心上，将陀螺仪输出的角速度积分得到欧拉角，为了避免欧拉角出现万向节锁的现象，将欧拉角转换为四元数表示虚拟探头的姿态。

具体的，力传感器2安装在虚拟超声探头1的底部，用来测量虚拟超声探头作用于仿人体模型上的作用力。

如图2所示，仿人体模型由粘弹性物质5、填充空气6与弹性膜7组成，用来模拟力作用于真实人体上时人体作出的反应。大部分远程控制机械臂作用在人体上，不能够提供一个病人对力直观的反应给医生。同时当探头没有接触到器官表面时，由于惯性的作用，力传感器仍然会测量到力。因此需要一个仿人体模型放置在专家端用来向专家展示远程探头作用到人身体上给出的反馈。

如图2所示，仿人体模型由粘弹性元素与空气室相结合来提供出人体胸壁特征，提供给操作者真实人体心脏超声检查体验，同时通过弹性膜来模拟皮肤反馈。

如图3所示，展示了远程心脏超声检查的诊疗流程。

在一优选实施例中，当有患者需要超声检查时，包括以下过程：

Step1：患者就诊，将患者就诊信息加入数据库，同时现场端工作人员详细介绍超声检查流程以及检查注意事项，并向患者演示并讲解超声检查姿势，待患者确定自己已理解超声检查各项事项后，患者以正确的检查姿势准备好接受超声检查。

Step2：准备就绪后，发送信号给远程专家端，专家端接受信号后反馈一个确定信号，收到反馈信号后现场端工作人员启动机械臂并发送“机械臂已启动”信号。

若现场端工作人员未收到专家端反馈的确定信号，重复Step2。

Step3：远程端收到机械臂启动信号，开始检查。将虚拟超声探头在仿人体模型上移动，观察现场端以特定频率传回的超声图像以及现场音视频。

Step4：根据接收到的超声图像以及音视频移动虚拟探头，位姿传感器以及力传感器采集下一时刻的目标位姿和所需施加的作用力通过5G网络传递给现场端机械臂，机械臂复现专家端诊断手法。

Step5：专家在进行超声探查时，若某个探查位姿超出了机械臂的工作空间，因为机械臂底座固定不动，这时需要工作人员暂停机械臂，同时向远程端操作者发送“暂停机械臂”控制指令，病人根据现场工作人员的指挥调整就诊姿态，当患者调整好自己的位姿在机械臂可达的工作空间内，工作人员按下机械臂启动按钮，同时向远程端专家发送“继续检查”控制指令，远程端回馈确认信号，待收到现场端确认信号后，远程端专家继续检查工作。

重复以上过程直至远程端专家发送诊断结束信号。

Step6：检查结束，发送诊断结束信号，停止机械臂。远程端生成超声检查报告，检查结果存入数据库并通过数据传输模块发送给现场端医生，医生向病人详述超声检查结果，并确定治疗方法，至此患者就诊过程结束。

实施例2：

现场端采用的是移动机器人平台，与实施例1不同的是，实施例1中机械臂底座固定，因此机械臂的工作空间范围有限，某些探查姿势机械臂不可达，因此这时就需要患者根据现场工作人员的指令调整自己的姿势，使自己的待查部位时刻位于机械臂的工作空间内，该优选案例以病人运动作为主要调整位置方式，适用于患者身体状况良好，可自主移动的前提下。

在本实施例中，以可移动的机器人平台替代固定的机械臂，机器人握住超声探头自由移动，不再受探查位置的束缚，当探查位姿不合适时，远程端先发送控制指令调整机器人的位置和方向，待位姿合适，再调整探头的位姿进行超声探查。这种优选案例为机械臂主动运动到患者身旁，并以机器人平台运动作为主要的调整检查位置方式，适用于患者身体状况不佳，或者陷入昏迷、身体部位受伤不能自主移动的情况。

具体的，对于现场端为移动机器人平台的案例中，其超声诊疗流程为：

Step1：患者就诊，就诊信息加入数据库，现场工作人员详述远程超声检查流程以及注意事项，并且手动遥控机器人移动到患者床边。

Step2：现场工作人员不断调整机器人平台的位姿，使患者检查部位位于机械臂工作空间之内，然后现场工作人员发送准备就绪信号给远程专家端，专家端接受信号后反馈一个确定信号，收到反馈信号后现场端工作人员启动机械臂并发送“机械臂已启动”信号。

若现场端工作人员未收到专家端反馈的确定信号，重复Step2。

Step3：远程端收到机械臂启动信号，开始检查。将虚拟超声探头在仿人体模型上移动，观察现场端以特定频率传回的超声图像以及现场音视频。

Step4：根据接收到的超声图像以及音视频移动虚拟探头，位姿传感器以及力传感器采集下一时刻的目标位姿和所需施加的作用力通过5G网络传递给现场端机械臂，机械臂复现专家端诊断手法。

Step5：专家在进行超声探查时，若某个探查位姿超出了机械臂的工作空间，这时需要工作人员暂停机械臂，同时向远程端操作者发送“暂停机械臂”控制指令，远程端专家根据远程传输来的现场视频遥控机器人平台调整位姿或者现场端工作人员遥控机器人平台移动，使机器人平台移动到探查部位位于机械臂工作空间之内，此时工作人员按下机械臂启动按钮，同时向远程端专家发送“继续检查”控制指令，远程端回馈确认信号，待收到现场端确认信号后，远程端专家继续检查工作。

重复以上过程直至远程端专家发送诊断结束信号。

Step6：检查结束，发送诊断结束信号，停止机械臂。远程端生成超声检查报告，检查结果存入数据库并通过数据传输模块发送给现场端医生，医生向病人详述超声检查结果，并确定治疗方法，至此患者就诊过程结束。

实施例3：

图4给出了远程超声检查各个组成部分之间的信号流动方向。下面详细解释了信号的流动方向以及各个部件之间的连接关系：

远程超声检查分为远程端和现场端。其中各部分的设备组成为：远程端由超声操作专家、视频设备、虚拟超声探头、仿人体模型、超声图像显示设备、服务器组成。现场端由现场工作人员、患者、机器人平台、诊疗床、视频设备、服务器、超声探头、超声扫描仪以及超声图像显示设备组成。

具体地，位姿传感器的输出端通过串口连接电脑，为了避免欧拉角易出现的万向节锁现象，将位姿传感器采集到的姿态欧拉角转换为四元数，然后将表示位置信息的x、y、z以及表示姿态信息的tx、ty、tz、tw作为机械臂末端执行器的位姿，位姿信号先传递给远程端服务器中的ROS操作系统借助MoveIt！插件进行机械臂工作空间规划，在python文件中编写好机械臂的控制程序，然后借助接口文件以及5G网络控制现场端机械臂。

可以理解的，在其他一些实施方式中，数据传输也可以采用串口传输、usb传输、蓝牙传输、WIFI传输以及有线传输等数据传输方式。

所述位姿传感器包括但不限于惯性测量单元(IMU)、GPS定位单元、超宽带(UWB)定位单元、NOKOV动作捕捉单元、射频识别(RFID)定位、里程计以及红外定位。其中，惯性测量单元包括但不限于陀螺仪、加速度计以及重力感应器。

力传感器的输出为远程端服务器，与位姿传感器采集到的位姿信息融合后通过5G网络传递给现场端服务器。

远程端配有视频设备连接远程端服务器，输出专家的控制指令以及最后的检查报告，将远程端专家的控制指令传递给现场端工作人员便于执行。

现场端服务器输入为远程端传输来的控制指令、超声检查报告单以及机械臂控制信号，包括力信号，位置以及姿态信号。输出现场音视频以及实时的超声检查图像。

机器人平台输入端连接现场端服务器，由远程的力与位姿融合控制信号控制机械臂运动，同时末端固定超声探头，由机械臂带动超声探头移动。同时机器人平台可以由现场端工作人员进行控制，通过遥控器实现机器人平台的移动。

超声探头输出连接超声扫描仪，同时超声扫描仪输出连接现场端服务器，将实时采集的超声图像传递回远程端从而反馈控制机械臂。

现场端视频设备输出现场音视频到服务器，再经服务器由5G信号传递回远程端，方便远程端专家根据现场情况及时调整相关操作。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。