超声会诊远程分享方法、平台和系统

技术领域

本发明涉及人工智能医疗技术领域，具体涉及一种超声会诊远程分享方法、平台和系统。

背景技术

超声远程诊断是超声影像医疗技术与互联网技术的产物，它可以应用到目前很多的应用场景，如：医联体远程专家会诊、分级诊疗远程服务、远程超声培训、远程超声设备维护与技术支持。通过现代化通信技术、计算机网络技术，多媒体通信网将病人的病例资料包括心电图、X线、CT、MR、超声、病理等影像资料进行远距离传输交流，同时专家与异地的医生以及病人对患者医学影像资料进行协同分析和讨论，进一步明确诊断，指导确定治疗方案，实现医学资源、专家资源、技术设备资源和医学科技成果信息资源共享，大大节省医疗开支，提高医疗水平，尤其对缩小城乡差异，提高边远地区医疗水平，降低病人医疗费用有重要的作用。

但是现有的超声远程医疗方法在超声影像分享过程中会存在泄漏患者隐私或者其他敏感信息的问题，安全可靠性较差。

发明内容

为了解决现有技术中存在的不足，本发明提供一种超声会诊远程分享方法、平台和系统，所述超声会诊远程分享方法、平台和系统能够方便用户之间的沟通交流的前提下保障患者隐私等敏感信息。

根据本发明提供的技术方案，作为本发明的第一方面，提供一种超声会诊远程分享方法，包括：

通过超声换能器扫描获取扫包含扫描对象信息的第一超声影像；

获取超声设备操作人员的身份信息和第一交互信息，所述身份信息为认证操作人员或者非认证操作人员；

根据所述身份信息脱敏处理所述第一超声影像，生成本地超声影像；

通过超分辨率重建网络处理所述本地超声影像得到远程超声会诊影像；

将所述远程超声会诊影像和所述第一交互信息分享给远程专家。

进一步地，还包括：

采集远程专家根据所述远程超声会诊影像和所述第一交互信息确定的诊断结果；或

获取远程专家根据所述远程超声会诊影像和所述第一交互信息向所述超声设备操作人员发送的第二交互信息，所述第二交互信息用于辅助所述远程专家进行远程诊断，

所述第二交互信息至少包括：指导所述超声设备操作人员操作的远程指示指令和/或远程调节所述本地超声影像的远程控制指令。

进一步地，所述获取超声设备操作人员的身份信息包括人脸识别、指纹识别或者声纹识别中的至少一种。

进一步地，还包括：

获取所述远程专家的认证等级，所述认证等级分为初级专家、中级专家和高级专家；

根据所述远程专家的认证等级脱敏处理所述远程超声会诊影像。

进一步地，所述脱敏处理包括：

通过训练好的识别神经网络模型确定所述第一超声影像中的敏感区域，所述敏感区域包括敏感影像区域；

模糊化处理所述第一超声影像中的敏感区域。

进一步地，所述根据所述身份信息脱敏处理所述第一超声影像，生成本地超声影像包括：

若所述操作人员为非认证操作人员，则脱敏处理所述第一超声影像，在本地显示器生成所述本地超声影像；

若所述操作人员为认证操作人员，则获取所述本地显示器视觉覆盖范围内是否有存在非认证操作人员，若存在，则脱敏处理所述第一超声影像，在本地显示器生成所述本地超声影像。

进一步地，所述脱敏处理为可恢复性脱敏处理，所述远程专家能够通过所述远程控制指令对所述本地超声图像进行脱敏还原。

进一步地，所述远程专家的权限配置为：

初级专家，所述初级专家拥有参会权限，所述参会权限定义为所述初级专家拥有参加远程会诊的权限；

中级专家，所述中级专家拥有诊断权限，所述诊断权限定义为所述中级专家拥有出具会诊结论的权限；

高级专家，所述高级专家拥有诊断权限和控制权限，所述控制权限定义为所述高级专家拥有远程控制本地超声影像成像的权限。

进一步地，所述超分辨率重建网络是预先通过超声影像视频料库对卷积神经网络进行训练所确定的；

所述超分辨率重建网络包括级联的光流网络、运动预估计算和超分辨率重建网络。

作为本发明的第二方面：

提供一种超声会诊远程分享平台，所述超声远程会诊平台用于存储执行如本发明第一方面所述超声会诊远程分享方法的程序。

作为本发明的第四方面：

提供一种超声会诊远程分享系统，包括：

云服务器，所述云服务器中搭建有超声会诊远程分享平台，云服务器的数据库中储存有操作人员和远程专家信息，且所述超声会诊远程分享平台能够访问所述数据库；

超声终端设备，所述超声终端设备中安装有软件，超声终端设备通过所述软件能够与云服务器进行信息交互。

从以上所述可以看出，本发明提供的超声会诊远程分享方法、平台和系统，与现有技术相比具备以下优点：

其一，在节省网络带宽的同时，大大地提高远程传输的超声图像质量，使得超声会诊参与用户能够更准确地获得超声会诊用户的会诊情况。

其二，使得超声会诊参与用户能够与超声会诊用户之间进行有效地沟通。

其三，能够对会诊信息中的敏感信息进行可靠保护。

附图说明

图1为本发明第一方面的流程图。

图2为本发明第一方面中S300的具体流程图。

图3为本发明第二方面的拓扑图。

图4为本发明第三方面的拓扑图。

100. 超声影像获取单元，200. 信息获取单元，300. 脱敏处理单元，400. 影像处理单元，500. 信息分享单元，600. 远程诊断信息获取单元。

具体实施方式

本发明详细描述了特别地参考目前优选的实施例中，但是应当理解，可以进行各种变化和修改在本发明的精神和范围。本发明所披露的实施例中，因此认为在所有的方面都是说明性的，而不是限制性的。指出本发明的范围由所附权利要求书中，所有的改变的意义和范围之内的等同物被打算包括在其中。

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本发明能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本发明相关的一些操作并没有在说明书中显示或者描述，这是为了避免本发明的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。作为本发明第一方面：

提供一种超声会诊远程分享方法，如图1所示，超声会诊远程分享方法包括：

S100：通过超声换能器扫描获取包含扫描对象信息的第一超声影像；

需要理解的是，第一超声影像可以是单帧的超声图像，也可以是连续的多帧超声图像即超声视频。

S200：获取超声设备操作人员的身份信息和第一交互信息，身份信息为认证操作人员或者非认证操作人员；

现有的超声会诊远程分享方法在超声影像分享过程中会存在泄漏患者隐私或者其他敏感信息的问题，安全可靠性较差。本发明在使用超声换能器获取第一超声影像之前会对超声设备操作人员的身份信息进行识别。所述获取超声设备操作人员的身份信息包括人脸识别、指纹识别或者声纹识别中的至少一种。在一实施例中，通过摄像设备采集至少包括超声设备操作人员的图像视频，从图像视频中自动识别操作人员的面部特征进行人脸识别，进而获取操作人员的身份信息。操作人员的身份信息预先存储在存储器中，存储器中预先存储的操作人员为认证操作人员，未存储的操作人员为非认证操作人员，可以理解的是，认证操作人员和非认证操作人员还可以在存储到存储器中时进行定义区分。需要理解的是，第一交互信息也可以通过摄像设备采集获取。在另一实施例中，超声换能器上设有指纹识别模块，操作人员在激活使用超声换能器之前需要进行指纹识别，以获取超声设备操作人员的身份信息。

S300：根据身份信息脱敏处理第一超声影像，生成本地超声影像；

为了保护患者隐私或者其他敏感信息，本发明根据操作人员的身份信息判断是否对第一超声影像进行脱敏。本地超声影像通过本地显示器进行显示，本地显示器显示的超声影像数据(超声图像)可以是显示在一个显示器上，也可以同时显示在多个显示器上，当然也可以是将超声影像的部分分别同步显示在多个显示器上，在此本实施例也不作限制。可以理解的是，操作人员或者患者能够在本地显示器上看到的超声影像已经是经过脱敏处理之后的本地超声影像，防止先在本地显示器上显示再进行脱敏造成的患者隐私或敏感信息泄漏。

S400：通过超分辨率重建网络处理本地超声影像得到远程超声会诊影像；

在超声会诊远程分享的传输过程中往往会存在传输的图像等信息分表率较差，从而会影响远程专家的诊断，因此通过超分辨率重建网络能够实时对传输到的单张或多张视频帧进行重建，在节省网络带宽的同时，大大地提高远程传输的超声图像质量，使得超声会诊参与用户能够更准确地获得超声会诊用户的会诊情况。

S500：将远程超声会诊影像和第一交互信息分享给远程专家。

本发明的超声会诊远程分享方法通过根据身份信息脱敏处理第一超声影像，生成本地超声影像，从而能够根据不同身份信息对第一超声影像进行不同的脱敏处理，能够有效地保障诊疗者的隐私，通过超分辨率重建网络能够实时对传输到的单张或多张视频帧进行重建，在节省网络带宽的同时，大大地提高远程传输的超声图像质量，使得超声会诊参与用户能够更准确地获得超声会诊用户的会诊情况。

优选地，为了提高超声会诊用户和超声会诊参与用户之间的沟通与探讨，超声会诊远程分享方法还包括在S500之后进行的：

S600：采集远程专家根据远程超声会诊影像和第一交互信息确定的诊断结果；或

在一实施例中，需要理解的是，远程专家进行远程诊断时需要观察高质量的超声影像，操作人员的的专业程度决定了超声影像的影像质量。第一交互信息至少包括语音信息、打图手势的影像信息、操作流程的影像信息中的至少一种。打图手势是指操作人员使用超声换能器获取包含扫描对象信息的第一超声影像的手势动作。

S700：获取远程专家根据远程超声会诊影像和第一交互信息向超声设备操作人员发送的第二交互信息，第二交互信息用于辅助远程专家进行远程诊断；

如果操作人员采集生成的远程超声会诊影像无法使得远程专家直接进行诊断，远程专家会根据远程超声会诊影像和第一交互信息向超声设备超声人员发送第二交互信息，使用操作人员在第二交互信息的指导下能够获取远程专家想要的远程超声会诊影像，以用于辅助远程专家进行远程诊断。

第二交互信息至少包括：用于指导超声设备操作人员操作的远程指示指令和/或用于远程调节本地超声影像的远程控制指令。远程指示指令至少包括语音信息、文字信息和视频信息中的任意一种，用于指导超声设备操作人员进行扫描操作。扫描操作包括控制施加给超声换能器的压力、以及控制换能器进行平移、旋转等。远程专家通过第一交互信息进行远程监控，以指导操作人员进行扫描操作，进而提高第一超声影像的影像质量。

进一步地，远程专家还可以通过远程控制指令远程调节本地超声影像。远程控制指令至少包括：参数调节指令和脱敏调节指令。参数调节指令至少可以调节超声设备的焦点信息、驱动频率信息、驱动电压信息以及成像模式等扫描信息。也可以根据远程诊断所需成像模式的不同，对信号进行不同的处理，获得不同模式的超声图像数据，然后经对数压缩、动态范围调整、数字扫描变换等处理形成不同模式的超声图像，如B图像，C图像，D图像，多普勒血流图像，包含组织弹性特性的弹性图像等等，或者其他类型的二维超声图像或三维超声图像。

脱敏处理包括通过训练好的识别神经网络模型确定第一超声影像中的敏感区域，敏感区域包括敏感影像区域；模糊化处理第一超声影像中的敏感区域。识别神经网络模型通过大量手工标注的超声影像输入到神经网络中进行训练获得的死别神经网络模型。本发明的模糊化处理是可逆的。模糊化处理可以是对采集的第一超声影像覆盖预设透明度的蒙层。远程专家可以根据远程超声会诊影像判断是否存在泄漏患者隐私或者其他敏感信息的超声影像，例如识别胎儿性别的影像等，若不存在，远程专家通过脱敏调节指令可对脱敏处理后的本地超声影像进行还原，例如调节蒙层的透明度。

本发明通过远程专家反馈的诊断结果和用于辅助远程专家进行远程诊断的第二交互信息，从而能够使得远程专家、超声设备操作人员和患者之间能够进行有效地信息交互，有利于提高病灶判断和诊疗结果的正确性。

优选地，本发明还包括获取所述远程专家的认证等级，所述认证等级分为初级专家、中级专家和高级专家；根据所述远程专家的认证等级脱敏处理所述远程超声会诊影像。即远程专家在注册信息时会进行等级认证，认证等级存储在云服务器的数据库中；为了对不同认证等级的远程专家对远程超声会诊影像进行不同的脱敏处理，以保护敏感信息和用户隐私。

敏感信息包括商业敏感信息和隐私信息，商业敏感信息例如超声机器信息，包括机器型号，机器品牌等，隐私信息例如文件信息，包括文件名称等。脱敏模型是提前训练好的神经网络，训练样本是可以是从不同存储系统获取的原始样本以及通过人工脱敏处理后的样本图像组成。模型输出是去除基础信息后的影像图片。当然，脱敏的处理方式还可以包括但不限于模糊化、马赛克等方式。

不同认证等级的远程专家对远程超声会诊影像进行不同的脱敏处理具体过程包括：

根据远程专家的认证等级脱敏处理远程超声会诊影像。

具体地，远程专家的权限配置为：

初级专家，初级专家拥有参会权限，参会权限定义为初级专家拥有参加远程会诊的权限，只能查看远程超声会诊影像的影响区域；

中级专家，中级专家拥有诊断权限，诊断权限定义为中级专家拥有出具会诊结论的权限；

高级专家，高级专家拥有诊断权限和控制权限，控制权限定义为高级专家拥有远程控制本地超声影像成像的权限。

初级专家和中介专家可以通过考核升级成高级专家，可以通过在线答题获取积分、专家认证考核等形式进行认证升级。可以理解的是，为了对超声会诊影像的敏感信息进行可靠保护，在将超声会诊影像分享给超声会诊参与用户时，根据超声会诊参与用户的用户类型和专家等级来决定是否对远程超声会诊影像中的敏感信息进行脱敏处理。用户类型可以是患者、超声设备操作人员、算法工程师、影像医生或远程专家等。若超声会诊参与用户为高级专家时，高级专家可以根据超声会诊参与用户的需求来决定是否对敏感信息进行脱敏处理，需要理解的是高级专家可以对脱敏处理进行逆向去脱敏。

对于S300：根据身份信息脱敏处理第一超声影像，生成本地超声影像的步骤中超声设备操作人员的身份信息类型包括非认证操作人员和认证操作人员，如图2所示，具体包括：

S310：若操作人员为非认证操作人员，则脱敏处理第一超声影像，在本地显示器生成本地超声影像；

S320：若操作人员为认证操作人员，则获取本地显示器视觉覆盖范围内是否有存在非认证操作人员，若存在，则脱敏处理第一超声影像，在本地显示器生成本地超声影像。

可以了理解的是，有时候虽然操作人员为认证操作人员，但是患者还是可以看到显示器上的超声影像，仍然出现泄漏敏感信息的可能，例如超声影像包含识别胎儿性别的特征。

另外还需要理解的是：

超声影像的类型包括但不限于：

根据图片类型分类：2D图片，3D图片,视频等

根据扫描部位分类：腹部，踝关节，心脏，脑部等

根据图片来源分类：超声，核磁共振，CT等

根据病种分类：乳腺，颈动脉等。

本文中使用的术语 “单元”意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列（FPGA）或专用集成电路(ASIC)或处理器，例如CPU、GPU。单元可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此，作为示例，单元可以包括组件（诸如软件组件、面向对象软件组件、类组件和任务组件）、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。

作为本发明的第二方面：

如图3所示，提供一种超声会诊远程分享平台，包括：

超声影像获取单元100，超声影像获取单元100用于获取由超声换能器扫描获取包含扫描对象信息的第一超声影像；

信息获取单元200，信息获取单元200用于获取超声设备操作人员的身份信息和第一交互信息，身份信息为认证操作人员和非认证操作人员；

脱敏处理单元300，脱敏处理单元300用于根据身份信息脱敏处理第一超声影像，生成本地超声影像；

影像处理单元400，影像处理单元400用于通过超分辨率重建网络处理本地超声影像得到远程超声会诊影像；

信息分享单元500，影像分享单元用于将远程超声会诊影像和第一交互信息分享给远程专家。

远程诊断信息获取单元600，远程诊断信息获取单元600用于采集远程专家根据远程超声会诊影像和第一交互信息确定的诊断结果；或获取远程专家根据远程超声会诊影像和第一交互信息向超声设备操作人员发送的第二交互信息，第二交互信息用于辅助远程专家进行远程诊断，第二交互信息至少包括：指导超声设备操作人员操作的远程指示指令和/或远程调节本地超声影像的远程控制指令。

对于脱敏处理单元300包括：敏感区域识别模块和糊化处理模块；

敏感区域识别模块能够通过训练好的识别神经网络模型确定第一超声影像中的敏感区域，敏感区域包括敏感影像区域；

糊化处理模块能够模糊化处理第一超声影像中的敏感区域。

作为本发明的第三方面：

如图4所示，提供一种超声会诊远程分享系统，超声会诊远程分享系统具体包括：

云服务器，云服务器中搭建有如本发明第二方面的超声会诊远程分享平台，云服务器的数据库中储存有用户信息，且超声会诊远程分享平台能够访问数据库；

超声终端设备，超声终端设备中安装有软件，且终端设备通过软件能够与云服务器进行信息交互。

需要解释的是，用户可以是患者、超声设备操作人员、算法工程师、影像医生或远程专家等。远程专家的认证等级分为初级专家、中级专家和高级专家。用户通过终端设备向超声会诊远程分享平台发送请求远程诊断的预约指令（至少包括大致诊断时间、诊断类型、患者信息）。超声会诊远程分享平台响应预约指令生成访问该远程诊断请求的访问入口（会向其它超声终端设备进行消息推送）；若至少两名远程专家访问并确认参加，则超声会诊远程分享平台向超声终端设备发送同意的反馈信息（反馈信息至少包括参加会诊的远程专家），若没有，则反馈预约失败和/或反馈建议的预约时间。

需要理解的是，同一个患者针对同一病情的远程会诊请求（复诊），超声会诊远程分享平台会优先预约上次的远程专家。若患者需要远程会诊的时间范围内，之前的远程专家无法出席会诊，则提前调取之前的会诊记录发送给新加入的远程专家。

在一实施例中，超声会诊远程分享平台响应预约指令后，用户通过超声终端设备将采集到的本地超声影像上传到云服务器中；超声会诊远程分享平台利用已经训练好的神经网络模型初步判断上传的本地超声影像是否符合远程诊断的影像质量要求，否则超声会诊远程分享平台提示用户重新上传。

本发明的超声会诊远程分享平台会对上传的本地超声影像的影像质量进行判断，提高了远程专家远程会诊的效率。需要解释的是，用户信息包括超声设备操作人员的身份信息和远程专家的认证等级信息；；

针对本发明第一方面和第二方面中的超分辨率重建网络，超分辨率重建网络包括级联的光流网络、运动预估计算和超分辨率重建网络；基于以上结构超分辨率架构网络进行如下处理：

S310：将超声影像视频中的前一帧图像和当前帧图像在通道上进行堆叠后输入光流网络；

S320：光流网络输出超声影像视频中帧尺寸为的前一帧图像和当前帧图像间的光流场，公知的是光流场为二通道矩阵，其包括等尺寸的第一通道矩阵和第二通道矩阵，能够表示相邻帧中对应像素单元的运动矢量，其中第一通道矩阵表示相邻帧中对应像素单元的横向运动矢量，第二通道矩阵表示相邻帧中对应像素单元的纵向运动矢量；

S330：对光流场和前一帧超分辨率重建图像进行运动预估计算，经运动预估计算处理预估出当前帧恢复预估图像；

S340：根据当前帧恢复预估图像、超声影像视频中当前帧图像以及超分辨率重建网络，得到当前帧高分辨率图像；

S350：对所有帧的高分辨率重建图像按顺序组合成超分辨率重建视频。

其中S330：对光流场和前一帧超分辨率重建图像进行运动预估计算，经运动预估计算处理预估出当前帧恢复预估图像的步骤具体包括：

S331：通过第一上采样层对光流场进行上采样处理，且上采样处理的上采样因子为S1，从而将光流场放大S

S332：将上采样处理后的光流场和前一帧超分辨率重建图像进行空间变换得到当前帧恢复预估图像；

S333：对当前帧恢复预估图像进行空间转深度操作；

S334：将空间转深度操作后的前帧恢复预估图像与超声影像视频中的当前帧图像在通道上进行堆叠后输入超分辨率重建网络。

可以理解的是，运动预估网络能够根据光流场预测出当前帧恢复预估图像，其中上采样层用于对光流场进行放大，使得光流场的宽*高与前一帧超分辨率重建图像一致；空间变换层用于根据光流场和前一帧超分辨率重建图像预估出当前帧恢复预估图像，从而避免最终画质动态模糊。

所属领域的普通技术人员应当理解：以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的主旨之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。