手术辅助方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其是涉及一种手术辅助方法、装置、设备及存储介质。

背景技术

传统的骨科手术需要手术医师使用大量的工具器械进行辅助手术，由于缺少相应的手术辅助系统，手术医师必须掌握工具器械的设计原理，熟悉其使用方法；手术过程高度依赖于医生的临床经验、医疗水平和医生实时状态；且由于手术过程不能观察到人体内部结构，只能依赖于医生经验进行手术，从而导致手术效率低、手术效果不稳定的问题。因此，亟需一种能够辅助医生提高手术效率和提高手术效果稳定性的方案。

发明内容

本发明旨在提供一种手术辅助方法、装置、设备及存储介质，以解决上述技术问题，从而能够辅助医生提高手术效率和提高手术效果稳定性。

为了解决上述技术问题，本发明提供了一种手术辅助方法，包括：

基于目标病人的医学图像数据构建患者三维模型并显示至显示模块；

基于用户针对所述患者三维模型的测量操作指令获取待手术部位的测量信息；

对所述目标病人的实体骨骼与所述患者三维模型进行配准；

获取手术器具的实时光学定位信息，并基于所述实时光学定位信息将预先构建的手术器具模型实时显示至所述显示模块。

进一步地，所述的手术辅助方法还包括：

基于所述目标病人的医学图像数据生成二维图形数据，并根据用户选择指令将所述二维图形数据显示至所述显示模块；其中，所述二维图形数据包括正视图显示数据、侧视图显示数据和俯视图显示数据。

进一步地，所述对所述目标病人的实体骨骼与所述患者三维模型进行配准，包括：

采用光学定位系统获取所述目标病人的实际空间表面信息，将所述目标病人的实际空间表面信息与所述目标病人在图像空间中提取的表面信息进行匹配及校准。

进一步地，所述的手术辅助方法还包括：

采用光学定位系统获取所述目标病人的待手术部位的标记信息，基于所述标记信息确定所述目标病人的待手术部位相对于预设参考标记物的相对位置信息，并基于所述相对位置信息对所述患者三维模型进行实时追踪定位并显示至所述显示模块。

进一步地，所述患者三维模型的显示模式包括360度旋转显示模式、放大显示模式和缩小显示模式。

进一步地，所述待手术部位的测量信息包括关节大小和关节角度。

进一步地，所述医学图像数据包括电子计算机断层扫描数据和核磁共振成像扫描数据。

本发明还提供一种手术辅助装置，包括：

模型构建模块，用于基于目标病人的医学图像数据构建患者三维模型并显示至显示模块；

信息测量模块，用于基于用户针对所述患者三维模型的测量操作指令获取待手术部位的测量信息；

模型配准模块，用于对所述目标病人的实体骨骼与所述患者三维模型进行配准；

器具追踪模块，用于获取手术器具的实时光学定位信息，并基于所述实时光学定位信息将预先构建的手术器具模型实时显示至所述显示模块。

本发明还提供一种终端设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述计算机程序时实现任一项所述的手术辅助方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述的手术辅助方法。

与现有技术相比，本发明具有如下有益效果：

本发明提供了一种手术辅助方法、装置、设备及存储介质，所述方法包括：基于目标病人的医学图像数据构建患者三维模型并显示至显示模块；基于用户针对所述患者三维模型的测量操作指令获取待手术部位的测量信息；对所述目标病人的实体骨骼与所述患者三维模型进行配准；获取手术器具的实时光学定位信息，并基于所述实时光学定位信息将预先构建的手术器具模型实时显示至所述显示模块。本发明能够将病人的骨骼以三维影像的方式进行显示，并对手术器具进行位置跟踪并通过对应的模型进行实时显示，从而能够辅助医生提高手术效率和提高手术效果稳定性。

附图说明

图1是本发明提供的手术辅助方法的流程示意图之一；

图2是本发明提供的手术辅助方法的流程示意图之二；

图3是本发明提供的手术辅助装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参见图1，本发明实施例提供了一种手术辅助方法，可以包括步骤：

S1、基于目标病人的医学图像数据构建患者三维模型并显示至显示模块；进一步地，所述医学图像数据包括电子计算机断层扫描数据和核磁共振成像扫描数据；进一步地，所述患者三维模型的显示模式包括360度旋转显示模式、放大显示模式和缩小显示模式；

S2、基于用户针对所述患者三维模型的测量操作指令获取待手术部位的测量信息；进一步地，所述待手术部位的测量信息包括关节大小和关节角度；

S3、对所述目标病人的实体骨骼与所述患者三维模型进行配准；

S4、获取手术器具的实时光学定位信息，并基于所述实时光学定位信息将预先构建的手术器具模型实时显示至所述显示模块。

需要说明的是，步骤S1首先根据病人的医学图像数据(包括CT数据或MR数据等)构建成三维模型并显示出来，支持360度旋转显示以及放大缩小等功能，医生可以通过三维模型全方位观察病人的骨骼等信息，便于掌握病人更详细的信息；医生可以通过在软件中进行划线等简单操作测量病人信息，例如关节大小、关节角度等；通过步骤S3对病人的实体骨骼和三维模型进行配准，最后通过手术器具的光学定位信息对手术器具模型进行实时跟踪显示，以便医生更准确地对病人的手术部位进行精准的手术。

本发明实施例能够将病人的骨骼以三维影像的方式进行显示，并对手术器具进行位置跟踪并通过对应的模型进行实时显示，从而能够辅助医生提高手术效率和提高手术效果稳定性。

在本发明实施例中，进一步地，所述的手术辅助方法还包括：

基于所述目标病人的医学图像数据生成二维图形数据，并根据用户选择指令将所述二维图形数据显示至所述显示模块；其中，所述二维图形数据包括正视图显示数据、侧视图显示数据和俯视图显示数据。

需要说明的是，本发明实施例可以根据病人的医学图像数据生成正视图、侧视图和俯视图等二维图形，方便医生更好地观察和掌握病人的情况。

在本发明实施例中，进一步地，所述对所述目标病人的实体骨骼与所述患者三维模型进行配准，包括：

采用光学定位系统获取所述目标病人的实际空间表面信息，将所述目标病人的实际空间表面信息与所述目标病人在图像空间中提取的表面信息进行匹配及校准。

需要说明的是，本发明实施例可以通过光学方法来对实体骨骼与三维模型进行校准。

在本发明实施例中，进一步地，所述的手术辅助方法还包括：

采用光学定位系统获取所述目标病人的待手术部位的标记信息，基于所述标记信息确定所述目标病人的待手术部位相对于预设参考标记物的相对位置信息，并基于所述相对位置信息对所述患者三维模型进行实时追踪定位并显示至所述显示模块。

需要说明的是，由于手术过程中病人的身体也会发生变动，因此需要根据标记信息和参考物信息对病人身体位置进行跟踪，并通过三维模型对病人身体进行同步追踪显示，从而提高医生手术精准度。

基于上述方案，为便于更好的理解本发明实施例提供的手术辅助方法，以下进行详细说明：

需要说明的是，传统骨科手术，医生无法观察到人体内部结构，只能依赖医生经验。存在手术创伤大、手术有很多创伤风险，手术效果不稳定、出血多且病人手术部位需要多次回血、术后的康复周期长、并发症概率高、开放术后的疤痕大等等缺点。传统的踝关节置换手术，具有手术技术壁垒高、手术效果不稳定、开展手术过程中流程较复杂、手术时间长(大部分需4小时以上)、术中透视次数较多(100次以上)、学习曲线长等等缺点。利用传统骨科手术机器人辅助手术，由于机器人手术在操作时需要有足够的操作空间，一旦空间较小，操作范围不够，就无法进行手术；机器人手术操作的方向是固定的，在手术过程中如果需要调整位置、方向或者角度，就需要测量机器，重新打孔，架设机器，重新进行手术过程；机器人微创手术对于慢性炎症的治疗存在一定的不足，炎症组织黏连紧密，机器人手术容易造成组织破坏；除此之外，机器人微创手术在操作上也存在着一定的局限性，如果肿块过大，出血等都不利于机器人手术的进行；另外通过机器人做外科手术的成本比较高。

综上所述，传统骨科手术中一般要用到大量的工具器械，手术医师必须掌握工具器械的设计原理，熟悉其使用方法，因此传统的骨科手术高度依赖医生的临床经验和医疗水平、医生实时状态。现有的骨科手术还存在以下待解决问题：

1、手术创伤大：加大了感染，失血的风险、后续康复流程长、手术并发症几率增高、病人疼痛和疤痕。

2、手术效果不稳定：影响手术效果很多：医生的手部震颤、病人抖动、人员疏忽等都会对手术效果造成不好的影响；

3、手术耗时过长：一般踝关节置换术需要4小时左右，对于手术人员和病人的状态都是很大的考验。

4、手术中透视次数多：对医生病人造成极大伤害。

5、学习曲线长：开展手术过程中流程较复杂，需要专业水平高的医师才能操刀手术。

6、骨科手术机器人还不能支持踝关节相关手术。

针对上述问题，本发明实施例提供一套软硬件结合的智能系统，支持包括踝关节置换在内的各种手术场景。

请参见图2，软件中带有很多医学影像相关的组件，每个组件都有其特定功能，主要功能组件依次介绍：

1)三维重建：使用图形算法基于CT/MR序列构造对应人体区域的三维影像并显示。

CT三维重建指的是一种医学影像后处理的技术，通过常规的螺旋CT扫描可以得到一组CT序列数据，在此基础上，将扫描所获得的容积数据进行后处理，重建出直观的立体图像。

在软件中可以在电脑中选取一组病人手术部位的CT序列(可以通过U盘复制)，输入病人的基本信息(姓名等)，等待10s左右，软件会自动生成病人三维影像。

2)二维/三维预览：

在软件中支持从正视图、侧视图、俯视图三个方位查看病人CT信息；一般一个CT信息会有很多图层，在软件中也支持各个图层的浏览。重建后的三维图像支持360度旋转，放大缩小等操作。

3)三维模型信息测量：

医生在软件中，可以通过简单的操作(例如划线)，软件界面会基于医生的操作测量病人信息，如关节大小、关节角度等。

4)配准算法：

配准指的是将模型与实体骨骼位置一一对应的过程。

作为举例，实体骨骼与三维模型的位置配准可以通过以下步骤实现：

S1获取含标记点的图像数据：将标记点贴在患者病灶附近的皮肤表面上，对病灶部位进行计算机断层扫描或核磁共振成像扫描，得到含有标记点的图像数据；

S2构建标记点模型：根据步骤1)所述标记点的实际尺寸，以标记点中心为坐标原点，建立坐标系，搭建三角形网格，得到标记点模型；

S3将步骤1)获取的图像数据读入，对图像进行三维各向异性扩散滤波，自动从图像上提取皮肤三维网格；所述皮肤三维网格的提取方法为：a)计算皮肤的灰度阈值，对图像二值化处理；b)采用数学形态学方法处理二值图像，得到皮肤的像素级三维网格；c)还原表面像素区域的灰度值，并依据图像空间坐标系，用移动立方体算法对此灰度图像三维重建，得到精确的亚像素级皮肤三维网格；

S4采用ICP算法匹配标记点模型和步骤3)所提取的皮肤三维网格，获取皮肤三维网格上每个标记点中心在图像空间坐标系中的坐标；

S5、采用ICP算法匹配图像空间中的标记点中心与实际空间中的标记点中心，得到图像空间坐标系和实际空间坐标系之间的旋转矩阵R和平移向量T，完成标记点的注册，其中实际空间为手术时患者所在的空间。

5)工具建模：

对一些需要的手术工具进行三维等比例建模，在需要的时候可以显示在软件界面三维影像中，用于手术过程的可视化。

6)导航定位：基于光学定位系统，对一些特定的标记物品进行跟踪显示。在手术过程中把一些标记物品固定在病人和手术器械上，通过实时模拟显示患者三维模型和手术使用的工具，辅助操刀医生完成对手术路径的定位。

7)手术可视化：

以下举例进行说明：

手术场景：需要对胫骨的某一个位置打入一颗植入钉。这个场景的软件步骤如下：

a.通过CT数据生成三维影像，可以在软件中查看图像，获得病人更详细的信息。

b.医生可以在软件测量出病人骨头的大小，从而选择一个合适尺寸的植入钉。

c.医生可以在三维影像中选择一个合理的植入位置。

d.软件基于配准算法把病人骨头实体和三维影像一一对应。

e.进入医生手术环节，光学定位系统对医生手中的一个植入钉进行追踪，并在在软件三维图形中实时显示这个植入钉的模型，通过如此步骤，医生可以快速的把植入钉放置在先前规划的位置。

本发明实施例的手术辅助系统的硬件部分包含一套电脑、一个定位系统、整机台车等；其中光学定位系统包含配套调用程序，可安装在电脑上。需要说明的是，光学定位系统是机器人的眼睛，是一种基于双目立体视觉进行跟踪和定位的光学导航设备；光学定位系统将一些定制的反光标记物附接在患者手术部位，基于由光学定位系统捕获的图像来确定患者标记物相对于参考标记物的位置，实时追踪患者的身体部位移动的信息。

通过本发明实施例，可以实现相对传统骨科手术的很多优点：创口小、手术时间短、并发症少、定位更加精确、缩短手术学习曲线，更加重要的是手术实时可视化，保证了手术安全。

需要说明的是，对于以上方法或流程实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作并不一定是本发明实施例所必须的。

请参见图3，本发明实施例还提供一种手术辅助装置，包括：

模型构建模块1，用于基于目标病人的医学图像数据构建患者三维模型并显示至显示模块；

信息测量模块2，用于基于用户针对所述患者三维模型的测量操作指令获取待手术部位的测量信息；

模型配准模块3，用于对所述目标病人的实体骨骼与所述患者三维模型进行配准；

器具追踪模块4，用于获取手术器具的实时光学定位信息，并基于所述实时光学定位信息将预先构建的手术器具模型实时显示至所述显示模块。

可以理解的是上述装置项实施例，是与本发明方法项实施例相对应的，本发明实施例提供的一种手术辅助装置，可以实现本发明任意一项方法项实施例提供的手术辅助方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述的手术辅助方法。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

所述领域的技术人员可以清楚地了解到，为了方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。

终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。

所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述存储介质为计算机可读存储介质，所述计算机程序存储在所述计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。