一种基于混合现实技术的神经内镜手术可视化系统

技术领域

本发明涉及医疗器械领域，具体地说是一种基于混合现实技术的神经内镜手术可视化系统。

背景技术

神经内镜手术是一种微创手术技术，用于处理多种神经系统疾病和问题，例如颅内肿瘤、脊柱病变、颅脑损伤、脑血管病变等；手术前需要通过影像学检查精确定位病变或目标区域；医生需要以缓慢且细致的方式进行操作，同时保持手术的稳定性；每个患者的神经结构和病变情况都可能不同，因此手术需要根据个体情况制定对应的治疗方案。

传统的神经内镜手术，因为镜头与人体组织距离较近，手术过程医生往往只有镜头下方几厘米的视野，且为了提高清晰度，通常还要对镜头画面进行放大，进一步减小了医生的视野范围，致使医生无法准确判断患者整体的情况，如病灶的大小、病灶的相对位置、手术器械与病灶的相对关系等。

中国专利公告号为：CN113349914A，混合现实可视化操作系统，所述系统包括X射线定位模块、第一光学定位模块、第二光学定位模块、第一数据采集模块、第二数据采集模块、处理模块、可穿戴模块及操作模块；处理模块用于根据X射线定位信号及第一光学定位信号确定目标部位相对于第一光学定位模块的实际空间信息，并根据第一光学定位信号及第二光学定位信号确定操作模块相对于第一光学定位模块的虚拟空间信息；可穿戴模块，用于显示实际空间信息及虚拟空间信息，为操作模块提供操作信息；上述发明基于所述实际空间信息及所述虚拟空间信息可以精准确定目标部位的空间位置信息，为操作模块提供准确指引，提高对目标部位的手术成功率；但上述发明提高清晰度的同时，减小了医生的视野范围，医生无法准确判断患者整体的情况，如病灶的大小、病灶的相对位置、手术器械与病灶的相对关系等，影响手术的正常进行。

综上，因此本发明提供了一种基于混合现实技术的神经内镜手术可视化系统，以解决上述问题。

发明内容

本发明提供了一种基于混合现实技术的神经内镜手术可视化系统，通过超细神经内窥镜、终端机和头显眼镜，提供多种影像的融合视角，以解决现有技术中医生视野范围较小的问题。

本发明具体的技术方案如下：

一种基于混合现实技术的神经内镜手术可视化系统，包括超细神经内窥镜、终端机和头显眼镜；所述超细神经内窥镜包括镜杆、把手、标记器、线缆、影像接口和光源接口，所述镜杆的内部集成有电子镜头和光纤，所述把手设置在镜杆的上方，所述标记器设置在把手的两侧，所述线缆的一端设置在把手远离镜杆的一端上，所述线缆的内部包裹有数据线和光纤，所述线缆的形状是Y形，所述线缆远离把手的两端分别与影像接口和光源接口连接；所述终端机包括三维重建模块、影像配准模块、影像融合模块、语音切换模块、病灶绘制模块、方案推荐模块和病灶更新模块；所述头显眼镜包括双目相机、眼镜主体、头带、影音传输线和麦克风；所述超细神经内窥镜与终端机之间通过线缆连接，所述终端机与头显眼镜之间通过影音传输线连接。

优选的一种技术方案，所述双目相机集成有图像识别处理器，所述眼镜主体设置有用于视线追踪的红外传感器，所述图像识别处理器用于对双目相机拍摄的影像进行识别，并将识别的影像数据发送至终端机，所述红外传感器基于视线追踪原理，对医生的视线进行追踪，并将数据发送至终端机。

优选的一种技术方案，所述三维重建模块根据患者CT的影像数据，生成患者头部结构的三维模型；

所述影像配准模块用于分析患者CT和双目相机拍摄的影像数据，将三维模型与患者头部结构进行配准；

所述影像融合模块用于记录超细神经内窥镜的位置信息，并将三维重建模块中的三维模型与超细神经内窥镜和双目相机拍摄的影像进行融合；

所述语音切换模块使用头显眼镜中的麦克风采集医生的语音指令，并根据语音指令切换场景画面；

所述病灶绘制模块用于分析患者CT的影像数据，在影像融合模块融合后的影像上标注患者的病灶，并沿病灶的边界进行勾勒；

所述方案推荐模块用于分析病灶绘制模块标注的病灶，根据病灶的大小和位置关系，推荐手术方案，所述手术方案包括小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术；

所述病灶更新模块用于分析影像融合模块融合后的影像，结合病灶绘制模块标注的病灶，对手术过程中病灶的大小、形状和位置的变化进行更新。

优选的一种技术方案，所述场景画面包括现实场景、虚拟三维模型场景、内窥镜场景和混合实现场景，所述现实场景用于显示双目相机拍摄的影像，所述虚拟三维模型场景用于显示三维模型构建的虚拟影像，所述内窥镜场景用于显示超细神经内窥镜拍摄的影像，所述混合实现场景用于显示影像融合模块生成的融合影像。

优选的一种技术方案，所述三维重建模块获取患者的CT的影像数据，将三维空间划分为均匀的小立方体单元，根据CT的影像数据对每个单元赋予对应的属性值，根据单元的位置和属性值，生成三维模型。

优选的一种技术方案，所述超细神经内窥镜设置有光学深度传感器，所述影像配准模块使用视觉同步定位和建图算法，处理超细神经内窥镜拍摄的影像数据，基于光学深度传感器的检测数据，结合三维模型对超细神经内窥镜进行实时定位，所述影像配准模块使用视觉三角测量法，基于双目相机和超细神经内窥镜拍摄的影像数据，计算患者头部结构的三维坐标，根据三维坐标推导患者头部结构的三维形状，所述影像配准模块使用刚体转换法，保持三维模型形状和大小不变的前提下，对三维模型进行平移和旋转，所述影像配准模块使用迭代最近点算法，迭代计算三维形状上的点与三维模型上的最近点之间的距离，并根据距离调整三维模型的大小，所述影像配准模块使用非刚体转换法，对三维模型进行局部的拉伸、挤压和弯曲，所述影像配准模块使用最小均方配准算法，调整变换参数，将三维模型与双目相机和超细神经内窥镜拍摄的影像数据的差异最小化；

迭代最近点算法的基本步骤为：选择一个点作为当前最近点，将其设为最小距离点，对于每个数据点，计算其与当前最近点之间的距离，如果该点距离小于当前最小距离，则将该点设为最小距离点，重复上述操作，直到计算完所有数据点，返回最小距离点作为最近点。

优选的一种技术方案，所述影像融合模块使用结构光投影法，基于超细神经内窥镜拍摄的影像数据，对三维模型进行投影，使三维模型投影和超细神经内窥镜拍摄的影像处在同一个平面上，所述影像融合模块使用金字塔融合算法，将同一平面下的三维模型投影和超细神经内窥镜拍摄影像进行多尺度分解，并在相同尺度下进行合成，生成合成影像，所述影像融合模块使用图像拼接算法，提取合成影像和双目相机拍摄的影像的特征点，使用尺度不变特征变换算法将两个图像的特征点进行匹配，确定特征点在不同图像的对应关系，基于匹配的特征点对，使用随机样本一致算法，计算标定矩阵，根据标定矩阵对图像进行透视变换，使用渐变融合法将变换后的图像进行融合，生成融合影像；

尺度不变特征变换算法的基本步骤为：在特征点周围划定一个32x32像素的图像块，在该图像块中计算每个像素的梯度和方向信息，根据梯度和方向信息，生成一个针对图像块的128维描述子，对第一个图像块的描述子与第二个图像的所有图像块的描述子进行比较，使用余弦相似度法计算描述子之间的相关性，选择相关性最高的特征点对作为匹配结果；

随机样本一致算法的基本步骤为：随机选择一个最小样本集合作为初始模型参数的估计，对于每个样本集合，计算基础矩阵，对于剩余的数据点，计算其与模型之间的误差，统计在误差阈值内的数据点，作为当前模型的支持点，当支持点超过原有数据点的四分之一，将支持点导入样本集，并重复上述步骤，直到迭代n次，寻找到拟合数据的最优标定矩阵；其中迭代次数n由医生进行设置，迭代的次数越多，计算的精度越高，消耗的计算效率也越多。

优选的一种技术方案，所述语音切换模块使用语音识别算法将医生的语音指令转换为文本形式，所述语音切换模块使用自然语言处理和理解算法对于识别的文本进行解析，并根据解析结果对场景画面进行切换。

优选的一种技术方案，所述病灶绘制模块储存有医生预设病灶的形状、颜色、纹理和轮廓特征，所述病灶绘制模块使用图像分割算法，基于CT的影像数据，结合影像融合模块的融合影像，将具有病灶类似特征的区域从融合影像中分割出来，并对分割的区域进行标注，所述病灶绘制模块使用主动轮廓模型法，基于标注的病灶初始轮廓，根据影像的梯度信息和约束力迭代地调整轮廓，并根据轮廓对病灶进行勾勒。

优选的一种技术方案，所述方案推荐模块使用规则引擎，将小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术的手术方案，根据病灶的大小、形状和位置定义为预设规则，基于病灶绘制模块标注的病灶信息，应用预设规则来判断和推荐手术方案，所述病灶更新模块使用交叉微分算法，计算影像中像素点和临域像素点之间的差异，确定病灶的边缘位置，对病灶的大小、形状和位置进行更新。

与现有技术相比，本发明具有如下有益效果：

1.本发明将多个影像相结合，扩大医生在神经外科手术时的视野范围，使得医生在术中患者的病情能够有更加清晰地认识，极大地提高了手术过程中医生对于病况的判断，同时利用三维模型辅助手术，使医生在视野盲区中仍然能进行手术，为精准化的手术实施有效的依据。

2.本发明对患者的CT的影像数据进行分析，结合超细神经内窥镜拍摄的影像，标注勾勒患者病灶，分析患者病灶的大小和位置关系，推荐相应的手术方案，指导医生进行手术过程，提高了手术的效率，降低了医生的失误率。

附图说明

图1是本发明整体结构示意图。

图2是本发明超细神经内窥镜结构示意图。

图3是本发明硬件结构示意图。

图4是本发明混合现实影像显示示意图。

图中：

1、镜杆；2、把手；3、标记器；4、线缆；5、影像接口；6、光源接口；7、终端机；8、头显眼镜；9、影音传输线。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

如图1-4所示，本发明提供一种基于混合现实技术的神经内镜手术可视化系统，包括超细神经内窥镜、终端机7和头显眼镜8；所述超细神经内窥镜包括镜杆1、把手2、标记器3、线缆4、影像接口5和光源接口6，所述镜杆1的内部集成有电子镜头和光纤，所述把手2设置在镜杆1的上方，所述标记器3设置在把手2的两侧，所述线缆4的一端设置在把手2远离镜杆1的一端上，所述线缆4的内部包裹有数据线和光纤，所述线缆4的形状是Y形，所述线缆4远离把手2的两端分别与影像接口5和光源接口6连接；所述终端机7包括三维重建模块、影像配准模块、影像融合模块、语音切换模块、病灶绘制模块、方案推荐模块和病灶更新模块；所述头显眼镜8包括双目相机、眼镜主体、头带、影音传输线9和麦克风；所述超细神经内窥镜与终端机7之间通过线缆4连接，所述终端机7与头显眼镜8之间通过影音传输线9连接，所述镜杆1的外径是1.6mm。

作为本发明的一种实施方式，所述双目相机集成有图像识别处理器，所述眼镜主体设置有用于视线追踪的红外传感器，所述图像识别处理器用于对双目相机拍摄的影像进行识别，并将识别的影像数据发送至终端机7，所述红外传感器基于视线追踪原理，对医生的视线进行追踪，并将数据发送至终端机7。

作为本发明的一种实施方式，所述三维重建模块根据患者CT的影像数据，生成患者头部结构的三维模型；

所述影像配准模块用于分析患者CT和双目相机拍摄的影像数据，将三维模型与患者头部结构进行配准；

所述影像融合模块用于记录超细神经内窥镜的位置信息，并将三维重建模块中的三维模型与超细神经内窥镜和双目相机拍摄的影像进行融合；

所述语音切换模块使用头显眼镜8中的麦克风采集医生的语音指令，并根据语音指令切换场景画面；

所述病灶绘制模块用于分析患者CT的影像数据，在影像融合模块融合后的影像上标注患者的病灶，并沿病灶的边界进行勾勒；

所述方案推荐模块用于分析病灶绘制模块标注的病灶，根据病灶的大小和位置关系，推荐手术方案，所述手术方案包括小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术；

所述病灶更新模块用于分析影像融合模块融合后的影像，结合病灶绘制模块标注的病灶，对手术过程中病灶的大小、形状和位置的变化进行更新。

作为本发明的一种实施方式，所述场景画面包括现实场景、虚拟三维模型场景、内窥镜场景和混合实现场景，所述现实场景用于显示双目相机拍摄的影像，所述虚拟三维模型场景用于显示三维模型构建的虚拟影像，所述内窥镜场景用于显示超细神经内窥镜拍摄的影像，所述混合实现场景用于显示影像融合模块生成的融合影像。

作为本发明的一种实施方式，所述三维重建模块获取患者的CT的影像数据，将三维空间划分为均匀的小立方体单元，根据CT的影像数据对每个单元赋予对应的属性值，根据单元的位置和属性值，生成三维模型。

作为本发明的一种实施方式，所述超细神经内窥镜设置有光学深度传感器，所述影像配准模块使用视觉同步定位和建图算法，处理超细神经内窥镜拍摄的影像数据，基于光学深度传感器的检测数据，结合三维模型对超细神经内窥镜进行实时定位，所述影像配准模块使用视觉三角测量法，基于双目相机和超细神经内窥镜拍摄的影像数据，计算患者头部结构的三维坐标，根据三维坐标推导患者头部结构的三维形状，所述影像配准模块使用刚体转换法，保持三维模型形状和大小不变的前提下，对三维模型进行平移和旋转，所述影像配准模块使用迭代最近点算法，迭代计算三维形状上的点与三维模型上的最近点之间的距离，并根据距离调整三维模型的大小，所述影像配准模块使用非刚体转换法，对三维模型进行局部的拉伸、挤压和弯曲，所述影像配准模块使用最小均方配准算法，调整变换参数，将三维模型与双目相机和超细神经内窥镜拍摄的影像数据的差异最小化；

分析超细神经内窥镜的位置和方向的公式可表示为：

式中，p表示三维坐标中的3D点，p_proj表示将3D点通过当前估计的位姿投影到图像上得到的2D点，distance()表示2D点之间的距离度量，prior()表示位姿的先验信息，lambda表示权重参数；

视觉三角测量法的基本原理是三角形相似公式：

；

式中，边长1、边长2和边长3是已知三角形中的三边长，角1、角2和角3是对应的角度，将影像中的点视为三维坐标系中三角形的端点，即可通过多次计算得到不同点之间的位置关系；

迭代最近点算法的基本步骤为：选择一个点作为当前最近点，将其设为最小距离点，对于每个数据点，计算其与当前最近点之间的距离，如果该点距离小于当前最小距离，则将该点设为最小距离点，重复上述操作，直到计算完所有数据点，返回最小距离点作为最近点。

作为本发明的一种实施方式，所述影像融合模块使用结构光投影法，基于超细神经内窥镜拍摄的影像数据，生成影像所在的平面，并将三维模型投影到该平面上，所述影像融合模块使用金字塔融合算法，将同一平面下的三维模型投影和超细神经内窥镜拍摄影像进行多尺度分解，并在相同尺度下进行合成，生成合成影像，所述影像融合模块使用图像拼接算法，提取合成影像和双目相机拍摄的影像的特征点，使用尺度不变特征变换算法将两个图像的特征点进行匹配，确定特征点在不同图像的对应关系，基于匹配的特征点对，使用随机样本一致算法，计算标定矩阵，根据标定矩阵对图像进行透视变换，使用渐变融合法将变换后的图像进行融合，生成融合影像；

尺度不变特征变换算法的基本步骤为：在特征点周围划定一个32x32像素的图像块，在该图像块中计算每个像素的梯度和方向信息，根据梯度和方向信息，生成一个针对图像块的128维描述子，对第一个图像块的描述子与第二个图像的所有图像块的描述子进行比较，使用余弦相似度法计算描述子之间的相关性，选择相关性最高的特征点对作为匹配结果；

随机样本一致算法的基本步骤为：随机选择一个最小样本集合作为初始模型参数的估计，对于每个样本集合，计算基础矩阵，对于剩余的数据点，计算其与模型之间的误差，统计在误差阈值内的数据点，作为当前模型的支持点，当支持点超过原有数据点的四分之一，将支持点导入样本集，并重复上述步骤，直到迭代n次，寻找到拟合数据的最优标定矩阵；其中迭代次数n由医生进行设置，迭代的次数越多，计算的精度越高，消耗的计算效率也越多。

作为本发明的一种实施方式，所述语音切换模块使用语音识别算法将医生的语音指令转换为文本形式，所述语音切换模块使用自然语言处理和理解算法对于识别的文本进行解析，并根据解析结果对场景画面进行切换。

作为本发明的一种实施方式，所述病灶绘制模块储存有医生预设病灶的形状、颜色、纹理和轮廓特征，所述病灶绘制模块使用图像分割算法，基于CT的影像数据，结合影像融合模块的融合影像，将具有病灶类似特征的区域从融合影像中分割出来，并对分割的区域进行标注，所述病灶绘制模块使用主动轮廓模型法，基于标注的病灶初始轮廓，根据影像的梯度信息和约束力迭代地调整轮廓，并根据轮廓对病灶进行勾勒。

作为本发明的一种实施方式，所述方案推荐模块使用规则引擎，将小型病灶切除、脑室镜手术、经鼻内镜颅底手术和经颅锁孔手术的手术方案，根据病灶的大小、形状和位置定义为预设规则，基于病灶绘制模块标注的病灶信息，应用预设规则来判断和推荐手术方案，所述病灶更新模块使用交叉微分算法，计算影像中像素点和临域像素点之间的差异，确定病灶的边缘位置，对病灶的大小、形状和位置进行更新；

交叉微分算法使用以下公式来计算差异：

；

式中，l(x,y)是影像中坐标为(x,y)的坐标值，通过计算像素点与其右侧像素点以及下方像素点之间的差异，来评估像素点的梯度，从而识别出影像的边缘和纹理等特征。

实施例：如图1-4所示，本实施例以某患者在医院进行神经内镜手术为例；患者首先在医院进行头部CT，医生拿到患者的CT的影像数据后，使用三维重建模块生成患者头部结构的三维模型；随后医生进行手术初期的准备工作，在患者头部切开微创切口，将超细神经内窥镜探入患者头部，其中镜杆1采用细小圆柱结构，尺寸小、重量轻，可短期放置于颅内，内部集成电子镜头和穿光光纤，实时采集患者颅内病灶影像，标记器3是一种现有的光线发射器，发生光线形成异性标记点，光源接口6是一种螺纹接口，用于获取光源到超细神经内窥镜；影像接口5是一种航空插头，连接系统主机，用于影像的传输，航空插头的连接处能够自动锁紧，不易出现脱落，保证连接的可靠性。

随后医生头戴头显眼镜8，使用头显眼镜8上的双目相机对患者头部进行拍摄，且此时超细神经内窥镜对患者头部的内部结构进行拍摄，影像配准模块使用视觉同步定位和建图算法对超细神经内窥镜进行实时定位，标记器3形成的异性标记点作为一种特征点，辅助影像配准模块计算患者头部结构的三维坐标，影像配准模块根据三维坐标推导患者头部结构的三维形状，将三维模型与双目相机和超细神经内窥镜拍摄的影像进行配准；配准完成后的三维模型在头显眼镜8和终端机7上进行显示。

同时，终端机7上的影像融合模块将三维模型与超细神经内窥镜和双目相机拍摄的影像进行融合，生成融合影像；由于三维模型附带大量的三维坐标数据，终端机7利用三维坐标数据，在融合影像上显示三维坐标提示信息，并显示患者头部各结构的相对位置关系，实现混合现实的技术效果。

由于终端机7上的病灶绘制模块储存有医生预设病灶的形状、颜色、纹理和轮廓特征，此时病灶绘制模块使用图像分割算法，将具有病灶类似特征的区域从融合影像中分割出来，并对分割的区域进行标注，使用主动轮廓模型法对病灶进行勾勒。

同时终端机7上的方案推荐模块使用规则引擎，应用预设规则来判断和推荐手术方案；最后医生根据推荐的手术方案，在标注勾勒的病灶辅助下，进行手术。

手术进行过程中，终端机7和头显眼镜8上可显示现实场景、虚拟三维模型场景、内窥镜场景和混合实现场景，医生可以根据手术需求发出语音指令，语音切换模块使用语音识别算法将医生的语音指令转换为文本形式，使用自然语言处理和理解算法对于识别的文本进行解析，并根据解析结果对场景画面进行切换；此外，头显眼镜8上设置红外传感器，使头显眼镜8具备视线追踪功能，可对医生的视线进行追踪，获取医生视线的焦点位置，并对视线焦点的图像信息进行扩展显示；病灶更新模块使用交叉微分算法，计算影像中像素点和临域像素点之间的差异，确定病灶的边缘位置，对病灶的大小、形状和位置进行更新，避免因手术中病灶的形状位置出现变化，造成手术失误。

本发明的实施方式是为了示例和描述起见而给出的，尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。