一种基于荧光手术放大眼镜的影像处理系统及方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于荧光手术放大眼镜的影像处理系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

手术放大眼镜在外科手术中的使用广泛，如心脏外科、眼科和显微外科、整形外科、器官移植外科、乳腺修复外科等涉及到血管吻合，血管搭桥、淋巴管吻合等均用到手术放大眼镜。

手术放大镜作为常规显微设备用于手术解剖组织的放大，精细缝合操作。配置情况有两种，一种为头戴式可调节瞳距的2.5倍，3.5倍，或4.5倍、5倍放大镜筒。第二种高端产品为定制式眼镜式放大镜，放大倍数2倍-5倍不等，现有手术放大镜为采用伽利略光学立体汇聚观察技术，将观察者的双目视线立体汇聚于窄腔内，产生一个明亮放大的三维视野，为检查和治疗提供独特的立体深层景象。集眼镜，反光碗镜、头灯和双目放大镜等功能于一体。

近红外荧光成像(Near-infrared fluorescence imaging)以其成像灵敏、快速等优势广泛应用于医学和生物学领域。其方法是将具有由近红外波长的激发光照射能发出荧光的造影剂进行生物体成像，从而反应病变组织的生理学变化；但是近红外图像只能显示出目标的大致轮廓，目标与背景的对比度较低、边缘模糊、细节无法分辨。

术中血管以及淋巴管吻合效果的评估对于手术放大眼镜下操作是个盲区，目前没有技术可以实现在手术放大眼镜下荧光造影并通过影像工作站术中评估手术效果的技术。对于肿瘤的处理也存在无法在手术放大眼镜下进行造影实时观察并进行手术方案指导的技术。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于荧光手术放大眼镜的影像处理系统及方法。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

本发明第一方面提供了一种基于荧光手术放大眼镜的影像处理系统，包括荧光手术放大眼镜以及影像工作站；

所述荧光手术放大眼镜包括眼镜主体，以及设置在眼镜主体上的微型头灯、放大目镜以及微型摄像机；所述微型头灯一端可拆卸连接滤光片；

所述眼镜主体为头戴式眼镜主体，所述眼镜主体两侧设置放大目镜；

所述眼镜主体的中上部设置微型头灯，所述微型头灯用于在手术过程中根据需要提供不同的光源；所述微型头灯的下方设置微型摄像机，所述微型摄像机用于获取手术过程中的手术图像；

所述荧光手术放大眼镜与影像工作站进行数据交互，影像工作站获取荧光手术放大眼镜拍摄的手术图像并且对手术图像进行分析处理，实现肿瘤或者斑块的自动识别标定及空间定位。

本发明第二方面提供了一种基于荧光手术放大眼镜的影像处理方法，包括：

佩戴荧光手术放大眼镜，根据需要调增合适光源，将荧光造影剂注入目标血管或组织，利用微型摄像机获取彩色图像以及荧光图像；

将获取的彩色图像以及荧光图像传输给影像工作站；

影像工作站对图像进行识别分类；

将识别分类后的肿瘤图像在荧光手术放大眼镜及影像工作站上进行显示。

以上一个或多个技术方案存在以下有益效果：

(1)本发明通过在手术放大眼镜上增设白光、近红外一体式微型摄像机，以及增加头灯照射白光或者合适波长光源至解剖部位，可直接切换手术画面和造影画面。荧光手术放大眼镜通信连接影像工作站，实现手术画面存储以及造影画面术中评估的目的。

(2)本发明分别提取肿瘤区域的纹理特征和深度特征，并对多种特征进行融合，利用支持向量机构建肿瘤识别模型有效实现了肿瘤荧光图像的自动化准确识别。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为实施例1的荧光放大眼镜的结构示意图。

图2为实施例1的图像处理子系统结构图。

图3为实施例2的图像处理流程图。

图中，1、眼镜主体，2、滤光片，3、微型头灯，4、放大目镜，5、白光、近红外光一体式微型摄像机。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

实施例一

本发明提出一种基于荧光手术放大眼镜的影像处理系统，包括：荧光手术放大眼镜，供电电源以及影像工作站；

如图1所示，荧光手术放大眼镜包括眼镜主体1，在眼镜主体上设置微型头灯3、放大目镜4以及微型摄像机5，眼镜主体内设置微处理器、通讯模块以及内存储器，微处理器分别与通讯模块以及内存储器连接；

眼镜主体包括镜架以及镜片，放大目镜设置在镜片上，两个镜片之间设置鼻托，微型摄像机和微型头灯通过支架设置在鼻托上，并且微型头灯设置在微型摄像机的上方，微型头灯一端可拆卸连接滤光片；

眼镜主体为头戴式并且嵌入放大目镜，放大目镜为2.0-5.0倍放大，根据医生需要进行定制，用于在手术中实现对解剖组织光学放大；医生通过手术放大目镜直接观察影像工作站显示屏，实现手术中评估，造影影像同时保存在工作站，方便以后查阅、留档、学习研究；滤光片可选为400纳米滤光盖片；

微型摄像机为白光、近红外一体式摄像机，既可在白光光源下实时录制手术画面，又可荧光光源下，切换至近红外模式拍摄手术部位注射造影剂画面；内存储器连接微型摄像机，用于将拍摄的图像进行存储，微处理器控制通讯模块与影像工作站进行数据交互，将存储的图像发送至影像工作站，同时将影像工作站处理后的图像通过荧光手术放大眼镜显示；

微型头灯用于在手术过程中根据需要提供不同的光源；荧光手术放大眼镜用于获取手术过程中的手术画面，并将手术画面传输给影像工作站；影像工作站用于对造影影像进行分析处理，实现肿瘤或者斑块的自动识别标定及空间定位。

供电电源的电源输出端与手术放大眼镜的微型头灯、微型相机，内存储器、通讯模块、处理器等连接供电，医生在使用时将其悬挂在腰间。

如图2所示，影像工作站为电脑、平板、笔记本等设备，可实现对图像的存储、分析和处理功能。影像工作站包括图像处理子系统，图像处理子系统包括：图像预处理模块，用于基于图像去噪和增强对比度对荧光图像进行预处理；图像特征提取模块，用于对预处理后的图像进行特征提取，提取图像的纹理特征和深度特征；肿瘤分类识别模块，用于基于训练完成的肿瘤识别模型实现肿瘤或者斑块的自动识别标定；肿瘤边界叠加模块，用于将肿瘤区域的边界轮廓叠加到彩色图像中；图像显示模块：用于对手术过程中的手术图像以及识别后的图像进行显示。

进一步的，基于荧光图像，将荧光信号转换为灰度值生成灰度映射图像：

其中，I为包含荧光信号的图像，I

基于灰度映射图像，依次通过小波变换、中值滤波、均值滤波对图像进行降噪处理；

对降噪处理后的灰度映射图像进行对比度自动调节，得到预处理后的灰度图像，

I

其中，C

进一步的，在图像特征提取模块中，对预处理后的荧光图像的纹理特征和深度特征进行多重特征提取；

纹理特征以预处理后的荧光图像的肿瘤ROI区域图像作为提取对象，提取的纹理特征有均值、方差、偏斜度、峰值和能量；

均值(Mean)计算公式如下：

其中，h

方差(Variance)计算公式如下：

偏斜度(Skewness)计算公式如下：

峰值(Kurtosis)计算公式如下：

能量(Energy)计算公式如下：

对ROI区域图像提取深度特征，利用深度残差网络从池化层中提取深度学习特征，然后进行归一化操作，得到深度学习特征向量；

进一步的，在肿瘤分类识别模块中，基于支持向量机SVM构建肿瘤识别模型，并对肿瘤识别模型进行训练，将待识别的荧光图像输入训练好的肿瘤识别模型，完成荧光图像中的肿瘤类型的识别；

肿瘤识别模型训练过程中，对SVM进行参数优化；其中，SVM核函数为高斯径向基核函数，肿瘤识别模型训练过程中自动选取径向基核函数的参数C和g，在遍历C，g范围的同时，对于每个不同的C，g组合，用网络搜索法的交叉验证算法确定该参数下准确率最高的组值作为C，g最优参数；

进一步的，边界提取模块，利用传统的数字图像处理算法，对提取的纹理特征已经深度特征进行处理，得到肿瘤的边界轮廓，通过区分肿瘤组织和健康组织实现肿瘤组织边界的精准定位；

考虑到单独显示的近红外图像只能显示出肿瘤区域的大致轮廓，边缘模糊、细节无法分辨的问题；而单独显示的彩色图像则无法显示肿瘤区域轮廓信息的问题；

本实施例在获得肿瘤组织的边界后，将肿瘤组织边界叠加在彩色图像上，然后由影像工作站进行显示，为临床医生进行肿瘤切除手术提供科学依据。

实施例二

本实施例提供一种基于荧光手术放大眼镜的影像处理方法，基于实施例一中的一种基于荧光手术放大眼镜的影像处理系统，包括：

佩戴荧光手术放大眼镜，根据需要调增合适光源，注入造影剂，利用微型摄像机获取彩色图像以及荧光图像；

具体的，在将荧光造影剂注入目标血管或组织后，将光源调整为近红外光光源，由近红外波长的激发光照射能发出荧光的造影剂进行生物体成像，从而反应病变组织的生理学变化；彩色摄像头与LED光源配合，近红外光源与近红外摄像头配合，摄取患者肿瘤区域的彩色图像以及肉眼看不到的近红外光学图像；

将获取的彩色图像以及荧光图像传输给影像工作站；

影像工作站对图像进行识别分类；

具体的，影像工作站内运行图像处理子系统，对荧光图像进行识别，将肿瘤区域与非肿瘤区域进行分类，并将肿瘤区域的边界轮廓叠加在彩色图像上，为临床医生进行肿瘤切除手术提供科学依据；

将识别分类后的肿瘤图像在荧光手术放大眼镜及影像工作站上进行显示；

具体的，通过佩戴荧光手术放大眼镜，不仅可以实现实时对手术中图像的拍摄，并上传至影像处理工作站，医务人员通过影像处理工作站观察手术中的图像，荧光手术放大眼镜还将处理后的图像进行显示，实现了手术过程中多名医务人员的同时监控，方便了对患者病情的综合会诊。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。