一种用于神经外科手术显微镜的辅助系统

技术领域

本发明涉及神经外科手术显微镜技术领域，具体涉及一种用于神经外科手术显微镜的辅助系统。

背景技术

神经外科手术是一种高技术含量的医疗操作，主要用于治疗各种神经系统疾病，如脑瘤、脑血管疾病、脑外伤等。随着医学技术的不断进步，神经外科手术的技术也在不断发展和改进，其中，显微镜技术是神经外科手术中最重要的工具之一。通过手术显微镜，医生可以放大手术视野，更准确地观察神经系统结构，从而更精确地切除病变组织，但是显微镜的视野范围相对较小，这增加了手术操作的难度导致对进行手术的医生要求较高，并且，由于显微镜手术的操作难度较高，因此手术时间相对较长，在手术过程中医生在对组织进行操作时出现误操作的几率会增大。

发明内容

本发明实施例提供了一种用于神经外科手术显微镜的辅助系统，用于解决上述通过手术显微镜进行手术过程中出现的手术操作的难度大导致对进行手术的医生要求较高以及手术时间相对较长，在手术过程中医生在对组织进行操作时出现误操作的几率会增大的问题。

一种用于神经外科手术显微镜的辅助系统，包括：

采集装置，用于采集手术显微镜的显微图像上传至服务器；

移动显示装置，用于显示所述服务器处理过的显微图像；

语音交互装置，与所述服务器通信连接，用于接收或上传语音数据到所述服务器；

可见光图像采集装置，与所述服务器通信连接，用于采集医生足部的图像上传至所述服务器；

所述服务器上设置有数据处理系统，用于对上传的显微图像进行识别，并对显微图像上识别的组织进行标注后发送至所述采集装置和/或AR眼镜和/或MR眼镜上显示，还用于对接收的语音指令进行识别以及反馈语音到所述语音交互装置进行播放，以及根据医生足部的图像识别对应的指令，并对指令进行执行；

所述服务器还用于对接收医疗数据或上传至所述服务器的上述数据进行处理后得到文字和/或图案在所述移动显示装置、所述采集装置和/或AR眼镜和/或MR眼镜上显示，所述采集装置、所述移动显示装置、所述AR眼镜、所述MR眼镜上的显示界面的布局保持一致。

进一步的，所述采集装置包括两个并排设置的外筒，两个所述外筒通过固定架件连接，在所述固定架的内部设置有控制器，在所述外筒靠近所述手术显微镜目镜的一端设置有连接部，所述连接部连接在所述手术显微镜目镜上，在两个所述外筒的内部均依次设置有用以捕获所述手术显微镜目镜处显微图像的图像接收部以及用以显示图像的显示部和透镜。

进一步的，所述控制器的信号输出端与所述显示部和所述服务器的信号输入端通信连接，所述控制器的信号输入端与所述图像接收部和所述服务器的信号输出端通信连接。

进一步的，所述移动显示装置包括可移动的移动立架以及安装在所述移动立架上的图像显示器，所述图像显示器的信号输入端与所述服务器的信号输出端通信连接。

进一步的，所述语音交互装置、所述AR眼镜、和所述MR眼镜的信号输入端与所述服务器的信号输出端通信连接，所述可见光图像采集装置和所述语音交互装置的信号输出端与所述服务器的信号输入端通信连接。

进一步的，所述数据处理系统包括数据采集模块、识别模块、三维动线标记模块、极值边界标记模块和辅助交互模块；

所述数据采集模块用于采集所述采集装置、所述可见光图像采集装置和所述语音交互装置上传至所述服务器的显微图像、医生足部的图像、语音数据；

所述识别模块用于对上述采集的数据进行识别，得到组织识别结果、动作识别结果和语音识别结果；

所述三维动线标记模块用于根据组织识别结果，对各个组织进行标记；

所述极值边界标记模块用于根据上述标记以及组织识别结果计算各个组织的边界危险极值并使用边界线进行标记；

所述辅助交互模块用于根据所述三维动线标记模块和所述极值边界标记模块的标记，在显微图像上进行对应的标记，并在显示界面的显微图像显示区进行显示，还用于根据对显微图像识别的结果在显微图像上组织对应的使用文字或图案进行标注，并在所述显示界面的显微图像显示区进行显示；

所述辅助交互模块还用于根据动作识别结果执行对应的操作指令；

所述辅助交互模块还用于根据语音识别结果执行对应的操作指令；

所述辅助交互模块还用于根据采集的监测数据，在所述显示界面的生理数据显示区显示病患的医疗监测数据；

所述辅助交互模块还用于在所述显示界面的手术流程显示区显示手术流程信息以及在所述显示界面的提醒事项显示区显示手术提醒事项；

所述辅助交互模块还用于对手术流程信息、手术提醒事项、组织识别结果进行分析，并在所述显示界面的手术建议显示区使用文字显示手术建议或通过所述语音交互装置输出语音。

进一步的，所述数据采集模块包括图像采集器a、图像采集器b、语音采集器和监测数据采集器；

所述图像采集器a适于采集所述采集装置捕获的显微图像；

所述图像采集器b适于采集所述可见光图像采集装置捕获的医生足部的图像；

所述语音采集器适于采集医生输出的语音；

所述监测数据采集器适于采集病患的医疗监测数据。

进一步的，所述识别模块包括组织识别单元、动作识别单元和语义识别单元；

所述组织识别单元适于对采集的显微图像进行特征提取并识别出组织的类型和范围；

所述动作识别单元适于对采集的医生足部的图像进行动作特征提取并识别出动作对应的操作指令；

所述语义识别单元适于对采集的医生输出的语音进行语义分析，识别出语音对应的操作指令。

进一步的，所述三维动线标记模块包括组织边界标记单元、肿瘤边界标记单元；

所述组织边界标记单元适于根据识别出的组织类型和范围对其边缘进行识别并使用边界线一进行标记；

所述肿瘤边界标记单元适于根据识别出的组织类型和范围对识别出的肿瘤边缘进行识别并使用边界线二进行标记。

进一步的，所述极值边界标记模块包括极值边界计算单元和极值边界标记单元；

所述极值边界计算单元适于根据识别出的组织类型和范围以及边界线一和边界线二计算各个组织的边界危险极值；

所述极值边界标记单元适于根据计算得到的各个组织的边界危险极值使用边界线三对各个组织的边界进行标记。

本发明实施例提供的上述技术方案的有益效果至少包括：

1、通过采集手术显微镜获取的显微图像，对图像进行分析后使用文字/图像、边界线一～三对各个组织进行标记，便于医生在手术过程中对组织的范围、操作距离进行识别，便于医生对组织以及组织的边界进行识别，在降低对医生的要求的同时还能避免医生出现误操作。

2、还可根据对手术流程信息、手术提醒事项、组织识别结果进行分析并使用文字显示手术建议或通过语音交互装置输出语音对医生进行提示，在减轻医生手术过程的这个负担外还能起到降低对医生的要求的效果。

3、能对医生的足部图像或医生的语音进行识别，并执行对应的操作指令，便于医生在手术过程中与本辅助系统进行交互。

4、能通过AR眼镜、MR眼镜或采集装置显示经过标注后的图像，可根据实际情况选择合适的交互方式，提升使用过程中的便利性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例公开的辅助系统的结构组成示意图；

图2为本发明实施例公开的采集装置与手术显微镜的位置关系结构示意图；

图3为本发明实施例公开的采集装置的剖视结构示意图；

图4为本发明实施例公开的辅助系统的通信框图；

图5为本发明实施例公开的辅助系统的通信结构示意图；

图6为本发明实施例公开的显微图像标注示意图。

附图标记：

1、采集装置；11、外筒；12、连接部；13、固定架；14、图像接收部；15、显示部；16、透镜；17、控制器；2、移动显示装置；21、移动立架；22、图像显示器；3、服务器；4、数据处理系统；41、数据采集模块；411、图像采集器a；412、图像采集器b；413、语音采集器；414、监测数据采集器；42、识别模块；421、组织识别单元；422、动作识别单元；433、语义识别单元；43、三维动线标记模块；431、组织边界标记单元；432、肿瘤边界标记单元；44、极值边界标记模块；441、极值边界计算单元；442、极值边界标记单元；45、辅助交互模块；451、标注单元；452、提示单元；46、显示界面；461、生理数据显示区；462、手术流程显示区；463、提醒事项显示区；464、手术建议显示区；465、显微图像显示区；5、语音交互装置；6、可见光图像采集装置；7、手术显微镜；71、目镜；8、AR眼镜；9、MR眼镜。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1～5为本发明实施例公开的辅助系统的结构组成示意图，其由采集装置1、移动显示装置2、语音交互装置5、可见光图像采集装置6以及AR眼镜8、MR眼镜9组成。

其中，采集装置1在除了用于采集手术显微镜7的显微图像上传至服务器3外，还用于显示服务器3对显微图像上识别的组织进行标注后发送至采集装置1上进行显示以及还用于服务器3对接收医疗数据或上传至服务器3的上述数据进行处理后得到文字和/或图案在采集装置1上显示。

同时，在使用AR眼镜8和/或MR眼镜9时，同样可显示上述全部的内容。

需要说明的是，在采集装置1、移动显示装置2、AR眼镜8、MR眼镜9上的显示界面46的布局包括设置在边缘左侧的生理数据显示区461、手术流程显示区462和右侧的提醒事项显示区463、手术建议显示区464，在显示界面46的中部设置为显微图像显示区465，这样布局的好处在于，可以利用边缘显示辅助信息，占用显示区域小，使中部显示显微图像更便于医生查看。

另需要说明的是，采集装置1、移动显示装置2、AR眼镜8、MR眼镜9可选择其中一个使用或多个同时使用。

如图1～4所示，采集装置1包括两个并排设置的外筒11，两个外筒11通过固定架13件连接，在外筒11靠近手术显微镜7目镜71的一端设置有连接部12，连接部12连接在手术显微镜7目镜71上，在两个外筒11的内部均依次设置有用以捕获手术显微镜7目镜71处显微图像的图像接收部14以及用以显示图像的显示部15和透镜16。

其中，控制器17的信号输出端与显示部15和服务器3的信号输入端通信连接，控制器17的信号输入端与图像接收部14和服务器3的信号输出端通信连接。

上述采集装置1在工作时，手术显微镜7目镜71的显微图像被图像接收部14捕获，在本实施例中，图像接收部14为摄像头等可获取图像的设备，接收到的显微图像通过控制器17上传至服务器3，服务器3返回的图像则通过显示部15进行显示，在本实施例中显示部15可为OLED、LCD显示屏中任一种，显示部15上的图像经过透镜16后进入医生的眼部。

需要说明的是，使用透镜16为放大镜，用于增大明视距离，此处需要特别说明的是，由于通过透镜16增大显示屏至人眼明视距离的方案采用的是现有技术，因此透镜16的焦距以及与显示部15之间的距离在此不再赘述，本领域技术人员可根据已公开的现有技术得到上述全部的参数。

如图1和4所示，移动显示装置2包括可移动的移动立架21以及安装在移动立架21上的图像显示器22，图像显示器22的信号输入端与服务器3的信号输出端通信连接，图像显示器22用于显示服务器3处理过的显微图像，图像显示器22还用于服务器3对接收医疗数据或上传至服务器3的数据进行处理后得到文字和/或图案进行显示。

移动显示装置2显示的图像除供主刀医生查看外，还用于其他医生对手术过程进行查看。

如图1和4所示，语音交互装置5，与服务器3通信连接，用于接收或上传语音数据到服务器3；

在本实施例中，语音交互装置5可以为蓝牙耳机或由麦克风、扬声器组成。

如图1和4所示，可见光图像采集装置6，与服务器3通信连接，用于采集医生足部的图像上传至服务器3；

在本实施例中，可见光图像采集装置6为摄像头。

如图1～5所示，数据处理系统4包括数据采集模块41、识别模块42、三维动线标记模块43、极值边界标记模块44和辅助交互模块45。

如图5所示，数据采集模块41用于获取采集装置1、可见光图像采集装置6和语音交互装置5上传至服务器3的显微图像、医生足部的图像、语音数据，数据采集模块41包括图像采集器a411、图像采集器b412、语音采集器413和监测数据采集器414。

进一步的，图像采集器a411适于获取采集装置1捕获的显微图像。

进一步的，图像采集器b412适于采集可见光图像采集装置6捕获的医生足部的图像。

进一步的，语音采集器413适于采集医生输出的语音。

进一步的，监测数据采集器414适于采集病患的医疗监测数据。

如图5～6所示，识别模块42用于对上述采集的数据进行识别，得到组织识别结果、动作识别结果和语音识别结果，识别模块42包括组织识别单元421、动作识别单元422和语义识别单元433。

进一步的，组织识别单元421适于对采集的显微图像进行特征提取并识别出组织的类型和范围。

进一步的，动作识别单元422适于对采集的医生足部的图像进行动作特征提取并识别出动作对应的操作指令。

上述实施例需要说明的是，在动作识别单元422中预设有足部动作特征库，每个足部动作特征对应有不同的操作指令。

进一步的，语义识别单元433适于对采集的医生输出的语音进行语义分析，识别出语音对应的操作指令。

上述实施例需要说明的是，在语义识别单元433中预设有语音特征库，每个语音特征对应有不同的操作指令，通过进行语义分析，并根据识别得到的语音特征遍历语音特征库识别得到对应的操作指令。

上述操作指令用于与辅助系统进行交互，如医生需要对某个区域或组织进行标记或需要保存图像或需要辅助系统提供帮助或需要连接外部网络进行资料查找等，使用上述足部动作或语音进行识别后即可执行对应的操作。

如图5～6所示，三维动线标记模块43用于根据组织识别结果，对各个组织进行标记，三维动线标记模块43包括组织边界标记单元431、肿瘤边界标记单元432。

进一步的，组织边界标记单元431适于根据识别出的组织类型和范围对其边缘进行识别并使用边界线一进行标记。

进一步的，肿瘤边界标记单元432适于根据识别出的组织类型和范围对识别出的肿瘤边缘进行识别并使用边界线二进行标记。

如图5～6所示，极值边界标记模块44用于根据上述标记以及组织识别结果计算各个组织的边界危险极值并使用边界线进行标记，极值边界标记模块44包括极值边界计算单元441和极值边界标记单元442。

进一步的，极值边界计算单元441适于根据识别出的组织类型和范围以及边界线一和边界线二计算各个组织的边界危险极值。

进一步的，极值边界标记单元442适于根据计算得到的各个组织的边界危险极值使用边界线三对各个组织的边界进行标记。

上述边界线一、边界线二、边界线三的采用不同颜色进行标记，需要说明的是边界线一、边界线二与边界线三之间的区域为危险区域，边界线三位于边界线一或边界线二的外围，边界线三根据不同的组织所标注的范围不同，根据受到损伤后造成后果的严重程度来进行识别，受到损伤后造成后果越严重其组织的边界线三的范围最大，受到损伤后造成后果越轻微其组织的边界线三的范围最小，其中，受到损伤是与手术器械发生碰撞时产生的伤害，其受到损伤后造成后果的严重程度采用仿真或已知的现有公开资料来确定。

另需要说明的是，边界线一、边界线二、边界线三在手术显微镜7移动过程中动态的在视野范围内对组织进行标记，其中，在AR眼镜8或MR眼镜9或采集装置1显示中呈现三维效果。

如图5～6所示，辅助交互模块45用于根据三维动线标记模块43和极值边界标记模块44的标记，在显微图像上进行对应的标记，并在显示界面46的显微图像显示区465进行显示，还用于根据对显微图像识别的结果在显微图像上组织对应的使用文字或图案进行标注，并在显示界面46的显微图像显示区465进行显示；

进一步的，辅助交互模块45还用于根据动作识别结果执行对应的操作指令；

进一步的，辅助交互模块45还用于根据语音识别结果执行对应的操作指令；

进一步的，辅助交互模块45还用于根据采集的监测数据，在显示界面46的生理数据显示区461显示病患的医疗监测数据；

进一步的，辅助交互模块45还用于在显示界面46的手术流程显示区462显示手术流程信息以及在显示界面46的提醒事项显示区463显示手术提醒事项；

进一步的，辅助交互模块45还用于对手术流程信息、手术提醒事项、组织识别结果进行分析，并在显示界面46的手术建议显示区464使用文字显示手术建议或通过语音交互装置5输出语音。

如图5～6所示，辅助交互模块45包括标注单元451和提示单元452。

标注单元451用于在显微图像上进行对应的标记以及根据对显微图像识别的结果在显微图像上组织对应的使用文字或图案进行标注并显示在显示界面46的显微图像显示区465。

提示单元452用于根据采集的监测数据，在显示界面46的生理数据显示区461显示病患的医疗监测数据以及在显示界面46的手术流程显示区462显示手术流程信息以及在显示界面46的提醒事项显示区463显示手术提醒事项还用于对手术流程信息、手术提醒事项、组织识别结果进行分析，并在显示界面46的手术建议显示区464使用文字显示手术建议或通过语音交互装置5输出语音。

具体的，识别模块42按照断层顺序导入病患的头部CT断层扫描片生成患者头部的三维模型，组织识别单元421中预设有脑部组织的特征数据库，在通过识别单元421对患者头部的三维模型中的肿瘤进行部分标记后，识别单元421根据肿瘤的特征(颜色、大小、形态、边缘)对患者头部的三维模型中的肿瘤进行识别，在获取到显微图像后，对特征进行提取后与三维模型进行比对，识别出显微图像的肿瘤，肿瘤边界标记单元432根据识别结果对肿瘤的边缘使用边界线二进行标记，组织识别单元421根据脑部组织的特征数据库结合患者头部的三维模型对获取到显微图像进行特征识别，组织边界标记单元431对识别的组织使用边界线一进行标记。

如图6所示，上述实施例的一种示例中，患者患有星型细胞瘤，在术前采用CT对患者的脑部进行断层扫描获取病患的头部CT断层扫描片，按照断层顺序导入病患的头部CT断层扫描片进行垂直堆叠后导入到三维模型工具生成患者头部的三维模型，其包含有患者头部全部组织结构，医生通过识别单元421对患者头部的三维模型中的肿瘤进行部分标记后，识别单元421根据患者头部的三维模型以及标记部分的颜色、大小、形态、边缘特征沿标记区域延伸识别对整个肿瘤的区域进行识别，肿瘤边界标记单元432根据识别结果对肿瘤的边缘使用红色的边界线二进行标记，组织识别单元421根据脑部组织的特征数据库结合患者头部的三维模型对获取到显微图像中的各个组织进行识别，组织边界标记单元431分别对识别出的组织使用橙色边界线一进行标记，极值边界标记单元442使用绿色的边界线三对各个组织的边界进行标记，标注单元451根据上述识别标注结果，在显微图像上进行对应的标记以及根据对显微图像识别的结果在显微图像上组织对应的使用文字或图案进行标注并显示在显示界面46的显微图像显示区465，如图6所示，在识别出的血管、神经、肿瘤上还使用文字进行标注说明，在手术过程中，医生通过显示部15、AR眼镜8、MR眼镜或图像显示器22获取到显微图像后可根据边界线一～三来辅助识别各个组织以及危险程度，便于医生进行操作。

辅助交互模块45还用于，对显微图像进行分析，在手术器械进入边界线三的范围内时，通过提示单元452使用文字、图案在手术建议显示区464对医生进行提醒或通过语音交互装置5输出语音对医生进行提醒。

需要说明的是，图像接收部14、显示部15、控制器17、图像显示器22、服务器3、语音交互装置5、可见光图像采集装置6、AR眼镜8、MR眼镜9、手术显微镜7具体的型号规格需根据该装置的实际规格等进行选型确定，具体选型计算方法采用本领域现有技术，故不再详细赘述。

图像接收部14、显示部15、控制器17、图像显示器22、服务器3、语音交互装置5、可见光图像采集装置6、AR眼镜8、MR眼镜9、手术显微镜7的供电及其原理对本领域技术人员来说是清楚的，在此不予详细说明。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。