用于内窥镜的特殊光量化成像方法和内窥镜系统
文献发布时间:2024-01-17 01:27:33
技术领域
本发明涉及医疗设备领域,更具体地涉及一种用于内窥镜的特殊光量化成像方法和内窥镜系统。
背景技术
内窥镜系统能够对生物体内部的组织进行观察,已越来越普遍地应用于医疗领域。具体地,内窥镜系统一般具有能够插入到生物体内部的结构,通过将该结构经口腔或其他天然孔道、或者经手术做的小切口等伸入生物体内部后,这部分结构在获取到生物体内部的图像信息,再传输出来并被显示于显示器。
内窥镜系统通常能够进行普通光成像,即是对普通光照射下的生物体内部进行成像。但普通光图像存在一定的局限性,例如一些病变在普通光图像上很难被识别。因此,内窥镜系统的特殊光成像技术被发展起来,该技术能够提供给观察者普通光成像不能够辨别的信息,这给诊断和治疗提供了更丰富的参考依据。
例如,近年来,基于吲哚菁绿(ICG)的荧光术中导航内窥镜技术已广泛应用于微创外科手术中,借助其近红外荧光的优势,荧光导航的内窥镜系统能够实现在多科室外科手术(如妇科、肝胆、胃肠、胸外等)中对淋巴定位、病灶标记、血管示踪等功能,为微创外科带来了极大的便利。然而,目前的吲哚菁绿分子荧光影像技术仍面临较大的临床不足,例如,由于ICG不具备肿瘤特异性,在肝脏切除术中术者只能通过经验区分肿瘤与正常组织,导致肿瘤识别假阳性较高。另外在肠管吻合术中,术中只能通过荧光强弱判断血供好坏,难以获得客观量化的血供评估。因此,量化的内窥特殊光导航技术对于进一步推动精准外科医疗具有重要意义。
发明内容
在发明内容部分中引入了一系列简化形式的概念,这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征,更不意味着试图确定所要求保护的技术方案的保护范围。
本发明实施例第一方面提供了一种内窥镜的特殊光量化成像方法,所述方法包括:
获取对组织进行特殊光成像时采集的特殊光图像信号;
根据所述特殊光图像信号进行量化评估,以得到不同图像区域的特殊光量化参数;
根据所述不同图像区域的特殊光量化参数生成特殊光量化图像;
同步输出所述特殊光量化图像和量化标签,所述量化标签用于表征所述特殊光量化图像的颜色与所述特殊光量化参数的对应关系。
在一个实施例中,所述量化标签包括颜色条,所述颜色条显示有所述特殊光量化图像的颜色和不同颜色对应的所述特殊光量化参数的数值。
在一个实施例中,所述颜色条中显示的颜色为连续渐变的颜色或离散的颜色。
在一个实施例中,所述量化标签包括显示在所述特殊光量化图像中目标位置处的特殊光量化参数的数值。
在一个实施例中,所述量化标签还包括显示在所述目标位置处的图形标记,所述图形标记与所述特殊光量化参数的数值关联显示。
在一个实施例中,所述方法还包括根据接收到的操作指令调节所述特殊光量化参数与所述特殊光量化图像的颜色之间的对应关系,并显示调节后的特殊光量化图像和量化标签。
在一个实施例中,所述根据所述特殊光图像信号进行量化评估,以得到不同图像区域的特殊光量化参数,包括:
对所述特殊光图像信号的灰度值进行归一化,以得到所述特殊光量化参数。
在一个实施例中,所述对所述特殊光图像信号的灰度值进行归一化,以得到所述特殊光量化参数,包括:
根据所述特殊光图像信号的灰度分布,划分出多个灰度分布区间,每个所述灰度分布区间对应一个图像区域;
在所述多个灰度分布区间中选择目标灰度分布区间,根据分布在所述目标灰度分布区间的灰度值得到参考灰度值;
根据所述参考灰度值对所述特殊光图像信号的灰度值进行归一化,以得到所述特殊光量化参数。
在一个实施例中,所述根据所述特殊光图像信号进行量化评估,以得到不同图像区域的特殊光量化参数,包括:
根据所述特殊光图像信号的灰度分布,划分出多个灰度分布区间,每个所述灰度分布区间对应一个图像区域;
对分布在每个灰度分布区间的灰度值进行统计,得到每个图像区域对应的灰度值随时间的变化关系;
根据所述灰度值随时间的变化关系得到每个图像区域对应的血供评估参数;
对所述血供评估参数进行归一化,以得到每个图像区域对应的所述特殊光量化参数。
在一个实施例中,所述方法还包括显示至少一个图像区域对应的所述灰度值随时间的变化关系的统计图,以及在所述特殊光量化图像中标记出所显示的统计图对应的位置。
在一个实施例中,当显示至少两个图像区域对应的所述统计图时,所述至少两个图像区域对应的统计图分别独立显示或叠加显示。
在一个实施例中,所述血供评估参数是根据所述灰度值随时间的变化关系的以下至少一种特征值得到的:开始上升时间、上升至峰值时间、峰值灰度、以及曲线下面积。
在一个实施例中,所述方法还包括根据接收到的操作指令选择所述量化评估的方式,所述量化评估的方式包括:对所述特殊光图像信号的灰度值进行归一化,以得到所述特殊光量化参数;或者,根据所述特殊光图像信号进行血供评估以得到所述特殊光量化参数。
在一个实施例中,在根据所述特殊光图像信号进行量化评估之前,所述方法还包括:
放大所述特殊光图像信号的对比度,所述放大包括自适应放大或基于接收到的操作指令进行放大。
在一个实施例中,所述根据所述不同图像区域的特殊光量化参数生成特殊光量化图像包括:将所述特殊光量化参数映射到对应的颜色值,以得到所述特殊光量化图像;
所述方法还包括:基于接收到的操作指令确定所述特殊光量化参数与颜色值之间的映射关系。
在一个实施例中,所述特殊光成像包括荧光成像、激光散斑成像、窄带光反射成像或光学相干层析成像。
本发明实施例第二方面提供一种用于内窥镜的特殊光量化成像方法,所述方法包括:
获取对组织进行特殊光成像时采集的特殊光图像信号;
根据所述特殊光图像信号确定多个图像区域,并获得不同图像区域的灰度值随时间的变化关系;
根据所述灰度值随时间的变化关系得到不同图像区域的血供评估参数;
根据所述血供评估参数生成特殊光量化图像;
输出所述特殊光量化图像和至少一个图像区域的所述灰度值随时间的变化关系的统计图。
在一个实施例中,所述获得不同图像区域的灰度值随时间的变化关系,包括:
根据所述特殊光图像信号的灰度分布,划分出多个灰度分布区间,每个所述灰度分布区间对应一个图像区域;
对分布在每个灰度分布区间的灰度值进行统计,得到每个图像区域对应的灰度值随时间的变化关系。
在一个实施例中,所述根据所述血供评估参数生成特殊光量化图像,包括:
对不同图像区域的所述血供评估参数进行归一化,以得到每个图像区域对应的特殊光量化参数;
根据所述特殊光量化参数生成所述特殊光量化图像。
在一个实施例中,所述根据所述特殊光量化参数生成所述特殊光量化图像包括:将不同的特殊光量化参数映射到对应的颜色值,以得到所述特殊光量化图像;
所述方法还包括:基于接收到的操作指令确定所述特殊光量化参数与颜色值之间的映射关系。
在一个实施例中,所述血供评估参数是根据所述灰度值随时间的变化关系的以下至少一种特征值得到的:开始上升时间、上升至峰值时间、峰值灰度、以及曲线下面积。
在一个实施例中,所述方法还包括将所述血供评估参数或所述特征值与所述灰度值随时间的变化关系的统计图同步显示。
在一个实施例中,所述方法还包括根据接收到的操作指令确定所述灰度值随时间的变化关系的统计图的起始时间点。
在一个实施例中,所述根据接收到的操作指令确定所述灰度值随时间的变化关系的统计图的起始时间点,包括:
当接收到显示所述灰度值随时间的变化关系的统计图的指令时,以指令接收时刻作为所述起始时间点生成并显示所述统计图。
本发明实施例第三方面提供一种用于内窥镜的特殊光量化成像方法,所述方法包括:
获取对组织进行特殊光成像时采集的特殊光图像信号;
根据所述特殊光图像信号进行量化评估,以得到不同图像区域的特殊光量化参数;
将所述特殊光量化参数映射到对应的颜色值,以生成第一特殊光量化图像;
获取颜色阈值范围,对所述第一特殊光量化图像中超出所述颜色阈值范围之外的颜色值进行处理,以得到第二特殊光量化图像;
显示所述第二特殊光量化图像。
在一个实施例中,所述获取颜色阈值范围包括获取预先存储的颜色阈值范围或根据接收到的操作指令确定所述颜色阈值范围。
在一个实施例中,所述方法还包括将所述第一特殊光量化图像与所述第二特殊光量化图像同步显示。
本发明实施例第四方面提供一种用于内窥镜的特殊光量化成像方法,所述方法包括:
获取对组织进行特殊光成像时采集的特殊光图像信号;
根据所述特殊光图像信号的灰度分布划分出多个灰度分布区间,每个所述灰度分布区间对应一个图像区域;
在所述多个灰度分布区间中选择目标灰度分布区间,根据分布在所述目标灰度分布区间的灰度值得到参考灰度值;
根据所述参考灰度值对所述特殊光图像信号的灰度值进行归一化,以得到特殊光量化参数;
根据所述特殊光量化参数生成特殊光量化图像;
输出所述特殊光量化图像。
本发明实施例第五方面提供一种用于内窥镜的特殊光量化成像方法,所述方法包括:
获取对组织进行特殊光成像时采集的特殊光图像信号;
根据所述特殊光图像信号的灰度分布划分出多个灰度分布区间,每个所述灰度分布区间对应一个图像区域;
根据所述特殊光图像信号获得不同灰度分布区间的灰度值随时间的变化关系;
根据所述灰度值随时间的变化关系得到不同图像区域的血供评估参数;
对不同图像区域的所述血供评估参数进行归一化,以得到每个图像区域对应的特殊光量化参数;
根据所述特殊光量化参数生成特殊光量化图像;
输出所述特殊光量化图像。
本发明实施例第六方面提供一种用于内窥镜的特殊光量化成像方法,所述方法包括:
获取对组织进行特殊光成像时采集的特殊光图像信号;
获取选择量化评估的方式的操作指令,根据所述操作指令确定对所述特殊光图像信号进行量化评估的方式;
当确定所述量化评估的方式为第一量化评估方式时,对所述特殊光图像信号的灰度值进行归一化,以得到特殊光量化参数,当确定所述量化评估的方式为第二量化评估方式时,根据所述特殊光图像信号进行血供评估以得到特殊光量化参数;
根据所述特殊光量化参数生成特殊光量化图像;
输出所述特殊光量化图像。
本发明实施例第七方面提供一种内窥镜系统,包括:
光源部;
光源控制部,用于控制所述光源部提供特殊光成像所需的光;
内窥镜,包括能够插入到生物体内部的插入部和用于采集图像信号的至少一个传感器;
处理器,用于执行如上所述的方法,以得到特殊光量化图像;以及显示器,用于显示所述特殊光量化图像。
根据本发明实施例的用于内窥镜的特殊光量化成像方法和内窥镜系统根据特殊光图像信号进行量化评估以生成特殊光量化图像,该特殊光量化图像能够呈现不同区域的量化差异,而与特殊光量化图像同步显示的量化标签能够定量地指示出这种差异,且生成特殊光量化图像的过程无需手动参与,实时性强且操作流程简单。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
在附图中:
图1示出根据本发明一实施例的内窥镜系统的示意性框图
图2示出根据本发明实施例的用于内窥镜的特殊光量化成像方法的示意性流程图;
图3示出根据本发明一实施例的划分多个灰度分布区间的示意图;
图4示出根据本发明一实施例的灰度值随时间的变化关系的示意图;
图5示出根据本发明一实施例的特殊光量化图像和量化标签的示意图;
图6示出根据本发明另一实施例的特殊光量化图像和量化标签的示意图;
图7示出根据本发明另一实施例的特殊光量化图像和量化标签的示意图;
图8示出根据本发明一实施例的特殊光量化图像和灰度值随时间的变化曲线的示意图;
图9示出根据本发明另一实施例的特殊光量化图像和灰度值随时间的变化曲线的示意图;
图10示出根据本发明另一个实施例的用于内窥镜的特殊光量化成像方法的示意性流程图;
图11示出根据本发明另一个实施例的用于内窥镜的特殊光量化成像方法的示意性流程图;
图12示出根据本发明另一个实施例的用于内窥镜的特殊光量化成像方法的示意性流程图;
图13示出根据本发明一个实施例的用于内窥镜的特殊光量化成像方法的示意性流程图;
图14示出根据本发明另一个实施例的用于内窥镜的特殊光量化成像方法的示意性流程图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本发明能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明,将在下列的描述中提出详细的结构,以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下,然而除了这些详细描述外,本发明还可以具有其他实施方式。
图1示出了本发明一种实施例的内窥镜系统的部分结构示意图,包括光源部110、光源控制部120、内窥镜130、处理器140和显示器150。
光源部110用于向待观察部位100提供照明光源。在一个实施例中,光源部110包括普通光成像所需的普通光光源和特殊光成像所需的特殊光光源。特殊光光源包括但不限于对应于荧光试剂的激光光源。普通光光源可以提供可见光,具体包括LED光源。在一实施例中,普通光光源可分别提供不同波长范围的多个单色光,例如蓝光、绿光、红光等。在其他实施例中,普通光光源还可以提供所述多个单色光的组合光,或者是宽光谱的白光光源。所述单色光的波长范围大致为400nm至700nm。激光光源用于产生激光,激光例如是近红外光。激光的峰值波长取780nm或808nm范围内至少任意1个值。
由于光源部110可向待观察部位同时提供连续的普通光和特殊光,从而提高了传感器对经待观察部位100反射的普通光图像信号和特殊光图像信号的采集效率。光源控制部120用于控制光源部110,例如控制光源部110提供普通光成像所需的光,和控制光源部110提供特殊光成像所需的光。
示例性地,光源部110还包括二向色镜。二向色镜设置于普通光光源以及特殊光光源的出光光路的交汇点。二向色镜具有相对的第一面和第二面,第一面与普通光光源相对并与普通光光源发射的光线具有预设倾斜角度,另第二面与特殊光光源相对并与特殊光光源发射的光线具有预设倾斜角度。普通光光源发射的普通光可透射二向色镜,特殊光光源发射的特殊光可被二向色镜反射,从而普通光和特殊光的光路合成为同一光路;反之亦然。
在一些实施例中,光源部110还可包括耦合镜。耦合镜设置在二向色镜与导光束的导光口之间。耦合镜可使自二向色镜传输来的光线聚焦,从而更好地导入到导光束内,尽可能降低光线损失,从而提高内窥镜系统100的整体照明质量。二向色镜的光路合成作用和耦合镜的聚焦作用,均能将光线更好地导入到导光束内(例如导光光纤内)。同时,二向色镜的使用可使光源部110整体结构更紧凑、光线传播路径更短。
示例性地,内窥镜130包括插入部和至少一个用于图像信号采集的传感器。一些实施例中,插入部能够插入到生物体内部,例如插入部为一部分的镜体主体,可由操作者插入到生物体内部。插入部能够通过的导入部(可为导光光纤)将光源部110产生的光线传输到待观察部位。一些实施例中,插入部的前端设有作为图像采集器件的至少一个传感器,由这至少一个传感器在普通光照模式下,采集普通光图像信号后,将普通光图像信号发送至处理器140处理,以生成普通光图像;在特殊光照模式下,上述至少一个传感器采集特殊光图像信号后,将特殊光图像信号发送至处理器140处理,以生成特殊光图像或特殊光量化图像。
在一些实施例中,内窥镜130中的传感器的数量可以为一个,具体可以是彩色传感器,也可以称之为色彩传感器、颜色识别传感器或颜色传感器等。彩色传感器可以将物体颜色同前面已经示教过的参考颜色进行比较来检测颜色,当两个颜色在一定的误差范围内相吻合时,则输出检测结果,进行颜色感知和判断。在内窥镜130只包括一个彩色传感器的示例中,处理器140在光源部110提供普通光成像所需的光时根据上述彩色传感器采集的图像信号生成普通光图像,以及在光源部110提供特殊光成像所需的光时根据上述彩色传感器采集的图像信号转换生成灰度图像信号,并根据该灰度图像信号生成特殊光量化图像。
在一些实施例中,内窥镜130中的传感器的数量也可以有两个,一个为彩色传感器,另一个为灰度传感器。处理器140在光源部110提供普通光成像所需的光时根据上述彩色传感器采集的彩色图像信号生成普通光图像,以及在光源部110提供特殊光成像所需的光时根据上述灰度传感器采集的灰度图像信号生成特殊光量化图像。一些实施例中,内窥镜130中传感器的数量可以为一个或多个,且均为灰度传感器。
上面说明了处理器140在光源部110提供普通光成像所需的光时根据上述至少一个传感器采集的普通光图像信号生成普通光图像,以及在光源部110提供特殊光成像所需的光时根据上述至少一个传感器采集的特殊光图像信号生成特殊光量化图像的一些示例。处理器140在生成普通光图像和特殊光量化图像后,还可以将二者合成为合成图像并输出至显示器150上显示。例如,处理器140可以通过图层叠加的方式生成合成图像,或者通过像素值相加的方式生成合成图像。
示例性地,处理器140可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,或者该处理器也可以是任何常规的处理器,处理器140是内窥镜系统100的控制中心,利用各种接口和线路连接整个内窥镜系统100的各个部分。处理器90还用于执行下述特殊光量化成像方法中的各个步骤。
在一实施例中,内窥镜系统100还包括存储器。存储器可用于存储处理器140生成的图像。存储器还可用于存储程序代码,处理器140通过运行或执行存储在存储器内的程序代码,以及调用存储在存储器内的数据,实现内窥镜系统100的各种功能。
应注意的是,图1仅是内窥镜系统的示例,并不构成对内窥镜系统的限定,内窥镜系统可以包括比图1所示更多或更少的部件,或者组合某些部件,或者不同的部件,例如内窥镜系统还可以包括扩张器、烟雾控制装置、输入输出设备、网络接入设备等中的一个或多个。
本发明实施例提供了用于内窥镜的特殊光量化成像方法,该方法中所涉及到的内窥镜系统可以是如上所述的内窥镜系统100。下面参照图2描述本发明实施例的用于内窥镜的特殊光量化成像方法,图2是用于内窥镜的特殊光量化成像方法200的示意性流程图,具体包括如下步骤:
在步骤S210,获取对组织进行特殊光成像时采集的特殊光图像信号;
在步骤S220,根据所述特殊光图像信号进行量化评估,以得到不同图像区域的特殊光量化参数;
在步骤S230,根据所述不同图像区域的特殊光量化参数生成特殊光量化图像;
在步骤S240,同步输出所述特殊光量化图像和量化标签,所述量化标签用于表征所述特殊光量化图像的颜色与所述特殊光量化参数的对应关系。
本发明实施例的用于内窥镜的特殊光量化成像方法200根据特殊光图像信号进行量化评估以生成特殊光量化图像,该特殊光量化图像能够呈现不同区域的量化差异,而与特殊光量化图像同步显示的量化标签能够定量地指示出这种差异,且生成特殊光量化图像的过程无需手动参与,实时性强且操作流程简单。
示例性地,在步骤S210中,在内窥镜系统的光源部提供特殊光成像所需的光时,由传感器采集灰度图像信号,即为特殊光图像信号。特殊光成像包括荧光成像、激光散斑成像、窄带光反射成像或光学相干层析成像。下文主要以荧光成像为例进行说明,相应地,荧光成像时采集的特殊光图像信号为荧光信号。在一些实施例中,荧光成像包括红外荧光成像、紫外荧光成像、近红外荧光成像、可见光荧光成像等。
当特殊光成像为荧光成像时,在采用内窥镜系统进行成像之前,首先在待观察部位中通过静脉或皮下注射方式引入造影剂,例如吲哚菁绿(Indocyanine Green,ICG),以便对用标准可见光成像技术不容易看到的组织结构和功能(例如脉管中的血液、淋巴液、胆汁等)成像。待观察部位包括但不局限于血液循环系统、淋巴系统和肿瘤组织。当待观察部位中的造影剂吸收激光光源产生的对应于荧光试剂的激光后可产生荧光,通过内窥镜系统的传感器可采集荧光信号。
在步骤S220,根据特殊光图像信号进行量化评估,以得到不同图像区域的特殊光量化参数。量化评估即将不同区域特殊光信号的空间分布差异或者随时间响应的差异提取出来的过程,特殊光量化参数能够直观地表征这种差异。
在一个实施例中,特殊光量化参数表征的是特殊光信号的空间分布差异,用于区分不同组织区域。量化评估的过程主要包括对特殊光图像信号的灰度值进行归一化。对灰度值进行归一化能够放大不同组织间灰度值的差异,有利于对不同组织进行区分,归一化后的灰度值即特殊光量化参数。
示例性地,归一化的过程包括,首先根据特殊光图像信号的灰度分布,划分出多个灰度分布区间,每个灰度分布区间对应一个图像区域。即每个图像区域由落在对应灰度分布区间内的像素点构成,同一图像区域的像素点可以是连续的,也可以是分散的。接着,在多个灰度分布区间中选择目标灰度分布区间,根据分布在目标灰度分布区间的灰度值得到参考灰度值。例如,可以对落在目标灰度分布区间内的所有像素点的灰度值进行统计,以得到参考灰度值,统计的方法包括但不限于对所有像素点的灰度值求平均。之后,根据参考灰度值对特殊光图像信号的灰度值进行归一化,以得到特殊光量化参数;将归一化所得到的特殊光量化参数映射到特定的颜色即可得到特殊光量化图像。
其中,目标灰度分布区间可以是灰度值最小的灰度分布区间。由于正常组织的特殊光信号的灰度值通常较小,灰度值最小的灰度分布区间通常对应于正常组织区域,以该区域的参考灰度值为基准进行归一化能够在保证正常组织区域稳定不变的同时突出正常组织区域与异常组织区域的差异,便于在图像中识别出异常组织。
在另一个实施例中,根据特殊光图像信号进行量化评估包括对特殊光图像信号进行血供量化评估,特殊光量化参数指示的是不同组织区域的血供差异,与常规的特殊光图像相比,根据血供评估的结果生成的特殊光量化图像能够呈现客观量化的血供评估结果。
与归一化的方法类似,在血供评估的过程中,首先根据特殊光图像信号的灰度分布划分出多个灰度分布区间,每个灰度分布区间对应一个图像区域。之后,对每个图像区域分别进行血供评估,血供评估是根据灰度值随时间响应的差异进行的。具体地,对分布在每个灰度分布区间的灰度值进行统计,得到每个灰度分布区间的灰度值随时间的变化关系,也即每个灰度分布区间对应的图像区域的灰度值随时间的变化关系,该变化关系可以实现为曲线的形式。接着,根据每个图像区域的灰度值随时间的变化关系得到每个图像区域对应的血供评估参数。最后,对所有图像区域的血供评估参数进行归一化,从而得到每个图像区域对应的特殊光量化参数。
示例性地,参见图3,在图3的示例中,A-F分别表示不同的灰度分布区间,组织I的像素点主要分布在B、C区间,组织II的像素点主要分布在D、E区间。不同灰度分布区间的灰度值随时间变化的曲线各不相同,即灰度值随时间的响应不同,该不同主要是由血供的不同导致的,因此从各灰度分布区间的灰度值随时间变化的曲线中能够提取出血供评估参数。
参见图4,血供评估参数包括但不限于曲线的开始上升时间(T
之后,可以以其中一个图像区域的血供评估参数为基准,将各图像区域的血供评估参数归一化到该图像区域的血供评估参数,得到每个图像区域对应的特殊光量化参数。将归一化所得到的特殊光量化参数映射到特定的颜色即可得到特殊光量化图像。在一些实施例中,也可以直接将血供评估参数作为特殊光量化参数,或者对血供评估参数进行其他运算以得到特殊光量化参数。
在一个实施例中,在根据特殊光图像信号进行量化评估之前,还可以放大特殊光图像信号的对比度,放大的方式包括自适应放大或基于接收到的操作指令进行放大,即手动放大。放大对比度可以增大不同组织的灰度强弱差异。后续在划分灰度分布区间时,在放大对比度后的灰度值的基础上划分多个不同的灰度分布区间。具体地,可以根据特殊光图像信号的灰度分布直方图调节提高对比度,从而增大不同组织的荧光强弱差异,并在调整后的直方图基础上划分多个不同的灰度区间。统计图还可以包括曲线、扇形图等。
上文介绍了两种量化评估的方式,其中,基于灰度值归一化的量化评估方法能够放大不同组织中荧光剂(例如ICG)浓度的梯度差异;基于血供评估的量化评估方法能够自动划分不同组织区域进行血供评估,并呈现血供评估结果,不要求手动选择参考区域和待测区域。上述两种量化评估方法耗费的计算资源较少,实时性较高。
在一些实施例中,可以首先获取选择量化评估的方式的操作指令,根据接收到的操作指令确定对特殊光图像信号进行量化评估的方式。当确定量化评估的方式为第一量化评估方式时,采用上文所述的对特殊光图像信号的灰度值进行归一化的方式得到特殊光量化参数;当确定量化评估的方式为第二量化评估方式时,采用上文所述的根据特殊光图像信号进行血供评估的方式得到特殊光量化参数。其中,可以设置两种量化评估方式中的一种作为默认的量化评估方式,例如,若将对特殊光图像信号的灰度值进行归一化的方式作为默认的量化评估方式,则在接收到进行血供评估的操作指令时采用血供评估的方式进行量化评估,反之则默认采用对灰度值进行归一化的方式进行量化评估。可选地,也可以同时进行两种不同形式的量化评估,并显示两种不同的特殊光量化图像。
除了以上两种方式之外,还可以采用其他可行的方式基于特殊光图像信号进行量化评估,只要能够基于特殊光图像信号对组织的特性进行量化表征即可,本发明实施例对此不作限制。
获得特殊光量化参数之后,在步骤S230,根据不同图像区域的特殊光量化参数生成特殊光量化图像。具体地,可以根据特殊光量化参数与颜色值的映射关系,将特殊光量化参数映射到颜色值,从而得到特殊光量化图像。颜色的选择可以是连续的渐变色,例如随着特殊光量化参数的增加对应的颜色从蓝色渐变为黄色;或者,映射得到的颜色可以是不连续的多个单色,例如,一个区间内的特殊光量化参数同一对应一种颜色。
进一步地,还可以根据接收到的操作指令调节特殊光量化参数与特殊光量化图像的颜色之间的对应关系,即调节特殊光量化参数与颜色值之间的映射关系。例如,用户可以指定某一关注的特殊光量化参数的区间对应某种特定的颜色,以突出显示该区间对应的图像区域。或者,当用户调节特殊光量化图像的对比度时,可以增加不同特殊光量化参数对应的颜色值之间的差异。
在步骤S240,同步输出特殊光量化图像和量化标签,量化标签用于表征特殊光量化图像的颜色与特殊光量化参数的对应关系。量化标签至少包括与特殊光量化参数相关的数值,该数值可以是纯数字的形式,例如1-10,不同数字对应不同颜色;也可以是百分比的形式,例如0-100%,不同百分比对应不同颜色。该量化标签能够定量地呈现不同区域的量化参数差异,从而对特殊光量化图像进行定量地表征。
在一个实施例中,量化标签包括颜色条,颜色条显示有特殊光量化图像的颜色和不同颜色对应的特殊光量化参数的数值。参见图5和图6,颜色条显示的颜色与特殊光量化图像的颜色一致,如果特殊光量化图像是将特殊光量化参数映射到蓝色与黄色之间的连续颜色而生成的,则颜色条为从黄色渐变为蓝色的颜色条。如果特殊光量化图像是将特殊光量化参数映射到多个单色而生成的,则颜色条中也相应显示有多个单色。特殊光量化参数的数值显示在颜色条中对应颜色附近,以提示二者的映射关系,该数值可以是图5所示的纯数字,也可以是图6所示的百分比。颜色条可以如图5和图6所示的叠加显示在特殊光量化图像上,也可以显示在特殊光量化图像外部。
作为另一种实现方式,量化标签包括显示在特殊光量化图像中目标位置处的特殊光量化参数的数值。参见图7,显示在对应位置处的数值能够更具针对性地显示目标位置处的特殊光量化参数。用户可以参照该数值确定目标位置处的特殊光量化参数。同样地,显示在特殊光量化图像上的特殊光量化参数的数值可以是纯数字的形式,也可以是如图7所示的百分比的形式。
示例性地,显示特殊光量化参数的数值的目标位置可以是根据用户指令确定的,例如用户点击特殊光量化图像的某一位置,则将该位置作为目标位置,显示对应的特殊光量化参数的数值。或者,目标位置也可以是根据预设规则自动确定的,包括但不限于特殊光量化参数最大的位置、特殊光量化参数最小的位置等。
进一步地,除了显示在目标位置处的特殊光量化参数的数值,量化标签还可以包括显示在目标位置处的图形标记,图形标记与特殊光量化参数的数值关联显示。继续参照图7,图7所示的图形标记为显示在目标位置处的矩形框,特殊光量化参数的数值显示在矩形框一侧。图形标记也可以实现为圆形、三角形或其他任意形状。在一些实施例中,图形标记也可以省略。
在一些实施例中,以上两种量化标签可以相互结合使用,例如,特殊光量化图像上默认显示颜色条,当用户点击图像某处时,显示对应位置处的特殊光量化参数的数值和图形标记。
进一步地,当根据接收到的操作指令调节特殊光量化参数与特殊光量化图像的颜色之间的对应关系后,除了特殊光量化图像随着调节指令变化以外,量化标签也随之变化,显示器显示调节后的特殊光量化图像和量化标签。
此外,如果采用血供评估的方式生成特殊光量化参数和特殊光量化图像,则可以将血供评估过程中的至少一个图像区域对应的灰度值随时间的变化关系的统计图显示出来,并且可以在特殊光量化图像中标记出所显示的统计图对应的位置。示例性地,当用户点击图像某位置时,基于接收到的操作指令确定该位置对应的图像区域或灰度分布区间,并显示对应的灰度值随时间的变化关系的统计图。该统计图可以实现为曲线的形式。参见图8和图9,该统计图可以如图8所示的与特殊光量化图像分别独立显示,例如并列显示,以避免遮挡图像;也可以如图9所示的叠加显示在特殊光量化图像上,使得界面布局更为紧凑。此外,由于特殊光量化图像为伪彩图像,在显示统计图时可以用亮度或荧光亮度代替灰度。
在一个实施例中,当显示至少两个图像区域对应的统计图时,该至少两个图像区域对应的统计图可以分别独立显示,也可以叠加显示。图8所示的位置1和位置2的统计图分别独立显示,即显示在两个不同的坐标系中,从而更加清晰地显示;图9所示的位置1和位置2的统计图叠加显示在同一个坐标系中,该显示方式有利于对不同位置的变化曲线进行对比分析。
示例性地,显示统计图时,量化标签可以隐藏,或者,统计图可以与量化标签同时显示。
基于以上描述,本发明实施例的用于内窥镜的特殊光量化成像方法200根据特殊光图像信号进行量化评估以生成特殊光量化图像,通过特殊光量化图像呈现不同区域的量化差异,并通过量化标签定量地指示出这种差异,且生成特殊光量化图像的过程无需手动参与,实时性强且操作流程简单。
图10是本发明一实施例中的用于内窥镜的特殊光量化成像方法1000的示意性流程图,具体包括如下步骤:
在步骤S1010,获取对组织进行特殊光成像时采集的特殊光图像信号;
在步骤S1020,根据所述特殊光图像信号确定多个图像区域,并获得不同图像区域的灰度值随时间的变化关系;
在步骤S1030,根据所述灰度值随时间的变化关系得到不同图像区域的血供评估参数;
在步骤S1040,根据所述血供评估参数生成特殊光量化图像;
在步骤S1050,输出所述特殊光量化图像和至少一个图像区域的所述灰度值随时间的变化关系的统计图。
本发明实施例中的用于内窥镜的特殊光量化成像方法1000与方法200中所述的通过血供评估生成特殊光量化图像的方法类似,区别之处主要在于,特殊光量化成像方法1000不限于将特殊光量化图像与量化标签同步显示,只需要将至少一个图像区域的所述灰度值随时间的变化关系的统计图与特殊光量化图像同步显示。
其中,获得不同图像区域的灰度值随时间的变化关系包括:根据特殊光图像信号的灰度分布,划分出多个灰度分布区间,每个灰度分布区间对应一个图像区域;对分布在每个灰度分布区间的灰度值进行统计,得到每个图像区域对应的灰度值随时间的变化关系。
得到不同图像区域的灰度值随时间的变化关系后,可以根据该灰度值随时间的变化关系得到对应图像区域的血供评估参数。示例性地,血供评估参数是根据灰度值随时间的变化关系的以下至少一种特征值得到的:开始上升时间、上升至峰值时间、峰值灰度、以及曲线下面积。在一个实施例中,还可以将统计图与基于统计图得到的血供评估参数或特征值同步显示。
在一个实施例中,还可以根据接收到的操作指令确定灰度值随时间的变化关系的统计图的起始时间点,例如用户按下指定按键的时间为起始时间点绘制统计图。在一个示例中,设置启示时间点的功能可以耦合到开启曲线显示功能的按键上,即当接收到显示灰度值随时间的变化关系的统计图的指令时,以指令接收时刻作为起始时间点生成并显示统计图。
获得血供评估参数之后,对不同图像区域的血供评估参数进行归一化,以得到每个图像区域对应的特殊光量化参数,并根据特殊光量化参数生成特殊光量化图像。根据特殊光量化参数生成特殊光量化图像具体包括:将不同的特殊光量化参数映射到对应的颜色值,以得到特殊光量化图像。进一步地,还可以基于接收到的操作指令确定特殊光量化参数与颜色值之间的映射关系,从而对特殊光量化图像的颜色进行调节。
本发明实施例的用于内窥镜的特殊光量化成像方法1000与上文所述的用于内窥镜的特殊光量化成像方法200还有许多相同或相似的内容,具体可以参照上文,在此不做赘述。
图11是本发明一实施例中的用于内窥镜的特殊光量化成像方法1100的示意性流程图,具体包括如下步骤:
在步骤S1110,获取对组织进行特殊光成像时采集的特殊光图像信号;
在步骤S1120,根据所述特殊光图像信号进行量化评估,以得到不同图像区域的特殊光量化参数;
在步骤S1130,将所述特殊光量化参数映射到对应的颜色值,以生成第一特殊光量化图像;
在步骤S1140,获取颜色阈值范围,对所述第一特殊光量化图像中超出所述颜色阈值范围之外的颜色值进行处理,以得到第二特殊光量化图像;
在步骤S1150,显示所述第二特殊光量化图像。
在用于内窥镜的特殊光量化成像方法1100中,首先基于上文描述的任意方法生成第一特殊光量化图像,之后对第一特殊光量化图像中过亮区域(例如胆道荧光应用中的肝脏荧光)或者过暗区域(例如肝切开后实质中初始未染色区域)进行处理,例如不显示超过颜色阈值范围的区域,以避免影响图像整体显示效果。其中,颜色阈值范围可以是预先存储的固定的颜色阈值范围,也可以是根据接收到的操作指令确定的颜色阈值范围,即用户手动设置的颜色阈值范围。
在一个实施例中,还可以将第一特殊光量化图像与第二特殊光量化图像同步显示,例如将第一特殊光量化图像显示在小窗口中,以供用户参考。
本发明实施例的用于内窥镜的特殊光量化成像方法1100与上文所述的用于内窥镜的特殊光量化成像方法200还有许多相同或相似的内容,具体可以参照上文,在此不做赘述。
图12是本发明一实施例中的用于内窥镜的特殊光量化成像方法1200的示意性流程图,具体包括如下步骤:
在步骤S1210,获取对组织进行特殊光成像时采集的特殊光图像信号;
在步骤S1220,根据所述特殊光图像信号的灰度分布划分出多个灰度分布区间,每个所述灰度分布区间对应一个图像区域;
在步骤S1230,在所述多个灰度分布区间中选择目标灰度分布区间,根据分布在所述目标灰度分布区间的灰度值得到参考灰度值;
在步骤S1240,根据所述参考灰度值对所述特殊光图像信号的灰度值进行归一化,以得到特殊光量化参数;
在步骤S1250,根据所述特殊光量化参数生成特殊光量化图像;
在步骤S1260,输出所述特殊光量化图像。
本发明实施例中的用于内窥镜的特殊光量化成像方法1200与方法200中通过归一化灰度值生成特殊光量化图像的方法类似,区别之处主要在于,输出特殊光量化图像时,不限于将特殊光量化图像与量化标签同步显示,也可以单独显示特殊光量化图像。特殊光量化成像方法1200的其他具体细节可以参照特殊光量化成像方法200的相关描述,在此不做赘述。
图13是本发明一实施例中的用于内窥镜的特殊光量化成像方法1300的示意性流程图,具体包括如下步骤:
在步骤S1310,获取对组织进行特殊光成像时采集的特殊光图像信号;
在步骤S1320,根据所述特殊光图像信号的灰度分布划分出多个灰度分布区间,每个所述灰度分布区间对应一个图像区域;
在步骤S1330,根据所述特殊光图像信号获得不同灰度分布区间的灰度值随时间的变化关系;
在步骤S1340,根据所述灰度值随时间的变化关系得到不同图像区域的血供评估参数;
在步骤S1350,对不同图像区域的所述血供评估参数进行归一化,以得到每个图像区域对应的特殊光量化参数;
在步骤S1360,根据所述特殊光量化参数生成特殊光量化图像;
在步骤S1370,输出所述特殊光量化图像。
本发明实施例中的用于内窥镜的特殊光量化成像方法1300与方法200中通血供评估生成特殊光量化图像的方法类似,区别之处主要在于,输出特殊光量化图像时,不限于将特殊光量化图像与量化标签同步显示,也可以单独显示特殊光量化图像。特殊光量化成像方法1300的其他具体细节可以参照特殊光量化成像方法200的相关描述,在此不做赘述。
图14是本发明一实施例中的用于内窥镜的特殊光量化成像方法1400的示意性流程图,具体包括如下步骤:
在步骤S1410,获取对组织进行特殊光成像时采集的特殊光图像信号;
在步骤S1420,获取选择量化评估的方式的操作指令,根据所述操作指令确定对所述特殊光图像信号进行量化评估的方式;
在步骤S1430,当确定所述量化评估的方式为第一量化评估方式时,对所述特殊光图像信号的灰度值进行归一化,以得到特殊光量化参数,当确定所述量化评估的方式为第二量化评估方式时,根据所述特殊光图像信号进行血供评估以得到特殊光量化参数;
在步骤S1440,根据所述特殊光量化参数生成特殊光量化图像;
在步骤S1450,输出所述特殊光量化图像。
本发明实施例中的用于内窥镜的特殊光量化成像方法1400能够提供两种量化方式之间的切换,其中,基于灰度值归一化的量化评估方法能够放大不同组织中荧光剂(例如ICG)浓度的梯度差异;基于血供评估的量化评估方法能够自动划分不同组织区域进行血供评估,并呈现血供评估结果,不要求手动选择参考区域和待测区域。上述两种量化评估方法耗费的计算资源较少,实时性较高,可以根据用户操作指令进行对应的量化评估,并提供对应的特殊光量化图像。本发明实施例的用于内窥镜的特殊光量化成像方法1400与上文所述的用于内窥镜的特殊光量化成像方法200还有许多相同或相似的内容,具体可以参照上文,在此不做赘述。
本发明实施例还提供一种内窥镜系统,重新参照图1,该内窥镜系统100包括:光源部110;光源控制部120,用于控制光源部110提供特殊光成像所需的光;内窥镜130,包括能够插入到生物体内部的插入部和用于采集图像信号的至少一个传感器;处理器140,用于执行上述方法得到特殊光量化图像;以及显示器150,用于显示特殊光量化图像。内窥镜系统100的具体结构和处理器140执行的方法已在上文进行了描述,在此不做赘述。
请参考图5-6,本申请提供了一种内窥镜荧光图像显示方法,包括:
步骤1:显示患者待观察部位的内窥镜荧光图像。
步骤2:基于所述荧光图像中的荧光亮度生成并显示一荧光亮度指示器。
步骤3:基于所述荧光图像的荧光亮度,在所述荧光亮度指示器附近显示对应的数值化标签,所述数值化标签标识了所述荧光亮度指示器中的荧光亮度等级。
本实施例中,内窥镜荧光图像、荧光图像中的荧光亮度等级的获得方式可以参考上面实施例中的介绍,此处不再赘述。
在一实施例中,荧光亮度指示器可以是图5-6中所示的颜色条,颜色条的颜色与荧光图像的荧光亮度对应,例如为一对应荧光亮度的渐变的颜色条。
在一实施例中,数值化标签可以是如图5所示的自然数数值,或如图6所示的百分比数值。
请参考图7,本申请提供了另一种内窥镜荧光图像显示方法,包括:
步骤1:显示患者待观察部位的内窥镜荧光图像。
步骤2:基于所述荧光图像中的荧光亮度,生成可标识荧光亮度等级的数值化标签。
步骤3:在所述荧光图像中不同荧光亮度的图像区域标识对应的数值化标签。
本实施例中,内窥镜荧光图像、荧光图像中的荧光亮度等级的获得方式可以参考上面实施例中的介绍,此处不再赘述。
在一实施例中,如图7所示,数值化标签可以是百分比数值,与数值化标签对应的荧光亮度的图像区域可使用方框进行标注,数值化标签显示在方框的附近或者显示在方框内。
请参考图8-9,本申请提供了另一种内窥镜荧光图像显示方法,包括:
步骤1:显示患者待观察部位的内窥镜荧光图像。
步骤2:确定所述荧光图像中的至少一个图像区域,获取并显示所述图像区域的荧光亮度随时间的变化趋势信息。
本实施例中,内窥镜荧光图像的获得方式可以参考上面实施例中的介绍,此处不再赘述。
在一实施例中,图像区域的荧光亮度随时间的变化趋势信息可以使用具有横纵坐标的趋势图进行显示,多个图像区域的趋势图可采用图8中单独显示的方式,也可以采用图9合并显示的方式。趋势图的显示区域可以与荧光图像叠加显示,也可以分屏显示。当然,在其他实施例中,图像区域的荧光亮度随时间的变化趋势信息亦可采用趋势表的呈现方式。图7-8分别示出了选择的两个图像区域,这两个图像区域分别使用方框进行标识。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
- 一种基于贝塞尔光束扩展焦深的光声内窥镜装置及成像方法
- 用于电子内窥镜的光耦合热量处理装置
- 用于3D内窥镜成像系统的成像方法和3D内窥镜成像系统
- 用于3D内窥镜成像系统的成像方法和3D内窥镜成像系统