能够实现智能图像处理的医用内窥镜系统

技术领域

本发明涉及一种医用内窥镜系统，具体涉及一种能够实现智能图像处理的医用内窥镜系统。

背景技术

目前，内窥镜技术已取得了长足的进步，图像清晰度、对比度都得到了很大的提升。随着对比度增强、轮廓增强等技术的应用，对于病灶形态和颜色明显改变的病灶(如凸起的肿块和凹陷的溃疡)较以往的内窥镜显示清晰度得到了更大提升。但是，对于微小的、扁平的早期癌变和异性增生等，不易诊断甚至造成漏诊。

为此，近些年国内外内镜公司大量引用了诸如色素内镜、电子分光、窄带成像等技术，利用窄带照明与色谱增强、噪声抑制等新型数字图像处理技术，大大提高了早期癌变的显示清晰度，显著提高了操作者的诊断水平。但是，这些产品需要依靠医生的经验选择增强模式，比如，不同的病变特征需要不同的光谱组合照明或图像色谱学处理，但往往缺少经验的医生无从选择或需要经过长期的训练才能更好地鉴别诊断。

据报道，目前在消化内镜诊断方面尤其是胃部的内镜早癌检查诊断，日本的诊断率为70％，韩国的诊断率为55％，中国的诊断率仅为20％左右。其中，中国早期胃癌的诊断率不高的原因与医生诊断水平高低比例相差过大以及检查时的漏诊正相关。为此，如何利用技术手段提高内镜医生的诊断水平成为业界人员努力的方向。

发明内容

本发明所要解决的技术问题是提供一种能够实现智能图像处理的医用内窥镜系统，它可以使得内窥镜所采集的图像上显示更多具有诊断价值的信息。

为解决上述技术问题，本发明能够实现智能图像处理的医用内窥镜系统的技术解决方案为：

包括内窥镜、图像处理机、冷光源系统；内窥镜在冷光源系统输出的照明光下进行图像采集，并将所采集的图像传递给图像处理机进行图像处理；所述图像处理机包括图像处理控制器，图像处理控制器将图像信息传递给图像增强处理模块，图像增强处理模块对所述图像信息进行增强处理，并向图像处理控制器输出经过增强处理的图像；图像增强处理模块连接图像色谱学处理输出模块，图像色谱学处理输出模块具有至少三个图像色谱学处理输出模式，从而向图像处理控制器发送具有不同频谱特性的图像；所述冷光源系统包括蓝激光光源、绿激光光源、白光LED光源，蓝激光光源、绿激光光源和白光LED光源分别连接光源驱动器，各光源驱动器与光源控制器连接；光源控制器通过对三个光源驱动器的控制，使三个光源输出不同的照明光谱组合，形成至少三个光谱照明模式；光源控制器通过通讯模块与图像处理机的所述图像处理控制器相连接，通讯模块能够实现图像处理机与冷光源系统之间指令信号的传送。

在另一实施例中，所述三个图像色谱学处理输出模式为TP模式、TV模式和TT模式；所述TP模式用于显示腺管和黏膜细微结构；在TP模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，并配合放大功能；所述TV模式用于显示微血管；在TV模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，去除R通道成分；所述TT模式用于与冷光源系统实现联动控制，使得图像色谱学处理输出受冷光源系统的所述光谱照明模式控制。

在另一实施例中，所述TT模式下，图像色谱学处理输出模块通过通讯模块向所述光源控制器发送指令，使光源控制器在三个光谱照明模式中选择；同时，图像色谱学处理输出模块根据光源控制器所选择的不同光谱照明模式，自动调整图像输出色彩组合。

在另一实施例中，所述三个光谱照明模式为TE模式、TG模式和TC模式；在所述TE模式下，光源控制器控制三个光源驱动器，使照明输出为蓝激光与白光的组合；所述图像色谱学处理输出模块动态减少图像中的红色显像；在所述TG模式下，光源控制器控制三个光源驱动器，使照明输出为蓝激光、绿激光与白光的组合；所述图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，动态增加蓝光和绿光的颜色显像；在所述TC模式下，光源控制器控制三个光源驱动器，使照明输出为高亮度蓝激光与白光的组合；所述图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，使蓝紫色照明输出为高亮度状态。

在另一实施例中，所述图像处理机还包括人工智能模块，所述图像处理控制器将所述图像信息传递给人工智能模块进行智能分析，再将经过智能分析的图像信息传递给图像处理控制器。

在另一实施例中，所述人工智能模块包括多模型融合单元和病灶跟踪单元；人工智能模块通过AI智能分析，检测并跟踪所述图像信息中的可疑病灶并在病灶部位进行标记，然后将智能分析结果发送给所述图像处理控制器，图像处理控制器将智能分析结果通过通讯模块发送给冷光源系统的光源控制器，光源控制器根据智能分析结果对三个光源驱动器进行控制，使三个光源根据智能分析结果输出不同的光源；同时，所述图像处理控制器将具有智能分析结果的图像发送给图像增强处理模块，图像增强处理模块对具有智能分析结果的图像进行图像增强处理。

在另一实施例中，所述图像处理机还包括自动调光模块，自动调光模块根据图像显示效果输出自动调光指令给冷光源系统的光源控制器，光源控制器根据自动调光指令调节三个光源的照明亮度。

在另一实施例中，所述蓝激光光源、绿激光光源和白光LED光源分别通过耦合器连接光纤合束器；光纤合束器连接去散斑器，去散斑器通过光纤连接光路扩大器和准直器，光路扩大器和准直器固定设置于IRIS光阑组件的前部；去散斑器和IRIS光阑组件连接所述光源控制器。

在另一实施例中，所述蓝激光的波长为415nm；所述绿激光的波长为532nm；所述白光LED的波长为400～800nm。

在另一实施例中，来自于所述内窥镜的所述图像信息经过信号及电源隔离器输入所述图像处理控制器。

本发明可以达到的技术效果是：

本发明的图像处理机与多光谱冷光源实现联动控制，当选择冷光源不同光谱特性组合的照明效果时，图像处理机采用相应的色谱处理效果，从而能够使图像上更清晰地显示出病灶与正常组织的区别或边缘。

本发明在图像处理机嵌入人工智能模块，当图像处理机捕捉到经人工智能判断的病灶性质或检查区域时，图像处理机的图像处理控制器输出相应的命令给冷光源，冷光源按照此命令输出相应的照明光谱组合，使得显示的内窥镜图像病灶更容易被识别。

本发明的图像处理机所嵌入的人工智能模块具有病灶跟踪单元，能够在内窥镜检查过程中自动跟踪标记被人工智能系统判断的病灶，以提示医生重点观察。

本发明的图像处理机所嵌入的人工智能模块具有多模型融合单元，能够实时显示被人工智能判断病灶区域框图。

本发明将光源的控制及图像增强处理与人工智能AI结合在一起，能够使得内窥镜所采集的图像上显示更多具有诊断价值的信息。

本发明采用激光光源与白光光源组成形成的多频谱照明光，将激光光源所产生的窄带光谱与白光光源所产生的宽带光谱相结合，能够使得内窥镜在该照明光下所采集的图像呈现出更多具备诊断意义的信息。

附图说明

本领域的技术人员应理解，以下说明仅是示意性地说明本发明的原理，所述原理可按多种方式应用，以实现许多不同的可替代实施方式。这些说明仅用于示出本发明的教导内容的一般原理，不意味着限制在此所公开的发明构思。

结合在本说明书中并构成本说明书的一部分的附图示出了本发明的实施方式，并且与上文的总体说明和下列附图的详细说明一起用于解释本发明的原理。

下面结合附图和具体实施方式对本发明作进一步详细的说明：

图1是本发明能够实现智能图像处理的医用内窥镜系统的示意图；

图2是本发明的人工智能模块的多模型融合单元所采用的基于深度学习多模型融合技术的胃早癌辅助诊断方法的流程示意图；

图3是本发明的人工智能模块的病灶跟踪单元所采用的一种基于时序特征学习的消化内镜下病灶跟踪方法流程示意图；

图4是TE模式下的图像显示效果图；

图5是TG模式下的图像显示效果图；

图6是TC模式下的图像显示效果图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如图1所示，本发明能够实现智能图像处理的医用内窥镜系统，包括内窥镜、图像处理机、冷光源系统；内窥镜在冷光源系统输出的照明光下进行图像采集，并将所采集的图像传递给图像处理机进行图像处理；

图像处理机包括图像处理控制器，内窥镜所采集的图像信息经过信号及电源隔离器输入图像处理控制器；信号及电源隔离器是为安全采取的电路措施，从而在内窥镜与图像处理机之间形成电信号光电隔离电路；

图像处理控制器将图像信息传递给图像增强处理模块，由图像增强处理模块进行图像的边缘增强、构造增强、对比度增强以及去噪声处理，并向图像处理控制器输出经过增强处理的图像；图像增强处理模块连接图像色谱学处理输出模块，图像色谱学处理输出模块具有三个图像色谱学处理输出模式，即TP模式、TV模式和TT模式，从而向图像处理控制器发送具有不同频谱特性的图像；

图像处理控制器连接视频信号处理模块，图像处理控制器将所接收的具有频谱特性的图像通过视频信号处理模块在彩色显示器上实现视频输出；视频信号处理模块能够输出数字视频信号和模拟视频信号；

图像处理机还包括人工智能模块(AI模块)，图像处理控制器将图像信息传递给人工智能模块进行智能分析，再将经过智能分析的图像信息传递给图像处理控制器；

图像处理机还包括自动调光模块(IRIS)，自动调光模块能够根据图像显示效果输出自动调光指令给冷光源系统的光源控制器，光源控制器根据自动调光指令调节三个光源的照明亮度，从而使得当内窥镜接近病灶，照明亮度过高时自动减少照明亮度；当内窥镜远离病灶观察大范围时，增大照明亮度。

冷光源系统包括415nmLD光源、532nmLD光源、白光LED(波长为400～800nm)光源，从而具有多频谱照明特性；415nmLD光源、532nmLD光源和白光LED光源分别连接光源驱动器，各光源驱动器分别与光源控制器连接；光源控制器通过对三个光源驱动器的控制，使三个光源输出不同的照明光谱组合，形成三个光谱照明模式，即TE模式、TG模式和TC模式；光源控制器通过通讯模块与图像处理机的图像处理控制器相连接，通讯模块能够实现图像处理机与冷光源系统之间指令信号的传送；

415nmLD光源、532nmLD光源和白光LED光源分别通过耦合器连接光纤合束器；光纤合束器连接去散斑器，去散斑器通过光纤连接光路扩大器(即扩束器)和准直器，光路扩大器和准直器固定设置于IRIS光阑组件的前部；

去散斑器和IRIS光阑组件连接光源控制器；光源控制器连接控制面板，以实现对光源控制器的操控；

415nmLD光源、532nmLD光源和白光LED光源在各自驱动器的驱动下，以光纤耦合输出的方式输出光纤，并通过光纤合束器混合成一路光输出至去散斑器；当415nmLD光源和532nmLD光源工作时，光源控制器控制去散斑器工作，以解决激光照明时的散斑影响；光路经过光路扩大器和准直器后形成一个直径6mm的照明光斑；

光源控制器具有手动调光和自动调光两种模式；选择手动调光时，可以在控制面板上手动调整照明亮度的大小；选择自动调光时，输出照明的亮度受自动调光模块的输出指令控制。

图像色谱学处理输出模块的TP模式用于显示腺管和黏膜细微结构，即TP模式下病灶需增强性质或部位为腺管和黏膜细微结构；在TP模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，以增加整体的R通道水平，通过颜色改变使病变显示更明显，同时配合放大功能，从而能够观察腺管及黏膜的细微变化；检查过程中可全程开启TP模式；

图像色谱学处理输出模块的TV模式用于显示微血管，即TV模式下病灶需增强性质或部位为微血管；在TV模式下，图像色谱学处理输出模块将图像分解为R、G、B三个通道，人为去除R通道成分，因成像时血液吸收了短波长光线(G、B)，从而能够显示微血管的变化，根据微血管的变化可以判断病变的良恶性；

图像色谱学处理输出模块的TT模式能够与冷光源系统实现联动控制；在TT模式下，图像增强处理模块的图像色谱学处理输出模块通过通讯模块向光源控制器发送指令，使光源控制器在TE模式、TG模式和TC模式中选择；同时，图像色谱学处理输出模块根据光源控制器所选择的不同模式，自动调整图像输出色彩组合，输出不同的RGB三色组合，以适应三种特殊频谱组合照明下的内窥镜图像；则TT模式下所输出频谱特性图像受冷光源系统的光源控制器和图像增强处理模块的图像色谱学处理输出模块控制；

TE模式用于显示食道，即TE模式下病灶需增强性质或部位为食道；在TE模式下，光源控制器控制三个光源驱动器，使照明输出为415nm紫蓝光与白光的组合；图像色谱学处理输出模块动态减少图像中的红色显像，经处理后的图像显示效果为整体偏蓝色，使得内镜图像中的毛细血管得到加强，如图4所示；

TG模式用于显示胃，即TG模式下病灶需增强性质或部位为胃；在TG模式下，光源控制器控制三个光源驱动器，使照明输出为415nm蓝激光、532nm绿激光与白光的组合；图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，动态增加蓝光和绿光的颜色显像，使得内镜图像中的扁平病灶得到加强显示，如图5所示；

TC模式用于显示大肠，即TC模式下病灶需增强性质或部位为大肠；在TC模式下，光源控制器控制三个光源驱动器，使照明输出为高亮度415nm蓝激光与白光的组合；图像色谱学处理输出模块在保持TE模式下的动态红色减少的同时，使蓝紫色照明输出为高亮度状态，应用在肠道检查时对病灶和正常组织的对比效果明显，如图6所示。

人工智能模块(AI模块)包括多模型融合单元和病灶跟踪单元；人工智能模块通过AI智能分析，检测并跟踪图像中的可疑病灶并在病灶部位进行标记，然后将智能分析结果发送给图像处理控制器，图像处理控制器将智能分析结果通过通讯模块发送给冷光源系统的光源控制器，光源控制器根据智能分析结果对三个光源驱动器进行控制，使三个光源根据智能分析结果输出不同的光源；同时，图像处理控制器将具有智能分析结果的图像发送给图像增强处理模块，图像增强处理模块对具有智能分析结果的图像进行图像增强处理；

多模型融合单元采用中国发明专利文献CN111899229A公开的一种基于深度学习多模型融合技术的胃早癌辅助诊断方法(申请日：2020年7月14日，申请号：2020106754760)，利用深度学习多模型融合技术对图像中的病变进行识别，检测出图像中的可疑病灶并在病灶部位用方框标记，并且对高风险病灶进行标记；例如，在病灶部位分别用红色框标识代表高风险部位，用绿色框标识代表低风险部位，具体方法如图2所示；

病灶跟踪单元采用中国发明专利文献CN111915573A公开的一种基于时序特征学习的消化内镜下病灶跟踪方法(申请日：2020年7月14日，申请号：2020106745831)，在内镜检查过程中实时跟踪病灶的区域及位置，具体方法如图3所示。

显然，本领域的技术人员可以对本发明进行各种改动和变形，而不脱离本发明的精神和范围。这样，倘若本发明的这些修改属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变形在内。