一种基于深度学习的消化道黏膜染色检测系统和方法

技术领域

本发明涉及人工智能技术领域，特别涉及一种基于深度学习的消化道黏膜染色检测系统和方法。

背景技术

随着人工智能的不断发展，医学影像领域也不断引入人工智能技术，通过人工智能技术能够根据医学影像自动筛查存在的病变组织，从而辅助医师诊断，不仅可以节省医师劳动力，提高检测速度，还能有效降漏诊率，目前人工智能技术已经在乳腺癌病理检查、肺癌检测、心血管成像等各个领域得到了广泛的研究。

常规的白光内镜筛查消化道病变的漏诊率高达25％，尤其是结肠里的微小病变和扁平型病变。色素内镜检查是在常规白光内镜的基础上，对黏膜进行染色，从而使病灶与正常黏膜颜色对比更加明显，有助于病变的辨认、活检和镜下诊疗。促进肿瘤病变的病灶可视化技术已被应用于整个胃肠道，例如色素内窥镜检查，特别是结合放大内镜检查，可显著改善检测胃肠黏膜肿瘤病变的手段。但医生在对黏膜进行染色时，由于图像有阴影等易造成漏诊从而影响最终的判断，以及无法判断染色的质量，这对后期的辅助诊断起到重要作用，因此黏膜染色的区域识别和质量检测是急需解决的问题。

发明内容

针对现有技术中消化道黏膜染色漏诊率较高的问题，本发明提出一种基于深度学习的消化道黏膜染色检测系统和方法，能适合基层医疗机构、适合现有绝大部分胃肠镜，主动提示医师执行染色动作，并对医师的行为做质量控制，降低漏诊几率，从而提高了诊断质量与检查诊断效率。

为了实现上述目的，本发明提供以下技术方案：

一种基于深度学习的消化道黏膜染色检测系统，包括影像采集装置、主机、智能提示装置、染色装置和染色动作捕捉装置；

所述影像采集装置的输出端与主机的输入端连接，主机的输出端与智能提示装置的输入端连接，智能提示装置的输出端与染色装置的输入端连接，染色装置的染色输出端输出染色药品，染色装置的信号输出端输出染色动作信号到染色动作捕捉装置。

优选的，所述主机包括预处理模块、智能识别模块和质量控制模块；所述预处理模块用于对胃肠镜图像数据进行预处理，所述智能识别模块用于识别胃肠镜图像的类别并发出相应的的黏膜染色提示信号，所述质量控制模块用于分析检测黏膜染色的质量。

优选的，所述胃肠镜图像的类别包括染色图、病变图和正常图。

优选的，所述质量控制模块包括染色记录单元、染色分析单元和输出单元；其中，染色记录单元用于统计智能识别模块发出的黏膜染色提示信号和对应时间内的黏膜染色动作；染色分析单元用于分析黏膜染色动作是否发生在黏膜染色提示信号提示的时间内；输出单元用于将分析结果实时显示并生成报告。

优选的，所述智能提示装置包括信号接收模块和信号提示模块；其中信号接收模块用于接收主机输出的黏膜染色提示信号；信号提示模块根据黏膜染色提示信号来做出相应的提示，提示包括“不需染色”和“需要染色”。

本发明还提供一种基于深度学习的消化道黏膜染色检测方法，具体包括以下步骤：

S1：首先对系统进行训练以区分白光和染色模式并得到癌症阈值P，完成系统的初始化；

S2：实时获取胃肠镜图像，经过预处理后智能识别胃肠镜图像的类别，从而输出对应黏膜染色提示完成黏膜染色。

优选的，所述S2包括：

S2-1：智能识别胃肠镜图像是否为病变图，若是则进入S2-2；若不是则进入S2-4；

S2-2：识别胃肠镜图像中病变率是否大于癌症阈值P，若是则进入S2-3；若不是则进入S2-4；

S2-3：输出黏膜染色提示，并发出报警信号。

S2-4：继续对其它部位进行黏膜染色检测。

优选的，还包括

S3：记录发出黏膜染色提示信号的时间戳t1和黏膜染色动作信号的时间戳t2，若t2-t1≤t则为有效的黏膜染色动作，若t2-t1＞t则为无效的黏膜染色动作，t为预设时间阈值。

综上所述，由于采用了上述技术方案，与现有技术相比，本发明至少具有以下有益效果：

本发明在遵循消化道早癌筛查临床指南或专家共识的基础上，能适合基层医疗机构、适合现有绝大部分胃肠镜，既能指导和督促医生做好消化内镜的检查又能提高其检查诊断水平和效率。

本发明的系统将AI技术与AI主机的特殊黏膜染色技术有机结合于一体后，主动提示医师执行染色动作，并对医师的行为做质量控制，降低漏诊几率，从而提高了诊断质量与检查诊断效率。通过利用统一的标准化生产的高质量染色让黏膜染色的可比性更强，有利于标准化的诊断图谱的形成，通过提供染色效果更好、可比性更强的图片，来提高在色素内镜条件下的图像识别的敏感度与特异度。

附图说明：

图1为根据本发明示例性实施例的一种基于深度学习的消化道黏膜染色检测系统示意图。

图2为根据本发明示例性实施例的一种基于深度学习的消化道黏膜染色检测方法示意图。

具体实施方式

下面结合实施例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本发明提供一种基于深度学习的消化道黏膜染色检测系统，包括影像采集装置、主机、智能提示装置、染色装置和染色动作捕捉装置。影像采集装置的输出端与主机的输入端连接，主机的输出端与智能提示装置的输入端连接，智能提示装置的输出端与染色装置的输入端连接，染色装置的染色输出端输出染色药品，染色装置的信号输出端输出染色动作信号到染色动作捕捉装置。

影像采集装置，用于采集来自胃肠镜的视频流的图像数据并传输到主机。影像采集装置上设置由市面上常用的各种接口(例如USB、PCIE等)，以流畅的帧率(帧率可达30～60fps，分辨率1080p)传输给主机做实时处理。

主机，包括预处理模块、智能识别模块和质量控制模块，用于对影像采集装置传输的胃肠镜视频流的图像数据进行预处理、人工智能判断和黏膜染色质量控制。

其中预处理模块用于对图像数据进行预处理，即图像压缩和色彩转换，将预处理后的图像输入到智能识别模块；

智能识别模块采用训练合格的卷积神经网络来做实时预测，该卷积神经网络利用大量已标注的消化道视频图像来训练，将输入图像预测为不同类别从而输出不同的黏膜染色提示信号，类别包括：a、胃肠道中已经有黏膜染色的图像，即染色图；b、胃肠道中没有黏膜染色，但有病变组织，即病变图；c、胃肠道中没有黏膜染色，并且没有病变组织，即正常图。

质量控制模块包括三个单元：染色记录单元、染色分析单元和输出单元。其中染色记录单元用于统计智能识别模块发出的黏膜染色提示信号，和对应时间内医师所做出的黏膜染色动作；所述的染色分析单元是分析黏膜染色动作是否发生在黏膜染色提示信号提示的时间内，若在提示时间内，则为有效的黏膜染色动作，若不在提示时间内则属于无效的黏膜染色动作；输出单元是将统计出的分析结果实时显示，并生成报告，用于整个检查过程的评估。

智能提示装置，用于提示当前是否需要染色并显示当前的胃肠镜图像。智能提示装置包括信号接收模块和信号提示模块；其中信号接收模块用于接收主机输出的黏膜染色提示信号；信号提示模块根据黏膜染色提示信号来做出相应的提示，如：判别为染色图和正常图时，提示区只会显示“不需染色”的字样；判别为病变图时，提示区显示“需要染色”的字样，并发出报警提示音。其中，智能提示装置使用了深度学习技术，使用人工标注的染色图像来训练卷积网络，卷积网络训练完毕后可以区分白光和染色模式(白光模式表示在宽波光的照射下所呈现的自然原色；染色模式包括电子染色和化学染色两种，消化道组织在染色模式下会呈现异于白光模式下的颜色，病变区组织会在染色模式下凸显出来；白光代表病变图，仅属于一种观察模式；染色图表示染色模式下观察的图，已经染色。在白光模式下得到一个癌症阈值P，是判定染色的置信度。

染色装置，用于提供染色所需的药品和仪器。医师可根据智能提示装置输出的提示内容来执行相应的操作。例如当前胃肠镜图像包含可疑病变区时，医师可以使用染色装置来喷洒染色药品，直到染色合适，以便更好的观察病变组织。

染色动作捕捉装置，用于接收染色装置所执行的染色动作信号，并将其转换为串口信号，使用串口通信协议来与主机通信，以便进行质量分析和控制。

基于上述系统，本发明还提供一种基于深度学习的消化道黏膜染色检测方法，如图2所示，具体包括以下步骤：

S1：首先对系统进行训练得到癌症阈值P，完成系统的初始化。

采用胃肠镜图像数据库中的数据集并进行人工标注来识别染色或正常，将标注后的数据集输入系统进行训练区分白光和染色模式，并在白光模式下得到一个癌症阈值P，可通过大量的实验数据和相关专家的训练得到，满足临床标准。

S2：实时获取胃肠镜图像，经过预处理后智能识别胃肠镜图像的类别，从而输出对应黏膜染色提示完成黏膜染色。

S2-1：智能识别胃肠镜图像是否为白光观察模式下的图，若是则进入S2-2；若不是则进入S2-4；；

S2-2：识别胃肠镜图像中的病变率是否大于癌症阈值P，若是则进入S2-3；若不是则进入S2-4；

S2-3：输出黏膜染色提示，并发出报警信号。

S2-4：继续对其它部位进行黏膜染色检测。

为指导和督促医生做好消化内镜的检查，又能提高其检查诊断水平和效率，还包括以下步骤：

S3：记录发出黏膜染色提示信号的时间戳t1和黏膜染色动作信号的时间戳t2，若t2-t1≤t则为有效的黏膜染色动作，若t2-t1＞t则为无效的黏膜染色动作，t为预设时间阈值。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。