一种基于移动端的ESD术前讨论系统

技术领域

本发明涉及ESD术前分析技术领域，具体涉及一种基于移动端的ESD术前讨论系统。

背景技术

术前讨论是在患者手术实施前，医师对拟实施手术的病例手术指征、手术方式、预期效果、手术风险和处置预案等进行讨论，实现个性化治疗，以达到降低手术风险、保障手术安全目的，同时也可以积累疑难复杂病例的治疗经验，提高诊疗水平。术前讨论在外科手术前已成为常规流程。

随着内镜技术的进步，内镜黏膜下剥离术(endoscopic submucosal dissection，ESD)作为内镜下治疗消化道病变的微创手术，经过数年的发展，其技术已日渐成熟，目前国际多项指南和共识均推荐内镜下切除为早期胃癌的首选治疗方式。与传统外科手术相比，消化内镜治疗早期胃癌具有创伤小、并发症少、恢复快、费用低等优点，且疗效与外科手术相当。然而，ESD治疗早期胃癌也同样存在会出现出血、穿孔、残留等并发症，对内镜操作技术要求较高，适应症把握也需要严格要求。

目前的ESD操作多在消化内科进行，多数内镜医生常会忽视术前讨论，局限于个人思维，待到术中情况与术前预期不一致时，难以做出准确判断，常需要求助于上级医师，甚至自身产生误判，影响患者治疗效果，导致患者无法受益。

发明内容

本发明的目的在于提供一种可方便提供医师进行WSD术前讨论、综合多方面因素，准确筛选ESD适应症患者的基于移动端的ESD术前讨论系统，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

本发明提供一种基于移动端的ESD术前讨论系统，该系统包括：

评估分类模块，用于遍历计划开展ESD手术的患者记录，提取内镜检查诊断报告、内镜图像、病理诊断报告，依据ESD适应症评估分类标准，计算得出适应症评估分类结果；

术前讨论申请模块，用于根据适应症评估分类结果，选择需要进行术前讨论的患者的病历信息，根据病历信息发起术前讨论请求；

术前讨论参与模块，用于接收医师用户的参与请求，若参与请求符合对应的病历信息的操作资格，则允许该医师用户加入术前讨论，获取ESD术前病理讨论结果。

优选的，所述系统还包括：查询与回溯模块，用于进行同类患者的病理查询与回溯，对ESD手术的患者的术后病理结果进行分析，评价是否为治愈性切除或非治愈性切除；对于非治愈性切除及时进行提示，以及时追加治疗。

优选的，所述评估分模块包括病灶大小计算单元、判断单元、类型识别单元以及评估单元；

所述病灶大小计算单元，用于利用内镜喷水功能所形成的水柱作为参照物，计算病灶大小；

所述判断单元，用于利用深度学习神经网络模型判断病灶是否合并溃疡；

所述类型识别单元，用于根据患者的病理诊断结果文本信息，从中自动识别“分化”字样，然后遍历“分化”字样的前后文本信息，搜寻得出病灶分化类型；

所述评估单元，用于根据病灶大小、病灶是否合并溃疡以及病灶分化类型，得出患者的ESD手术适应症评估分类结果。

优选的，所述病灶大小计算单元包括：第一图像采集子单元、水柱识别子单元、第一计算子单元以及第二计算子单元；

所述第一图像采集子单元，用于获取内窥镜下包含病变和水柱的消化道图像；

水柱识别子单元，用于利用训练好的水柱轮廓识别模型识别图像中所包含的水柱轮廓；其中，对采集的图像的水柱轮廓进行预先标注并进行掩码处理，作为训练数据训练所述水柱轮廓识别模型；

第一计算子单元，用于对识别出的水柱轮廓进行角点检测，根据检测到的角点和水柱轮廓计算水柱与消化道粘膜相交的宽度；

第二计算子单元，用于根据图像像素与实际尺寸之间的对应关系，结合水柱与消化道粘膜相交的宽度，得到所述病灶外接矩形的实际大小，即得到最终的病灶大小。

优选的，所述第一计算子单元被配置为：依据水柱轮廓识别水柱与病灶粘膜交界处的一侧的角点，在对侧的轮廓线上取多个点，基于所述多个点进行直线拟合，得到对侧的拟合直线，将识别出的所述角点投影到拟合直线上，得到的投影点和所述角点之间的距离即为水柱与病灶粘膜相交的宽度。

优选的，采用Mask R-CNN神经网络训练所述水柱轮廓识别模型。

优选的，所述判断单元包括第二图像采集子单元、病灶区域识别子单元以及二次验证子单元；

所述第二图像采集子单元，用于采集带有病灶区域的样本图像；

所述病灶区域识别子单元，用于利用训练好的病灶区域识别模型识别样本图像中的病灶区域；其中，对采集的带有病灶区域的样本图像进行病灶区域标注，作为训练集训练所述病灶区域识别模型；

所述二次验证子单元，用于利用训练好的验证分类模型验证识别出的病灶区域是否合并溃疡；其中，对识别出的病灶区域进行溃疡病灶区域标注和非溃疡病灶区域标注，作为训练集训练所述验证分类模型。

优选的，采用YOLOv3神经网络训练所述病灶区域识别模型。

优选的，采用MobileNetV2卷积神经网络训练所述验证分类模型。

优选的，所述病历信息包括患者主诉、患者基本资料、术前普通内镜图像、放大内镜图像、染色内镜图像、超声内镜图像、CT图像。

本发明有益效果：形成了便于运行和操作的移动讨论系统，便于结合ESD手术本身特点，提取相应的内镜信息系统数据库相关信息，准确评估ESD手术适应症分类，以准确筛选符合ESD适应证的患者，避免不适合内镜手术患者过度治疗，减少了手术并发症发生概率，为医疗安全提供保障。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例所述的基于移动终端的ESD术前讨论系统的功能原理框图。

图2为本发明实施例所述的基于移动终端的ESD术前讨论系统的评估分类模块的功能原理框图。

图3为本发明实施例所述的基于移动终端的ESD术前讨论系统的病灶大小计算单元的功能原理框图。

图4为本发明实施例所述的基于移动终端的ESD术前讨论系统的判断单元的功能原理框图。

具体实施方式

下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。

还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。

本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。

实施例

如图1所示，本发明实施例提供一种基于移动端的ESD术前讨论系统，该系统包括：

评估分类模块，用于遍历计划开展ESD手术的患者记录，提取内镜检查诊断报告、内镜图像、病理诊断报告，依据ESD适应症评估分类标准，计算得出适应症评估分类结果；

术前讨论申请模块，用于根据适应症评估分类结果，选择需要进行术前讨论的患者的病历信息，根据病历信息发起术前讨论请求；

术前讨论参与模块，用于接收医师用户的参与请求，若参与请求符合对应的病历信息的操作资格，则允许该医师用户加入术前讨论，获取ESD术前病理讨论结果。

所述系统还包括：查询与回溯模块，用于进行同类患者的病理查询与回溯，对ESD手术的患者的术后病理结果进行分析，评价是否为治愈性切除或非治愈性切除；对于非治愈性切除及时进行提示，以及时追加治疗。

如图2所示，所述评估分模块包括病灶大小计算单元、判断单元、类型识别单元以及评估单元；

所述病灶大小计算单元，用于利用内镜喷水功能所形成的水柱作为参照物，计算病灶大小；

所述判断单元，用于利用深度学习神经网络模型判断病灶是否合并溃疡；

所述类型识别单元，用于根据患者的病理诊断结果文本信息，从中自动识别“分化”字样，然后遍历“分化”字样的前后文本信息，搜寻得出病灶分化类型；

所述评估单元，用于根据病灶大小、病灶是否合并溃疡以及病灶分化类型，得出患者的ESD手术适应症评估分类结果。

如图3所示，所述病灶大小计算单元包括：第一图像采集子单元、水柱识别子单元、第一计算子单元以及第二计算子单元；

所述第一图像采集子单元，用于获取内窥镜下包含病变和水柱的消化道图像；

水柱识别子单元，用于利用训练好的水柱轮廓识别模型识别图像中所包含的水柱轮廓；其中，对采集的图像的水柱轮廓进行预先标注并进行掩码处理，作为训练数据训练所述水柱轮廓识别模型；

第一计算子单元，用于对识别出的水柱轮廓进行角点检测，根据检测到的角点和水柱轮廓计算水柱与消化道粘膜相交的宽度；

第二计算子单元，用于根据图像像素与实际尺寸之间的对应关系，结合水柱与消化道粘膜相交的宽度，得到所述病灶外接矩形的实际大小，即得到最终的病灶大小。

所述第一计算子单元被配置为：依据水柱轮廓识别水柱与病灶粘膜交界处的一侧的角点，在对侧的轮廓线上取多个点，基于所述多个点进行直线拟合，得到对侧的拟合直线，将识别出的所述角点投影到拟合直线上，得到的投影点和所述角点之间的距离即为水柱与病灶粘膜相交的宽度。

采用Mask R-CNN神经网络训练所述水柱轮廓识别模型。

如图4所示，所述判断单元包括第二图像采集子单元、病灶区域识别子单元以及二次验证子单元；

所述第二图像采集子单元，用于采集带有病灶区域的样本图像；

所述病灶区域识别子单元，用于利用训练好的病灶区域识别模型识别样本图像中的病灶区域；其中，对采集的带有病灶区域的样本图像进行病灶区域标注，作为训练集训练所述病灶区域识别模型；

所述二次验证子单元，用于利用训练好的验证分类模型验证识别出的病灶区域是否合并溃疡；其中，对识别出的病灶区域进行溃疡病灶区域标注和非溃疡病灶区域标注，作为训练集训练所述验证分类模型。

采用YOLOv3神经网络训练所述病灶区域识别模型。

采用MobileNetV2卷积神经网络训练所述验证分类模型。

所述病历信息包括患者主诉、患者基本资料、术前普通内镜图像、放大内镜图像、染色内镜图像、超声内镜图像、CT图像。

在本实施例中，利用上述的基于移动端的ESD术前讨论系统，可实现患者ESD术前讨论，具体方法如下：

包括人工智能入组分类评估步骤、术前讨论申请步骤、意见分析和提交步骤、讨论结果查询与回溯步骤。

步骤1：利用评估分类模块进行人工智能入组分类评估。

评估分类模块自动遍历计划开展ESD手术的患者记录，通过内镜检查诊断报告、内镜图像、病理诊断报告等资料，ESD适应症评估分类标准，自动评估分类。

其中，ESD适应症评估分类标准如下：

对于绝对适应症：(1)非浸润性肿瘤，不论病灶大小；(2)病灶直径≤2cm、无合并存在溃疡的分化型黏膜内癌。

对于相对适应症：(1)病灶直径＞2cm、无合并溃疡存在的分化型黏膜内癌；(2)病灶直径≤3cm、合并溃疡存在的分化型黏膜内癌；(3)并在直径≤2cm、无合并溃疡存在的未分化型黏膜内癌；(4)病灶直径≤3cm的分化型浅层黏膜下癌(SMI，黏膜下层浸润深度≤500μm)

对于ESD术前评估，有3个重要依据：其1是病灶的大小；其2是病灶是否合并溃疡；其3是病灶的分化类型。

对于病灶大小的评估，分为：小于等于2cm；大于2cm；小于等于3cm；大于3cm四类。而消化内镜检查中，由于消化道并非相对静止，而是不断蠕动，造成所采集的病灶图像的角度、距离难以达到统一标准，同时由于消化内镜的镜头畸变且没有距离测量手段，导致病灶大小难以精确测量。

现有的对病灶大小的评估更多依靠内镜医师的视觉经验估计，但对于该病灶大小将作为手术治疗方案评估的重要参数的情景，视觉经验的估计不够客观严谨。

因此，在本实施例中，利用内镜喷水功能所形成的水柱作为参照物，计算机智能精确计算病灶大小，从而良好解决ESD术前评估所必须的病灶大小测量问题。

对于病灶是否合并溃疡，本实施例中，基于人工智能图像识别技术，利用深度学习神经网络模型进行自动判断。

对于病灶的分化类型，本实施例中，通过信息提取、文本处理技术，从病理诊断结果中自动获取。

最后，依据以上病灶大小、是否合并溃疡以及病灶分化类型3个评估标准结果，得出具体病例的ESD手术适应症评估分类结果。

ESD手术适应症评估分类结果人工智能评估过程，包括如下：

步骤1.1：利用病灶大小计算单元自动识别、测量计算病灶直径大小

本实施例中，使用内窥镜水柱作为参照物测量病灶大小，具体的：

步骤1.1-1：利用第一图像采集子单元获取内窥镜下包含病变和水柱的消化道图像：

所述数据为水柱轮廓进行了预先标注的消化道内窥镜样本图像；对所述数据中的样本图像进行掩码处理。

步骤1.1-2：利用水柱识别子单元识别其中所包含的水柱轮廓：

采用经过掩码处理的训练数据，训练Mask R-CNN神经模型，得到水柱轮廓识别模型。

步骤1.1-3：利用第一计算子单元计算水柱与病灶相交的宽度：

对识别出的水柱轮廓进行角点检测。根据检测到的角点和水柱轮廓计算水柱与消化道粘膜相交的宽度，具体方法如下：

依据水柱轮廓识别水柱与病灶粘膜交界处的一侧的角点；在对侧的轮廓线上取多个点，基于所述多个点进行直线拟合，得到对侧的拟合直线；将识别出的所述角点投影到拟合直线上，得到的投影点和所述角点之间的距离即为水柱与病灶粘膜相交的宽度。

步骤1.1-4：利用第一计算子单元根据图像像素与实际尺寸之间的对应关系，结合水柱与消化道粘膜相交的宽度，得到所述病灶外接矩形的长和宽实际大小。

步骤1.2：利用判断单元自动识别病灶是否合并溃疡

系统采用深度学习神经网络模型自动识别消化道内窥镜图像中病灶并验证病灶区域是否合并溃疡，具体的：

步骤1.2-1：利用第二图像采集子单元采集带有病灶的样本图像，标注训练数据。

步骤1.2-2：利用病灶区域识别子单元识别病灶区域，其中，利用上一步制作的训练数据集，训练病灶区域识别模型，本实施例中，采用YOLOv3目标检测模型识别内窥镜下的溃疡病灶区域，使用TensorRT加速，每帧图像推理时间耗时低至10ms，可以满足消化内镜实时视频影像智能推断的需求。

步骤1.2-3：利用二次验证子单元进行二次验证病灶区域是否合并溃疡。整理病灶区域训练样本，从步骤1采集到的样本图像中，裁剪出病灶区域，对图像分类为两个类别：溃疡，非溃疡；使用MobileNetV2训练一个溃疡图像二分类识别模型，MobileNetV2是一个轻量化卷积神经网络，可达到100FPS的性能，消化内镜实时视频影像智能推断的需求；内窥镜图像调用步骤2中的YOLOV3模型识别到病灶后，依据图像坐标位置裁剪出病灶区域后，调用二分类模型，进一步验证病灶区域是否合并溃疡。

步骤1.3：利用类型识别单元自动获取病灶分化类型

本实施例中，通过信息提取、文本处理技术，从患者病历资料中自动获取病理诊断结果，根据所获病理诊断结果文本信息，从中自动识别“分化”字样，然后遍历其前后文本，搜寻得出该病灶诊断具体的分化类型。

步骤1.4：利用计算得出具体病例的ESD手术适应症评估分类结果

本实施例中，基于以上步骤所得到的病灶的大小、病灶是否合并溃疡、病灶的分化类型结果，依据“ESD适应症评估分类标准”，计算得出适应症评估分类结果。

步骤2：利用术前讨论申请模块进行术前讨论申请：

基于以上人工智能分类评估结果，医师选择要进行术前讨论的患者，组织病历信息用于术前讨论，具体包括：患者主诉、基本资料、术前普通内镜、放大内镜、染色内镜、超声内镜、CT等图文资料，HIS系统中的实验室检验资料。资料组织完备后，通过系统发起术前讨论申请流程。

步骤3：利用术前讨论参与模块进行术前讨论意见分析和提交：

本模块中，预先存储术前讨论规则，需邀请至少3名符合操作资格的医生参与讨论，在上一步骤术前讨论申请发起后，系统会根据发起人术前讨论规则、系统默认规则选定参与讨论的医生参与术前讨论。

参与讨论的医生可通过系统在手机移动端进行术前讨论，讨论过程支持语音、文字输入，可约定时间会议讨论也可依据各人不同时间进行留言讨论。具体会对手术操作前需要进行的麻醉方式、器械类型、手术切开策略、术后注意事项进行讨论、说明。

步骤4：利用查询与回溯模块进行讨论结果查询与回溯：

支持同类患者数据库查询与回溯功能，以利于积累相关经验。同时根据输入的eCURE术后分级系统，对术后病理结果进行智能分析，评价是否为治愈性切除、非治愈性切除，对于非治愈性切除及时在系统进行提示，以及时追加治疗。

综上所述，本发明实施例所述的基于移动端的ESD术前讨论系统，通过人工智能辅助，结合ESD手术本身特点，抓取患者病例相关资料信息，智能评估ESD手术适应症分类。良好解决了以往的病灶大小难以精确测量、过分依靠内镜医师的视觉经验主观估计的判断参数不够客观严谨问题，同时采用人工智能技术自动判断病灶是否合并溃疡、病灶分化类型参数，为医生提供精准的ESD术前适应症判断依据。系统在准确筛选符合ESD适应证的患者的基础上，同时提供对于ESD术前讨论的完整的流程管理、过程信息记录，形成便于医生运行和操作的移动讨论系统，以避免不适合内镜手术患者过度治疗，同时利于减少术中并发症，为医疗安全提供保障。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。