一种胶囊内窥镜图像处理方法、系统、设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种胶囊内窥镜图像处理方法、系统、设备及存储介质。

背景技术

胶囊内窥镜是一种医疗设备，在使用胶囊内窥镜对患者肠道检查的过程中，医务人员会根据胶囊内窥镜采集的肠道内部的图像数据进行医疗检查，然而在用胶囊内镜进行肠胃检测的过程中医务人员的水准参差不齐，若在长时间疲劳检查的情况下，进一步增加了误诊、漏诊的概率。

发明内容

为解决以上技术问题，本发明提供了一种胶囊内窥镜图像处理方法、系统、设备及存储介质。

第一方面，本发明提供了一种胶囊内窥镜图像处理方法，应用于胶囊内窥镜控制系统，所述胶囊内窥镜控制系统包括：内部含有永磁体的胶囊内窥镜、外部永磁体、机械臂以及显示终端；所述机械臂的末端连接所述外部永磁体；所述显示终端分别与所述机械臂、所述胶囊内窥镜之间通信连接；所述方法包括以下步骤：

通过所述胶囊内窥镜采集患者的肠道实时图像，将所述肠道实时图像传输至所述显示终端；

所述显示终端接收所述肠道实时图像；

所述显示终端使用已训练的病灶识别模型识别所述肠道实时图像中的病灶位置以及病灶种类；

所述显示终端在屏幕上显示所述肠道实时图像，在所述肠道实时图像中标注所述病灶位置以及所述病灶种类；

其中，所述病灶识别模型是基于至少一个训练数据对模型训练，直至模型中的参数收敛而得到的，所述训练数据包括标注有病灶的肠道内部样本图像。

在进一步的实施方案中，所述胶囊内窥镜控制系统还包括肠道造影仪；所述显示终端还与所述肠道造影仪之间通信连接。

在进一步的实施方案中，所述方法还包括：

所述肠道造影仪扫描患者肠道的三维数据，将所述三维数据传输至所述显示终端；

所述显示终端接收所述三维数据，根据所述三维数据构造患者肠道的三维模型，显示所述三维模型，所述三维模型中包括位于患者肠道内部的胶囊内窥镜；

所述显示终端确定所述胶囊内窥镜在所述三维模型中的位置，并在所述三维模型中显示所述胶囊内窥镜的位置，并在所述胶囊内窥镜的位置处显示报警信息。

在进一步的实施方案中，所述方法还包括：

所述显示终端将根据所述肠道实时图像识别出的所述病灶位置与所述病灶种类存储在包含有病灶位置与病灶种类之间关系的实时对应关系中；

在对患者检查完毕并生成患者的实时检查报告时，所述显示终端根据所述实时对应关系生成患者的实时检查报告；

存储或输出所述实时检查报告。

在进一步的实施方案中，所述方法还包括：

所述显示终端获取已记录的所述患者的历史检查报告；所述患者的历史检查报告包括在历史过程中使用胶囊内窥镜对患者检查之后记录的包含有病灶位置与病灶种类之间关系的历史对应关系；历史对应关系中包括至少一个历史对应表项，每一个历史对应表项中均包括在历史过程中检查出的患者的一个病灶的类型以及一个病灶的位置；

若在所述历史对应关系中存在至少一个历史对应表项在所述实时对应关系中未出现，则将未出现的历史对应表项作为目标历史对应表项，并获取所述目标历史对应表项中的病灶类型以及病灶位置；

从本次采集到的所述肠道实时图像中，查找位于所述目标历史对应表项中的病灶位置处的肠道实时图像，显示查找到的肠道实时图像；

从历史采集到的肠道历史图像中，查找位于所述目标历史对应表项中的病灶位置处的肠道历史图像，显示查找到的肠道历史图像。

在进一步的实施方案中，所述方法还包括：

所述显示终端获取已记录的所述患者的历史检查报告；所述患者的历史检查报告包括在历史过程中使用胶囊内窥镜对患者检查之后记录的包含有病灶位置与病灶种类之间关系的历史对应关系；所述历史对应关系中包括至少一个历史对应表项，每一个历史对应表项中均包括在历史过程中检查出的患者的一个病灶的类型以及一个病灶的位置；

若在所述实时对应关系中存在至少一个实时对应表项在所述历史对应关系中未出现，则获取所述实时对应表项中记录的病灶类型以及病灶位置；

从本次采集到的所述肠道实时图像中，查找位于所述实时对应表项中的病灶位置处的肠道实时图像，显示查找到的肠道实时图像；

从历史采集到的肠道历史图像中，查找位于所述实时对应表项中的病灶位置处的肠道历史图像，显示查找到的肠道历史图像。

第二方面，本发明提供了一种胶囊内窥镜图像处理系统，所述系统包括：

图像采集模块，用于通过所述胶囊内窥镜采集患者的肠道实时图像，将所述肠道实时图像传输至所述显示终端；

显示终端，用于接收所述肠道实时图像，并使用已训练的病灶识别模型识别所述肠道实时图像中的病灶位置以及病灶种类；

显示终端，还用于在屏幕上显示所述肠道实时图像，在所述肠道实时图像中标注所述病灶位置以及所述病灶种类；

其中，所述病灶识别模型是基于至少一个训练数据对模型训练，直至模型中的参数收敛而得到的，所述训练数据包括标注有病灶的肠道内部样本图像。

第三方面，本发明还提供了一种计算机设备，包括处理器和存储器，所述处理器与所述存储器相连，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器中存储的计算机程序，以使得所述计算机设备执行实现上述方法的步骤。

第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

本发明提供了一种胶囊内窥镜图像处理方法、系统、设备及存储介质，所述方法通过胶囊内窥镜采集患者的肠道实时图像，将所述肠道实时图像传输至所述显示终端；所述显示终端接收所述肠道实时图像并使用已训练的病灶识别模型识别所述肠道实时图像中的病灶位置以及病灶种类；所述显示终端在屏幕上显示所述肠道实时图像，在所述肠道实时图像中标注所述病灶位置以及所述病灶种类；其中，所述病灶识别模型是基于至少一个训练数据对模型训练，直至模型中的参数收敛而得到的，所述训练数据包括标注有病灶的肠道内部样本图像。与现有技术相比，该方法不仅通过病灶识别模型实现对病灶位置和病灶种类的在线识别，而且还可以根据病灶种类和病灶位置的对应关系自动生成检查报告，从而可以通过对比含有病灶种类和病灶位置的检查报告为医生诊断提供参考依据，降低了人为导致的误诊、漏诊概率；另外，本发明通过显示终端对病灶识别结果进行自动预警，大大降低了医生的工作量。

附图说明

图1是本发明实施例提供的胶囊内窥镜图像处理方法流程示意图；

图2是本发明实施例提供的胶囊内窥镜控制系统结构简单示意图；

图3是本发明实施例提供的胶囊内窥镜图像处理系统框图；

图4是本发明实施例提供的计算机设备的结构示意图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

参考图1，本发明实施例提供了一种胶囊内窥镜图像处理方法，应用于胶囊内窥镜控制系统，如图2所示，所述胶囊内窥镜控制系统包括：内部含有永磁体的胶囊内窥镜、外部永磁体11、机械臂12以及显示终端13；所述机械臂12的末端连接所述外部永磁体11；所述显示终端13分别与所述机械臂12、所述胶囊内窥镜之间通信连接；如图1所示，该方法包括以下步骤：

S1.通过所述胶囊内窥镜采集患者的肠道实时图像，将所述肠道实时图像传输至所述显示终端。

在胶囊内窥镜运动过程中，本实施例通过胶囊内窥镜上的摄像装置连续拍摄肠道图像，得到肠道实时图像，并对胶囊内窥镜实际运动中产生的抖动进行预处理，从而保证胶囊内窥镜的检测结果的准确性，以利于病灶的识别。

S2.所述显示终端接收所述肠道实时图像。

S3.所述显示终端使用已训练的病灶识别模型识别所述肠道实时图像中的病灶位置以及病灶种类；其中，所述病灶识别模型是基于至少一个训练数据对模型训练，直至模型中的参数收敛而得到的，所述训练数据包括标注有病灶的肠道内部样本图像。在本实施例中，所述病灶识别模型的训练过程包括：

采集胶囊内窥镜的历肠道内部样本图像，并对所述肠道内部样本图像中的病灶进行标注，以构建训练数据；

利用所述训练数据对病灶识别模型进行训练，生成训练好的病灶识别模型，从而在后续可以直接利用该训练好的病灶识别模型对采集到的图像进行识别，并输出对应的病灶识别结果。

需要说明的是，本申请中的病灶识别模型包括但不限于卷积神经网络模型(Convolutional Neural Network,CNN)、循环神经网络模型(Recurrent NeuralNetwork，RNN)和长短期记忆网络模型(Long Short Term Memory，LSTM)中的任意一种，本领域技术人员也可根据具体实施情况设置为其他的神经网络模型。

本实施例通过病灶识别模型进行病灶位置和病灶种类的识别，实现了病灶的自动化检测，有效提高了在线病灶目标识别效率，大大减少了医务人员的工作量。

S4.所述显示终端在屏幕上显示所述肠道实时图像，在所述肠道实时图像中标注所述病灶位置以及所述病灶种类。

在本实施例中，所述胶囊内窥镜控制系统还包括肠道造影仪；所述显示终端还与所述肠道造影仪之间通信连接。

在一个实施例中，本实施例提供的一种胶囊内窥镜图像处理方法还包括：

所述肠道造影仪扫描患者肠道的三维数据，将所述三维数据传输至所述显示终端；

所述显示终端接收所述三维数据，根据所述三维数据构造患者肠道的三维模型，显示所述三维模型，所述三维模型中包括位于患者肠道内部的胶囊内窥镜；

所述显示终端确定所述胶囊内窥镜在所述三维模型中的位置，并在所述三维模型中显示所述胶囊内窥镜的位置，并在所述胶囊内窥镜的位置处显示报警信息，以便于医务人员确定病灶位置。

具体地，本实施例对患者的肠道进行三维建模之后，在显示终端显示患者肠道的三维模型，且在三维模型中显示胶囊内窥镜的位置，并在病灶位置处显示报警信息，以便于医务人员确定病灶位置，本实施例通过在显示终端上显示警告信息，可以及时提醒医务人员，避免出现人为疏忽的情况。

在一个实施例中，本实施例提供的一种胶囊内窥镜图像处理方法，还包括：

所述显示终端将根据所述肠道实时图像识别出的所述病灶位置与所述病灶种类存储在包含有病灶位置与病灶种类之间关系的实时对应关系中；

在对患者检查完毕并生成患者的实时检查报告时，所述显示终端根据所述实时对应关系生成患者的实时检查报告；

存储或输出所述实时检查报告。

在一个实施例中，本实施例提供的一种胶囊内窥镜图像处理方法，还包括：

所述显示终端获取已记录的所述患者的历史检查报告；所述患者的历史检查报告包括在历史过程中使用胶囊内窥镜对患者检查之后记录的包含有病灶位置与病灶种类之间关系的历史对应关系；历史对应关系中包括至少一个历史对应表项，每一个历史对应表项中均包括在历史过程中检查出的患者的一个病灶的类型以及一个病灶的位置；

若在所述历史对应关系中存在至少一个历史对应表项在所述实时对应关系中未出现，则将未出现的历史对应表项作为目标历史对应表项，并获取所述目标历史对应表项中的病灶类型以及病灶位置；

从本次采集到的所述肠道实时图像中，查找位于所述目标历史对应表项中的病灶位置处的肠道实时图像，显示查找到的肠道实时图像；

从历史采集到的肠道历史图像中，查找位于所述目标历史对应表项中的病灶位置处的肠道历史图像，显示查找到的肠道历史图像。

在一个实施例中，本实施例提供的一种胶囊内窥镜图像处理方法，还包括：

所述显示终端获取已记录的所述患者的历史检查报告；所述患者的历史检查报告包括在历史过程中使用胶囊内窥镜对患者检查之后记录的包含有病灶位置与病灶种类之间关系的历史对应关系；所述历史对应关系中包括至少一个历史对应表项，每一个历史对应表项中均包括在历史过程中检查出的患者的一个病灶的类型以及一个病灶的位置；

若在所述实时对应关系中存在至少一个实时对应表项在所述历史对应关系中未出现，则获取所述实时对应表项中记录的病灶类型以及病灶位置；

从本次采集到的所述肠道实时图像中，查找位于所述实时对应表项中的病灶位置处的肠道实时图像，显示查找到的肠道实时图像；

从历史采集到的肠道历史图像中，查找位于所述实时对应表项中的病灶位置处的肠道历史图像，显示查找到的肠道历史图像。

本实施例通过计算机记录、存储每次识别到的病灶种类和病灶位置之间的对应关系，并根据识别到的病灶种类和病灶位置之间的对应关系自动生成生成患者的实时检查报告，无需人工撰写即可自动生成检查报告，同时本实施例通过key-value结构表项对比本次与之前的病灶目标识别结果报告信息，若此时生成的报告相对于患者之前检查的报告多了至少一个病灶，则提示增加的病灶信息，且显示此次检查过程中的增加的病灶图像，便于医务人员再次核对，避免出错；若此时生成的报告相对于患者之前检查的报告少了至少一个病灶，则提示减少的病灶信息，确定已记录的位置，已记录的位置包括减少的病灶在患者肠道中的位置，然后筛选本次检查过程中在该位置中采集的图像，并显示筛选的图像，便于医务人员再次核对，避免出错，比如：本次检查的对应表项里有一个A病灶+X位置，在历史的对应关系中查找是否存在“A病灶+X位置”的表项，若存在，则说明本次检查未增加病灶信息；若不存在，则本次检查增加了病灶信息。

本发明实施例提供了一种胶囊内窥镜图像处理方法，所述方法在胶囊内窥镜运行过程中，自动根据采集到的患者的肠道实时图像以及预先训练好的病灶识别模型识别病灶位置以及病灶种类，并通过显示终端显示提醒医务人员；同时在显示终端显示胶囊内窥镜在三维模型中的位置，并在该位置处显示报警信息，以便于医务人员确定病灶位置。相比于现有技术，本实施例采用经训练后得到的病灶识别模型，可以实现对肠道病灶的自动、精准识别，有利于病灶的识别和诊断，保证了胶囊内窥镜检测结果的准确性，提高阅片效率和检测性能，可提升医疗诊断效率。

需要说明的是，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在一个实施例中，如图3所示，本发明实施例提供了一种胶囊内窥镜图像处理系统，所述系统包括：

图像采集模块101，用于通过所述胶囊内窥镜采集患者的肠道实时图像，将所述肠道实时图像传输至所述显示终端；

显示终端102，用于接收所述肠道实时图像，并使用已训练的病灶识别模型识别所述肠道实时图像中的病灶位置以及病灶种类；

显示终端102，还用于在屏幕上显示所述肠道实时图像，在所述肠道实时图像中标注所述病灶位置以及所述病灶种类；

其中，所述病灶识别模型是基于至少一个训练数据对模型训练，直至模型中的参数收敛而得到的，所述训练数据包括标注有病灶的肠道内部样本图像。

关于一种胶囊内窥镜图像处理系统的具体限定可以参见上述对于一种胶囊内窥镜图像处理方法的限定，此处不再赘述。本领域普通技术人员可以意识到，结合本申请所公开的实施例描述的各个模块和步骤，能够以硬件、软件或者两者结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本发明实施例提供了一种胶囊内窥镜图像处理方法，所述系统通过图像采集模块获取胶囊内窥镜采集到的肠道实时图像；通过显示终端将肠道实时图像输入已训练的病灶识别模型中进行病灶位置和病灶种类的识别。本实施例采用训练好的病灶识别模型，能够节约对大量的胶囊内窥镜采集到的肠道实时图像进行检查的时间，从而提高医生的工作效率，同时避免出现人为误诊、漏诊的情况。

图4是本发明实施例提供的一种计算机设备，包括存储器、处理器和收发器，它们之间通过总线连接；存储器用于存储一组计算机程序指令和数据，并可以将存储的数据传输给处理器，处理器可以执行存储器存储的程序指令，以执行上述方法的步骤。

其中，存储器可以包括易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者；处理器可以是中央处理器、微处理器、特定应用集成电路、可编程逻辑器件或其组合。通过示例性但不是限制性说明，上述可编程逻辑器件可以是复杂可编程逻辑器件、现场可编程逻辑门阵列、通用阵列逻辑或其任意组合。

另外，存储器可以是物理上独立的单元，也可以与处理器集成在一起。

本领域普通技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有相同的部件布置。

在一个实施例中，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的步骤。

本发明实施例提供的一种胶囊内窥镜图像处理方法、系统、设备及存储介质，其一种胶囊内窥镜图像处理方法能够通过已训练的病灶识别模型自动识别病灶位置和病灶种类，而且可以在建立的三维模型中实时显示病灶位置，从而根据实时对应关系和历史对应关系的对比结果及时提醒医务人员，极大减少了医务人员的劳动量，降低了成本，而且耗时较短，便于在产业上推广和应用。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如SSD)等。

本领域技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。

以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。