一种内镜下辅助识别粘膜下血管的方法及系统

技术领域

本发明涉及血管识别技术领域，具体涉及一种内镜下辅助识别粘膜下血管的方法及系统。

背景技术

随着内镜技术的发展，越来越多原本需要外科开刀的疾病可以选择内镜微创治疗。然而在手术过程中，因粘膜下血管显示不清等各种原因，难免会碰到术中出血的问题。轻者可内镜下处理，重者需外科止血，极少数病人甚至会导致死亡。目前尚未存在内镜下辅助识别粘膜下血管的方法。成像式光电容积描记技术(IPPG)，可允许智能手机通过对面部、皮肤录像，通过血红蛋白对光的吸收及反射的原理，实现无接触的测量人体的心率、呼吸率、自主神经兴奋性、血压，将人体体表的血流信息反映在图像中。

发明内容

本发明的目的在于提供一种能够准确提取消化道血流信息并准确识别粘膜下血管的内镜下辅助识别粘膜下血管的方法及系统，以解决上述背景技术中存在的至少一项技术问题。

为了实现上述目的，本发明采取了如下技术方案：

一方面，本发明提供一种内镜下辅助识别粘膜下血管的方法，包括如下步骤：

获取多帧待检测部位的RGB时序图像；其中，使用感知哈希算法实时计算前后两帧图像哈希值，当前后两帧图像哈希值的差异大于阈值时，需重新记录RGB时序图像信息；

选取实时采集的待检测部位的RGB时序图像中的G通道分量数据，进行预处理，将时序图像的像素值转化为零均值和单位方差；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；

根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下实际血管覆盖区域。

优选的，所述方法还包括，从内镜检查中实时获得待检测部位的时序图像。

优选的，所述方法还包括，采用虚影轮廓方法将实际血管覆盖区域进行展示。

优选的，对实时采集的待检测部位的时序图像进行预处理包括：

G通道分量数据作为提取消化道血流信息图像的原始数据，结合高斯模糊和白化处理，将像素值转化为零均值和单位方差。

优选的，提取血液容积波包括：

把每帧图像像素值看做是时间的连续函数，血液容积波计算公式如下：

优选的，确定血液容积波动频率包括：

使用时域滤波对所述血液容积波进行平滑处理，并使用快速傅里叶变换进行能量图谱分析，能量最高点对应的频率即为血液容积波动频率。

优选的，提取各像素点的像素变化值包括：

像素点像素变化值，即连续的N帧图像中，每相邻两帧图像对应坐标点像素值差的绝对值之和，计算公式如下：

优选的，确定对应的像素点的像素波动频率包括：

对连续N帧图像数据中每个像素的绿色分量G数据计算其变化规律，设某个坐标为(x，y)的像素点的G分量值G(x,y)在连续N帧图像中的数值组成一个G分量序列{G(x,y)[k]}，其中，k表示第k帧图像，0≤k

使用时域滤波对分量序列进行平滑处理，并使用快速傅里叶变换进行能量图谱分析，能量最高点对应的频率即为像素波动频率。

优选的，确定粘膜下实际血管覆盖区域包括：

判断像素点像素变化值是否大于第一阈值，若大于第一阈值，则该像素点为疑似血管覆盖区域，当该像素点的像素波动频率与血液容积波动频率的差小于第二阈值时，即可确定该像素点为实际血管覆盖区域。

第二方面，本发明提供一种内镜下辅助识别粘膜下血管的系统，包括：

预处理模块，用于对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；

第一计算模块，用于基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；

第二计算模块，用于基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；

判断模块，用于根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下血管覆盖区域。

本发明有益效果：在内窥镜操作过程中，在不借助额外设备且不延长操作时间的前提下，实时准确提取消化道血流信息，准确识别粘膜下血管，保证了手术安全。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1所述的内镜下辅助识别粘膜下血管的系统功能原理框图。

图2为本发明实施例2所述的内镜下辅助识别粘膜下血管的系统功能原理框图。

具体实施方式

下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。

还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。

本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。

实施例1

如图1所示，本发明实施例1提供一种内镜下辅助识别粘膜下血管的系统，该系统包括：预处理模块，用于对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；

第一计算模块，用于基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；

第二计算模块，用于基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；

判断模块，用于根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下实际血管覆盖区域。

在本实施例1中，基于上述的内镜下辅助识别粘膜下血管的系统，实现了一种内镜下辅助识别粘膜下血管的方法，该方法基于现有设备设施和内镜环境，实现了白光内镜下血管位置预测，一定程度上减少手术中出血问题。该方法包括如下步骤：

对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；

根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下实际血管覆盖区域。

在本实施例1中，对实时采集的待检测部位的时序图像进行预处理包括：

从读取的待检测部位的RGB时序图像数据中选取绿色分量G数据，作为提取消化道血流信息图像的原始数据，结合高斯模糊和白化处理，将像素值转化为零均值和单位方差。

提取血液容积波包括：

把每帧图像像素值看做是时间的连续函数，血液容积波计算公式如下：

其中，v

确定血液容积波动频率包括：

使用时域滤波对所述血液容积波进行平滑处理，并使用快速傅里叶变换进行能量图谱分析，能量最高点对应的频率即为血液容积波动频率。

提取各像素点的像素变化值包括：

像素点像素变化值，即连续的N帧图像中，每相邻两帧图像对应坐标点像素值差的绝对值之和，计算公式如下：

其中，S

确定对应的像素点的像素波动频率包括：

对连续N帧图像数据中每个像素的绿色分量G数据计算其变化规律，设某个坐标为(x，y)的像素点的G分量值G(x,y)在连续N帧图像中的数值组成一个G分量序列{G(x,y)[k]}，其中，k表示第k帧图像，0≤k

使用时域滤波对分量序列进行平滑处理，并使用快速傅里叶变换进行能量图谱分析，能量最高点对应的频率即为像素波动频率。

确定粘膜下实际血管覆盖区域包括：

判断像素点像素变化值是否大于第一阈值，若大于第一阈值，则该像素点为疑似血管覆盖区域，当该像素点的像素波动频率与血液容积波动频率的差小于第二阈值时，即可确定该像素点为实际血管覆盖区域。

实施例2

如图2所示，本发明实施例2提供一种内镜下辅助识别粘膜下血管的系统，该系统包括：

图像采集模块，用于从内镜检查中实时获得待检测部位的时序图像；

预处理模块，用于对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；

第一计算模块，用于基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；

第二计算模块，用于基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；

判断模块，用于根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下实际血管覆盖区域；

显示模块，用于对确定的实际血管覆盖区域采用虚影轮廓方法将血管覆盖区域进行展示。

在本实施例2中，基于上述的内镜下辅助识别粘膜下血管的系统，实现了一种内镜下辅助识别粘膜下血管的方法，该方法包括如下步骤：

对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；

根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下实际血管覆盖区域。

在对实时采集的待检测部位的时序图像进行预处理之前，从内镜检查中实时获得待检测部位的时序图像，包括：使用内镜摄像头保持镜头稳定2-3s获取N帧RGB待检图像。该过程中使用感知哈希算法(perceptual hash algorithm)实时计算镜头晃动程度，当前后两帧图像哈希值差异大于某一阈值时，需重新记录图像信息。

所述方法还包括，对于确定的实际血管覆盖区域采用虚影轮廓方法将血管覆盖区域进行展示。

在本实施例2中，对实时采集的待检测部位的时序图像进行预处理包括：

从读取的待检测部位的RGB时序图像数据中选取绿色分量G数据，作为提取消化道血流信息图像的原始数据，结合高斯模糊和白化处理，将像素值转化为零均值和单位方差。

提取血液容积波包括：

把每帧图像像素值看做是时间的连续函数，血液容积波计算公式如下：

其中，v

确定血液容积波动频率包括：

使用时域滤波对所述血液容积波进行平滑处理，并使用快速傅里叶变换进行能量图谱分析，能量最高点对应的频率即为血液容积波动频率。

提取各像素点的像素变化值包括：

像素点像素变化值，即连续的N帧图像中，每相邻两帧图像对应坐标点像素值差的绝对值之和，计算公式如下：

其中，S

确定对应的像素点的像素波动频率包括：

对连续N帧图像数据中每个像素的绿色分量G数据计算其变化规律，设某个坐标为(x，y)的像素点的G分量值G(x,y)在连续N帧图像中的数值组成一个G分量序列{G(x,y)[k]}，其中，k表示第k帧图像，0≤k

使用时域滤波对分量序列进行平滑处理，并使用快速傅里叶变换进行能量图谱分析，能量最高点对应的频率即为像素波动频率。

确定粘膜下实际血管覆盖区域包括：

判断像素点像素变化值是否大于第一阈值，若大于第一阈值，则该像素点为疑似血管覆盖区域，当该像素点的像素波动频率与血液容积波动频率的差小于第二阈值时，即可确定该像素点为实际血管覆盖区域。

实施例3

本发明实施例3提供一种内镜下辅助识别粘膜下血管的方法，该方法包括包括以下步骤：

步骤1：从内镜检查中实时获得检测部位的时序图像

使用内镜摄像头保持镜头稳定2-3s获取N帧RGB待检图像。该过程中使用感知哈希算法(perceptual hash algorithm)实时计算镜头晃动程度，当前后两帧图像哈希值差异大于某一阈值时，需重新记录图像信息。

步骤2：对采集的图像进行预处理

从读取的RGB图像数据中选取绿色分量G图像数据，作为提取消化道血流信息图像的原始数据。原因在于含氧血红蛋白对绿光的吸收率最大，且经过实验对比发现G通道由血液充斥量而导致的像素值变化最大。

本实施例3中，为过滤掉细的毛细血管信号干扰，保留粗大血管和降低摄像头传感器自带噪声，采用高斯模糊和白化处理，将像素值转化为零均值和单位方差。

步骤3：基于IPPG技术从时序图像中提取血液容积波和波动频率

把每帧图像像素值看做是时间的连续函数，血液容积波计算公式如下：

其中，v

使用时域滤波对上述公式所求血液容积波进行平滑处理，并使用快速傅里叶变换进行能量图谱分析，能量最高点对应的频率即为波动频率f

步骤4：基于IPPG技术从图像中提取各像素点像素变化值和波动频率

步骤4.1：像素点像素波动频率

对连续N帧图像数据中每个像素的绿色分量计算其变化规律，设某个坐标(x,y)像素的G分量值G(x,y)在连续N帧图像中的数值组成一个G分量序列{G(x,y)[k]}，其中，k表示第k帧图像，0≤k

使用时域滤波对分量序列进行平滑处理，并使用快速傅里叶变换进行能量图谱分析，能量最高点对应的频率即为像素点像素波动频率f

步骤4.2：像素点像素变化值

像素点像素变化值即为连续的N帧图像中，每相邻两帧图像对应坐标点像素值差的绝对值之和，计算公式如下：像素点像素变化值，即连续的N帧图像中，每相邻两帧图像对应坐标点像素值差的绝对值之和，计算公式如下：

现有的IPPG技术本身只能对时序图像进行分析，得到色彩的波动频率。而本实施例3中，上述S

步骤5：进一步统计分析，确定血管区域

像素点像素变化值S

步骤6：利用显示模块，将处于实际血管覆盖区域的坐标点集合转换为实际覆盖区域并使用虚影轮廓展示在电脑屏幕上。

实施例4

本发明实施例4提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行内镜下辅助识别粘膜下血管的方法，包括如下步骤：

对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；

根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下血管覆盖区域。

实施例5

本发明实施例5提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现内镜下辅助识别粘膜下血管的方法，包括如下步骤：

对实时采集的待检测部位的时序图像进行预处理，将时序图像的像素值转化为零均值和单位方差；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取血液容积波，并确定对应的血液容积波动频率；

基于成像式光电容积描记技术，从预处理后的时序图像中，提取各像素点的像素变化值，并确定对应的像素点的像素波动频率；

根据血液容积波、血液容积波动频率、像素变化值以及像素波动频率，确定粘膜下血管覆盖区域。

综上所述，本发明实施例所述的内镜下辅助识别粘膜下血管的方法及系统，能够在内窥镜操作过程中，在不借助额外设备且不延长操作时间的前提下，实时准确提取消化道血流信息，准确识别粘膜下血管，保证了手术安全。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。