内窥镜图像的图像处理方法、装置、终端及可读存储介质

技术领域

本发明涉及医疗器械技术领域，尤其涉及一种内窥镜图像的图像处理方法、装置、终端及可读存储介质。

背景技术

内窥镜是一种带有微型摄像头的医用器械，内窥镜手术就是利用内窥镜及其相关器械进行的手术：使用冷光源提供照明，将内窥镜镜头(直径为3～10mm)插入腹腔内，运用数字摄像技术使内窥镜镜头拍摄到的图像通过光导纤维传导至后级信号处理系统，并且实时显示在专用监视器上。然后医生通过监视器屏幕上所显示患者器官不同角度的图像，对病人的病情进行分析判断，并且运用特殊的内窥镜器械进行手术。内窥镜手术创伤小，并发症少，患者康复迅速，目前已在临床得到广泛应用，并且已成为未来手术的发展趋势，但是，目前的内窥镜拍摄出来的成像比如血管颜色浅淡的地方成像不清楚，使得医生不能很准确的判断病情以及进行手术治疗，为此，我们提出一种内窥镜图像处理方法。

发明内容

有鉴于此，本发明的主要目的在于提供一种内窥镜图像的图像处理方法、装置、终端及可读存储介质。

为达到上述目的，本发明的技术方案是这样实现的：一种内窥镜图像的图像处理方法，包括以下步骤：获取所述内窥镜图像image的目标反光区域，并修复目标反光区域得到图像inpaint_image；对图像inpaint_image进行细节增强处理。

作为本发明实施例的一种改进，所述“获取所述内窥镜图像image的目标反光区域”具体包括：获取所述内窥镜图像image的红色通道图像R_image、绿色通道图像G_image、蓝色通道图像B_image和灰度图像Gray_image，基于R_image、G_image、B_image和预设阈值T1生成反光区域specular_mask1，基于G_image、B_image、Gray_image和预设阈值T2生成反光区域specular_mask2，对specular_mask1和specular_mask2进行或运算得到反光区域specular_mask3，对Gray_image进行自适应阈值分割处理得到反光区域specular_mask4，对specular_mask3和specular_mask4进行与运算得到目标反光区域。

作为本发明实施例的一种改进，所述“基于R_image、G_image、B_image和预设阈值T1生成反光区域specular_mask1”具体包括：对所述内窥镜图像image进行去噪处理得到图像media_image，获取所述图像media_image的红色通道图像R_media_image、绿色通道图像G_media_image、蓝色通道图像B_media_image；

其中，mean()为求均值，std()为求标准差；生成第一临时图片/>

作为本发明实施例的一种改进，所述“基于G_image、B_image、Gray_image和预设阈值T2生成反光区域specular_mask2”具体包括：

threshold(B_image,rate_B_Gray×T2)，new_Gray＝threshold(Gray_image>T2)，函数threshold(src，maxVal)所输出的图像的长度等于图像src的长度，所输出的图像的宽度等于图像src的宽度，当src中的任一像素的像素值>maxVal时，所述像素在输出图像中对应的像素的像素值为1，否则为0；将new_Gray、new_G和new_B转为uint8格式，并进行或运算，得到反光区域specular_mask2。

作为本发明实施例的一种改进，所述“修复目标反光区域得到图像inpaint_image”具体包括：对所述目标反光区域进行形态学膨胀处理得到图片dilate_specular_mask；遍历图片dilate_specular_mask中的所有轮廓，计算每个轮廓对应的外接矩阵；对每个外接矩阵均进行以下处理，从而得到遍历图片dilate_specular_mask对应的初步修复图片inpaint_image1，所述处理包括：获取所述外接矩阵中的非反光区域的R值、G值和B值的平均值作为填充色，填充所述外接矩阵中的反光区域；对初步修复图片inpaint_image1进行高斯模糊处理得到图片gaussian_image；对遍历图片dilate_specular_mask进行线性滤波处理得到图片filter2d_image；filter2d_image_verse＝1-(filter2d_image+dilate_specular_mask)；进行目标反光区域进行修复之后的图片为

inpaint_image[:,:,k]＝filter2d_image×gaussian_image[:,:,k]+filter2d_image_verse×image[:,:,k]，k为图像对应的三个通道取值(0,1,2)。

作为本发明实施例的一种改进，所述“对图像inpaint_image进行细节增强处理”具体包括：对图像inpaint_image进行Gamma增强处理，得到图像gamma_image；对图像gamma_image进行行对比度受限的自适应直方图均衡化处理，得到图像clahe_gamma_image；将图像clahe_gamma_image进行分离通道处理，按比例(1.2,1.2)调整R和G的通道值，得到图像aug_image1；对图像aug_image1的RGB通道转为HSV通道，得到图像hsv_aug_image1，按比例(1.2,0.8)调整S和V的通道值，得到图像aug_image2；对图像aug_image2转回RGB三通道，得到细节增强后的图像。

作为本发明实施例的一种改进，所述“获取所述内窥镜图像image的红色通道图像R_image、绿色通道图像G_image、蓝色通道图像B_image和灰度图像Gray_image”具体包括：对所述内窥镜图像image进行通道分离处理得到红色通道图像R_image、绿色通道图像G_image和蓝色通道图像B_image，对所述内窥镜图像image进行灰度化处理得到灰度图像Gray_image。

本发明实施例还提供了一种内窥镜图像的图像处理装置，包括以下模块：反光区域增强模块，用于获取所述内窥镜图像image的目标反光区域，并修复目标反光区域得到图像inpaint_image；细节增强模块，用于对图像inpaint_image进行细节增强处理。

本发明实施例还提供了一种终端，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述的图像处理方法的步骤。

本发明实施例还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的图像处理方法的步骤。

本发明实施例所提供的内窥镜图像的图像处理方法、装置、终端及可读存储介质具有以下优点：本发明实施例公开了一种内窥镜图像的图像处理方法、装置、终端及可读存储介质，该图像处理方法包括：获取所述内窥镜图像image的目标反光区域，并修复目标反光区域得到图像inpaint_image；对图像inpaint_image进行细节增强处理。该图像处理方法能够对内窥镜图像进行图像增强处理。

附图说明

图1为实施例中的图像处理方法的流程示意图；

图2、图3、图4、图5、图6和图7为实施例中的图像处理方法的原理图。

具体实施方式

以下将结合附图所示的实施方式对本发明进行详细描述。但该实施方式并不限制本发明，本领域的普通技术人员根据该实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。

以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的结构、装置或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种结构、装置或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的结构、装置或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中的术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本文和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本文的描述中，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明实施例一提供了一种内窥镜图像的图像处理方法，如图1所示，包括以下步骤：

步骤101：获取所述内窥镜图像image的目标反光区域，并修复目标反光区域得到图像inpaint_image；

步骤102：对图像inpaint_image进行细节增强处理。

这里，在内窥镜图像中，反光区域遮挡黏膜，给医生观察、审阅图像造成干扰，本实施例中的图像处理方法会首先对反光区域进行处理，之后，在进行细节增强处理，从而能够得到很好的图像增强的效果。

本发明实施例中，所述“获取所述内窥镜图像image的目标反光区域”具体包括：

获取所述内窥镜图像image的红色通道图像R_image、绿色通道图像G_image、蓝色通道图像B_image和灰度图像Gray_image；这里，在计算机中，该内窥镜图像image其实就是一个M*N*C的多维矩阵，其中，M是该内窥镜图像image的宽度(以像素为单位)，N是该内窥镜图像image的高度(以像素为单位)，C表示通道数量。C通常为3，即3个通道(红、绿和蓝)，因此，当C＝1，C＝2和C＝3时，就可以得到红色通道图像R_image、绿色通道图像G_image和蓝色通道图像B_image。

这里，在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值，即如果某个图像的R＝G＝B时，则该图像即为灰度图像。可选的，可以使用最大值法、平均值法或加权平均法等对所述内窥镜图像image进行处理，从而得到灰度图像Gray_image。

如图2所示，基于R_image、G_image、B_image和预设阈值T1生成反光区域specular_mask1，基于G_image、B_image、Gray_image和预设阈值T2生成反光区域specular_mask2，对specular_mask1和specular_mask2进行或运算得到反光区域specular_mask3，对Gray_image进行自适应阈值分割处理得到反光区域specular_mask4，对specular_mask3和specular_mask4进行与运算得到目标反光区域。这里，图像的与运算是指两张图像(灰度图像或彩色图像均可)的每个像素值进行二进制“与”操作，实现图像裁剪；相应的，图像的或运算是指两张图像(灰度图像或彩色图像均可)的每个像素值进行二进制“或”操作，实现图像裁剪。

本实施例中，如图3所示，所述“基于R_image、G_image、B_image和预设阈值T1生成反光区域specular_mask1”具体包括：

对所述内窥镜图像image进行去噪处理得到图像media_image，获取所述图像media_image的红色通道图像R_media_image、绿色通道图像G_media_image、蓝色通道图像B_media_image；

其中，mean()为求均值，std()为求标准差；这里，函数mean()就是对输入的图像的每个像素的像素值求平均值，std()就是对输入的图像的每个像素的像素值求标准差。

这里，可以使用中值滤波对内窥镜图像image进行去噪处理从而得到图像media_image，从而能够过滤图像行的噪点。

生成第一临时图片

生成第二临时图片new_image_max，new_image_max的宽度等于new_image的宽度，new_image_max的长度等于new_image的长度，new_image_max中的任一像素new_image_max_dot均在new_image中存在同坐标的像素new_image_dot，且

将第二临时图片new_image_max的格式设置为unit8格式，从第二临时图片new_image_max中得到反光区域specular_mask1。

本实施例中，如图5所示，所述“基于G_image、B_image、Gray_image和预设阈值T2生成反光区域specular_mask2”具体包括：

其中，P_G_image为G_image的预设百分位数，P_B_image为B_image的预设百分位数，P_Gray_image为Gray_image的预设百分位数；这里，通过预设百分位数可以将将高亮区域区分出来(尤其是预设百分位数比较大时)。

生成通道图像new_Gray、通道图像new_G和通道图像new_B，new_G＝threshold(G_image,rate_G_Gray×T2)，new_B＝threshold(B_image,rate_B_Gray×T2)，new_Gray＝threshold(Gray_image>T2)，函数threshold(src，maxVal)所输出的图像的长度等于图像src的长度，所输出的图像的宽度等于图像src的宽度，当src中的任一像素的像素值>maxVal时，所述像素在输出图像中对应的像素的像素值为1，否则为0；

将new_Gray、new_G和new_B转为uint8格式，并进行或运算，得到反光区域specular_mask2。

可选的，P_G_image、P_B_image和P_Gray_image均为95百分位数，即值均为95％。

本实施例中，如图4所示，所述“修复目标反光区域得到图像inpaint_image”具体包括：

如步骤401和402所示，对所述目标反光区域进行形态学膨胀处理得到图片dilate_specular_mask；这里，在图像中，对二值化物体边界点进行扩充，将与物体接触的所有背景点合并到该物体中，使边界向外部扩张。如果两个物体间隔较近，会将两物体连通在一起，从而实现对图像的形态学膨胀处理。这里，膨胀是为了后续能够模糊高亮区域的边界，使得修复的区域看起来更自然。

如步骤403所示，遍历图片dilate_specular_mask中的所有轮廓，计算每个轮廓对应的外接矩阵；

如步骤404和405所示，对每个外接矩阵均进行以下处理，从而得到遍历图片dilate_specular_mask对应的初步修复图片inpaint_image1，所述处理包括：获取所述外接矩阵中的非反光区域的R值、G值和B值的平均值作为填充色，填充所述外接矩阵中的反光区域；将各个反光区域做颜色赋值，赋值为周围(外接矩形)非反光区域的平均色彩值，这样做是为了使得赋值的色彩比较贴近实际场景。

如步骤406所示，对初步修复图片inpaint_image1进行高斯模糊处理得到图片gaussian_image；高斯模糊本质上是低通滤波器，输出图像的每个像素点是原图像上对应像素点与周围像素点的加权和。高斯模糊将图像模糊化。

如步骤406所示，对遍历图片dilate_specular_mask进行线性滤波处理得到图片filter2d_image；这里，该线性滤波可以包括：方框滤波，均值滤波，高斯滤波和等线性算子等。线性滤波能够将图像做卷积模糊。

filter2d_image_verse＝1-(filter2d_image+dilate_specular_mask)；

进行目标反光区域进行修复之后的图片为inpaint_image[:,:,k]＝filter2d_image×gaussian_image[:,:,k]+filter2d_image_verse×image[:,:,k]，k为图像对应的三个通道取值(0,1,2)。这步是将图像融合，能够对反光修复的区域进行锐化处理。

本实施例中，如图6所示，所述“对图像inpaint_image进行细节增强处理”具体包括：

如步骤601和602所示，对图像inpaint_image进行Gamma增强处理，得到图像gamma_image；这里，Gamma增强处理对图像的修正作用是通过增强低灰度或高灰度的细节实现的，Gamma值以1为分界线，值越小，对图像低灰度部分扩展作用就越强，值越大，对图像高灰度部分扩展作用就越强。

如步骤603和604所示，对图像gamma_image进行行对比度受限的自适应直方图均衡化处理，得到图像clahe_gamma_image；这里，直方图均衡化方法通过不同的灰度分布方案使转变为灰度值均匀化分布的图像，其利用直方图提取灰度映射曲线，再对其进行转换，从而提升亮度。但该方法仍有瑕疵，即无法增强其对比度，且在此过程当中，一并将噪声信号也同时放大了。以AHE(Adaptive Histogtam Equalization)为例，该方法将图像利用网格线切割为数量众多的小格子区域，并对每一个格子进行均衡化处理。但该方法会导致图像失真，且其微噪也会因此而放大。因此，这里提出了对比度受限制自适应直方图(Contrast limited Adaptive Histogtam Equalization，CLAHE)，即对每一个划分单元进行对比度的限制处理，这也是该方法与传统的AHE的不同之处。CLAHE通过限制局部直方图的高度来限制噪声放大和局部对比度增强。该方法将图像划分为多个子区域；然后对每个子区域的直方图进行分类。再对每个子区域分别进行直方图均衡化，最后通过对每个像素进行插值运算来获得变换后的灰度值，以此实现对比度受限自适应直方图均衡化图像增强。CLAHE算法主要针对图像的纹理和边缘信息。

如图7中的701、702、703、704和705所示，将图像clahe_gamma_image进行分离通道处理，按比例(1.2,1.2)调整R和G的通道值，得到图像aug_image1；对图像aug_image1的RGB通道转为HSV(Hue，Saturation，Value，色调、饱和度和明度)通道，得到图像hsv_aug_image1，按比例(1.2,0.8)调整S和V的通道值，得到图像aug_image2；对图像aug_image2转回RGB三通道，得到细节增强后的图像。这里，调整RGB和HSV的通道能够进一步提高图像中血管的对比度。

这里，可以使用公式

aug_image2＝merge(hsv_aug_image1

可选的，所述“对所述内窥镜图像image进行去噪处理得到图像media_image”具体包括：对所述内窥镜图像image进行中值滤波处理得到图像media_image。这里，中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列。

本实施例中，所述“获取所述内窥镜图像image的红色通道图像R_image、绿色通道图像G_image、蓝色通道图像B_image和灰度图像Gray_image”具体包括：

对所述内窥镜图像image进行通道分离处理得到红色通道图像R_image、绿色通道图像G_image和蓝色通道图像B_image，对所述内窥镜图像image进行灰度化处理得到灰度图像Gray_image。

本发明实施例二提供了一种内窥镜图像的图像处理装置，包括以下模块：反光区域增强模块，用于获取所述内窥镜图像image的目标反光区域，并修复目标反光区域得到图像inpaint_image；细节增强模块，用于对图像inpaint_image进行细节增强处理。

本发明实施例三提供了一种终端，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如实施例一中的图像处理方法的步骤。

本发明实施例四提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一中的图像处理方法的步骤。

需要说明的是，虽然上文按照特定顺序描述了各个步骤，但是并不意味着必须按照上述特定顺序来执行各个步骤，实际上，这些步骤中的一些可以并发执行，甚至改变顺序，只要能够实现所需要的功能即可。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。