一种图像自适应网格去除方法、装置和可读存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种图像自适应网格去除方法、装置和可读存储介质。

背景技术

医疗纤维内窥镜场景下，通过借助由光纤簇形成的完整的图像，这些光纤簇由许多根光纤紧密排列到一起而形成。由于光纤之间会存在物理间隙而这些间隙无法传导光，因此由这些光纤形成的图像会呈现出规律排布的网格。这些网格会影响医生对感兴趣区域的内容识别和判断，甚至可能导致医生的一些精细操作无法进行下去。

现有技术中，通常是使用傅里叶变换将图像信息转换到频域并将频率中心平移到图像中心，通过构造合适频谱滤波器将这些网格对应的频谱信息去除，再经过反中心化和傅里叶变换反变换后，即可得到去除了网格后的图像，或者通过深度学习模型对图像的网格进行剔除。上述方法的主要缺点是需要进行复杂的变换及使用深度学习模型，所需计算资源较多。

另外，由于医疗内窥镜中变焦镜头逐渐得到使用，同一款纤维镜导致的网格，在不同的变焦倍率下其网格大小也会发生变化，若对在不同的变焦倍率下获得的图像使用相同的滤波参数进行网络去除，会导致去除网格的效果差，获得的去除网格后图像的清晰度不高。

发明内容

基于此，有必要针对上述技术问题，提供一种图像自适应网格去除方法、装置和可读存储介质。

第一方面，本申请实施例提供了一种图像自适应网格去除方法，所述方法包括：

基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小；

基于所述网格大小，确定对应的第一滤波参数；

基于所述第一滤波参数对所述网格图像进行滤波处理，得到去除网格的图像。

在其中一个实施例中，所述基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小包括：

对网格图像进行二值化处理，得到所述网格图像中的多个连通域；

基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小。

在其中一个实施例中，所述基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小包括：

计算各所述连通域在水平方向以及垂直方向上的坐标均值，得到各所述连通域的中心坐标；

基于所述网格图像中的相邻两个连通域的中心坐标，得到相邻两个连通域的中心之间的距离；

对所述网格图像中所有的相邻两个连通域的中心之间的距离取平均值，得到所述网格图像的网格大小。

在其中一个实施例中，所述方法还包括：

将所述网格图像划分为多个子网格图像，计算各所述子网格图像的网格大小；

基于阈值范围对各所述子网格图像对应的网格大小进行剔除，对剩余的网格大小取平均值，得到所述网格图像的网格大小。

在其中一个实施例中，所述网格图像包括原始亮度通道图像和原始颜色通道图像，所述基于所述第一滤波参数对所述网格图像进行滤波处理，得到去除网格的图像包括：

对所述原始亮度通道图像进行反相处理，得到第一亮度通道图像；

基于所述第一滤波参数对所述第一亮度通道图像进行低通滤波处理，得到具有低频信息的第二亮度通道图像；

将所述第一亮度通道图像与所述第二亮度通道图像求取差值，得到具有高频信息的第三亮度通道图像；

将所述第三亮度通道图像与所述原始亮度通道图像进行叠加后进行中值滤波处理，得到第四亮度通道图像；

基于所述第四亮度通道图像与所述原始颜色通道图像，得到去除网格的图像。

在其中一个实施例中，所述基于所述第四亮度通道图像与所述原始颜色通道图像，得到去除网格的图像包括：

基于所述第一滤波参数对所述原始颜色通道图像进行滤波处理，得到第一颜色通道图像；

将所述第四亮度通道图像和所述第一颜色通道图像进行叠加处理，得到去除网格的图像。

在其中一个实施例中，所述基于所述第一滤波参数对所述原始颜色通道图像进行滤波处理，得到第一颜色通道图像包括：

按照预设下采样比例对所述原始颜色通道图像进行下采样处理，得到第二颜色通道图像；

基于所述预设下采样比例以及所述第一滤波参数，确定对应的第二滤波参数；

基于所述第二滤波参数对所述第二颜色通道图像进行低通滤波处理，得到第三颜色通道图像；

对所述第三颜色通道图像进行上采样处理，得到所述第一颜色通道图像，所述第一颜色通道图像与所述原始颜色通道图像的分辨率相同。

在其中一个实施例中，所述第一滤波参数与所述网格大小成正比例关系。

第二方面，本申请实施例还提供了一种图像自适应网格去除装置，所述装置包括：

第一确定模块，用于基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小；

第二确定模块，用于基于所述网格大小，确定对应的第一滤波参数；

处理模块，用于基于所述第一滤波参数对所述网格图像进行滤波处理，得到去除网格的图像。

第三方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

上述图像自适应网格去除方法、装置和可读存储介质，通过基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小；基于所述网格大小，确定对应的第一滤波参数；基于所述第一滤波参数对所述网格图像进行滤波处理，得到去除网格的图像，本申请的网格大小计算和网格去除均在空间域上进行，无需进行复杂的傅里叶变换和使用深度学习模型，可以较低的计算资源消耗为代价在各类设备上实时运行。另外，通过网格图像中的相邻两个连通域的中心之间的距离，可以在不同的变焦倍率下获取到准确的网格大小，并根据网格大小对滤波参数进行选择，以使用合适的滤波参数的空间滤波器来对网格进行去除，提高了网格去除的效果，提高了去除网格后图像的清晰度。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是一个实施例中图像自适应网格去除方法的终端设备的硬件结构框图；

图2是一个实施例中图像自适应网格去除方法的流程示意图；

图3是一个实施例中执行S201具体步骤的流程示意图；

图4是一个实施例中一个网格图像的局部放大图；

图5是一个实施例中网格图像中的多个连通域的示意图；

图6是一个实施例中两个相邻连通域的中心的距离的示意图；

图7是一个实施例中执行S302具体步骤的流程示意图；

图8是一个实施例中获得网格图像的网格大小的流程示意图；

图9是一个实施例中将网格图像划分为多个子网格图像的示意图；

图10是一个实施例中执行S203具体步骤的流程示意图；

图11是一个实施例中执行S605具体步骤的流程示意图；

图12是一个实施例中执行S701具体步骤的流程示意图；

图13是一个优选实施例中图像自适应网格去除方法的流程示意图；

图14是一个实施例中YUV格式的网格图像；

图15是一个实施例中原始亮度通道图像；

图16是一个实施例中第二亮度通道图像；

图17是一个实施例中第三亮度通道图像；

图18是一个实施例中第四亮度通道图像；

图19是一个实施例中去除网格的图像；

图20是一个实施例中图像自适应网格去除装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的图像自适应网格去除方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的图像自适应网格去除方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(NetworkInterface Card，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本申请实施例提供了一种图像自适应网格去除方法，如图2所示，该方法包括以下步骤：

S201，基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小；

S202，基于所述网格大小，确定对应的第一滤波参数；

其中，所述第一滤波参数与所述网格大小成正比例关系。

S203，基于所述第一滤波参数对所述网格图像进行滤波处理，得到去除网格的图像。

上述步骤S201至步骤S203，通过基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小；基于所述网格大小，确定对应的第一滤波参数；基于所述第一滤波参数对所述网格图像进行滤波处理，得到去除网格的图像，本申请的网格大小计算和网格去除，均在空间域上进行，无需进行复杂的变换和使用深度学习模型，可以较低的计算资源消耗为代价在各类设备上实时运行。另外，通过网格图像中的相邻两个连通域的中心之间的距离，可以在不同的变焦倍率下获取到准确的网格大小，并根据网格大小对滤波参数进行选择，以使用合适的滤波参数的空间滤波器来对网格进行去除，提高了网格去除的效果，提高了去除网格后图像的清晰度。

在其中一个实施例中，如图3所示，所述基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小包括：

S301，对网格图像进行二值化处理，得到所述网格图像中的多个连通域；

S302，基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小。

在一示例实施例中，图4为一个网格图像进行局部放大后的示意图，由于纤维镜是由一束玻璃或石英晶体制成的纤维组成，每根纤维由高折射率的纤芯和低折射率的包层组成，光线从一端进入光纤，经纤芯和包层的内部反射，沿光纤芯被引导在传感器上成像。由于包层的折射率较低，于是就形成了较为明显的网格状结构，这使得在两根导管缝隙间的图像亮度较低，利用该特性对网格图像进行二值化处理，例如使用大津法将图4进行二值化处理获得图5，得到多个白色连通域。

如图6中箭头方向所示，计算两个相邻连通域的中心的欧式距离Distance，确定所述网格图像的网格大小，计算方式如下：

其中，(x

在其中一个实施例中，如图7所示，所述基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小包括：

S401，计算各所述连通域在水平方向以及垂直方向上的坐标均值，得到各所述连通域的中心坐标；

S402，基于所述网格图像中的相邻两个连通域的中心坐标，得到相邻两个连通域的中心之间的距离；

S403，对所述网格图像中所有的相邻两个连通域的中心之间的距离取平均值，得到所述网格图像的网格大小。

网格图像中每个网格经二值化都会形成一个连通域，此处的连通域可以简化为近似圆形，连通域水平坐标均值X，为水平方向上最左边像素点的横坐标加上最右边像素点的横坐标除以2；连通域垂直坐标均值Y，为垂直方向上最上边像素点的纵坐标加上最下边像素点的纵坐标除以2。根据所述网格图像中的相邻两个连通域的中心坐标，得到相邻两个连通域的中心之间的距离，作为一个有效网格的大小，对网格图像中的所有有效网格大小取平均，得到网格图像的网格大小。

由于纤维镜的网格大小因为生产和使用等原因，不会总是那么均匀，存在部分区域的网格大小偏大，而有的区域的网格大小偏小的情况。在其中一个实施例中，为了更加准确的获得网格图像的网格大小，如图8所示，所述方法还包括以下步骤：

S501，将所述网格图像划分为多个子网格图像，计算各所述子网格图像的网格大小；

S502，基于阈值范围对各所述子网格图像对应的网格大小进行剔除，对剩余的网格大小取平均值，得到所述网格图像的网格大小。

在一示例实施例中，如图9所示，将所述网格图像划分为多个小的子网格图像，按照S403的方法对每个子网格图像进行计算，得到对应的网格大小，通过预设的阈值范围剔除掉明显大和明显小的值，剩下的网格大小再做平均，得到最终的网格大小为网格图像的网格大小。

在其中一个实施例中，图10所示，所述网格图像包括原始亮度通道图像和原始颜色通道图像，所述基于所述第一滤波参数对所述网格图像进行滤波处理，得到去除网格的图像包括：

S601，对所述原始亮度通道图像进行反相处理，得到第一亮度通道图像；

以网格图像在YUV域上去除网格处理为例，将YUV格式的网格图像分解为Y所代表的原始亮度通道图像，以及UV所代表的原始颜色通道图像。对于原始亮度通道图像Y，先进行反相操作得到第一亮度通道图像Y1，反相操作为Y1＝255–Y。

S602，基于所述第一滤波参数对所述第一亮度通道图像进行低通滤波处理，得到具有低频信息的第二亮度通道图像；

其中，所述第一滤波参数r

当网格大小r

S603，将所述第一亮度通道图像与所述第二亮度通道图像求取差值，得到具有高频信息的第三亮度通道图像；

S604，将所述第三亮度通道图像与所述原始亮度通道图像进行叠加后进行中值滤波处理，得到第四亮度通道图像；

由于通过叠加方式获得的图像中存在较多的黑点，较为影响图像效果，故考虑使用中值滤波对叠加后的图像进行处理得到第四亮度通道图像Y3。具体获得第四亮度通道图像Y3的操作如下：

Y3＝filter_median(Y+Y1-filter_lp(Y1))

其中，filter_lp表示低通滤波，filter_median表示中值滤波。

S605，基于所述第四亮度通道图像与所述原始颜色通道图像，得到去除网格的图像。

本申请在亮度域使用反向高频贴回的方式进行网格去除，相比于插值的方式可利用的参考点更多，能更好的保留图像细节和清晰度。

在其中一个实施例中，图11所示，所述基于所述第四亮度通道图像与所述原始颜色通道图像，得到去除网格的图像包括：

S701，基于所述第一滤波参数对所述原始颜色通道图像进行滤波处理，得到第一颜色通道图像；

S702，将所述第四亮度通道图像和所述第一颜色通道图像进行叠加处理，得到去除网格的图像。

在其中一个实施例中，图12所示，所述基于所述第一滤波参数对所述原始颜色通道图像进行滤波处理，得到第一颜色通道图像包括：

S801，按照预设下采样比例对所述原始颜色通道图像进行下采样处理，得到第二颜色通道图像；

S802，基于所述预设下采样比例以及所述第一滤波参数，确定对应的第二滤波参数；

S803，基于所述第二滤波参数对所述第二颜色通道图像进行低通滤波处理，得到第三颜色通道图像；

S804，对所述第三颜色通道图像进行上采样处理，得到所述第一颜色通道图像，所述第一颜色通道图像与所述原始颜色通道图像的分辨率相同。

对于原始颜色通道图像UV，考虑到颜色通道对图像整体清晰度影响较少，以及为了加速图像处理，本申请按一定的下采样比例对UV通道的原始颜色通道图像进行下采样处理，得到第二颜色通道图像UV1，对第二颜色通道图像进行低通滤波以减弱网格的效果，使用的滤波半径为亮度通道中使用的第一滤波参数r

UV3＝up_sample(filter_lp(dowm_sample(UV)))

其中，down_sample表示下采样，filter_lp表示低通滤波，up_sample表示上采样。

下面通过优选实施例对本实施例进行描述和说明。

图13是本实施例的图像自适应网格去除方法的优选流程图，如图13所示，该图像自适应网格去除方法包括如下步骤：

步骤1：将YUV格式的网格图像(如图14所示)输入网格大小判断模块中，确定网格图像的网格大小；其中，网格大小判断模块用于基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小。

步骤2：基于YUV格式的网格图像得到原始亮度通道图像Y(如图15所示)和原始颜色通道图像UV；

步骤3：对原始亮度通道图像Y进行反相操作，得到第一亮度通道图像Y1；

步骤4：基于所述第一滤波参数对所述第一亮度通道图像进行低通滤波处理，得到具有低频信息的第二亮度通道图像(如图16所示)；再将第一亮度通道图像Y1减去第二亮度通道图像，得到具有高频信息的第三亮度通道图像HF(如图17所示)；

步骤5：第三亮度通道图像HF和原始亮度通道图像Y叠加处理，得到图像Y2；

步骤6：对图像Y2进行中值滤波得到第四亮度通道图像Y3(如图18所示)；

步骤7：对原始颜色通道图像UV下采样得到第二颜色通道图像UV1；

步骤8：对第二颜色通道图像UV1进行低通滤波得到第三颜色通道图像UV2；

步骤9：对第三颜色通道图像UV2下采样得到第一颜色通道图像UV1；

步骤10：第四亮度通道图像Y3与第一颜色通道图像UV3叠加，得到去除网格的图像(如图19所示)。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种图像自适应网格去除装置，如图20所示，该装置包括：

第一确定模块910，用于基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小；

第二确定模块920，用于基于所述网格大小，确定对应的第一滤波参数；

处理模块930，用于基于所述第一滤波参数对所述网格图像进行滤波处理，得到去除网格的图像。

在其中一个实施例中，第一确定模块910还用于：对网格图像进行二值化处理，得到所述网格图像中的多个连通域；基于网格图像中的相邻两个连通域的中心之间的距离，确定所述网格图像的网格大小。

在其中一个实施例中，第一确定模块910还用于：计算各所述连通域在水平方向以及垂直方向上的坐标均值，得到各所述连通域的中心坐标；基于所述网格图像中的相邻两个连通域的中心坐标，得到相邻两个连通域的中心之间的距离；对所述网格图像中所有的相邻两个连通域的中心之间的距离取平均值，得到所述网格图像的网格大小。

在其中一个实施例中，第一确定模块910还用于：将所述网格图像划分为多个子网格图像，计算各所述子网格图像的网格大小；基于阈值范围对各所述子网格图像对应的网格大小进行剔除，对剩余的网格大小取平均值，得到所述网格图像的网格大小。

在其中一个实施例中，处理模块930还用于：对所述原始亮度通道图像进行反相处理，得到第一亮度通道图像；基于所述第一滤波参数对所述第一亮度通道图像进行低通滤波处理，得到具有低频信息的第二亮度通道图像；将所述第一亮度通道图像与所述第二亮度通道图像求取差值，得到具有高频信息的第三亮度通道图像；将所述第三亮度通道图像与所述原始亮度通道图像进行叠加后进行中值滤波处理，得到第四亮度通道图像；基于所述第四亮度通道图像与所述原始颜色通道图像，得到去除网格的图像。

在其中一个实施例中，处理模块930还用于：基于所述第一滤波参数对所述原始颜色通道图像进行滤波处理，得到第一颜色通道图像；将所述第四亮度通道图像和所述第一颜色通道图像进行叠加处理，得到去除网格的图像。

在其中一个实施例中，处理模块930还用于：按照预设下采样比例对所述原始颜色通道图像进行下采样处理，得到第二颜色通道图像；基于所述预设下采样比例以及所述第一滤波参数，确定对应的第二滤波参数；基于所述第二滤波参数对所述第二颜色通道图像进行低通滤波处理，得到第三颜色通道图像；对所述第三颜色通道图像进行上采样处理，得到所述第一颜色通道图像，所述第一颜色通道图像与所述原始颜色通道图像的分辨率相同。

在其中一个实施例中，所述第一滤波参数与所述网格大小成正比例关系。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项图像自适应网格去除方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。