一种肺炎图像处理方法、系统及存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种肺炎图像处理方法、系统及存储介质。

背景技术

在新冠肺炎肆虐的情况下，国内该领域的研究学者对肺炎X光图像的快速识别提出了不同的方法。但由于长期依赖卷积神经网络自身提取的特征进行深度学习训练，众多学者将目光锁定在了卷积神经网络优化上。对X光图像预处理依旧停留在简单的去噪、增强等操作。

传统的去噪、滤波、直方图均衡化等方法获得的X光图像在人类视觉上虽然得到了特征强化，更易判断出病症，但由于正常肺部图像与患病肺部图像区别并不明显，传统预处理方法导致的原细小特征的缺失，并不利于神经网络学习。

发明内容

本发明实施例提供了一种肺炎图像处理方法、系统及存储介质，用以解决现有技术中传统预处理方法导致细小特征损失，不利于神经网络学习的问题。

一方面，本发明实施例提供了一种肺炎图像处理方法，包括：

将待处理的肺炎图像进行滤波重建，获得重建图像；

将重建图像进行特征增强，获得增强图像；

将待处理的肺炎图像和增强图像进行特征融合，获得融合图像。

在一种可能的实现方式中，将待处理的肺炎图像进行滤波重建，获得重建图像，可以包括：构建边缘中心化矩阵；使用边缘中心化矩阵对待处理的肺炎图像进行卷积处理，获得重建图像。

在一种可能的实现方式中，边缘中心化矩阵可以为三阶矩阵，其中心数值为0.00，边缘数据均为0.125。

在一种可能的实现方式中，将重建图像进行特征增强，获得增强图像，可以包括：采用单尺度Retinex算法对重建出现进行特征增强，获得增强图像。

在一种可能的实现方式中，采用单尺度Retinex算法对重建图像进行特征增强，获得增强图像，可以包括：将重建图像分解为入射图像和反射图像；降低入射图像对重建图像的影响，获得重建图像的反射属性，获得增强图像。

在一种可能的实现方式中，将待处理的肺炎图像和增强图像进行特征融合，获得融合图像，可以包括：将待处理的肺炎图像和增强图像的权重比例均设置为0.50，将阈值设置为0.00；采用设置的权重比例和阈值对待处理的肺炎图像和增强图像进行特征融合，获得融合图像。

另一方面，本发明实施例提供了一种肺炎图像处理系统，包括：

重建模块，用于将待处理的肺炎图像进行滤波重建，获得重建图像；

增强模块，用于将重建图像进行特征增强，获得增强图像；

融合模块，用于将待处理的肺炎图像和增强图像进行特征融合，获得融合图像。

另一方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的计算机指令，计算机指令被至少一个处理器执行，以使至少一个处理器执行上述的方法。

另一方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有多条计算机指令，多条计算机指令用于使计算机执行上述的方法。

另一方面，本发明实施例提供了一种计算机程序产品，计算机程序被处理器执行时实现上述的方法。

本发明中的一种肺炎图像处理方法、系统及存储介质，具有以下优点：

对待处理的肺炎图像进行滤波重建和特征增强后，再与原始的肺炎图像进行融合，保留了原始肺炎图像和特征增强后的图像的特征，利于后续的神经网络学习。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明第一实施例提供的一种肺炎图像处理方法的流程图；

图2为本发明中肺炎图像处理方法的图像处理效果示意图；

图3为本发明第二实施例提供的一种肺炎图像处理方法的流程图；

图4为本发明第三实施例提供的一种肺炎图像处理方法的流程图；

图5为本发明第四实施例提供的一种肺炎图像处理方法的流程图；

图6为本发明第五实施例提供的一种肺炎图像处理方法的流程图；

图7为本发明提供的一种肺炎图像处理系统的功能模块图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中，国内的研究学者对肺炎X光影像的快速识别提出了不同的方法，这些方法多集中在卷积神经网络。在利用卷积神经网络进行图像学习前，需要对图像进行预处理，现有的预处理方法还比较简单，导致在处理过程中丢失了一些细节，造成卷积神经网络的学习准确度下降。

针对现有技术中的问题，本发明提供了一种肺炎图像处理方法、系统及存储介质，对待处理的肺炎图像进行滤波重建和特征增强后，再与原始的肺炎图像进行融合，保留了原始肺炎图像和特征增强后的图像的特征，利于后续的神经网络学习。通过Inception V3网络的验证，采用本发明的方法对肺炎图像进行处理，获得的肺炎图像与未处理的肺炎图像以及仅使用Retinex算法处理的肺炎图像相比，在准确性和特异性上均有提高。

图1为本发明第一实施例提供的一种肺炎图像处理方法的流程图。本发明实施例提供的一种肺炎图像处理方法，包括：

S100、将待处理的肺炎图像进行滤波重建，获得重建图像。

示例性地，待处理的肺炎图像是X光图像。对肺炎图像滤波重建的目的是保留肺炎图像的细节特征，同时对肺炎图像中的噪声进行抑制。常用的滤波重建方法包括：线性滤波和非线性滤波，线性滤波主要包括均值滤波和高斯滤波，而非线性滤波主要包括中值滤波和双边滤波。均值滤波是用一个区域内所有像素的均值代替原图像中某个像素的值，本发明实施例采用的滤波重建方法即为均值滤波方法。

S101、将重建图像进行特征增强，获得增强图像。

示例性地，对图像进行特征增强的目的有两个：一是改善图像的视觉效果，提高图像的清晰度，二是针对给定图像的应用场合，突出感兴趣的特征，抑制不感兴趣的特征，扩大图像中不同物体特征之间的差别，满足一些特殊的分析需要。目前的图像特征增强方法包括：基于空域的方法和基于频域的方法。其中基于空域的方法是直接对图像的像素进行处理，而基于频域的方法是在图像的某种变换域内对图像的变换系数进行修正，然后再反变换到原来的空域，得到增强图像。

S102、将待处理的肺炎图像和增强图像进行特征融合，获得融合图像。

示例性地，经过S100和S101的两次处理后，获得的增强图像不可避免的丢失了一些细节，这些细节对卷积神经网络的学习有一定的帮助，因此单纯利用增强图像会对卷积神经网络的学习带来不利影响。而将增强图像和待处理的肺炎图像进行特征融合，既可以保留原始肺炎图像中的细节特征，也能保留增强图像的细节特征，对后续的卷积神经网络学习带来了便利，如图2所示。

采用上述方法后，本发明实施例的一种肺炎图像处理方法，具有以下有益效果：

1、相对于专业人士获取X光判断肺炎，从挂号到取X光图，该方法节省了更多的时间，增加了效率。

2、相对于未处理图像进行深度学习图像分类，该方法精度要更为准确，更大程度上降低了误诊的几率。

图3为本发明第二实施例提供的一种肺炎图像处理方法的流程图。在一种可能的实施例中，S100、将待处理的肺炎图像进行滤波重建，获得重建图像，可以包括：S300、构建边缘中心化矩阵；S301、使用边缘中心化矩阵对待处理的肺炎图像进行卷积处理，获得重建图像。

示例性地，边缘中心化矩阵为三阶矩阵，其中心数值为0.00，边缘数据均为0.125，该矩阵如下所示：

采用上述边缘中心化矩阵与待处理的肺炎图像进行卷积处理后，使用待处理的肺炎图像中某个像素边缘的8个像素的均值来代替该像素的值。

图4为本发明第三实施例提供的一种肺炎图像处理方法的流程图。在一种可能的实施例中，S101、将重建图像进行特征增强，获得增强图像，可以包括： S400、采用单尺度Retinex算法对重建图像进行特征增强，获得增强图像。

示例性地，Retinex是一种常用图像增强方法，它是Edwin.H.Land于1963 年提出的。Retinex理论的基础理论是：物体的颜色由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，即Retinex 是以色感一致性为基础的。不同于传统的线性、非线性的只能增强图像某一类特征的方法，Retinex可以在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行自适应的增强。40多年来，研究人员模仿人类视觉系统发展了Retinex算法，从单尺度Retinex算法，改进成多尺度加权平均的MSR算法，再发展成彩色恢复多尺度MSRCR算法。

图5为本发明第四实施例提供的一种肺炎图像处理方法的流程图。在一种可能的实施例中，S400、采用单尺度Retinex算法对重建图像进行特征增强，获得增强图像，可以包括：S500、将重建图像分解为入射图像和反射图像；S501、降低入射图像对重建图像的影响，获得重建图像的反射属性，获得增强图像。

示例性地，本发明实施例中使用单尺度Retinex算法(Single Scale Retinex，SSR)，该算法是建立在人眼看到的图像是光线在物体上反射的理论上。假设一副图像为S(x,y)，则其可以分解为两个不同的图像：反射图像R(x,y)和入射图像 L(x,y)，入射图像也称为亮度图像：

S(x,y)＝R(x,y)*L(x,y)

Retinex算法的理论就是通过降低入射图像L(x,y)对原始图像S(x,y)的影响来获得图像中物体的反射属性，进而对图像进行增强。可以推导出SSR算法的公式为：

r(x,y)＝logS(x,y)-logL(x,y)

取L(x,y)＝F(x,y)*S(x,y)，其中

图6为本发明第五实施例提供的一种肺炎图像处理方法的流程图。在一种可能的实施例中，S102、将待处理的肺炎图像和增强图像进行特征融合，获得融合图像，可以包括：S600、将待处理的肺炎图像和增强图像的权重比例均设置为0.50，将阈值设置为0.00；S601、采用设置的权重比例和阈值对待处理的肺炎图像和增强图像进行特征融合，获得融合图像。

示例性地，采用上述参数设置后，可以最大程度地保留待处理的肺炎图像以及增强图像中的特征，以利于融合图像用作卷积神经网络学习。

性能验证

为了证明本发明提出的方法确实有效，下面进行实验验证。

实验在Windows 10专业版下进行：

处理器：Intel(R)Core(TM)i5-8500 CPU@3.00GHz

内存：8.00GB

系统类型：64位操作系统，基于x64的处理器

框架：Windows版的Tensorflow框架

实验开始前，收集2018年Kermany等人公开的Chest-X-Ray Image肺炎图像数据集，其中包括了普通肺部图像和肺炎图像。将数据集中的图像按照一定比例划分为训练集和测试集，两个集合中的图像数量分别如下：

ChestX-Ray Image图像数据集分布

实验开始，采用Google开源的Inception V3作为测试网络，将训练集中的图像输入该测试网络，并在该网络中使用两个3×3的网络来代替5×5的网络，使用一个1×3的网络和一个3×1的网络代替3×3的网络，在感受野保持不变的情况下，大大增强了网络非线性。其网络结构为：

Inception V3网络架构

在训练过程中，为了防止训练集中的图像对训练结果产生随机影响，保证训练结果的稳定性，在同一个CPU环境下同一时间对Inception V3网络的后20 层网络进行了3次训练，并且3次训练的平均值，作为最终的训练结果。完成网络训练后，将测试集中的数据分别进行以下三种处理：保持不变、仅采用单尺度Retinex算法进行图像增强、采用本发明提出的方法进行处理，将这三种处理得到的图像分别输入训练好的测试网络，输出准确性、特异性和敏感性三方面的结果：

Inception V3网络测试结果平均值

上述三个指标中，敏感性为患有肺炎病例中预测准确的比例，特异性为未患肺炎病例中预测准确的比例。从以上测试结果可以看出，本发明的方法相对于原始图像和仅采用SSR算法处理的图像来说，在准确性和特异性上有较大的提高，而敏感性则有小幅度的降低。说明本发明的方法确实能够产生一定的好处。

本发明还提供了一种肺炎图像处理系统，包括：

重建模块700，用于将待处理的肺炎图像进行滤波重建，获得重建图像；

增强模块701，用于将重建图像进行特征增强，获得增强图像；

融合模块702，用于将待处理的肺炎图像和增强图像进行特征融合，获得融合图像。

本发明还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中存储器存储有可被至少一个处理器执行的计算机指令，计算机指令被至少一个处理器执行，以使至少一个处理器执行上述的方法。

本发明还提供了一种计算机可读存储介质，计算机可读存储介质中存储有多条计算机指令，多条计算机指令用于使计算机执行上述的方法。

本发明还提供了一种计算机程序产品，计算机程序被处理器执行时实现上述的方法。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。