一种胸片筛查分类预测方法、装置、电子设备及存储介质

技术领域

本发明一个或多个实施例涉及医学诊断技术领域，尤其涉及一种胸片筛查分类预测方法、装置、电子设备及存储介质。

背景技术

胸部X线片(Chest X-ray，CXR)是诊断呼吸系统疾病的一线影像检查方法，在医学影像科日常工作任务中占很大比例。使用CXR进行检查的临床场景包括：门诊检查、术前常规检查、健康体检，以及急诊检查等。目前临床上，在前三种情况下，CXR结果多数为正常，影像检查或筛查的任务是检出少数的异常者，再做进一步处理。

但上述方法，在目前的临床工作中是由临床医师人工鉴别诊断的，但由于每个临床医师的经验不同，容易产生误诊和漏诊，且人工鉴别诊断的工作效率低。

发明内容

为解决现有技术中存在的问题，本发明提供了一种胸片筛查分类预测方法、装置、电子设备及存储介质，基于深度学习算法利用常规胸片对门诊、急诊、术前常规和体检人群的CXR进行“无发现”和“有发现”的可解释性的分类，以提高临床医师的工作效率、减少漏诊、误诊，同时也为远程医疗或体检中心的质控提供了可能性。

为实现上述目的，本发明提供了以下技术方案：

第一方面，本发明提供了一种胸片筛查分类预测方法，该方法包括以下步骤：

获取待筛查的胸片图像，并对所述胸片图像进行对比度增强处理，获得对比度增强图像；

将所述对比度增强图像输入到预先训练好的分类模型中，确定所述胸片图像的类别及相应的分数、相应的可解释性模型激活示意图。

在一个可能的实施方式中，所述对所述胸片图像进行对比度增强处理，获得对比度增强图像，包括以下步骤：

估算所述胸片图像的直方图分布，并计算累积分布函数值；

根据所述累积分布函数值估算所述胸片图像对比度拉伸的边界值，并利用所述边界值对所述胸片图像进行对比度拉伸处理，确定对比度拉伸图像；

根据所述胸片图像的尺寸，确定圆盘形形态学结构单元的半径；

根据所述圆盘形形态学结构单元的半径，分别对所述对比度拉伸图像进行形态学top-hat滤波处理和形态学bottom-hat滤波处理，确定形态学top-hat滤波图像和形态学bottom-hat滤波图像；

基于所述对比度拉伸图像、所述形态学top-hat滤波图像和所述形态学bottom-hat滤波图像，确定对比度增强图像。

在一个可能的实施方式中，根据如下公式确定圆盘形形态学结构单元的半径：

R＝Max(sx，xy)*3％

其中，sx和sy分别表示所述胸片图像的长和宽，Max表示取长和宽中的最大值。

在一个可能的实施方式中，通过如下公式，基于所述对比度拉伸图像、所述形态学top-hat滤波图像和所述形态学bottom-hat滤波图像，确定对比度增强图像：

对比度增强胸片图像＝对比度拉伸图像+形态学top-hat滤波图像-形态学bottom-hat滤波图像。

在一个可能的实施方式中，所述分类模型由图像特征提取模模块、激活图生成模块和分类模块构成，其中，

所述图像特征提取模块，用于提取输入的所述对比度增强图像的图像特征；

所述激活图生成模块，用于根据所述图像特征，生成可解释性模型激活示意图；

所述分类模块，用于根据所述图像特征，确定所述胸片图像的类别及相应的分数。

第二方面，本发明提供了一种胸片筛查分类装置，其特征在于，所述装置包括：

对比度强度处理模块，用于对获取的待筛查的胸片图像进行对比度增强处理，获得对比度增强图像；

筛查分类预测模块，用于将所述对比度增强图像输入到预先训练好的分类模型中，确定所述胸片图像的类别及相应的分数、相应的可解释性模型激活示意图。

在一个可能的实施方式中，对比度强度处理模块具体用于：

估算所述胸片图像的直方图分布，并计算累积分布函数值；

根据所述累积分布函数值估算所述胸片图像对比度拉伸的边界值，并利用所述边界值对所述胸片图像进行对比度拉伸处理，确定对比度拉伸图像；

根据所述胸片图像的尺寸，确定圆盘形形态学结构单元的半径；

根据所述圆盘形形态学结构单元的半径，分别对所述对比度拉伸图像进行形态学top-hat滤波处理和形态学bottom-hat滤波处理，确定形态学top-hat滤波图像和形态学bottom-hat滤波图像；

基于所述对比度拉伸图像、所述形态学top-hat滤波图像和所述形态学bottom-hat滤波图像，确定对比度增强图像。

在一个可能的实施方式中，所述分类模型由图像特征提取模模块、激活图生成模块和分类模块构成，其中，

所述图像特征提取模块，用于提取输入的所述对比度增强图像的图像特征；

所述激活图生成模块，用于根据所述图像特征，生成可解释性模型激活示意图；

所述分类模块，用于根据所述图像特征，确定所述胸片图像的类别及相应的分数。

第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信，处理器包括图形处理器和中央处理器；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现第一方面任一项实施例的一种胸片筛查分类预测方法的步骤。

第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项实施例的一种胸片筛查分类预测方法的步骤。

本发明实施例提供的上述技术方案与现有技术相比具有如下优点：

本发明实施例提供的一种胸片筛查分类预测方法，对获取的待筛查的胸片图像进行对比度增强处理，获得对比度增强图像；将所述对比度增强图像输入到预先训练好的分类模型中，确定所述胸片图像的类别及相应的分数、相应的可解释性模型激活示意图。通过该方式，可以快速的将胸片中的“有发现”与“无发现”分开，提高了医生的工作效率，减少误诊，漏诊发生。

附图说明

图1为本发明实施例提供的一种胸片筛查分类预测方法流程示意图；

图2为胸片图像的对比度增强处理流程示意图；

图3为筛查分类预测过程示意图；

图4发明实施例提供的一种胸片筛查分类预测装置结构示意图；

图5为本发明实施例提供一种电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

针对背景技术中所提及的技术问题，本发明实施例提供了一种胸片筛查分类预测方法，由胸片筛查分类预测系统执行，具体参见图1，图1为本发明实施例提供的一种胸片筛查分类方法，如图1所示，胸片筛查分类方法包括以下步骤：

步骤110，对获取的待筛查的胸片图像进行对比度增强处理，获得对比度增强图像。

获取待筛查的胸片图像，获取的是常规胸片图像(CXR)，在对其进行对比度强化处理之前，需要先将常规胸片图像16位DICOM格式转换为8位的PNG格式，像素值变化范围为0-255。胸片图像中各个组织器官的像素值质检有较大差异，为增强图像对比度，对胸片图像进行对比度增强处理，获得对比度增强图像。具体的，根据胸片图像像素特点自适应增强图像对比度，具体的处理过程，详见图2，图2为胸片图像的对比度增强处理流程示意图，如图2所示，胸片图像的对比度增强处理包括以下步骤：

步骤210，估算胸片图像的直方图分布，并计算累积分布函数值。

步骤220，根据累积分布函数值估算胸片图像对比度拉伸的边界值，并利用边界值对胸片图像进行对比度拉伸处理，确定对比度拉伸图像。

步骤230，根据胸片图像的尺寸，确定圆盘形形态学结构单元的半径。

具体的，根据如下公式确定圆盘形形态学结构单元的半径：

R＝Max(sx，xy)*3％

其中，sx和sy分别表示胸片图像的长和宽，Max表示取长和宽中的最大值。

步骤240，根据圆盘形形态学结构单元的半径，分别对对比度拉伸图像进行形态学top-hat滤波处理和形态学bottom-hat滤波处理，确定形态学top-hat滤波图像和形态学bottom-hat滤波图像。

步骤250，基于对比度拉伸图像、形态学top-hat滤波图像和形态学bottom-hat滤波图像，确定对比度增强图像。

具体的，根据步骤230获得的圆盘形形态学结构单元的半径，分别对对比度拉伸后的图像进行形态学top-hat滤波(img_tophat)和bottom-hat滤波(img_bothat)操作，最终获得的对比度增强图像由如下公式得到：

img_enhance＝img_stretch+img_tophat-img_bothat

其中，img_enhance表示对比度增强图像，img_stretch表示对比度拉伸图像，img_tophat表示形态学top-hat滤波图像，img_bothat表示形态学bottom-hat滤波图像。

换一句话说，本申请基于所述对比度拉伸图像、所述形态学top-hat滤波图像和所述形态学bottom-hat滤波图像，确定对比度增强图像：

对比度增强胸片图像＝对比度拉伸图像+形态学top-hat滤波图像-形态学bottom-hat滤波图像。

通过上述描述可知，步骤110，是对来自不同设备及不同参数的胸片图像，基于图像像素值的分布特性，利用自适应调整图像灰度及形态学开闭算法获得最优的对比度增强图像，为后续的分类模型提供输入。

步骤120，将对比度增强图像输入到预先训练好的分类模型中，确定胸片图像的类别及相应的分数、相应的可解释性模型激活示意图。

具体的，分类模型主要由图像特征提取模块、激活图生成模块和分类模块构成，筛查分类过程，具体参见图3，图3为筛查分类过程示意图。

图像特征提取模块采用深度神经网络模型，具体为卷积神经网络体结构(CNN-Body)，具体的基于深度残差网络(Resnet)为基本结构进行结构搭建，优选的，本申请中选择Resnet34结构，需要指出的是，这里也可以根据需求，选取其他残差网络结构，这里不做限定。

图像特征提取模块中的参数，由影像科高年资医师标注完成的实际临床胸片图像训练得到。将前述获得的对比度增强图像输入到训练好的图像特征提取模块，图像特征提取模块会自动提取输入胸片图像的图像特征，然后由分类模块判断其分类的类别，并由激活图生成模块得到可解释性的分类结果示意图，因此，最终的分类结果包括胸片图像的类别及相应的分数和相应的可解释性模型激活示意图。这里所述说的胸片图像的类别是指胸片图像是正常(无发现)还是异常(有发现)，因此，本申请中的分类模块的分类头层(Classification Head-laye)根据分类目标选为2。而本申请中的激活图生成模块是基于梯度的类别激活图算法，如图3所示，图中的CAM Layer表示类别激活层(Class ActivationMapping)。

通过上述描述可知，图像特征提取模块、激活图生成模块及分类模块的具体功能，分别为：

图像特征提取模块，用于提取输入的所述对比度增强图像的图像特征。

激活图生成模块，用于根据所述图像特征，生成可解释性模型激活示意图。

分类模块，用于根据所述图像特征，确定所述胸片图像的类别及相应的分数。

另外，还需要对分类模型进行介绍，在本申请中，分类模型在应用前，利用由影像医师做数据筛选，且由高年资医师再次回顾性阅片确定胸片图像的类别，比如，由高质量的连续性临床胸片图像组成近2万例的模型训练数据集(正常9765例、异常9956例)，对预构建的分类模型进行训练，并利用实际临床数据验证其可行性和有效性，最终确定分类模型的综合分类效能ROC曲线下面积为0.96。即，本申请中的分类模型具有很高的准确性。

通过上述的描述可知，本申请提供的一种胸片筛查分类预测系统由多模块组合构成，可以适应临床实际场景，首先，自动自适应地处理来源于不同图像采集设备不同成像条件下的图像特点，保证了AI模型有较好的泛化能力。另外，通过Grad-CAM方法是对不同类别的卷积层生成的特征图加权求和而得到激活热图，通过该激活热图可以对模型分类的结果进行解释，CXR分类模块利用Grad-CAM来生成分类激活热图，在该热图上可以展示输入图像中的哪些区域对于得到该分类结果是重要的激活区域，并同时生成与病灶区域原始胸片图像一一对应的模型激活区图，为临床提供可解释性信息。

本发明实施例提供的一种胸片筛查分类预测方法，对获取的待筛查的胸片图像进行对比度增强处理，获得对比度增强图像；将所述对比度增强图像输入到预先训练好的分类模型中，确定所述胸片图像的类别及相应的分数、相应的可解释性模型激活示意图。通过该方式，可以快速的将胸片中的“有发现”与“无发现”分开，提高了医生的工作效率，减少误诊，漏诊发生。

以上，对本发明提供的一种胸片筛查分类预测方法实施例进行了介绍，下面则介绍说明本发明提供的其他实施例，具体参见如下。

图4为发明实施例提供的一种胸片筛查分类预测装置结构示意图，如图4所示，该装置包括：对比度强度处理模块401和筛查分类预测模块402。

对比度强度处理模块401，用于对获取的待筛查的胸片图像进行对比度增强处理，获得对比度增强图像；

筛查分类预测模块402，用于将所述对比度增强图像输入到预先训练好的分类模型中，确定所述胸片图像的类别及相应的分数、相应的可解释性模型激活示意图。

在一个可能的实施方式中，对比度强度处理模块401具体用于：

估算所述胸片图像的直方图分布，并计算累积分布函数值；

根据所述累积分布函数值估算所述胸片图像对比度拉伸的边界值，并利用所述边界值对所述胸片图像进行对比度拉伸处理，确定对比度拉伸图像；

根据所述胸片图像的尺寸，确定圆盘形形态学结构单元的半径；

根据所述圆盘形形态学结构单元的半径，分别对所述对比度拉伸图像进行形态学top-hat滤波处理和形态学bottom-hat滤波处理，确定形态学top-hat滤波图像和形态学bottom-hat滤波图像；

基于所述对比度拉伸图像、所述形态学top-hat滤波图像和所述形态学bottom-hat滤波图像，确定对比度增强图像。

在一个可能的实施方式中，所述分类模型由图像特征提取模模块、激活图生成模块和分类模块构成，其中，

所述图像特征提取模块，用于提取输入的所述对比度增强图像的图像特征；

所述激活图生成模块，用于根据所述图像特征，生成可解释性模型激活示意图；

所述分类模块，用于根据所述图像特征，确定所述胸片图像的类别及相应的分数。

本发明实施例提供的胸片筛查分类预测装置中各部件所执行的功能均已在上述任一方法实施例中做了详细的描述，因此这里不再赘述。

本发明实施例提供的一种胸片筛查分类预测装置，对获取的待筛查的胸片图像进行对比度增强处理，获得对比度增强图像；将所述对比度增强图像输入到预先训练好的分类模型中，确定所述胸片图像的类别及相应的分数、相应的可解释性模型激活示意图。通过该方式，可以快速的将胸片中的“有发现”与“无发现”分开，提高了医生的工作效率，减少误诊，漏诊发生。

如图5所示，本发明实施例提供了一种电子设备，包括处理器131、通信接口132、存储器133和通信总线134，其中，处理器131，通信接口132，存储器133通过通信总线134完成相互间的通信，处理器131包括图形处理器和中央处理器。

存储器133，用于存放计算机程序；

在本发明一个实施例中，处理器131，用于执行存储器133上所存放的程序时，实现前述任意一个方法实施例提供的一种胸片筛查分类预测方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如前述任意一个方法实施例提供的一种胸片筛查分类预测方法的步骤。

胸部X线检查是呼吸系统疾病首选的影像检查方法，是医学影像科或体检中心常规检查或筛查工作中最常见的临床任务。在综合医院，大多数常规体检和呼吸系统疾病筛查均首选使用CXR，因此CXR通常是门诊工作量最大的单项检查，且在这些诊断任务中相当多的影像诊断结果是“无发现”，本申请提出了基于深度学习算法利用CXR提供的一种胸片筛查分类预测方法，可快速对门诊、急诊、术前常规和体检人群的CXR的“有发现”和“无发现”分开，提高了临床医师的工作效率，减少了漏诊喝误诊，同时也为远程医疗或体检中心的质控提供了可能性，商业前景和临床转化前景较大，值得推广。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。