一种髋关节X光影像质控决策方法和系统

技术领域

本申请涉及髋关节X光影像质控决策技术领域，特别是涉及一种髋关节X光影像质控决策方法和系统。

背景技术

随着科技医疗的发展，寻找一种准确的髋关节术前规划方法是临床未来发展的主要目标，所以根据髋关节X光影像设计术前规划，具有重要的临床价值和实际意义，因此髋关节X光影像质量直接影响髋关节术前规划的准确性。此外不同设备和不同医师也会带来髋关节影像质量的差异，因此，自动准确判断髋关节X光影像质量具有重要意义。

目前，髋关节影像质量控制主要以医师主观判断为主，虽然影像质量判断无明显差别，但是对于髋关节诊疗仍然存在一定偏差，同时，基于医师主观判断效率较差，同时也存在一定的误判。随着深度学习的发展，一些深度学习分类模型用于髋关节影像质量判断，现有的深度学习分类模型用于髋关节影像质量判断方法是通过提取高维度特征，实现质量判断，由于数据质量差别微小，深度模型无法自动提取和利用更复杂以及更具辨别力的特征，同时基于深度学习的质控模型缺乏可量化的推理和可解释性。

发明内容

基于此，针对上述技术问题，提供一种髋关节X光影像质控决策方法和系统以解决现有深度模型无法自动提取和利用更复杂以及更具辨别力的特征，同时现有深度学习的质控模型缺乏可量化的推理和可解释性的问题。

第一方面，一种髋关节X光影像质控决策方法，所述方法包括：

获取髋关节X光影像，并增强所述髋关节X光影像对比度，生成目标影像；

基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物，若存在，则所述髋关节X光影像质量不合格，若不存在，则进行下一步判断；

基于HRNET的关键点检测模型，判断所述目标影像中髂骨上缘是否存在，以及所述目标影像中股骨是否暴漏完全，若任一判断结果为否，则所述髋关节X光影像质量不合格；若都为是，则判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移；若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断；

基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，若是，则所述髋关节X光影像质量不合格，若否，则所述髋关节X光影像质量合格。

上述方案中，可选地，所述增强所述髋关节X光影像对比度，生成目标影像，包括：

将所述髋关节X光影像的dicom原始图按预设的窗宽窗位以及参数设置为2048和4096进行调整，并转换成图片格式，获得所述髋关节X光影像的jpg图片；

增强所述髋关节X光影像的jpg图片对比度，使用Gamma校正，提高所述髋关节X光影像感兴趣区域的对比度，并压缩背景区域，生成目标影像。

上述方案中，进一步可选地，所述基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物之前，预先对所述DenseNet图像分类模型的Softmax损失函数进行优化，在计算Loss时，对不同类别的Label乘以不同的权重w，使Loss函数取得最小值，则：

Loss＝-w

其中，k为样本Lable，p

上述方案中，进一步可选地，所述判断所述目标影像是否存在非医源异物包括：

根据所述于DenseNet图像分类模型，获取所述目标影像中概率最大的类别，若所述概率最大的类别概率为1，则认为存在非医源异物，若所述概率最大的类别概率不为1，则认为所述目标影像不存在非医源异物。

上述方案中，进一步可选地，所述HRNET的关键点检测模型训练具体为：设置模型关键点数量8个，所述关键点包括股骨头左右小转子、耻骨联合线上两点、左右髂骨上缘和脊柱轴线两点；

在所述HRNET的关键点检测模型设计过程中，添加点与点之间的边缘信息，对于边缘特征可表示为

其中，v

L＝L

其中,所述损失函数包括两部分，一部分是对关键点的损失，另一部分是所述点与点之间的边缘信息的损失。

上述方案中，进一步可选地，所述判断所述目标影像中髂骨上缘是否存在，包括：若所述目标影像关键点纵坐标为0或者负数，则认为所述目标影像髂骨上缘不存在，反之，则认为所述目标影像髂骨上缘存在；

所述目标影像中股骨是否暴漏完全，包括：根据所述目标影像关键点坐标判断股骨头小转子坐标与影像底部区域距离，根据pixel spacing计算真实距离，如果股骨长度小于预设距离，则认为所述目标影像中股骨没有正常暴漏，反之，则认为所述目标影像中股骨正常暴漏；

判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移，具体为：通过computer_angle计算所述目标影像中耻骨联合线和脊柱中心线的角度，若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断。

上述方案中，进一步可选地，所述基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，包括：

预先训练所述U-NET的闭孔分割模型包括：基于U-NET网络进行分割，激活函数为Leaky_Relu，通过instance_normalization方法进行正则化，在训练过程中，采用Adam优化器，所述训练U-NET的闭孔分割模型学习率调整策略为计算训练集和验证集的指数移动平均损失，完成模型训练；

采用所述U-NET的闭孔分割模型对所述目标影像进行分割，获得所述目标影像左右闭孔分割结果；

基于所述目标影像左右闭孔分割结果，通过computer_areas计算所述目标影像左右闭孔面积，根据所述目标影像左右闭孔面积，判断影像质量是否合格。

第二方面，一种髋关节X光影像质控决策系统，所述系统包括：

获取模块：用于获取髋关节X光影像，并增强所述髋关节X光影像对比度，生成目标影像；

第一判断模块：用于基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物，若存在，则所述髋关节X光影像质量不合格，若不存在，则进行下一步判断；

第二判断模块：用于基于HRNET的关键点检测模型，判断所述目标影像中髂骨上缘是否存在，以及所述目标影像中股骨是否暴漏完全，若任一判断结果为否，则所述髋关节X光影像质量不合格；若都为是，则判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移；若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断；

第三判断模块：用于基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，若是，则所述髋关节X光影像质量不合格，若否，则所述髋关节X光影像质量合格。

第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取髋关节X光影像，并增强所述髋关节X光影像对比度，生成目标影像；

基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物，若存在，则所述髋关节X光影像质量不合格，若不存在，则进行下一步判断；

基于HRNET的关键点检测模型，判断所述目标影像中髂骨上缘是否存在，以及所述目标影像中股骨是否暴漏完全，若任一判断结果为否，则所述髋关节X光影像质量不合格；若都为是，则判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移；若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断；

基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，若是，则所述髋关节X光影像质量不合格，若否，则所述髋关节X光影像质量合格。

第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取髋关节X光影像，并增强所述髋关节X光影像对比度，生成目标影像；

基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物，若存在，则所述髋关节X光影像质量不合格，若不存在，则进行下一步判断；

基于HRNET的关键点检测模型，判断所述目标影像中髂骨上缘是否存在，以及所述目标影像中股骨是否暴漏完全，若任一判断结果为否，则所述髋关节X光影像质量不合格；若都为是，则判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移；若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断；

基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，若是，则所述髋关节X光影像质量不合格，若否，则所述髋关节X光影像质量合格。

本发明至少具有以下有益效果：

本发明基于对现有技术问题的进一步分析和研究，认识到现有髋关节影像质量判断，是通过提取高维度特征，实现质量判断，由于数据质量差别微小，深度模型无法自动提取和利用更复杂、更具辨别力的特征，同时基于深度学习的质控模型缺乏可量化的推理和可解释性。本发明通过获取髋关节X光影像，并增强所述髋关节X光影像对比度，基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物；基于HRNET的关键点检测模型，判断所述目标影像中髂骨上缘是否存在，以及所述目标影像中股骨是否暴漏完全，若任一判断结果为否，则所述髋关节X光影像质量不合格，则判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移；若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断，基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，若否，则所述髋关节X光影像质量合格。实现了髋关节X光影像质量自动判断，能有效筛选符合质量要求的影像，提高髋关节病变区域诊断精度，从而更好指导患者治疗方案。

附图说明

图1为本发明一个实施例提供的髋关节X光影像质控决策方法的流程示意图；

图2为本发明一个实施例提供的髋关节X光影像质控决策方法的整体流程示意图；

图3为本发明一个实施例提供的髋关节X光影像质控决策方法的深度决策模型示意图；

图4为本发明一个实施例提供的髋关节X光影像质控决策方法的深关键点可视化结果示意图；

图5为本发明一个实施例提供的髋关节X光影像质控决策方法的闭孔分割结果示意图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1、图2和图3所示，提供了一种髋关节X光影像质控决策方法，包括以下步骤：

获取髋关节X光影像，并增强所述髋关节X光影像对比度，生成目标影像；

基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物，若存在，则所述髋关节X光影像质量不合格，若不存在，则进行下一步判断；其中，所述非医源异物主要包括，手、纽扣、腰带等其他非医源异物。

基于HRNET的关键点检测模型，判断所述目标影像中髂骨上缘是否存在，以及所述目标影像中股骨是否暴漏完全，若任一判断结果为否，则所述髋关节X光影像质量不合格；若都为是，则判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移；若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断；

基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，若是，则所述髋关节X光影像质量不合格，若否，则所述髋关节X光影像质量合格。

本实施例通过获取髋关节X光影像，并增强所述髋关节X光影像对比度，基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物；基于HRNET的关键点检测模型，判断所述目标影像中髂骨上缘是否存在，以及所述目标影像中股骨是否暴漏完全，若任一判断结果为否，则所述髋关节X光影像质量不合格，则判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移；若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断，基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，若否，则所述髋关节X光影像质量合格。实现了髋关节X光影像质量自动判断，能有效筛选符合质量要求的影像，提高髋关节病变区域诊断精度，从而更好指导患者治疗方案。

在一个实施例中，所述增强所述髋关节X光影像对比度，生成目标影像，包括：

将所述髋关节X光影像的dicom原始图按预设的窗宽窗位以及参数设置为2048和4096进行调整，并转换成图片格式，获得所述髋关节X光影像的jpg图片；

增强所述髋关节X光影像的jpg图片对比度，使用Gamma校正，提高所述髋关节X光影像感兴趣区域的对比度，并压缩背景区域，生成目标影像。

在一个实施例中，所述基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物之前，预先对所述DenseNet图像分类模型的Softmax损失函数进行优化，在计算Loss时，对不同类别的Label乘以不同的权重w，使Loss函数取得最小值，则：

Loss＝-w

其中，k为样本Lable，p

在一个实施例中，所述判断所述目标影像是否存在非医源异物包括：

根据所述于DenseNet图像分类模型，获取所述目标影像中概率最大的类别，若所述概率最大的类别概率为1，则认为存在非医源异物，若所述概率最大的类别概率不为1，则认为所述目标影像不存在非医源异物。

在一个实施例中，HRNET的关键点检测模型训练具体为：设置模型关键点数量8个，所述关键点包括股骨头左右小转子、耻骨联合线上两点、左右髂骨上缘和脊柱轴线两点；

在所述HRNET的关键点检测模型设计过程中，添加点与点之间的边缘信息，对于边缘特征可表示为

其中，v

L＝L

其中,所述损失函数包括两部分，一部分是对关键点的损失，另一部分是所述点与点之间的边缘信息的损失。

如图4所示，所述判断所述目标影像中髂骨上缘是否存在，包括：若所述目标影像关键点纵坐标为0或者负数，则认为所述目标影像髂骨上缘不存在，反之，则认为所述目标影像髂骨上缘存在；

所述目标影像中股骨是否暴漏完全，包括：根据所述目标影像关键点坐标判断股骨头小转子坐标与影像底部区域距离，根据pixel spacing计算真实距离，如果股骨长度小于预设距离，则认为所述目标影像中股骨没有正常暴漏，反之，则认为所述目标影像中股骨正常暴漏；

判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移，具体为：通过computer_angle计算所述目标影像中耻骨联合线和脊柱中心线的角度，若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断。

在一个实施例中，如图5所示所述基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，包括：

预先训练所述U-NET的闭孔分割模型包括：基于U-NET网络进行分割，激活函数为Leaky_Relu，通过instance_normalization方法进行正则化，在训练过程中，采用Adam优化器，所述训练U-NET的闭孔分割模型学习率调整策略为计算训练集和验证集的指数移动平均损失，完成模型训练；

采用所述U-NET的闭孔分割模型对所述目标影像进行分割，获得所述目标影像左右闭孔分割结果；

基于所述目标影像左右闭孔分割结果，通过computer_areas计算所述目标影像左右闭孔面积，根据所述目标影像左右闭孔面积，判断影像质量是否合格。

本实施例中，通过深度决策方法完成髋关节X光影像质量判断，提高对髋关节病变诊断质量，制定高标准的髋关节术前规划方案。在深度决策模型训练过程中，总共选取594名髋关节影像患者作为训练集和验证集，其中训练集验证集比例为4:1，使用200例在测试集中验证算法准确度，其中准确度89.5％，F1得分89.2％。本实施例在关键点检测过程中，有效融合关键点周围组织信息，能有效识别提取在全图视野中以低对比度及微小目标特征，同时，对关键点模型的损失函数进行优化，有效融合关键点与点连边的信息，使得模型更具鲁棒性；最终获得全面、准确的髋关节关键点坐标。本实施例在分割过程中，以使用参数简单、速度快的网络模型完成相关分割工作，提升图像处理效率。

应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，提供了一种髋关节X光影像质控决策系统，包括以下程序模块：

获取模块：用于获取髋关节X光影像，并增强所述髋关节X光影像对比度，生成目标影像；

第一判断模块：用于基于DenseNet图像分类模型，判断所述目标影像是否存在非医源异物，若存在，则所述髋关节X光影像质量不合格，若不存在，则进行下一步判断；

第二判断模块：用于基于HRNET的关键点检测模型，判断所述目标影像中髂骨上缘是否存在，以及所述目标影像中股骨是否暴漏完全，若任一判断结果为否，则所述髋关节X光影像质量不合格；若都为是，则判断所述目标影像中耻骨联合线和脊柱中心线是否发生偏移；若所述耻骨联合线和脊柱中心线角度大于5°，则所述髋关节X光影像质量不合格，若所述耻骨联合线和脊柱中心线角度小于5°，则进行下一步判断；

第三判断模块：用于基于U-NET的闭孔分割模型，计算所述目标影像中左右闭孔面积的差值是否大于所述左右闭孔面积中任一闭孔面积的10％，若是，则所述髋关节X光影像质量不合格，若否，则所述髋关节X光影像质量合格。

关于髋关节X光影像质控决策系统的具体限定可以参见上文中对于髋关节X光影像质控决策方法的限定，在此不再赘述。上述髋关节X光影像质控决策系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入系统。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种髋关节X光影像质控决策方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入系统可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，涉及上述实施例方法中的全部或部分流程。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，涉及上述实施例方法中的全部或部分流程。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。