一种基于CT图像的处理方法、装置、设备及存储介质

技术领域

本公开涉及医学图像处理领域，尤其涉及一种基于CT图像的处理方法、装置、设备及存储介质。

背景技术

骨质疏松骨折有别于一般的创伤性骨折，既要判断CT图像是否有骨折特征，还要判断是否具有骨质疏松特征，即需要同时进行骨折检查和骨密度测量。脊柱是骨质疏松骨折最常见的部位，脊柱胸腰段的骨质疏松骨折约占整个脊柱骨折的90％。脊柱骨质疏松骨折主要包括椎体压缩骨折和椎体爆裂骨折，但由于其外伤往往较轻，或无明显外伤症状，因此不容易识别。

在现有技术中，骨密度测定通常采用双能X线吸收法测定(Dual-emission X-rayAbsorptiometry，DXA)查看骨质状态以确定骨质疏松的程度，而通过CT扫描确定骨折类型、椎体破坏程度以及椎管内压迫情况。其中，椎体压缩程度是衡量骨折程度的一个比较重要的指标。但是由于DXA方法无法判断椎体破坏程度，此外还由于常规CT扫描无法进行骨密度测量，因此骨质疏松骨折特征的判断与分类需要进行多种检查。除此之外，在现有技术中，针对椎体骨质疏松性骨折类型的评估仅有对椎体骨折情况进行评估，而没有对骨质疏松程度进行评估，缺乏必要的评价指标。

在现有技术中，虽然有研究人员试通过训练椎体松质骨定位及分割模型，来判断脊椎的电子计算机断层扫描(Computed Tomography，CT)图像是否存在骨质疏松骨折特征的椎体以及定位与分割，但是由于骨质疏松骨折中松质骨区域大小形态不同的特点，单独学习松质骨增加了模型学习复杂性，容易出现漏分割以及定位错误的问题，并且现有技术的训练数据大多采用有限几个椎体的图像数据，导致采集该类具有骨质疏松骨折特征椎体的训练数据困难，从而导致该类模型判断准确率较低。

发明内容

本公开提供了一种基于CT图像的处理方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。

根据本公开的第一方面，提供了一种基于CT图像的处理方法，所述方法包括：

将经过预处理的待处理图像进行分割处理，确定所述待处理图像内各个子椎体精细图像及其类别；

将所述各个子椎体精细图像输入骨折分类模型，得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别；

通过所述待处理图像获取与其对应的待处理骨密度图像，并通过所述待处理骨密度图像确定所述各个子椎体骨松质密度图像的骨质状态。

在一可实施方式中，所述将经过预处理的待处理图像进行分割处理，确定所述待处理图像内各个子椎体精细图像及其类别，包括：

将经过预处理的待处理图像输入椎体检测与分类模型，标记所述待处理图像中各个子椎体的检测框及其类别；

将所述待处理图像内各个子椎体的检测框扩展预设尺寸，进行裁剪，得到各个子椎体图像及其类别；

将所述各个子椎体图像输入椎体分割模型，得到所述各个子椎体掩码图像及其类别；

根据所述各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到各个子椎体精细图像及其类别；

将所述各个子椎体精细图像输入骨折分类模型，得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别。

在一可实施方式中，在得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别之后，还包括：

根据所述各个子椎体掩码图像确定各个子椎体的椎体体积与椎体高度；以及，

在冠状位方向与矢状位方向上，分别根据各个子椎体掩码图像内各个子椎体相对端面中的最远端点距离之比以及相应的预设参考阈值，确定所述各个子椎体掩码图像中各个子椎体的骨折风险提示信息。

在一可实施方式中，所述通过所述待处理图像获取与其对应的待处理骨密度图像，并通过所述待处理骨密度图像确定所述各个子椎体骨松质密度图像的骨质状态，包括：

通过能谱成像技术，得到与所述待处理图像相对应的待处理骨密度图像；

根据所述各个子椎体掩码图像及其类别，裁剪所述待处理骨密度图像，得到各个子椎体骨密度图像及其类别；

通过形态腐蚀法腐蚀所述各个子椎体骨密度图像内的子椎体骨皮质，得到各个子椎体骨松质骨密度图像；

通过计算所述各个子椎体骨松质的骨密度图像内的平均值得到骨密度值，并根据预设骨质状态参考值确定所述各个子椎体骨松质密度图像的骨质状态。

在一可实施方式中，所述根据所述各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到各个子椎体精细图像及其类别，包括：

根据所述各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到与所述各个子椎体掩码图像外表面尺寸相同的各个子椎体图像块及其类别；

将所述各个子椎体图像块的椎体背景设置预设掩码值，得到所述各个子椎体精细图像及其类别。

在一可实施方式中，在将经过预处理的待处理图像输入椎体检测与分类模型之前，还包括：

预设简化类别，标记第一训练图像中的胸腹部椎体；

将标记后的第一训练图像进行多样化预处理，并输入所述椎体检测与分类模型进行训练，直至所述椎体检测与分类模型的损失函数收敛，得到成熟的椎体检测与分类模型，并输出所述第一训练图像中各个子椎体的检测框及其简化类别；

根据椎体位置特点，将所述第一训练图像中各个子椎体进行命名，得到所述各个子椎体的类别，并作为所述椎体检测与分类模型的结果进行输出。

在一可实施方式中，在作为所述椎体检测与分类模型的结果之后，还包括：

对所述第一训练图像内的各个子椎体进行掩码标注，并按照所述第一训练图像中各个子椎体的检测框进行裁剪，得到各个训练子椎体的掩码标注图像，作为第二训练图像；

将第二训练图像输入所述椎体分割模型进行训练，直至所述椎体分割模型的损失函数收敛，得到成熟的椎体分割模型。

在一可实施方式中，在得到成熟的椎体分割模型之后，还包括：

对所述第一训练图像内的各个子椎体是否具有骨质疏松骨折特征进行标注，并按照所述第二训练图像内各个训练子椎体的掩码标注图像进行裁剪，在得到的各个子椎体训练图像块的椎体背景设置预设掩码值，得到各个训练子椎体的骨折标注图像，作为第三训练图像；

将第三训练图像输入所述骨折分类模型进行训练，直至所述骨折分类模型的损失函数收敛，得到成熟的骨折分类模型。

根据本公开的第二方面，提供了一种基于CT图像的处理装置，所述装置包括：

获取模块，用于将经过预处理的待处理图像进行分割处理，确定所述待处理图像内各个子椎体精细图像及其类别；

骨折确定模块，用于将所述各个子椎体精细图像输入骨折分类模型，得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别；

骨密度确定模块，用于通过所述待处理图像获取与其对应的待处理骨密度图像，并通过所述待处理骨密度图像确定所述各个子椎体骨松质密度图像的骨质状态。

在一可实施方式中，获取模块具体用于：

将经过预处理的待处理图像输入椎体检测与分类模型，标记所述待处理图像中各个子椎体的检测框及其类别；

将所述待处理图像内各个子椎体的检测框扩展预设尺寸，进行裁剪，得到各个子椎体图像及其类别；

将所述各个子椎体图像输入椎体分割模型，得到所述各个子椎体掩码图像及其类别；

根据所述各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到各个子椎体精细图像及其类别。

在一可实施方式中，骨密度确定模块，具体用于：

通过能谱成像技术，得到与所述待处理图像相对应的待处理骨密度图像；

根据所述各个子椎体掩码图像及其类别，裁剪所述待处理骨密度图像，得到各个子椎体骨密度图像及其类别；

通过形态腐蚀法腐蚀所述各个子椎体骨密度图像内的子椎体骨皮质，得到各个子椎体骨松质骨密度图像；

通过计算所述各个子椎体骨松质的骨密度图像内的平均值得到骨密度值，并根据预设骨质状态参考值确定所述各个子椎体骨松质密度图像的骨质状态。

在一可实施方式中，还包括：风险提示模块，用于在得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别之后，

根据所述各个子椎体掩码图像确定各个子椎体的椎体体积与椎体高度；以及，

在冠状位方向与矢状位方向上，分别根据各个子椎体掩码图像内各个子椎体相对端面中的最远端点距离之比以及相应的预设参考阈值，确定所述各个子椎体掩码图像中各个子椎体的骨折风险提示信息。

在一可实施方式中，获取模块，具体用于：

根据所述各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到与所述各个子椎体掩码图像外表面尺寸相同的各个子椎体图像块及其类别；

将所述各个子椎体图像块的椎体背景设置预设掩码值，得到所述各个子椎体精细图像及其类别。

在一可实施方式中，还包括：训练模块，用于：

在将经过预处理的待处理图像输入椎体检测与分类模型之前，预设简化类别，标记第一训练图像中的胸腹部椎体；

将标记后的第一训练图像进行多样化预处理，并输入所述椎体检测与分类模型进行训练，直至所述椎体检测与分类模型的损失函数收敛，得到成熟的椎体检测与分类模型，并输出所述第一训练图像中各个子椎体的检测框及其简化类别；

根据椎体位置特点，将所述第一训练图像中各个子椎体进行命名，得到所述各个子椎体的类别，并作为所述椎体检测与分类模型的结果进行输出。

在一可实施方式中，还包括：训练模块，还用于：

在作为所述椎体检测与分类模型的结果之后，对所述第一训练图像内的各个子椎体进行掩码标注，并按照所述第一训练图像中各个子椎体的检测框进行裁剪，得到各个训练子椎体的掩码标注图像，作为第二训练图像；

将第二训练图像输入所述椎体分割模型进行训练，直至所述椎体分割模型的损失函数收敛，得到成熟的椎体分割模型。

在一可实施方式中，还包括：训练模块，还用于：

在得到成熟的椎体分割模型之后，对所述第一训练图像内的各个子椎体是否具有骨质疏松骨折特征进行标注，并按照所述第二训练图像内各个训练子椎体的掩码标注图像进行裁剪，在得到的各个子椎体训练图像块的椎体背景设置预设掩码值，得到各个训练子椎体的骨折标注图像，作为第三训练图像；

将第三训练图像输入所述骨折分类模型进行训练，直至所述骨折分类模型的损失函数收敛，得到成熟的骨折分类模型。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。

本公开的一种基于CT图像的处理方法、装置、设备及存储介质，通过将经过预处理的待处理图像进行分割处理，确定所述待处理图像内各个子椎体精细图像及其类别；将所述各个子椎体精细图像输入骨折分类模型，得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别；通过所述待处理图像获取与其对应的待处理骨密度图像，并通过所述待处理骨密度图像确定所述各个子椎体骨松质密度图像的骨质状态，本实施例不仅能够准确的判断其子椎体是否具有骨质疏松骨折特征，还能够通过骨密度确定骨质状态。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1A示出了本公开实施例一提供的一种基于CT图像的处理方法的实现流程示意图；

图1B示出了本公开实施例一提供的一种单个椎体子冠状位图像；

图1C示出了本公开实施例一提供的一种单个椎体子冠状位图像所对应的子椎体掩码图像；

图1D示出了本公开实施例一提供的一种子椎体的横断位截图的示意图；

图1E示出了本公开实施例一提供的一种子椎体的冠状位截图的示意图；

图1F示出了本公开实施例一提供的一种子椎体的矢状位截图的示意图；

图1G示出了本公开实施例一提供的一种子椎体掩码图像的冠状位方向子椎体高度计算示意图；

图1H示出了本公开实施例一提供的一种子椎体掩码图像的矢状位方向子椎体高度计算示意图；

图2示出了本公开实施例二提供的一种椎体检测与分类模型输出的椎体标注及分类示意图；

图3示出了本公开实施例三提供的一种基于CT图像的处理装置的结构示意图；

图4示出了本公开实施例一种电子设备的组成结构示意图。

具体实施方式

为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开结合双能CT能谱成像技术进行检查，既可以进行骨密度测量，又可以满足日常CT检查，也即可以满足骨质疏松性骨折中的骨折检查和骨密度测量，减少了患者检查次数，如下详述。

实施例一

图1A为本公开实施例一提供的一种基于CT图像的处理方法的流程图，该方法可以由本公开实施例提供的一种基于CT图像的处理装置来执行，该装置可采用软件和/或硬件的方式实现。该方法具体包括：

S110、将经过预处理的待处理图像进行分割处理，确定待处理图像内各个子椎体精细图像及其类别。

在本公开实施例中，所述将经过预处理的待处理图像进行分割处理，确定所述待处理图像内各个子椎体精细图像及其类别，包括：将经过预处理的待处理图像输入椎体检测与分类模型，标记所述待处理图像中各个子椎体的检测框及其类别；将所述待处理图像内各个子椎体的检测框扩展预设尺寸，进行裁剪，得到各个子椎体图像及其类别；将所述各个子椎体图像输入椎体分割模型，得到所述各个子椎体掩码图像及其类别；根据所述各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到各个子椎体精细图像及其类别。

其中，预处理指的是将原始的胸腹CT图像进行骨窗归一化处理的操作。待处理图像可以是将原始胸腹CT图像进行骨窗归一化后得到的图像。椎体检测与分类模型，可以是任意一种能够实现椎体检测与分类功能的神经网络模型，示例性的，本实施例可以采用多目标检测模型，其中由于输入的胸腹CT图像为三维图像，为了保留该图像的椎体定位及命名信息，多目标检测模型可以使用三维卷积核或者三维池化层等结构，同时其网络结构也可以使用FCOS或者DETR等目标检测算法。或者，本实施例还可以采用本公开专门针对该问题而训练的神经网络模型，详见下文实施例二。

其中，子椎体的检测框可以是能够将各个子椎体包裹的最小包容体。子椎体的类别，可以是胸椎1到胸椎12，以及腰椎1至腰椎5。具体的，本实施例先将原始的胸腹CT图像进行骨窗归一化预处理，得到归一化后的待处理图像，随后将该待处理图像输入椎体检测与分类模型中，通过椎体检测与分类模型的自动运算，得到带有各个子椎体检测框标识且含有各个子椎体类别标识的待处理图像。

其中，子椎体图像可以是从待处理图像中提取的包含有单个子椎体的图像。预设尺寸可以是根据需求而设定的尺寸，本实施例不对其具体数值进行限定。

其中，椎体分割模型可以是任意一种能够实现三维分割功能的深度学习模型，该深度学习模型有3DUNet、VNet以及nnUNet等，或者，本实施例还可以采用本公开专门针对该问题而训练的神经网络模型，详见下文实施例二。子椎体掩码图像，可以是将子椎体图像中存在子椎体特征的像素点掩码值设置为1，非子椎体特征的像素点掩码值设置为0的mask图像。

其中，子椎体精细图像可以是仅包含所需要的子椎体图像块和背景的图像。

具体的，本实施例对待处理图像的各个子椎体图像进行裁剪时，为了避免裁剪的子椎体图像不完整，将各个子椎体的检测框按照人为需求向外延展预设尺寸，再根据延展后的尺寸对待处理图像进行裁剪，从而得到各个单独的子椎体图像，如图1B所示。由于前期已经对各个子椎体进行分类，因此裁剪后的各个子椎体也带有其对应的椎体类别。

具体的，本实施例将如图1B所示的各个尺寸稍大些的子椎体图像分别输入椎体分割模型进行处理，从而得到如图1C所示的子椎体掩码图像，由于输入的子椎体图像带有类别标识，因此输出的子椎体掩码图像也标记有子椎体类别标识。

在本公开实施例中，根据各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到各个子椎体精细图像及其类别，包括：根据各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到与各个子椎体掩码图像外表面尺寸相同的各个子椎体图像块及其类别；将各个子椎体图像块的椎体背景设置预设掩码值，得到各个子椎体精细图像及其类别。

其中，子椎体图像块可以是根据子椎体掩码图像得到的仅包含所需子椎体的图像块。

具体的，由于延展后的检测框中包含有子椎体附近其他组织图像或者相邻的子椎体图像，因此为了使子椎体图像更加精确，本实施例根据椎体分割模型得到的子椎体掩码图像，对与其所对应的子椎体图像进行裁剪处理，从而得到仅包含所需要的子椎体图像块。同样，该子椎体图像块也标记有相应的椎体类别标识。

具体的，本实施例根据椎体分割模型得到的各个子椎体掩码图像，可以得更精准的子椎体包围轮廓，利用精准的子椎体掩码图像的包围轮廓对与其所对应的子椎体图像进行裁剪，从而得到与各个子椎体掩码图像大小相同的多个子椎体图像块。然后再将各个子椎体图像块的椎体背景设置预设掩码值，例如将存在子椎体特征的区域保留其原有掩码值，在子椎体特征的区域之外的背景图像区域的掩码值设置为固定值，经过上述处理可以得到各个子椎体精细图像及与其对应的子椎体类别，如图1D、图1E以及图1F所示，图1D、图1E以及图1F为同一椎体不同方向的截图示意图。

S120、将各个子椎体精细图像输入骨折分类模型，得到各个子椎体精细图像内各个子椎体的骨折分值及其类别。

其中，骨折分类模型可以是任意一种能够实现骨折分类功能的神经网络模型，示例性的，本实施例可以采用3D-ResNet，3D-EfficientNet等神经网络模型，或者，本实施例还可以采用本公开专门针对该问题而训练的神经网络模型，详见下文实施例二。骨折分值，可以是判断子椎体图像中具有骨折特征的可能性大小。

具体的，本实施例将得到的多个子椎体精细图像依次输入到骨折分类模型进行运算，得到与其对应的各个子椎体的骨折分值。由于输入的子椎体精细图像带有椎体类别标识，因此输出的结果中也对应有子椎体类别。本实施例可以根据得到的多个子椎体的骨折分值判断与其对应的子椎体具有骨质疏松骨折特征的可能性，该数值越大，则子椎体具有椎体骨质疏松骨折特征的可能性越大。

S130、通过待处理图像获取与其对应的待处理骨密度图像，并通过待处理骨密度图像确定各个子椎体骨松质密度图像的骨质状态。

在本公开实施例中，在所述通过所述待处理图像获取与其对应的待处理骨密度图像，并通过所述待处理骨密度图像确定所述各个子椎体骨松质密度图像的骨质状态，包括：通过能谱成像技术，得到与所述待处理图像相对应的待处理骨密度图像；根据所述各个子椎体掩码图像及其类别，裁剪所述待处理骨密度图像，得到各个子椎体骨密度图像及其类别；通过形态腐蚀法腐蚀所述各个子椎体骨密度图像内的子椎体骨皮质，得到各个子椎体骨松质骨密度图像；通过计算所述各个子椎体骨松质的骨密度图像内的平均值得到骨密度值，并根据预设骨质状态参考值确定所述各个子椎体骨松质密度图像的骨质状态。

由于本公开采用双能CT能谱成像技术进行检查，因此既可以获得原始的胸腹CT图像，又可以获得待处理骨密度图像。其中，待处理密度图像可以是用于计算子椎体骨松质密度的图像，该类图像不同于常规胸腹CT图像。子椎体骨密度图像，可以是从待处理骨密度图像中提取的含有所需单个子椎体骨密度的图像。形态腐蚀法可以是用于腐蚀子椎体骨皮质，保留子椎体骨松质的处理方法。能谱成像技术，可以是利用两种能量得到固定物质骨密度图像的CT成像技术，该技术通常利用代表骨矿物质的羟基磷灰石进行能谱CT成像计算骨密度，示例性的，本实施例采用的是双能CT能谱成像技术，除此之外，本实施例还可以采用其他定量CT，如QCT等。子椎体骨松质骨密度图像，可以是仅包含子椎体骨松质部分的图像，用于判断子椎体骨密度。骨质状态可以用于判断骨质疏松程度。

具体的，由于椎体的骨密度是计算椎体骨质疏松骨折的重要指标，因此，本实施例根据椎体分割模块运算，可以得到各个子椎体掩码图像及其所对应的类别，通过得到的各个子椎体掩码图像及其所对应的类别，对待处理骨密度图像进行裁剪，可以得到与其对应的各个子椎体骨密度图像。由于子椎体掩码图像带有类别标识，因此各个子椎体骨密度图像也带有其类别。随后本实施例将得到的带有标识类别的各个子椎体骨密度图像，依次进行形态腐蚀法去除固定厚度的子椎体骨皮质，从而得到与其对应的多个子椎体骨松质骨密度图像，再将这些图像依次通过计算得到与其对应的各个子椎体骨松质骨密度图像平均值作为骨密度值，将各个子椎体骨松质骨密度图像的骨密度值依次与预设骨质状态参考值进行比较，从而可以确定与其对应的各个子椎体骨松质骨密度图像的骨密度情况。

示例性的，本实施例通过能谱成像技术计算并记录显示各个子椎体中骨松质区域的平均骨密度值，通过人工选定或自动设定固定值的方式预设骨质状态参考值，对各个子椎体骨质疏松进行定量评价。若得到的子椎体骨松质骨密度图像平均值小于预设骨质状态参考值，则将该子椎体判定为骨质疏松，根据子椎体骨松质骨密度图像的平均值得到该子椎体的椎体骨质疏松程度。

本实施例利用双能CT的能谱成像原理计算骨密度值，不仅精确度高，而且最为接近双能X射线测量骨密度的行业金标准方法，同时相对于双能X射线方法双能CT可以得到更完整、更清晰的椎体影像，不仅可以进行椎体骨密度定量分析，也可以用来判断椎体骨折情况，简化了椎体骨质疏松性骨折评估的操作。

本实施例提供的一种基于CT图像的处理方法，通过将经过预处理的待处理图像进行分割处理，确定所述待处理图像内各个子椎体精细图像及其类别；将所述各个子椎体精细图像输入骨折分类模型，得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别；通过所述待处理图像获取与其对应的待处理骨密度图像，并通过所述待处理骨密度图像确定所述各个子椎体骨松质密度图像的骨质状态，本实施例不仅能够准确的判断其子椎体是否具有骨质疏松骨折特征，还能够通过骨密度确定骨质状态。

在本公开实施例中，在得到各个子椎体精细图像内各个子椎体的骨折分值及其类别之后，还包括：根据各个子椎体掩码图像确定各个子椎体的椎体体积与椎体高度；以及，在冠状位方向与矢状位方向上，分别根据各个子椎体掩码图像内各个子椎体相对端面中的最远端点距离之比以及相应的预设参考阈值，确定各个子椎体掩码图像中各个子椎体的骨折风险提示信息。

其中，椎体体积可以是单个子椎体掩码图像在三维空间中的体积，记为V。椎体高度，可以是椎体形态描述的其中一个要素。冠状位方向和矢状位方向，可以是对单个子椎体进行投影的不同方向。预设参考阈值可以是人为设定的数值，通过该数值判断单个子椎体图像中椎体是否存在骨折特征的风险。骨折风险提示信息，可以是用于提示子椎体是否存在椎体骨质疏松骨折特征的信息，以及若判断图像中存在椎体骨质疏松骨折特征，则给予该图像中椎体骨质疏松骨折的状态值。其中，椎体骨质疏松骨折的状态值也表示了椎体因骨质疏松导致变形的变形程度，若状态值高，则变形程度较大。

具体的，由于椎体骨质疏松会导致椎体发生形变，会导致椎体压缩性骨折，所以椎体的形态描述对判断椎体是否存在异常十分重要，此外椎体的形态描述还可以辅助评价椎体骨质疏松骨折程度。而通过测量子椎体掩码图像中子椎体掩码的上端面和下端面之间的距离，可以反映是否存在子椎体骨质疏松骨折以及子椎体骨质疏松骨折的严重程度，因此，本实施例通过椎体分割模块可以得到各个子椎体掩码图像，而因为该子椎体掩码图像为三维立体图像，所以通过该子椎体掩码图像可以直接得到与其对应的子椎体体积和间接得到与其对应的子椎体高度，其中，子椎体的高度可以是通过子椎体掩码图像分别在冠状位方向截图和矢状位方向截图进行测量计算得到，即测量子椎体掩码图像中相对端面中最远端点的距离。随后本实施例根据测量得到的数值之间的比值与预设参考阈值之间的关系，确定各个子椎体掩码图像中所对应的各个子椎体是否存在椎体骨质疏松骨折特征，并给予骨折风险提示信息。

图1G为本公开实施例一提供的一种子椎体掩码图像的冠状位方向子椎体高度计算示意图，图1H为本公开实施例一提供的一种子椎体掩码图像的矢状位方向子椎体高度计算示意图。如图1G以及图1H所示，本实施例首先通过测量子椎体上端面S1与下端面S2左缘之间距离，记为距离D1；子椎体上端面S5与下端面S6右缘之间距离，记为距离D2；子椎体上端面S9与下端面S10前缘之间距离，记为距离D3；椎体上端面S7与下端面S8后缘之间距离，记为距离D4；以及子椎体上端面S3与下端面S4之间距离，记为中心距离D5。然后将D1与D2之间的比值，记为P1；将D3与D4之间的比值，记为P2；将相邻椎体的D5之间的比值，记为P3。示例性的，本实施例计算第二腰椎的P3时，可以计算第二腰椎的D5与第三腰椎的D5之间的比值，也可以计算第一腰椎的D5与第二腰椎的D5之间的比值。

具体的，本实施例将P1、P2和P3分别与其对应的三个预设阈值进行比较，若P1、P2和P3中存在任意一个大于预设阈值，则提示该子椎体存在椎体骨质疏松骨折风险，并可以根据大于预设阈值个数的多少以及数值来确定骨折程度。

本实施例计算各个子椎体掩码图像中各个子椎体的骨折风险提示信息，可以从多维度了解各个子椎体的形态特征，以及通过形态特征计算的骨折风险结果提供了有关各个子椎体更全面的信息，从椎体形态学上评价了椎体骨质疏松骨折的可能性及程度。

实施例二

为了提高各个模型判断的精准度，本公开实施例在上述实施例的基础上，还包括椎体检测与分类模型、椎体分割模型以及骨折分类模型的训练，其训练方法如下：

本实施例内的椎体检测与分类模型的训练过程包括：预设简化类别，标记第一训练图像中的胸腹部椎体；将标记后的第一训练图像进行多样化预处理，并输入所述椎体检测与分类模型中进行训练，直至所述椎体检测与分类模型的损失函数收敛，得到成熟的椎体检测与分类模型，并输出所述第一训练图像中各个子椎体的检测框及其简化类别；根据椎体位置特点，将所述第一训练图像中各个子椎体进行命名，得到所述各个子椎体的类别，并作为所述椎体检测与分类模型的结果进行输出。

其中，预设简化类别可以是人为设定的用于区分椎体类别的标记。本实施例为了降低模型学习的复杂性，提高模型精度，人为定义了子椎体类型，示例性的，本实施例可以以胸椎7为中点，分为两种类型胸椎，将胸椎1至胸椎6定义为第一类，记为类别1；将胸椎7至胸椎12定义为第二类，记为类别2；将腰椎1至腰椎5定义为第三类，记为类别3。第一训练图像，可以是用于训练椎体检测与分类模型所使用的胸腹CT图像。椎体检测与分类模型是用于标记胸腹CT图像中各个子椎体的检测框以及各个子椎体所对应的预设简化类别的神经网络模型，例如，本实施例为了保留三维信息椎体定位及命名模型使用三维卷积核、三维池化层等三维处理，椎体检测与分类模型的网络结构可以使用FCOS及DETR等目标检测算法。

具体的，本实施例对大量胸腹CT图像进行人为定位及分类标注，即人为标注胸腹CT图像中各个子椎体的检测框以及各个子椎体所对应的预设简化类别，从而将带有标识的各个子椎体图像作为训练数据。

具体的，本实施例先将标记后的第一训练图像，通过骨窗归一化、随机裁剪、随机缩放、镜像以及随机空间变换等方式进行图像扩展，使得第一训练图像多样化，获得更多的训练数据以增加椎体检测与分类模型的泛化性与鲁棒性。随后将多样化预处理后的CT影像依次输入到椎体检测与分类模型中的椎体检测与分类模型进行学习，得到带有各个子椎体检测框及其各个子椎体对应有简化类别的结果，将训练结果与具有真实人为标记检测框和类别的第一训练图像的标注进行比对，进而调整椎体检测与分类模型参数。本实施例通过不断的优化函数、多次迭代，直至椎体检测与分类模型的损失函数收敛，得到成熟的椎体检测与分类模型。

本实施例中的椎体检测与分类模型用于椎体粗定位及命名，而不是直接使用椎体分割模型，因为椎体检测与分类模型所需数据容易标注，大幅度降低了数据标注的复杂性；且由于椎体数目较多在椎体命名阶段会增加椎体检测模型复杂度，为了降低椎体检测命名复杂度，本实施例将椎体分为三类，之后再根据椎体位置关系进行各椎体命名。

具体的，本实施例通过椎体检测与分类模型对第一训练图像中的各个子椎体进行初步识别其类别，以及标记检测框。由于各个子椎体命名具有唯一性和连续性，且由于各个子椎体位置相对固定，因此本实施例根据椎体位置特点，将各类第一位置椎体分别设为胸椎1、胸椎7和腰椎1，或各类最后位置椎体分别为胸椎6、胸椎12和腰椎5，通过椎体位置特点，在初步获得预设简化类别的基础上，对各个子椎体进行进一步命名，得到带有类别标识的各个子椎体图像并输出结果，如图2所示。

现有技术需要对十七个子椎体分别定位与命名，不仅目标检测难度大且不精确，而且直接对整张CT影像进行椎体骨质疏松骨折的判断评估易出现假阳性。本实施例提供的方法，不仅有效的解决了上述问题，而且由于在椎体检测与分类模型就可以获得各个子椎体的类别，虽然后续还进行其他处理，但是也能够知道处理的各个子椎体的类别，从而能够直接得到具有骨质疏松骨折特征椎体的类别以及其具体位置信息。

本实施例内的椎体分割模型的训练过程包括：对所述第一训练图像内的各个子椎体进行掩码标注，并按照所述第一训练图像中各个子椎体的检测框进行裁剪，得到各个训练子椎体的掩码标注图像，作为第二训练图像；将第二训练图像输入所述椎体分割模型进行训练，直至所述椎体分割模型的损失函数收敛，得到成熟的椎体分割模型。其中，第二训练图像可以是用于训练椎体分割模型所使用的图像，可以是直接基于第一训练图像进行标记的图像，也可以使用其他经过预处理的胸腹CT图像。

具体的，本实施例将第一训练图像中的各个子椎体进行掩码标注，并根据其所对应的子椎体检测框进行裁剪，得到多个带有掩码标识的子椎体图像，将得到的这些子椎体掩码图像作为第二训练图像，用于后续的椎体分割模型进行训练。

具体的，本实施例将通过检测框裁剪得到的第二训练图像依次输入到初始的椎体分割模型进行学习，可以得到多个子椎体掩码图像预测结果。本实施例再将通过椎体分割模型输出的子椎体掩码图像预测结果与真实人为预先标注的子椎体掩码图像进行比对，来调整椎体分割模型的参数，通过多次优化迭代直至损失函数值收敛，从而得到成熟的椎体分割模型。其中，本实施例中采用的椎体分割模型例如可以是三维分割模型中任意一种，例如3DUNet、VNet、nnUNet等目标分割网络模型

本实施例通过训练椎体分割模型，能够精准的得到各个子椎体掩码图像。通过椎体分割mask预处理减少背景干扰，减少椎体骨折评估假阳性，降低椎体骨质疏松骨折分类难度，并结合椎体分割结果中椎体命名结果，可以直接得到椎体骨质疏松骨折的位置信息，还可以辅助后续计算骨密度和椎体形态。

本实施例内的骨折分类模型的训练过程包括：对所述第一训练图像内的各个子椎体是否具有骨质疏松骨折特征进行标注，并按照所述第二训练图像内各个训练子椎体的掩码标注图像进行裁剪，在得到的各个子椎体训练图像块的椎体背景设置预设掩码值，得到各个训练子椎体的骨折标注图像，作为第三训练图像；将第三训练图像输入所述骨折分类模型进行训练，直至所述骨折分类模型的损失函数收敛，得到成熟的骨折分类模型。其中，第三训练图像可以是用于训练骨折分类模型所使用的图像，可以是直接基于第一训练图像进行标记的图像，也可以使用其他经过预处理的胸腹CT图像。

具体的，本实施例例如对第一训练图像中各个子椎体进行椎体骨质疏松骨折特征标注，也即对完整的胸腹CT图像进行椎体骨质疏松骨折标注，从而得到的多个带有椎体骨质疏松骨折标注的第一训练图像。本实施例按照第二训练图像内各个训练子椎体的掩码标注图像裁剪第一训练图像，得到仅含有单个子椎体的掩码图像，然后将存在子椎体特征区域的像素点掩码值保持原有掩码值，椎体背景设置固定值，从而得到各个训练子椎体的骨折标注图像，作为第三训练图像，用于后续骨折分类模型训练。

具体的，将多个第三训练图像依次输入到骨折分类模型进行训练，可以得到各个第三训练图像所对应的椎体骨质疏松骨折分值的预测结果，通过将预测结果与真实人为预先标注的第三训练图像上的标注进行比对，来调整骨折分类模型的参数，经过多次迭代直至损失函数值收敛，从而得到成熟的骨折分类模型。

也即，训练过程为对胸腹CT数据中各椎体是否存在椎体骨质疏松骨折进行有无标注，制作椎体骨质疏松骨折分类模块的训练数据；依据椎体分割模块结果对输入图像进行重新裁剪及mask融合预处理，得到各椎体子块及其类别，并结合训练数据中各椎体骨质疏松骨折分类标注进行分类模型训练数据及标注预处理；搭建用于椎体骨质疏松骨折分类的深度学习模型，该深度学习模型可以是3D-ResNet，3D-EfficientNet等分类模型；模型的输入为经骨窗预处理的单子椎体图像块，模型输出为该椎体有无椎体骨质疏松的预测概率；经损失函数计算模型预测结果与标注中有无骨折之间的差异，并结合优化函数多次迭代收敛得到可用于椎体骨质疏松骨折的分类模型及参数。根据分类模型输出及各椎体命名可以得到该输出CT影像是否存在椎体骨质疏松骨折及其位置。

因为有椎体骨质疏松骨折特征的图像数据相对正常数据少，且在一张CT图像中发生椎体骨质疏松骨折的椎体数量也相对比正常椎体数量少，在训练过程中会造成严重的数据不平衡，经过单个椎体裁剪可以根据椎体骨质疏松骨折发生情况进行数据扩充或调节，可以直接从数据源头解决数据的类不平衡问题，使得模型更容易收敛且分类结果更加准确；相对于直接对整张CT图像进行椎体骨质疏松骨折检测很容易出现假阳性且无法直接得到骨折定位信息的方法，本实施例可以很好的避免椎体骨质疏松骨折假阳性问题，且可以根据椎体命名直接得到骨折的定位信息。

实施例三

图3是本公开实施例提供的一种基于CT图像的处理装置的结构示意图，该装置具体包括：

获取模块310，用于将经过预处理的待处理图像进行分割处理，确定所述待处理图像内各个子椎体精细图像及其类别；

骨折确定模块320，用于将所述各个子椎体精细图像输入骨折分类模型，得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别；

骨密度确定模块330，用于通过所述待处理图像获取与其对应的待处理骨密度图像，并通过所述待处理骨密度图像确定所述各个子椎体骨松质密度图像的骨质状态。

在一可实施方式中，获取模块310具体用于：将经过预处理的待处理图像输入椎体检测与分类模型，标记所述待处理图像中各个子椎体的检测框及其类别；将所述待处理图像内各个子椎体的检测框扩展预设尺寸，进行裁剪，得到各个子椎体图像及其类别；将所述各个子椎体图像输入椎体分割模型，得到所述各个子椎体掩码图像及其类别；根据所述各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到各个子椎体精细图像及其类别。

在一可实施方式中，骨密度确定模块330，具体用于：通过能谱成像技术，得到与所述待处理图像相对应的待处理骨密度图像；根据所述各个子椎体掩码图像及其类别，裁剪所述待处理骨密度图像，得到各个子椎体骨密度图像及其类别；通过形态腐蚀法腐蚀所述各个子椎体骨密度图像内的子椎体骨皮质，得到各个子椎体骨松质骨密度图像；通过计算所述各个子椎体骨松质的骨密度图像内的平均值得到骨密度值，并根据预设骨质状态参考值确定所述各个子椎体骨松质密度图像的骨质状态。

在一可实施方式中，还包括：风险提示模块，用于在得到所述各个子椎体精细图像内各个子椎体的骨折分值及其类别之后，根据所述各个子椎体掩码图像确定各个子椎体的椎体体积与椎体高度；以及，在冠状位方向与矢状位方向上，分别根据各个子椎体掩码图像内各个子椎体相对端面中的最远端点距离之比以及相应的预设参考阈值，确定所述各个子椎体掩码图像中各个子椎体的骨折风险提示信息。

在一可实施方式中，获取模块310，具体用于：根据所述各个子椎体掩码图像裁剪与其对应的各个子椎体图像，得到与所述各个子椎体掩码图像外表面尺寸相同的各个子椎体图像块及其类别；将所述各个子椎体图像块的椎体背景设置预设掩码值，得到所述各个子椎体精细图像及其类别。

在一可实施方式中，还包括：训练模块，用于：在将经过预处理的待处理图像输入椎体检测与分类模型之前，预设简化类别，标记第一训练图像中的胸腹部椎体；将标记后的第一训练图像进行多样化预处理，并输入所述椎体检测与分类模型进行训练，直至所述椎体检测与分类模型的损失函数收敛，得到成熟的椎体检测与分类模型，并输出所述第一训练图像中各个子椎体的检测框及其简化类别；根据椎体位置特点，将所述第一训练图像中各个子椎体进行命名，得到所述各个子椎体的类别，并作为所述椎体检测与分类模型的结果进行输出。

在一可实施方式中，还包括：训练模块，还用于：在作为所述椎体检测与分类模型的结果之后，对所述第一训练图像内的各个子椎体进行掩码标注，并按照所述第一训练图像中各个子椎体的检测框进行裁剪，得到各个训练子椎体的掩码标注图像，作为第二训练图像；将第二训练图像输入所述椎体分割模型进行训练，直至所述椎体分割模型的损失函数收敛，得到成熟的椎体分割模型。

在一可实施方式中，还包括：训练模块，还用于：在得到成熟的椎体分割模型之后，对所述第一训练图像内的各个子椎体是否具有骨质疏松骨折特征进行标注，并按照所述第二训练图像内各个训练子椎体的掩码标注图像进行裁剪，在得到的各个子椎体训练图像块的椎体背景设置预设掩码值，得到各个训练子椎体的骨折标注图像，作为第三训练图像；将第三训练图像输入所述骨折分类模型进行训练，直至所述骨折分类模型的损失函数收敛，得到成熟的骨折分类模型。

根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。

图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如一种基于CT图像的处理方法。例如，在一些实施例中，一种基于CT图像的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的一种基于CT图像的处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种基于CT图像的处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。