一种基于高光谱图像的良恶性肿瘤识别系统

技术领域

本发明属于医学图像处理技术领域，尤其涉及一种基于高光谱图像的良恶性肿瘤识别系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成已经成为本领域一般技术人员所公知的现有技术。

肿瘤的良恶性检测的金标准是病理检查，通过显微镜下观察或使用免疫组织化学染色检查切除的小块肿瘤组织。通常情况下，恶性肿瘤、良性肿瘤与人体正常细胞之间的边缘特征和形态特征是判断肿瘤良恶性的关键。首先根据肿瘤的形态，一般有毛刺，表面不平的恶性程度较高，良性肿瘤都呈现出了圆形、椭圆形状态；其次是与周围组织的关系，良性肿瘤表面有包膜分布，所以其和周围组织的边界相当清晰，恶性肿瘤却不同，由于癌细胞增殖速度非常快，在体内肆意增长，其表面又没有包膜分布，所以恶性肿瘤的形态多不规则、与周围边界不清晰；最后看肿瘤是否发生转移和并发症状，良性肿瘤因为有包膜不易发生浸润转移。

肿瘤良恶性检测的病理活检通常需要三天时间才能出结果，时间较长，而现有基于肿瘤边缘的良恶性识别方法，在边缘提取的过程中容易发生特征丢失的问题，因而只能识别出表现明显时的恶性肿瘤，当肿瘤的生存情况介于良恶性之间时，其识别的准确率相对较低。

发明内容

为了解决上述问题，本发明提供一种基于高光谱图像的良恶性肿瘤识别系统，通过对高光图像进行锐化，以及不同频带特征的融合处理，以提取出更加丰富的肿瘤边缘信息，加强对于恶性肿瘤不明显情况下的肿瘤识别性能。

为了实现上述目的，本发明主要包括以下内容：

本发明实施例提供了一种基于高光谱图像的良恶性肿瘤识别系统，包括：

特征提取模块，用于对获取的高光谱图像进行锐化处理，提取经锐化处理后高光谱图像的边缘特征图；

特征融合模块，用于利用拉普拉斯金字塔图像融合算法对所述高光谱图像和边缘特征图进行不同频带特征的融合，得到肿瘤高光谱特征增强图；

识别模块，用于将所述肿瘤高光谱特征增强图输入至预先训练的良恶性肿瘤识别模型中，输出得到肿瘤边界特征，根据所述肿瘤边界特征确定高光谱图像的肿瘤类别，所述肿瘤类别包括恶性肿瘤和良性肿瘤。

在一种可能的实施方式中，所述特征提取模块具体用于：利用高通滤波器提取出所述高光谱图像的高频部分特征，根据所述高频部分特征生成边缘特征图；所述高频部分特征包括肿瘤的边缘特征和形态特征。

在一种可能的实施方式中，采用二阶巴特沃斯高通滤波器对所述高光谱图像进行锐化处理。

在一种可能的实施方式中，所述特征融合模块具体用于：

分别构建高光谱图像和边缘特征图的拉普拉斯金字塔，所述拉普拉斯金字塔具有预设的层数，每一层的图像是前一层图像经过高斯模糊下采样的图像；

针对所述拉普拉斯金字塔的每一层，采用预设的融合公式对高光谱图像和边缘特征图像进行融合；

利用融合后的拉普拉斯金字塔重建输出肿瘤高光谱特征增强图。

在一种可能的实施方式中，所述融合公式包括取大运算、取小运算、求取平均值、区域加权。

在一种可能的实施方式中，对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下使用内插的方法进行图像重建，输出得到肿瘤高光谱特征增强图。

在一种可能的实施方式中，基于残差注意力网络构建所述良恶性肿瘤识别模型；

其中，残差注意力网络由多层注意力模块堆叠而成，每个注意力模块包括：掩膜分支和主干分支；主干分支进行特征处理，得到特征图；掩膜分支使用自下而上、自上而下注意力相结合的方式，学习得到一个与主干输出大小相同的的掩膜，用于选择特征图的特征。

在一种可能的实施方式中，利用带有标签的肿瘤高光谱特征增强图样本对所构建的良恶性肿瘤识别模型进行训练，调整掩膜分支和主干分支的相关参数，得到训练好的良恶性肿瘤识别模型。

以上一个或多个技术方案存在以下有益效果：

(1)本发明提供了一种基于高光谱图像的良恶性肿瘤识别系统，包括特征提取模块、特征融合模块和识别模块，通过对高光谱图像进行锐化处理得到边缘特征图，并对边缘特征图和高光谱图像的不同频带特征进行融合，可以避免特征提取过程中特征丢失的问题，提取出更加丰富的肿瘤边缘信息。进而，根据融合后的肿瘤高光谱特征增强图识别肿瘤类别，能够加强对于恶性肿瘤不明显情况下的肿瘤识别性能，提高良恶性肿瘤识别的准确率。

(2)相较于传统的肿瘤良恶性鉴别金标准病理检测方法，该系统的识别速度快，并且在识别过程中不需要相关的化学反应物，在一定程度上能够节约成本，提高良恶性肿瘤的识别效率。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例所提供的基于高光谱图像的良恶性肿瘤识别系统的结构示意图之一；

图2是本发明实施例所提供的构建拉普拉斯金字塔的流程示意图；

图3是本发明实施例所提供的基于高光谱图像的良恶性肿瘤识别系统的结构示意图之二。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本发明实施例提供一种基于高光谱图像的良恶性肿瘤识别系统，该系统包括：

特征提取模块110，用于对获取的高光谱图像进行锐化处理，提取经锐化处理后高光谱图像的边缘特征图；

特征融合模块120，用于利用拉普拉斯金字塔图像融合算法对所述高光谱图像和边缘特征图进行不同频带特征的融合，得到肿瘤高光谱特征增强图；

识别模块130，用于将所述肿瘤高光谱特征增强图输入至预先训练的良恶性肿瘤识别模型中，输出得到肿瘤边界特征，根据所述肿瘤边界特征确定高光谱图像的肿瘤类别，所述肿瘤类别包括恶性肿瘤和良性肿瘤。

在具体实施中，图像锐化处理的目的是为了使图像的边缘、轮廓线以及图像的细节变得清晰，图像边缘信息主要集中在图像高频部分，所以先对扫描形成的肿瘤高光谱图像进行锐化处理，提取经锐化处理后高光谱图像的边缘特征图。

作为一可选实施方式，所述特征提取模块具体用于：利用高通滤波器提取出所述高光谱图像的高频部分特征，根据所述高频部分特征生成边缘特征图；所述高频部分特征包括肿瘤的边缘特征和形态特征。在实际应用中，可以选用二阶巴特沃斯高通滤波器对高光谱图像进行特征提取，其通频带内外都有平稳的幅频特性，可以生成以边缘特征和形态特征为主的特征提取图。这样，可以加强肿瘤边界和形态特征，为了良恶性肿瘤识别模型能够更好的学习肿瘤特征。

边缘特征图实现了图像的锐化、突出图像的边缘细节功能，但是图像的低频部分会有所丢失，这可能会丢失相关的必要的信息。因此，利用拉普拉斯金字塔图像融合算法对所述高光谱图像和边缘特征图进行不同频带特征的融合，用以补充原图像中所携带的相关特征。边缘特征信息的完整可以保证良恶性肿瘤识别模型对于相关特征的学习率。

具体地，所述特征融合模块具体用于：分别构建高光谱图像和边缘特征图的拉普拉斯金字塔，所述拉普拉斯金字塔具有预设的层数，每一层的图像是前一层图像经过高斯模糊下采样的图像；针对所述拉普拉斯金字塔的每一层，采用预设的融合公式对高光谱图像和边缘特征图像进行融合；利用融合后的拉普拉斯金字塔重建输出肿瘤高光谱特征增强图。

在具体实施中，首先，对于要融合的高光谱图像和边缘特征图像，构建拉普拉斯金字塔，如图2所示，G

因为边缘特征图与高光谱图像的大小相同，所以融合区域选择高光谱图像的全部区域。针对拉普拉斯金字塔的每一层，采用预设的融合公式对高光谱图像和边缘特征图像进行融合；可选的，融合公式包括取大运算、取小运算、求取平均值、区域加权等。对融合后的拉普拉斯金字塔，从其顶层开始逐层从上至下进行高斯卷积滤波，并将得到的每一层图像对与拉普拉斯金字塔存放的残差图进行对应相加，从而恢复其对应的高斯金字塔，并最终可得到原始图像G

本发明实施例通过拉普拉斯金字塔图像融合算法对边缘特征图和原始的肿瘤高光谱图像进行融合，因为拉普拉斯金字塔图像融合算法先将图像分别分解到不同的空间频带上，之后的融合过程是在各空间频率层上分别进行的，结合各个维度的特征，增强特征表达力，这种融合方法更好的保留了融合图像的各频带特征，最终形成肿瘤高光谱特征增强图。

作为一可选实施方式，在识别模块中，基于残差注意力网络构建所述良恶性肿瘤识别模型；其中，残差注意力网络由多层注意力模块堆叠而成，每个注意力模块包括：掩膜分支和主干分支；主干分支进行特征处理，得到特征图；掩膜分支使用自下而上、自上而下注意力相结合的方式，学习得到一个与主干输出大小相同的的掩膜，用于选择特征图的特征。

在具体实施中，叠加后每个注意力模块会生成注意力感知功能，注意力感知功能会自适应地变化，其自下而上、自上而下的前馈结构用于将前馈展开，并将反馈注意过程反馈到单个前馈过程中，可延伸数百层，使此网络结构可以提取深度特征。

每个注意力模块分为两部分：掩膜(mask)分支和主干(trunk)分支。

主干分支进行特征处理，在本发明实施例中，主干分支的基本单元为预激活的残差学习单元、生成对抗网络(Generative Adversarial Networks)和inception模块。

定义trunk分支的输入为x，输出为T(x)，mask分支使用自下而上、自上而下的结构来学习与主干输出大小相同的mask，记为M(x)，这是对T(x)的软权重(soft weight)。自下而上、自上而下的结构模仿了快速前馈和反馈注意力的过程。输出的mask被用来控制trunk分支的控制门，这和Highway Network有些类似，该注意力模块的输出特征图H为：

H

其中，i是空间位置，c是通道的下标，整个架构端到端训练。最终基于肿瘤高光谱特征增强图对良恶性肿瘤识别模型进行预训练,得到预训练相关结果。注意力模块能够以端到端的训练方式与最新的深度网络结构相结合，其网络深度可以轻松扩展到数百层，可利用其特性进一步提取肿瘤边界特征。

作为一可选实施方式，利用带有标签的肿瘤高光谱特征增强图样本对所构建的良恶性肿瘤识别模型进行训练，调整掩膜分支和主干分支的相关参数，得到训练好的良恶性肿瘤识别模型。

在具体实施中，良恶性肿瘤识别模型的训练过程首先是数据准备，设置合理的标签体系，标注全面、均衡的数据，其次为整理数据集，并对样本进行划分，生成训练集和测试集，最后生成相应格式并验证。

通过预训练的过程及得到的结果对良恶性肿瘤识别模型中的参数进行调整，设置合理的初始化权重w和偏置b，并逐步优化学习率，如图3所示，识别模块可以分为肿瘤高光谱图像良恶性鉴别预训练模块和肿瘤高光谱图像良恶性鉴别参数调整模块，模型参数调整模块采用上述步骤中基于肿瘤高光谱特征增强图的预训练模型，同时通过预训练模型结果对模型mask分支的参数、trunk分支的参数等相关参数进行调整，以提高模型性能、抗噪性，得到更为准确的预测结果，加强对于恶性肿瘤不明显情况的判定，最后，根据肿瘤边界特征确定高光谱图像的肿瘤类别，所述肿瘤类别包括恶性肿瘤和良性肿瘤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。