多期相病灶分类方法、装置、设备及可读存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种多期相病灶分类方法、装置、设备及计算机可读存储介质。

背景技术

在全球范围内，各类疾病对人类健康极具威胁性。通常情况下，癌症患者需要化疗才能缓解病情，也就是说，患者可能会因为误诊或诊断不及时而遭受难以想象的痛苦，因此，早期诊断可以帮助医生及时的制定治疗方案，从而显著提升癌症患者的存活率。然而，临床诊断通常都是由放射科医师人工完成，所以，即便是经验丰富的放射科医师也可能会因长期阅片而造成误诊，因此，设计高效且准确的病灶自动化分类系统可以帮助医生快速的完成客观且精确的病灶诊断，从而对后续的治疗阶段产生显著的积极影响。

在医学图像中，不同部位、不同类型的病灶都具有较复杂的特征和多样性，所以精确分类是一个极具挑战性的任务。具体来说，在医学图像中，不同病灶可能具有不同的形状、纹理、亮度和尺寸等，同时，医学影像对不同部位的成像方式可能也存在不同，因此，准确地诊断不同部位的病灶并非易事。

随着机器学习技术的不断发展，开发全自动的病灶分类系统变得不再困难。目前，可以利用卷积神经网络(Convolutional Neural Network，CNN)等深度学习技术实现自动提取输入病灶图像中的特征并进行分类。例如，将3D形式的电子计算机断层扫描(ComputedTomography，CT)图像切片为多个2D图像,并以此作为输入数据，进而通过DenseNet来实现病灶分类；同样的，将3D形式的磁共振成像(Magnetic Resonance Imaging，MRI)图像切片化为2D图像，并通过改进的ResNet进行病灶分类；利用VGGNet提取各个期相的特征，再将多期相特征序列化并使用循环神经网络(Recurrent Neural Network，RNN)进一步挖掘多期相信息，从而实现基于多期相CECT图像的病灶分类。

然而，上述方法存在以下不足：

1)、对于大部分病灶而言(包括但不限于肝脏病灶、脑部病灶和肾部病灶)，利用多期相图像进行诊断可以产生更加精确的诊断结果。然而，现有病灶诊断方法(比如上述举例中的前两个方法)多是基于单期相图像，从而导致难以为最终诊断提供更具判别性的特征。

2)、现有多期相图像分类方法(比如上述举例中的第三个方法)对多期相图像的利用方式较为单一，并不能挖掘多期相在不同阶段融合的优势。

3)、上述方法只能在特定条件使用(只能适用于某种数据类型、病灶类型和病灶出现的部位)，并不是一种通用的多期相病灶分类方法。

发明内容

本申请提供了一种多期相病灶分类方法、装置、设备及计算机可读存储介质，采用的是一种通用的基于多期相图像的病灶分类方式，可以灵活地处理不同模态的多期相输入数据、应用于不同部位的病灶诊断中、诊断不同类型的病灶。

第一方面，本申请提供了一种多期相病灶分类方法，包括：

从多期相扫描图像中提取病灶区域，得到多期相病灶图像；

对于所述多期相病灶图像中的各个期相的病灶图像，分别使用至少一个独立特征提取模块对每个病灶图像进行特征提取，或使用一个共享特征提取模块对全部病灶图像进行特征提取，或使用至少两个共享特征提取模块分别对部分病灶图像进行特征提取，基于提取到的多期相特征对所述多期相扫描图像进行病灶分类；

或者，将所述多期相病灶图像中的各个期相的病灶图像进行图像融合，得到融合图像，基于所述融合图像对所述多期相扫描图像进行病灶分类；

或者，若存在至少两种病灶分类方式，则将采用每一种病灶分类方式得到的所述多期相病灶图像的特征，进行特征融合，基于融合特征对所述多期相扫描图像进行病灶分类。

可选的，所述得到多期相病灶图像之后，还包括：

根据所述多期相病灶图像的类型，对所述多期相病灶图像进行预处理，所述预处理包括图像去噪、图像增强、数据增强中的至少一种处理操作。

可选的，所述基于提取到的多期相特征对所述多期相扫描图像进行病灶分类，包括：

对提取到的多期相特征进行特征融合；

基于融合特征对所述多期相扫描图像进行病灶分类。

可选的，所述基于提取到的多期相特征对所述多期相扫描图像进行病灶分类，包括：

对提取到的多期相特征进行特征融合；

对融合特征进行特征提炼和增强；

基于提炼和增强的特征对所述多期相扫描图像进行病灶分类。

可选的，基于所述融合图像对所述多期相扫描图像进行病灶分类，包括：

对所述融合图像进行特征提取；

基于提取到的图像特征对所述多期相扫描图像进行病灶分类。

可选的，所述方法还包括：

对采用每一种病灶分类方式得到的病灶分类结果进行分类预测；

根据分类预测结果，确定所述多期相扫描图像的最终分类结果。

第二方面，本申请提供了一种多期相病灶分类装置，包括：

病灶区域提取单元，用于从多期相扫描图像中提取病灶区域，得到多期相病灶图像；

多期相病灶分类单元，用于对于所述多期相病灶图像中的各个期相的病灶图像，分别使用至少一个独立特征提取模块对每个病灶图像进行特征提取，或使用一个共享特征提取模块对全部病灶图像进行特征提取，或使用至少两个共享特征提取模块分别对部分病灶图像进行特征提取，基于提取到的多期相特征对所述多期相扫描图像进行病灶分类；或者，将所述多期相病灶图像中的各个期相的病灶图像进行图像融合，得到融合图像，基于所述融合图像对所述多期相扫描图像进行病灶分类；或者，若存在至少两种病灶分类方式，则将采用每一种病灶分类方式得到的所述多期相病灶图像的特征，进行特征融合，基于融合特征对所述多期相扫描图像进行病灶分类。

可选的，所述装置还包括：

图像预处理单元，用于在所述病灶区域提取单元在得到多期相病灶图像之后，根据所述多期相病灶图像的类型，对所述多期相病灶图像进行预处理，所述预处理包括图像去噪、图像增强、数据增强中的至少一种处理操作。

可选的，所述多期相病灶分类单元在基于提取到的多期相特征对所述多期相扫描图像进行病灶分类时，具体用于：对提取到的多期相特征进行特征融合；基于融合特征对所述多期相扫描图像进行病灶分类。

可选的，所述多期相病灶分类单元在基于提取到的多期相特征对所述多期相扫描图像进行病灶分类时，具体用于：对提取到的多期相特征进行特征融合；对融合特征进行特征提炼和增强；基于提炼和增强的特征对所述多期相扫描图像进行病灶分类。

可选的，所述多期相病灶分类单元在基于所述融合图像对所述多期相扫描图像进行病灶分类时，具体用于：对所述融合图像进行特征提取；基于提取到的图像特征对所述多期相扫描图像进行病灶分类。

可选的，所述装置还包括：

分类结果后处理单元，用于对采用每一种病灶分类方式得到的病灶分类结果进行分类预测；根据分类预测结果，确定所述多期相扫描图像的最终分类结果。

第三方面，本申请提供了一种电子设备，包括：处理器、存储器；

所述存储器，用于存储计算机程序；

所述处理器，用于通过调用所述计算机程序，执行上述多期相病灶分类方法。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述多期相病灶分类方法。

由以上本申请提供的技术方案可见，从多期相扫描图像中提取病灶区域，得到多期相病灶图像；对于多期相病灶图像中的各个期相的病灶图像，使用独立特征提取模块或者共享特征提取模块对各个病灶图像进行特征提取，基于提取到的多期相特征对多期相扫描图像进行病灶分类；或者，将多期相病灶图像中的各个期相的病灶图像进行图像融合，得到融合图像，基于融合图像对多期相扫描图像进行病灶分类；或者，若存在至少两种病灶分类方式，则将采用每一种病灶分类方式得到的多期相病灶图像的特征，进行特征融合，基于融合特征对多期相扫描图像进行病灶分类。本申请采用的是一种通用的基于多期相图像的病灶分类框架，可以灵活地处理不同模态的多期相输入数据、灵活地应用于不同部位的病灶诊断中、灵活地诊断不同类型的病灶。

附图说明

图1为本申请示出的图像处理流程示意图；

图2为本申请示出的一种多期相病灶分类方法的流程示意图；

图3为本申请示出的采用后期融合策略的病灶分类示意图；

图4为本申请示出的采用中期融合策略的病灶分类示意图；

图5为本申请示出的采用前期融合策略的病灶分类示意图；

图6为本申请示出的一种多期相病灶分类装置的组成示意图；

图7为本申请示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为便于理解本申请实施例，现对多相期扫描进行介绍：

多相期扫描是常见的医学影像方法。以CT成像为例，通过注射造影剂，扫描可以获得多个相期下的CT图像序列，从而得到肝脏动脉、静脉血管的解剖信息。在基于多相期增强CT影像的肝脏计算机辅助诊断、治疗和手术规划系统中，从复杂的组织结构中单独提取血管有重要的意义。

需要说明的是，在临床诊断中，多期相检查可以提供更加精确的诊断结果。然而，现有的大部分方法仅使用了单期相信息进行诊断，而基于多期相的方法对多期相信息的利用较为单一。此外，现有方法并不是一种通用型的方法，其仅适用于某一特定的数据或者病灶类型。

因此，本申请实施例提出了一种多期相病灶分类方法，具体是一种通用的基于多期相图像的病灶分类方法。在本方法中，可以灵活地处理不同模态的多期相输入数据，包括但不限于CT图像和MRI图像，成像设备包括不限于电脑、手机、平板、CT仪器、核磁仪器、X光仪器等；可以灵活地应用于不同部位的病灶诊断中，包括但不限于多期相肝脏图像、多期相心脏图像、多期相肾脏图像和多期相脑图像等；可以灵活地诊断不同类型的病灶，包括但不限于脑梗塞、脑出血、肺结核、肾结石、肾囊肿、肝脓肿，肝转移瘤等。

疾病的早期诊断对后续治疗方案的制定有着极其重要的意义，由于不同部位病灶的形状和纹理等属性均存在多样性，因此，使用多期相图像提供更加丰富的判别性特征，可以实现更精准的病灶分类。基于此，本申请实施例提出了一种通用的多期相医学图像的病灶分类方法，它可以适用于任意模态的多期相扫描图像、可以诊断任意部位的疾病、可以诊断不同类型的病灶。

参见图1所示的图像处理流程示意图，包含输入多期相医学图像、病灶区域提取、数据预处理、多期相特征提取、输出分类结果、分类结果后处理这6个主要过程。

下面结合图1对本申请实施例提出的多期相病灶分类方法进行具体介绍。

参见图2，为本申请实施例提供的一种多期相病灶分类方法的流程示意图，该方法包括以下步骤S201-S204：

S201：从多期相扫描图像中提取病灶区域，得到多期相病灶图像。

在本申请实施例中，首先，输入多期相医学图像(如图1所示)。具体来讲，用于实现病灶分类的设备，可以接收任意模态的多期相扫描图像，包括但不限于CT和MRI等；成像设备包括但不限于电脑、手机、平板、CT仪器、核磁仪器、X光仪器等；同时，可以对不同部位的病灶进行诊断，包括但不限于肝脏、心脏、脑、肾；此外，可以诊断不同类型的病灶，包括但不限于脑梗塞、脑出血，肺结核、肾结石、肾囊肿、肝脓肿，肝转移瘤等。

然后，进行病灶区域提取(如图1所示)。具体来讲，可以将原始的多期相扫描图像输入到一个病灶区域提取模块中，该模块可以从多期相扫描图像中检测出病灶区域，并将病灶区域从多期相扫描图像中提取出来，其目的是去除图像中无用的背景信息，从而得到仅有病灶的多期相图像，为便于描述，这里将该图像定义为多期相病灶图像。也就是说，从多期相扫描图像中裁剪出病灶区域，以去除图像中大部分无用的周遭腺体信息，而保留有用的病灶信息，进而确保后续特征提取部分可以更容易提取到有效信息。

其中，病灶区域提取模块可以是任意深度的学习模型。例如，目标检测模型：YOLO、FasterR-CNN和DETR等；或者是深度语义分割模型：U-Net、FCN和SegFormer等；也可以是传统的目标检测或者语义分割等特征提取算法，包括但不限于方向梯度直方图、大津阈值、分水岭算法和K-means等；此外，还可以通过专家标注来手动裁剪病灶区域。例如，通过目标检测深度学习模型Faster-RCNN预测得到病灶区域检测框，进而基于检测框提取出病灶区域。

进一步地，在本申请实施例的一种实现方式中，当得到多期相病灶图像之后，还可以包括：根据多期相病灶图像的类型，对多期相病灶图像进行预处理，该预处理包括图像去噪、图像增强、数据增强中的至少一种处理操作。其中，预处理操作需要根据不同的输入图像类型使用不同的预处理策略，例如，当输入图像类型为CT图像与MR图像时，预处理操作可以是：调整窗宽窗位，体素重采样，图像滤波，亮度归一化等。

在本实现方式中，当进行病灶区域提取之后，进行数据预处理(如图1所示)。具体来讲，在获取到多期相病灶图像后，通过一系列数据预处理操作来统一输入数据的格式、属性，降低输入数据的噪声，增强输入数据的信息，扩充输入数据的多样性。其中，预处理操作包括但不限于图像去噪(例如，中值滤波、均值滤波、小波去噪等)、图像增强(例如，直方图均衡化、灰度拉升、log变换、伽马变换等)、数据增强(例如，体素重采样、图像旋转、翻转、裁剪、图像形变等)。

接下来，可以基于多期相病灶图像，采用步骤S202-S204中的任一种方式实现病灶分类或者使用其任意组合方式实现病灶分类，如图1所示的多期相特征提取和输出分类结果。

S202：对于多期相病灶图像中的各个期相的病灶图像，分别使用至少一个独立特征提取模块对每个病灶图像进行特征提取，或使用一个共享特征提取模块对全部病灶图像进行特征提取，或使用至少两个共享特征提取模块分别对部分病灶图像进行特征提取，基于提取到的多期相特征对多期相扫描图像进行病灶分类。

在本申请实施例中，对于给定任意数量N(N≥2)的期相输入，首先，通过多个独立特征提取模块对多期相病灶图像的特征进行提取，此处独立特征提取模块的数量可根据计算资源任意选择，例如，对于N个期相，每个输入期相由2个独立特征提取模块进行特征提取，因此，共有2N个独立特征提取模块，即，每个期相对应一个或多个独立特征提取模块，独立特征提取模块的数量大于或等于期相数量。

当然，也可以使用共享特征提取模块来提取所有输入期相的特征或者其中部分期相的特征。具体地，可仅使用一个共享特征提取模块对全部期相的病灶图像进行特征提取；或者，使用两个或两个以上的共享特征提取模块分别对部分期相的病灶图像进行特征提取，即，由每个共享特征提取模块对两个或两个以上的期相病灶图像进行特征提取，每个共享特征提取模块可以对应相同或不同数量的期相病灶图像，共享特征提取模块的数量小于期相数量。例如，对于N个期相，每两个期相共享一个特征提取模块，因此，共有N/2个特征提取模块。

其中，特征提取模块的使用包括但不限于深度学习神经网络，例如CNN和Transformer，和传统的特征提取算法，选择性搜索、脉冲耦合神经网络和尺度不变特征变换等。

在通过多个并行的特征提取模块进行特征提取后，每个期相的病灶图像会输出一个对应的特征数据，从而得到多期相特征，然后，基于提取到的多期相特征对多期相扫描图像进行病灶分类。

需要说明的是，由于本申请实施例是针对提取到的多期相特征进行融合，因此，它是一种特征层面的融合策略，旨在充分利用多期相的信息，因此，每个期相都有一个或多个“专属的”特征提取模块，从而能够从每个期相中获取更具判别性的特征。

在本申请实施例的一种实现方式中，S202中的“基于提取到的多期相特征对多期相扫描图像进行病灶分类”，可以包括：对提取到的多期相特征进行特征融合；基于融合特征对多期相扫描图像进行病灶分类。

在本实现方式中，对于多期相病灶图像，可以对其采用“后期融合策略”，即，首先使用特征提取模块提取多期相信息，然后使用多期相融合模块提取到的多期相特征进行融合，最后再使用分类模块基于融合特征进行病灶分类。

具体来讲，如图3所示的采用后期融合策略的病灶分类示意图，通过一个多期相融合模块将不同期相的特征进行整合，从而提炼出不同期相中的用于实现病灶分类的有效信息；其中，多期相图像的融合策略可以是深度学习融合方法，包括但不限于基于CNN和Transformer的图像融合算法，也可以是传统的图像融合方法，包括但不限于形态过滤器、小波变换，多分辨率分析等；此外，还可以直接将图像进行相加、通道维度拼接，空间维度拼接亦可对多期相信息进行融合。完成多期相特征融合后，使用融合后的多期相特征进行最终的病灶分类，分类模块包括但不限于支持向量机、多层感知机、随机森林和逻辑回归等进行最终的病灶分类。

在本申请实施例的另一种实现方式中，S202中的“基于提取到的多期相特征对多期相扫描图像进行病灶分类”，可以包括：对提取到的多期相特征进行特征融合；对融合特征进行特征提炼和增强；基于提炼和增强的特征对多期相扫描图像进行病灶分类。

在本实现方式中，对于多期相病灶图像，可以对其采用“中期融合策略”，即，首先使用特征提取模块提取多期相信息，然后使用多期相融合模块将提取到的多期相特征进行融合，进而使用特征提取模块对融合特征进行提炼和增强，最后再使用分类模块基于提炼和增强的特征进行病灶分类。

具体来讲，如图4所示的采用中期融合策略的病灶分类示意图，通过一个多期相融合模块将不同期相的特征进行整合，从而提炼出不同期相中的用于实现病灶分类的有效信息；其中，多期相图像的融合策略可以是深度学习融合方法，包括但不限于基于CNN和Transformer的图像融合算法，也可以是传统的图像融合方法，包括但不限于形态过滤器、小波变换，多分辨率分析等；此外，还可以直接将图像进行相加、通道维度拼接，空间维度拼接亦可对多期相信息进行融合。完成多期相特征融合后，使用特征提取模块对融合后的多期相特征做进一步特征提炼，从而获得信息更丰富的多期相特征，并使用此特征来进行最终的病灶分类，分类模块包括但不限于支持向量机、多层感知机、随机森林和逻辑回归等进行最终的病灶分类。

其中，多期相融合模块之后的特征提取模块的使用包括但不限于深度学习神经网络，例如CNN和Transformer，和传统的特征提取算法，选择性搜索、脉冲耦合神经网络和尺度不变特征变换等。

S203：将多期相病灶图像中的各个期相的病灶图像进行图像融合，得到融合图像，基于融合图像对多期相扫描图像进行病灶分类。

在本申请实施例中，对于给定任意数量N的期相输入，将各个期相的病灶图像进行融合以整合为一个输入，该融合策略可以视为是一种图像层面的融合策略，相较于特征层面的融合策略，该融合策略无需对每个期相单独设置特征提取模块。在通过图像层面上的融合操作后，得到一个融合图像，然后，基于融合图像对多期相扫描图像进行病灶分类。

在本申请实施例的另一种实现方式中，S203中的“基于融合图像对多期相扫描图像进行病灶分类”，可以包括：对融合图像进行特征提取；基于提取到的图像特征对多期相扫描图像进行病灶分类。

在本实现方式中，对于多期相病灶图像，可以对其采用“前期融合策略”，即，首先使用多期相融合模块直接将多期相病灶图像融合为单个输入，然后使用特征提取模块提取多期相信息，最后使用分类模块输出分类结果。

如图5所示的采用前期融合策略的病灶分类示意图，其不同于图3和图4所示的特征层面的融合策略。具体来讲，对于给定任意数量N的期相输入，首先利用一个多期相融合模块将多期相病灶图像整合为一个输入，进而由特征提取模块进行处理，无需对每个期相单独设置特征提取模块，只需一个特征提取模块来对融合后的多期相图像进行特征提取；完成特征提取后，通过分类模块进行最终的病灶分类，分类模块包括但不限于支持向量机、多层感知机、随机森林和逻辑回归等进行最终的病灶分类。

其中，多期相融合模块可以采用深度学习融合方法，包括但不限于基于CNN和Transformer的图像融合算法，也可以是传统的图像融合方法，包括但不限于形态过滤器、小波变换，多分辨率分析等；此外，还可以直接将图像进行相加、通道维度拼接，空间维度拼接亦可对多期相信息进行融合；特征提取模块的使用包括但不限于深度学习神经网络，例如CNN和Transformer，和传统的特征提取算法，选择性搜索、脉冲耦合神经网络和尺度不变特征变换等。

S204：若存在至少两种病灶分类方式，则将采用每一种病灶分类方式得到的多期相病灶图像的特征，进行特征融合，基于融合特征对多期相扫描图像进行病灶分类。

在本申请实施例中，若存在至少两种病灶分类方式，比如上述采用后期融合策略的病灶分类方式、采用中期融合策略的病灶分类方式、采用前期融合策略的病灶分类方式，可以将其中两种或三种方式的融合策略进行混合使用，以将采用每一种方式得到的特征进行融合，然后，基于融合特征对多期相扫描图像进行病灶分类。

进一步地，本申请实施例还可以包括：对采用每一种病灶分类方式得到的病灶分类结果进行分类预测；根据分类预测结果，确定多期相扫描图像的最终分类结果。

具体来讲，若存在至少两种病灶分类方式，比如上述采用后期融合策略的病灶分类方式、采用中期融合策略的病灶分类方式、采用前期融合策略的病灶分类方式，可以对采用每一分类方式得到的病灶分类结果进行后处理(如图1所示)，通过一系列后处理操作对分类结果进行提炼，从而进一步提升分类精度。其中，后处理方法包括但不限于投票表决法，即，使用多个多期相病灶诊断方式同时进行分类预测，再聚合每个分类器(即分类模块)预测的类别，然后选其中投票最多的类别。交替归一化分类法，即通过使用高置信度样本的预测类分布重新调整预测类概率分布，从而提高困难样本的分类精度。最终分类结果包括但不限于脑梗塞、脑出血，肺结核、肾结石、肾囊肿、肝脓肿、肝转移瘤等。例如，当使用多层感知机进行良、恶性肝脏病灶分类时，多层感知机的输出节点可设置为2，并使用Softmax函数进行归一化，当节点位置为0的输出值较大时，预测结果即为良性病灶，当节点位置为1的输出值较大时，预测结果即为恶性病灶。

此外，为了实现病灶分类，本申请实施例可以使用多任务深度学习模型，直接对输入的多期相扫描图像进行预处理，将后续的病灶区域提取过程、多期相特征提取过程和输出分类结果过程整合到一个深度学习框架中，该框架包括但不限于目标检测模型或者实例分割模型，亦或者不同分类、分割和检测模型的组合。例如，使用Mask-RCNN同时实现病灶区域的检测、分割以及分类。此外，还可以使用无监督学习和半监督学习，例如，使用MaskedAutoencoder(MAE)对深度学习模型进行无监督预训练，然后在下游任务使用迁移学习，以提升病灶分类的准确率。

在以上本申请实施例提供的多期相病灶分类方法中，采用的是一种通用的基于多期相图像的病灶分类框架，可以灵活地处理不同模态的多期相输入数据、灵活地应用于不同部位的病灶诊断中、灵活地诊断不同类型的病灶。

参见图6，为本申请示出的一种多期相病灶分类装置的组成示意图，该装置包括：

病灶区域提取单元610，用于从多期相扫描图像中提取病灶区域，得到多期相病灶图像；

多期相病灶分类单元620，用于对于所述多期相病灶图像中的各个期相的病灶图像，分别使用至少一个独立特征提取模块对每个病灶图像进行特征提取，或使用一个共享特征提取模块对全部病灶图像进行特征提取，或使用至少两个共享特征提取模块分别对部分病灶图像进行特征提取，基于提取到的多期相特征对所述多期相扫描图像进行病灶分类；或者，将所述多期相病灶图像中的各个期相的病灶图像进行图像融合，得到融合图像，基于所述融合图像对所述多期相扫描图像进行病灶分类；或者，若存在至少两种病灶分类方式，则将采用每一种病灶分类方式得到的所述多期相病灶图像的特征，进行特征融合，基于融合特征对所述多期相扫描图像进行病灶分类。

在本申请实施例的一种实现方式中，所述装置还包括：

图像预处理单元，用于在所述病灶区域提取单元610在得到多期相病灶图像之后，根据所述多期相病灶图像的类型，对所述多期相病灶图像进行预处理，所述预处理包括图像去噪、图像增强、数据增强中的至少一种处理操作。

在本申请实施例的一种实现方式中，所述多期相病灶分类单元620在基于提取到的多期相特征对所述多期相扫描图像进行病灶分类时，具体用于：对提取到的多期相特征进行特征融合；基于融合特征对所述多期相扫描图像进行病灶分类。

在本申请实施例的一种实现方式中，所述多期相病灶分类单元620在基于提取到的多期相特征对所述多期相扫描图像进行病灶分类时，具体用于：对提取到的多期相特征进行特征融合；对融合特征进行特征提炼和增强；基于提炼和增强特征对所述多期相扫描图像进行病灶分类。

在本申请实施例的一种实现方式中，所述多期相病灶分类单元620在基于所述融合图像对所述多期相扫描图像进行病灶分类时，具体用于：对所述融合图像进行特征提取；基于提取到的图像特征对所述多期相扫描图像进行病灶分类。

在本申请实施例的一种实现方式中，所述装置还包括：

分类结果后处理单元，用于对采用每一种病灶分类方式得到的病灶分类结果进行分类预测；根据分类预测结果，确定所述多期相扫描图像的最终分类结果。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请实施例还提供了一种电子设备，该电子设备的结构示意图如图7所示，该电子设备7000包括至少一个处理器7001、存储器7002和总线7003，至少一个处理器7001均与存储器7002电连接；存储器7002被配置用于存储有至少一个计算机可执行指令，处理器7001被配置用于执行该至少一个计算机可执行指令，从而执行如本申请中任意一个实施例或任意一种可选实施方式提供的任意一种多期相病灶分类方法的步骤。

进一步，处理器7001可以是FPGA(Field－Programmable Gate Array，现场可编程门阵列)或者其它具有逻辑处理能力的器件，如MCU(Microcontroller Unit，微控制单元)、CPU(Central Process Unit，中央处理器)。

应用本申请实施例，采用的是一种通用的基于多期相图像的病灶分类框架，可以灵活地处理不同模态的多期相输入数据、灵活地应用于不同部位的病灶诊断中、灵活地诊断不同类型的病灶。

本申请实施例还提供了另一种计算机可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请中任意一个实施例或任意一种可选实施方式提供的任意一种多期相病灶分类方法的步骤。

本申请实施例提供的计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(RandomAccess Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读存储介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

应用本申请实施例，采用的是一种通用的基于多期相图像的病灶分类框架，可以灵活地处理不同模态的多期相输入数据、灵活地应用于不同部位的病灶诊断中、灵活地诊断不同类型的病灶。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。