一种超声造影图像生成模型的训练方法及图像的生成方法

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种超声造影图像生成模型的训练方法及图像的生成方法。

背景技术

超声(Ultrasound，US)成像是现代医学成像技术的重要组成部分，其中，超声造影(Contrast-Enhanced Ultrasound,CEUS)是近20年来蓬勃发展的超声新技术。CEUS是在常规超声检查的基础上，通过静脉注射超声造影剂，利用血液中造影剂气体微泡来增强组织内微血管的显示，实时动态地观察正常组织和病变组织的血流灌注情况。CEUS提供了不同于其他超声方式的独特信息，并且在诊断许多疾病，尤其是肿瘤方面发挥着越来越重要的作用，具有重要的临床价值。

然而，CEUS也有其局限性。首先，CEUS无法获取电子计算机断层扫描(ComputedTomography，CT)或磁共振成像(Magnetic Resonance Imaging，MRI)的宽幅图像，在观察多个病灶时，需要反复多次注入造影剂；其次，扫查组织本身的声学特性(例如：发生脂肪变、纤维化、钙化等)、造影剂微泡浓度过大等都会造成超声造影的衰减，使图像质量下降；最后，超声造影价格昂贵，比较费时，且对操作者经验有一定依赖性，不利于推广使用。

因此，在现有技术中，传统的超声造影成像方法存在一定的局限性，从而导致获取超声造影图像的成本较高。

发明内容

本申请实施例的目的在于提供一种超声造影图像生成模型的训练方法及图像的生成方法，用以解决现有技术中获取超声造影图像的成本较高的技术问题。

第一方面，本申请实施例提供一种超声造影图像生成模型的训练方法，包括：获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像、超声造影真实图像以及血流样本图像；利用所述训练数据集对所述生成对抗网络进行训练，得到所述训练好的生成对抗网络，并将所述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型；其中，所述生成对抗网络包括生成器以及第一鉴别器，所述生成器用于基于所述灰阶超声样本图像以及所述血流样本图像生成超声造影预测图像，所述第一鉴别器用于鉴别所述超声造影真实图像与所述超声造影预测图像的真伪。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像以及血流样本图像，可以对生成对抗网络中的生成器以及第一鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述超声造影图像生成模型生成超声造影图像，可以降低获取超声造影图像的成本。

在可选的实施方式中，所述利用所述训练数据集对所述生成对抗网络进行训练，得到所述训练好的生成对抗网络，包括：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值；根据所述生成损失值以及所述整图鉴别损失值对所述生成器以及所述第一鉴别器进行优化，得到所述训练好的生成对抗网络。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数以及整图鉴别损失函数，基于上述两个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述超声造影图像生成模型生成超声造影图像，可以降低获取超声造影图像的成本。

在可选的实施方式中，所述训练数据集还包括肿瘤掩膜真实图像；所述生成对抗网络还包括第二鉴别器，所述生成器还用于基于所述灰阶超声样本图像以及所述血流样本图像生成肿瘤掩膜预测图像，所述第二鉴别器用于鉴别所述肿瘤掩膜真实图像与所述肿瘤掩膜预测图像的真伪。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像以及血流样本图像，可以对生成对抗网络中的生成器、第一鉴别器以及第二鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本，还可以提高肿瘤区域造影重建的真实感。

在可选的实施方式中，所述利用所述训练数据集对所述生成对抗网络进行训练，得到所述训练好的生成对抗网络，包括：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像以及所述肿瘤掩膜预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的第一损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值以及所述生成器的第二损失值；将所述肿瘤掩膜真实图像以及所述肿瘤掩膜预测图像输入所述第二鉴别器中，得到对应的第二鉴别结果，并根据所述第二鉴别结果计算所述第二鉴别器的肿瘤区域鉴别损失值以及所述生成器的第三损失值；根据所述生成器的生成损失值、所述整图鉴别损失值以及所述肿瘤区域鉴别损失值对所述生成器、所述第一鉴别器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络；其中，所述生成损失值为所述第一损失值、所述第二损失值以及所述第三损失值的和。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、整图鉴别损失函数以及肿瘤区域鉴别损失函数，基于上述三个损失函数可以训练得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本，还可以提高肿瘤区域造影重建的真实感。

在可选的实施方式中，所述训练数据集还包括良恶性真实信息；所述生成器还用于基于所述肿瘤掩膜真实图像生成良恶性预测信息。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像、血流样本图像以及良恶性真实信息，可以对生成对抗网络中的生成器、第一鉴别器以及第二鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本、提高肿瘤区域造影重建的真实感，还可以进一步提高超声造影图像重建的准确性。

在可选的实施方式中，所述利用所述训练数据集对所述生成对抗网络进行训练，得到所述训练好的生成对抗网络，包括：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像、所述肿瘤掩膜预测图像以及所述良恶性预测信息，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的第一损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值以及所述生成器的第二损失值；将所述肿瘤掩膜真实图像以及所述肿瘤掩膜预测图像输入所述第二鉴别器中，得到对应的第二鉴别结果，并根据所述第二鉴别结果计算所述第二鉴别器的肿瘤区域鉴别损失值以及所述生成器的第三损失值；根据所述良恶性预测信息以及所述良恶性真实信息计算所述生成对抗网络的良恶性分类损失值；根据所述生成器的生成损失值、所述整图鉴别损失值、所述肿瘤区域鉴别损失值以及所述良恶性分类损失值对所述生成器、所述第一鉴别器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络；其中，所述生成损失值为所述第一损失值、所述第二损失值以及所述第三损失值的和。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、整图鉴别损失函数、肿瘤区域鉴别损失函数以及良恶性分类损失，基于上述四个损失函数可以训练得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本、提高肿瘤区域造影重建的真实感，还可以进一步提高超声造影图像重建的准确性。

第二方面，本申请实施例提供一种超声造影图像的生成方法，包括：获取目标对象对应的灰阶超声图像以及血流图像；将所述灰阶超声图像以及所述血流图像输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用如第一方面中任一项所述的超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。

在上述方案中，利用预先训练好的生成对抗网络中的生成器，基于目标对象对应的灰阶超声图像以及血流图像，便可以生成对应的超声造影图像。其中，与现有技术中传统的获取超声造影图像的方式相比，本申请实施例提供的超声造影图像的生成方法，利用深度学习模型便可以生成超声造影图像，从而降低了获取超声造影图像的成本。

第三方面，本申请实施例提供一种超声造影图像生成模型的训练方法，包括：第一获取模块，用于获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像、超声造影真实图像以及血流样本图像；训练模块，用于利用所述训练数据集对所述生成对抗网络进行训练，得到所述训练好的生成对抗网络，并将所述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型；其中，所述生成对抗网络包括生成器以及第一鉴别器，所述生成器用于基于所述灰阶超声样本图像以及所述血流样本图像生成超声造影预测图像，所述第一鉴别器用于鉴别所述超声造影真实图像与所述超声造影预测图像的真伪。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像以及血流样本图像，可以对生成对抗网络中的生成器以及第一鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述超声造影图像生成模型生成超声造影图像，可以降低获取超声造影图像的成本。

在可选的实施方式中，所述训练模块还用于：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值；根据所述生成损失值以及所述整图鉴别损失值对所述生成器以及所述第一鉴别器进行优化，得到所述训练好的生成对抗网络。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数以及整图鉴别损失函数，基于上述两个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述超声造影图像生成模型生成超声造影图像，可以降低获取超声造影图像的成本。

在可选的实施方式中，所述训练数据集还包括肿瘤掩膜真实图像；所述生成对抗网络还包括第二鉴别器，所述生成器还用于基于所述灰阶超声样本图像以及所述血流样本图像生成肿瘤掩膜预测图像，所述第二鉴别器用于鉴别所述肿瘤掩膜真实图像与所述肿瘤掩膜预测图像的真伪。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像以及血流样本图像，可以对生成对抗网络中的生成器、第一鉴别器以及第二鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本，还可以提高肿瘤区域造影重建的真实感。

在可选的实施方式中，所述训练模块还用于：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像以及所述肿瘤掩膜预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的第一损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值以及所述生成器的第二损失值；将所述肿瘤掩膜真实图像以及所述肿瘤掩膜预测图像输入所述第二鉴别器中，得到对应的第二鉴别结果，并根据所述第二鉴别结果计算所述第二鉴别器的肿瘤区域鉴别损失值以及所述生成器的第三损失值；根据所述生成器的生成损失值、所述整图鉴别损失值以及所述肿瘤区域鉴别损失值对所述生成器、所述第一鉴别器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络；其中，所述生成损失值为所述第一损失值、所述第二损失值以及所述第三损失值的和。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、整图鉴别损失函数以及肿瘤区域鉴别损失函数，基于上述三个损失函数可以训练得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本，还可以提高肿瘤区域造影重建的真实感。

在可选的实施方式中，所述训练数据集还包括良恶性真实信息；所述生成器还用于基于所述肿瘤掩膜真实图像生成良恶性预测信息。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像、血流样本图像以及良恶性真实信息，可以对生成对抗网络中的生成器、第一鉴别器以及第二鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本、提高肿瘤区域造影重建的真实感，还可以进一步提高超声造影图像重建的准确性。

在可选的实施方式中，所述训练模块还用于：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像、所述肿瘤掩膜预测图像以及所述良恶性预测信息，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的第一损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值以及所述生成器的第二损失值；将所述肿瘤掩膜真实图像以及所述肿瘤掩膜预测图像输入所述第二鉴别器中，得到对应的第二鉴别结果，并根据所述第二鉴别结果计算所述第二鉴别器的肿瘤区域鉴别损失值以及所述生成器的第三损失值；根据所述良恶性预测信息以及所述良恶性真实信息计算所述生成对抗网络的良恶性分类损失值；根据所述生成器的生成损失值、所述整图鉴别损失值、所述肿瘤区域鉴别损失值以及所述良恶性分类损失值对所述生成器、所述第一鉴别器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络；其中，所述生成损失值为所述第一损失值、所述第二损失值以及所述第三损失值的和。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、整图鉴别损失函数、肿瘤区域鉴别损失函数以及良恶性分类损失，基于上述四个损失函数可以训练得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本、提高肿瘤区域造影重建的真实感，还可以进一步提高超声造影图像重建的准确性。

第四方面，本申请实施例提供一种超声造影图像的生成装置，包括：第二获取模块，用于获取目标对象对应的灰阶超声图像以及血流图像；输入模块，用于将所述灰阶超声图像以及所述血流图像输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用如第一方面中任一项所述的超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。

在上述方案中，利用预先训练好的生成对抗网络中的生成器，基于目标对象对应的灰阶超声图像以及血流图像，便可以生成对应的超声造影图像。其中，与现有技术中传统的获取超声造影图像的方式相比，本申请实施例提供的超声造影图像的生成方法，利用深度学习模型便可以生成超声造影图像，从而降低了获取超声造影图像的成本。

第五方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的计算机程序指令，所述处理器调用所述计算机程序指令能够执行如第一方面所述的超声造影图像生成模型的训练方法或者如第二方面所述的超声造影图像的生成方法。

第六方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行如第一方面所述的超声造影图像生成模型的训练方法或者如第二方面所述的超声造影图像的生成方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种超声造影图像的生成方法的流程图；

图2为本申请实施例提供的一种超声造影图像生成模型的训练方法的流程图；

图3为本申请实施例提供的一种超声造影图像生成模型的训练系统的示意图；

图4为本申请实施例提供的一种超声造影图像生成模型的训练装置的结构框图；

图5为本申请实施例提供的一种超声造影图像的生成装置的结构框图；

图6为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

请参照图1，图1为本申请实施例提供的一种超声造影图像的生成方法的流程图，该超声造影图像的生成方法可以包括如下步骤：

步骤S101：获取目标对象对应的灰阶超声图像以及血流图像。

步骤S102：将灰阶超声图像以及血流图像输入超声造影图像生成模型中，得到超声造影图像生成模型输出的目标超声造影图像。

具体的，在上述步骤S101中，目标对象是指病人需要进行检测的部分，例如：颈动脉、乳腺等；灰阶超声图像是指利用灰阶超声技术针对病人需要进行检测的部分进行成像得到的图像，其中，灰阶超声技术是以回声不同的振幅等级，在声像图应用相对应的黑白层次来反映灰度分层的等级程度的一种成像技术；血流图像是指用于表征病人需要进行检测的部分的血流情况的图像。

需要说明的是，本申请实施例对获取目标对象对应的灰阶超声图像以及血流图像的具体实施方式不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，可以接收外部设备发送的灰阶超声图像以及血流图像；或者，可以读取本地或者云端事先存储的灰阶超声图像以及血流图像；或者，可以实时采集目标对象对应的灰阶超声图像以及血流图像等。

在上述步骤S102中，超声造影图像生成模型为训练好的生成对抗网络(Generative Adversarial Networks,GAN)中的生成器。可以理解的是，在执行上述步骤S102之前，可以事先对一个生成对抗网络进行训练，得到训练好的生成对抗网络，并将上述训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。

其中，上述超声造影图像生成模型用于基于目标对象对应的灰阶超声图像以及血流图像生成目标对象对应的超声造影图像；因此，将上述步骤S101中获取到的目标对象对应的灰阶超声图像以及血流图像，输入上述超声造影图像中，可以得到目标对象对应的超声造影图像。

需要说明的是，本申请实施例对生成对抗网络的具体结构不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。举例来说，生成对抗网络可以包括生成器以及鉴别器；或者，生成对抗网络可以包括生成器、第一鉴别器以及第二鉴别器等。

此外，本申请实施例对生成对抗网络中的生成器以及鉴别器的具体结构同样不作具体的限定，本领域技术人员同样可以根据实际情况进行合适的调整。

举例来说，生成器可以遵循U-net网络架构。其中，生成器可以采用编码器-解码器的结构，采用该结构，除了可以学习灰阶超声图像与超声造影图像之间的整体映射关系外，还有助于学习不同尺度的语义信息；编码器和解码器之间的跳过连接，可以确保解码器集成更多低级特征，有利于生成超声造影图像的丰富细节。假设生成器的输入为大小为256*256的图像。

作为一种实施方式，编码器可以包括一个输入层和6个卷积块，每个卷积块包括一个激活函数(Rectified Linear Unit，ReLU)层、一个卷积(Convolutional，Conv)层以及一个池化(Batch Normalization，BN)层；每个卷积块间，可以使用步长为2的卷积，以减少信息损失；编码器中每个卷积块的输出通道可以设置为64、128、256、512、512、512、512。

解码器可以包括包含6个卷积块和一个输出层；与编码器中的卷积块不同，解码器中的卷积操作可以采用反卷积操作，用于将特征图重构回输入图像大小；解码器中每个卷积块的输入通道可以设置为512、1024、1024、1024、512、256、128。

生成器的最后一层可以采用反卷积操作加Tanh激活层，用于将128通道的特征图映射到3通道的超声造影图像。

鉴别器可以接收4通道合成图像，该4通道合成图像可以包括单通道的灰阶超声图像以及3通道的超声造影图像，从而可以获取到更多的先验知识。

作为一种实施方式，鉴别器可以包括一个Conv层、4个卷积块和一个输出层，每个卷积块包括一个Conv层、一个BN层和一个Leaky-ReLU层；鉴别器中每个卷积层的输出通道可以分别设置为64、128、256、512、512和1。

需要说明的是，上述实施例中涉及的卷积层的数量、通道数量等具体数量仅为示例，本领域技术人员可以根据实际情况对生成对抗网络中的具体数量进行合适的调整。

此外，本申请实施例对训练上述生成对抗网络的具体实施方式也不作具体的限定，本领域技术人员可以根据实际情况进行合适的调整。其中，后续实施例中将举例对训练上述生成对抗网络的具体实施方式进行介绍，因此，此处暂不说明。

可以理解的是，在将灰阶超声图像以及血流图像输入超声造影图像生成模型之前，还可以对灰阶超声图像以及血流图像进行预处理，例如：对灰阶超声图像以及血流图像进行图像标准化处理、归一化处理等。

在上述方案中，利用预先训练好的生成对抗网络中的生成器，基于目标对象对应的灰阶超声图像以及血流图像，便可以生成对应的超声造影图像。其中，与现有技术中传统的获取超声造影图像的方式相比，本申请实施例提供的超声造影图像的生成方法，利用深度学习模型便可以生成超声造影图像，从而降低了获取超声造影图像的成本。

进一步的，在上述实施例的基础上，在执行上述步骤S102之前，还可以预先对生成对抗网络进行训练，以得到训练好的生成对抗网络，并将上述训练好的生成对抗网络中的生成器确定为上述实施例中的超声造影图像生成模型。

其中，请参照图2，图2为本申请实施例提供的一种超声造影图像生成模型的训练方法的流程图，该超声造影图像生成模型的训练方法可以利用如下步骤对生成对抗网络进行训练：

步骤S201，获取训练数据集。

步骤S202，利用训练数据集对生成对抗网络进行训练，得到训练好的生成对抗网络，并将训练好的生成对抗网络中的生成器确定为超声造影图像生成模型。

具体的，在上述步骤S201中，训练数据集是指用于对生成对抗网络进行训练的样本数据。其中，训练数据集可以包括多张样本图像以及标注数据，例如：样本图像可以包括灰阶超声样本图像、超声造影样本图像、血流样本图像等图像，而标注数据可以包括良恶性真实信息等数据。需要说明的是，本申请实施例对上述步骤S201中的训练数据集以及上述步骤S202中的训练生成对抗网络的具体实施方式均不作限定。其中，本申请将在后续实施例中对三种训练数据集以及对应的训练方式进行详细的介绍，因此，本领域技术人员可以根据实际情况，结合后续实施例对训练生成对抗网络的具体实施方式进行合适的调整。

下面介绍第一种训练数据集以及对应的训练方式。在该种实施方式中，训练数据集可以包括灰阶超声样本图像、超声造影真实图像以及血流样本图像，而生成对抗网络可以包括生成器以及第一鉴别器。

其中，上述生成器用于基于灰阶超声样本图像以及血流样本图像生成超声造影预测图像，上述第一鉴别器用于鉴别超声造影真实图像与超声造影预测图像的真伪。

在该种实施方式中，利用灰阶超声样本图像、超声造影真实图像以及血流样本图像，可以对生成对抗网络中的生成器以及第一鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述超声造影图像生成模型生成超声造影图像，可以降低获取超声造影图像的成本。

其中，上述S202，具体可以包括如下步骤：

步骤1)，将训练数据集输入生成器中，得到超声造影预测图像，并根据超声造影真实图像以及超声造影预测图像计算生成器的生成损失值。

步骤2)，将超声造影真实图像以及超声造影预测图像输入第一鉴别器中，得到对应的第一鉴别结果，并根据第一鉴别结果计算第一鉴别器的整图鉴别损失值。

步骤3)，根据生成损失值以及整图鉴别损失值对生成器以及第一鉴别器进行优化，得到训练好的生成对抗网络。

具体的，在上述步骤1)中，生成器对应的生成损失函数可以利用如下公式表示：

loss

其中，loss

在上述步骤2)中，第一鉴别器对应的整图鉴别损失函数(Image DiscriminatorLoss)可以利用如下公式表示：

其中，

在上述步骤3)中，基于生成损失值以及整图鉴别损失值，可以通过反向传播更新生成对抗网络中生成器以及第一鉴别器的模型参数，从而得到上述实施例中的超声造影图像生成模型。

此时，生成对抗网络的总损失函数可以表示为：

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数以及整图鉴别损失函数，基于上述两个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述超声造影图像生成模型生成超声造影图像，可以降低获取超声造影图像的成本。

下面介绍第二种训练数据集以及对应的训练方式。在该种实施方式中，训练数据集可以包括灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像以及血流样本图像。其中，肿瘤掩膜真实图像用于表征超声造影真实图像中的肿瘤区域；超声造影图像中肿瘤组织的颜色、形状、亮度分布等均与正常组织不同，因此可以基于上述理由，区别超声造影图像中的肿瘤区域以及正常区域。

生成对抗网络可以包括生成器、第一鉴别器以及第二鉴别器。其中，生成器用于基于灰阶超声样本图像以及血流样本图像生成超声造影预测图像，生成器还用于基于灰阶超声样本图像以及血流样本图像生成肿瘤掩膜预测图像，第一鉴别器用于鉴别超声造影真实图像与超声造影预测图像的真伪，第二鉴别器用于鉴别肿瘤掩膜真实图像与肿瘤掩膜预测图像的真伪。

在该种实施方式中，利用灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像以及血流样本图像，可以对生成对抗网络中的生成器、第一鉴别器以及第二鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本，还可以提高肿瘤区域造影重建的真实感。

其中，上述S202具体可以包括如下步骤：

步骤1)，将训练数据集输入生成器中，得到超声造影预测图像以及肿瘤掩膜预测图像，并根据超声造影真实图像以及超声造影预测图像计算生成器的第一损失值。

步骤2)，将超声造影真实图像以及超声造影预测图像输入第一鉴别器中，得到对应的第一鉴别结果，并根据第一鉴别结果计算第一鉴别器的整图鉴别损失值以及生成器的第二损失值。

步骤3)，将肿瘤掩膜真实图像以及肿瘤掩膜预测图像输入第二鉴别器中，得到对应的第二鉴别结果，并根据第二鉴别结果计算第二鉴别器的肿瘤区域鉴别损失值以及生成器的第三损失值。

步骤4)，根据生成器的生成损失值、整图鉴别损失值以及肿瘤区域鉴别损失值对生成器、第一鉴别器以及第二鉴别器进行优化，得到训练好的生成对抗网络。

具体的，在上述步骤1)-步骤4)中，生成器对应的生成损失值可以为第一损失值、第二损失值以及第三损失值的和，也就是说，生成器对应的生成损失函数可以利用如下公式表示：

其中，loss

在上述步骤2)中，第一鉴别器对应的整图鉴别损失函数可以利用如下公式表示：

其中，

在上述步骤3)中，第二鉴别器对应的肿瘤区域鉴别损失函数(Tumor DiscriminatorLoss)可以利用如下公式表示：

其中，表示第二鉴别器的肿瘤区域鉴别损失函数，

需要说明的是，本申请实施例对上述步骤2)及步骤3)的执行顺序不作具体的限定。作为一种实施方式，可以先执行步骤2)再执行步骤3)；作为另一种实施方式，可以先执行步骤3)再执行步骤2)；作为又一种实施方式，可以同时执行步骤2)以及步骤3)。

在上述步骤4)中，基于生成损失值、整图鉴别损失值以及肿瘤区域鉴别损失值，可以通过反向传播更新生成对抗网络中生成器、第一鉴别器以及第二鉴别器的模型参数，从而得到上述实施例中的超声造影图像生成模型。

此时，生成对抗网络的总损失函数可以表示为：

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、整图鉴别损失函数以及肿瘤区域鉴别损失函数，基于上述三个损失函数可以训练得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本，还可以提高肿瘤区域造影重建的真实感。

下面介绍第三种训练数据集以及对应的训练方式。在该种实施方式中，训练数据集可以包括灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像、血流样本图像以及良恶性真实信息。其中，良恶性真实信息用于表征肿瘤掩膜真实图像中肿瘤组织是良性的还是恶性的。

生成对抗网络可以包括生成器、第一鉴别器以及第二鉴别器。其中，生成器用于基于灰阶超声样本图像以及血流样本图像生成超声造影预测图像，生成器还用于基于灰阶超声样本图像以及血流样本图像生成肿瘤掩膜预测图像，生成器还用于基于肿瘤掩膜真实图像生成良恶性预测信息，第一鉴别器用于鉴别超声造影真实图像与超声造影预测图像的真伪，第二鉴别器用于鉴别肿瘤掩膜真实图像与肿瘤掩膜预测图像的真伪。

在该种实施方式中，利用灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像、血流样本图像以及良恶性真实信息，可以对生成对抗网络中的生成器、第一鉴别器以及第二鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本、提高肿瘤区域造影重建的真实感，还可以进一步提高超声造影图像重建的准确性。

其中，上述步骤S202具体可以包括如下步骤：

步骤1)，将训练数据集输入生成器中，得到超声造影预测图像、肿瘤掩膜预测图像以及良恶性预测信息，并根据超声造影真实图像以及超声造影预测图像计算生成器的第一损失值。

步骤2)，将超声造影真实图像以及超声造影预测图像输入第一鉴别器中，得到对应的第一鉴别结果，并根据第一鉴别结果计算第一鉴别器的整图鉴别损失值以及生成器的第二损失值。

步骤3)，将肿瘤掩膜真实图像以及肿瘤掩膜预测图像输入第二鉴别器中，得到对应的第二鉴别结果，并根据第二鉴别结果计算第二鉴别器的肿瘤区域鉴别损失值以及生成器的第三损失值。

步骤4)，根据良恶性预测信息以及良恶性真实信息计算生成对抗网络的良恶性分类损失值。

步骤5)，根据生成器的生成损失值、整图鉴别损失值、肿瘤区域鉴别损失值以及良恶性分类损失值对生成器、第一鉴别器以及第二鉴别器进行优化，得到训练好的生成对抗网络；其中，生成损失值为第一损失值、第二损失值以及第三损失值的和。

具体的，在该实施方式中，生成器对应的生成损失函数以及第一鉴别器对应的整图鉴别损失函数、肿瘤区域鉴别损失函数的具体实施方式，与上一实施例中的损失函数、整图鉴别损失函数以及肿瘤区域鉴别损失函数的具体实施方式相同，因此，此处不再赘述。

在上述步骤4)中，可以利用如下公式表示生成对抗网络对应的良恶性分类损失函数(BT/MT Classification Loss)：

loss

其中，loss

在上述步骤5)中，基于生成损失值、整图鉴别损失值、肿瘤区域鉴别损失值以及良恶性分类损失值，可以通过反向传播更新生成对抗网络中生成器、第一鉴别器以及第二鉴别器的模型参数，从而得到上述实施例中的超声造影图像生成模型。

此时，生成对抗网络的总损失函数可以表示为：

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、整图鉴别损失函数、肿瘤区域鉴别损失函数以及良恶性分类损失，基于上述四个损失函数可以训练得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本、提高肿瘤区域造影重建的真实感，还可以进一步提高超声造影图像重建的准确性。

请参照图3，图3为本申请实施例提供的一种超声造影图像生成模型的训练系统的示意图。在该超声造影图像生成模型的训练系统中，将灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像、血流样本图像以及良恶性真实信息输入生成器中，生成对应的超声造影预测图像、肿瘤掩膜预测图像以及良恶性预测信息，然后再根据生成器的生成损失值、整图鉴别损失值、肿瘤区域鉴别损失值以及良恶性分类损失值对生成器、第一鉴别器以及第二鉴别器进行优化，得到训练好的生成对抗网络。

请参照图4，图4为本申请实施例提供的一种超声造影图像生成模型的训练装置的结构框图，该超声造影图像生成模型的训练装置400包括：第一获取模块401，用于获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像、超声造影真实图像以及血流样本图像；训练模块402，用于利用所述训练数据集对所述生成对抗网络进行训练，得到所述训练好的生成对抗网络；其中，所述生成对抗网络包括生成器以及第一鉴别器，所述生成器用于基于所述灰阶超声样本图像以及所述血流样本图像生成超声造影预测图像，所述第一鉴别器用于鉴别所述超声造影真实图像与所述超声造影预测图像的真伪。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像以及血流样本图像，可以对生成对抗网络中的生成器以及第一鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述超声造影图像生成模型生成超声造影图像，可以降低获取超声造影图像的成本。

进一步的，在上述实施例的基础上，所述训练模块402还用于：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值；根据所述生成损失值以及所述整图鉴别损失值对所述生成器以及所述第一鉴别器进行优化，得到所述训练好的生成对抗网络。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数以及整图鉴别损失函数，基于上述两个损失函数可以训练得到超声造影图像生成模型。其中，与现有技术中传统的获取超声造影图像的方式相比，利用上述超声造影图像生成模型生成超声造影图像，可以降低获取超声造影图像的成本。

进一步的，在上述实施例的基础上，所述训练数据集还包括肿瘤掩膜真实图像；所述生成对抗网络还包括第二鉴别器，所述生成器还用于基于所述灰阶超声样本图像以及所述血流样本图像生成肿瘤掩膜预测图像，所述第二鉴别器用于鉴别所述肿瘤掩膜真实图像与所述肿瘤掩膜预测图像的真伪。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像以及血流样本图像，可以对生成对抗网络中的生成器、第一鉴别器以及第二鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本，还可以提高肿瘤区域造影重建的真实感。

进一步的，在上述实施例的基础上，所述训练模块402还用于：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像以及所述肿瘤掩膜预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的第一损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值以及所述生成器的第二损失值；将所述肿瘤掩膜真实图像以及所述肿瘤掩膜预测图像输入所述第二鉴别器中，得到对应的第二鉴别结果，并根据所述第二鉴别结果计算所述第二鉴别器的肿瘤区域鉴别损失值以及所述生成器的第三损失值；根据所述生成器的生成损失值、所述整图鉴别损失值以及所述肿瘤区域鉴别损失值对所述生成器、所述第一鉴别器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络；其中，所述生成损失值为所述第一损失值、所述第二损失值以及所述第三损失值的和。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、整图鉴别损失函数以及肿瘤区域鉴别损失函数，基于上述三个损失函数可以训练得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本，还可以提高肿瘤区域造影重建的真实感。

进一步的，在上述实施例的基础上，所述训练数据集还包括良恶性真实信息；所述生成器还用于基于所述肿瘤掩膜真实图像生成良恶性预测信息。

在上述方案中，利用灰阶超声样本图像、超声造影真实图像、肿瘤掩膜真实图像、血流样本图像以及良恶性真实信息，可以对生成对抗网络中的生成器、第一鉴别器以及第二鉴别器进行训练，从而可以得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本、提高肿瘤区域造影重建的真实感，还可以进一步提高超声造影图像重建的准确性。

进一步的，在上述实施例的基础上，所述训练模块402还用于：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像、所述肿瘤掩膜预测图像以及所述良恶性预测信息，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的第一损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值以及所述生成器的第二损失值；将所述肿瘤掩膜真实图像以及所述肿瘤掩膜预测图像输入所述第二鉴别器中，得到对应的第二鉴别结果，并根据所述第二鉴别结果计算所述第二鉴别器的肿瘤区域鉴别损失值以及所述生成器的第三损失值；根据所述良恶性预测信息以及所述良恶性真实信息计算所述生成对抗网络的良恶性分类损失值；根据所述生成器的生成损失值、所述整图鉴别损失值、所述肿瘤区域鉴别损失值以及所述良恶性分类损失值对所述生成器、所述第一鉴别器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络；其中，所述生成损失值为所述第一损失值、所述第二损失值以及所述第三损失值的和。

在上述方案中，在对生成对抗网络进行训练的过程中，损失函数可以包括生成损失函数、整图鉴别损失函数、肿瘤区域鉴别损失函数以及良恶性分类损失，基于上述四个损失函数可以训练得到超声造影图像生成模型。其中，采用本申请实施例训练得到的生成对抗网络，除了可以降低获取超声造影图像的成本、提高肿瘤区域造影重建的真实感，还可以进一步提高超声造影图像重建的准确性。

请参照图5，图5为本申请实施例提供的一种超声造影图像的生成装置的结构框图，该超声造影图像的生成装置500包括：第二获取模块501，用于获取目标对象对应的灰阶超声图像以及血流图像；输入模块502，用于将所述灰阶超声图像以及所述血流图像输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用上述超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。

在上述方案中，利用预先训练好的生成对抗网络中的生成器，基于目标对象对应的灰阶超声图像以及血流图像，便可以生成对应的超声造影图像。其中，与现有技术中传统的获取超声造影图像的方式相比，本申请实施例提供的超声造影图像的生成方法，利用深度学习模型便可以生成超声造影图像，从而降低了获取超声造影图像的成本。

请参照图6，图6为本申请实施例提供的一种电子设备的结构框图，该电子设备600包括：至少一个处理器601，至少一个通信接口602，至少一个存储器603和至少一个通信总线604。其中，通信总线604用于实现这些组件直接的连接通信，通信接口602用于与其他节点设备进行信令或数据的通信，存储器603存储有处理器601可执行的机器可读指令。当电子设备600运行时，处理器601与存储器603之间通过通信总线604通信，机器可读指令被处理器601调用时执行上述超声造影图像生成模型的训练方法或者超声造影图像的生成方法。

其中，处理器601包括一个或多个，其可以是一种集成电路芯片，具有信号的处理能力。上述的处理器601可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、微控制单元(Micro Controller Unit，简称MCU)、网络处理器(NetworkProcessor，简称NP)或者其他常规处理器；还可以是专用处理器，包括神经网络处理器(Neural-network Processing Unit，简称NPU)、图形处理器(Graphics Processing Unit，简称GPU)、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuits，简称ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。并且，在处理器601为多个时，其中的一部分可以是通用处理器，另一部分可以是专用处理器。

存储器603包括一个或多个，其可以是，但不限于，随机存取存储器(RandomAccess Memory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，电可擦除可编程只读存储器(ElectricErasable Programmable Read-Only Memory，简称EEPROM)等。

可以理解，图6所示的结构仅为示意，电子设备600还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。图6中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备600可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备600也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。

例如，本申请实施例的处理器601通过通信总线604从存储器603读取计算机程序并执行该计算机程序可以实现如下方法：获取训练数据集；其中，所述训练数据集包括灰阶超声样本图像、超声造影真实图像以及血流样本图像；利用所述训练数据集对所述生成对抗网络进行训练，得到所述训练好的生成对抗网络；其中，所述生成对抗网络包括生成器以及第一鉴别器，所述生成器用于基于所述灰阶超声样本图像以及所述血流样本图像生成超声造影预测图像，所述第一鉴别器用于鉴别所述超声造影真实图像与所述超声造影预测图像的真伪。

或者，执行如下方法：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的生成损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值；根据所述生成损失值以及所述整图鉴别损失值对所述生成器以及所述第一鉴别器进行优化，得到所述训练好的生成对抗网络。

或者，所述训练数据集还包括肿瘤掩膜真实图像；所述生成对抗网络还包括第二鉴别器，所述生成器还用于基于所述灰阶超声样本图像以及所述血流样本图像生成肿瘤掩膜预测图像，所述第二鉴别器用于鉴别所述肿瘤掩膜真实图像与所述肿瘤掩膜预测图像的真伪。

或者，执行如下方法：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像以及所述肿瘤掩膜预测图像，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的第一损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值以及所述生成器的第二损失值；将所述肿瘤掩膜真实图像以及所述肿瘤掩膜预测图像输入所述第二鉴别器中，得到对应的第二鉴别结果，并根据所述第二鉴别结果计算所述第二鉴别器的肿瘤区域鉴别损失值以及所述生成器的第三损失值；根据所述生成器的生成损失值、所述整图鉴别损失值以及所述肿瘤区域鉴别损失值对所述生成器、所述第一鉴别器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络；其中，所述生成损失值为所述第一损失值、所述第二损失值以及所述第三损失值的和。

或者，所述训练数据集还包括良恶性真实信息；所述生成器还用于基于所述肿瘤掩膜真实图像生成良恶性预测信息。

或者，执行如下方法：将所述训练数据集输入所述生成器中，得到所述超声造影预测图像、所述肿瘤掩膜预测图像以及所述良恶性预测信息，并根据所述超声造影真实图像以及所述超声造影预测图像计算所述生成器的第一损失值；将所述超声造影真实图像以及所述超声造影预测图像输入所述第一鉴别器中，得到对应的第一鉴别结果，并根据所述第一鉴别结果计算所述第一鉴别器的整图鉴别损失值以及所述生成器的第二损失值；将所述肿瘤掩膜真实图像以及所述肿瘤掩膜预测图像输入所述第二鉴别器中，得到对应的第二鉴别结果，并根据所述第二鉴别结果计算所述第二鉴别器的肿瘤区域鉴别损失值以及所述生成器的第三损失值；根据所述良恶性预测信息以及所述良恶性真实信息计算所述生成对抗网络的良恶性分类损失值；根据所述生成器的生成损失值、所述整图鉴别损失值、所述肿瘤区域鉴别损失值以及所述良恶性分类损失值对所述生成器、所述第一鉴别器以及所述第二鉴别器进行优化，得到所述训练好的生成对抗网络；其中，所述生成损失值为所述第一损失值、所述第二损失值以及所述第三损失值的和。

或者，执行如下方法：获取目标对象对应的灰阶超声图像以及血流图像；将所述灰阶超声图像以及所述血流图像输入超声造影图像生成模型中，得到所述超声造影图像生成模型输出的目标超声造影图像；其中，所述超声造影图像生成模型为利用桑树超声造影图像生成模型的训练方法对所述生成对抗网络进行训练得到的。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序指令，所述计算机程序指令被计算机运行时，使所述计算机执行前述方法实施例所述的超声造影图像生成模型的训练方法或者超声造影图像的生成方法。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。