模型训练方法、乳腺测量方法、装置、电子设备及介质

技术领域

本说明书涉及医学影像处理领域，尤其涉及一种模型训练方法、乳腺测量方法、装置、电子设备及介质。

背景技术

乳腺癌是一种较为常见的疾病，近年来发病率逐步上升。乳腺密度是乳腺癌的风险因素之一。一般情况下，医生基于钼靶、超声等成像方式对乳腺密度进行预测，且需要依赖不同体位图像。此外，这些方法通常是两阶段方法，先对乳腺进行分割，再根据分割结果预测乳腺腺体密度，因而腺体密度预测结果容易受到乳腺分割结果的影响。

发明内容

为解决相关技术中的问题，本公开实施例提供了一种模型训练方法、乳腺测量方法、装置、电子设备及介质。

电子计算机断层扫描(CT)是一种常见的临床影像学诊断方式。虽然CT不是乳腺疾病筛查的首选方式，但在CT胸部扫描或胸腹连扫的场景中，成像视野中往往包含乳腺。因此，在患者基于CT图像进行其他疾病的诊断时，如果成像视野中包含乳腺，基于CT乳腺图像对乳腺进行密度分析，可以初步预测是否有乳腺癌风险，能够提示患者做进一步的诊疗。

本公开实施例的一个方面提供了一种模型训练方法，包括获得电子计算机断层扫描图像及其标注信息，其中，标注信息包括乳腺分割标注结果和乳腺密度标注结果；对电子计算机断层扫描图像进行预处理，得到待处理图像；通过乳腺测量模型处理待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接；基于乳腺分割标注结果和乳腺分割预测结果确定分割损失；基于乳腺密度标注结果和乳腺密度预测结果确定分类损失；以及优化分割损失和分类损失，以更新乳腺测量模型的参数。

根据本公开实施例，对电子计算机断层扫描图像进行预处理，得到待处理图像包括，根据预设的窗宽和窗位归一化体素的值；采用动态像素间距的方式将图像缩放到预定尺寸。

根据本公开实施例，基于乳腺分割标注结果和乳腺分割预测结果确定分割损失包括，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项；确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项；对第一损失项和第二损失项加权处理得到第一侧分割损失项，其中，第二损失项的权重大于第一损失项的权重；基于第一侧分割损失项确定分割损失。

根据本公开实施例，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项包括，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素数量，记为第一数量；确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的体素数量之和，记为第二数量；基于第一数量和第二数量的比值确定第一损失项。

根据本公开实施例，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项包括，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的交集的体素数量，记为第三数量；确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的体素数量之和，记为第四数量；基于第三数量和第四数量的比值确定第二损失项。

根据本公开实施例，第二损失项的权重与第一损失项的权重的比值小于或等于10。

本公开实施例的另一个方面提供了一种乳腺测量方法，包括获得电子计算机断层扫描图像；对电子计算机断层扫描图像进行预处理，得到待处理图像；使用如上所述的模型训练方法训练的乳腺测量模型处理所述待处理图像，得到乳腺分割结果和乳腺密度结果。

本公开实施例的另一个方面提供了一种模型训练装置，包括获得模块、预处理模块、预测模块、分割损失确定模块、分类损失确定模块以及参数更新模块。获得模块，被配置为获得电子计算机断层扫描图像及其标注信息，标注信息包括乳腺分割标注结果和乳腺密度标注结果。预处理模块，被配置为对电子计算机断层扫描图像进行预处理，得到待处理图像。预测模块，被配置为通过乳腺测量模型处理待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接。分割损失确定模块，被配置为基于乳腺分割标注结果和乳腺分割预测结果确定分割损失。分类损失确定模块，被配置为基于乳腺密度标注结果和乳腺密度预测结果确定分类损失。参数更新模块，被配置为优化分割损失和分类损失，以更新乳腺测量模型的参数。

本公开实施例的另一个方面提供了一种电子设备，包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使得处理器实现如上所述的方法。

本公开实施例的另一个方面提供了一种计算机可读存储介质，其上存储有计算机可读指令，指令被处理器执行时使得处理器实现如上所述的方法。

本公开实施例的另一个方面提供了一种计算机程序，其被处理器执行时使得处理器实现如上所述的方法。

根据本公开实施例的技术方案，基于CT图像进行乳腺相关测量，该CT图像为一般扫描中包含乳腺部位的CT图像即可，此类图像大多不针对于乳腺疾病筛查，不要求特殊体位，可以初步预测是否有乳腺癌风险。此外，通过深度学习的多任务方法，分割任务和密度预测任务相对独立，一方面，乳腺密度预测结果受到分割结果的影响更小，且效率更高，能够快速获得所需结果；另一方面，不同任务之间可以互相提供额外的有用信息，利用这些信息，可以训练出性能更好、鲁棒性更高的模型。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示意性示出应用本公开实施例的模型训练方法的系统架构示意图；

图2A示意性示出本公开实施例的模型训练方法的流程图；

图2B示意性示出本公开实施例的乳腺测量模型的结构示意图；

图3示意性示出本公开实施例的预处理的流程图；

图4示意性示出本公开实施例的确定分割损失的流程图；

图5示意性示出本公开实施例的分割预测与标注结果的示意图；

图6示意性示出本公开实施例的确定第一损失项的流程图；

图7示意性示出本公开实施例的确定第二损失项的流程图；

图8示意性示出本公开实施例的乳腺测量方法的流程图；

图9示意性示出本公开实施例的模型训练装置的框图；以及

图10示意性示出适于实现本公开实施例的模型训练方法和乳腺测量方法的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

应当注意的是，本公开中数据的获取或展示均经用户授权、确认、或由用户主动选择。

本公开实施例提供了一种模型训练方法，包括获得电子计算机断层扫描图像及其标注信息，标注信息包括乳腺分割标注结果和乳腺密度标注结果；对电子计算机断层扫描图像进行预处理，得到待处理图像；通过乳腺测量模型处理待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接；基于乳腺分割标注结果和乳腺分割预测结果确定分割损失；基于乳腺密度标注结果和乳腺密度预测结果确定分类损失；以及优化分割损失和分类损失，以更新乳腺测量模型的参数。

根据本公开实施例的技术方案，基于CT图像进行乳腺相关测量，该CT图像为一般扫描中包含乳腺部位的CT图像即可，此类图像大多不针对于乳腺疾病筛查，不要求特殊体位，但仍可基于此类图像得到乳腺相关的分割结果及密度等信息，可以初步预测是否有乳腺癌风险，能够提示患者做进一步的诊疗。

此外，通过深度学习的多任务方法，分割任务和密度预测任务相对独立，一方面，乳腺密度预测结果受到分割结果的影响更小，且效率更高，能够快速获得所需结果；另一方面，不同任务之间可以互相提供额外的有用信息，利用这些信息，可以训练出性能更好、鲁棒性更高的模型。

CT图像上可以呈现出乳腺内的一些病征，如乳腺结节、钙化等，分割乳腺有助于定位这些病征的位置。

以下结合附图，详细说明本公开各实施例提供的技术方案。

图1示意性示出应用本公开实施例的模型训练方法的系统架构示意图。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如具有医学影像显示、病灶显示和编辑、报告生成等功能的专用应用程序。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。

服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。例如，服务器可以训练并运行乳腺测量模型，实现乳腺测量功能，以便将自动测量的结果显示在终端设备101、102、103上。

服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。

本公开实施例提供的模型训练方法例如可以由服务器105执行，也可以由终端设备101、102、103执行。或者，本公开实施例的模型训练方法可以部分地由终端设备101、102、103执行，其他部分由服务器105执行。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2A示意性示出本公开实施例的模型训练方法的流程图。

如图2A所示，该模型训练方法包括操作S210-S260。

在操作S210，获得电子计算机断层扫描图像(CT图像)及其标注信息，所述标注信息包括乳腺分割标注结果和乳腺密度标注结果。

在操作S220，对所述电子计算机断层扫描图像进行预处理，得到待处理图像。

在操作S230，通过乳腺测量模型处理所述待处理图像，得到乳腺分割预测结果和乳腺密度预测结果。

在操作S240，基于所述乳腺分割标注结果和乳腺分割预测结果确定分割损失。

在操作S250，基于所述乳腺密度标注结果和乳腺密度预测结果确定分类损失。

在操作S260，优化所述分割损失和所述分类损失，以更新所述乳腺测量模型的参数。

根据本公开实施例的技术方案，基于CT图像进行乳腺相关测量，该CT图像为一般扫描中包含乳腺部位的CT图像即可，此类图像大多不针对于乳腺疾病筛查，不要求特殊体位，但仍可基于此类图像得到乳腺相关的分割结果及密度等信息，可以初步预测是否有乳腺癌风险，能够提示患者做进一步的诊疗。

根据本公开实施例，乳腺分割标注结果可以包括左乳乳腺分割掩膜金标准和右乳乳腺分割掩膜金标准，乳腺密度标注结果可以是乳腺密度类别金标准。

根据本公开实施例，可以对原始CT图像进行预处理，以使其适合乳腺区域的测量。预处理方法至少可以包括加窗处理，即根据乳腺测量的需要，调整CT图像中体素的值(HU值)与图像显示之间的关系。例如可以定义一个最小HU值，小于或等于该值的体素在图像中显示为黑，定义一个最大Hu值，大于或等于该值的体素在图像中显示为白，介于二者之间的体素显示为不同的灰度。

根据本公开实施例，乳腺测量模型为多任务模型，其结构如图2B所示。该乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接。如此，分割任务和密度预测任务相对独立，一方面，乳腺密度预测结果受到分割结果的影响更小，且效率更高，能够快速获得所需结果；另一方面，不同任务之间可以互相提供额外的有用信息，利用这些信息，可以训练出性能更好、鲁棒性更高的模型。

本方案中所使用的骨干网络可以是各种基于深度学习的骨干网络，分割网络可以是各种基于深度学习的分割网络，分类网络也可以为各种基于深度学习的分类网络，均不做特殊限定。

根据本公开实施例，针对某CT图像，其原始图像记为x，根据其标注结果，左乳乳腺分割掩膜金标准gt

根据本公开实施例，可以分别计算gt

图3示意性示出本公开实施例的预处理的流程图。

如图3所示，操作S220可以包括操作S310-S320。

在操作S310，根据预设的窗宽和窗位归一化体素的值。

在操作S320，采用动态像素间距的方式将图像缩放到预定尺寸。

根据本公开实施例，可以应用预设的窗宽和窗位对原始CT图像进行加窗处理。其中，窗宽为某个CT值区间[min,max]，窗位为该CT值区间的中间值，即(min+max)/2。将图像中所有CT值低于min值的体素的值全部置为min，将图像中所有CT值高于max值的体素的值全部置为max，再将图像中所有体素的值减去窗位值。接下来，可以将加窗处理后的图像进行标准化，使得图像上每一个体素点的值均在预设的区间内。例如，可以将图像中所有体素的值除以窗宽的一半，即(max-min)/2，即可将体素的值归一化到[-1,1]范围内。其中，min例如可以取-120，max例如可以取240。通过加窗处理，可以突显乳腺部分，提高图像对比度。

根据本公开实施例，可以将图像缩放至预设的尺寸。针对归一化后的图像，采用动态像素间距(spacing)的方式缩放到固定尺寸。例如，可以将图像缩放至x、y、z方向分别为(192,96,96)的尺寸。其中，x可以表示人体左右方向的坐标轴，y可以表示人体前后方向的坐标轴，z可以表示人体头脚方向的坐标轴。

需要说明的是，在预测完成后，需要将左右乳分割结果缩放回原始图像尺寸，获取最终的左右乳分割结果。将gt

根据本公开实施例，在缩放之前，还可以进行一定概率一定比例的随机剪裁，有利于提升模型的对于像素间距的鲁棒性。例如，可以初步识别出包含乳腺的区域，按照以不小于该区域的限制进行随机裁剪，将裁剪后的图像缩放至预定尺寸，进行后续的处理。

本公开实施例的技术方案与现有技术之间的一个主要差异在于，本方案基于CT图像，CT图像中不存在其他方案中的CC位与MLO两种体位。此外，CT图像中包含身体组织较其他成像方式(如钼靶)更多，准确分割出乳腺组织的难度更高。其他方案中，成像方式已经给定不同侧别的图像,则不需要模型区分左侧乳腺与右侧乳腺，而CT图像中，在非人为操作的情况下，模型无法提前预知左侧乳腺与右侧乳腺。

图4示意性示出本公开实施例的确定分割损失的流程图。

如图4所示，操作S240可以包括操作S410-S440。

在操作S410，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项。

在操作S420，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项。

在操作S430，对所述第一损失项和第二损失项加权处理得到第一侧分割损失项，其中，所述第二损失项的权重大于第一损失项的权重。

在操作S440，基于所述第一侧分割损失项确定分割损失。

考虑到左乳与右乳在形态学上具有一定的对称性，左右乳是完全独立的两部分，每部分都是一个单联通域。本公开实施例的技术方案在分割损失中着重约束了被错误分为另一侧乳腺的体素，即左乳体素中被分割为右乳的体素，以及右乳体素中被分割为左乳的体素。在计算损失时，对于被错误分为另一侧乳腺的体素的位置使用一个更大的权重进行计算，从而训练出的模型分割性能更好，降低错误分割的概率。

根据本公开实施例，第一侧乳腺可以是左侧乳腺，第二侧乳腺可以是右侧乳腺。或者，第一侧乳腺可以是右侧乳腺，第二侧乳腺可以是左侧乳腺。

根据本公开实施例，第一侧乳腺分割预测结果与第一侧乳腺分割标注结果应当尽可能相似，基于第一侧乳腺分割预测结果与第一侧乳腺分割标注结果，可以确定第一损失项。第一侧乳腺分割预测结果与第二侧乳腺分割标注结果不应当有交集，基于第一侧乳腺分割预测结果与第二侧乳腺分割标注结果，可以确定第二损失项。第二损失项体现了一侧乳腺被误分为另一侧乳腺的部分，使用一个较大的权重，从而计算第一侧分割损失。例如，第二损失项可以使用一个值大于1的权重，第一损失项可以使用值为1的权重。

根据本公开实施例，可以按照类似的方式确定第二侧分割损失，例如确定第二侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第三损失项；确定第二侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第四损失项；对第三损失项和第四损失项加权处理得到第二侧分割损失项，其中，第四损失项的权重大于第三损失项的权重。

根据本公开实施例，可以通过第一侧分割损失项和第二侧分割损失项确定分割损失。例如可以令分割损失等于第一侧分割损失项和第二侧分割损失项之和。

图5示意性示出本公开实施例的分割预测与标注结果的示意图。

如图5所示，从左到右的四个区域分别表示第一侧乳腺分割标注结果、第一侧乳腺分割预测结果、第二侧乳腺分割标注结果和第二侧乳腺分割预测结果。其中，第一侧乳腺分割标注结果与第一侧乳腺分割预测结果相交于区域B；第一侧乳腺分割预测结果与第二侧乳腺分割标注结果相交于区域D；第二侧乳腺分割标注结果与第二侧乳腺分割预测结果相交于区域F。

图6示意性示出本公开实施例的确定第一损失项的流程图。

如图6所示，操作S410可以包括操作S610-S630。

在操作S610，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素数量，记为第一数量。

在操作S620，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的体素数量之和，记为第二数量。

在操作S630，基于所述第一数量和第二数量的比值确定第一损失项。

参考图5所示的实施例，第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素即区域B中的体素，第一数量可以记为|B|。第一侧乳腺分割标注结果的体素即区域A和B中的体素，第一侧乳腺分割预测结果的体素即区域B、C、D中的体素，第二数量可以记为(|A|+|B|)+(|B|+|C|+|D|)。

根据本公开实施例，第一损失项可以基于第一数量和第二数量的比值确定。由上述定义可知，第一数量和第二数量的比值越大表示分割越准确，因此，可以基于比值的倒数或相反数确定第一损失项。例如，第一损失项可以表示为如下形式：

类似地，对于第二侧乳腺而言，第三损失项可以表示为如下形式：

图7示意性示出本公开实施例的确定第二损失项的流程图。

如图7所示，操作S420可以包括操作S710-S730。

在操作S710，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的交集的体素数量，记为第三数量。

在操作S720，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的体素数量之和，记为第四数量。

在操作S730，基于所述第三数量和第四数量的比值确定第二损失项。

仍然参考图5所示的实施例，第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的交集的体素即区域D中的体素，第三数量可以记为|D|。第一侧乳腺分割预测结果的体素即区域B、C、D中的体素，第二侧乳腺分割标注结果的体素即区域D、E、F中的体素，第四数量可以记为(|B|+|C|+|D|)+(|D|+|E|+|F|)。

根据本公开实施例，第二损失项可以基于第三数量和第四数量的比值确定。由上述定义可知，第三数量和第四数量的比值越大表示被误分割为另一侧乳腺的区域更大。例如，第二损失项可以表示为如下形式：

类似地，对于第二侧乳腺而言，第四损失项与第二侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素数量有关，由于图5所示的实施例中第二侧乳腺分割预测结果与第一侧乳腺分割标注结果无交集，所以第四损失项不存在，或者说第四损失项等于0。

综上，第一侧分割损失项、第二侧分割损失项以及分割损失可以表示为如下形式：

其中，W

图8示意性示出本公开实施例的乳腺测量方法的流程图。

如图8所示，操作S800可以包括操作S810-S830。

在操作S810，获得电子计算机断层扫描图像。

在操作S820，对所述电子计算机断层扫描图像进行预处理，得到待处理图像。

在操作S830，使用如上所述的方法训练的乳腺测量模型处理所述待处理图像，得到乳腺分割结果和乳腺密度结果。

根据本公开实施例，电子计算机断层扫描图像可以是胸部CT或胸腹连扫CT，可以仅在有必要的情况下进行额外的检查，例如钼靶影像等。预处理的方式与训练过程中的预处理方式一致，可以参考上文关于图3部分的描述，此处不再赘述。

针对预处理后的CT图像，将其输入到多任务的乳腺测量模型中，在骨干网络部分提取图像的特征，所提取的特征分别被输入两个子网络，分别进行乳腺分割与密度预测。其中，乳腺分割子网络应用了深度学习多类别分割模型，用于将左乳与右乳分别分割出来。密度预测子网络应用了深度学习多类别分类模型，用于预测当前图像中乳腺密度所属类别，例如高密度、中密度或者低密度。

根据本公开实施例的技术方案，利用胸部CT或胸腹连扫CT即可快速准确地获取乳腺分割和密度预测结果，可以初步预测是否有乳腺癌风险，能够提示患者做进一步的诊疗。

基于同一发明构思，本公开还提供了一种模型训练装置，下面参照图9对本公开实施例的模型训练装置进行说明。

图9示意性示出本公开实施例的模型训练装置900的框图。其中，该装置900可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。

如图9所示，该模型训练装置900包括获得模块910、预处理模块920、预测模块930、分割损失确定模块940、分类损失确定模块950和参数更新模块960。该模型训练装置900可以执行上文描述的各种模型训练方法。

获得模块910，被配置为获得电子计算机断层扫描图像及其标注信息，所述标注信息包括乳腺分割标注结果和乳腺密度标注结果。

预处理模块920，被配置为对所述电子计算机断层扫描图像进行预处理，得到待处理图像。

预测模块930，被配置为通过乳腺测量模型处理所述待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，所述乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，所述乳腺分割子网络和密度预测子网络并联，分别与所述骨干网络连接。

分割损失确定模块940，被配置为基于所述乳腺分割标注结果和乳腺分割预测结果确定分割损失。

分类损失确定模块950，被配置为基于所述乳腺密度标注结果和乳腺密度预测结果确定分类损失。

参数更新模块960，被配置为优化所述分割损失和所述分类损失，以更新所述乳腺测量模型的参数。

图10示意性示出适于实现本公开实施例的模型训练方法和乳腺测量方法的计算机系统的结构示意图。

如图10所示，计算机系统1000包括处理单元1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行上述实施例中的各种处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。处理单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。其中，所述处理单元1001可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行本公开实施例的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。