集装箱偶发残损样本挖掘及学习方法、装置、设备、介质

技术领域

本申请涉及集装箱残损缺陷检测技术领域，具体涉及一种适用于集装箱应用场景下的集装箱偶发残损样本挖掘及学习方法、装置、设备、介质。

背景技术

集装箱的残损缺陷检测对于保证运输安全和货物质量至关重要，以往需要依赖于人眼对集装箱的残损进行统计识别。近年来，深度学习模型在计算机视觉领域取得了广泛应用，并在集装箱残损检测方面取得了一定进展。

然而，现有的深度学习模型需要大量的各种类型缺陷数据进行训练，但对于集装箱残损缺陷类型出现概率极低的场景来说，无法满足这一前提。

由于现有技术难以解决训练数据量这一问题，导致深度学习模型因缺乏足量数据训练，在针对集装箱残损缺陷进行检测时，检测精度明显下降，因而这些深度学习模型在集装箱检测场景中难易量产落地应用。

基于此，针对集装箱残损类型出现概率低的应用场景，需要一种新的残损样本挖掘技术方案。

发明内容

有鉴于此，本说明书实施例提供一种适用于集装箱应用场景下的集装箱偶发残损样本挖掘及学习方法、装置、设备、介质，通过对集装箱残损样本数据完成挖掘学习后得到挖掘模型，使得模型能够用于集装箱残损样本挖掘，从而能够为深度学习模型在集装箱领域应用提供足量训练数据。

本说明书实施例提供以下技术方案：

本说明书实施例提供一种集装箱偶发残损样本挖掘学习方法，包括：

获取预设的多级多属性类别，其中多级多属性类别为将集装箱残损分类类别按残损等级和残损属性，结合集装箱理货先验性知识划分得到的预设分类类别；

根据所述多级多属性类别对少量集装箱残损样本数据进行标注，其中每个级别的每个属性类别有至少1个正例标记样本对应，并对应n个不同环境下采样的标记负例样本，共同组成初始训练样本集；

对每个级别残损对应的半监督学习模型进行半监督学习，其中每个半监督学习模型基于自身对应的标记样本进行对比学习优化的半监督学习训练，对比学习优化的半监督采用教师模型和学生模型进行对比学习；

其中，半监督学习训练中，教师模型先基于标记样本进行训练，再对未标记样本进行伪标签推理预测得到伪标签样本，学生模型基于伪标签样本集进行对比学习训练。

与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：

一方面，通过将集装箱残损缺陷类型进行多级多属性划分，并基于多级多属性完整类别标注少量样本，以及利用多个模型各自对多级多属性类别进行对比学习优化的半监督学习训练，就能够基于对比学习的特征增强手段进行模型学习训练，完成训练后进一步挖掘未标注图片中的缺陷样本，实现了残损主动挖掘功能，能够为后续的模型训练提供了充足的数据，有效地缓解了集装箱偶发残损缺陷使用深度学习模型进行检查时缺乏足量训练数据的这一难题，对后续的集装箱残损检测提供的重要数据基础，方便落地应用。

二方面，由于每个稀疏缺陷类别，可在仅有1-2张已标注缺陷样本的情形下，通过半监督学习的方法进一步实现对缺陷样本的数据挖掘，因而能够在保证高精度残损识别的前提下，显著降低了标注成本，非常容易落地应用。

三方面，利用半监督学习技术开发的集装箱偶发残损样本挖掘方法，适用于出现某些缺陷出现概率极低，难以收集对应缺陷数据进行标注进而进行深度学习训练的情况。

四方面，应用范围广泛。因方案能够对集装箱中的无标注残损进行自动化检测，而无需大量的人力投入，可以应用于海运、铁路、公路等多种物流领域，有利于提高集装箱物流的运作效率和安全性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请中对集装箱偶发残损缺陷类型进行多级多属性类别划分的示意图；

图2是本申请中对集装箱偶发残损缺陷样本进行标记、学习训练和挖掘的整体结构示意图；

图3是本申请中一种集装箱偶发残损样本挖掘学习方法的流程图；

图4是本申请中对集装箱偶发残损样本进行对比学习优化的半监督学习训练的结构示意图；

图5是本申请中基于半监督学习对集装箱偶发残损样本进行推理挖掘的结构示意图；

图6是本申请中一种集装箱偶发残损样本挖掘方法的流程图；

图7是本申请中一种集装箱偶发残损样本挖掘学习装置的结构示意图；

图8是本申请中一种集装箱偶发残损样本挖掘装置的结构示意图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践。

现有的深度学习模型在用于检测集装箱残损缺陷时，需要先利用足量的集装箱残损样本数据完成训练，才能保证实际检测的具有较高精度。但对于集装箱应用场景来说，各类残损缺陷发生概率低，因而集装箱残损样本属于偶发性样本，不仅残损样本数据的收集难度大，而且很难收集到足量样本数据提供给深度学习模型进行训练。因此，因缺乏足够样本的训练，深度学习模型虽然在其他领域得到了广泛应用，但在集装箱应用中难易量产落地应用。

有鉴于此，通过对集装箱残损缺陷及其类型，以及对深度学习模型进行深入研究及改进探索，发现：

虽然可以利用半监督学习来主动挖掘新样本作为训练样本，但由于集装箱残损缺陷属于偶发性的样本，利用传统的半监督学习也很难有效地完成样本主动挖掘。

进一步还发现，虽然集装箱残损缺陷属于偶发性，但这些缺陷并非是无迹可寻的，而且不同缺陷对于集装箱的重要程度也不同，例如破损、洞穿、梁柱变形等缺陷，因短时间内就能够影响到集装箱结构完整性，对于集装箱来说可能是一类非常严重的缺陷；例如集装箱一般凹凸变形、划伤等，可能累积一段时间后同样影响到集装箱结构，因而这些类型缺陷也是一类比较严重的缺陷；例如集装箱表面脏污、锈迹等，可能需要很长时间才能影响到集装箱结构，因而这些类型缺陷的重要等级偏低一些。

因此，虽然集装箱残损缺陷是偶发性，很难依靠人工收集来获得足量的训练样本，而且不同缺陷对于集装箱的影响程度不同，以及缺陷表现形式也不相同，很难基于同一个深度学习模型进行高精度检测，但可以将这些可能缺陷预先归类，例如图1示意中，将这些可能偶发的残损缺陷，按等级和属性进行归类，比如划分为n个等级，每个等级各自包含有对应的属性分类。

在多级多属性分类后，就能够根据归类后的类型进行少量样本标记，并通过多个模型各自对相应的这些少量正例标记样本分别进行对比学习优化的半监督学习训练，这些模型经对比学习优化的半监督学习训练后，就能够用于未标注样本的自主挖掘，进而能够解决集装箱残损缺陷样本数量不足问题。

基于此，本说明书实施例提出了一种集装箱残损缺陷处理方案：如图2所示，首先根据集装箱实际可能发生的残损缺陷类型，分级分属性地将所有可能的残损缺陷类型，按多级多属性地进行完整划分方式，形成集装箱残损缺陷检测的完整类别（参见前述图1示意），例如将集装箱所有可能残损缺陷，预先划分为N个级别（即重要程度的等级）和M个属性（即每类残损缺陷特征对应的属性），当然每个级别中至少包含有一个或多个属性分类；然后，对输入样本数据中的少量样本进行完整类别标注，即只需要对少量样本标记清楚样本对应的级别和属性，这样每个级别的每个属性只需要标记过非常少的标记样本，比如至少1-2个标记样本（可以称为有标签样本）；然后利用多个模型各自对应学习这些标记样本并完成对比学习优化的半监督学习训练过程，即一个半监督学习模型只需要基于自身对应的标记样本进行对比学习完成半监督学习训练过程，这是因为：基于对比学习优化的半监督采用了教师模型（Teacher模型）和学生模型（Student模型）进行对比学习，其中Teacher模型先对有标签样本进行训练，再对无标签样本进行伪标签推理预测，基于推理预测进一步得到伪标签样本，以及Teacher模型和Student模型各自依赖有标签样本和伪标签样本进行对比学习完成半监督训练过程，另外有标签样本和伪标签样本组合在一起形成训练数据集可以用于Student模型训练。因此，每个模型的半监督学习训练中，均能够通过优化交叉熵损失和对比学习损失来完成模型参数的优化，进而训练完成后的Student模型可以用于未标注样本的主动挖掘。

因此，只需要将集装箱残损缺陷类别形成多级多属性完整类别，并基于完整类别完成少量样本的标注，得到极少数量（比如个位数）的有标签数据，就能够利用这些有标签数据和无标签数据，基于教师模型和学生模型完成对比学习优化的半监督学习训练过程。

综上，由于是将这些偶发残损缺陷分成多个模型进行对比学习的半监督学习训练，使得各种缺陷能够被训练后的学生模型有效地挖掘，因而本申请基于半监督学习技术开发的集装箱偶发残损样本挖掘方案，适用于缺陷出现概率极低且难以收集到对应缺陷样本数据进行标注的深度学习训练应用场景。

需要说明的是，上述实现思路对偶发缺陷检测，具有高效、精准、自动化等优点，在工业应用中具有广泛的推广和应用前景，因而可以应用于海运、铁路、公路等需要针对偶发缺陷进行检测应用的多种物流领域，下文以集装箱偶发残损缺陷检测为示例进行说明。

以下结合附图，说明本申请各实施例提供的技术方案。

如图3所示，本说明书实施例提供一种集装箱偶发残损样本挖掘学习方法，包括：

步骤S202、获取预设的多级多属性类别。

针对集装箱偶发的缺陷类别，可以结合集装箱理货先验性知识，先进行多级多属性划分（参考前述图1示意），即集装箱残损类别按残损等级和残损属性，划分得到多级多属性类别，从而将这些类别不适合在同一个模型中进行分类的类别，可以通过多个模型分开训练后进行分类检测。具体地，用于样本标注的多级多属性类别，可以是能够覆盖集装箱残损检测实际需要而进行的分类划分得到，因而多级多属性类别划分，能够满足集装箱在不同场景下需要进行灵活设置、调整等实际应用需要。

在一些示例中，为了满足多级多类别集装箱残损识别的训练，可以将残损缺陷标注为以下13类缺陷：洞（H）、破损（B）、凹（D）、凸（BL）、变形（OE）、划伤（S）、铅封缺失（M）、脏污（O_DIRTY）、锈迹（O_RUST）、箱柱变形（OE_COLUMN）、门柱变形（OE_DOOR）、梁变形（OE_BEAM）、顶角变形（OE_HORN）等。

另外，为了在应用中实现多级预测，对残损缺陷程度进行识别，在设计标注规则时还额外增加了缺陷等级属性标注，具体定义为：非常重要等级，这时洞、破损、箱柱变形、门柱变形、梁变形、顶角变形、铅封缺失等可以归在该等级中；一般重要等级，凹、凸、箱体变形、划伤等可以归在该等级中；一般等级，脏污、锈迹等可以归在该等级中。

因此，通过进行多级多属性划分得到完整类别，旨在为通用集装箱场景定义完全的缺陷类型，使得其能适用于不同港口、不同时间段下的缺陷检测挖掘场景。另外，对于划分后的三个不同等级的缺陷等级属性分类，可以使用三个模型分开训练，每个模型更有针对性，因而整体框架更适用于残损缺陷类别极多的场景。

步骤S204、根据所述多级多属性类别对少量集装箱残损样本数据进行标注。其中，每个级别的每个属性类别有至少1个正例标记样本对应，并对应n个不同环境下采样的标记负例样本，共同组成初始训练样本集。

实施中，根据完整类别进行小批量标注，只要满足标注完所有类型的残损缺陷，使得每类标注有一到两个标记样本对应，就能够满足后期半监督训练需要。

在一些示例中，在标注前，还可以对采集的样本数据预处理，比如先收集大量的集装箱图像，然后对图像进行预处理，预处理可以包括调整图像大小、对比度增强等操作，便于预处理过的样本数据更加适合后续学习训练。

步骤S206、对每个级别残损对应的半监督学习模型进行半监督学习。其中，每个半监督学习模型基于自身对应的标记样本进行对比学习优化的半监督学习训练，对比学习优化的半监督采用教师模型和学生模型进行对比学习。

例如，前述示例中的完整类别归类为三大等级类别，因而可以使用三个基于对比学习优化的半监督学习模型进行训练。

对于多类别缺陷样本识别的集装箱图片，可以通过基于对比学习优化的半监督方法进行训练。

具体地，在半监督学习训练中，使用两个对比学习的模型：教师模型

参考图4示意，针对输入的图片数据，在基于完整类别完成少量样本的标注后，教师模型先对已经标记的有标注数据（即标记样本）进行训练，再对无标注数据（即未标记样本）进行伪标签推理预测，得到伪标签样本，使得伪标签样本可以用于学生模型的对比学习中。

需要说明的是，标记样本、伪标签样本、未标记样本等可以组合在一起，形成训练数据集，该训练数据集可以进一步用于学生模型的学习训练。

参考图5示意，带标注训练数据（即标记样本）和待挖掘数据（即未标注样本）作为测试数据集，学生模型在完成学习训练后，可以基于该测试数据集进行后续的推理与残损样本主动挖掘，关于主动挖掘在后问再展开说明。

在一些实施方式中，对比学习优化的半监督学习训练中，可以通过优化交叉熵损失函数来优化学习模型参数。

其中，交交叉熵损失函数定义为：

其中，

因此，通过对比学习中对交叉熵损失进行优化，可以优化教师模型、学生模型等模型参数。

在一些示例中，可以使用梯度下降法进行模型参数更新。

在一些实施方式中，对比学习优化的半监督学习训练中，即在使用伪标签样本对学生模型进行对比学习训练，除了优化上述交叉熵损失函数外，同时优化下面定义的对比学习损失函数，进而通过优化对比学习损失函数来优化学习模型参数。

其中，对比学习损失函数定义为：

其中，

因此，基于上述对比学习损失函数，通过选取样本特征，可以有效地完成对比学习优化，进而对后续用于样本挖掘的学生模型进行优化。

在一些实施方式中，在训练过程中，可以通过特征池进行特征存储、动态更新以及特征选取。

首先，在对比学习优化的半监督学习训练中，按照属性类别构建队列，组成属性类别对应的特征池，以便将模型预测得到的新样本更新入特征池；

然后，从特征池中选取正例样本

因此，通过按类别构建队列，为每个类别形成特定的特征池，方便了优化中样本特征从特征池中进行选取，也方面将训练中得到的样本特征加入到特征池进行动态更新，保证动态优化使用最新特征，实现半监督场景下特征优化。

在一些实施方式中，可以通过随机采样固定个数的方式，从特征池中选取正例样本和负例样本，简化样本特征选取方案，也方便对样本特征进行后续数据处理。

在一些实施方式中，对比学习优化的半监督学习训练过程中，训练完成的学生模型还可以用作教师模型，而且教师模型是基于标记样本进行伪标签样本推理预测，因而可以动态地调整教师模型的权重，保证教师模型能够学习到最新的特征知识。

具体地，当学生模型得到优化后，通过EMA（指数平均数指标）动态更新教师模型的权重。其中，按指数平均数指标公式动态更新教师模型在对比学习优化的半监督学习中的权重时，教师模型的权重按下式计算：

其中，

基于相同发明构思，本申请还在完成上述示例完成学生模型训练后，可以将学生模型用于样本主动挖掘，从而为集装箱应用深度学习模型时提供足量的样本数据进行训练。

参考图6示意，一种集装箱偶发残损样本挖掘方法，包括：

步骤S402、将多个集装箱残损标记样本Xi输入到学生模型中，利用学生模型获取出标记样本Xi对应的原型特征Mi。

其中，标记样本为根据多级多属性类别对少量样本数据进行标注得到的样本，每个级别的每个属性类别有至少1个标记样本对应，具体标记可以参考上述各个示例相关说明。

另外，多级多属性类别可以是为将集装箱残损分类类别按残损等级和残损属性划分得到，关于多级多属性类别的划分参考前述示例说明，不再赘述。

还有，学生模型可以是利用前述任意一项示例所述的集装箱偶发残损样本挖掘学习方法训练得到的学生模型，具体不再展开说明。

参考图5示意，带标注训练数据（记为

例如，当集装箱残损缺陷设置为13类时，由于该13类缺陷已经标注在对应的标记样本（即带标注训练数据），所以当前包含所有类别的残损图片输入到学生模型后，学生模型能够提取分类层前的特征，从而得到13个类别原型特征，记为M1至M13，将其储存起来作为类别的原型特征。

步骤S404、将未标记样本X输入到学生模型中，得到未标记样本X对应的预测特征Mx及置信度

当未标记样本X（即待挖掘数据）输入到学生模型后进行新样本推理，进而可以提取到未标记样本X对应的预测特征Mx及置信度

步骤S406、根据预测特征Mx及置信度

在获得未标记样本X对应的预测特征Mx及置信度

正如前述示例说明，由于是将集装箱偶发残损缺陷进行了多级多属性归类，并在多级多属性标记样本的对比学习训练下得到各个等级对应的模型，因而海量的待挖掘数据，可以利用多个模型进行样本推理，从而能够获得比较可靠的挖掘结果。

在新样本推理中，当预测特征Mx与原型特征Mi比较接近时，置信度

另外，即使不能够根据置信度

在一种示例中，若置信度

在一种示例中，若置信度

上述示例中，目标类别可以为多级多属性类别中的其中一类；预设阈值τ可以根据实际应用需要进行预设，不作限定。

进一步，相似度可以采用距离来衡量。因此，预测特征Mx与各个标记样本Xi对应的原型特征Mi之间的相似度计算，可以按特征距离计算。其中，特征距离计算公式为：

在一些实施方式中，上述各个示例中，未标记样本X可以进行弱数据增强再输入到学生模型，进一步提高模型挖掘准确性和效率。

综上，基于半监督学习的集装箱偶发残损样本挖掘，由于只需要少量标记样本，极大节约了标注成本，而且能够基于海量未标记数据进行样本推理挖掘，从而能够为集装箱应用深度学习模型提供足够训练数据。

基于相同发明构思，本申请还提供与前述方法示例对应的一种集装箱偶发残损样本挖掘学习装置。

参考图7示意，一种集装箱偶发残损样本挖掘学习装置，包括：

预处理模块701，获取预设的多级多属性类别，其中多级多属性类别为将集装箱残损分类类别按残损等级和残损属性，结合集装箱理货先验性知识划分得到的预设分类类别；

标记模块703，根据所述多级多属性类别对少量集装箱残损样本数据进行标注，其中每个级别的每个属性类别有至少1个正例标记样本对应，并对应n个不同环境下采样的标记负例样本，共同组成初始训练样本集；

学习模块705，对每个级别残损对应的半监督学习模型进行半监督学习，其中每个半监督学习模型基于自身对应的标记样本进行对比学习优化的半监督学习训练，对比学习优化的半监督采用教师模型和学生模型进行对比学习；

其中，半监督学习训练中，教师模型先基于标记样本进行训练，再对未标记样本进行伪标签推理预测得到伪标签样本，学生模型基于伪标签样本集进行对比学习训练。

可选地，学习模块705还用于优化交叉熵损失，进而更好地进行对比学习优化的半监督学习训练。

其中，对比学习优化的半监督学习训练中，交叉熵损失函数定义为：

其中，

可选地，学习模块705还用于优化对比学习损失，进而更好地进行对比学习优化的半监督学习训练。

其中，对比学习损失函数定义为：

其中，

可选地，所述集装箱偶发残损样本挖掘学习装置还包括：特征池模块（图中未示出），其中特征池模块用于：在对比学习优化的半监督学习训练中，按照属性类别构建队列，组成属性类别对应的特征池，以便将模型预测得到的新样本更新入特征池；以及，从特征池中选取正例样本和负例样本，并将选取出正例样本和负例样本优化交叉熵损失函数和/或对比学习损失函数。

可选地，特征池模块通过随机采样固定个数从特征池中选取正例样本和负例样本。

可选地，所述集装箱偶发残损样本挖掘学习装置还包括：权重调整模块（图中未示出），其中权重调整模块用于：按指数平均数指标公式动态更新教师模型在对比学习优化的半监督学习中的权重，教师模型的权重按下式计算：

其中，

可选地，上述任意一个示例中，多级多属性类别划分方案如下：

集装箱的残损属性划分为：穿洞、破损、凹陷、外凸、箱体变形、划伤、铅封缺失、脏污、锈迹、箱柱变形、门柱变形、梁变形、顶角变形；

残损等级划分为：重要等级、中等等级和一般等级，其中重要等级包含的属性分类有穿洞、破损、箱柱变形、门柱变形、梁变形、顶角变形、铅封缺失；中等等级包含的属性分类有凹陷、外凸、箱体变形、划伤；一般等级包含有的属性分类有脏污、锈迹。

基于相同发明构思，本申请还提供与前述方法示例对应的一种集装箱偶发残损样本挖掘装置。

参考图8示意，一种集装箱偶发残损样本挖掘装置，包括：

原型特征提取模块801，将多个集装箱残损标记样本Xi输入到学生模型中，利用学生模型获取出标记样本Xi对应的原型特征Mi；其中，标记样本为根据多级多属性类别对少量样本数据进行标注得到的样本，每个级别的每个属性类别有至少1个标记样本对应，多级多属性类别为将集装箱残损分类类别按残损等级和残损属性划分得到；学生模型为利用如本说明书中前述任意一项实施例所述的集装箱偶发残损样本挖掘学习方法训练得到的学生模型；

推理模块803，将未标记样本X输入到学生模型中，得到未标记样本X对应的预测特征Mx及置信度

类别输出模块805，根据预测特征Mx及置信度

可选地，根据预测特征Mx及置信度

若置信度

若置信度

其中，目标类别为多级多属性类别中的其中一类。

可选地，预测特征Mx与各个标记样本Xi对应的原型特征Mi之间的相似度按特征距离计算：

可选地，未标记样本X进行弱数据增强再输入到学生模型。

基于相同的发明构思，本说明书实施例提供一种电子设备及存储介质。

本说明书实施例提供一种电子设备，所述电子设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：如本说明书中任一项实施例所述集装箱偶发残损样本挖掘学习方法，或者如本说明书中任一项实施例所述集装箱偶发残损样本挖掘方法。

本说明书实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时，执行：如本说明书中任一项实施例所述集装箱偶发残损样本挖掘学习方法，或者如本说明书中任一项实施例所述集装箱偶发残损样本挖掘方法。

需要说明的是，所述计算机存储介质可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本申请还可以提供将数据处理实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行前述任意一个实施例所述方法中的若干步骤。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本申请中的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

本说明书中，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的实施例而言，描述比较简单，相关之处参见前述实施例的部分说明即可。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。