基于强化学习的水泥窑状况判别方法和装置、设备及介质

技术领域

本申请涉及强化学习技术领域，尤其涉及一种基于强化学习的水泥窑状况判别方法和装置、设备及介质。

背景技术

目前，随着人工智能技术的发展，在水泥工业制造中也应用了人工智能技术对水泥生产流程进行监控。在现时的水泥窑系统中配备了水泥自动控制监测系统，这些系统配有传统的机器学习方法建立的模型进对水泥窑中的状况进行判别。然而这些传统的机器学习特征处理以及建模方式存在一定的局限性。比如：面对水泥窑内各种大量且复杂数据参数特征，一般特征工程针对特定的信息时间段抽取诸如平均值、熵值等不同种类的特征信息，就每个特定的预测目标，累计形成相应的一维特征张量进行训练建模和目标预测。

但是，此类特征处理方式常常在一定程度过滤掉时间段如波动、参数间相互作用等有效信息，同时因为特征转换而引入干扰，导致传统如神经网络模型的机器学习方法对水泥窑状况判别效果不理想。另外，传统的机器学习方法所搭建的模型由于算法可能带来的局限，对于样本分布不均衡的情况表现欠佳。即便在训练模型时提升稀缺类别的权重、或在抽取训练样本时通过欠采样和过采样的方法使各类别样本的数量平衡化，训练好的模型也可能在分类测试中因为训练与实际情况中的不同类样本分布偏差而影响到分类的准确度和稳定性。综上所述，传统机器学习方法就自动化生产系统运行状况的判断能力有很大的提升空间。

发明内容

本申请实施例的主要目的在于提出一种基于强化学习的水泥窑状况判别方法和装置、设备及介质，旨在提高水泥窑状况判别的准确性。

为实现上述目的，本申请实施例的第一方面提出了一种基于强化学习的水泥窑状况判别方法，应用于服务端，所述服务端包括水泥窑状况判别模型，所述水泥窑状况判别模型包括经验池，所述方法包括以下步骤：

获取训练样本集，所述训练样本集包括多个状态数据以及与所述状态数据对应的正确水泥窑状况；

从所述训练样本集获取当前状态数据，并将所述当前状态数据输入水泥窑状况判别模型，得到与所述当前状态数据对应的预测水泥窑状况；

根据所述预测水泥窑状况和所述正确水泥窑状况确定赏罚反馈值和第一损失函数值；

将所述当前状态数据、所述预测水泥窑状况、所述赏罚反馈值以及下一个状态数据组成交互对，将所述交互对存入所述经验池；

随机从所述经验池抽取多个所述交互对，根据多个所述交互对确定所述水泥窑状况判别模型的第二损失函数值，并根据所述第一损失函数值和所述第二损失函数值更新所述水泥窑状况判别模型以获得目标水泥窑状况判别模型；

根据所述目标水泥窑状况判别模型对待判别水泥窑状况数据进行判别，得到目标水泥窑状况。

在本申请一些可能的实施例，所述从所述训练样本集获取当前状态数据，并将当前状态数据输入水泥窑状况判别模型，得到与当前状态数据对应的预测水泥窑状况，包括：

获取随机阈值和随机基准系数以进行比较，其中，所述随机基准系数根据所述水泥窑状况判别模型得到，用于表示所述水泥窑状况判别模型的自主控制概率；

当所述随机基准系数小于所述随机阈值，对所述当前状态数据进行特征提取，得到第一特征向量；

根据所述第一特征向量进行概率计算，得到第一赏罚反馈预测总值，其中，所述第一赏罚反馈预测总值对应所述下一个状态数据；

获取所述当前状态数据的赏罚反馈预估值；

根据所述赏罚反馈预估值和所述第一赏罚反馈预测总值确定所述预测水泥窑状况。

在本申请一些可能的实施例，所述赏罚反馈预估值和所述第一赏罚反馈预测总值确定所述预测水泥窑状况，包括：

根据所述赏罚反馈预估值和所述第一赏罚反馈预测总值确定与所述当前状态数据对应的多个第二预测赏罚反馈总值；

将最大所述第二预测赏罚反馈总值对应的水泥窑状况确定为所述预测水泥窑状况；

其中，所述第二预测赏罚反馈总值的计算公式如下：

Q

其中，所述Q*(s，a)表示第二赏罚反馈预测总值，所述第二赏罚反馈预测总值表示所述当前状态数据对应的赏罚反馈预测总值；

所述r

所述γ表示折扣系数；

所述E

所述Q

所述max

在本申请一些可能的实施例，所述根据所述预测水泥窑状况和所述正确水泥窑状况确定赏罚反馈值，通过以下公式实现：

其中，所述R(s

所述s

所述a

所述l

所述λ表示已判别的所述状态数据中所有判别错误的所述状态数据的占比；

所述τ表示根据所述经验池中所有所述交互对得到的错判经验系数。

在本申请一些可能的实施例，根据所述预测水泥窑状况和所述正确水泥窑状况确定所述第一损失函数值，通过以下公式实现：

其中，所述

所述

所述t

在本申请一些可能的实施例，所述根据多个所述交互对确定所述水泥窑状况判别模型的第二损失函数值，通过以下公式实现：

其中，所述L(θ

所述y表示真实赏罚总值；

所述Q(s，a；θ

所述B表示所述经验池；

所述(s，a，R，s′)表示从所述经验池中随机抽取的交互对；

所述s′表示所述下一个状态数据；

所述θ

在本申请一些可能的实施例，在获取随机阈值和随机基准系数以进行比较之后，所述方法还包括：

当所述随机基准系数大于所述随机阈值，随机将所有水泥窑状况中的一个确定为所述预测水泥窑状况。

为实现上述目的，本申请实施例的第二方面提出了一种基于强化学习的水泥窑状况判别装置，所述装置包括：

训练样本集获取模块，用于获取训练样本集，所述训练样本集包括多个状态数据以及与所述状态数据对应的正确水泥窑状况；

水泥窑状况预测模块，用于从所述训练样本集获取当前状态数据，并将当前状态数据输入水泥窑状况判别模型，得到与当前状态数据对应的预测水泥窑状况；

赏罚反馈值模块，用于根据所述预测水泥窑状况和所述正确水泥窑状况确定赏罚反馈值和第一损失函数值；

经验池存储模块，用于将所述当前状态数据、所述预测水泥窑状况、所述赏罚反馈值以及下一个状态数据组成交互对，将所述交互对存入所述经验池；

水泥窑状况判别模型更新模块，用于随机从所述经验池抽取多个所述交互对，根据多个所述交互对确定所述水泥窑状况判别模型的第二损失函数值，并根据所述第一损失函数值和所述第二损失函数值更新所述水泥窑状况判别模型以获得目标水泥窑状况判别模型；

目标水泥窑状况判断模块，用于根据所述目标水泥窑状况判别模型对待判别水泥窑状况数据进行判别，得到目标水泥窑状况。

为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本申请提出的一种基于强化学习的水泥窑状况判别方法、装置、电子设备及存储介质，其通过获取包括多个状态数据以及与状态数据对应的正确水泥窑状况在内的训练样本集，在训练样本集中获取当前状态数据，将当前状态数据输入水泥窑状况判别模型，通过水泥窑状况判别模型得到当前状态数据对应的预测水泥窑状况，根据得到的预测水泥窑状况和训练样本集中的正确水泥窑状况确定赏罚反馈值和第一损失函数值，然后将当前状态数据、预测水泥窑状况、赏罚反馈值以及下一个状态数据组成交互对并存入经验池，然后随机从经验池抽取多个交互对，根据多个交互对确定水泥窑状况判别模型对应的第二损失函数值，并根据第一损失函数值和第二损失函数值更新水泥窑状况判别模型以获得目标水泥窑状况判别模型，通过目标水泥窑状况判别模型对待判别水泥窑状况数据进行判别，得到目标水泥窑状况。通过根据随机抽取交互对得到的第二损失函数值结合第一损失函数值更新模型，以随机以往训练经验提高模型对广泛数据的判别能力，降低过度关注当前训练结果的误差而导致模型陷入局部最优解的概率，提高模型判别水泥窑状况的准确性和稳定性。

附图说明

图1是本申请实施例提供的一种基于强化学习的水泥窑状况判别方法的步骤示意图；

图2是图1中步骤S102的子步骤示意图；

图3是图1中步骤S205的子步骤示意图；

图4是图1中步骤S102的分支子步骤示意图；

图5是本申请实施例提供的一种基于强化学习的水泥窑状况判别装置的结构示意图；

图6是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(artificial intelligence，Al)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

深度强化学习网络模型(Deep Q Network，DQN)：将深度学习与强化学习结合起来从而实现从感知(Perception)到动作(Action)的端对端(End-to-end)学习的一种全新的算法，在普通的Q-Learning中，当状态和动作空间是离散且维数不高时可使用Q-Table储存每个状态动作对的Q值，而当状态和动作空间是高维连续时，使用Q-Table不现实，而深度神经网络可以自动提取复杂特征，其本质是将卷积神经网络(CNN)和Q-Learning结合起来，CNN的输入是原始数据(作为状态State)，输出则是每个动作Action对应的价值评估ValueFunction(Q值)。

Adam算法(Adam optimization algorithm)：一种可以替代传统随机梯度下降过程的一阶优化算法，算法本质是适应性梯度算法(AdaGrad)和均方根传播算法(RMSProp)结合在一起，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，使深度学习模型调参相对简单默认参数就可处理大部分的问题。

目前，随着人工智能技术的发展，在水泥工业制造中也应用了人工智能技术对水泥生产流程进行监控。在现时的水泥窑系统中配备了水泥自动控制监测系统，这些系统配有传统的神经网络模型进对水泥窑中的状况进行判别。

然而这些传统的神经网络模型存在一定的局限性，面对水泥窑各种大量且复杂数据特征，传统的神经网络模型由于自身训练局限性会有一定的偏向性，对于样本分布不均衡的样本集，传统的神经网络模型为了针对不同种类情况的判别通过而抽取该种类情况对应诸如平均值、熵值等特征信息形成一维张量集合进行状况判别训练，抽取的特征信息会一定程度忽略或者过滤原始信息和原始信息之间存在的关联，并且为了实现忽略或者过滤这些关联信息会将抽取的特征信息进行变量转换，得到新的变量有可能会从而引入干扰，这些因素综合起来使得训练得到的传统的神经网络模型对于水泥窑状况判别不理想，这些传统的神经网络模型对于在实际情况中水泥窑错综复杂的数据样本分布偏差，由于样本分布问题带来的偏向性会影响到模型判别状况的准确度和稳定性，训练好的模型会因为训练与实际情况中的不同类样本分布偏差而影响到水泥窑状况判别的准确度和稳定性，导致水泥自动控制监测系统后续的调控动作错误。

基于此，本申请实施例提供了一种基于强化学习的水泥窑状况判别方法和装置、设备及介质，旨在提高水泥窑状况判别的准确性。

本申请实施例提供的一种基于强化学习的水泥窑状况判别方法和装置、设备及介质，具体通过如下实施例进行说明，首先描述本申请实施例中一种基于强化学习的水泥窑状况判别方法和装置、设备及介质。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，Al)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的基于强化学习的水泥窑状况判别方法，涉及人工智能技术领域。本申请实施例提供的基于强化学习的水泥窑状况判别方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现基于强化学习的水泥窑状况判别方法的应用等，但并不局限于以上形式。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

请参见图1，图1为本申请实施例提供的一种基于强化学习的水泥窑状况判别方法的步骤示意图，图1中的方法应用于服务端，所使用的水泥窑状况判别模型设置于所说的服务端，并且水泥窑状况判别模型设置有经验池，图1中的方法可以包括但不限于包括步骤S101至步骤S106。

步骤S101，获取训练样本集。

应该理解的是，这里的训练样本集包括多个状态数据以及与状态数据对应的正确水泥窑状况。

应该理解的是，这里的状态数据的具体内容针对特定时间段，在特定时间段的状态数据可以显示具体的状态数据在该特定时间段内的数据波动，该数据波动表示在该特定时间段水泥窑状况的变化规律，表征了原始信息和原始信息之间存在的关联。

应该理解的是，这里的状态数据类型是多样的，示例性的，如氨水用量、二次风温、窑电流、窑尾烟室温度等，本领域技术人员可以根据实际情况选择具体的类型的数据作为状态数据，本申请对此不作限定。

应该理解的是，这里的特定时间段是多样的，示例性的，如过去1小时内、过去30分钟内，本领域技术人员可以根据实际需要确定具体的预定时间，本申请对此不作限定。

应该理解的是，这里的正确水泥窑状况指的是水泥窑在时刻下实际状况，本申请的方法即通过状态数据通过神经网络模型进行水泥窑状况判别，使水泥窑状况判别结果接近实际状况甚至与实际状况相同。

应该理解的是，这里的水泥窑状况是多样的，示例性的，如一级状况，二级状况、三级状况和四级状况，再如状况好、状况一般和状况差，本领域技术人员可以根据实际情况定义水泥窑状况类型，本申请对此不作限定。

步骤S102，从训练样本集获取当前状态数据，并将当前状态数据输入水泥窑状况判别模型，得到与当前状态数据对应的预测水泥窑状况。

应该理解的是，这里的当前状态数据是一种统称，指的是需要预测某一时刻水泥窑状况，距离该时刻预设时间段内的以往某一时刻对应的状态数据，输入水泥窑状况判别模型的形式是多样的，预设时间段的长度是多样的，本领域技术人员可以根据实际情况选择具体输入形式输入水泥窑状况判别模型和设定预设时间段的长度，本申请对此不作限定。

应该理解的是，这里的当前状态数据的类型是多样的，示例性的，如氨水用量和二次风温，再如窑电流、窑尾烟室温度和铝硅含量，本领域技术人员可以根据实际需要获取对应的一个或多个状态数据作为当前状态数据，本申请对此不作限定。

在本申请一些可能的实施例，是以三维张量的形式输入水泥窑状况判别模型，这里的三维张量由样本量，当前状态数据，以及所有当前状态数据形成的预定时间内的窑况走势组成，这里的窑况走势指的是每种具体状态数据形成的数据走势，根据各个当前状态数据中同类型的具体数据获取，举例而言，如判断14时16分的水泥窑状况，预设时间段长度为一小时，当前状态数据包括窑尾烟室温度，则关于窑尾烟室温度的窑况走势则根据13时17分至14时16分各时刻对应的窑尾烟室温度形成窑尾烟室温度走势，再如当前状态数据包括窑电流，则关于窑电流的窑况走势则根据13时17分至14时16分各时刻对应的窑电流形成窑电流走势。

应该理解的是，这里的水泥窑状况判别模型使用的是深度强化学习网络模型DQN，该模型利用奖赏机制使模型偏向已有的判别经验从而使模型准确判别水泥窑状况，具体地，根据每个当前状态数据进行判别，并对输出判别结果进行评分并积累评分结果，当判断正确则增加分数，当判断错误则扣除分数，使模型跟类如人获取正向反馈一般，以获得更多奖赏的方式，使判别结果更具偏向性。

在本申请一些可能的实施例，这里的深度强化学习模型DQN内部添加Adam算法限制模型梯度迭代，防止模型迭代爆炸，使迭代梯度收敛。

步骤S103，根据预测水泥窑状况和正确水泥窑状况确定赏罚反馈值和第一损失函数值。

应该理解的是，这里的赏罚反馈值指的是根据一次当前状态数据进入水泥窑状况判别模型，得到预测水泥状况结果的评分，而不是多次状态数据判别后对整个训练阶段的整体分数。

应该理解的是，这里的赏罚反馈值的获取方式是多样的，示例性的，如正确判别和错误判别分别设定一个分数值，再如，根据当前状态数据的复杂程度设定不同的分数值，本领域技术人员可以根据实际情况设定具体赏罚反馈值，本申请对此不作限定。

在本申请一些可能的实施例，结合过往训练错判的经验设定针对性的赏罚反馈值，具体通过以下公式实现：

应该理解的是，这里的R(s

应该理解的是，这里的已判别的状态数据中所有判别错误的状态数据的占比存在两种情况，一是整个样本集进行第一次判别，判别错误对于样本集中已判状态数据的占比，示例性的，如样本集有100个数据，对整个样本集第一次判别完成后，第一个数据是A数据，A数据判别错误，第二个数据是B数据，判别正确，第三个数据是C数据，那么对于C数据而言，此时λ为1/2；二是对样本集多次判别，某些数据在某一次判别中正确，在另一次判别错误，同样也算入占比，示例性的，如样本集有100个数据，对整个样本集第一次判别完成后，只有A数据判别错误，则此时λ为1/100，对整个样本集第二次判别，第二次判别的第一个数据是B数据，此时λ为1/100，B数据判别正确，第二次判别的第二个数据是C数据，此时λ为1/101。

应该理解的是，这里的交互对指的是以往训练中存取经验的存取形式，以往训练过程中的训练经验存储于经验池以用于后续的训练评分，具体获取方式可以参照下面叙述的步骤S104。

应该理解的是，这里的错判经验系数的确定方式是多样的，示例性的，如利用某一状况的错判率作为错判经验系数——状况好、状况一般和状况差三种情况，在经验池有50个以往训练的当前状态数据，水泥窑正确状况是状况差的当前状态数据是25个，这些当前状态数据最后有10个判断错误，那么这里的错判经验系数为0.4；再如将所有状况的错判率之和或加权之和作为错判经验系数；再如错判系数或者错判经验数目达到预定阈值，给出特定的错判系数——10次错判时错判经验系数为0.1，20次错判时错判经验系数为0.3等，本领域技术人员可以根据实际情况设定具体的错判经验系数，本申请对此不作限定。

在本申请的一些实施例，这里的错判经验系数根据经验池中，同种水泥窑状况对应的所有当前状态数据判别结果获得，因此每次输入当前状态数据对应的错判经验系数都经过经验池积累的判别结果进行更新，即每次输入当前状态数据对应的错判经验系数都不同，举例而言，样本集有100个状态数据，状况好、状况一般和状况差分别有50个、25个和25个，在经验池未满的情况下，经验池已有50个以往训练的当前状态数据，水泥窑正确状况是状况差的当前状态数据是25个，水泥窑正确状况是状况差的当前状态数据是20个，水泥窑正确状况是状况一般的当前状态数据是5个，这些状况差的当前状态数据最后有10个判断错误，这些状况好的当前状态数据最后有5个判断错误，这些状况一般的当前状态数据没有判断错误，则这里的错判经验系数根据15个错判结果获取。具体地，错判经验系数在不同训练回合中不同，并与样本集中的每种水泥窑状况对应的样本量有关，每种水泥窑状况对应的样本量不同，对应的λ也不同。随着经验池中交互对的增多，错判经验系数也会不同，每进行一个训练回合，经验池就会改变，下一个训练回合就会根据上一个训练回合更新后的经验池更新错判经验系数。更具体地，错判经验系数根据以下公式确定：

其中，这里的τ表示根据经验池中所有交互对得到的错判经验系数，这里的τ

接上述举例，假设此时经验池容量已满，数量为100个，其中共包含40个错判结果，τ

本申请实施例中通过采用采取错判经验系数决定赏罚反馈值，减少模型判别倾向局部最优解的概率，通过结合不同类别的状况对应的错判经验，提高赏罚反馈值差异以提高模型的自适应能力。

本申请实施例中通过采用经验池与DQN深度强化学习模型结合，基于DQN自主学习的能力，使得本申请实施例的水泥窑状况判别模型在不需要对样本集进行标注的情况下对状态数据的自主学习，根据水泥窑状况判别模型对最大赏罚反馈值的趋向，自主“发现”判别规律，相较于传统神经网络模型，减少了由于样本标注带来的模型判别偏向性，在此基础上加入经验池获取模型判别的经验，优化模型中的相关判别函数，提高正确结果的计算概率以此提高模型的自主学习能力；由于经验池与DQN深度强化学习模型结合，使得水泥窑状况判别模型具有自主学习能力的同时，也有“自我纠正”的能力，使水泥窑状况判别模型能够适用于对更复杂的状态数据进行状况判别，提高了水泥窑状况判别模型对于不同复杂环境的适应性，以及在不同复杂环境下的自主学习能力，减少水泥窑状况判别模型对于训练样本的偏向，提高了水泥窑状况判别模型的稳定性，并且通过每进行一次状况判别对于经验池的不断更新，提高水泥窑状况判别模型在更复杂环境下对于更复杂的状态数据的判别准确率。

在本申请一些可能的实施例，为了进一步减少模型判别倾向局部最优解的概率，设置赏罚反馈值阈值对赏罚反馈值进行抑制，当赏罚反馈值超过赏罚反馈阈值时，将赏罚反馈值阈值作为赏罚反馈值。

应该理解的是，这里的第一损失函数值指的是对于预测水泥窑状况和正确水泥窑状况的损失函数值，其获取第一损失函数值的具体方式是多样的，示例性的，如softmax损失函数、相对熵损失函数等，本领域技术人员可以根据实际需要确定具体的第一损失函数值计算公式，本申请对此不作限定。

在本申请一些可能的实施例，根据预测水泥窑状况和正确水泥窑状况确定第一损失函数值，通过以下公式实现：

应该理解的是，这里的

步骤S104，将当前状态数据、预测水泥窑状况、赏罚反馈值以及下一个状态数据组成交互对，将交互对存入经验池。

应该理解的是，这里的下一个状态数据是当前状态数据对应的时刻的下一时刻的状态数据，举例而言，判断14时16分的水泥窑状况，预设时间段为一小时，将13时17分至14时16分中每一分对应的状态数据为当前状态数据，根据60个三维张量判断得到14时16分的当前状态数据对应的预测水泥窑状况，此时14时17分的当前状态数据作为下一个状态数据，根据14时16分的当前状态数据，14时16分的当前状态数据对应的预测水泥窑状况，预测水泥窑状况对应得到的赏罚反馈值以及14时17分的当前状态数据形成交互对，将这个交互对存入经验池。

应该理解的是，这里的交互对的形式是多样的，示例性的，如以类如“[14℃，状况好，1.2分，18℃]”的准确的数据形式形成交互对，再如在模型中转化为响应的独热编码的形式进行存储，本领域技术人员可以根据实际需要选择具体的交互对形式，本申请对此不作限定。

应该理解的是，这里的经验池的容量是有限的，在交互对的数量达到经验池的容量阈值时，新的交互对会正常存储进经验池，经验池中最早存入的交互对会被新的交互对取代，提高了第二损失函数值随机性以此提高模型的稳定性。随着对于样本判别的进行，水泥窑状况判别模型对于状况判别的准确率会提高，经验池中的交互对中，状况判别正确的交互对的比例会愈发增大，状况判别错误的交互对的比例会愈发减小。

步骤S105，随机从经验池抽取多个交互对，根据多个交互对确定水泥窑状况判别模型的第二损失函数值，并根据第一损失函数值和第二损失函数值更新水泥窑状况判别模型以获得目标水泥窑状况判别模型。

应该理解的是，这里的随机抽取的方式是多样的，示例性的，如从预设时间段中随机抽取该时间段中的一些交互对，再如随机抽取随机数目的交互对，再如每种水泥窑状况都随机抽取一定比例的交互对，本领域技术人员可以根据实际情况选择具体的随机抽取方式，本申请对此不作限定。

应该理解的是，这里第二损失函数值指的是对于真实赏罚反馈总值和赏罚反馈预测总值的损失函数值，获取第二损失函数值的具体方式是多样的，示例性的，如softmax损失函数、相对熵损失函数等，本领域技术人员可以根据实际需要确定具体的第二损失函数值计算公式，本申请对此不作限定。

在本申请一些可能的实施例，根据多个交互对确定水泥窑状况判别模型的第二损失函数值，通过以下公式实现：

应该理解的是，这里的L(θ

应该理解的是，这里更新水泥窑状况判别模型无法直接得到目标水泥窑况判别模型，更新后的水泥窑状况判别模型满足预设的训练结束条件后，才能将当前更新的水泥窑状况判别模型作为水泥窑状况判别模型。

应该理解的是，这里的预设的训练结束条件是多样的，示例性的，如训练次数限制，再如判别准确率达到预设阈值，本领域技术人员可以根据实际情况设定具体的训练结束条件，本申请对此不作限定。

在本申请一些可能的实施例，为了使目标水泥窑状况判别模型处于过拟合和欠拟合之间的平衡以提高模型的稳定性，采用设定训练步数阈值的方式作为训练结束条件以及基于所有训练回合得到最大赏罚反馈值之和进行参数调整。具体地，设定训练步数使水泥窑状况判别模型在每一个训练步中更新一次神经网络参数，在一个训练步中更新的神经网络参数会相对提高水泥窑状况判别模型在下一个训练步包含的训练回合中的判别能力。

通过设定训练步数阈值的方式，限定了水泥窑状况判别模型的的学习量，既减少了水泥窑状况判别模型由于学习不足带来的判别不准确的情况，也减少了由于学习过多使得水泥窑状况判别模型的准确率带有偏向趋势以减少目标水泥窑状况判别模型对样本集判别准确率高而对实际复杂情况的判别准确率低；同时训练步数阈值限定了水泥窑状况判别模型的学习量，在保证目标水泥窑状况判别模型高判别准确率的前提下，节省了计算资源以及控制训练时间，有利于目标水泥窑状况判别模型快速投入实际使用。

应该理解的是，这里的最大赏罚反馈值之和满足以下公式：

其中，这里的gt指的是所有训练回合得到最大赏罚反馈值之和，这里的k表示当前训练回合数，这里r

在本申请一些可能的实施例，为了检验训练结束后得到的目标水泥窑状况判别模型对于样本集以外的水泥窑状态数据的判断准确率，预先准备的测试集对目标水泥窑状况判别模型进行测试，测试集中每种水泥窑状况对应的测试样本数量相同，将每个测试样本输入目标水泥窑状况判别模型进行测试，记录每个测试样本的判断结果，根据所有测试样本的判断结果得到测试准确率，当测试准确率大于或等于预设测试准确率阈值，示例性的，如测试准确率大于80％，则表示目标水泥窑状况判别模型的判别能力达到训练要求，当测试准确率小于预设测试准确率阈值，则表示目标水泥窑状况判别模型的判别能力未达到训练要求，则将当前的目标水泥窑状况判别模型再次作为水泥窑状况判别模型以调整参数、内部神经网络结构等进行调整，再预设的训练步数进行训练，直至得到的目标水泥窑状况判别模型的测试准确率大于或等于预设测试准确率阈值。当训练结束后或者调整结束的水泥窑状况判别模型对测试集进行测试，得到的测试准确率大于或等于预设测试准确率阈值，此时将这个水泥窑状况判别模型作为目标水泥窑状况判别模型，得到的目标水泥窑状况判别模型通过一定的部署设计可以进入更复杂的环境进行状况判别，如接入工厂实时系统，目标水泥窑状况判别模型会对不同的状态数据判别，并将这些状态数据以及判别结果也加入经验池，进一步提高目标水泥窑状况判别模型判别状况的准确率。

应该理解的是，目标水泥窑状况判别模型设置有包括展平层和多个全连接层等多层感知结构，当目标水泥窑状况判别模型对于样本集中的水泥窑状态数据过于拟合，导致目标水泥窑状况判别模型对样本集以外的水泥窑状态数据的判别准确率较低，需要在全连接层和全连接层之间加入防止过度拟合的dropout层以调整目标水泥窑状况判别模型对样本集以外的水泥窑状态数据的判别能力。

在本申请的一些实施例，全连接层采用Relu函数作为激活函数，输入展平层的特征向量通过Relu激活函数、权重参数和偏置量参数对展平后的特征向量进行一维化，每个全连接层的输入为上一个全连接层的输出，比如第一个全连接层输出o1＝relu(w1*v+b1)，其中wn为权重、bn为偏置量，n＝1、2、3、…，同理，然后经由第二个全连接层会输出o2＝relu(w2*o1+b2)，最后将特征向量一维化后，由一层softmax层根据一维化后的特征向量得到每种水泥窑状况的概率以得到分类输出，根据概率得到判别结果。当目标水泥窑状况判别模型对于样本集中的水泥窑状态数据过于拟合，在这些包含Relu函数的全连接层之间添加dropout层进行调节。

步骤S106，根据目标水泥窑状况判别模型对待判别水泥窑状况数据进行判别，得到目标水泥窑状况。

应该理解的是，这里的待判别水泥窑状况数据可以与步骤S101中样本集内的状态数据相同，也可以不同，本申请对此不作限定。

应该理解的是，这里的目标水泥窑状况判别模型对待判别水泥窑状况数据进行判断，得到的目标水泥窑状况以步骤S104的方式组成交互对存入经验池中，当待判别水泥窑状况数据与步骤S101中样本集中的状态数据不同，错判经验系数页会改变，进一步优化了目标水泥窑状况模型的判别水泥窑状况的能力。

本申请提出的一种基于强化学习的水泥窑状况判别方法、装置、电子设备及存储介质，其通过获取包括多个状态数据以及与状态数据对应的正确水泥窑状况在内的训练样本集，在训练样本集中获取当前状态数据，将当前状态数据输入水泥窑状况判别模型，通过水泥窑状况判别模型得到当前状态数据对应的预测水泥窑状况，根据得到的预测水泥窑状况和训练样本集中的正确水泥窑状况确定赏罚反馈值和第一损失函数值，然后将当前状态数据、预测水泥窑状况、赏罚反馈值以及下一个状态数据组成交互对并存入经验池，然后随机从经验池抽取多个交互对，根据多个交互对确定水泥窑状况判别模型对应的第二损失函数值，并根据第一损失函数值和第二损失函数值更新水泥窑状况判别模型以获得目标水泥窑状况判别模型，通过目标水泥窑状况判别模型对待判别水泥窑状况数据进行判别，得到目标水泥窑状况。通过根据随机抽取交互对得到的第二损失函数值结合第一损失函数值更新模型，以随机以往训练经验提高模型对广泛数据的判别能力，降低过度关注当前训练结果的误差而导致模型陷入局部最优解的概率，提高模型判别水泥窑状况的准确性和稳定性。

请参见图2，图2为图1中步骤S102的子步骤示意图。在本申请一些可能的实施例，步骤S102包括但不仅限于以下实施例。

步骤S201，获取随机阈值和随机基准系数以进行比较。

应该理解的是，这里的随机基准系数根据水泥窑状况判别模型得到，是一个衰减值，水泥窑状况判别模型在每次训练中，随机基准系数不相同，用于表示水泥窑状况判别模型的自主控制概率。

应该理解的是，这里的随机基准系数在小于预设的随机基准系数阈值时，随机基准系数为随机基准系数阈值。

应该理解的是，这里的随机阈值并不是预设值，而是在预设数值区间中的一个随机生成的数值，与任何因素无关，用于表示水泥窑状况判别模型的自主控制能力。

具体地，当随机基准系数小于随机阈值，则表示水泥窑状况判别模型具备自主控制能力，此时表明水泥窑状况判别模型可以根据当前状态数据进行状态判别，当随机基准系数大于随机阈值，则表示水泥窑状况判别模型不具备自主控制能力，此时表明水泥窑状况判别模型不可以根据当前状态数据进行状态判别并进行随机判别，当随机基准系数为随机基准系数阈值时，则证明表明水泥窑状况判别模型经过足够的训练可以对大部分的状态数据进行较为准确的状态判别。而随机基准系数会衰减，水泥窑状况判别模型每进行一次状况判别，随机基准系数都会衰减一次，直至衰减至一个预设的最小值。

应该理解的是，这里的随机基准系数的衰减形式是多样的，示例性的，如按照当前判别准确与否进行特定的衰减，再如按照预定系数进行衰减，本领域技术人员可以根据实际情况去欸的那个随机基准系数的衰减形式，本申请对此不作限定。

在本申请一些可能的实施例，随机基准系数基于线性退火(linear annealed)策略进行线性衰减，水泥窑状况判别模型每进行一次状况判别，随机基准系数都会基于线性退火策略进行迭代，以使随机基准系数衰减，基于线性退火策略，随机基准系数的衰减率满足以下公式：

应该理解的是，这里的E表示随机基准系数的衰减率，并且，E∈[0.01，1]，这里的KT表示水泥窑状况判别模型的衰减步数，衰减步数小于或等于训练步数，这里的E

步骤S202，当随机基准系数小于随机阈值，对当前状态数据进行特征提取，得到第一特征向量。

应该理解的是，这里的第一特征向量是作为概率计算的最简向量，其获取形式是多样的，示例性的，如经过水泥窑状况判别模型的池化层和展平层得到已降维的向量，也可以是作为直接对当前状态数据进行卷积得到状态特征对应的向量，本领域技术人员可以根据水泥窑状况判别模型的维度选择合适的方式得到第一特征向量，本申请对此不作限定。

步骤S203，根据第一特征向量进行概率计算，得到第一赏罚反馈预测总值。

应该理解的是，这里的第一赏罚反馈预测总值对应下一个当前状态数据，模型根据第一特征向量预测得到下一个当前状态数据形成的判别结果，根据这个判别结果所得到的下一个赏罚反馈值，利用所说的下一个赏罚反馈值进行累加得到第一赏罚反馈预测总值。

在本申请一些可能的实施例，水泥窑状况判别模型对当前状态数据进行二位卷积以实现第一特征向量的提取，将提取得到第一特征向量通过包含类如Relu激活函数的激活函数层对第一特征向量进行非线性变换，将非线性变换后的第一特征向量通过池化层进行数据降维以得到低维特征向量，将低维特征向量输入展平层进行数据展平，并展平后的特征向量输入包含Relu激活的全连接层，在多层的全连接层中，通过Relu激活函数、权重参数和偏置量参数对展平后的特征向量进行一维化，将一维化后得到的数据输入分类层得到概率分布计算得到每个水泥窑状况对应的概率，根据概率得到第一赏罚反馈预测总值。

步骤S204，获取当前状态数据的赏罚反馈预估值。

应该理解的是，这里的赏罚反馈预估值是一种统称，指的是当前状态数据输入水泥窑状况判别模型后，根据当前状态数据判别为各种水泥窑状况时对应可以获取的赏罚反馈值，示例性的，如当前状态数据对应的水泥窑正确状况为状态好，判别状态好可以获得的赏罚反馈值为1，判别状态一般和状态差可以获得的赏罚反馈值为0，根据这些判别可获得赏罚反馈值分别结合各种水泥窑状况对应的第一赏罚反馈预测总值进行状态判别。

步骤S205，根据赏罚反馈预估值和第一赏罚反馈预测总值确定预测水泥窑状况。

应该理解的是，在深度强化学习模型DQN中，这里的确定方式指的是根据赏罚反馈预估值和第一赏罚反馈预测总值得到的赏罚反馈预测总值，即第二赏罚反馈预测总值，这里的第二赏罚反馈预测总值是一种统称，与当前状态数据相对应，每种水泥窑状况都有一个对应的第二赏罚反馈预测总值，将第二赏罚反馈预测总值中最大的第二赏罚反馈预测总值确定为预测水泥窑状况。

应该理解的是，这里的根据赏罚反馈预估值和第一赏罚反馈预测总值得到第二赏罚反馈预测总值是多样的，示例性的，如第二赏罚反馈预测总值为赏罚反馈预估值和第一赏罚反馈预测总值加权之和，示例性的，再如第二赏罚反馈预测总值根据赏罚反馈预估值和第一赏罚反馈预测总值对照预设的第二赏罚反馈预测总值分数表得到，本领域技术人员可以根据实际情况选择合适的方式根据赏罚反馈预估值和第一赏罚反馈预测总值得到的赏罚反馈预测总值，本申请对此不作限定。

请参见图3，图3为图2中步骤S205的子步骤示意图。在本申请一些可能的实施例，步骤S205的子步骤包括但不仅限于以下子步骤。

步骤S301，根据赏罚反馈预估值和第一赏罚反馈预测总值确定与当前状态数据对应的得到多个第二预测赏罚反馈总值。

具体地，通过以下公式确定第二赏罚反馈预测总值：

Q

应该理解的是，这里的Q

步骤S302，将最大第二预测赏罚反馈总值对应的水泥窑状况确定为预测水泥窑状况。

请参见图4，图4为图1中步骤S102的分支子步骤示意图。在本申请一些可能的实施例，在步骤S201之后，包括但不仅限于以下子步骤：

步骤S401，当随机基准系数大于所述随机阈值，随机将所有水泥窑状况中的一个确定为预测水泥窑状况。

应该理解的是，这里的随机确定方式指的是不通过模型中任何因素的影响，在所有的水泥窑状况中，将随机一个水泥窑状况确定为预测水泥窑状况，每种水泥窑状况被选中的概率相同。

在本申请实施例中，第一损失函数公式、第二损失函数公式以及第二赏罚反馈预测总值的计算公式都在水泥窑状况判别模型的一个迭代过程内，通过每一个迭代过程中状况预测以及损失函数计算，调整并更新水泥窑状况判别模型，使得水泥窑状况判别模型根据每一个迭代过程进行优化，从而提高水泥窑状况判别模型的判别准确率。

请参见图5，图5为本申请实施例提供的一种基于强化学习的水泥窑状况判别装置的结构示意图。本申请实施例还提供一种基于强化学习的水泥窑状况判别装置，可以实现上述基于强化学习的水泥窑状况判别方法，该装置500包括：

训练样本集获取模块501，用于获取训练样本集。

应该理解的是，这里的训练样本集包括多个状态数据以及与状态数据对应的正确水泥窑状况。

水泥窑状况预测模块502，用于从训练样本集获取当前状态数据，并将当前状态数据输入水泥窑状况判别模型，得到与当前状态数据对应的预测水泥窑状况。

在本申请一些可能的实施例，是以三维张量的形式输入水泥窑状况判别模型，这里的三维张量由样本量，当前状态数据，以及所有当前状态数据形成的预定时间内的窑况走势组成，这里的窑况走势指的是每种具体状态数据形成的数据走势，根据各个当前状态数据中同类型的具体数据获取，举例而言，如判断14时16分的水泥窑状况，预设时间段长度为一小时，当前状态数据包括窑尾烟室温度，则关于窑尾烟室温度的窑况走势则根据13时17分至14时16分各时刻对应的窑尾烟室温度形成窑尾烟室温度走势，再如当前状态数据包括窑电流，则关于窑电流的窑况走势则根据13时17分至14时16分各时刻对应的窑电流形成窑电流走势。

赏罚反馈值模块503，用于根据预测水泥窑状况和正确水泥窑状况确定赏罚反馈值和第一损失函数值。

经验池存储模块504，用于将当前状态数据、预测水泥窑状况、赏罚反馈值以及下一个状态数据组成交互对，将交互对存入所述经验池。

水泥窑状况判别模型更新模块505，用于随机从经验池抽取多个交互对，根据多个交互对确定水泥窑状况判别模型的第二损失函数值，并根据第一损失函数值和第二损失函数值更新水泥窑状况判别模型以获得目标水泥窑状况判别模型。

目标水泥窑状况判断模块506，用于根据目标水泥窑状况判别模型对待判别水泥窑状况数据进行判别，得到目标水泥窑状况。

该基于强化学习的水泥窑状况判别装置的具体实施方式与上述基于强化学习的水泥窑状况判别方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述基于强化学习的水泥窑状况判别方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参见图6，图6为本申请实施例提供的一种电子设备的结构示意图，电子设备600包括：

处理器601，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificlntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器602，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器602可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器602中，并由处理器601来调用执行本申请实施例的基于强化学习的水泥窑状况判别方法；

输入/输出接口603，用于实现信息输入及输出；

通信接口604，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线605，在设备的各个组件(例如处理器601、存储器602、输入/输出接口603和通信接口604)之间传输信息；

其中处理器601、存储器602、输入/输出接口603和通信接口604通过总线605实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述基于强化学习的水泥窑状况判别方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例提供的一种基于强化学习的水泥窑状况判别方法、装置、设备及介质，其通过获取包括多个状态数据以及与状态数据对应的正确水泥窑状况在内的训练样本集，在训练样本集中获取当前状态数据，将当前状态数据输入水泥窑状况判别模型，通过水泥窑状况判别模型得到当前状态数据对应的预测水泥窑状况，根据得到的预测水泥窑状况和训练样本集中的正确水泥窑状况确定赏罚反馈值和第一损失函数值，然后将当前状态数据、预测水泥窑状况、赏罚反馈值以及下一个状态数据组成交互对并存入经验池，然后随机从经验池抽取多个交互对，根据多个交互对确定水泥窑状况判别模型对应的第二损失函数值，并根据第一损失函数值和第二损失函数值更新水泥窑状况判别模型以获得目标水泥窑状况判别模型，通过目标水泥窑状况判别模型对待判别水泥窑状况数据进行判别，得到目标水泥窑状况。通过根据随机抽取交互对得到的第二损失函数值结合第一损失函数值更新模型，以随机以往训练经验提高模型对广泛数据的判别能力，降低过度关注当前训练结果的误差而导致模型陷入局部最优解的概率，提高模型判别水泥窑状况的准确性和稳定性。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称R0M)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。