一种基于深度强化学习的物理模型校准方法及系统

技术领域

本发明涉及仿真技术领域，尤其涉及一种基于深度强化学习的物理模型校准方法及系统。

背景技术

基于物理的模型由物理原理、数学公式推导得出，已经广泛用于各个工程领域，为仿真结果提供了相当程度的可解释性。但是纯粹的使用基于物理的模型会存在一些缺陷，例如模型未能充分考虑物理系统各个部分的特性，导致产生不够准确的结果；将整个物理系统进行建模过于复杂，且成本高昂。因此工程中构建物理模型的时候，往往需要简化某些物理属性。但即便简化了影响较小、无关重要的物理属性，在某些特殊情况下仍然会对物理模型的仿真结果带来不可忽视的干扰。并且物理模型通常需要人为校准参数以将模型结果与观测数据相匹配，而前述的特殊情况会给参数校准工作带来更大的困难。物理模型的这种缺陷广泛地影响着相关行业。

深度学习模型具有捕获复杂函数关系的能力，深度学习模型在训练好后往往能获得比物理模型更为精确的计算结果，现有数据测量中已经将深度学习模型应用到物理模型输出结果的优化中，但深度学习的结果并未反馈到物理模型中，测量的精度和准确性还有待提高。而且深度学习模型也存在缺点，最大的问题就是此种模型属于“黑盒模型”，非常缺乏可解释性，无法给出其中的物理原理，难以获得行业专家的认可。特别是，在监督学习问题中，“黑匣子”模型只能在训练数据上表现较好，当训练集和测试集都比较小的时候，模型很容易过拟合。因此，即使黑匣子的数据驱动模型达到了更高的精度，但是由于缺乏了对物理过程原理的描述，仍然不能采用。因此，如何将深度学习模型应用到物理模型的校准中，使得物理模型与实际的物理实体具有尽可能相似的计算能力，成为目前急需解决的难题。

发明内容

本发明的目的在于克服现有技术中物理模型的校准问题，提供了一种基于深度强化学习的物理模型校准方法及系统。

本发明的目的是通过以下技术方案来实现的：

在第一方案中，提供一种基于深度强化学习的物理模型校准方法，所述方法包括以下步骤：

S1、从物理实验中观测到多通道的实验数据，并根据所述实验数据构建物理模型；

S2、将所述实验数据输入到深度学习模型中，通过深度学习模型对实验数据进行预测得到预测值；

S3、将所述预测值作为物理模型的中间变量参与物理模型的计算，得到仿真值；

S4、根据所述仿真值优化所述深度学习模型；

S5、重复步骤S2-步骤S4直至所述仿真值无线接近实验测得的值，物理模型校准成功。

作为一优选项，一种基于深度强化学习的物理模型校准方法，所述步骤S4包括：

计算所述仿真值与实验测得的值之间的偏差，将所述偏差作为所述深度学习模型损失函数的一部分优化深度学习模型。

作为一优选项，一种基于深度强化学习的物理模型校准方法，所述根据所述实验数据构建物理模型，包括：

定义一个用于调节物理模型输出的调节系数，所述调节系数是关于某一项实验数据的函数。

作为一优选项，一种基于深度强化学习的物理模型校准方法，所述步骤S2包括：

基于物理原理计算出标准调节系数；

将所述标准调节系数及其对应的实验数据进行归一化运算后，计算两者的差值找出数据异常段；

使用深度强化学习算法调节数据异常段对应的测试数据进行修正。

作为一优选项，一种基于深度强化学习的物理模型校准方法，所述计算两者的差值找出数据异常段，包括：

定义一个阈值，所述差值大于所述阈值的时间段为数据异常段。

作为一优选项，一种基于深度强化学习的物理模型校准方法，所述使用深度强化学习算法调节数据异常段对应的测试数据进行修正，包括：

使用DQN模型在所述数据异常段上，基于标准调节系数及其对应的实验数据构建状态，智能体选择一个动作调节测试数据；

调节后重新计算差值，如果差值减小则得到正向奖励，反之得到负面奖励，并构建新状态；

将当前状态、动作、奖励及新状态组合成为四元组，并存入经验池；

随机抽取经验池中的样本，更新DQN模型参数，直至DQN模型收敛。

作为一优选项，一种基于深度强化学习的物理模型校准方法，所述使用深度强化学习算法调节数据异常段对应的测试数据进行修正，还包括：

在使用DQN模型前，对所述DQN模型进行初始化。

作为一优选项，一种基于深度强化学习的物理模型校准方法，将所述标准调节系数及其对应的实验数据进行归一化运算，包括：

将所述标准调节系数及其对应的实验数据均放缩到0～1之间。

在第二方案中，提供一种基于深度强化学习的物理模型校准系统，所述系统包括：

物理模型构建模块，用于获取从物理实验中观测到多通道的实验数据，并根据所述实验数据构建物理模型；

深度学习修正模块，用于将所述实验数据输入到深度学习模型中，通过深度学习模型对实验数据进行预测得到修正值；

物理模型计算模块，用于接收所述深度学习修正模块发送的修正值，并将所述修正值作为物理模型的中间变量参与物理模型的计算，得到仿真值；

深度学习优化模块，用于根据所述仿真值优化所述深度学习模型。

作为一优选项，一种基于深度强化学习的物理模型校准系统，所述深度学习模型为DQN模型。

需要进一步说明的是，上述各选项对应的技术特征在不冲突的情况下可以相互组合或替换构成新的技术方案。

与现有技术相比，本发明有益效果是：

将多通道的实验数据输入到深度学习模型中，深度学习模型得出一个预测值，深度学习模型学习到的会是物理模型与真实的物理系统之间的差异，预测值进而作为物理模型的中间变量参与物理模型的计算，物理模型的输出结果作为深度学习模型的反馈从而优化深度学习模型，将深度学习模型应用到物理模型的校准中，形成嵌入式的融合模型，使得物理模型与实际的物理实体具有尽可能相似的计算能力，保证物理模型校准成功。

附图说明

图1为本发明实施例示出的一种基于深度强化学习的物理模型校准方法流程图；

图2为本发明实施例示出的嵌入式模型结构图；

图3为本发明实施例示出的控制阀的模型校准示意图；

图4为本发明实施例示出的基于深度强化学习修正阀门测试压力的流程图。

具体实施方式

下面结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

实施例1

在一示例性实施例中，提供一种基于深度强化学习的物理模型校准方法，如图1所示，所述方法包括以下步骤：

S1、从物理实验中观测到多通道的实验数据，并根据所述实验数据构建物理模型；

S2、将所述实验数据输入到深度学习模型中，通过深度学习模型对实验数据进行预测得到预测值；

S3、将所述预测值作为物理模型的中间变量参与物理模型的计算，得到仿真值；

S4、根据所述仿真值优化所述深度学习模型；

S5、重复步骤S2-步骤S4直至所述仿真值无线接近实验测得的值，物理模型校准成功。

具体地，如图2所示，从物理实验中观测到多通道的实验数据，将多通道的实验数据输入到深度学习模型中，深度学习模型得出一个预测值。预测值进而作为物理模型的中间变量参与物理模型的计算，物理模型的输出结果作为深度学习模型的反馈从而优化深度学习模型，将深度学习模型应用到物理模型的校准中，形成嵌入式的融合模型，使得物理模型与实际的物理实体具有尽可能相似的计算能力，保证物理模型校准成功。

进一步地，所述步骤S4包括：

计算所述仿真值与实验测得的值之间的偏差，将所述偏差作为所述深度学习模型损失函数的一部分优化深度学习模型。其中，偏差是“深度学习模型预测出的中间变量”所参与计算出的仿真值与试验值的偏差，目的用于优化该深度学习模型本身，深度学习模型的损失函数依赖此偏差并将其最小化。

进一步地，所述根据所述实验数据构建物理模型，包括：

定义一个用于调节物理模型输出的调节系数，所述调节系数是关于某一项实验数据的函数。

进一步地，所述步骤S2包括：

基于物理原理计算出标准调节系数；

将所述标准调节系数及其对应的实验数据进行归一化运算后，计算两者的差值找出数据异常段；

使用深度强化学习算法调节数据异常段对应的测试数据进行修正。

进一步地，所述计算两者的差值找出数据异常段，包括：

定义一个阈值，所述差值大于所述阈值的时间段为数据异常段。

进一步地，所述使用深度强化学习算法调节数据异常段对应的测试数据进行修正，包括：

使用DQN模型在所述数据异常段上，基于标准调节系数及其对应的实验数据构建状态，智能体选择一个动作调节测试数据；

调节后重新计算差值，如果差值减小则得到正向奖励，反之得到负面奖励，并构建新状态；

将当前状态、动作、奖励及新状态组合成为四元组，并存入经验池；

随机抽取经验池中的样本，更新DQN模型参数，直至DQN模型收敛。

进一步地，所述使用深度强化学习算法调节数据异常段对应的测试数据进行修正，还包括：

在使用DQN模型前，对所述DQN模型进行初始化。

进一步地，将所述标准调节系数及其对应的实验数据进行归一化运算，包括：

将所述标准调节系数及其对应的实验数据均放缩到0～1之间。

实施例2

以控制阀为例，在构建阀门的虚拟仿真模型时，需要基于实验测试数据对阀门模型进行校准，即通过调节阀门模型中的流量系数函数式，使得阀门的仿真流量与测试流量相拟合，一个阀门运行的关键数据包含如下六项：阀位fw、流量y、阀前温度t

阀门模型的流量计算公式如下所示：

上式中KC为压比接近于1时的流量修正系数；α为流量系数，是关于fw的函数，关系式未知；

进一步地，流量修正系数KC为：

/>

压比P

流函数

临界压比p

k为绝热指数。

基于上述公式可以构建出阀门的虚拟物理模型，物理模型的目标就是与实际的物理阀门实体具有尽可能相似的计算能力。为了达成这个目标，将阀门在物理试验中测得的阀位fw、流量y、阀前温度t

但是由于实验条件的限制，实验测试数据有可能无法很好地代表阀门真实运行数据，存在“虚拟模型”与“物理实体”不完全等价。例如实验中用于测量阀前压力的传感器与阀门之间间隔了一定的管道系统，导致传感器测得的压力值与真实的阀前压力存在一定偏差。这种偏差会导致阀门模型难以校准，甚至无法校准成功。

阀门运行的六项关键数据中，fw通过电子式位置变送器进行测量，具有较高的精度，不需要进行修正；阀门流量flow的传感器测点位置和阀门之间只存在单通路，因此测试流量与真实流量之间不会存在显著误差；阀前后的温度测量误差比较小，且对于阀门计算仿真流量影响非常小，因此也不需要修正；而阀前后压力的测量误差对于阀门计算仿真流量有着较大的影响，因此本实施例聚焦于阀前后的测量压力修正，使得阀门在修正后的压力数据下能够成功校准。

具体地，如图3所示，引入深度学习模型。深度学习模型以阀位fw、流量y、阀前温度t

使用深度强化学习修正压力数据的过程如下：

首先，基于物理原理计算出标准流量系数α′(即能够使仿真流量与测试流量拟合的流量系数)；

然后，将fw和α′进行归一化运算后，计算差值，差值大于阈值的时间段为数据异常段；

最后，使用深度强化学习算法调节数据异常段的阀前后测试压力，使得上一步中的差值小于阈值。

参照图4，标准流量系数α′的计算公式如下：

然后对fw和α′进行归一化处理，将两者放缩到0～1之间。如果阀前后压力数据准确，fw和α′将会具有完全一样的变化趋势，二者在归一化之后能够彼此相等。因此归一化之后的fw和α′差值大于阈值的部分，即为数据异常段，即步骤“对fw和α′求差，找出数据异常段”。

接下来为步骤“初始化DQN模型”，对学习网络Q(s,a；w)进行参数初始化。在数据异常段上，基于fw和α′构建状态s

接着将当前状态s

本发明基于深度强化学习对阀前后的测试压力数据进行修正，优化了阀门实验数据中的压力测量误差问题，使修正后的测试压力能够更准确地代表阀门前后真实压力状态，从而使得阀门虚拟仿真模型能够更好地校准。

实施例3

在另一示例性实施例中，提供一种基于深度强化学习的物理模型校准系统，所述系统包括：

物理模型构建模块，用于获取从物理实验中观测到多通道的实验数据，并根据所述实验数据构建物理模型；

深度学习修正模块，用于将所述实验数据输入到深度学习模型中，通过深度学习模型对实验数据进行预测得到修正值；

物理模型计算模块，用于接收所述深度学习修正模块发送的修正值，并将所述修正值作为物理模型的中间变量参与物理模型的计算，得到仿真值；

深度学习优化模块，用于根据所述仿真值优化所述深度学习模型。所述深度学习模型为DQN模型。

以上具体实施方式是对本发明的详细说明，不能认定本发明的具体实施方式只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演和替代，都应当视为属于本发明的保护范围。