硝酸盐制备过程的氮含量智能监测系统

技术领域

本申请涉及智能监测领域，且更为具体地，涉及一种硝酸盐制备过程的氮含量智能监测系统。

背景技术

硝酸盐厂生产的最终产品的总氮含量需要根据市场的要求生产。对于氮含量的检测方法主要有几种：第一种是先将试样进行分解，即经过还原、消化后，使各种形态的氮转化为铵盐，再加入过量的碱液，使铵盐分解，从碱性溶液中蒸馏氨，将氨吸收在过量的硫酸溶液中，然后用氢氧化钠标准溶液返滴定，即能算出总氮量，该方法操作复杂、耗时长、效率低。第二种直接蒸馏出氨或在酸性介质中还原硝酸盐成铵盐，在混合催化剂存在下，用浓硫酸消化，将有机态氮或酰氨态氮和氰胺态氮转化为铵盐，从碱性溶液中蒸馏氨。将氨吸收在过量硫酸溶液中，在甲基红-亚甲基蓝混合指示剂存在下，用氢氧化钠标准滴定溶液返滴定。最终通过整流后，用氢氧化钠标准溶液滴定直至混合指示剂呈现灰绿色为终点。该检测方法准确、重复性好，被国家及各大检测机构广泛使用。但是该方法检测时间长、耗电大、效率低。第三种是凯氏定氮法，凯氏定氮法的原理与第二种方法相同，该方法可同时消化20～40个样品，消化时间短，蒸馏时间仅需要5～7分钟，耗能低，工作效率高，但是一套设备的价格昂贵，设备主要用于测量蛋白质的总氮含量，暂时还没有用于测量硝酸盐的总氮含量。

针对现有技术的不足，中国专利 CN109060673A揭露了一种硝酸盐生产过程中氮含量智能监测方法，其应用时通过颜色检测模块检测待测试品的颜色信息，再经控制管理模块分析处理获得R、G、B值，从而得到化肥中的氮含量，在进行待测试品颜色检测时采用温湿度检测模块进行温湿度补偿，以提高了检测的精度。

在上述方案中，颜色检测模块需要能够准确、稳定地检测待测试品的颜色信息，但其精度受到光线条件、传感器质量等因素的影响，可能存在误差和漂移问题；温湿度检测模块可以补偿环境对检测结果的影响，但如果环境条件波动较大或者模块本身精度不高，仍然会导致检测结果的误差；控制管理模块需要对颜色信息和温湿度信号进行分析处理，得到硝酸盐中的氮含量，需要使用一些复杂的算法，这对于算法的准确性和稳定性带来了挑战。

因此，期望一种优化的硝酸盐制备过程的氮含量智能监测系统。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种硝酸盐制备过程的氮含量智能监测系统，其通过采用基于深度学习的神经网络模型挖掘出待测试品的颜色隐含特征和温度与湿度的时序协同关联特征，进一步综合这两者的特征信息来精准地进行硝酸盐中的氮含量估计。

根据本申请的一个方面，提供了一种硝酸盐制备过程的氮含量智能监测系统，其包括：检测图像采集模块，用于获取由摄像头采集的待测试品的检测图像；环境数据采集模块，用于获取在采集所述检测图像的过程中的多个预定时间点的温度值和湿度值；图像校正模块，用于将所述检测图像通过基于自动编解码器的图像校正器以得到校正后检测图像；全时序数据关联模块，用于将所述多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；数据关联特征提取模块，用于将所述全时序温湿度关联矩阵通过作为过滤器的卷积神经网络模型以得到全时序温湿度关联特征向量；图像语义特征提取模块，用于将所述校正后检测图像通过ViT模型以得到检测图像语义特征向量；特征融合模块，用于融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量以得到解码特征向量；以及氮含量估计模块，用于将所述解码特征向量通过解码器以得到解码值，所述解码值用于表示氮含量的估计值。

在上述硝酸盐制备过程的氮含量智能监测系统中，所述图像校正模块，包括：图像校正编码单元，用于使用所述图像校正器的编码器从所述检测图像提取检测特征图，其中，所述图像校正器的编码器为卷积层；以及，图像校正解码单元，用于使用所述图像校正器的解码器对所述检测特征图进行解码以得到所述校正后检测图像，其中，所述图像校正器的解码器为反卷积层。

在上述硝酸盐制备过程的氮含量智能监测系统中，所述全时序数据关联模块，用于：以如下关联公式构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；其中，所述公式为：

在上述硝酸盐制备过程的氮含量智能监测系统中，所述数据关联特征提取模块，用于：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络的最后一层的输出为所述全时序温湿度关联特征向量，所述作为过滤器的卷积神经网络的第一层的输入为所述全时序温湿度关联矩阵。

在上述硝酸盐制备过程的氮含量智能监测系统中，所述图像语义特征提取模块，包括：分块单元，用于对所述校正后检测图像进行图像分块处理以得到校正后检测图像块的序列；图像块嵌入单元，用于将所述校正后检测图像块的序列输入所述包含图像块嵌入层的ViT模型的图像块嵌入层以得到校正后检测图像嵌入向量的序列；上下文编码单元，用于将所述校正后检测图像块嵌入向量的序列通过所述包含图像块嵌入层的ViT模型的ViT模块以得到多个校正后检测图像块上下文语义关联特征向量；以及，级联单元，用于将所述多个校正后检测图像块上下文语义关联特征向量进行级联以得到所述检测图像语义特征向量。

在上述硝酸盐制备过程的氮含量智能监测系统中，所述特征融合模块，包括：优化因数计算单元，用于计算所述全时序温湿度关联特征向量和所述检测图像语义特征向量的亥姆霍兹类自由能量因数以得到第一亥姆霍兹类自由能量因数和第二亥姆霍兹类自由能量因数；以及，加权优化单元，用于以所述第一亥姆霍兹类自由能量因数和所述第二亥姆霍兹类自由能量因数作为加权权重对所述全时序温湿度关联特征向量和所述检测图像语义特征向量进行加权以得到优化后全时序温湿度关联特征向量和优化后检测图像语义特征向量；以及，优化特征融合单元，用于融合所述优化后全时序温湿度关联特征向量和所述优化后检测图像语义特征向量以得到所述解码特征向量。

在上述硝酸盐制备过程的氮含量智能监测系统中，所述优化因数计算单元，用于：以如下优化公式计算所述全时序温湿度关联特征向量和所述检测图像语义特征向量的亥姆霍兹类自由能量因数以得到所述第一亥姆霍兹类自由能量因数和所述第二亥姆霍兹类自由能量因数；其中，所述优化公式为：

在上述硝酸盐制备过程的氮含量智能监测系统中，所述优化特征融合单元，用于：以如下级联公式来融合所述优化后全时序温湿度关联特征向量和所述优化后检测图像语义特征向量以得到所述解码特征向量；其中，所述公式为：

在上述硝酸盐制备过程的氮含量智能监测系统中，所述氮含量估计模块，用于：使用所述解码器以如下解码公式将所述解码特征向量进行解码回归以获得用于表示氮含量的估计值的解码值；其中，所述公式为：

根据本申请的另一方面，提供了一种硝酸盐制备过程的氮含量智能监测方法，其包括：获取由摄像头采集的待测试品的检测图像；获取在采集所述检测图像的过程中的多个预定时间点的温度值和湿度值；将所述检测图像通过基于自动编解码器的图像校正器以得到校正后检测图像；将所述多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；将所述全时序温湿度关联矩阵通过作为过滤器的卷积神经网络模型以得到全时序温湿度关联特征向量；将所述校正后检测图像通过ViT模型以得到检测图像语义特征向量；融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量以得到解码特征向量；以及将所述解码特征向量通过解码器以得到解码值，所述解码值用于表示氮含量的估计值。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的硝酸盐制备过程的氮含量智能监测方法。

根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的硝酸盐制备过程的氮含量智能监测方法。

与现有技术相比，本申请提供的一种硝酸盐制备过程的氮含量智能监测系统，其通过采用基于深度学习的神经网络模型挖掘出待测试品的颜色隐含特征和温度与湿度的时序协同关联特征，进一步综合这两者的特征信息来精准地进行硝酸盐中的氮含量估计。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统的应用场景图。

图2为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统的框图。

图3为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统的系统架构图。

图4为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统中图像校正模块的框图。

图5为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统中卷积神经网络编码的流程图。

图6为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统中图像语义特征提取模块的框图。

图7为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统中特征融合模块的框图。

图8为根据本申请实施例的硝酸盐制备过程的氮含量智能监测方法的流程图。

图9为根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述：如前背景技术所言，中国专利 CN109060673A揭露的一种硝酸盐生产过程中氮含量智能监测方法中，颜色检测模块需要能够准确、稳定地检测待测试品的颜色信息，但其精度受到光线条件、传感器质量等因素的影响，可能存在误差和漂移问题；温湿度检测模块可以补偿环境对检测结果的影响，但如果环境条件波动较大或者模块本身精度不高，仍然会导致检测结果的误差；控制管理模块需要对颜色信息和温湿度信号进行分析处理，得到硝酸盐中的氮含量，需要使用一些复杂的算法，这对于算法的准确性和稳定性带来了挑战。因此，期望一种优化的硝酸盐制备过程的氮含量智能监测系统。

相应地，考虑到在实际进行硝酸盐的制备过程中，为了能够对于氮含量进行准确地检测，需要基于待测试品的颜色特征信息和环境温湿度协同特征信息来综合进行硝酸盐中氮含量的评估测定。待测试品的颜色特征可以通过采集的图像来进行捕捉提取，但是，由于待测试品的颜色特征可能会由于图像采集的原因或光线条件、传感器质量等环境的原因造成颜色特征信息存在误差和漂移，且所述颜色特征在图像中属于小尺度的隐含特征信息，难以进行捕捉提取。并且，环境的温度和湿度在时间维度上具有着时序协同的关联特征信息，这对于氮含量的检测估计带来了困难。因此，在此过程中，难点在于如何进行所述待测试品的颜色隐含特征和所述温度与湿度的时序协同关联特征的充分表达，以综合这两者的特征信息来精准地进行硝酸盐中的氮含量估计。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述待测试品的颜色隐含特征和所述温度与湿度的时序协同关联特征提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，通过摄像头采集待测试品的检测图像，以及获取在采集所述检测图像的过程中的多个预定时间点的温度值和湿度值。接着，考虑到由于所述温度值和所述湿度值在时间维度上都具有着时序的动态变化规律，并且，所述温度值和所述湿度值之间还具有着时序协同动态关联特征信息。因此，为了能够进行所述温度值和所述湿度值的时序协同动态特征的充分表达，在本申请的技术方案中，将所述多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵，以构建所述温度值的时序分布信息和所述湿度值的时序分布信息间的关联性关系。

然后，使用在局部隐含关联特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述全时序温湿度关联矩阵的特征挖掘，以提取出所述温度值和所述湿度值的时序协同动态关联特征分布信息，从而得到全时序温湿度关联特征向量。

进一步地，对于所述检测图像来说，为了能够提取出所述待测试品的颜色变化特征信息，需要对于所述检测图像进行图像校正。也就是说，由于所述待测试品的颜色特征信息可能会由于图像采集的原因或光线条件、传感器质量等原因造成误差和漂移，从而影响所述待测试品的颜色特征的精准表达。因此，在本申请的技术方案中，在图像特征提取前需要将所述检测图像通过基于自动编解码器的图像校正器，以此来对于信息检测图像进行图像校正，从而改善误差和漂移的问题，以得到校正后检测图像。特别地，这里，所述基于自动编解码器的图像校正器包括图像校正编码器和图像校正解码器，所述图像校正编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征；所述图像校正解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述校正后检测图像。

然后，对于所述校正后检测图像来说，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述校正后检测图像的特征挖掘，但是由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述校正后检测图像中关于待测试品的颜色特征为小尺度的细微隐含特征，难以进行捕捉提取。因此，为了能够提高所述校正后检测图像中关于待测试品的颜色隐含小尺度的细微特征的表达能力，以此来提高对于氮含量的检测精准度，在本申请的技术方案中，将所述校正后检测图像进行图像分块处理后通过包含嵌入层的ViT模型中进行编码，以提取出所述校正后检测图像中关于待测试品的颜色特征的隐含上下文语义关联特征分布信息，从而得到检测图像语义特征向量。应可以理解，在对于所述校正后检测图像进行图像分块处理后的各个图像块中关于待测试品的颜色小尺度隐含特征不再是小尺度的特征信息，有利于后续进行颜色特征的提取。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个图像块，以此来分别提取出所述各个图像块中基于所述校正后检测图像整体的关于所述待测试品的颜色隐含上下文语义关联特征信息。

接着，进一步再融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量，以此来融合所述待测试品中的颜色高维隐含特征信息和所述环境的温度和湿度的时序协同关联特征信息，以得到具有所述待测试品的颜色特征和环境温度和湿度协同关联变化特征的关联性特征分布信息的解码特征向量。然后，将所述解码特征向量通过解码器中进行解码回归以得到解码值，所述解码值用于表示氮含量的估计值。也就是说，基于所述待测试品的颜色特征信息和环境温湿度协同特征信息来综合进行硝酸盐中氮含量的精准测定。

特别地，在本申请的技术方案中，在融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量以得到解码特征向量时，由于所述全时序温湿度关联特征向量表达温湿度关联值的卷积神经网络的通道维度分布，而所述检测图像语义特征向量表达检测图像块语义的块间上下文分布，其无论数据性质本身还是特征分布方向均存在差异。这样，所述全时序温湿度关联特征向量和所述检测图像语义特征向量各自的整体特征分布内会存在相对于解码器的解码回归的回归弱相关分布实例，也就是，所述全时序温湿度关联特征向量和所述检测图像语义特征向量的整体特征分布在解码器的解码回归下的相容性较低，这会影响所述解码特征向量对于所述全时序温湿度关联特征向量和所述检测图像语义特征向量的融合效果，从而影响所述解码特征向量的解码值的准确性。

基于此，优选地计算所述全时序温湿度关联特征向量和所述检测图像语义特征向量的亥姆霍兹类自由能量因数，具体为：

这里，基于亥姆霍兹自由能公式，可以将所述全时序温湿度关联特征向量

基于此，本申请提出了一种硝酸盐制备过程的氮含量智能监测系统，其包括：检测图像采集模块，用于获取由摄像头采集的待测试品的检测图像；环境数据采集模块，用于获取在采集所述检测图像的过程中的多个预定时间点的温度值和湿度值；图像校正模块，用于将所述检测图像通过基于自动编解码器的图像校正器以得到校正后检测图像；全时序数据关联模块，用于将所述多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；数据关联特征提取模块，用于将所述全时序温湿度关联矩阵通过作为过滤器的卷积神经网络模型以得到全时序温湿度关联特征向量；图像语义特征提取模块，用于将所述校正后检测图像通过ViT模型以得到检测图像语义特征向量；特征融合模块，用于融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量以得到解码特征向量；以及，氮含量估计模块，用于将所述解码特征向量通过解码器以得到解码值，所述解码值用于表示氮含量的估计值。

图1为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统的应用场景图。如图1所示，在该应用场景中，通过摄像头（例如，如图1中所示意的C）获取待测试品的检测图像，通过温度传感器（例如，如图1中所示意的V1）获取在采集所述检测图像的过程中的多个预定时间点的温度值，以及，通过湿度传感器（例如，如图1中所示意的V2）获取在采集所述检测图像的过程中的多个预定时间点的湿度值。接着，将上述信息输入至部署有用于硝酸盐制备过程的氮含量智能监测算法的服务器（例如，图1中的S）中，其中，所述服务器能够以所述硝酸盐制备过程的氮含量智能监测算法对上述输入的信息进行处理，以生成解码值，所述解码值用于表示氮含量的估计值。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统：图2为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统的框图。如图2所示，根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统300，包括：检测图像采集模块310；环境数据采集模块320；图像校正模块330；全时序数据关联模块340；数据关联特征提取模块350；图像语义特征提取模块360；特征融合模块370；以及，氮含量估计模块380。

其中，所述检测图像采集模块310，用于获取由摄像头采集的待测试品的检测图像；所述环境数据采集模块320，用于获取在采集所述检测图像的过程中的多个预定时间点的温度值和湿度值；所述图像校正模块330，用于将所述检测图像通过基于自动编解码器的图像校正器以得到校正后检测图像；所述全时序数据关联模块340，用于将所述多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；所述数据关联特征提取模块350，用于将所述全时序温湿度关联矩阵通过作为过滤器的卷积神经网络模型以得到全时序温湿度关联特征向量；所述图像语义特征提取模块360，用于将所述校正后检测图像通过ViT模型以得到检测图像语义特征向量；所述特征融合模块370，用于融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量以得到解码特征向量；以及，所述氮含量估计模块380，用于将所述解码特征向量通过解码器以得到解码值，所述解码值用于表示氮含量的估计值。

图3为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统的系统架构图。如图3所示，在该网络架构中，首先通过所述检测图像采集模块310获取由摄像头采集的待测试品的检测图像；所述环境数据采集模块320获取在采集所述检测图像的过程中的多个预定时间点的温度值和湿度值；接着，所述图像校正模块330将所述检测图像采集模块310获取的检测图像通过基于自动编解码器的图像校正器以得到校正后检测图像；所述全时序数据关联模块340将所述环境数据采集模块320获取的多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；所述数据关联特征提取模块350将所述全时序数据关联模块340得到的全时序温湿度关联矩阵通过作为过滤器的卷积神经网络模型以得到全时序温湿度关联特征向量；然后，所述图像语义特征提取模块360将所述图像校正模块330得到的校正后检测图像通过ViT模型以得到检测图像语义特征向量；所述特征融合模块370融合所述数据关联特征提取模块350得到的全时序温湿度关联特征向量和所述图像语义特征提取模块360得到的检测图像语义特征向量以得到解码特征向量；进而，所述氮含量估计模块380将所述解码特征向量通过解码器以得到解码值，所述解码值用于表示氮含量的估计值。

具体地，在所述硝酸盐制备过程的氮含量智能监测系统300的运行过程中，所述检测图像采集模块310和所述环境数据采集模块320，用于获取由摄像头采集的待测试品的检测图像；以及，获取在采集所述检测图像的过程中的多个预定时间点的温度值和湿度值。应可以理解，在实际进行硝酸盐的制备过程中，可以通过待测试品的颜色特征信息和环境温湿度协同特征信息来综合进行硝酸盐中氮含量的评估测定，因此，在本申请的一个具体示例中，首先，可通过摄像头来获取待测试品的检测图像，通过温度传感器来获取在采集所述检测图像的过程中的多个预定时间点的温度值，以及，通过湿度传感器来获取在采集所述检测图像的过程中的多个预定时间点的湿度值。

具体地，在所述硝酸盐制备过程的氮含量智能监测系统300的运行过程中，所述图像校正模块330，用于将所述检测图像通过基于自动编解码器的图像校正器以得到校正后检测图像。在本申请的技术方案中，为了能够提取出所述待测试品的颜色变化特征信息，需要对于所述检测图像进行图像校正。也就是说，由于所述待测试品的颜色特征信息可能会由于图像采集的原因或光线条件、传感器质量等原因造成误差和漂移，从而影响所述待测试品的颜色特征的精准表达。因此，在本申请的技术方案中，在图像特征提取前需要将所述检测图像通过基于自动编解码器的图像校正器，以此来对于信息检测图像进行图像校正，从而改善误差和漂移的问题，以得到校正后检测图像。特别地，这里，所述基于自动编解码器的图像校正器包括图像校正编码器和图像校正解码器，所述图像校正编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征；所述图像校正解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述校正后检测图像。特别地，所述图像校正编码器将输入数据从高维空间映射到低维特征空间，实现输入数据的压缩表示以及提取特征向量，同时，通过图像校正解码器尽可能多地重构输入数据的低维特征。

图4为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统中图像校正模块的框图。如图4所示，所述图像校正模块330，包括：图像校正编码单元331，用于使用所述图像校正器的编码器从所述检测图像提取检测特征图，其中，所述图像校正器的编码器为卷积层；以及，图像校正解码单元332，用于使用所述图像校正器的解码器对所述检测特征图进行解码以得到所述校正后检测图像，其中，所述图像校正器的解码器为反卷积层。

具体地，在所述硝酸盐制备过程的氮含量智能监测系统300的运行过程中，所述全时序数据关联模块340，用于将所述多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵。考虑到由于所述温度值和所述湿度值在时间维度上都具有着时序的动态变化规律，并且，所述温度值和所述湿度值之间还具有着时序协同动态关联特征信息。因此，为了能够进行所述温度值和所述湿度值的时序协同动态特征的充分表达，在本申请的技术方案中，将所述多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵，以构建所述温度值的时序分布信息和所述湿度值的时序分布信息间的关联性关系。在本申请的一个具体示例中，可通过将两者进行关联编码的方式来构建所述，全时序温湿度关联矩阵，更具体地，以如下关联公式构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；其中，所述公式为：

具体地，在所述硝酸盐制备过程的氮含量智能监测系统300的运行过程中，所述数据关联特征提取模块350，用于将所述全时序温湿度关联矩阵通过作为过滤器的卷积神经网络模型以得到全时序温湿度关联特征向量。也就是，使用在局部隐含关联特征提取方面具有优异表现的作为过滤器的卷积神经网络模型来进行所述全时序温湿度关联矩阵的特征挖掘，以提取出所述温度值和所述湿度值的时序协同动态关联特征分布信息，从而得到全时序温湿度关联特征向量。在一个具体示例中，所述卷积神经网络包括相互级联的多个神经网络层，其中各个神经网络层包括卷积层、池化层和激活层。其中，在所述卷积神经网络的编码过程中，所述卷积神经网络的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理。

图5为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统中卷积神经网络编码的流程图。如图5所示，在所述卷积神经网络的编码过程中，包括：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：S210，对输入数据进行卷积处理以得到卷积特征图；S220，对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，S230，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络的最后一层的输出为所述全时序温湿度关联特征向量，所述作为过滤器的卷积神经网络的第一层的输入为所述全时序温湿度关联矩阵。

具体地，在所述硝酸盐制备过程的氮含量智能监测系统300的运行过程中，所述图像语义特征提取模块360，用于将所述校正后检测图像通过ViT模型以得到检测图像语义特征向量。也就是，对于所述校正后检测图像来说，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述校正后检测图像的特征挖掘，但是由于卷积运算的固有局限性，纯CNN的方法很难学习明确的全局和远程语义信息交互。并且，还考虑到由于所述校正后检测图像中关于待测试品的颜色特征为小尺度的细微隐含特征，难以进行捕捉提取。因此，为了能够提高所述校正后检测图像中关于待测试品的颜色隐含小尺度的细微特征的表达能力，以此来提高对于氮含量的检测精准度，在本申请的技术方案中，将所述校正后检测图像进行图像分块处理后通过包含嵌入层的ViT模型中进行编码，以提取出所述校正后检测图像中关于待测试品的颜色特征的隐含上下文语义关联特征分布信息，从而得到检测图像语义特征向量。应可以理解，在对于所述校正后检测图像进行图像分块处理后的各个图像块中关于待测试品的颜色小尺度隐含特征不再是小尺度的特征信息，有利于后续进行颜色特征的提取。特别地，这里，所述嵌入层通过可学习嵌入矩阵将所述各个图像块线性投影为一维嵌入向量。嵌入化的实现过程是先分别将各个所述图像块中所有像素位置的像素值排列为一维向量，然后使用全连接层对该一维向量进行全连接编码以实现嵌入化。并且，这里，所述ViT模型可以像Transformer一样直接通过自注意机制处理所述各个图像块，以此来分别提取出所述各个图像块中基于所述校正后检测图像整体的关于所述待测试品的颜色隐含上下文语义关联特征信息。

图6为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统中图像语义特征提取模块的框图。如图6所示，所述图像语义特征提取模块360，包括：分块单元361，用于对所述校正后检测图像进行图像分块处理以得到校正后检测图像块的序列；图像块嵌入单元362，用于将所述校正后检测图像块的序列输入所述包含图像块嵌入层的ViT模型的图像块嵌入层以得到校正后检测图像嵌入向量的序列；上下文编码单元363，用于将所述校正后检测图像块嵌入向量的序列通过所述包含图像块嵌入层的ViT模型的ViT模块以得到多个校正后检测图像块上下文语义关联特征向量；以及，级联单元364，用于将所述多个校正后检测图像块上下文语义关联特征向量进行级联以得到所述检测图像语义特征向量。

具体地，在所述硝酸盐制备过程的氮含量智能监测系统300的运行过程中，所述特征融合模块370，用于融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量以得到解码特征向量。也就是，在得到所述全时序温湿度关联特征向量和所述检测图像语义特征向量，进一步将两者进行特征融合以此来融合所述待测试品中的颜色高维隐含特征信息和所述环境的温度和湿度的时序协同关联特征信息，以得到所述待测试品的颜色特征和环境温度和湿度协同关联变化特征的关联性特征分布信息，在本申请的技术方案中，在融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量以得到解码特征向量时，由于所述全时序温湿度关联特征向量表达温湿度关联值的卷积神经网络的通道维度分布，而所述检测图像语义特征向量表达检测图像块语义的块间上下文分布，其无论数据性质本身还是特征分布方向均存在差异。这样，所述全时序温湿度关联特征向量和所述检测图像语义特征向量各自的整体特征分布内会存在相对于解码器的解码回归的回归弱相关分布实例，也就是，所述全时序温湿度关联特征向量和所述检测图像语义特征向量的整体特征分布在解码器的解码回归下的相容性较低，这会影响所述解码特征向量对于所述全时序温湿度关联特征向量和所述检测图像语义特征向量的融合效果，从而影响所述解码特征向量的解码值的准确性。基于此，优选地计算所述全时序温湿度关联特征向量和所述检测图像语义特征向量的亥姆霍兹类自由能量因数，具体为：

图7为根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统中特征融合模块的框图。如图7所示，所述特征融合模块370，包括：优化因数计算单元371，用于计算所述全时序温湿度关联特征向量和所述检测图像语义特征向量的亥姆霍兹类自由能量因数以得到第一亥姆霍兹类自由能量因数和第二亥姆霍兹类自由能量因数；以及，加权优化单元372，用于以所述第一亥姆霍兹类自由能量因数和所述第二亥姆霍兹类自由能量因数作为加权权重对所述全时序温湿度关联特征向量和所述检测图像语义特征向量进行加权以得到优化后全时序温湿度关联特征向量和优化后检测图像语义特征向量；以及，优化特征融合单元373，用于融合所述优化后全时序温湿度关联特征向量和所述优化后检测图像语义特征向量以得到所述解码特征向量。其中，所述优化特征融合单元373，用于：以如下级联公式来融合所述优化后全时序温湿度关联特征向量和所述优化后检测图像语义特征向量以得到所述解码特征向量；其中，所述公式为：

具体地，在所述硝酸盐制备过程的氮含量智能监测系统300的运行过程中，所述氮含量估计模块380，用于将所述解码特征向量通过解码器以得到解码值，所述解码值用于表示氮含量的估计值。在本申请的技术方案中，将所述解码特征向量通过解码器中进行解码回归以得到用于表示氮含量的估计值的解码值，也就是，基于所述待测试品的颜色特征信息和环境温湿度协同特征信息来综合进行硝酸盐中氮含量的精准测定。在本申请的一个具体示例中，使用所述解码器以如下解码公式将所述解码特征向量进行解码回归以获得用于表示氮含量的估计值的解码值；其中，所述公式为：

综上，根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统300被阐明，其通过采用基于深度学习的神经网络模型挖掘出待测试品的颜色隐含特征和温度与湿度的时序协同关联特征，进一步综合这两者的特征信息来精准地进行硝酸盐中的氮含量估计。

如上所述，根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统可以实现在各种终端设备中。在一个示例中，根据本申请实施例的硝酸盐制备过程的氮含量智能监测系统300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该硝酸盐制备过程的氮含量智能监测系统300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该硝酸盐制备过程的氮含量智能监测系统300同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该硝酸盐制备过程的氮含量智能监测系统300与该终端设备也可以是分立的设备，并且该硝酸盐制备过程的氮含量智能监测系统300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

示例性方法:图8为根据本申请实施例的硝酸盐制备过程的氮含量智能监测方法的流程图。如图8所示，根据本申请实施例的硝酸盐制备过程的氮含量智能监测方法，包括步骤：S110，获取由摄像头采集的待测试品的检测图像；S120，获取在采集所述检测图像的过程中的多个预定时间点的温度值和湿度值；S130，将所述检测图像通过基于自动编解码器的图像校正器以得到校正后检测图像；S140，将所述多个预定时间点的温度值和湿度值分别按照时间维度排列为温度输入向量和湿度输入向量后，构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；S150，将所述全时序温湿度关联矩阵通过作为过滤器的卷积神经网络模型以得到全时序温湿度关联特征向量；S160，将所述校正后检测图像通过ViT模型以得到检测图像语义特征向量；S170，融合所述全时序温湿度关联特征向量和所述检测图像语义特征向量以得到解码特征向量；以及，S180，将所述解码特征向量通过解码器以得到解码值，所述解码值用于表示氮含量的估计值。

在一个示例中，在上述硝酸盐制备过程的氮含量智能监测方法中，所述步骤S130，包括：使用所述图像校正器的编码器从所述检测图像提取检测特征图，其中，所述图像校正器的编码器为卷积层；以及，使用所述图像校正器的解码器对所述检测特征图进行解码以得到所述校正后检测图像，其中，所述图像校正器的解码器为反卷积层。

在一个示例中，在上述硝酸盐制备过程的氮含量智能监测方法中，所述步骤S140，包括：以如下关联公式构建所述温度输入向量和所述湿度输入向量之间的全时序温湿度关联矩阵；其中，所述公式为：

在一个示例中，在上述硝酸盐制备过程的氮含量智能监测方法中，所述步骤S150，包括：使用所述作为过滤器的卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为过滤器的卷积神经网络的最后一层的输出为所述全时序温湿度关联特征向量，所述作为过滤器的卷积神经网络的第一层的输入为所述全时序温湿度关联矩阵。

在一个示例中，在上述硝酸盐制备过程的氮含量智能监测方法中，所述步骤S160，包括：对所述校正后检测图像进行图像分块处理以得到校正后检测图像块的序列；将所述校正后检测图像块的序列输入所述包含图像块嵌入层的ViT模型的图像块嵌入层以得到校正后检测图像嵌入向量的序列；将所述校正后检测图像块嵌入向量的序列通过所述包含图像块嵌入层的ViT模型的ViT模块以得到多个校正后检测图像块上下文语义关联特征向量；以及，将所述多个校正后检测图像块上下文语义关联特征向量进行级联以得到所述检测图像语义特征向量。

在一个示例中，在上述硝酸盐制备过程的氮含量智能监测方法中，所述步骤S170，包括：计算所述全时序温湿度关联特征向量和所述检测图像语义特征向量的亥姆霍兹类自由能量因数以得到第一亥姆霍兹类自由能量因数和第二亥姆霍兹类自由能量因数；以所述第一亥姆霍兹类自由能量因数和所述第二亥姆霍兹类自由能量因数作为加权权重对所述全时序温湿度关联特征向量和所述检测图像语义特征向量进行加权以得到优化后全时序温湿度关联特征向量和优化后检测图像语义特征向量；以及，融合所述优化后全时序温湿度关联特征向量和所述优化后检测图像语义特征向量以得到所述解码特征向量。其中，计算所述全时序温湿度关联特征向量和所述检测图像语义特征向量的亥姆霍兹类自由能量因数以得到第一亥姆霍兹类自由能量因数和第二亥姆霍兹类自由能量因数，包括：以如下优化公式计算所述全时序温湿度关联特征向量和所述检测图像语义特征向量的亥姆霍兹类自由能量因数以得到所述第一亥姆霍兹类自由能量因数和所述第二亥姆霍兹类自由能量因数；其中，所述优化公式为：

在一个示例中，在上述硝酸盐制备过程的氮含量智能监测方法中，所述步骤S180，包括：使用所述解码器以如下解码公式将所述解码特征向量进行解码回归以获得用于表示氮含量的估计值的解码值；其中，所述公式为：

综上，根据本申请实施例的硝酸盐制备过程的氮含量智能监测方法被阐明，其通过采用基于深度学习的神经网络模型挖掘出待测试品的颜色隐含特征和温度与湿度的时序协同关联特征，进一步综合这两者的特征信息来精准地进行硝酸盐中的氮含量估计。

示例性电子设备：下面，参考图9来描述根据本申请实施例的电子设备。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的硝酸盐制备过程的氮含量智能监测系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如解码特征向量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括解码值等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质：除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的硝酸盐制备过程的氮含量智能监测方法中的功能中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的硝酸盐制备过程的氮含量智能监测方法中的功能中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。