用于膏药制作的低温加药方法及系统

技术领域

本申请涉及智能化加药技术领域，并且更具体地，涉及一种用于膏药制作的低温加药方法及系统。

背景技术

传统中药炮制方法中的“冷油下丹”法是指在低温状态下用植物油炸煮药材，使其表面产生一层焦黑色的氧化皮，以增强药性。

目前，冷油下丹法已有悠久的历史和丰富的经验，在制备质量上具有一定保障，因而有些膏药的制备工艺中采用冷油下丹法来提高膏药中药材的药效和稳定性。但是，在实际的制备过程中，关于滴入油丹的时机上，传统的判断方法依赖于专业经验和肉眼观察，无法精准把控，导致产品的一致性和良率不高，并且传统的冷油下丹法存在着操作时间长、耗能高、易引起火灾等风险。

因此，期望一种优化的用于膏药制作的低温加药方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于膏药制作的低温加药方法及系统，其获取由摄像头采集的预定时间段的丹油混合物的状态监控视频；采用基于深度学习的人工智能技术，挖掘丹油混合物的状态监控视频中关于丹油混合物的状态时序动态变化特征信息，以此来进行丹油滴入水中的时机判断评估，从而实现对滴入油丹时机的精准把控，提高膏药的生产效率和产品质量。

第一方面，提供了一种用于膏药制作的低温加药方法，其包括：

获取由摄像头采集的预定时间段的丹油混合物的状态监控视频；

从所述丹油混合物的状态监控视频提取多个状态监控关键帧；

将所述多个状态监控关键帧通过包含深浅特征融合模块的卷积神经网络模型以得到多个丹油混合物状态特征矩阵；

计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；

将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；以及

将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否可将丹油滴入水中。

在上述用于膏药制作的低温加药方法中，其特征在于，将所述多个状态监控关键帧通过包含深浅特征融合模块的卷积神经网络模型以得到多个丹油混合物状态特征矩阵，包括：从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图； 使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，将所述融合特征图沿着通道维度进行全局均值池化以得到所述多个丹油混合物状态特征矩阵。

在上述用于膏药制作的低温加药方法中，计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵，包括：以如下转移公式计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：

其中，

在上述用于膏药制作的低温加药方法中，将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图，包括：所述使用三维卷积核的卷积神经网络模型在层的正向传递中对所述三维输入张量进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述使用三维卷积核的卷积神经网络模型的最后一层的输出为所述分类特征图，其中，所述使用三维卷积核的卷积神经网络模型的第一层的输入为所述三维输入张量。

在上述用于膏药制作的低温加药方法中，还包括对所述包含深浅特征融合模块的卷积神经网络模型、所述使用三维卷积核的卷积神经网络模型和所述分类器进行训练；其中，对所述包含深浅特征融合模块的卷积神经网络模型、所述使用三维卷积核的卷积神经网络模型和所述分类器进行训练，包括：获取训练数据，所述训练数据包括预定时间段的丹油混合物的状态训练监控视频，以及，所述当前时间点是否可将丹油滴入水中的真实值；从所述丹油混合物的状态训练监控视频提取多个训练状态监控关键帧；将所述多个训练状态监控关键帧通过所述包含深浅特征融合模块的卷积神经网络模型以得到多个训练丹油混合物状态特征矩阵；计算所述多个训练丹油混合物状态特征矩阵中每相邻两个训练丹油混合物状态特征矩阵之间的转移矩阵以得到多个训练转移矩阵；将所述多个训练转移矩阵聚合为训练三维输入张量后通过所述使用三维卷积核的卷积神经网络模型以得到训练分类特征图；对所述训练分类特征图进行类傅里叶尺度域概率修正以得到优化训练分类特征图；将所述优化训练分类特征图通过所述分类器以得到分类损失函数值；以及，以所述分类损失函数值作为损失函数值并通过梯度下降的反向传播来对所述包含深浅特征融合模块的卷积神经网络模型、所述使用三维卷积核的卷积神经网络模型和所述分类器进行训练。

在上述用于膏药制作的低温加药方法中，对所述训练分类特征图进行类傅里叶尺度域概率修正以得到优化训练分类特征图，包括：以如下优化公式对所述训练分类特征图进行类傅里叶尺度域概率修正以得到所述优化训练分类特征图；其中，所述优化公式为：

其中，

在上述用于膏药制作的低温加药方法中，将所述优化训练分类特征图通过所述分类器以得到分类损失函数值，包括：所述分类器以如下分类公式对所述优化训练分类特征图进行处理以生成分类结果，其中，所述分类公式为：

，其中/>

第二方面，提供了一种用于膏药制作的低温加药系统，其包括：

视频获取模块，用于获取由摄像头采集的预定时间段的丹油混合物的状态监控视频；

关键帧获取模块，用于从所述丹油混合物的状态监控视频提取多个状态监控关键帧；

深浅融合模块，用于将所述多个状态监控关键帧通过包含深浅特征融合模块的卷积神经网络模型以得到多个丹油混合物状态特征矩阵；

转移矩阵计算模块，用于计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；

三维卷积模块，用于将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；以及

丹油控制结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否可将丹油滴入水中。

在上述用于膏药制作的低温加药系统中，所述深浅融合模块，包括：浅层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图； 融合单元，用于使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，池化单元，用于将所述融合特征图沿着通道维度进行全局均值池化以得到所述多个丹油混合物状态特征矩阵。

在上述用于膏药制作的低温加药系统中，所述转移矩阵计算模块，用于：以如下转移公式计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：

其中，

与现有技术相比，本申请提供的用于膏药制作的低温加药方法及系统，其获取由摄像头采集的预定时间段的丹油混合物的状态监控视频；采用基于深度学习的人工智能技术，挖掘丹油混合物的状态监控视频中关于丹油混合物的状态时序动态变化特征信息，以此来进行丹油滴入水中的时机判断评估，从而实现对滴入油丹时机的精准把控，提高膏药的生产效率和产品质量。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本申请实施例的用于膏药制作的低温加药方法的场景示意图。

图2为根据本申请实施例的用于膏药制作的低温加药方法的流程图。

图3为根据本申请实施例的用于膏药制作的低温加药方法的架构示意图。

图4为根据本申请实施例的用于膏药制作的低温加药方法中步骤130的子步骤的流程图。

图5为根据本申请实施例的用于膏药制作的低温加药方法中步骤170的子步骤的流程图。

图6为根据本申请实施例的用于膏药制作的低温加药系统的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一第二第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一第二第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一第二第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

如上所述，在实际的膏药的制备过程中，关于滴入油丹的时机上，传统的判断方法依赖于专业经验和肉眼观察，无法精准把控，导致产品的一致性和良率不高，并且传统的冷油下丹法存在着操作时间长、耗能高、易引起火灾等风险。因此，期望一种优化的用于膏药制作的低温加药方案。

具体地，在本申请的技术方案中，提出了一种用于膏药制作的低温加药方法，其包括：第一步：打粉，将炮制好的中药粉碎至100目以上，并按配方比例称量；第二步：炒丹，将黄丹过筛，并将黄丹用文火炒至干爽无水分；第三步：放油，按一丹两油比例加入桐油，特别地，这里的比例因季节不同而不同，例如夏季：500ml：240g；冬季：500ml：150g；春秋：500ml：210g；第四步：冷油下丹，用文火将桐油加热至150℃左右后，缓慢加入黄丹，用樟树枝顺时针不停搅拌，使其搅拌均匀；当油丹融合变黑，白烟散尽、青烟初起时，将油丹滴入水中，再弹出水面；第五步：加药，离火，继续不断的顺时针搅拌，当温度降到一定程度时（约150℃左右），往膏体中添加准备好的药粉，不停的顺时针搅拌，使药膏合一；第六步：去火毒，将熬制好的膏药，倒入盛满清水的陶盆中，浸泡3-7天，并且每日新水数次，以拔出火毒；第七步：摊贴，将已拔出火毒的膏药，加热至80-100度左右，使其熔化，搅拌均匀，掺入细药、挥发性药物细粉搅匀后，就可以进行摊贴。特别地，摊帖时取一根竹筷子，挑起适量的尚未冷凉的膏药，根据纸布的大小，以竹筷点在纸布的中心，按顺时针摊涂一周即可。优选地，在本申请的技术方案中，缓慢加热以减缓皂化反应速度，避免高温反应剧烈引起火灾等安全事故；低温加药可以有效避免药材中的有效成分被破坏；在摊帖膏药前掺入细药及挥发性中药可以避免不必要的损耗。

相应地，考虑在实际进行膏药制作的过程中，油丹的滴入时机是制备膏药的关键节点，传统的判断方法是基于专业经验和肉眼观察，无法精准把控导致产品的一致性和良率不高。因此，在本申请的技术方案中，期望通过对于丹油混合物的状态变化情况来进行是否滴入丹油的判断检测。对于丹油混合物的状态变化情况检测可以通过对于丹油混合物的状态监控视频的分析来实现。但是，由于所述状态监控视频中存在有大量的信息量，而关于丹油混合物的状态时序变化特征在视频中为小尺度的细微变化特征信息，难以进行精准捕捉，导致对于丹油滴入的时机把握不够精准，影响药效和效率。也就是说，在此过程中，难点在于如何挖掘所述丹油混合物的状态监控视频中关于丹油混合物的状态时序动态变化特征信息，以此来进行所述丹油滴入水中的时机判断评估，从而实现对滴入油丹时机的精准把控，提高膏药的生产效率和产品质量。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。深度学习以及神经网络的发展为挖掘所述丹油混合物的状态监控视频中关于丹油混合物的状态时序动态变化特征信息提供了新的解决思路和方案。

具体地，在本申请的技术方案中，首先，通过摄像头采集预定时间段的丹油混合物的状态监控视频。接着，考虑到在所述丹油混合物的状态监控视频中关于丹油混合物的状态变化特征可以通过所述人员状态监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示丹油混合物的状态变化情况。但是，考虑到所述状态监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述状态监控视频进行关键帧采样，以从所述丹油混合物的状态监控视频提取多个状态监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。

然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述多个状态监控关键帧的特征挖掘，特别地，考虑到在对于所述各个状态监控关键帧中关于混合物的状态隐藏特征进行提取时，为了能够更准确地检测出所述混合物的状态特征变化情况，以对于是否可将丹油滴入水中进行准确判断，应更加关注于所述各个状态监控关键帧中关于混合物的颜色和纹理等浅层特征，这些所述浅层特征对于所述混合物的状态检测具有重要意义，而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型来对所述各个状态监控关键帧进行处理以得到多个丹油混合物状态特征矩阵。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述各个状态监控关键帧中关于混合物的状态浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高所述混合物的状态检测的精准度。同时，深度神经网络的结构往往比较复杂，需要大量的样本数据来训练和调整，而深度网络的训练时间较长，容易过拟合。因此，在神经网络模型的设计中，通常采用浅层网络和深层网络的结合，通过深浅特征融合，可以在一定程度上降低网络的复杂度和过拟合的风险，同时提高模型的特征提取能力和泛化能力。

进一步地，由于所述丹油混合物的状态隐含特征在时间维度上具有着动态性的变化特征信息，并且这种动态性的变化特征在基于时序全局上的显性程度较弱，因此，在本申请的技术方案中，计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵，以表示相邻两个时间点的丹油混合物的状态变化模式特征，从而得到多个转移矩阵。应可以理解，在制作膏药时，丹油的加入需要掌握好加入的时机，并且需要将丹油逐步滴入水中，以充分释放药性并避免过热。因此，在低温下加药时，需要根据丹油混合物的状态来判断何时将丹油适合滴入水中。通过计算所述多个丹油混合物状态特征矩阵之间的转移矩阵，可以更好地捕捉到所述丹油混合物的状态变化关系，从而判断何时将丹油滴入水中。

然后，考虑到由于每相邻两个时间点的丹油混合物的状态变化模式特征在时间维度整体上具有着动态性的变化规律，也就是说，每相邻两个时间点的丹油混合物的状态变化模式特征之间具有着时序的动态关联关系。因此，在本申请的技术方案中，将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型中进行特征提取，以提取出所述每相邻两个时间点的丹油混合物的状态变化模式特征在时间维度上的关联性特征分布信息，从而得到分类特征图。也就是，通过所述使用三维卷积核的卷积神经网络模型能够捕捉所述丹油混合物的状态变化在时序维度和空间维度上的基于三维卷积核的关联。

接着，进一步再将所述分类特征图通过分类器中进行分类处理，以得到用于表示当前时间点是否可将丹油滴入水中的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括当前时间点可将丹油滴入水中(第一标签)，以及，当前时间点不可将丹油滴入水中(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“当前时间点是否可将丹油滴入水中”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2 之和为一。因此，当前时间点是否可将丹油滴入水中的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“当前时间点是否可将丹油滴入水中”的语言文本意义。应可以理解，在本申请的技术方案中，所述分类器的分类标签为所述当前时间点是否可将丹油滴入水中的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来进行所述丹油滴入水中的控制判断，从而实现对滴入油丹时机的精准把控，提高膏药的生产效率和产品质量。

相应地，在本申请的技术方案中，每相邻两个所述丹油混合物状态特征矩阵之间的转移矩阵，用于表示相邻两个时间点的丹油混合物的状态变化模式特征。因此，在将所述多个转移矩阵聚合为三维输入张量后，通过所述使用三维卷积核的卷积神经网络模型能够捕捉丹油混合物的状态变化在时序维度和空间维度上的基于三维卷积核的关联。基于此，在本申请的技术方案中，如果能够所述卷积神经网络模型在三个维度上的整体特征学习关联度，则能够进一步地提升所述分类特征图整体的表达效果，以提升所述分类特征图通过分类器得到的分类结果的准确性。

基于此，在训练过程中，对于所述分类特征图

其中，

这里，所述类傅里叶尺度域概率修正考虑到高维特征分布与其所在的尺度域的同源性，可以通过尺度空间的类傅里叶稀疏低秩变换，来基于尺度空间的低秩约束捕获同源空间下的潜在分布关联，从而在所述使用三维卷积核的卷积神经网络模型的训练过程中，在获得特征值的基于三维卷积核的局部关联表示的同时，实现具有特征整体的尺度相干性的联合空间特征学习，以通过提高所述三维卷积核的卷积神经网络模型在整体空间尺度下的学习关联度，来提升所获得的分类特征图在整体三个维度上的表达效果，也就提升了所述分类特征图通过分类器得到的分类结果的准确性。这样，能够实时准确地对于是否将丹油滴入水中进行判断控制，从而实现对滴入油丹时机的精准把控，提高膏药的生产效率和产品质量。

图1为根据本申请实施例的用于膏药制作的低温加药方法的场景示意图。如图1所示，在该应用场景中，首先，获取由摄像头采集的预定时间段的丹油混合物（例如，如图1中所示意的M）的状态监控视频（例如，如图1中所示意的C）；然后，将获取的状态监控视频输入至部署有用于膏药制作的低温加药算法的服务器（例如，如图1中所示意的S）中，其中所述服务器能够基于用于膏药制作的低温加药算法对所述状态监控视频进行处理，以生成用于表示当前时间点是否可将丹油滴入水中的分类结果。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

在本申请的一个实施例中，图2为根据本申请实施例的用于膏药制作的低温加药方法的流程图。如图2所示，根据本申请实施例的用于膏药制作的低温加药方法100，包括：110，获取由摄像头采集的预定时间段的丹油混合物的状态监控视频；120，从所述丹油混合物的状态监控视频提取多个状态监控关键帧；130，将所述多个状态监控关键帧通过包含深浅特征融合模块的卷积神经网络模型以得到多个丹油混合物状态特征矩阵；140，计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；150，将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；以及，160，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否可将丹油滴入水中。

图3为根据本申请实施例的用于膏药制作的低温加药方法的架构示意图。如图3所示，在该网络架构中，首先，获取由摄像头采集的预定时间段的丹油混合物的状态监控视频；然后，从所述丹油混合物的状态监控视频提取多个状态监控关键帧；接着，将所述多个状态监控关键帧通过包含深浅特征融合模块的卷积神经网络模型以得到多个丹油混合物状态特征矩阵；然后，计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；接着，将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；以及，最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否可将丹油滴入水中。

具体地，在步骤110中，获取由摄像头采集的预定时间段的丹油混合物的状态监控视频。如上所述，在实际的膏药的制备过程中，关于滴入油丹的时机上，传统的判断方法依赖于专业经验和肉眼观察，无法精准把控，导致产品的一致性和良率不高，并且传统的冷油下丹法存在着操作时间长、耗能高、易引起火灾等风险。

具体地，在步骤120中，从所述丹油混合物的状态监控视频提取多个状态监控关键帧。接着，考虑到在所述丹油混合物的状态监控视频中关于丹油混合物的状态变化特征可以通过所述人员状态监控视频中相邻监控帧之间的差分来表示，也就是，通过相邻图像帧的图像表征来表示丹油混合物的状态变化情况。但是，考虑到所述状态监控视频中相邻帧的差异较小，存在大量数据冗余，因此，为了降低计算量，且避免数据冗余给检测带来的不良影响，以预定采样频率对所述状态监控视频进行关键帧采样，以从所述丹油混合物的状态监控视频提取多个状态监控关键帧。这里，值得一提的是，所述采样频率可基于实际场景的应用需求做出调整，而不是默认值。

具体地，在步骤130中，将所述多个状态监控关键帧通过包含深浅特征融合模块的卷积神经网络模型以得到多个丹油混合物状态特征矩阵。然后，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来进行所述多个状态监控关键帧的特征挖掘，特别地，考虑到在对于所述各个状态监控关键帧中关于混合物的状态隐藏特征进行提取时，为了能够更准确地检测出所述混合物的状态特征变化情况，以对于是否可将丹油滴入水中进行准确判断，应更加关注于所述各个状态监控关键帧中关于混合物的颜色和纹理等浅层特征，这些所述浅层特征对于所述混合物的状态检测具有重要意义，而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。

因此，在本申请的技术方案中，使用包含深浅特征融合模块的卷积神经网络模型来对所述各个状态监控关键帧进行处理以得到多个丹油混合物状态特征矩阵。应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述各个状态监控关键帧中关于混合物的状态浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高所述混合物的状态检测的精准度。同时，深度神经网络的结构往往比较复杂，需要大量的样本数据来训练和调整，而深度网络的训练时间较长，容易过拟合。因此，在神经网络模型的设计中，通常采用浅层网络和深层网络的结合，通过深浅特征融合，可以在一定程度上降低网络的复杂度和过拟合的风险，同时提高模型的特征提取能力和泛化能力。

图4为根据本申请实施例的用于膏药制作的低温加药方法中步骤130的子步骤的流程图，如图4所示，将所述多个状态监控关键帧通过包含深浅特征融合模块的卷积神经网络模型以得到多个丹油混合物状态特征矩阵，包括：131，从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；132，从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图；133，使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，134，将所述融合特征图沿着通道维度进行全局均值池化以得到所述多个丹油混合物状态特征矩阵。

应可以理解，相较于标准卷积神经网络模型，根据本申请的所述卷积神经网络模型能够保留所述多个状态监控关键帧的浅层特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，以提高对于所述多个状态监控关键帧提取的精准度。同时，深度神经网络的结构往往比较复杂，需要大量的样本数据来训练和调整，而深度网络的训练时间较长，容易过拟合。因此，在神经网络模型的设计中，通常采用浅层网络和深层网络的结合，通过深浅特征融合，可以在一定程度上降低网络的复杂度和过拟合的风险，同时提高模型的特征提取能力和泛化能力。

具体地，在步骤140中，计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵。进一步地，由于所述丹油混合物的状态隐含特征在时间维度上具有着动态性的变化特征信息，并且这种动态性的变化特征在基于时序全局上的显性程度较弱，

因此，在本申请的技术方案中，计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵，以表示相邻两个时间点的丹油混合物的状态变化模式特征，从而得到多个转移矩阵。应可以理解，在制作膏药时，丹油的加入需要掌握好加入的时机，并且需要将丹油逐步滴入水中，以充分释放药性并避免过热。因此，在低温下加药时，需要根据丹油混合物的状态来判断何时将丹油适合滴入水中。通过计算所述多个丹油混合物状态特征矩阵之间的转移矩阵，可以更好地捕捉到所述丹油混合物的状态变化关系，从而判断何时将丹油滴入水中。

其中，计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵，包括：以如下转移公式计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：

其中，

具体地，在步骤150中，将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图。然后，考虑到由于每相邻两个时间点的丹油混合物的状态变化模式特征在时间维度整体上具有着动态性的变化规律，也就是说，每相邻两个时间点的丹油混合物的状态变化模式特征之间具有着时序的动态关联关系。

因此，在本申请的技术方案中，将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型中进行特征提取，以提取出所述每相邻两个时间点的丹油混合物的状态变化模式特征在时间维度上的关联性特征分布信息，从而得到分类特征图。也就是，通过所述使用三维卷积核的卷积神经网络模型能够捕捉所述丹油混合物的状态变化在时序维度和空间维度上的基于三维卷积核的关联。

卷积神经网络(Convolutional Neural Network，CNN)是一种人工神经网络，在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层，其中，隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等，上一层根据输入的数据进行相应的运算，将运算结果输出给下一层，输入的初始数据经过多层的运算之后得到一个最终的结果。

卷积神经网络模型利用卷积核作为特征过滤因子在图像局部特征提取方面具有非常优异的性能表现，且相较于传统的基于统计或者基于特征工程的图像特征提取算法，所述卷积神经网络模型具有更强的特征提取泛化能力和拟合能力。

具体地，在步骤160中，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否可将丹油滴入水中。接着，进一步再将所述分类特征图通过分类器中进行分类处理，以得到用于表示当前时间点是否可将丹油滴入水中的分类结果。也就是，在本申请的技术方案中，所述分类器的标签包括当前时间点可将丹油滴入水中(第一标签)，以及，当前时间点不可将丹油滴入水中(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征图属于哪个分类标签。

值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“当前时间点是否可将丹油滴入水中”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2 之和为一。因此，当前时间点是否可将丹油滴入水中的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“当前时间点是否可将丹油滴入水中”的语言文本意义。

应可以理解，在本申请的技术方案中，所述分类器的分类标签为所述当前时间点是否可将丹油滴入水中的控制策略标签，因此，在得到所述分类结果后，可基于所述分类结果来进行所述丹油滴入水中的控制判断，从而实现对滴入油丹时机的精准把控，提高膏药的生产效率和产品质量。

将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否可将丹油滴入水中，包括：将所述分类特征图按照行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

所述用于膏药制作的低温加药方法，还包括对所述包含深浅特征融合模块的卷积神经网络模型、所述使用三维卷积核的卷积神经网络模型和所述分类器进行训练；图5为根据本申请实施例的用于膏药制作的低温加药方法中步骤170的子步骤的流程图，如图5所示，对所述包含深浅特征融合模块的卷积神经网络模型、所述使用三维卷积核的卷积神经网络模型和所述分类器进行训练，包括：171，获取训练数据，所述训练数据包括预定时间段的丹油混合物的状态训练监控视频，以及，所述当前时间点是否可将丹油滴入水中的真实值；172，从所述丹油混合物的状态训练监控视频提取多个训练状态监控关键帧；173，将所述多个训练状态监控关键帧通过所述包含深浅特征融合模块的卷积神经网络模型以得到多个训练丹油混合物状态特征矩阵；174，计算所述多个训练丹油混合物状态特征矩阵中每相邻两个训练丹油混合物状态特征矩阵之间的转移矩阵以得到多个训练转移矩阵；175，将所述多个训练转移矩阵聚合为训练三维输入张量后通过所述使用三维卷积核的卷积神经网络模型以得到训练分类特征图；176，对所述训练分类特征图进行类傅里叶尺度域概率修正以得到优化训练分类特征图；177，将所述优化训练分类特征图通过所述分类器以得到分类损失函数值；以及，178，以所述分类损失函数值作为损失函数值并通过梯度下降的反向传播来对所述包含深浅特征融合模块的卷积神经网络模型、所述使用三维卷积核的卷积神经网络模型和所述分类器进行训练。

相应地，在本申请的技术方案中，每相邻两个所述丹油混合物状态特征矩阵之间的转移矩阵，用于表示相邻两个时间点的丹油混合物的状态变化模式特征。因此，在将所述多个转移矩阵聚合为三维输入张量后，通过所述使用三维卷积核的卷积神经网络模型能够捕捉丹油混合物的状态变化在时序维度和空间维度上的基于三维卷积核的关联。基于此，在本申请的技术方案中，如果能够所述卷积神经网络模型在三个维度上的整体特征学习关联度，则能够进一步地提升所述分类特征图整体的表达效果，以提升所述分类特征图通过分类器得到的分类结果的准确性。

基于此，在训练过程中，对于所述分类特征图

其中，

这里，所述类傅里叶尺度域概率修正考虑到高维特征分布与其所在的尺度域的同源性，可以通过尺度空间的类傅里叶稀疏低秩变换，来基于尺度空间的低秩约束捕获同源空间下的潜在分布关联，从而在所述使用三维卷积核的卷积神经网络模型的训练过程中，在获得特征值的基于三维卷积核的局部关联表示的同时，实现具有特征整体的尺度相干性的联合空间特征学习，以通过提高所述三维卷积核的卷积神经网络模型在整体空间尺度下的学习关联度，来提升所获得的分类特征图在整体三个维度上的表达效果，也就提升了所述分类特征图通过分类器得到的分类结果的准确性。这样，能够实时准确地对于是否将丹油滴入水中进行判断控制，从而实现对滴入油丹时机的精准把控，提高膏药的生产效率和产品质量。

进一步地，将所述优化训练分类特征图通过所述分类器以得到分类损失函数值，包括：所述分类器以如下分类公式对所述优化训练分类特征图进行处理以生成分类结果，其中，所述分类公式为：

综上，基于本申请实施例的用于膏药制作的低温加药方法100被阐明，其获取由摄像头采集的预定时间段的丹油混合物的状态监控视频；采用基于深度学习的人工智能技术，挖掘丹油混合物的状态监控视频中关于丹油混合物的状态时序动态变化特征信息，以此来进行丹油滴入水中的时机判断评估，从而实现对滴入油丹时机的精准把控，提高膏药的生产效率和产品质量。

在本申请的一个实施例中，图6为根据本申请实施例的用于膏药制作的低温加药系统的框图。如图6所示，根据本申请实施例的用于膏药制作的低温加药系统200，包括：视频获取模块210，用于获取由摄像头采集的预定时间段的丹油混合物的状态监控视频；

关键帧获取模块220，用于从所述丹油混合物的状态监控视频提取多个状态监控关键帧；

深浅融合模块230，用于将所述多个状态监控关键帧通过包含深浅特征融合模块的卷积神经网络模型以得到多个丹油混合物状态特征矩阵；转移矩阵计算模块240，用于计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；三维卷积模块250，用于将所述多个转移矩阵聚合为三维输入张量后通过使用三维卷积核的卷积神经网络模型以得到分类特征图；以及，丹油控制结果生成模块260，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示当前时间点是否可将丹油滴入水中。

在一个具体示例中，在上述用于膏药制作的低温加药系统中，所述深浅融合模块，包括：浅层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的浅层提取浅层特征图；深层提取单元，用于从所述包含深浅特征融合模块的卷积神经网络模型的深层提取深层特征图； 融合单元，用于使用所述包含深浅特征融合模块的卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到融合特征图；以及，池化单元，用于将所述融合特征图沿着通道维度进行全局均值池化以得到所述多个丹油混合物状态特征矩阵。

在一个具体示例中，在上述用于膏药制作的低温加药系统中，所述转移矩阵计算模块，用于：以如下转移公式计算所述多个丹油混合物状态特征矩阵中每相邻两个丹油混合物状态特征矩阵之间的转移矩阵以得到多个转移矩阵；其中，所述转移公式为：

其中，

在一个具体示例中，在上述用于膏药制作的低温加药系统中，所述三维卷积模块，用于：所述使用三维卷积核的卷积神经网络模型在层的正向传递中对所述三维输入张量进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述使用三维卷积核的卷积神经网络模型的最后一层的输出为所述分类特征图，其中，所述使用三维卷积核的卷积神经网络模型的第一层的输入为所述三维输入张量。

在一个具体示例中，在上述用于膏药制作的低温加药系统中，还包括对所述包含深浅特征融合模块的卷积神经网络模型、所述使用三维卷积核的卷积神经网络模型和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练视频获取单元，用于获取训练数据，所述训练数据包括预定时间段的丹油混合物的状态训练监控视频，以及，所述当前时间点是否可将丹油滴入水中的真实值；训练关键帧获取单元，用于从所述丹油混合物的状态训练监控视频提取多个训练状态监控关键帧；训练深浅融合单元，用于将所述多个训练状态监控关键帧通过所述包含深浅特征融合模块的卷积神经网络模型以得到多个训练丹油混合物状态特征矩阵；训练转移矩阵计算单元，用于计算所述多个训练丹油混合物状态特征矩阵中每相邻两个训练丹油混合物状态特征矩阵之间的转移矩阵以得到多个训练转移矩阵；训练三维卷积单元，用于将所述多个训练转移矩阵聚合为训练三维输入张量后通过所述使用三维卷积核的卷积神经网络模型以得到训练分类特征图；

训练优化单元，用于对所述训练分类特征图进行类傅里叶尺度域概率修正以得到优化训练分类特征图；损失函数值计算单元，用于将所述优化训练分类特征图通过所述分类器以得到分类损失函数值；以及，训练单元，用于以所述分类损失函数值作为损失函数值并通过梯度下降的反向传播来对所述包含深浅特征融合模块的卷积神经网络模型、所述使用三维卷积核的卷积神经网络模型和所述分类器进行训练。

在一个具体示例中，在上述用于膏药制作的低温加药系统中，所述训练优化单元，用于：以如下优化公式对所述训练分类特征图进行类傅里叶尺度域概率修正以得到所述优化训练分类特征图；其中，所述优化公式为：

其中，

在一个具体示例中，在上述用于膏药制作的低温加药系统中，所述损失函数值计算单元，包括：分类子单元，用于所述分类器以如下分类公式对所述优化训练分类特征图进行处理以生成分类结果，其中，所述分类公式为：

，其中/>

这里，本领域技术人员可以理解，上述用于膏药制作的低温加药系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的用于膏药制作的低温加药方法的描述中得到了详细介绍，并因此，将省略其重复描述。

本申请还提供了一种计算机程序产品，所述计算机程序产品包括指令，当所述指令被执行时，以使得装置执行对应于上述方法中的操作。

在本申请的一个实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述所述方法的计算机程序。

应可以理解，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等) 上实施的计算机程序产品的形式。

本申请实施例的方法、系统、和计算机程序产品的流程图和/或框图来描述的。应理解可由计算机程序指令实现流程图和/或框图中的每一流程和/或方框、以及流程图和/或框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或框图一个方框或多个方框中指定的功能的步骤。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。