化工厂的智能巡检系统及其方法

技术领域

本申请涉及智能巡检领域，且更为具体的涉及一种化工厂的智能巡检系统及其方法。

背景技术

安全操作规程是化工厂巡检中非常重要的一项内容。巡检人员需要检查员工是否按照安全操作规程进行操作，包括是否佩戴个人防护装备、是否正确使用设备等。这些规程旨在确保员工在工作过程中的安全，并减少事故和伤害的风险。巡检人员可以观察员工的操作行为，与他们进行交流并提醒他们遵守安全操作规程。如果发现有员工没有按照规程操作，巡检人员应及时采取措施进行纠正，并向相关部门报告，以确保安全操作的执行。但是巡检人员巡检员工的工作具有以下缺点：1、主观性：巡检人员的观察和判断可能受到主观因素的影响，可能存在个人认知偏差或主观判断失误的情况。2、人为限制：巡检人员在巡检过程中可能受到人为因素的限制，如疲劳、视觉疲劳、分心等，可能导致巡检的不准确性或遗漏。3、人力成本：巡检人员需要耗费大量的人力成本，包括培训、薪资、福利等方面的支出。4、实时性限制：普通巡检人员的巡检频率受到时间和人力资源的限制，无法实现实时监测和反馈，可能导致问题的延误。

因此，期待一种优化的化工厂的智能巡检方案。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种化工厂的智能巡检系统及其方法，其通过以基于深度学习的神经网络模型作为特征提取器来提取工人的操作监控视频的操作动态特征，并结合分类器对操作动态进行分类来实现对工人的操作进行监测和智能分析，其分类结果用于表示工人的操作是否规范。这样，避免因错误操作而带来的化工厂事故。

根据本申请的一个方面，提供了一种化工厂的智能巡检系统，其包括：

数据采集模块，用于获取由部署于化工厂内的摄像头采集的工人的操作监控视频；

关键帧提取模块，用于从所述操作监控视频提取多个操作监控关键帧；

感兴趣区域识别模块，用于将所述多个操作监控关键帧中各个操作监控关键帧分别通过设备目标检测网络和工人目标检测网络以得到多个设备感兴趣区域和多个工人感兴趣区域；

设备感兴趣特征向量构造模块，用于将所述多个设备感兴趣区域中各个设备感兴趣区域分别通过第一线性嵌入层转化为设备感兴趣特征向量以得到多个设备感兴趣特征向量；

工人感兴趣特征向量构造模块，用于将所述多个工人感兴趣区域中各个工人感兴趣区域分别通过第二线性嵌入层转化为工人感兴趣特征向量以得到多个工人感兴趣特征向量；

关联模块，用于对所述多个设备感兴趣特征向量和所述多个工人感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵；

分类特征图生成模块，用于将所述多个协同操作特征矩阵排列为三维输入张量后通过混合卷积层以得到分类特征图；

优化模块，用于对所述分类特征图进行基于特征工程的先验参数化以得到优化分类特征图；

结果生成模块，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示工人的操作是否规范。

在上述的化工厂的智能巡检系统中，所述关键帧提取模块，包括：以预定采样频率从所述操作监控视频提取所述多个操作监控关键帧。

在上述的化工厂的智能巡检系统中，所述设备目标检测网络和所述工人目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet。

在上述的化工厂的智能巡检系统中，所述感兴趣区域识别模块，进一步用于：

使用所述基于锚窗的目标检测网络以如下目标检测公式对操作监控关键帧进行处理以得到设备感兴趣区域；

其中，所述目标检测公式为：

其中，ψ

在上述的化工厂的智能巡检系统中，所述设备感兴趣特征向量构造模块，包括：

所述第一线性嵌入层使用可学习嵌入矩阵对所述多个设备感兴趣区域中各个设备感兴趣区域进行全连接编码以得到所述多个设备感兴趣特征向量。

在上述的化工厂的智能巡检系统中，所述工人感兴趣特征向量构造模块，包括：

所述第二线性嵌入层使用可学习嵌入矩阵对所述多个工人感兴趣区域中各个工人感兴趣区域进行全连接编码以得到所述多个工人感兴趣特征向量。

在上述的化工厂的智能巡检系统中，所述关联模块，包括：

以如下关联公式对同一所述操作监控关键帧的所述设备感兴趣特征向量和所述工人感兴趣特征向量进行关联编码以得到所述协同操作特征矩阵；

其中，所述关联公式为：

其中V

在上述的化工厂的智能巡检系统中，所述分类特征图生成模块，包括：

第一卷积分支子单元，用于使用具有第一尺寸的第一卷积核对所述三维输入张量进行卷积编码以得到第一特征矩阵；

第二卷积分支子单元，用于使用具有第一空洞率的第二卷积核对所述三维输入张量进行卷积编码以得到第二特征矩阵；

第三卷积分支子单元，用于使用具有第二空洞率的第三卷积核对所述三维输入张量进行卷积编码以得到第三特征矩阵；

第四卷积分支子单元，用于使用具有第三空洞率的第四卷积核对所述三维输入张量进行卷积编码以得到第四特征矩阵；

多尺度特征融合子单元，用于将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵进行沿通道维度进行聚合以得到所述分类特征图。

其中，所述第一卷积核、所述第二卷积核、所述第三卷积核和所述第四卷积核具有相同的尺寸，所述第二卷积核、所述第三卷积核和所述第四卷积核具有不同的空洞率。

在上述的化工厂的智能巡检系统中，所述优化模块，包括：

全局解码先验语义特征向量构造单元，用于计算所述分类特征图的沿通道维度的各个特征矩阵的全局均值以得到全局解码先验语义特征向量；

特征展平化单元，用于对所述分类特征图的沿通道维度的各个特征矩阵进行特征展平化处理以得到多个通道局部特征向量；

关联单元，用于分别计算所述多个通道局部特征向量与所述全局解码先验语义特征向量之间的关联矩阵以得到多个特征工程先验关联矩阵；

先验参数化注意力单元，用于将所述多个特征工程先验关联矩阵通过基于注意力机制的先验参数化层以得到多个先验参数化注意力值；

加权优化单元，用于以所述多个先验参数化注意力值作为权重分别对所述分类特征图的沿通道维度的各个特征矩阵进行加权以得到所述优化分类特征图。

在上述的化工厂的智能巡检系统中，所述结果生成模块，包括：

展开单元，用于将所述优化分类特征图按照行向量或者列向量展开为分类特征向量；

全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；

激活单元，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

根据本申请的另一方面，还提供了一种化工厂的智能巡检方法，其包括：

获取由部署于化工厂内的摄像头采集的工人的操作监控视频；

从所述操作监控视频提取多个操作监控关键帧；

将所述多个操作监控关键帧中各个操作监控关键帧分别通过设备目标检测网络和工人目标检测网络以得到多个设备感兴趣区域和多个工人感兴趣区域；

将所述多个设备感兴趣区域中各个设备感兴趣区域分别通过第一线性嵌入层转化为设备感兴趣特征向量以得到多个设备感兴趣特征向量；

将所述多个工人感兴趣区域中各个工人感兴趣区域分别通过第二线性嵌入层转化为工人感兴趣特征向量以得到多个工人感兴趣特征向量；

对所述多个设备感兴趣特征向量和所述多个工人感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵；

将所述多个协同操作特征矩阵排列为三维输入张量后通过混合卷积层以得到分类特征图；

对所述分类特征图进行基于特征工程的先验参数化以得到优化分类特征图；

将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示工人的操作是否规范。

与现有技术相比，本申请提供的化工厂的智能巡检系统及其方法，其通过以基于深度学习的神经网络模型作为特征提取器来提取工人的操作监控视频的操作动态特征，并结合分类器对操作动态进行分类来实现对工人的操作进行监测和智能分析，其分类结果用于表示工人的操作是否规范。这样，避免因错误操作而带来的化工厂事故。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的化工厂的智能巡检系统的框图。

图2图示了根据本申请实施例的化工厂的智能巡检系统的系统架构图。

图3图示了根据本申请实施例的化工厂的智能巡检系统中结果生成模块的框图。

图4图示了根据本申请实施例的化工厂的智能巡检方法的流程图。

图5图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

示例性系统

图1图示了根据本申请实施例的化工厂的智能巡检系统的框图。图2图示了根据本申请实施例的化工厂的智能巡检系统的系统架构图。如图1和图2所示，根据本申请实施例的化工厂的智能巡检系统100，包括：数据采集模块110，用于获取由部署于化工厂内的摄像头采集的工人的操作监控视频；关键帧提取模块120，用于从所述操作监控视频提取多个操作监控关键帧；感兴趣区域识别模块130，用于将所述多个操作监控关键帧中各个操作监控关键帧分别通过设备目标检测网络和工人目标检测网络以得到多个设备感兴趣区域和多个工人感兴趣区域；设备感兴趣特征向量构造模块140，用于将所述多个设备感兴趣区域中各个设备感兴趣区域分别通过第一线性嵌入层转化为设备感兴趣特征向量以得到多个设备感兴趣特征向量；工人感兴趣特征向量构造模块150，用于将所述多个工人感兴趣区域中各个工人感兴趣区域分别通过第二线性嵌入层转化为工人感兴趣特征向量以得到多个工人感兴趣特征向量；关联模块160，用于对所述多个设备感兴趣特征向量和所述多个工人感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵；分类特征图生成模块170，用于将所述多个协同操作特征矩阵排列为三维输入张量后通过混合卷积层以得到分类特征图；优化模块180，用于对所述分类特征图进行基于特征工程的先验参数化以得到优化分类特征图；以及结果生成模块190，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示工人的操作是否规范。

在上述的化工厂的智能巡检系统100中，所述数据采集模块110，用于获取由部署于化工厂内的摄像头采集的工人的操作监控视频。如上述背景技术所述，巡检人员巡检员工的工作具有以下缺点：1、主观性：巡检人员的观察和判断可能受到主观因素的影响，可能存在个人认知偏差或主观判断失误的情况。2、人为限制：巡检人员在巡检过程中可能受到人为因素的限制，如疲劳、视觉疲劳、分心等，可能导致巡检的不准确性或遗漏。3、人力成本：巡检人员需要耗费大量的人力成本，包括培训、薪资、福利等方面的支出。4、实时性限制：普通巡检人员的巡检频率受到时间和人力资源的限制，无法实现实时监测和反馈，可能导致问题的延误。因此，期待一种优化的化工厂的智能巡检方案。

近年来，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、文本信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。

深度学习以及神经网络的发展为所述化工厂的智能巡检方案提供了新的解决思路和方案。具体地，在本申请的技术方案中，对工人的操作进行监测和智能分析，以避免因错误操作而带来的化工厂事故，这可以通过：以基于深度学习的神经网络模型作为特征提取器来提取工人的操作监控视频的操作动态特征，并结合分类器对操作动态进行分类来实现。

更具体地，首先由部署于化工厂内的摄像头采集工人的操作监控视频。为了更为全面地捕捉工人的操作过程，优选地将所述摄像头设置于所述工人的侧部，并且在进行视频采集时，工人的肢体和设备都能够在摄像头的成像视野内。

在上述的化工厂的智能巡检系统100中，所述关键帧提取模块120，用于从所述操作监控视频提取多个操作监控关键帧。所述操作监控视频的整个操作序列中许多连续帧是重复的或相似的，造成了信息冗余，增加了后续模型计算量。针对上述问题，在将所述操作监控视频输入神经网络模型之前，对所述操作监控视频进行采样处理。例如，在本申请一个具体的示例中，以预定采样频率从所述操作监控视频提取多个操作监控关键帧，这里，所述预定采样频率并非固定值而是可以基于应用场景自适应调整的设置值。

具体地，在本申请实施例中，所述关键帧提取模块120，包括：以预定采样频率从所述操作监控视频提取所述多个操作监控关键帧。

在上述的化工厂的智能巡检系统100中，所述感兴趣区域识别模块130，用于将所述多个操作监控关键帧中各个操作监控关键帧分别通过设备目标检测网络和工人目标检测网络以得到多个设备感兴趣区域和多个工人感兴趣区域。在进行操作监控和分析的过程中，重点关于工人的操作动作和设备的状态特征，因此，为了避免其他背景信息的干扰，将所述多个操作监控关键帧中各个操作监控关键帧分别通过设备目标检测网络和工人目标检测网络以得到多个设备感兴趣区域和多个工人感兴趣区域。

本领域普通技术人员应知晓，基于深度学习的目标检测方法依据网络中是否使用锚窗将网络分为基于锚窗(Anchor-based)与无锚窗(Anchor-free)两大类。基于锚窗的方法如Fast R-CNN、Faster R-CNN、RetinaNet等，基于无锚窗的方法如CenterNet、ExtremeNet、RepPoints等。在化工厂智能巡检系统中，设备和工人的尺度可能会有所变化，因此需要一种能够适应多尺度目标检测的方法。基于锚窗的目标检测网络可以通过设计不同尺度和宽高比的锚窗来适应不同尺度的目标，从而提高目标检测的准确性和鲁棒性。基于锚窗的目标检测网络通过在图像中生成一系列候选框(锚窗)，并对每个候选框进行分类和位置回归，从而实现目标的检测和定位。基于锚窗的目标检测网络通常采用了一些优化策略，如特征图金字塔和锚窗采样，可以在不牺牲检测准确性的情况下提高计算效率。对于化工厂智能巡检系统这样需要实时监测的场景，计算效率是非常重要的考虑因素。

相应地，在本申请的技术方案中，所述设备目标检测网络和所述工人目标检测网络为基于锚窗的目标检测网络。更具体地，在本申请的技术方案中，所述基于锚窗的目标检测网络为Fast R-CNN、Faster R-CNN或RetinaNet，对此所述基于锚窗的目标检测网络的类型，并不为本申请所局限。

具体地，在本申请实施例中，所述感兴趣区域识别模块130，进一步用于：使用所述基于锚窗的目标检测网络以如下目标检测公式对操作监控关键帧进行处理以得到设备感兴趣区域；其中，所述目标检测公式为：

ROI＝H(ψ

其中，ψ

在上述的化工厂的智能巡检系统100中，所述设备感兴趣特征向量构造模块140，用于将所述多个设备感兴趣区域中各个设备感兴趣区域分别通过第一线性嵌入层转化为设备感兴趣特征向量以得到多个设备感兴趣特征向量。考虑到所述设备感兴趣区域和所述工人感兴趣区域的尺度不同，两者无法在数据级直接数学关联。因此，在本申请的技术方案中，将所述多个设备感兴趣区域中各个设备感兴趣区域分别通过第一线性嵌入层转化为设备感兴趣特征向量以得到多个设备感兴趣特征向量。

具体地，在本申请实施例中，所述设备感兴趣特征向量构造模块140，包括：所述第一线性嵌入层使用可学习嵌入矩阵对所述多个设备感兴趣区域中各个设备感兴趣区域进行全连接编码以得到所述多个设备感兴趣特征向量。

在上述的化工厂的智能巡检系统100中，工人感兴趣特征向量构造模块150，用于将所述多个工人感兴趣区域中各个工人感兴趣区域分别通过第二线性嵌入层转化为工人感兴趣特征向量以得到多个工人感兴趣特征向量。将所述多个工人感兴趣区域中各个工人感兴趣区域分别通过第二线性嵌入层转化为工人感兴趣特征向量以得到多个工人感兴趣特征向量，这样，一方面通过所述线性嵌入层来统一所述设备感兴趣区域和所述工人感兴趣区域之间的尺度差异，另一方面，所述线性嵌入层适用可学习嵌入矩阵对所述设备感兴趣区域和所述工人感兴趣区域进行编码以进一步提取所述设备感兴趣区域和所述工人感兴趣区域中有用的信息。

具体地，在本申请实施例中，所述工人感兴趣特征向量构造模块150，包括：所述第二线性嵌入层使用可学习嵌入矩阵对所述多个工人感兴趣区域中各个工人感兴趣区域进行全连接编码以得到所述多个工人感兴趣特征向量。

在上述的化工厂的智能巡检系统100中，所述关联模块160，用于对所述多个设备感兴趣特征向量和所述多个工人感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵。对所述多个设备感兴趣区域和所述多个工人感兴趣区域进行关联编码以构建工人操作动作与设备的状态特征之间的联立表示。

具体地，在本申请实施例中，所述关联模块160，包括：以如下关联公式对同一所述操作监控关键帧的所述设备感兴趣特征向量和所述工人感兴趣特征向量进行关联编码以得到所述协同操作特征矩阵；其中，所述关联公式为：

其中V

在上述的化工厂的智能巡检系统100中，所述分类特征图生成模块170，用于将所述多个协同操作特征矩阵排列为三维输入张量后通过混合卷积层以得到分类特征图。将多个协同操作特征矩阵排列为三维输入张量后，可以保留操作之间的时序信息和空间关系。通过混合卷积层对三维输入张量进行处理，可以提取出更丰富的特征表示。混合卷积层是一种结合了不同尺度的卷积核的卷积层。它可以同时捕捉不同尺度的特征，从而提高特征的多样性和鲁棒性。

具体地，在本申请实施例中，所述分类特征图生成模块170，包括：第一卷积分支子单元，用于使用具有第一尺寸的第一卷积核对所述三维输入张量进行卷积编码以得到第一特征矩阵；第二卷积分支子单元，用于使用具有第一空洞率的第二卷积核对所述三维输入张量进行卷积编码以得到第二特征矩阵；第三卷积分支子单元，用于使用具有第二空洞率的第三卷积核对所述三维输入张量进行卷积编码以得到第三特征矩阵；第四卷积分支子单元，用于使用具有第三空洞率的第四卷积核对所述三维输入张量进行卷积编码以得到第四特征矩阵；以及多尺度特征融合子单元，用于将所述第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵进行沿通道维度进行聚合以得到所述分类特征图。其中，所述第一卷积核、所述第二卷积核、所述第三卷积核和所述第四卷积核具有相同的尺寸，所述第二卷积核、所述第三卷积核和所述第四卷积核具有不同的空洞率。

在上述的化工厂的智能巡检系统100中，所述优化模块180，用于对所述分类特征图进行基于特征工程的先验参数化以得到优化分类特征图。在本申请的技术方案中，考虑到所述分类特征图的特征分布满足预定先验知识，但是所述先验知识的描述是浅层表达，无法与所述分类特征图的特征深度进行匹配，基于此，以所述分类特征图的全局解码先验语义特征向量作为所述先验知识的特征化隐含表达，并对所述分类特征图进行基于特征工程的先验参数化以利用先验知识对所述分类特征图特征进行转换和优化，以提高解码模型的性能和泛化能力。

具体地，首先计算所述分类特征图的沿通道维度的各个特征矩阵的全局均值以得到全局解码先验语义特征向量作为所述先验知识的特征化隐含表达。接着，对所述分类特征图的沿通道维度的各个特征矩阵进行特征展平化处理以得到多个通道局部特征向量，并分别计算所述多个通道局部特征向量与所述全局解码先验语义特征向量之间的关联矩阵以得到多个特征工程先验关联矩阵，这里所述特征工程先验关联矩阵用于表示所述分类特征图的各个局部特征与所述先验知识的隐含特征表示之间的关联表达。接着，将所述多个特征工程先验关联矩阵通过基于注意力机制的先验参数化层以得到多个先验参数化注意力值，所述基于注意力机制的先验参数化层使用类似Transformer中的矩阵乘Attention来量化表达所述分类特征图的各个局部矩阵与所述先验知识之间的响应性关联。进而，以所述多个先验参数化注意力值作为权重分别对所述分类特征图的沿通道维度的各个特征矩阵进行加权以得到所述优化分类特征图。

这样，可以利用先验知识，增强所述分类特征图的特征表达能力和区分能力，提高解码准确率和鲁棒性

具体地，在本申请实施例中，所述所述优化模块180，包括：全局解码先验语义特征向量构造单元，用于计算所述分类特征图的沿通道维度的各个特征矩阵的全局均值以得到全局解码先验语义特征向量；特征展平化单元，用于对所述分类特征图的沿通道维度的各个特征矩阵进行特征展平化处理以得到多个通道局部特征向量；关联单元，用于分别计算所述多个通道局部特征向量与所述全局解码先验语义特征向量之间的关联矩阵以得到多个特征工程先验关联矩阵；先验参数化注意力单元，用于将所述多个特征工程先验关联矩阵通过基于注意力机制的先验参数化层以得到多个先验参数化注意力值；以及，加权优化单元，用于以所述多个先验参数化注意力值作为权重分别对所述分类特征图的沿通道维度的各个特征矩阵进行加权以得到所述优化分类特征图。

在上述的化工厂的智能巡检系统100中，所述结果生成模块190，用于将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示工人的操作是否规范。这样，对工人的操作进行监测和智能分析，以避免因错误操作而带来的化工厂事故。

图3图示了根据本申请实施例的化工厂的智能巡检系统中结果生成模块的框图。如图3所示，所述结果生成模块190，包括：展开单元191，用于将所述优化分类特征图按照行向量或者列向量展开为分类特征向量；全连接编码单元192，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及激活单元193，用于将所述编码分类特征向量输入所述分类器的Softmax分类函数以得到所述分类结果。

综上，根据本申请实施例的化工厂的智能巡检系统已被阐明，其通过以基于深度学习的神经网络模型作为特征提取器来提取工人的操作监控视频的操作动态特征，并结合分类器对操作动态进行分类来实现对工人的操作进行监测和智能分析，其分类结果用于表示工人的操作是否规范。这样，避免因错误操作而带来的化工厂事故。

示例性方法

图4图示了根据本申请实施例的化工厂的智能巡检方法的流程图。如图4所示，根据本申请实施例的所述化工厂的智能巡检方法，包括步骤：S110，获取由部署于化工厂内的摄像头采集的工人的操作监控视频；S120，从所述操作监控视频提取多个操作监控关键帧；S130，将所述多个操作监控关键帧中各个操作监控关键帧分别通过设备目标检测网络和工人目标检测网络以得到多个设备感兴趣区域和多个工人感兴趣区域；S140，将所述多个设备感兴趣区域中各个设备感兴趣区域分别通过第一线性嵌入层转化为设备感兴趣特征向量以得到多个设备感兴趣特征向量；S150，将所述多个工人感兴趣区域中各个工人感兴趣区域分别通过第二线性嵌入层转化为工人感兴趣特征向量以得到多个工人感兴趣特征向量；S160，对所述多个设备感兴趣特征向量和所述多个工人感兴趣特征向量进行关联编码以得到多个协同操作特征矩阵；S170，将所述多个协同操作特征矩阵排列为三维输入张量后通过混合卷积层以得到分类特征图；S180，对所述分类特征图进行基于特征工程的先验参数化以得到优化分类特征图；以及S190，将所述优化分类特征图通过分类器以得到分类结果，所述分类结果用于表示工人的操作是否规范。

这里，本领域技术人员可以理解，上述化工厂的智能巡检方法中的各个步骤的具体操作已经在上面参考图1到图3的化工厂的智能巡检系统的描述中得到了详细介绍，并因此，将省略其重复描述。

如上所述，根据本申请实施例的化工厂的智能巡检系统100可以实现在各种终端设备中，例如化工厂的智能巡检服务器等。在一个示例中，根据本申请实施例的化工厂的智能巡检系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该化工厂的智能巡检系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该化工厂的智能巡检系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该化工厂的智能巡检系统100与该终端设备也可以是分立的设备，并且该化工厂的智能巡检系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

综上，根据本申请实施实施例的化工厂的智能巡检方法已被阐明，其通过以基于深度学习的神经网络模型作为特征提取器来提取工人的操作监控视频的操作动态特征，并结合分类器对操作动态进行分类来实现对工人的操作进行监测和智能分析，其分类结果用于表示工人的操作是否规范。这样，避免因错误操作而带来的化工厂事故。

示例性电子设备

下面，参考图5来描述根据本申请实施例的电子设备。图5图示了根据本申请实施例的电子设备的框图。如图5所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的化工厂的智能巡检方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如工人的操作监控视频等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括工人的操作是否规范等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。