一种营销作业风险因素的精细识别方法和系统

技术领域

本发明属于图像识别技术领域，尤其涉及一种营销作业风险因素的精细识别方法和系统。

背景技术

电网企业现场作业的安全监督办法虽然较为完善，但仍需相关安全管理人员人为执行，因此并不能保证百分之百的落到实处。特别是针对营销领域现场作业范围广、作业数量多、时效性要求高、部分作业在用户侧、主业人员和项目外单位人员兼有等问题，更难以保证监督人员对所有营销作业过程进行实时监控与风险预警信息实时反馈。

安全着装是电力作业安全管理中的重要内容，在电力作业场景下能够有效的保护作业人员的安全。但在实际作业中，作业人员不按照安全管理规定佩戴安全服装或执行操作时未按规定戴绝缘服装等违章行为时有发生，给电力作业现场带来极大的安全隐患。同时，这些安全服装和绝缘服装的外观不显眼，因此在实际的识别中，容易和其他的服装混淆，识别效果差。

发明内容

为了解决或者改善上述问题，本发明提供了营销作业风险因素的精细识别方法和系统，具体技术方案如下：

本发明提供一种营销作业风险因素的精细识别方法，包括：基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。

优选的，所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。

优选的，所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。

优选的，所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。

优选的，所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。

本发明提供一种营销作业风险因素的精细识别系统，包括：第一模块，用于基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；第二模块，用于识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。

优选的，所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。

优选的，所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。

优选的，所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。

优选的，所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。

本发明的有益效果为：基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果，能够提高识别作业活动中特定风险因素的准确度。

附图说明

图1是根据本发明的营销作业风险因素的精细识别方法的流程图；

图2是根据本发明的营销作业风险因素的精细识别系统的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

为解决背景提到的技术问题，本发明提供如图1所示的一种营销作业风险因素的精细识别方法，包括：基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。

所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。

所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。

所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。

所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。

目前已有部分学者研究作业人员安全帽检测等手段，但主要技术思路均集中在“人员检测—身体部位检测—防护措施(安全帽)判别”这一方案，首先从监控图像中检测到作业人员，随后对作业人员各个部分进行检测，最后判断是否按照规定佩戴安全帽等。该方案步骤较为繁琐，且各个阶段之间联系不紧密，如在检测作业人员时，通常没有采用细节部分的信息，而在检测安全帽佩戴情况时，又仅使用头部的图像进行判断，导致模型整体鲁棒性不强。此外，现有方法对身体各个部分之间的联系仅使用距离来判断，因此在实际应用中很容易受到作业人员距离、动作变化等因素的影响。

本发明主要构建了一个作业人员安全防护状态细粒度辨识模型，通过多通道特征融合及多标签输出结构，对作业人员的安全帽、防护服、绝缘手套等防护措施进行端到端检测。相比于其他方法而言，该模型采用“整体—局部”联合识别方案，无需单独考虑局部目标识别之后的归属问题，且识别过程简单，有利于变电站作业人员安全管控的部署应用。

作业人员安全防护状态细粒度辨识模型的整体结构，主要可分为特征提取模块、细粒度安全防护辨识模块、人体关键点连接模块。

其中，特征提取过程包括：

特征提取网络是实现计算机视觉的基础结构，原始图像中数据量大、噪声多，直接对原始图像数据进行处理不仅需要进行无用的计算，且由于噪声的干扰，效果往往较差。因此，计算机视觉领域常采用卷积神经网络结构对图像特征进行提取和组合，从而形成能够表达图像复杂结构的深层语义信息。由于本发明的检测对象为工作服、绝缘手套等类别，该类别与普通衣服、未带绝缘手套这两种情况极为相似，通常的特征提取网络难以满足本发明应用的需求。因此，本发明在深度残差神经网络的基础上，引入混合注意力机制及多尺度特征融合机制，从而加强网络的提取和表达能力。

基础网络：本发明以ResNet为基础设计作业人员安全防护状态细粒度辨识模型的特征提取网络，深度残差网络(Deepresidualnetwork,ResNet)是计算机视觉领域最具有代表性的特征提取网络之一，相比于其他基于卷积神经网络的特征提取网络而言，深度残差网络采用残差结构实现参数的跨层连接和融合，能够有效解决卷积神经网络在模型深度过深时出现的梯度爆炸和过拟合问题。同时由于残差跨连接结构的应用，深度残差网络在特征的提取方面也表现出了明显的优势。随着网络层数的增加，对于深层特征的提取能力进一步增强，但会导致纹理特征的丢失，不利于后续细粒度目标检测任务的实施，同时计算量也将大幅上升。考虑到模型精度和计算量等因素，本发明选择ResNet-101作为模型的基础网络。

混合注意力机制的相关内容包括：

图片中的像素信息由卷积神经网络进行特征提取后，形成一定深度的特征图，由这些特征图来表示目标。在作业人员安全防护状态细粒度辨识任务中，未穿工作服和穿工作服、未戴绝缘手套和戴绝缘手套、未戴安全帽和戴安全帽之间的形状差异不明显，常用的特征提取网络难以提取到具有区分性的特征。为了提高特征提取网络对有效特征提取的能力，在提取特征时需要对重要区域赋予更多的关注，比如工作服的颜色及结构、安全帽和绝缘手套的颜色等。为了实现这一目标，本发明在特征提取网络中加入混合注意力模块，该模块主要分为通道注意力层和空间注意力层，通道注意力层可以增强有利于表示目标的特征图并抑制其他特征图，而空间注意力层则是在特征图内增强目标所在的前景区域，并抑制背景区域的信息。通过设计混合注意力模块，可以使得特征提取过程中尽可能聚焦于前景与背景之间的差异性区域，增加特征提取的有效性。

混合注意力的过程，需要经过通道注意力(模块)处理和空间注意力(模块)处理，其中，通道注意力(模块处理的过程)通过公式(1)计算得到：

其中，AvgPool(F)表示对特征图F执行平均池化操作，/>

空间注意力(模块处理的过程)可以通过公式(2)计算得到：

其中，均值池化和最大值池化均在通道维度进行，因此得到的特征维度为/>

最终将通道注意力模块和空间注意力模块进行串联应用，形成混合注意力模块，计算公式(3)：

多尺度特征融合的相关内容包括：

卷积神经网络通过对原始图像进行卷积和池化操作，获取不同尺度的特征图。实验表明，浅层特征图分辨率高，较为完整的保留了原始图片的细节信息，但对于物体的整体形态表示能力不足；深层特征图经过了复杂的非线性变换，包含丰富的语义信息，但同时也由于分辨率过低而导致图片中的细节信息丢失。对于输电线路超小目标检测任务而言，浅层特征图难以捕捉目标整体形态信息，而深层特征图则由于卷积操作导致小目标像素信息损失，可利用信息大大减少。因此，本发明采用特征金字塔网络进行多尺度特征融合，从而作业人员安全防护状态细粒度辨识的准确率。

细粒度安全防护辨识的相关内容包括：

设置细粒度安全防护辨识模块，用于现场作业人员的安全防护措施是否符合规定进行检测。为了实现安全防护措施细粒度辨识。

本模块借鉴FasterRCNN的目标分类头进行设计。首先，本模块基于特征提取模块得到的特征图，设计了金字塔结构的区域建议网络(FPN-RPN)，用于生成目标候选区域。随后，在区域建议结果的基础上，本发明采用ROIAlign操作对区域特征进行尺寸调整，使每个区域的特征图尺寸保持一致。最后，通过全连接层对候选区域进行回归，判定目标类型与位置。

1)FPN-RPN：提出采用多尺度特征融合的方案来提取更为丰富的特征图，因此，在特征图的使用上同样构建FPN-RPN网络结构来完成候选区域建议。

在采用RPN网络生成候选锚框时，本发明首先设计了5种比例的候选锚框，分别是{1:3，1:2，1:1，2:1，3:1}，而特征提取网络中的特征金字塔结构共提供了5种不同尺度的特征图，因此在进行RPN操作时同一比例的锚框也应具有5个尺度，分别分布在对应的特征图中。随后，RPN网络对于生成的先验锚框进行分类，提取属于前景的锚框。在进行锚框的分类和回归时，首先采用卷积核大小为3×3的卷积对预测分支进行特征的融合，然后利用卷积核大小为1×1的全卷积进行分类和回归的预测，与原RPN网络使用全连接层的方式相比，该方式可以有效减少网络参数量，同时增强网络非线性的表达能力。

在RPN网络中，主要是需要通过分类层来判断该锚框是属于前景区域或者背景区域，并输出对应的概率分数，同时，RPN中还设置了回归层，用于调整锚框的位置，其中位置调整的公式：

经过RPN网络后，每个锚框都可以获得一个置信度分数，分数的大小即表示该锚框存在目标的可能性的大小。因此，本发明选取置信度最高的2000个锚框作为候选框，用于后续的检测。

2)ROIAlign：经过FPN-RPN网络得到的候选区域大小不一，对应的特征图也具有不同的尺寸。在进行目标的分类和回归时，要求每个候选框输入的特征维度相同。若直接将候选框重采样到指定大小，则不同长宽比的目标会产生不同的形变，导致最终检测困难。因此，本发明中采取ROIAlign操作对候选框的尺寸进行统一。

本发明中设置ROIAlign操作后输出的特征图大小为7×7大，ROIAlign算法具体实现：

1)将原图中的感兴趣区域映射到特征图中，保留浮点数；

2)将特征图中的感兴趣区域平均切割为7×7大小的网格；

3)将采样数设置为4，在每个网格中将其均分成4个部分，以每部分的中心作为采样点；

4)对每个网格内的像素点进行最大池化操作，作为池化结果。

5)损失函数设计

训练细粒度安全防护辨识模块时，需要根据模型的损失函数来判断模型训练情况，当模型损失函数接近稳定状态时，可认为模型收敛。在细粒度安全防护辨识模块训练中需要对其中的RPNβ阶段和细粒度分类阶段分别建立损失函数。

RPN网络的损失函数：

细粒度分类阶段的损失函数：

L(p,u,t

设置营销现场作业人员关键点链接模块，以识别营销作业现场图像中人员的人体关键点。

借鉴OpenPose算法的思路，在特征提取模块的基础上，构建作业人员关键点连接模块，通过将人体关键点与上一小节中的身体部位识别结果相结合，从而保证作业人员安全防护状态识别结果的完整性和准确性。

作业人员关键点连接模块可以分成两部分，第一部分是对人体的各个关键点进行检测，从而得到人体各个关节的位置；第二部分是通过对人员的肢体的方向进行评估，寻找各个关键点之间的连接关系，从而聚类得到完整的个体信息以及各个关键点之间的连接关系，构建人体骨骼姿态。这两个部分输出的识别结果分别称为特征点置信图PCMs和局部亲和域PAFs。

为了实现对人体关键点置信图和局部亲和域的预测，本算法采用了双路分支预测网络

本发明提供如图2所示的一种营销作业风险因素的精细识别系统，包括：第一模块1，用于基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；第二模块2，用于识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。

所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。

所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。

所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。

所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。

本领域普通技术人员可以意识到，结合本实施例中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的实施例中，应该理解到，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元可结合为一个单元，一个单元可拆分为多个单元，或一些特征可以忽略等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。