基于深度学习对安全帽特定区域颜色的识别方法及系统

技术领域

本发明涉及计算机应用技术领域，具体涉及一种基于深度学习对安全帽特定区域颜色的识别方法及系统。

背景技术

安全生产是工业生产过程中最核心的要求。在工业生产中，不同的工作人员需要对不同的工业程序进行监管、检测、维修等工作。面对高危设备及不同区域的分工，不同的工作人员进入不同现场佩戴安全帽是必要的安全措施。在工业现场中，要求能够实时监视生产过程中生产方式是否符合要求及工作人员是否能够在自己对应的工作区域进行工作。此外，化工厂区有很多重点保护区域，对进去的人员数和时长都有很严格的要求，因此可在厂区的重要区域对人员进行区域规划，以及对佩戴特定区域不同的颜色安全帽对人员的安全等级进行识别，实现“越界报警、人员识别”等功能。

传统的安全帽颜色识别主要针对人员身份的识别，以及是否正确佩戴安全帽做出判断，利用传统的计算机视觉来对安全帽整体的颜色进行识别，该方案使用安全帽目标检测模型检测出安全帽区域之后，使用传统的计算机视觉方法，分析判断安全帽的颜色。这种方法缺点是在光线较暗时，无法准确的识别的安全帽颜色，更不能对特定区域的颜色进行有效的识别，对特定区域的颜色识别具有一定的干扰。

发明内容

针对上述的在光线较暗的情况下，安全帽以及安全帽中特定区域的颜色识别不清楚的技术问题，本技术方案提供了一种基于深度学习对安全帽特定区域颜色的识别方法及系统，在ResNet网络中增加强注意力SENet模块来对安全帽上特定区域的颜色实现强注意，增加对特定颜色区域的识别性能；能有效的解决上述问题。

本发明通过以下技术方案实现：

一种基于深度学习对安全帽特定区域颜色的识别方法，具体的识别方法包括步骤：

步骤1：获取视频监控画面，对所获取的视频进行连续的视频帧获取；

步骤2：采集图像信息，对得到的视频帧进行分析，当检测待测图像信息上存在人体目标时，截取人体目标所在位置的区域图像；

步骤3：对人体区域图像进行人体目标与背景分割处理，并将背景像素统一变换为预设的背景色像素，以获得人体目标图像；

步骤4：将人体目标区域输入预先建立的卷积神经网络模型，对所述图像信息按照预先设置的目标分类进行多目标并行检测；具体的操作方式为：将人体目标区域图像输入人体检测模型，人体检测模型是基于YOLOv5的目标检测模型，可以识别出人体佩戴的安全帽整体和安全帽上特定区域的位置；

对YOLOv5的目标检测模型所提取的佩戴安全帽整体和安全帽上特定区域的位置可基本确定，但为后续安全帽上特定区域进行特征提取，需要对目前所提取的安全帽整体和安全帽上特定区域的位置做进一步空间变换，需要在YOLOv5特征提取网络中添加空间转换器spatial transformer的模块，将图像中的安全帽的位置和安全帽上特定的区域的空间域信息做对应的空间变换，从而能将关键的信息提取出来；

步骤5：根据并行检测结果，得到检测结果至少包括安全帽整体颜色和安全帽上特定区域位置和颜色的信息。

进一步的，对基于所述的YOLOv5的目标检测模型做进一步改进，具体的改进方式为：在YOLOv5的目标检测模型中应用注意力机制，利用强注意力和软注意力分别对安全帽上特定区域的位置和安全帽整体位置的关注性加以区分，具体来说，将强注意力SENet模块添加在YOLOv5的Backbone网络的高层次卷积层或池化层后面，将软注意力FPN模块添加在YOLOv5的Neck网络的高层次卷积层或池化层后面，以有效提高模型的准确性和鲁棒性。

进一步的，所述安全帽整体颜色和安全帽上特定区域颜色的信息的获取，具体步骤包括：

对人体目标区域获取后，需要进一步对安全帽整体颜色和安全帽上特定区域的颜色进行识别和分类处理；

根据基于改进后YOLOv5的目标检测模型得到安全帽和安全帽上特定区域的准确位置，将其输出结果作为ResNet网络模型的输入，对安全帽和安全帽上特定区域的特征进行提取，最后将提取出来的特征输入到分类网络中进行颜色分类。

对ResNet网络模型中ResNet-50的第三个Block之后增加SENet模块作为一种强注意力机制，SENet模块的主要目的是增强网络对特定特征的关注，提高网络性能；具体而言，使用YOLOv5输出的安全帽和安全帽上特定区域的位置特征，并将这些特征引入SENet模块，通过Squeeze-and-Excitation操作来增强对安全帽颜色的关注度。

采用特征融合方式，将上述的两部分特征结合在一起，形成统一的特征表示。通过特征融合，将来自目标检测模型和特定区域识别模块的信息相结合，以获得更综合、更有信息量的特征表示。

进一步的，所述对安全帽和安全帽特定区域颜色信息提取，具体步骤包括：

在ResNet模型的强注意力模块之前添加一个辅助网络来预测安全帽特定区域的位置信息，并将预测结果提供给强注意力模块，具体而言，在YOLOv5中添加一个额外的输出，该输出会在强注意力模块之前，对安全帽的显示屏位置进行预测；强注意力模块可以在定位到特定区域之后，将其作为关注点来进一步识别安全帽底色上的颜色；

对识别到安全帽和安全帽上特定区域的颜色使用优先级模块来进行加权平均算法来相对调整特定区域的权重，以便即使在不能准确识别出安全帽主体的颜色前提下，也能通过识别特定区域的颜色来进行信息的判断。

进一步的，所述安全帽整体颜色和安全帽上特定区域颜色的信息，具体颜色要求及通行权情况如下：

（一）基础颜色

化工行业安全帽颜色一般规定：

1）白色：项目领导及车间班组管理人员；

2）蓝色：特种人员以及机械操作维修人员；

3）黄色：施工班组人员；

4）红色：项目专职安全员；

为不破坏化工行业规定的安全帽颜色，在安全帽主体颜色不变的前提下，选择出特定的区域，安装显示屏，改变显示屏的颜色进而区分不同人员的活动区域以及相关人员的身份识别；

（二）区域通行颜色

1）通行权最高：绿色；特定区域为绿色，与上述任何四种主题颜色搭配，该种安全帽的通行权最高，可以全区域通行；

2）通行权中等：紫色；特定区域为紫色，与上述任何四种主题颜色搭配，该种安全帽的通行权为中等，可以在安全等级需求为中、低级区域通行；

3）通行权最低：橙色；特定区域为橙色，与上述任何四种主题颜色搭配，该种安全帽的通行权最低，只可以在安全等级需求为低级区域通行。

进一步的，步骤3所述的人体目标与背景分割处理，以获得人体目标框图像，并区分人体目标和背景像素的具体操作方式为：根据采集的图像信息，获取连续帧图像，从而获取当前帧图像和前帧图像中每个像素点的差值，将所述差值与预设的阈值进行比较，当所述差值超过预设的阈值范围时，将对应的像素点作为前景图像，否则，则作为背景图像，通过所述前景图像获取所述图像信息中的运动物体图像，即为人体目标。

一种基于深度学习对安全帽特定区域颜色的识别系统，可应用于上述的一种基于深度学习对安全帽特定区域颜色的识别方法，所述的识别系统包括：

图像处理模块，通过采集图像信息，并对图像信息中的运动物体图像进行获取，并对其人体目标和背景分离；

位置识别模块，用于对输入至YOLOv5进行多目标并行检测，获取安全帽及显示屏位置，所述检测结果至少包括安全帽整体颜色和安全帽上特定区域位置信息；

位置判定模块，用于根据所述并行检测结果对采集图像信息中的人员佩戴安全帽的情况进行判断，若未识别到安全帽位置，则判定该人员未佩戴安全帽，并进行报警；

颜色识别模块，根据输入至ResNet和分类网络对其二者进行颜色识别，并进行分类；

颜色判定模块，根据上述所识别到的颜色，结合该区域的通行权，判断该工作人员所持有的通行权等级是否可进入该区域，若符合，则进行职位和通行权信息的输出，若不符合，则报警；

信息统计模块,用于统计图像信息中佩戴安全帽的人员职位和通行权的信息，并记录于后台。

进一步的，所述的颜色识别模块内嵌有改进后YOLOv5的目标检测模型和ResNet网络模型，YOLOv5的目标检测模型和ResNet网络模型之间连接，YOLOv5的目标检测模型的输出口作为ResNet网络模型的输入。

进一步的，所述的YOLOv5的目标检测模型中，特征提取网络中添加有用于装载空间转换器spatial transformer的模块；YOLOv5的目标检测模型中，Backbone网络的高层次卷积层或池化层后面添加有强注意力SENet模块；YOLOv5的目标检测模型中，Neck网络的高层次卷积层或池化层后面添加有软注意力FPN模块；所述ResNet网络模型中，ResNet-50的第三个Block之后增加有SENet模块。

一种计算机设备，包括存储介质、处理器以及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于：所述的计算机程序为上述的一种基于深度学习对安全帽特定区域颜色的识别系统；所述处理器执行计算机程序时实现上述的一种基于深度学习对安全帽特定区域颜色的识别方法。

本发明提出的一种基于深度学习对安全帽特定区域颜色的识别方法及系统，与现有技术相比较，其具有以下有益效果：

本技术方案中通过对采集到的图像，进行人体目标和背景分离，进一步输入改进后的YOLOv5算法模型中，将其输出至ResNet和分类网络中，在ResNet网络中增加强注意力模块SENet来对安全帽上特定区域的颜色强注意，在整个网络的最后增加优先级模块，来进一步增强对特定区域的关注度，提高网络的表现；即使在光线较暗的环境条件下，也能准确识别安全帽主体和特定区域的颜色，为后期判断该工作人员是否在限定区域内给出基础。

本技术方案中的特定区域采用显示屏，在安全帽帽檐前方的正中心位置设计安装一个长宽比例为2：1的长方形电子显示屏，并配备电池和无线通信模块安装在显示屏的背面，与显示屏通信连接；使得显示屏与后台服务器或其他设备建立连接，可通过后台来控制和改变显示屏的颜色，进而识别其颜色作出相应通行权的判断。利用显示屏的优点，可以在环境光线较暗或者视野不清晰的条件下，以达到最大化识别位于安全帽特定区域的显示屏上所显示的颜色，来快速准确判断该工作人员的通行权的高低。此外，每种职位的工作人员的通行权并非不可更改，方可通过后台来临时调节显示屏的颜色，这样对人员调度和利用上达到最大化，也可以减少资源的浪费。

本技术方案通过对安全帽整体颜色和特定区域颜色的识别，可准确得到工作人员的职位和通行权，并通过对不同区域的区分和管控，确保未经授权的人员无法进入特定区域。病利用安全帽上的特定区域—显示屏所显示的颜色进行判断，以确定工作人员是否在正确区域工作，并且按照安全生产规范佩戴安全帽。通过将通行权划分为不同级别，以及根据安全帽上指定区域的颜色来区分通行权的高低，进一步限定人员的通行权限；可以更细致地管理不同区域的通行权，并根据实际需求灵活调整工作人员的通行级别；能够更好地实现区域管控和安全管理，确保只有授权人员才能进入相应区域，实现了“越界报警、人员识别”等功能，提高了工作的安全性。

附图说明

图1是实施例1中的整体方法具体流程图。

图2是实施例1中在YOLOv5特征提取网络中添加空间转换器模块。

图3是实施例1中改进后YOLOv5结构图。

图4是本发明中化工厂不同区域通行权的平面图。

图5是实施例1中的具体通行权和工作人员职位信息示意图。

图6是实施例1中的主体安全帽及位于安全帽前檐正中心的显示屏。

图7是实施例2的整体系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。在不脱离本发明设计构思的前提下，本领域普通人员对本发明的技术方案做出的各种变型和改进，均应落入到本发明的保护范围。

实施例1

如图1所示，一种基于深度学习对安全帽特定区域颜色的识别方法，具体的识别方法包括步骤：

步骤1：获取视频监控画面，对所获取的视频进行连续的视频帧获取。

通过监控摄像头等图像采集装置对所需的监控画面进行图像提取，如特定工作区域或者危险区等场景进行图像采集，获取实时图像信息。

步骤2：采集图像信息，对得到的视频帧进行分析，当检测待测图像信息上存在人体目标时，截取人体目标所在位置的区域图像。

实时识别监控画面，检测是否存在有变化的部分，即运动的物体；如果监控画面中出现运动的物体，则对该部分图像进行提取。

步骤3：对人体区域图像进行人体目标与背景分割处理，并将背景像素统一变换为预设的背景色像素，以获得人体目标图像。

将人体目标与背景分割处理，以获得人体目标框图像，并区分人体目标和背景像素的具体操作方式为：根据采集的图像信息，获取连续帧图像，从而获取当前帧图像和前帧图像中每个像素点的差值，将所述差值与预设的阈值进行比较，当所述差值超过预设的阈值范围时，将对应的像素点作为前景图像，否则，则作为背景图像，通过所述前景图像获取所述图像信息中的运动物体图像，即为人体目标。

在本实例中，需要对人体目标与背景进行分割，以减少背景对人体目标识别的干扰，以最大化准确的识别人体目标进而来识别安全帽和安全帽特定区域-显示屏的位置。根据采集的图像信息，获取连续帧图像，利用“前后景分割”算法来获取当前帧图像和前帧图像中每个像素点的差值，将所述差值与预设的阈值进行比较，当所述差值超过预设的阈值范围时，将对应的像素点作为前景图像，否则，则作为背景图像，通过所述前景图像获取所述图像信息中的运动物体图像，即为人体目标。

步骤4：将人体目标区域输入预先建立的卷积神经网络模型，对所述图像信息按照预先设置的目标分类进行多目标并行检测；具体的操作方式为：

将人体目标区域图像输入人体检测模型，人体检测模型是基于YOLOv5的目标检测模型，可以识别出人体佩戴的安全帽整体和安全帽上特定区域的位置。

在本实例中，在输入YOLOv5目标检测模型前，需要将输入图像的颜色空间由RGB颜色空间转换为HSV颜色空间。例如，将颜色分解为色调、饱和度和明度三个分量，其中色调分量可以很好地区分颜色的种类，饱和度和明度分量则可以反映颜色的强度和明暗程度，因此，使用HSV颜色空间可能会在一定程度上提高安全帽颜色识别的准确性。转换后，可输入至所述YOLOv5的目标检测模型中对安全帽整体和安全帽上特定区域的位置进行获取，如图4所示，识别到安全帽整体和安全帽帽檐正中心特定区域显示屏的位置。

对于提取安全帽和安全帽特定区域的位置可能存在空间上位置的偏差，或监控摄像头拍摄到监控画面存在一定偏移和误差；因此为后续安全帽上特定区域更好的进行特征提取，需要对目前所提取的安全帽整体和安全帽上特定区域的位置做进一步空间变换。

对YOLOv5的目标检测模型所提取的佩戴安全帽整体和安全帽上特定区域的位置可基本确定，但为后续安全帽上特定区域进行特征提取，需要对目前所提取的安全帽整体和安全帽上特定区域的位置做进一步空间变换，需要在YOLOv5特征提取网络中添加空间转换器spatial transformer的模块，将图像中的安全帽的位置和安全帽上特定的区域的空间域信息做对应的空间变换，从而能将关键的信息提取出来。具体空间转换器模块如图2所示。

对基于YOLOv5的目标检测模型做进一步改进，具体的改进方式为：在YOLOv5的目标检测模型中应用注意力机制，利用强注意力和软注意力分别对安全帽上特定区域的位置和安全帽整体位置的关注性加以区分，具体来说，将强注意力SENet模块添加在YOLOv5的Backbone网络的高层次卷积层或池化层后面，将软注意力FPN模块添加在YOLOv5的Neck网络的高层次卷积层或池化层后面，以有效提高模型的准确性和鲁棒性。改进后YOLOv5结构图如图3所示。

对位置获取后，需要进一步对需要进一步对安全帽整体颜色和安全帽上特定区域的颜色进行识别和分类处理；安全帽整体颜色和安全帽上特定区域颜色的信息的获取，具体步骤包括：

根据基于改进后YOLOv5的目标检测模型得到安全帽和安全帽上特定区域的准确位置，将其输出结果作为ResNet网络模型的输入，对安全帽和安全帽上特定区域的特征进行提取，最后将提取出来的特征输入到分类网络中进行颜色分类。

对ResNet网络模型中ResNet-50的第三个Block之后增加SENet模块作为一种强注意力机制，SENet模块的主要目的是增强网络对特定特征的关注，提高网络性能；具体而言，使用YOLOv5输出的安全帽和安全帽上特定区域的位置特征，并将这些特征引入SENet模块，通过Squeeze-and-Excitation操作来增强对安全帽颜色的关注度。网络可以更加集中地关注安全帽颜色的特征，从而提高识别的准确性和可靠性。此处选择SENet强注意力模块的目的是尽可能减少整个网络的复杂度。

在本实例中，对YOLOv5模型提取的特征进行更高层次的抽象和整合，从而得到更高质量的特征表示，需要在ResNet模型的强注意力模块之前添加一个辅助网络来预测安全帽特定区域的位置信息，并将预测结果提供给强注意力模块，具体而言，可以在YOLOv5中添加一个额外的输出，该输出会在强注意力模块之前，对安全帽的显示屏位置进行预测。强注意力模块可以在定位到特定区域之后，将其作为关注点来进一步识别安全帽底色上的颜色。

对安全帽和安全帽特定区域颜色信息提取，具体步骤包括：

在ResNet模型的强注意力模块之前添加一个辅助网络来预测安全帽特定区域的位置信息，并将预测结果提供给强注意力模块，具体而言，在YOLOv5中添加一个额外的输出，该输出会在强注意力模块之前，对安全帽的显示屏位置进行预测；强注意力模块可以在定位到特定区域之后，将其作为关注点来进一步识别安全帽底色上的颜色；

对识别到安全帽和安全帽上特定区域的颜色使用优先级模块来进行加权平均算法来相对调整特定区域的权重，以便即使在不能准确识别出安全帽主体的颜色前提下，也能通过识别特定区域的颜色来进行信息的判断。

安全帽整体颜色和安全帽上特定区域颜色的信息，具体颜色要求及通行权情况如下：

（一）基础颜色

化工行业安全帽颜色一般规定：

1）白色：项目领导及车间班组管理人员；

2）蓝色：特种人员以及机械操作维修人员；

3）黄色：施工班组人员；

4）红色：项目专职安全员；

为不破坏化工行业规定的安全帽颜色，在安全帽主体颜色不变的前提下，选择出特定的区域，安装显示屏，改变显示屏的颜色进而区分不同人员的活动区域以及相关人员的身份识别。

（二）区域通行颜色

1）通行权最高：绿色；特定区域为绿色，与上述任何四种主题颜色搭配，该种安全帽的通行权最高，可以全区域通行；

2）通行权中等：紫色；特定区域为紫色，与上述任何四种主题颜色搭配，该种安全帽的通行权为中等，可以在安全等级需求为中、低级区域通行；

3）通行权最低：橙色；特定区域为橙色，与上述任何四种主题颜色搭配，该种安全帽的通行权最低，只可以在安全等级需求为低级区域通行。如图5所示。安全帽的结构如图6所示。

步骤5：根据并行检测结果，得到检测结果至少包括安全帽整体颜色和安全帽上特定区域位置和颜色的信息。

步骤6：根据并行检测结果对采集图像信息中的人员佩戴安全帽的情况进行判断，通过将人体目标图像输入至YOLOv5目标检测模型中，识别出安全帽位置，若未识别出安全帽位置，则判定该工作人员未佩戴安全帽，则发出警报信息。

具体的为：得到安全帽和安全帽上特定区域-显示屏的位置，若未识别出安全帽位置，则判定该工作人员未佩戴安全帽，则发出警报信息；如果检测到正确佩戴安全帽的人员，可输入至后续的ResNet和分类网络，识别安全帽和安全帽特定区域-显示屏的颜色，并根据输出显示屏的颜色，来判断该工作人员的通行权与规定区域的颜色是否符合，若符合方可进入，若不符合，则发出警报信息。

其中，如图4所示，化工厂暂时规定危险区和维修区为拥有高等通行权人员可以进入，特定区为拥有中等通行权人员可以进入，工作区为拥有低等通行权人员可以进入。现一安全帽底色为蓝色，特定区域显示屏为紫色的工作人员，通过信息结合可判断该名工作人员为：通行权中等的机械操作维修人员，该工作人员平常在特定区内工作，若此时工作区发生异常需要该名工作人员进行现场维修，由于他通行权为中等，可以进入中等或低等级区域，因此他可直接进入工作区进行现场维修；若此时危险区出现异常，需要紧急调动技术人员进行现场勘察，则该名工作人员需要后台的工作人员或者计算机程序对其通行权更改，使其显示屏颜色更改为绿色，以达到最高级的通行权。如此，可以减少一些工作人员进入危险区以及可规范工作人员的工作区域，来实现工业化生产的标准和安全。

实施例 2：

如图7所示，一种基于深度学习对安全帽特定区域颜色的识别系统，可应用于上述的一种基于深度学习对安全帽特定区域颜色的识别方法，所述的识别系统包括：

图像处理模块，通过采集图像信息，并对图像信息中的运动物体图像进行获取，并对其人体目标和背景分离。

位置识别模块，用于对输入至YOLOv5进行多目标并行检测，获取安全帽及显示屏位置，所述检测结果至少包括安全帽整体颜色和安全帽上特定区域位置信息。

位置判定模块，用于根据所述并行检测结果对采集图像信息中的人员佩戴安全帽的情况进行判断，若未识别到安全帽位置，则判定该人员未佩戴安全帽，并进行报警。

颜色识别模块，根据输入至ResNet和分类网络对其二者进行颜色识别，并进行分类。

颜色判定模块，根据上述所识别到的颜色，结合该区域的通行权，判断该工作人员所持有的通行权等级是否可进入该区域，若符合，则进行职位和通行权信息的输出，若不符合，则报警。

信息统计模块,用于统计图像信息中佩戴安全帽的人员职位和通行权的信息，并记录于后台。

颜色识别模块内嵌有改进后YOLOv5的目标检测模型和ResNet网络模型，YOLOv5的目标检测模型和ResNet网络模型之间连接，YOLOv5的目标检测模型的输出口作为ResNet网络模型的输入。

YOLOv5的目标检测模型中，特征提取网络中添加有用于装载空间转换器spatialtransformer的模块；YOLOv5的目标检测模型中，Backbone网络的高层次卷积层或池化层后面添加有强注意力SENet模块；YOLOv5的目标检测模型中，Neck网络的高层次卷积层或池化层后面添加有软注意力FPN模块；所述ResNet网络模型中，ResNet-50的第三个Block之后增加有SENet模块。

实施例3

一种计算机设备，包括存储介质、处理器以及存储在存储介质上并可在处理器上运行的计算机程序，所述的计算机程序为实施例2所述的一种基于深度学习对安全帽特定区域颜色的识别系统；所述处理器执行计算机程序时实现实施例1所述的一种基于深度学习对安全帽特定区域颜色的识别方法。