一种基于图像识别技术的安全带佩戴识别方法和装置

技术领域

本发明涉及建筑工程施工领域技术领域，特别涉及一种基于图像识别技术的安全带佩戴识别方法和装置。

背景技术

随着经济和科技技术的不断发展，施工人员的安全性问题得到越来越多的重视。在施工人员作业时，安全带的佩戴有时会被施工人员不小心忽视，也存在未按要求佩戴安全带的情况，都会增加施工人员的危险性。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，为了解决上述存在的潜在的危险性，本发明的一个目的在于提出一种基于图像识别技术的安全带佩戴识别方法，以提高施工人员在作业时的安全性问题。

本发明的另一个目的在于提出一种基于图像识别技术的安全带佩戴识别装置。

为达到上述目的，本发明一方面实施例提出了一种基于图像识别技术的安全带佩戴识别方法，该方法包括：实时采集视频数据；其中，视频数据中包括施工区域的施工人员图像；将视频数据输入至训练好的fast R-CNN模型，获取类别为施工人员的施工人员矩形框；其中，施工人员矩形框中的图像部分至少包括所述施工人员图像；将施工人员矩形框中的图像部分输入至训练好的VGG网络模型，以生成施工人员是否佩戴安全带的检测结果。

根据本发明的第二方面，提供了一种基于图像识别技术的安全带佩戴识别装置，包括：数据采集单元、处理单元和检测单元。

其中，数据采集单元，用于实时采集视频数据；其中，视频数据中包括施工区域的施工人员图像；处理单元，用于将视频数据输入至训练好的fast R-CNN模型，获取类别为施工人员的施工人员矩形框；其中，施工人员矩形框中的图像部分至少包括所述施工人员图像；检测单元，用于将所述施工人员矩形框中的图像部分输入至训练好的VGG网络模型，以生成施工人员是否佩戴安全带的检测结果。

本发明的实施例提供的技术方案至少带来以下有益效果：

本发明具备较高的环境适应性和检测准确率，以及具有一定的鲁棒性，可以实现对施工现场施工人员安全带佩戴情况自动识别检测，可辅助各级施工区安全监管单位进行施工区智能化监管，提高施工区安全监管信息化水平。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明第一实施例的流程图；

图2为根据本发明第二实施例的流程图；

图3是根据本发明第二实施例中步骤S20的子步骤的流程图；

图4是根据本发明第二实施例中步骤S40的子步骤的流程图；

图5是根据本发明第二实施例的另一种流程图；

图6是根据本发明第二实施例中步骤S100的子步骤的流程图；

图7是根据本发明第三实施例的结构图；

图8是根据本发明第三实施例的一种结构图；

图9是根据本发明第三实施例的另一种结构图；

图10是根据本发明第三实施例的又一种结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本发明提供一种基于图像识别技术的安全带佩戴识别方法，图1是根据本发明第一实施例的流程图。

如图1所示，该方法包括但不限于如下步骤：

S1，实时采集视频数据；其中，视频数据中包括施工区域的施工人员图像。

本发明第一实施例中，可以在施工现场、或者施工现场的特定区域，设置视频采集装置，示例性的，视频采集装置可以为摄像头。

需要说明的是，上述示例仅作为示意，不作为对本发明第一实施例的具体限制，本领域的技术人员可以根据需要采用其他任意可以实现上述功能的方式进行任意设置。

本发明第一实施例中，在能够获取施工区域中施工人员图像的位置设置图像采集装置，以通过图像采集装置获取包括施工区域的施工人员的视频数据。

可以理解的是，施工区域的范围很大，施工人员的位置比较分散，可能无法通过一个图像采集装置获取的视频数据，获取到完整的施工人员图像，或者可能通过视频数据获取到施工人员图像不清晰。基于此，本发明第一实施例中，可以设置多个图像采集装置，每个图像采集装置采集包括一部分施工人员图像的视频数据，从而能够获取到施工区域中，清晰完整的施工人员图像，方便后续对施工区域中的施工人员图像中是否佩戴安全带进行检测。

S2，将视频数据输入至训练好的fast R-CNN模型，获取类别为施工人员的施工人员矩形框；其中，施工人员矩形框中的图像部分至少包括施工人员图像。

可以理解的是，在实际施工过程中，施工区域的场景较为复杂，摄像头距离施工人员较远，且施工人员佩戴安全带的图像模糊，数据量小不利于目标检测的准确性，基于此，本发明实施例中将安全带检测的任务分为两个过程。

第一个过程为识别获取施工人员图像，第二个过程为对获取的施工人员图像进行分类识别。

示例性的，本发明第一实施例中将视频数据输入至训练好的fast R-CNN模型，获取类别为施工人员的施工人员矩形框；其中，路面检测框中的图像部分至少包括施工人员，以此，实现识别获取施工人员图像。

需要说明的是，本发明第一实施例中，训练好的fast R-CNN模型能够识别施工人员图像，并用矩形框将识别的施工人员图像进行标识，从而能够获取施工人员图像。

S3，将施工人员矩形框中的图像部分输入至训练好的VGG网络模型，以生成施工人员是否佩戴安全带的检测结果。

本发明第一实施例中，在将视频数据输入至训练好的fast R-CNN模型，获取类别为施工人员的施工人员矩形框之后，将获取的矩形框中的图像部分输入至训练好的VGG网络模型进行分类操作，得到的分类包括两类，可以得到带有正标签和负标签的施工人员图像，即为佩戴安全带和未佩戴安全带，从而实现对安全带的检测。

根据本发明实施例提供的基于图像识别技术的安全带佩戴识别方法，通过实时采集视频数据；其中，视频数据中包括施工区域的施工人员图像；将视频数据输入至训练好的fast R-CNN模型，获取类别为施工人员的施工人员矩形框；其中，施工人员矩形框中的图像部分至少包括施工人员图像；将施工人员矩形框中的图像部分输入至训练好的VGG网络模型，以生成施工人员是否佩戴安全带的检测结果。由此，可以实现对施工现场施工人员安全带佩戴情况自动识别检测，可辅助各级施工区安全监管单位进行施工区智能化监管，提高施工区安全监管信息化水平。

图2是根据本发明第二实施例的流程图。

如图2所示，本发明第二实施例提供的基于图像识别技术的安全带佩戴识别方法，包括但不限于如下步骤：

S10：实时采集视频数据；其中，视频数据中包括施工区域的施工人员图像。

本发明第二实施例中S10的描述说明可以参见上述第一实施例中的S1中的描述，此处不再赘述。

S20：将视频数据输入多个卷积层和最大池化层，产生卷积特征图。

如图3所示，本发明第二实施例中S20包括但不限于如下子步骤：

S21，从视频数据中截取多张图片。

本发明第二实施例中，在实时采集的视频数据中，截取多张图片，示例性的，可以每秒截取一张图片。

S22，对多张图片的整张图像进行卷积操作。

本发明第二实施例中，相比普通的RCNN，卷积不再是对每个region proposal进行，而是直接对整张图像，这样减少了很多重复计算。原来RCNN是对每个region proposal分别做卷积，因为一张图像中有2000左右的region proposal，肯定相互之间的重叠率很高，因此产生重复计算。因此本发明对多张图片的整张图像进行卷积操作少了很多重复计算。

S23，根据对整张图像的卷积操作生成卷积特征图。

本发明第二实施例中，通过对整张图像进行卷积操作，生成卷积特征图。减少计算重叠率，减少计算量，使得在轻量化的同时保持准确性，降低内存成本。

请继续参见图2，本发明第二实施例中，在S20之后执行S30：将卷积特征图输入RoI池化层中，对每一个目标候选位置从卷积特征图中提取固定长度的特征向量。

可以理解的是，用ROI pooling进行特征的尺寸变换，因为全连接层的输入要求尺寸大小一样，因此不能直接把region proposal作为输入，对每一个目标候选位置从卷积特征图中提取固定长度的特征向量，同时分类目标候选定位并使它们精确。

本发明第二实施例中，在S30之后执行S40，将特征向量输入到一个最大池化层中，输出概率向量和每类的回归偏移量，生成类别为施工人员的施工人员矩形框。

可以理解的是，使用预训练模型对fast R-CNN进行微调改进，改进三个地方，更改最后一个最大池化层，替换最后的全连接层，改变网络输入，其中，对fast R-CNN进行微调改进可理解为拿一个在大规模数据上训练好的模型过来，然后在自己的数据集上稍加训练一下，得到新模型。其中，输出概率向量和每类的回归偏移量分别代表检测到物体的类别（是否佩戴安全帽）和在图像种的相对位置。通过微调改进得到预测的类别和施工人员检测框。

如图4所示，本发明第二实施例中S40包括但不限于如下子步骤：

S41，将回归偏移量放进VGG网络进行训练，并使用softmax分类器；

S42，使用multi-task损失，将分类的loss和回归的loss进行整合，生成类别为施工人员的施工人员矩形框：其中，分类的loss采用log loss，所述回归的loss和R-CNN一致。

将regressor放进网络一起训练，每个类别对应一个regressor，同时用softmax代替原来的SVM分类器。在训练过程中使用multi-task损失，将分类的loss和回归的loss整合在一起，其中分类采用log loss，即对真实分类的概率取负log，而回归的loss和R-CNN基本一样。分类层输出K+1维，表示K个类和1个背景类，在实际训练中，每个mini-batch包含2张图像和128个region proposal（或者叫ROI），也就是每张图像有64个ROI。然后从这些ROI中挑选约25%的ROI，这些ROI和ground truth的IOU值都大于0.5。另外只采用随机水平翻转的方式增加数据集。测试的时候则每张图像大约2000个ROI。

如图5所示，本发明第二实施例中提供的基于图像识别技术的安全带佩戴识别方法，还包括：

S100：获取训练数据集。

可以理解的是，本发明第二实施例中提供的基于图像识别技术的安全带佩戴识别方法，包括对fast R-CNN模型和VGG网络模型分别进行训练，以得到训练好的fast R-CNN模型和训练好的VGG网络模型。

示例性的，对fast R-CNN模型进行训练以生成训练好的fast R-CNN模型；对VGG网络模型进行训练，以生成训练好的VGG网络模型。

本发明第二实施例中，获取训练样本集，可以理解的是，训练样本的数量足够多，才能够使训练的模型识别精度更高，基于此，本发明第二实施例中获取训练样本集，其中包括多个训练样本，以对模型进行训练。

S200：将训练数据集输入至fast R-CNN模型和VGG网络模型，对fast R-CNN模型和VGG网络模型进行训练，以生成训练好的fast R-CNN模型和训练好的VGG网络模型。

可以理解的是，训练数据集中的样本包括fast R-CNN模型的训练样本，还包括VGG网络模型的训练样本，或者fast R-CNN模型和VGG网络模型可以共用相同的训练样本。

如图6所示，本发明第二实施例中S100包括但不限于如下子步骤：

S101：采集样本视频数据。

本发明第二实施例中，采集样本视频数据的方式可以与实时采集视频数据的方式相同，此处不再赘述。

S102：从样本视频数据中截取多张样本图片。

本发明第二实施例中，从样本视频数据中截取多张样本图片，可以理解的是，样本图片中包括fast R-CNN模型的样本图片，还包括VGG网络模型的样本图片。

可以理解的是，fast R-CNN模型使用的样本图片和VGG网络模型使用的样本图片可以相同，VGG网络模型的样本图片为标记为正标签的佩戴安全带样本图片和/或标记为负标签的未佩戴安全带的样本图片，其中均包括施工人员图像，因此，可以将VGG网络模型的样本图片输入至fast R-CNN模型，进行训练。

其中，fast R-CNN模型的样本图片，可以为标记为佩戴安全带的样本图片和/或未佩戴安全带的样本图片；VGG网络模型的样本图片，可以为标记为佩戴安全带的样本图片和/或未佩戴安全带的样本图片。

本发明第二实施例中，在对fast R-CNN模型和VGG网络模型进行训练时，可以采用相同的样本图片，其中，在对fast R-CNN模型进行训练时，标记为佩戴安全带的样本图片和/或未佩戴安全带的样本图片，将标签合为一个输入至fast R-CNN模型，以对fast R-CNN模型进行训练，在fast R-CNN模型训练完成后，继续输入至VGG网络模型，标记为佩戴安全带的样本图片和/或未佩戴安全带样本图片输入至VGG网络模型，以对VGG网络模型进行训练。

S103：通过标记软件对样本图片中的施工人员图像部分进行标记，标记为佩戴安全带或者未佩戴安全带，生成训练数据集。

本发明第二实施例中可以使用数据集标注软件进行人工标注，将样本图片中的施工人员图像部分进行标记，并将施工人员图像标记为佩戴安全带或者未佩戴安全带，从而生成训练样本集。

图7为本发明第三实施例的结构图。

如图7所示，本发明第三实施例提供的基于图像识别技术的安全带佩戴识别装置1。该识别装置1包括：数据采集单元11、处理单元12和检测单元13。

其中，数据采集单元11，用于实时采集视频数据；其中，视频数据中包括施工区域的施工人员图像。

处理单元12，用于将视频数据输入至训练好的fast R-CNN模型，获取类别为施工人员的施工人员矩形框；其中，施工人员矩形框中的图像部分至少包括施工人员图像。

检测单元13，用于将施工人员矩形框中的图像部分输入至训练好的VGG网络模型，以生成施工人员是否佩戴安全带的检测结果。

如图8所示，本发明第三实施例中，处理单元12，包括：

第一子单元121，用于将视频数据输入多个卷积层和最大池化层，产生卷积特征图；

第二子单元122，用于将卷积特征图输入RoI池化层中，对每一个目标候选位置从卷积特征图中提取固定长度的特征向量；

第三子单元123，用于将特征向量输入到一个最大池化层中，输出概率向量和每类的回归偏移量，生成类别为施工人员的施工人员矩形框。

如图9所示，本发明第三实施例中，第一处理子单元121，包括：

图片获取单元1211，用于从视频数据中截取多张图片；

卷积操作单元1212，用于对多张图片的整张图像进行卷积操作；

生成图像单元1213，用于根据对整张图像的卷积操作生成卷积特征图。

如图10所示，本发明第三实施例中，第三处理子单元122，包括：

偏移量训练单元1221，用于将回归偏移量放进VGG网络进行训练；其中，每个类别对应一个回归偏移量，使用softmax分类器；

矩形框生成单元1222，用于使用multi-task损失，将分类的loss和回归的loss进行整合，生成类别为施工人员的施工人员矩形框：其中，分类的loss采用log loss，所述回归的loss和R-CNN一致。

需要说明的是，前述对基于图像识别技术的安全带佩戴识别方法的解释说明也适用于本实施例的基于图像识别技术的安全带佩戴识别装置，此处不再赘述。

根据本发明实施例提出的基于图像识别技术的安全带佩戴识别装置，通过数据采集单元11，用于实时采集视频数据；其中，视频数据中包括施工区域的施工人员图像；处理单元12，用于将视频数据输入至训练好的fast R-CNN模型，获取类别为施工人员的施工人员矩形框；其中，施工人员矩形框中的图像部分至少包括所述施工人员图像；检测单元13，用于将所述施工人员矩形框中的图像部分输入至训练好的VGG网络模型，以生成施工人员是否佩戴安全带的检测结果。本发明具备较高的环境适应性和检测准确率，以及具有一定的鲁棒性，可以实现对施工现场施工人员安全带佩戴情况自动识别检测，可辅助各级施工区安全监管单位进行施工区智能化监管，提高施工区安全监管信息化水平。

除非上下文另有要求，否则，在整个说明书和权利要求书中，术语“包括被解释为开放、包含的意思，即为“包含，但不限于”。在说明书的描述中，术语“一些实施例”、“示例性实施例”、“示例”等旨在表明与该实施例或示例相关的特定特征、结构、材料或特性包括在本发明的至少一个实施例或示例中。上述术语的示意性表示不一定是指同一实施例或示例。此外，所述的特定特征、结构、材料或特点可以以任何适当方式包括在任何一个或多个实施例或示例中。

除非另有说明，“多个”的含义是两个或两个以上。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

本文中“用于”的使用意味着开放和包容性的语言，其不排除适用于或被配置为执行额外任务或步骤的设备。

另外，“基于”的使用意味着开放和包容性，因为“基于”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。