基于物联网的气瓶充装环节违规行为识别方法及系统

技术领域

本发明涉及行为识别技术领域，尤其涉及一种基于物联网的气瓶充装环节违规行为识别方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

气瓶作为城市能源的载体，有着运输方便、密封性强等优点。随着气瓶使用的逐渐普及，各类气瓶遍布餐厅、家庭和其他公共场所。而部分气瓶从业者安全意识不强,在气瓶充装环节违规充装，由此造成很多安全隐患。

目前各类气瓶如车载气瓶、工业用气瓶、液化石油气气瓶、氢气瓶等，在出厂环节、充装环节按照《气瓶安全技术规程》中相关要求，瓶体已经加装或固定相关气瓶电子识读标识（二维码、电子RFID芯片等信息载体）。

按照气瓶充装要求及规范，气瓶在充装时需要对瓶体的电子识读标识进行验证，验证气瓶信息合格后，方可进行充装作业；由于部分充装人员在充装现场未按照充装规程要求的流程充装，采取不扫描气瓶电子信息标识、或者扫描未加装在气瓶瓶体上的电子信息标识进行充装作业等作弊行为，逃避监管，增加安全隐患；同时存在不按照求佩戴安全帽、不穿着工装、吸烟、打电话、未在规定区域进行充装、充装管路未按规定要求连接以及其他违规作业等充装行为，在充装环节造成安全隐患。目前无有效手段去监管气瓶充装环节的违规操作且无法进行取证留痕。

现有的违规行为识别技术主要集中于采用射频识别的方式读取RFID标签内的数据来判断是否合规充装，无法避免扫描未加装在气瓶瓶体上的RFID标签进行充装作业的作弊行为。即现有的气瓶充装环境违规行为识别过程仅从是否录入标签信息判断是否违规，无法结合扫描动作和管路连接状态进行作弊行为识别，造成了极大地安全隐患。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于物联网的气瓶充装环节违规行为识别方法及系统，基于物联网通过AI进行违规行为识别，具体采用模型将目标视频中的气瓶状态和充装行为进行标注分类，将管路连接状态、标签录取情况以及操作人员动作进行综合分析，得到准确的违规行为识别结果，避免了操作人员主观的作弊行为，能够保障气瓶充装环节的安全。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明第一方面提供了一种基于物联网的气瓶充装环节违规行为识别方法，包括以下步骤：

获取气瓶充装现场视频，对气瓶充装现场视频进行剪辑，得到气瓶图像；

根据图像内容对气瓶图像进行标注，得到体现行为动作的行为图像和体现管路连接情况的管路图像；

根据管路连接状态检测模型对管路图像识别得到管路连接状态检测结果；其中，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型；

若管路连接正常，则将行为图像输入行为检测模型进行行为分类，若识别出管路未连接，不进行下一步处理操作，默认为未进入充装环节；其中，利用历史行为图像数据集进行模型训练，得到行为检测模型；

将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规。

进一步的，对气瓶充装现场视频进行剪辑的具体步骤包括：对气瓶充装现场视频采用帧差最大值帧间差法提取关键帧，得到气瓶图像。

进一步的，根据图像内容，将拍摄到管路连接状况的图像标注为管路图像，将拍摄到目标人物动作的行为图像标注为行为图像。

进一步的，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型具体步骤为：

采集历史管路图像形成历史管路图像数据集，对利用历史管路图像数据集中图片进行图像增强处理；

将处理过的历史管路图像数据集分为训练集、验证集和测试集，采用YOLO V8网络进行训练，生成管路连接状态检测模型。

更进一步的，采用YOLO V8网络进行训练，生成管路连接状态检测模型得具体步骤为：根据需求配置管路连接状态检测模型的训练参数，调用YOLO训练命令开始训练；根据每次训练结果，对模型进行验证，选取最优拟合的模型，作为管路连接状态检测模型。

进一步的，行为分类分为两类：扫描瓶身标签动作和开阀动作。

进一步的，利用历史行为图像数据集进行模型训练，得到行为检测模型，具体步骤为：

采集历史行为图像形成历史行为图像数据集，数据集建立后，采用YOLO V8 +SlowFast网络进行训练，生成行为检测模型。

进一步的，将行为图像输入行为检测模型进行行为分类的具体步骤为：

采用目标检测算法实现目标检测，确定目标初始坐标；

基于目标初始坐标对目标进行跟踪，持续标注目标坐标。

基于目标坐标移动轨迹对目标进行动作识别；

用检测框框持续框住目标，并将动作识别结果以及置信度显示在框上。

进一步的，将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规的具体步骤为：

在识别管路连接正常的前提下，确认中继器是否收到RFID的标签信息，若没有且识别到开阀动作，则进行报警；若没有且没有识别到开阀动作，则继续确认中继器是否收到RFID的标签信息直到中继器收到RFID的标签信息；

当中继器收到RFID的标签信息时，确认目标是否有扫描瓶身标签动作，若有，则中继器判断标签内容，决定是否充装；若没有且识别到开阀动作，则进行报警；若没有且没有识别到开阀动作，则继续确认中继器是否收到RFID的标签信息。

本发明第二方面提供了一种基于物联网的气瓶充装环节违规行为识别系统，包括：

图像获取模块，被配置为获取气瓶充装现场视频，对气瓶充装现场视频进行剪辑，得到气瓶图像；

图像标注模块，被配置为根据图像内容对气瓶图像进行标注，得到体现行为动作的行为图像和体现管路连接情况的管路图像；

管路连接状态识别模块，被配置为根据管路连接状态检测模型对管路图像识别得到管路连接状态检测结果；其中，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型；

图像分类模块，被配置为若管路连接正常，则将行为图像输入行为检测模型进行行为分类，若识别出管路未连接，不进行下一步处理操作，默认为未进入充装环节；其中，利用历史行为图像数据集进行模型训练，得到行为检测模型；

违规行为判断模块，被配置为将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规。

以上一个或多个技术方案存在以下有益效果：

本发明公开了一种基于物联网的气瓶充装环节违规行为识别方法及系统，通过AI识别气瓶充装环节的违规行为，并对违规行为进行实时报警，具体通过对现场视频的剪辑和标注，分别建立模型用于检测管路连接状况和行为动作违规情况，根据气瓶充装管路连接情况、扫描气瓶标签动作与开阀行为，结合读取到的RFID信息，得到准确的违规行为识别结果，避免了操作人员主观的作弊行为，能够保障气瓶充装环节的安全。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中基于物联网的气瓶充装环节违规行为识别方法的流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

应当说明的是，本发明实施例中，涉及到气瓶充装视频等相关的数据，当本发明以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

术语解释：

RFID：Radio Frequency Identification，射频识别。

AI：Artificial Intelligence，人工智能。

YOLO：You only look once， 你只需看一次，AI专有名词，是一个用于目标检测的网络。YOLOV8：（version 8）YOLO第8个版本。YOLOV8s：V8的small版本。

AnchorBox：锚框。

EIOU：Efficient-IOU，有效交并比。

CIOU：Complete-IOU，完整交并比。

mAP：mean Average Precision ，平均精度。

SlowFast：慢快，专有名词，一种视频识别方法。

IPC：IP Camera，网络摄像机。

pytorch：专有名词，一种深度学习框架。

pytorchvideo：pytorch视频行为分析框架。

detectron：专有名词，是 Facebook AI 研究院（FAIR ）开源的软件系统，实现了最先进的目标检测算法。

detectron2：是facebook AI research(FAIR)重构detectron的深度学习框架。

Faster R-CNN：R-CNN为Regions with CNN features，CNN为ConvolutionalNeural Networks，卷积神经网络，Faster R-CNN是一种将图像的目标检测任务使用端到端的深度学习模型实现的框架。

deepsort：深度追踪，专有名词，一种目标跟踪算法。

Neck:脖子,专有名词，YOLO框架的一部分。

Focal Loss：中心损失，AI专有名词。

BCELoss：Binary Cross Entropy Loss，二元交叉熵损失。

实施例一：

本发明实施例一提供了一种基于物联网的气瓶充装环节违规行为识别方法，利用AI对违规行为进行识别。发现隐患及时告警通知。具体包括以下步骤：

步骤1，获取气瓶充装现场视频，对气瓶充装现场视频进行剪辑，得到气瓶图像。

步骤2，根据图像内容对气瓶图像进行标注，得到体现行为动作的行为图像和体现管路连接情况的管路图像。

步骤3，根据管路连接状态检测模型对管路图像识别得到管路连接状态检测结果。

步骤4，若管路连接正常，则将行为图像输入行为检测模型进行行为分类，若识别出管路未连接，不进行下一步处理操作，默认为未进入充装环节。

步骤5，将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规。

步骤1中，对视频进行剪辑，选取包含连接气瓶充装管路内容、扫描气瓶标签与开阀行为内容的视频，视频片段长度可设置为3秒至10秒，保证识别动作的完整性，同时保障识别的快速性。对气瓶充装现场视频进行剪辑的具体步骤包括：对气瓶充装现场视频采用帧差最大值帧间差法提取关键帧，得到气瓶图像。

步骤2中，针对步骤1中通过提取关键帧得到的气瓶图像进行标注，根据图像内容，将拍摄到管路连接状况的图像标注为管路图像，将拍摄到目标人物动作的行为图像标注为行为图像。除了管路图像和行为图像，其余图像进行丢弃。

本实施例的标注过程为人工标注+自动标注。过程如下：

1、人工标注少量数据。

2、基于现有标注规则和数据集，采用YOLO V8网络进行迭代训练。数据集分为训练集和验证集，利用训练集对YOLO V8网络进行训练得到目标检测模型。在训练的过程中，采用带有已知标注数据的验证集对训练得到的模型进行验证，记录验证集最高的标注正确率为最佳正确率，当连续10次循环迭代都没达到最佳正确率时停止训练，以得到最佳正确率的模型为当前阶段最优的目标检测模型。

3、采用模型推理方法进行自动标注。

4、采用人工方式矫正标注结果。

5、矫正后的数据重新加入训练集，以训练更优的模型。

6、通过2~5步骤的循环迭代，可以逐步训练出最优的模型用于标注。

步骤3中，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型具体步骤为：

（1）采集历史管路图像形成历史管路图像数据集，对利用历史管路图像数据集中图片进行图像增强处理。马赛克增强（Mosaic）、混合增强（Mixup）、空间扰动（randomperspective ）以及颜色+扰动（HSV augment）图像增强。

本实施例中采用马赛克增强方法，从历史管路图像数据集中，随机抽取4张图片，按照随机缩放、随机裁剪、随机排布的方式拼接成一张新的图片，补充到原有数据集中，大大丰富了数据集。

（2）将处理过的历史管路图像数据集分为训练集、验证集和测试集，采用YOLO V8网络进行训练，生成管路连接状态检测模型。

本实施例采用YOLO V8网络，这样就不用设置AnchorBox，能够直接从图像中得到气瓶瓶口检测框的位置及大小信息，从而实现识别瓶口是否连接管路。

具体的，将标注好的历史管路图像数据集分为训练集、验证集和测试集。根据需求配置管路连接状态检测模型的训练参数，如训练批量大小、训练过程迭代次数、图片尺寸、学习率、优化器等，调用YOLO训练命令开始训练。训练过程中，根据每次训练结果，对模型进行验证，选取最优拟合的模型，作为管路连接状态检测模型。

本发明对传统的YOLO V8网络进行了改进，对传统的YOLO V8s模型的Neck区域进行适当精简，将适合检测较大尺寸对象的19×19特征图分支删除，从而降低模型复杂度；使用EIOU损失函数代替YOLO V8s算法所使用的CIOU损失函数来优化训练模型,提高算法的精度,从而提高检测实时性。相较于传统的YOLO V8s模型，改进后的YOLO V8s模型能准确检测出管路是否连接，且改进后的YOLO V8s模型大小降低了2.15 MB，改进后的模型算法mAP达到0.932，比传统的YOLO V8s模型提高6.3个百分点。

步骤4中，将行为图像输入行为检测模型进行行为分类，本实施例中将行为分类分为两类：扫描瓶身标签动作和开阀动作。利用历史行为图像数据集进行模型训练，得到行为检测模型，具体步骤为：

采集历史行为图像形成历史行为图像数据集，数据集建立后，采用YOLO V8 +SlowFast网络进行训练，生成行为检测模型，从而进行瓶身扫描瓶身标签动作与开阀动作识别。

本实施例采用pytorchvideo框架结合目标检测和行为分类实现了行为检测。pytorchvideo框架下的目标检测框架是其自带的detectron2工具下的Faster R-CNN，速度较慢，且行为检测是不连续的，因此本实施例采用YOLO V8网络进行了替代。行为分类采用pytorchvideo框架下的行为分类框架SlowFast，从而构成YOLO V8 + SlowFast网络。

将行为图像输入行为检测模型进行行为分类的具体步骤为：

采用目标检测算法实现目标检测，确定目标初始坐标；

基于目标初始坐标对目标进行跟踪，持续标注目标坐标。

基于目标坐标移动轨迹对目标进行动作识别；

用检测框框持续框住目标，并将动作识别结果以及置信度显示在框上。

更为具体的，将行为图像输入YOLO V8网络，利用YOLO V8自带目标检测算法进行目标检测并逐帧执行时，可以看到目标检测框随目标移动，采用deepsort进行目标跟踪。然后将视频序列和检测框信息输入SlowFast网络进行行为分类，输出每个检测框的行为类别，达到行为检测的目的。数据集来源于充装现场IPC拍摄的视频。本实施例中，将视频剪辑为10秒一段，每秒裁剪30帧，分类后对行为图像进行行为标注，标注信息包括：视频名字、视频帧编号、坐标值、行为类别编号。其中，坐标值为目标的坐标值，指的是视频中目标人物整体被识别出来后标注的矩形框的左上角和右下角的XY轴坐标，即（x1，y1，x2，y2）。

本实施例对该YOLO V8网络同样进行了改进，同样对的YOLO V8网络的Neck区域进行适当精简，将适合检测较大尺寸对象的19×19特征图分支删除，从而降低模型复杂度；使用EIOU损失函数代替YOLOv8s算法所使用的CIOU损失函数来优化训练模型,提高算法的精度,从而提高检测实时性。

SlowFast 是一个新型视频识别方法，它可以模仿灵长类视觉中的视网膜神经运作原理，同时以慢速帧频和快速帧频提取视频中的有效信息，从而提高动作分类及动作识别效果。与其他方法相比，SlowFast 的整体计算复杂度更低，准确度更高。本实施例用Focal Loss损失函数替代SlowFast中的BCELoss损失函数，解决正负样本数据不平衡问题。

本实施例用改进后的YOLO V8网络实现目标检测，用deepsort实现目标跟踪，用slowfast实现动作识别，并给出置信率，从而实现瓶身扫描瓶身标签动作与开阀动作识别。

需要特别说明的是，这里扫描的标签动作为目标人物扫描瓶身上标签的动作，而非任一位置的标签动作，因此对于目标人物的行动轨迹跟踪十分有必要，目的是为了避免扫描未加装在气瓶瓶体上的RFID标签进行充装作业的作弊行为。另外，还可以采用本发明的YOLO V8 + SlowFast网络进行不佩戴安全帽、不穿着工装、吸烟、打电话等存在安全隐患行为的识别，将历史违规数据利用YOLO V8 + SlowFast网络进行训练得到其他违规行为识别模型，一旦检测到上述行为，则直接进行报警，进一步提高了气瓶充装环节的安全行为规范程度。

步骤5中，将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规的具体步骤，如图1所示：

若识别出管路未连接，不进行下一步处理操作，默认为未进入充装环节；

在识别管路连接正常的前提下，确认中继器是否收到RFID的标签信息，若没有且识别到开阀动作，则进行报警；若没有且没有识别到开阀动作，则继续确认中继器是否收到RFID的标签信息直到中继器收到RFID的标签信息；

当中继器收到RFID的标签信息时，确认目标是否有扫描瓶身标签动作，若有，则中继器判断标签内容，决定是否充装；若没有且识别到开阀动作，则进行报警；若没有且没有识别到开阀动作，则继续确认中继器是否收到RFID的标签信息。

因此，本实施例只有当标签内容匹配、管路连接正常且收到RFID的标签信息和扫描瓶身标签动作时才能进行开阀充装，否则任何的开阀动作都会引起报警，本实施例的违规行为判断逻辑清晰且合理，避免了作弊行为的同时也降低了误判的几率，能够有效识别气瓶充装过程中的违规行为，为气瓶充装提供了安全保障。

实施例二：

本发明实施例二提供了一种基于物联网的气瓶充装环节违规行为识别系统，包括：

图像获取模块，被配置为获取气瓶充装现场视频，对气瓶充装现场视频进行剪辑，得到气瓶图像；

图像标注模块，被配置为根据图像内容对气瓶图像进行标注，得到体现行为动作的行为图像和体现管路连接情况的管路图像；

管路连接状态识别模块，被配置为根据管路连接状态检测模型对管路图像识别得到管路连接状态检测结果；其中，利用历史管路图像数据集进行模型训练，得到管路连接状态检测模型；

图像分类模块，被配置为若管路连接正常，则将行为图像输入行为检测模型进行行为分类，若识别出管路未连接，不进行下一步处理操作，默认为未进入充装环节；其中，利用历史行为图像数据集进行模型训练，得到行为检测模型；

违规行为判断模块，被配置为将行为分类结果与实际气瓶标签信息录入情况进行匹配，根据匹配结果判断是否违规。

以上实施例二中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。