基于多种特征的变电站作业人员鉴别及定位方法

技术领域

本发明属于智能视频监控领域，涉及一种基于多种特征的变电站作业人员鉴别及定位方法，可应用于变电站的视频监控系统。

背景技术

随着无人值守变电站的建设，基于摄像头的视频监控技术在变电站中的应用得到普及，为变电站内设备及周界环境安全提供了可靠而有效的监控手段。然而，随着电力需求持续增长，变电站数量也相应增长。

目前，变电站内的作业人员管理和行为管控大多数情况下完全依靠人工核查和监护，高度依赖人员责任心。虽然已经出现了依靠信息化视频监控技术进行作业现场的安全管控手段，但是作业现场的监控视频仍需要人工观看核查，大量的现场实时视频需要大量人工查看，人力有限，无法同时顾及所有视频画面，也就无法实现全方位无死角的管控。同时，作业人员因工作需求统一着装，进入变电站之后很难区分，也就难以实现对作业人员的动态定位，以及进一步的行动轨迹绘制。

发明内容

本发明所要解决的技术问题是克服上述现有技术存在的缺陷，提供一种基于多种特征的变电站作业人员鉴别及定位方法。

为实现上述目的，本发明采用的技术方案为：基于多种特征的变电站作业人员鉴别及定位方法，其包括离线准备阶段和在线应用阶段；

所述的离线准备阶段：首先，构建变电站平面坐标系，确定变电站内所有摄像头的位置坐标，并建立摄像头拍摄覆盖区域到平面坐标的映射关系；其次，构建并训练人体检测模块、人脸检测模块、人脸特征提取模块、人脸匹配模块、步态特征提取模块和步态匹配模块；

所述的在线应用阶段：首先，通过摄像头获取监控视频流，由人体检测模块、人脸检测模块、人脸特征提取模块和步态特征提取模块获取作业人员的人脸和步态特征，以人脸为主、步态为辅的互补方式区分多个统一着装的作业人员；然后，根据摄像头拍摄覆盖区域到平面坐标的映射关系计算作业人员当前位置。

本发明引入了步态特征，可有效解决统一着装作业人员在人脸获取困难时的身份鉴别难的问题，结合摄像头可实现作业人员的初步定位及轨迹跟踪，且实施方案简单易行，易于推广，可作为变电站视频监控系统的扩展功能。

作为上述方法的补充，所述离线准备阶段的具体步骤如下：

步骤1，建立变电站平面坐标系；

步骤2，对变电站内所有摄像头进行编号，并建立摄像头及视角到该视角下所拍摄的模板图像的映射关系，记为f(摄像头编号，视角标识)＝模板图像；

步骤3，将模板图像均分为若干子区域，建立模板图像中各子区域编号到变电站内坐标的映射关系，记为f(模板图像，子区域编号)＝站内坐标；

步骤4，构建并训练基于目标检测算法的人体检测模块；

步骤5，构建并训练基于目标检测算法的人脸检测模块；

步骤6，构建并训练人脸特征提取模块和人脸匹配模块；

步骤7，构建并训练步态特征提取模块和步态匹配模块；

步骤8，构建人脸特征数据库和步态特征数据库，初始为空。

作为上述方法的补充，所述在线应用阶段的具体步骤如下：

步骤9，采用人体检测模块对监控视频流的视频帧进行分析；

步骤10，若检测到人体，则采用人脸检测模块对视频帧进行分析；

步骤11，若检测到清晰人脸，则采用人脸特征对人员进行鉴别并打上标签；

步骤12，若未检测到清晰人脸，则采用步态特征对人员进行鉴别并打上标签；

步骤13，对监控视频流中出现的人员进行定位，即<人员标签，站内坐标>。

作为上述方法的补充，所述的步骤1中，

所述的建立变电站平面坐标系，有以下两个途径：一，根据变电站平面布置图建立坐标系；二，通过实地勘测建立坐标系。

作为上述方法的补充，所述的离线准备阶段只需要执行一次，但是当变电站内新增摄像头、替换摄像头或摄像头安装位置变动情况发生时，对应的需要对其中两个映射关系进行更新修改。

作为上述方法的补充，所述的步骤2包括：

步骤2-1，对摄像头进行编号；

步骤2-2，将摄像头的视角范围均分为若干份，并对每个视角进行标识；

步骤2-3，在每个视角下拍摄一张图片作为模板图像，必须确保图片清晰；

步骤2-4，以摄像头编号和视角标识作为索引保存模板图像，即f(摄像头编号，视角标识)＝模板图像。

作为上述方法的补充，所述的步骤3包括：

步骤3-1，将模板图像划分成x个子区域，形成x宫格；

步骤3-2，找出每个宫格中心点对应的变电站内的位置；

步骤3-3，通过勘测距离来计算上述位置的站内坐标；

步骤3-4，将模板图像中各子区域编号与变电站内坐标一一对应形成映射关系f(模板图像，子区域编号)＝站内坐标。

作为上述方法的补充，所述的步骤11包括：

步骤11-1，采用人脸特征提取模块提取当前所有人的人脸特征；

步骤11-2，采用步态特征提取模块提取当前所有人的步态特征；

步骤11-3，采用人脸匹配模块同当前人脸特征数据库比对；

步骤11-4，若比对成功，则采用数据库中的标签，并形成<人员标签,人脸特征>记录；

步骤11-5，若无匹配，则自动打上唯一的人员标签，并形成<人员标签,人脸特征>记录；

步骤11-6，将<人员标签,人脸特征>记录存入人脸特征数据库；

步骤11-7，将<人员标签,步态特征>记录存入步态特征数据库。

以人脸特征检测到的时候顺便同时保存步态特征，作为步态数据库的来源，是为了后续人脸检测不到的时候采用数据库里已有的步态特征来匹配，提高步态特征匹配的准确率。

作为上述方法的补充，所述的步骤12包括：

步骤12-1，采用步态特征提取模块提取当前所有人的步态特征；

步骤12-2，采用步态匹配模块同当前步态特征数据库比对；

步骤12-3，若比对成功，则采用数据库中的标签，并形成<人员标签,步态特征>记录；

步骤12-4，若无匹配，则自动打上唯一的人员标签，并形成<人员标签,步态特征>记录；

步骤12-5，将<人员标签,步态特征>记录存入步态特征数据库。

作为上述方法的补充，所述的步骤13包括：

步骤13-1，获取拍摄当前视频帧的摄像头编号；

步骤13-2，获取当前视频帧的拍摄视角，即视角标识；

步骤13-3，通过映射f(摄像头编号，视角标识)＝模板图像获得模板图像；

步骤13-4，通过匹配模板图像和视频帧计算人员所在子区域编号；

步骤13-5，通过映射f(模板图像，子区域编号)＝站内坐标获取人员当前的站内坐标；

步骤13-6，完成人员定位，即<人员标签,站内坐标>。

本发明可应用于变电站视频监控系统，依托变电站内的监控摄像头，通过事先建立好的关联映射关系，以及预先训练好的人脸、步态特征提取和匹配模块，能够快速地对作业人员进行身份鉴别与定位，提高作业现场安全管控水平。本发明可解决作业人员着装统一和人脸难以获取等场景下的人员身份识别问题，且实施方案简单易行，易于推广。

附图说明

图1是本发明方法离线准备阶段的流程图；

图2是本发明方法在线应用阶段的流程图；

图3是本发明方法步骤2的具体流程图；

图4是本发明方法步骤3的具体流程图；

图5是本发明方法步骤11的具体流程图；

图6是本发明方法步骤12的具体流程图；

图7是本发明方法步骤13的具体流程图。

具体实施方式

以下结合说明书附图，对优选实施例作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

实施例1

如图1和图2所示，本发明提供的基于多种特征的变电站作业人员鉴别及定位方法，包括离线准备阶段和在线定位阶段。

如图1所示，离线准备阶段的具体实施步骤如下：

步骤1：建立变电站平面坐标系。以变电站平面布置图为依据，选取变电站中某一点为坐标原点，以正北方向作为Y轴正方向，以正东方向为X轴正方向。其中，坐标原点可以为变电站中心、正门中点、角落点，根据现场情况选定，坐标精确到0.1米。

步骤2：对变电站内所有摄像头进行编号，编号以“camera+数字”形式组成，编号在站内唯一。建立摄像头及视角到该视角下所拍摄的模板图像的映射关系，记为f(摄像头编号，视角标识)＝模板图像。如图3所示，步骤2的实施步骤如下：

步骤2-1：对摄像头进行编号。

步骤2-2：将摄像头的视角范围均分为若干份，并对每个视角进行标识。摄像头视角范围呈扇形，视角标识以当前视觉朝向角度值表示，且当前所在视角朝向角度能够通过视频监控系统自动获取。

步骤2-3：在每个视角下拍摄一张图片作为模板图像，必须确保图片清晰。

步骤2-4：以摄像头编号和视角标识作为索引保存模板图像，即f(摄像头编号，视角标识)＝模板图像。采用数据库存储模板图像，以摄像头编号和视角标识的组合作为主键。

步骤3：将模板图像均分为若干子区域，建立模板图像中各子区域编号到变电站内坐标的映射关系，记为f(模板图像，子区域编号)＝站内坐标。如图4所示，步骤3的实施步骤如下：

步骤3-1：将模板图像从长和宽两个维度均分为同样个数的段，交叉形成宫格，根据精确度需求可以选择划分段数，本实施例划分为4段，共形成16宫格。

步骤3-2：找出每个宫格中心点对应的变电站内的位置。

步骤3-3：通过勘测距离来计算上述位置的站内坐标。

步骤3-4：将模板图像中各子区域编号与变电站内坐标一一对应形成映射关系f(模板图像，子区域编号)＝站内坐标。通过数据库存储映射关系。

步骤4：构建并训练基于目标检测算法的人体检测模块。本实施例采用的是基于深度学习的目标检测算法，通过公开数据集训练后能够检测到监控视频中的人体。

步骤5：构建并训练基于目标检测算法的人脸检测模块。本实施例采用的是基于深度学习的人脸检测算法，通过公开数据集训练后能够检测到监控视频中的人脸。

步骤6：构建并训练人脸特征提取模块和人脸匹配模块。本实施例采用基于深度学习的人脸特征提取算法，基于提取的特征，构建人脸匹配算法用于比对两张人脸是否同属于一个人。

步骤7：构建并训练步态特征提取模块和步态匹配模块。本实施例采用基于深度学习的视频流步态特征提取算法，基于提取的特征，构建步态匹配算法用于比对两种步态特征是否同属于一个人。

步骤8，构建人脸特征数据和步态特征数据库，初始为空。人脸特征数据库以<人员标签，人脸特征>为一条记录，步态特征数据库以<人员标签，步态特征>为一条记录。其中，人员标签唯一，与特征之间是一对多的关系，在特征匹配时需要逐条比对。

以上离线准备阶段完成后就可以通过摄像头对拍摄到的人员进行身份鉴别和定位，需要经过本发明的在线应用阶段，如图2所示，实施步骤如下：

步骤9：采用人体检测模块对视频帧进行分析。目的是检测视频中是否存在人员。

步骤10：若检测到人体，则进一步采用人脸检测模块对视频帧进行分析。目的是检测视频中是否存在清晰人脸。

步骤11：若检测到清晰人脸，则采用人脸特征对人员进行鉴别并打上标签。人脸识别准确度较高，因此以人脸特征为主。如图5所示，步骤11的实施步骤如下：

步骤11-1：采用人脸特征提取模块提取当前所有人脸的特征。

步骤11-2：采用步态特征提取模块提取当前所有人的步态特征。

步骤11-3：采用人脸匹配模块同当前人脸特征数据库比对。

步骤11-4：若比对成功，则采用数据库中的标签，并形成<人员标签,人脸特征>记录。只要其中一条记录比对成功，则判定匹配。

步骤11-5：若无匹配，则自动打上唯一的人员标签，并形成<人员标签,人脸特征>记录。

步骤11-6：将<人员标签,人脸特征>记录存入人脸特征数据库。同一个人员标签可以有多条记录。

步骤11-7：将<人员标签,步态特征>记录存入步态特征数据库。同一个人员标签可以有多条记录。

步骤12：若未检测到清晰人脸，则采用步态特征对人员进行鉴别并打上标签。人脸识别不到的情况下，以步态特征作为辅助。如图6所示，步骤12的实施步骤如下：

步骤12-1：采用步态特征提取模块提取当前所有人的步态特征。

步骤12-2：采用步态匹配模块同当前步态特征数据库比对。

步骤12-3：若比对成功，则采用数据库中的标签，并形成<人员标签,步态特征>记录。只要其中一条记录比对成功，则判定匹配。

步骤12-4：若无匹配，则自动打上唯一的人员标签，并形成<人员标签,步态特征>记录。

步骤12-5：将<人员标签,步态特征>记录存入步态特征数据库。同一个人员标签可以有多条记录。

步骤13：对监控视频流中出现的人员进行定位，即<人员标签,站内坐标>。如图7所示，步骤13的实施步骤如下：

步骤13-1，获取拍摄当前视频帧的摄像头编号。

步骤13-2，获取当前视频帧的拍摄视角，即视角标识。

步骤13-3，通过映射f(摄像头编号，视角标识)＝模板图像获得模板图像。

步骤13-4，通过匹配模板图像和视频帧计算人员所在子区域编号。

步骤13-5，通过映射f(模板图像，子区域编号)＝站内坐标获取人员当前的站内坐标。

步骤13-6，完成人员定位，即<人员标签，站内坐标>。

本发明基于多种特征实现变电站作业人员的身份鉴别，然后通过建立预设位置与变电站内摄像头及拍摄视角、拍摄图像之间的关联映射关系来实现作业人员的动态定位，方法原理简单，无需新建基础设施。

通过上述优选实施例已经对本发明的技术方案做了进一步的详细介绍，但应该强调的是，以上所述具体实施方式不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，在不脱离本发明的技术方案的思想前提下，对于本发明做出的多种修改、替换、润饰都将是显而易见的，都应视为本发明的保护范围。因此，本发明的保护范围应由所附的权利要求来限定。