一种矿山智能化管理方法和系统

技术领域

本发明属于矿山安全管理技术领域，具体涉及一种矿山智能化管理方法和系统。

背景技术

矿山的安全管理是保障矿山安全生产、防止事故发生的关键。在矿山开采过程中，矿山企业的安全管理工作是一个非常重要的内容，它在很大程度上决定着矿山企业的安全状况，为了可以更好的保障采矿人员的生命安全，必须加强矿山企业的安全管理力度。

目前矿山企业对采矿人员的安全管理手段大多只是对采矿人员所处矿山区域的环境危险状况进行监测管理，如矿区滑坡、坍塌监测，有害气体浓度监测，忽略了对采矿人员自身引起的危险因素的安全监测，例如，对采矿人员危险采矿行为、违规操作或异常动作的监测，对采矿人员身体素质参数（心率、血压等）的监测等。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种矿山智能化管理方法和系统。

为了实现上述目的，本发明采用以下技术方案。

第一方面，本发明提供一种矿山智能化管理方法，包括以下步骤：

步骤101，实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；

步骤102，基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；

步骤103，如果是非采矿人员，发出语音警示信号；

步骤104，如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；

其中，异常行走行为的识别方法包括：

利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间

基于(

如果

进一步地，所述进行人员身份识别的方法包括：

基于人员着装进行人员身份识别，着工作制服的人员为采矿人员，未着工作制服的人员为非采矿人员。

进一步地，所述进行人员身份识别的方法包括：

对待识别人员的人脸图像进行特征提取，并将所述特征与数据库中保存的采矿人员的人脸图像特征进行匹配，匹配成功的为采矿人员，匹配失败的为非采矿人员。

更进一步地，在对人脸图像进行特征提取前还要对面部变化区域图像进行增强处理，并针对增强后的图像进行面部变化特征提取；

对面部变化区域图像进行增强处理的方法包括以下步骤：

对每帧图像进行拉普拉斯金字塔分解，得到不同尺度的图像；

对每个尺度的图像进行带通滤波，输出滤波器通频带内的频率信号；

将滤波后的图像的像素值乘一放大系数，每个尺度的放大系数不同；

将经过放大后的图像金字塔还原为单张图像后，与进行拉普拉斯金字塔分解前的图像相加，并将相加后的图像组成视频；

针对增强后的图像进行面部变化特征提取的方法包括以下步骤：

对每一帧图像进行高通滤波，表示为：

式中，P为原始图像，

按下式计算高通滤波后图像中像素点像素值的变化量：

式中，

按下式计算每帧图像中像素点的位移方向：

式中，

按下式计算图像中像素点位移方向的变化量：

式中，

对

进一步地，违规操作行为的识别方法包括：

基于一般违规操作视频和严重违规操作视频，建立违规操作数据库；

对采矿人员的视频图像进行特征提取；

将提取的特征与所述数据库中的特征进行匹配，如果匹配失败，为正常操作；如果匹配成功，输出违规等级：一般违规操作或严重违规操作。

进一步地，违规操作行为的识别方法包括：

利用目标检测模型对采矿人员的手部进行检测并跟踪；

实时获得所述采矿人员进行操作时手部检测框图中心点的位置坐标；

基于所述位置坐标计算手部移动的速度和摆幅；

通过将所述速度和摆幅与设定的阈值进行比较，实现违规操作识别。

进一步地，异常行走行为的识别方法包括：

利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间

计算：

分别统计时间

计算：

第二方面，本发明提供一种矿山智能化管理系统，包括：

图像获取模块，用于实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；

身份识别模块，用于基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；

语音警示模块，用于如果是非采矿人员，发出语音警示信号；

危险动作识别模块，用于如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；

其中，异常行走行为的识别方法包括：

利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间

基于

如果

与现有技术相比，本发明具有以下有益效果。

本发明通过实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像，基于所述视频图像进行人员身份识别，如果是非采矿人员，发出语音警示信号，如果是采矿人员，对其进行危险动作识别，若其存在危险动作，发出语音警示信号，实现了矿山智能化管理。本发明能够对进入矿山监测区域的人员进行人员身份识别，对采矿人员进行危险动作识别，对非采矿人员和存在危险动作的采矿人员进行语音警示，提高了矿山智能化管理水平。

附图说明

图1为本发明实施例一种矿山智能化管理方法的流程图。

图2为正常行走轨迹示意图。

图3为异常行走轨迹示意图。

图4为本发明实施例一种矿山智能化管理系统的方框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一种矿山智能化管理方法的流程图，包括以下步骤：

步骤101，实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；

步骤102，基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；

步骤103，如果是非采矿人员，发出语音警示信号；

步骤104，如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；

其中，异常行走行为的识别方法包括：

利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间

基于

如果

本实施例提供一种矿山智能化管理方法，涉及的硬件设备包括安装在矿山监测区域的摄像机和通过互联网与摄像机进行数据通信的云服务器。摄像机采用网络数字相机，能够将拍摄的模拟视频信号转换成数字信号后通过无线通信模块直接联网。云服务器基于摄像机上传的视频信号进行图像数据处理，进而实现各种算法。当然，还应设置报警单元，通过播放语音或声光信号进行提示。为了避免出现拍摄死角，摄像机尽量设置在不同的位置和角度；还可采用安装了摄像头的巡查机器人，能够在监视区域自由移动。

本实施例中，步骤101主要用于获取人员的视频图像。如前述，利用安装在矿山监测区域的摄像机，可以实时拍摄监测区域内所有人员的视频图像，并将拍摄的视频图像信号上传到云服务器。

本实施例中，步骤102主要用于基于人员的视频图像进行人员身份识别。由于本实施例要实现的是矿山智能管理，监测区域一般只允许采矿人员进入，因此要识别的人员身份类别只有两种：一种是采矿人员；另一种是非采矿人员。可通过构建一个由神经网络组成的二分类器模型实现身份识别，输入是待检测人员的视频图像，输出为人员类别。

本实施例中，步骤103主要用于对识别出的非采矿人员进行警示。如前述，监测区域一般只允许采矿人员进入，如果识别出有采矿人员进入监测区域，为了安全起见，应通过播放语音提示其赶紧离开，或提示保安人员进行驱逐。

本实施例中，步骤104主要用于对识别出的采矿人员进行危险动作识别。对于识别出的采矿人员，还要进一步进行危险动作识别；一旦识别出存在危险动作，立即发出语音警示信号进行纠正或制止。危险动作包括与生产有关的危险动作和与生产无关的危险动作。与生产有关的危险动作一般是指不规范操作或违规操作，可能造成人员或设备的损伤，是一种非故意行为；而与生产无关的危险动作一般是指故意的破坏行为，如在监测区域内的。

本实施例还给出了识别异常行走行为的一种技术方案。异常行走是指在监测区域内的非正常行走行为。监控区域的正常行走一般是一直沿着某一方向通过所述区域，或经过左转或右转弯后通过所述区域，如图2所示。而非正常行走行为则是指左顾右盼、时快时慢、走走停停、频繁改变行走方向等行走方式，如图3所示。监测区域内的非正常行走，一般是混入监测区域的可疑人员或内部采矿人员的一种故意行为，有可能对采矿设施构成危害（偷盗或破坏）。本实施例基于采矿人员行走时通过的距离与位移的差别进行检测，其检测原理是：正常行走时，相同时间内人员通过的距离与最大位移的误差较小；异常行走时，相同时间内人员通过的距离与最大位移的误差较大甚至很大。具体检测方法是：先按上面的公式计算一定时间

本实施例能够对进入矿山监测区域的人员进行人员身份识别，对采矿人员进行危险动作识别，对非采矿人员和存在危险动作的采矿人员进行语音警示，提高了矿山智能化管理水平。

作为一可选实施例，所述进行人员身份识别的方法包括：

基于人员着装进行人员身份识别，着工作制服的人员为采矿人员，未着工作制服的人员为非采矿人员。

本实施例给出了人员身份识别的一种技术方案。由于采矿人员在工作时必须统一着制服，而所述采矿人员的制服明显不同于非采矿人员的服装，因此，基于人员着装可以方便地识别出人员的身份。

作为一可选实施例，所述进行人员身份识别的方法包括：

对待识别人员的人脸图像进行特征提取，并将所述特征与数据库中保存的采矿人员的人脸图像特征进行匹配，匹配成功的为采矿人员，匹配失败的为非采矿人员。

本实施例给出了人员身份识别的另一种技术方案。本实施例基于人脸识别实现人员身份识别，将所有采矿人员的人脸图像进行特征提取后保存到数据库，或者说数据库中只有采矿人员的人脸图像数据，通过特征匹配就可方便地识别出采矿人员和非采矿人员。

作为一可选实施例，在对人脸图像进行特征提取前还要对面部变化区域图像进行增强处理，并针对增强后的图像进行面部变化特征提取；

S1、对面部变化区域图像进行增强处理；

S11、对每帧图像进行拉普拉斯金字塔分解，得到不同尺度的图像；

S12、对每个尺度的图像进行带通滤波，输出滤波器通频带内的频率信号；

S13、将滤波后的图像的像素值乘一放大系数，每个尺度的放大系数不同；

S14、将经过放大后的图像金字塔还原为单张图像后，与进行拉普拉斯金字塔分解前的图像相加，并将相加后的图像组成视频；

S2、针对增强后的图像进行面部变化特征提取；

S21、对每一帧图像进行高通滤波，表示为：

式中，P为原始图像，

S22、按下式计算高通滤波后图像中像素点像素值的变化量：

式中，

S23、按下式计算每帧图像中像素点的位移方向：

式中，

S24、按下式计算图像中像素点位移方向的变化量：

式中，

S25、对

本实施例给出了提高人脸识别精度的一种改进方案。当监测区域光线较暗或摄像头与人员距离较远时，人脸识别精度会受到影响。为此本实施例提供一种视频增强方案，对面部变化区域图像进行增强处理，不仅能够提高人脸识别精度，还能够抗伪造（面具）人脸欺骗干扰（面具的面部图像不变化）。

本实施例包括S1、S2两部分：S1为对面部变化区域图像进行增强处理的技术方案，S2为针对增强后的图像进行面部变化特征提取的技术方案。

S1部分：首先进行空间分解，利用拉普拉斯金字塔分解对每帧图像进行处理，得到不同尺度的图像。其次对每个尺度的图像进行带通滤波，带通滤波器的通频带为面部变化频率范围，一般取0.75~2.0Hz。对图像进行带通滤波的目的是从频域筛选出面部变化特征图像信号，滤除非面部变化特征图像信号。然后再对筛选出的面部变化特征图像信号进行放大，也就是将图像的像素值乘一放大系数。可通过将图像尺寸统一为同一尺寸，如64×64，然后将图像的像素值乘一放大系数，再还原到原来的尺寸。放大倍数不能太低，也不能太高，太低达不到增强的效果，太高会造成放大后的视频图像失真，一般经过多次实验确定放大倍数，如可设置为15倍。最后进行视频重建，先将放大后的图像进行金字塔还原，再与进行金字塔分解前的图像相加，并将相加后的图像组成视频。

S2部分：以像素点像素值的变化量和像素点位移方向的变化量的融合作为面部变化特征。需要先分别获得所述两种变化量。由于面部变化的局部图像频率较高，为了有效获取变化特征，本实施例先对视频图像进行高通滤波。本实施例通过先利用高斯滤波器对视频图像进行低通滤波，然后用原始图像减去高斯滤波后的图像，实现高通滤波。然后，针对高通滤波后的图像先计算每帧图像中每个像素点的像素值相对平均像素值的变化量，并求变化量均值得到每个像素点的像素值的变化量；再计算每帧图像中每个像素点的位移方向相对平均位移方向的变化量，并求变化量均值得到每个像素点的位移方向的变化量。位移方向与水平方向的夹角通过求垂直方向位移与水平方向位移的比的反正切得到。垂直方向位移和水平方向位移仍然是采用光流法计算得到。最后将两种变化量进行融合得到面部变化特征。

作为一可选实施例，违规操作行为的识别方法包括：

基于一般违规操作视频和严重违规操作视频，建立违规操作数据库；

对采矿人员的视频图像进行特征提取；

将提取的特征与所述数据库中的特征进行匹配，如果匹配失败，为正常操作；如果匹配成功，输出违规等级：一般违规操作或严重违规操作。

本实施例给出了识别违规操作行为的一种技术方案。本实施例实现违规操作识别的原理很简单，先将常见的违规操作都制成小视频，并经特征提取后保存至数据库，即构建违规操作数据库；然后通过将待检测人员的视频图像与违规操作数据库进行匹配，得到操作类型：正常操作，一般违规操作，严重违规操作。

作为一可选实施例，违规操作行为的识别方法包括：

利用目标检测模型对采矿人员的手部进行检测并跟踪；

实时获得所述采矿人员进行操作时手部检测框图中心点的位置坐标；

基于所述位置坐标计算手部移动的速度和摆幅；

通过将所述速度和摆幅与设定的阈值进行比较，实现违规操作识别。

本实施例给出了识别违规操作行为的另一种技术方案。由于违规操作一般与采矿人员的手部动作紧密相关，因此本实施例基于采矿人员的手部视频图像进行违规操作行为识别。先利用目标检测模型获得采矿人员的手部检测框图及框图中心点的位置坐标；然后根据框图中心点的位置坐标的变化计算手部移动的速度和摆幅；由于正常操作手部移动速度和摆幅都有一定取值范围，可通过将获得的手部移动速度和摆幅分别与其正常范围比较，进行规操作识别：只要有一个超出了正常范围，则属于违规操作。

作为一可选实施例，异常行走行为的识别方法包括：

利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间

计算：

分别统计时间

计算：

本实施例给出了识别异常行走行为的另一种技术方案。本实施例基于异常行走时频繁改变行走方向的特点，对异常行走行为进行识别。行走方向的改变体现在人员位置坐标的变化上就是，其横坐标和/或纵坐标时而增大、时而减小（正常行走时横纵坐标一般始终增大或始终减小），体现在相邻位置坐标的变化

图4为本发明实施例一种矿山智能化管理系统的组成示意图，所述系统包括：

图像获取模块11，用于实时获取由摄像机拍摄的进入矿山监测区域的人员的视频图像；

身份识别模块12，用于基于所述视频图像进行人员身份识别，所述人员身份包括采矿人员和非采矿人员；

语音警示模块13，用于如果是非采矿人员，发出语音警示信号；

危险动作识别模块14，用于如果是采矿人员，对其进行危险动作识别；若其存在危险动作，发出语音警示信号；所述危险动作包括不符合操作规程的违规操作和在监测区域内的异常行走；

其中，异常行走行为的识别方法包括：

利用目标检测模型对采矿人员进行人体检测并跟踪，记录一定时间

基于

如果

本实施例的系统，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。