一种基于多相机联动目标监测的焊机和目标监测方法

技术领域

本发明属于目标追踪领域，涉及一种基于多相机联动目标监测的焊机和目标监测方法。

背景技术

焊接车间装配有监控器对焊接人员在车间的行为进行跟踪，在跟踪过程中鉴于车间背景复杂、目标间遮挡、由不同摄像机的不同视点引起的视觉外观和周围环境的巨大变化，以及每个目标出现的摄像头数量和整个跨摄像头网络中的目标数量都是未知的，导致无法准确、快速、自动对目标进行追踪，同时缺少对目标行径路径以及目标的预估，使摄像头全部参与目标追踪，浪费部分摄像资源，加重图像处理的工作，有效性差,严重影响了搜寻目标的效率。

发明内容

本发明为了克服现有技术的不足，提供一种基于多相机联动目标监测的焊机和目标监测方法。

为了实现上述目的，本发明采用以下技术方案：一种基于多相机联动目标监测的焊机和目标监测方法,包括焊机本体、控制器、服务器、人脸识别模块、语音广播模块、工作摄像头和场景摄像头，焊机位于车间，车间划分为安全人行通道区域与焊机工作区域，工作摄像头的成像范围设置为焊机工作区域，场景摄像头的成像范围设置为安全人行通道区域，

还包括：

参数设定模块，参数设定模块用于设定工作摄像头和场景摄像头的坐标；

背景模块，背景模块用于建立背景模型；

区域分割模块，区域分割模块用于将车间区域分割为安全人行通道区域与焊机工作区域；

身份识别模块，身份识别模块用于识别待进入人员的身份，判断待进入的人员是否为当前车间可进入的人员；

人员进岗监测模块，用于监测操作人员是否进入焊机工作区域；

人员在岗监测模块，用于监测操作人员是否离岗；

人员离岗监测模块，人员离岗监测模块用于识别焊机工作区域的操作人员离岗是否超时；

场景监测模块，场景监测模块用于预估操作人员的目标位置，并对目标进行追踪；

待机模块，待机模块用于控制焊机本体待机并识别待机人员的身份。

进一步的，所述参数设定模块、背景模块、区域分割模块、身份识别模块、人员进岗监测模块、人员在岗监测模块、人员离岗监测模块、场景监测模块、待机模块分别与控制器连接，通过控制器控制各个模块之间的连接和交互。

一种焊机的目标监测方法，包括以下步骤：

1） 背景初始化；

2） 人员进入车间，身份识别模块执行身份识别流程，判断待进入的人员是否为该车间允许的人员，若是，控制器向服务器发送该人员的进入通知，若否，语音广播报警，提示有非法人员进入；

3） 人员进岗监测模块执行人员进岗监测流程，判断操作人员是否进入焊机工作区域，若是，执行4），若否，执行人员进岗监测流程；

4） 人员在岗监测模块执行人员在岗监测流程，判断操作人员是否离岗，若是，执行5），若否，执行人员在岗监测流程；

5） 人员离岗监测模块执行人员离岗监测流程，判断操作人员离岗是否超时，若是，执行场景监测流程，若否，语音广播模块报警提示，焊机本体进入待机模式；

6） 场景监测模块执行场景监测流程进行目标跟踪，判断操作人员是否离开车间，若是，语音广播模块报警提示，焊机本体进入待机模式；若否，语音广播模块报警提示，执行人员进岗监测流程；

7） 判断离岗人员是否进入焊机工作区域，若是执行4），若否，执行6）；

8） 待机模式，执行待机流程；

9） 结束步骤。

进一步的，所述背景初始化的具体步骤为：

1.1）：设定工作摄像头和场景摄像头的坐标；

1.2）：建立背景模型；

1.3）：将车间区域分割为安全人行通道区域与焊机工作区域。

进一步的，所述 1.1)将工作摄像头和场景摄像头的车间空间坐标系映射到像素坐标系，包括以下步骤：

1.1.0)：将焊机本体以及对应的焊机操作人员进行编号，两者一一对应，焊机本体与其所在焊机工作区域的工作摄像头一一对应，编号信息并入操作人员编号集，将非操作人员进行编号，编号信息并入非操作人员编号集；

1.1.1)：设定场景摄像头、工作摄像头以及车间入门的车间空间坐标：

将若干场景摄像头设定为Ci(i=1,2,…Z)，若干工作摄像头设定为Wj(j=1,2,…mo)，车间入门设为空间坐标原点（0，0，0），车间的长宽高为已知参数，场景摄像头的坐标为（XCi,YCi,ZCi），工作摄像头的坐标为（XWj,YWj,ZWj），以车间入门为起点，按照C1,W1,C2,W2,C3,W3,…进行排序，C1为第一场景摄像头，场景摄像头的坐标（XCi,YCi,ZCi）以及工作摄像头的坐标（XWj,YWj,ZWj）为已知参数；n为场景摄像头的数量，m为工作摄像头的数量；

1.1.2）将工作摄像头和场景摄像头所在的车间空间坐标系转换为图像的像素坐标系，将像素坐标系转换为车间空间坐标系；

根据已知的车间空间坐标系转换为任一工作摄像头以及场景摄像头的相机坐标系；

将相机坐标系转换为成像平面坐标系；

将成像平面坐标系转换为像素坐标系；

将像素坐标系转换成车间空间坐标系；

获得图像与车间空间的距离转化式，将图像上两点距离D(u,v)转换成车间空间坐标系的两点距离d（x,y,z）,d（x,y,z）=F[D(u,v)]，F为转化式；

将车间空间坐标系的两点距离d（x,y,z）转化为图像上两点距离D(u,v),D(u,v)=f[d(x,y,z)]，f为转化式。

进一步的，所述1.2）中建立背景模型包括以下步骤：

1.2.1）:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像，获得N张样本图像，设定

为样本图像的总数量，

1.2.2）处理样本图像获得图像灰度直方图，计算t时刻的直方图分布

对单张图像灰度直方图做归一化处理：

；

为像素值为g

计算t时刻的直方图分布

计算背景环境的直方图分布

1.2.3）样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用公式获得

1.2.4）计算每个u，

其中

进一步的，所述1.3）包括以下步骤：

1.3.1）提取图像中特征角点；

为了获得图像的特征角点，对图像上像素点G(u,v)进行滑窗处理，假设滑窗位置变化为(x,y)，像素点G(u,v)的灰度值为I(u,v)，通过滑窗计算后，局部灰度变化加权平均值E(x,y)，

式中:A、B、C表示二阶方向微分的近似值,A、B、C为系数,可以通过下式来表示：

式中:用X和Y来表示不同方向上的一阶方向微分,其中,

式中M就是Harris角点算法中定义的Hessian矩阵,得到

A(x,y)、B(x,y)、C(x,y)为系统函数；像素点的E(x,y)的值关系到矩阵M的特征值,而且当2个特征值都比较大时,说明该点沿横纵坐标方向的灰度值变化量比较剧烈,因此该像素点就是特征角点，同时为了简化计算量,去掉计算矩阵M的特征值的过程,定义矩阵行列式

式中m是经验常数;

判断

1.3.2）提取的特征角点通过四层金字塔传递下来，根据四层特征角点计算图像角点坐标集；

金字塔光流算法从最顶层开始,通过分辨率最低的层级上计算角点，通过每个金字塔层级之间的映射关系将角点计算进行选代,得到最底层原始图像的角点，设定最底部的层级为0级，然后依次向上升级;对0级图像向下采样得到1级金字塔图像，然后继续向下采样到设定的层数，此时，角点在相邻两帧间的运动就足够微小，可以满足LK光流法的假设条件，就能计算出该层的光流值；

设定顶层角点初值为

1.3.3）计算角点三帧差分图像；

为差分图像，

；

其中，

1.3.4）根据在不同层金字塔的区域角点坐标集，快速匹配计算两摄像头间的相似特征角点，确定场景摄像头的成像区域边界坐标，根据1.1.2）的坐标转换，获得场景摄像头成像区域边界在车间空间坐标系的坐标，依此获得相邻场景摄像头的视野重叠区域，将该区域标记为H，得到在场景摄像头采集的图像中视野重叠区域坐标；

1.3.5）在不同层金字塔确定安全人行通道区域与焊机工作区域的分割以及各焊机工作区域之间的分割，安全人行通道区域与焊机工作区域边缘均贴有安全反光标识，根据区域角点坐标集、场景摄像头和工作摄像头的成像范围以及安全反光标识配合辅助分割区域，从而将车间的区域分割和场景摄像头和工作摄像头的区域分割进行统一。

进一步的，所述2）中身份识别流程具体包括以下步骤：

2.1）将识别的卡内编号发送至控制器，遍历操作人员编号集和非操作人员编号集，判断卡内编号是否匹配到对应编号，若是，执行2.2），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；

2.2）将刷脸获取的实时人脸图像与卡内的人脸图像进行比对，判断比对是否一致，若是，执行2.3），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；

2.3）判断卡内编号是操作人员编号还是非操作人员编号，若是操作人员编号，执行2.4），若是非操作人员编号，更新服务器中非操作人员的访问记录；

2.4）根据卡内编号，提取相应焊机本体的编号，获取控制器内该编号焊机本体绑定的人脸图像；将实时人脸图像与绑定的人脸图像进行比对，判断比对是否一致，若是，车间入口闸门开启，服务器接收该编号操作人员入岗的信息；执行2.5），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；

2.5）第一场景摄像头采集待进入人员的图像，建立LAB颜色模型，获取待进入人员的服装颜色特征值，将人员的颜色特征值发送至控制器，更新该编号下操作人员的服装特征值；便于根据服装特征值追踪目标；

2.6）将刷脸获取的非操作人员人脸图像输入服务器，并将该人脸图像标记为非识别目标。

进一步的，所述6）中场景监测流程通过位置敏感度、空间注意力、时间注意力调用场景摄像头，用于监测操作人员是否在车间，具体包括以下步骤：

6.1.0)设定场景摄像头位置敏感度排序权重；

设定操作人员向各焊机工作区域移动的概率为

；

上式中

6.1.1)设定场景摄像头空间观测注意力权重；

;

上式中

6.1.2)设定场景摄像头时间观测注意力权重；

；

上式中，

6.1.3)预估操作人员的位置；

操作人员离开焊机工作区域后，确定操作人员速度方向，设定操作人员向车间入口移动为负，操作人员向车间出口移动为正；

更新

设定操作人员在t+1时刻图像的预估位置为

；

6.1.4)根据

6.1.5)根据目标焊机工作区域

目标焊机工作区域

以目标焊机工作区域

设定各场景摄像头的拍摄权重为

；

上式中Z为目标焊机工作区域相关的若干场景摄像头的总数，Z为设定值，i=1...Z。

进一步的，所述6)中对目标进行跟踪的具体步骤为：

6.2.0)将待追踪的操作人员标记为ID1；

6.2.1)基于操作人员的预估位置调用场景摄像头采集ID1图像，获取操作人员在像素坐标系下的位置以及在车间空间坐标系下的位置、拍摄时间t3、速度矢量Vt、颜色特征值；

6.2.2)判断在场景摄像头的拍摄范围内是否出现新的工作人员ID2，若是，执行6.2.3)，若否，继续追踪ID1；

6.2.3）判断ID1与ID2是否存在遮挡，若是，执行6.2.4）；若否，执行6.2.5）；

6.2.4）基于前n帧所预测的状态变量，模糊进行分类，包括ID1与ID2的位置、速度矢量Vt，比如ID1与ID2在前n帧的位置以及移动方向，获取n+k帧图像，判断n+k帧图像中ID1与ID2是否存在遮挡，若是，获取当前场景摄像头id，语音广播模块报警遮挡，并指示操作人员望向当前场景摄像头进行区分识别，若否，执行6.2.5）；

6.2.5）执行人员区分流程。

综上所述，本发明的有益之处在于：

本发明通过背景模型消除背景突变对于目标追踪的影响；通过预估操作人员的位置；通过场景摄像头加权追踪目标；通过对人员区分过滤非目标人员，从而降低了背景突变对于目标追踪的影响，提高目标追踪的准确性和准确性，大大提高了目标的追踪效率。

附图说明

图1为本发明的焊机模块连接示意图。

图2为本发明的场景摄像头和工作摄像头在车间分布示意图。

图3为本发明的车间区域分割示意图。

图4为本发明的目标监测方法总流程。

图5为本发明不同时刻场景摄像头的视野示意图。

图6为本发明的背景初始化流程图。

图7为本发明的操作人员移动示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明实施例中所有方向性指示(诸如上、下、左、右、前、后、横向、纵向……)仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

因安装误差等原因，本发明实施例中所指的平行关系可能实际为近似平行关系，垂直关系可能实际为近似垂直关系。

实施例一：

如图1-3所示，一种基于多相机联动目标监测的焊机，包括焊机本体、控制器（MCU）、服务器、人脸识别模块、语音广播模块、工作摄像头和场景摄像头，焊机位于车间，车间划分为安全人行通道区域与焊机工作区域，焊机工作区域设有若干，任一焊机工作区域分布有焊机本体，工作摄像头和场景摄像头分别与控制器连接，控制器与焊机本体连接，工作摄像头和场景摄像用于追踪目标在车间的移动轨迹，工作摄像头的成像范围设置为焊机工作区域，场景摄像头的成像范围设置为安全人行通道区域。

人脸识别模块用于采集以及识别人脸图像；

语音广播模块依据焊机管理监测控制器的指令对工作状态和异常情况进行播报；

还包括：

参数设定模块，参数设定模块用于设定工作摄像头和场景摄像头的坐标；

背景模块，背景模块用于建立背景模型；

区域分割模块，区域分割模块用于将车间区域分割为安全人行通道区域与焊机工作区域；

身份识别模块，身份识别模块用于识别待进入人员的身份，判断待进入的人员是否为当前车间可进入的人员；

人员进岗监测模块，用于监测操作人员是否进入焊机工作区域；

人员在岗监测模块，用于监测操作人员是否离岗；

人员离岗监测模块，人员离岗监测模块用于识别焊机工作区域的操作人员离岗是否超时；

场景监测模块，场景监测模块用于预估操作人员的目标位置，并对目标进行追踪；

待机模块，待机模块用于控制焊机本体待机并识别待机人员的身份。

参数设定模块、背景模块、区域分割模块、身份识别模块、人员进岗监测模块、人员在岗监测模块、人员离岗监测模块、场景监测模块、待机模块分别与控制器连接，通过控制器控制各个模块之间的连接和交互，执行全流程功能的运行和调度，并通过控制器实现焊机本体的控制功能。

目标为焊机的操作人员。

如图4-6所示，本申请还提供了一种焊机的目标监测方法，包括以下步骤：

1） ：背景初始化；

2）：人员进入车间，身份识别模块执行身份识别流程，判断待进入的人员是否为该车间允许的人员，若是，控制器向服务器发送该人员的进入通知，若否，语音广播报警，提示有非法人员进入；

3）人员进岗监测模块执行人员进岗监测流程，判断操作人员是否进入焊机工作区域，若是，执行4），若否，执行人员进岗监测流程；

4） 人员在岗监测模块执行人员在岗监测流程，判断操作人员是否离岗，若是，执行5），若否，执行人员在岗监测流程；

5） 人员离岗监测模块执行人员离岗监测流程，判断操作人员离岗是否超时，若是，执行场景监测流程，若否，语音广播模块报警，可语音播报“XX工位人员已离岗”进行提示，焊机本体进入待机模式；

6） 场景监测模块执行场景监测流程进行目标跟踪，判断操作人员是否离开车间，若是，语音广播模块报警，可语音播报“XX工位人员不在车间”进行提示，焊机本体进入待机模式；若否，语音广播模块报警，可语音播报“XX工位人员长时间离岗”进行提示，执行人员进岗监测流程；

7） 判断离岗人员是否进入焊机工作区域，若是执行4），若否，执行6）；

8） 待机模式，执行待机流程；

9） 结束步骤。

背景初始化的具体步骤为：

1.1）：设定工作摄像头和场景摄像头的坐标；

1.2）：建立背景模型；

1.3）：将车间区域分割为安全人行通道区域与焊机工作区域；

1.1)将工作摄像头和场景摄像头的车间空间坐标系映射到像素坐标系，包括以下步骤：

1.1.0)：将焊机本体以及对应的焊机操作人员进行编号，两者一一对应，焊机本体与其所在焊机工作区域的工作摄像头一一对应，编号信息并入操作人员编号集，将非操作人员，比如技术人员、领导人员进行编号，编号信息并入非操作人员编号集；

1.1.1)：设定场景摄像头、工作摄像头以及车间入门的车间空间坐标；

将若干场景摄像头设定为Ci(i=1,2,…Z)，若干工作摄像头设定为Wj(j=1,2,…mo)，车间入门设为空间坐标原点（0，0，0），车间的长宽高为已知参数，场景摄像头的坐标为（XCi,YCi,ZCi），工作摄像头的坐标为（XWj,YWj,ZWj），以车间入门为起点，按照C1,W1,C2,W2,C3,W3,…进行排序，C1为第一场景摄像头，其中Ci挂于车间高处，能够获得更多视野，Wj挂于焊机工作区域全覆盖位置；场景摄像头的坐标（XCi,YCi,ZCi）以及工作摄像头的坐标（XWj,YWj,ZWj）为已知参数；n为场景摄像头的数量，m为工作摄像头的数量；

1.1.2）将工作摄像头和场景摄像头所在的车间空间坐标系转换为图像的像素坐标系，将像素坐标系转换为车间空间坐标系；

根据已知的车间空间坐标系转换为任一工作摄像头以及场景摄像头的相机坐标系；

将相机坐标系转换为成像平面坐标系；

将成像平面坐标系转换为像素坐标系；

将像素坐标系转换成车间空间坐标系；

获得图像与车间空间的距离转化式，将图像上两点距离D(u,v)转换成车间空间坐标系的两点距离d（x,y,z）,d（x,y,z）=F[D(u,v)]，F为转化式；

将车间空间坐标系的两点距离d（x,y,z）转化为图像上两点距离D(u,v),D(u,v)=f[d(x,y,z)]，f为转化式；

上述坐标系之间的转换为常规转换，F,f根据常规转化可得，F,f为设定值；

1.2）中建立背景模型包括以下步骤：

1.2.1）:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像，获得N张样本图像；设定

为样本图像的总数量，

1.2.2）处理样本图像获得图像灰度直方图，计算t时刻的直方图分布

对单张图像灰度直方图做归一化处理：

；

为像素值为g

计算t时刻的直方图分布

计算背景环境的直方图分布

1.2.3）样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用公式获得

1.2.4）计算每个u，

其中

在运行时段，焊机本体通常处于明亮的环境下，即背景亮度不变，在非运行时段，焊机本体通常处于黑暗的环境下，即背景亮度不变，为方便计算，将运行时段和非运行时段的背景统一，本实施例设定标准背景环境不变，因此标准背景环境的频率、设定的标准背景环境的直方图分布均为定值；

在其他实施例中，可将运行时段和非运行时段的背景环境分别设定，变化值分别与运行时段和非运行时段下的标准背景环境值进行比较，在此不做赘述。

1.3）包括以下步骤：

1.3.1）提取图像中特征角点；

为了获得图像的特征角点，对图像上像素点G(u,v)进行滑窗处理，假设滑窗位置变化为(x,y)，像素点G(u,v)的灰度值为I(u,v)，通过滑窗计算后，局部灰度变化加权平均值E(x,y)，

式中:A、B、C表示二阶方向微分的近似值,A、B、C为系数,可以通过下式来表示：

式中:用X和Y来表示不同方向上的一阶方向微分,其中,

式中M就是Harris角点算法中定义的Hessian矩阵,得到

A(x,y)、B(x,y)、C(x,y)为系统函数；像素点的E(x,y)的值关系到矩阵M的特征值,而且当2个特征值都比较大时,说明该点沿横纵坐标方向的灰度值变化量比较剧烈,因此该像素点就是特征角点，同时为了简化计算量,去掉计算矩阵M的特征值的过程,定义矩阵行列式

式中m是经验常数;

判断

1.3.2）提取的特征角点通过四层金字塔传递下来，根据四层特征角点计算图像角点坐标集；

金字塔光流算法从最顶层开始,通过分辨率最低的层级上计算角点，通过每个金字塔层级之间的映射关系将角点计算进行选代,得到最底层原始图像的角点，设定最底部的层级为0级，然后依次向上升级。对0级图像向下采样得到1级金字塔图像，然后继续向下采样到设定的层数，此时，角点在相邻两帧间的运动就足够微小，可以满足LK光流法的假设条件，就能计算出该层的光流值；

设定顶层角点初值为

1.3.3）计算角点三帧差分图像；

为差分图像，

；

其中，

1.3.4）根据在不同层金字塔的区域角点坐标集，快速匹配计算两摄像头间的相似特征角点，确定场景摄像头的成像区域边界坐标，根据1.1.2）的坐标转换，获得场景摄像头成像区域边界在车间空间坐标系的坐标，依此获得相邻场景摄像头的视野重叠区域，将该区域标记为H，得到在场景摄像头采集的图像中视野重叠区域坐标；

1.3.5）在不同层金字塔确定安全人行通道区域与焊机工作区域的分割以及各焊机工作区域之间的分割，安全人行通道区域与焊机工作区域边缘均贴有安全反光标识，根据区域角点坐标集、场景摄像头和工作摄像头的成像范围以及安全反光标识配合辅助分割区域，从而将车间的区域分割和场景摄像头和工作摄像头的区域分割进行统一；

2）中将刷卡识别的人员编号遍历操作人员编号集和非操作人员编号集，判断待进入人员为操作人员还是非操作人员，操作人员的卡内信息包括编号、人脸图像、相应焊机本体的编号、位置、坐标，遍历操作人员编号集识别编号是否为本车间录入的编号，通过刷脸可获得待进入操作人员的人脸图像，将该人脸图像与卡内的人脸图像、卡内的人脸图像与控制器中相应焊机本体的编号的人脸图像进行比对以判断待进入操作人员身份是否异常，

非操作人员的卡内信息包括编号、人脸图像，遍历非操作人员编号集识别编号是否存在，通过刷脸可获得待进入人员的人脸图像，将该人脸图像与卡内的人脸图像进行比对以判断待进入的非操作人员身份是否异常；

本实施例设定非操作人员具有进入各车间的权限；

身份识别流程具体包括以下步骤；

2.1）将识别的卡内编号发送至控制器，遍历操作人员编号集和非操作人员编号集，判断卡内编号是否匹配到对应编号，若是，执行2.2），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；

2.2）将刷脸获取的实时人脸图像与卡内的人脸图像进行比对，判断比对是否一致，若是，执行2.3），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；

2.3）判断卡内编号是操作人员编号还是非操作人员编号，若是操作人员编号，执行2.4），若是非操作人员编号，更新服务器中非操作人员的访问记录；

2.4）根据卡内编号，提取相应焊机本体的编号，获取控制器内该编号焊机本体绑定的人脸图像；将实时人脸图像与绑定的人脸图像进行比对，判断比对是否一致，若是，车间入口闸门开启，服务器接收该编号操作人员入岗的信息；执行2.5），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；

2.5）第一场景摄像头采集待进入人员的图像，建立LAB颜色模型，获取待进入人员的服装颜色特征值，将人员的颜色特征值发送至控制器，更新该编号下操作人员的服装特征值；便于根据服装特征值追踪目标；

2.6）将刷脸获取的非操作人员人脸图像输入服务器，并将该人脸图像标记为非识别目标。

3）中人员进岗监测流程包括以下步骤：

A.1）根据操作人员的编号，获取对应焊机工作区域的工作摄像头的id；

A.2）提取该id的工作摄像头采集的初始图像；

工作摄像头采集无操作人员的焊机工作区域图像，将其标记为初始图像;

A.3）工作摄像头采集当前焊机工作区域图像，将其记为第一图像，控制器比对初始图像和第一图像，判断第一图像中是否有操作人员，若有，执行步骤A.4），若无，判定焊机工作区域没有操作人员;

A.4）工作摄像头采集操作人员的人脸图像，判断人脸图像与本焊机工作区域的焊机本体绑定的人脸图像是否一致，若是，判定操作人员进入焊机工作区域，若无，判定操作人员未进入焊机工作区域。

4） 中人员在岗监测流程与人员进岗监测流程的步骤相同，判断操作人员是否离开焊机工作区域，若是，执行步骤5），若否，执行人员在岗监测流程继续判断；

待进入人员的人脸图像与卡内的人脸图像、卡内的人脸图像与绑定的人脸图像、工作摄像头采集操作人员的人脸图像与焊机工作区域的焊机本体绑定的人脸图像是否一致的图像特征比对通过人脸比对流程进行，具体步骤为：

步骤S1：将待比对人脸图像分别设定为图像B和图像C，

步骤S2：识别图像B和图像C，判断图像B或/和图像C人脸是否有眼镜，若有，执行步骤S3，若否，执行步骤S4；

步骤S3：提取图像B或/和图像C中人脸的眼部矩形区域，并对其进行二值化处理，提取“倒立8”轮廓，填充轮廓环形区域，去掉眼镜，根据眼部周围区域肤色填充，更新图像B或/和图像C；

步骤S4：采用轻量级HRnet人脸识别模型识别图像B得到68个人脸关键数据点位置和坐标，采用两个级联的CNN对人脸关键数据点进行检测，获得左眼、右眼、鼻尖、左嘴角、右嘴角坐标；

68个人脸关键数据点中鼻尖区域为关键数据点27-35计算最小外接矩形形成的区域，左眼区域为关键数据点36-41以及右眼为关键数据点42-47计算最小外接矩形，嘴角区域为关键数据点48-59计算最小外接矩形形成的区域，因此设定左眼坐标为关键数据点36-41坐标的中心（x1,y1），右眼坐标为关键数据点42-47坐标的中心（x2,y2），鼻尖坐标为关键数据点27-35坐标的中心（x3,y3），左嘴角为关键数据点48坐标（x4,y4），右嘴角为关键数据点59坐标（x5,y5）；

步骤S5：计算图像B中人脸的五官比值；

K1=L1/L2=((x1+x4)/2-x3)/((x2+x5)/2-x3)；

K2=H1/H2=((y1+y2)/2-y3)/((y4+y5)/2-y3)；

K3=X/Y=(x1-x2)/(y1-y2)；

K1、K2、K3为图像B的五官比值，以鼻尖为中心，K1为左眼和左嘴角的X方向均值点P1到鼻尖的距离L1和右眼和右嘴角的X方向均值点P2到鼻尖的距离L2的比值；K2为左眼和右眼的Y方向均值点P3到鼻尖的距离H1和左嘴角和右嘴角的Y方向均值点P4到鼻尖的距离H2的比值；K3为左眼和右眼X方向和Y方向的距离比值；

步骤S6：计算图像C中人脸的五官比值；

同理依据步骤S4和步骤S5，获得图像C中人脸的五官比值，K11、K21、K31，K11和K1对应，K11为左眼和左嘴角的X方向均值点到鼻尖的距离和右眼和右嘴角的X方向均值点到鼻尖的距离的比值；K21和K2对应，K21为左眼和右眼的Y方向均值点到鼻尖的距离和左嘴角和右嘴角的Y方向均值点到鼻尖的距离的比值；K31和K3对应，K31为左眼和右眼X方向和Y方向的距离比值；

步骤S7：计算图像B中人脸五官比值和图像C中人脸五官比值的差值，将差值与阈值对比，若差值小于阈值，判定图像B和图像C中的人脸为同一人，若差值不小于阈值，判定图像B和图像C中的人脸不是同一人；

；

其中，

5） 中人员离岗监测流程包括以下步骤：

5.1）：标记第一图像的采集时间，并记为T1；

5.2）：设定离岗时间阈值为t；

5.3）：提取时间T1到T1+t之间工作摄像头采集的焊机工作区域图像；

5.4）：将焊机工作区域图像依次与初始图像比对，执行人员进岗监测流程，判断任一焊机工作区域图像中是否有操作人员，若有，判定操作人员离岗未超时，语音广播模块报警，可语音播报“XX工位人员已离岗”进行提示，焊机本体进入待机模式，若无，判定操作人员离岗超时，语音广播模块报警，可语音播报“XX工位人员长时间离岗”进行提示，焊机本体进入待机模式，执行场景监测流程。

6）中场景监测流程通过位置敏感度、空间注意力、时间注意力调用场景摄像头，用于监测操作人员是否在车间，具体包括以下步骤：

6.1.0)设定场景摄像头位置敏感度排序权重；

设定操作人员向各焊机工作区域移动的概率为

；

上式中

如图7所示，

常规情况下，除两端的场景摄像头外，其余场景摄像头具有两个方向的视野重叠区域，当操作人员仅在一个场景摄像头的成像范围内，获取场景摄像头当前帧图像中操作人员的坐标，依据操作人员坐标和视野重叠区域坐标，操作人员与两端视野重叠区域的距离，获取多帧图像的操作人员坐标，计算操作人员与两端视野重叠区域的距离，比对上述距离变化，距离变短的一侧为操作人员速度方向；

当操作人员在两个场景摄像头的成像范围内，认为操作人员在视野重叠区域，采集多帧后图像，判断操作人员出现的场景摄像头编号，以确定操作人员的速度方向。

6.1.1)设定场景摄像头空间观测注意力权重；

;

上式中

6.1.2)设定场景摄像头时间观测注意力权重；

；

上式中，

6.1.3)预估操作人员的位置；

操作人员离开焊机工作区域后，确定操作人员速度方向，设定操作人员向车间入口移动为负，操作人员向车间出口移动为正；

更新

设定操作人员在t+1时刻图像的预估位置为

；

6.1.4)根据

6.1.5)根据目标焊机工作区域

目标焊机工作区域

以目标焊机工作区域

设定各场景摄像头的拍摄权重为

；

上式中Z为目标焊机工作区域相关的若干场景摄像头的总数，z为设定值，i=1...Z；

6)中对目标进行跟踪的具体步骤为：

6.2.0)将待追踪的操作人员标记为ID1；

6.2.1)基于操作人员的预估位置调用场景摄像头采集ID1图像，获取操作人员在像素坐标系下的位置以及在车间空间坐标系下的位置、拍摄时间t3、速度矢量Vt、颜色特征值；

速度矢量Vt的速度大小v，方向d；

6.2.2)判断在场景摄像头的拍摄范围内是否出现新的工作人员ID2，若是，执行6.2.3)，若否，继续追踪ID1；

6.2.3）判断ID1与ID2是否存在遮挡，若是，执行6.2.4）；若否，执行6.2.5）；

6.2.4）基于前n帧所预测的状态变量，模糊进行分类，包括ID1与ID2的位置、速度矢量Vt，比如ID1与ID2在前n帧的位置以及移动方向，获取n+k帧图像，判断n+k帧图像中ID1与ID2是否存在遮挡，若是，获取当前场景摄像头id，语音广播模块报警遮挡，并指示操作人员望向当前场景摄像头进行区分识别，若否，执行6.2.5）；

6.2.5）执行人员区分流程；

人员区分流程包括以下步骤：

6.2.5.1）判断ID1或/和ID2的人脸图像是否可以识别，若是，通过ID1或/和ID2的人脸图像过滤ID2，若否，执行6.2.5.2）；

6.2.5.2）判断ID1或/和ID2的服装特征值是否可以区分，若是，通过ID1或/和ID2的服装特征值过滤ID2，若否，执行6.2.5.3）；

6.2.5.3）分别获取ID1与ID2的位置、速度矢量Vt，通过6.1.3)步骤估算ID下一帧的位置阈值，通过阈值过滤掉ID2对于ID1轨迹的影响。

6）通过场景监测流程对目标进行跟踪，当监测到目标不在车间，语音广播模块报警，可语音播报“XX工位人员不在车间”进行提示，同时场景摄像头和工作摄像头针对该目标在安全人行道区域和焊机工作区域的跟踪停止，场景摄像头和工作摄像头处于正常待调用状态，

当监测到目标在车间，语音广播模块报警，可语音播报“XX工位人员长时间离岗”进行提示，执行人员进岗监测流程，工作摄像头采集对应编号的焊机工作区域的图像，判断离岗的操作人员是否进入焊机工作区域，若是，执行人员在岗监测流程，若否，场景监测模块持续对目标进行跟踪。

离岗的操作人员在未进入焊机工作区域以及未出车间的过程中持续被场景监测模块进行跟踪。

同时场景摄像头和工作摄像头针对该目标在安全人行道区域和焊机工作区域的跟踪停止，场景摄像头和工作摄像头处于正常待调用状态

本实施例控制器可根据异常结果控制焊机本体进入待机模式，在排除异常情况后，通过人工操作解除待机模式；本实施例也设定人工待机模式，根据实际操作需要，人工控制焊机本体进入待机模式，

人工控制焊机本体进入待机模式的具体步骤为：

8.1）：控制器控制焊机本体断电；

8.2）:人脸识别模块采集待机人员的人脸图像，将待机人员的人脸图像与录入的人脸图像比对，若比对一致，判定为本焊机本体绑定的操作人员操作待机，若否，语音广播模块报警，语音播报：“XX工位焊机本体非本人待机”，提示用户。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。