一种基于计算机视觉和轨迹预测的工人安全动态评估方法

技术领域

本发明属于施工现场管理技术领域，涉及到一种识别建筑工人安全风险的方法，尤其涉及一种基于计算机视觉和轨迹预测的工人安全动态评估方法。

背景技术

建筑施工现场工人的职业健康和安全一直是备受关注问题，一旦工人出现安全问题会给各方带来经济损失。当前建筑工地的安全风险管理主要依赖于安全管理人员的人工监测，这是劳动密集型工作，需要大量的人力成本且难以全天候监测。近年来，计算机视觉快速发展，建筑工地普遍安装摄像头以监控作业场所，这为计算机视觉在建筑工地上的应用提供了支持。基于计算机视觉方法的安全风险管理方法具有无接触性、全天无休等优点被广泛应用，但当前的研究大多分析某一时刻施工现场的安全状况，并没有考虑到事故之间的前后关联，无法对未来是否发生危险进行预测，提前预测往往比预防接近事故更加重要和有效。

在施工现场，工人与设备之间的碰撞和挤压是一种主要的事故类型。由于工人过于关注完成自己的工作或施工现场环境复杂，工人难以注意到周围环境的变化，容易使自己陷入到危险之中。即使工人能够注意到距离自己周围比较近的空间，但如果危险物体运动速度过快，工人来不及反应做出相应的规避动作，依然会发生安全事故。因此，提前预测工人和物体的运动并保留一定的时间给工人思考和规避对降低安全事故的发生率具有重要意义。

发明内容

考虑到的视频监控方法为管理人员和从业者提供改善现场施工作业安全性能的优势。未解决上述难题，本发明借助于计算机视觉技术和轨迹预测，构建动态实时的施工现场的安全风险评估系统，旨在用于监测施工现场的风险动向和辅助完成事故预警，改善目前施工现场管理水平，最大程度地降低事故发生概率，以保障施工项目的人员和财产安全。

为了实现上述目的，本发明采用的技术方案如下：

一种基于计算机视觉和轨迹预测的工人安全动态评估方法，包含以下步骤：

第一步，收集含有工人和移动危险物体施工现场的视频数据，将其作为模型的原始数据。视频数据从施工现场垂直往下拍摄的摄像头中获取。对视频数据进行划分，不同作业区和不连续的视频分别作为单独的数据集进行标注，连续的视频片段但被单独存放的视频合并为同一个视频文件。

第二步，制作多目标跟踪模型的数据集。使用多目标跟踪视频标注工具DarkLabel对收集到的视频数据进行标注。标签选择工人、危险物体两类，用一个物体标注框圈住图片中出现的这两类物体。建立像素坐标系，以图片左上角为原点，向右为x轴，向下为y轴，每个像素为1单位。视频的每帧图片i中一个物体的标注框数据为

其中，C

第三步，制作轨迹预测模型的数据集。根据第二步对视频数据标注的结果，经过处理形成物体的轨迹数据。对视频的每帧图片i提取每个物体标注的中线点，物体中心点像素坐标按照下式计算：

按照视频的时间顺序合并类别相同且跟踪ID相同的物体中心点坐标，生成为轨迹的时间序列数据。类别相同且跟踪ID相同的轨迹数据为：

其中，C为物体类别(工人或危险物体)，ID为每个标注框赋予的跟踪ID，T为标注物体 (C,ID)在视频中出现的最大时间。按照第二步数据划分的方式，形成轨迹预测模型训练的训练集、验证集。

第四步，在PyTorch框架下训练多目标跟踪模型和轨迹预测模型。多目标跟踪模型可以任意选择，如FairMOT、DeepSORT等，在多目标跟踪模型训练的训练集上训练模型，选择在多目标跟踪模型训练的验证集上表现最好的模型作为最终的多目标跟踪模型，评价指标选择 MOTA，其值越大越好。

轨迹预测模型输入为物体历史10s内的中心点的坐标序列，预测接下来10s的中心点坐标序列，每秒含有2个中心点坐标。轨迹预测模型选择时间序列预测模型，如LSTM、Transformer 等，在轨迹预测模型的训练集上训练模型，选择在轨迹预测模型训练的验证集上表现最好的模型作为最终的轨迹预测模型，评价指标选择平均位移误差(ADE)，其值越小越好。

第五步，计算像素坐标与实际坐标转换系数。固定相机的位置，在施工现场放置一个长度为L的物体，测量相机拍摄的物体像素长度l，计算转换系数为：

第六步，选择一个未被标注的视频序列，将每帧数据连续输入到多目标跟踪模型中，得到多目标跟踪的结果，结果如式(1)所示，包含每个物体的检测框和类别及跟踪的ID。同时，记录每个物体的跟踪中心点坐标，计算方式为式(2)。将类别相同且跟踪ID相同的物体中心点坐标聚合，如式(3)，输入到轨迹预测模型中，得到每个物体的中心点预测轨迹：

转换为实际坐标：

第七步，基于轨迹的安全评价模型计算工人安全水平。分为以下几步：

(1)确定距离(m)、时间(s)、速度阈值(m/s)，分别为D

(2)输入工人和危险物体的预测轨迹，包含为n个工人的预测轨迹

(3)计算工人i，i＝1,2,...,n与危险物体j，j＝1,2,...,m的预测轨迹之间的最短距离

其中，k＝1,2,...,20，

其中，x

(4)计算工人i，i＝1,2,...,n与危险物体j，j＝1,2,...,m的预测轨迹之间的距离序列满足距离阈值的最小时间t

t

其中，T(·)的计算公式为：

其中，D为D

(5)计算危险物体j，j＝1,2,...,m在t

其中，d(·)的计算公式为式(8)。

(6)计算工人i，i＝1,2,...,n相对于危险物体j，j＝1,2,...,m之间的安全水平L

安全水平的计算根据以下规则：

1)若

2)若

3)若

4)若

5)若

6)若

(7)计算工人i，i＝1,2,...,n的在场景中的安全水平L

L

(8)根据式(12)计算出n个工人的安全水平，完成工人安全的动态评估。

本发明的有益效果是：

(1)使用方便，仅需要一个摄像头即可完成施工现场动态监控，节省成本。

(2)可以动态实时监控，通过施工现场历史的时间和空间位置关系动态推算工人的安全水平，更加准确。

(3)提前预测危险，根据轨迹预测模型实现未来趋势的预测，留有相关人员一定时间采取行动。

(4)可扩展性强，能够适应于多数施工场景。

附图说明

图1为多目标跟踪模型数据标注样例；

图2为坐标转换系数标定；

图3为多目标跟踪模型输出结果；

图4为本发明方法的流程示意图。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体的实施例对本发明做进一步详细说明。显然，所描述的实施实例是本发明一部分实例，而不是全部的实例。基于本发明中的实施实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

第一步，收集含有工人和运动危险物体的视频数据。在一个工地收集安装在塔吊上的摄像头拍摄的视频序列，对视频进行划分和合并，视频总时长为00:07:55。

第二步，制作多目标跟踪模型的数据集。采用DarkLabel对视频进行标注，共标注13155 张图片。其中一帧的标注后的图像示例如图1，标注数据根据式(1)为：[[602,540,645,572,工人,1],[437,571,473,610,工人,2],[676,512,717,565,危险物体,1]]。按8:2划分为多目标跟踪模型的训练集和验证集，00:00:00～00:06:20之间标注的数据为多目标跟踪的训练集，00:06:20～00:07:55 之间标注的数据为多目标跟踪的验证集。

第三步，制作轨迹预测模型的数据集。根据式(2)计算物体中心点，图1中各物体的中心点为，工人1：(623.5，556)、工人2：(455，590.5)、危险物体1：(696.5,538.5)。将相同类别和ID的数据按照时间顺序合并，形成物体轨迹数据

第四步，编写Python程序训练，这里多目标跟踪模型选择FairMOT，轨迹预测模型选择 LSTM(long-short term memory，长短期记忆网络)。在多目标跟踪模型的训练集上训练FairMOT 模型，经过参数调优，使模型在多目标跟踪模型的验证集上表现良好。在轨迹预测模型的训练集上训练LSTM模型，经过参数调优，使模型在轨迹预测模型的验证集上表现良好。保存两个模型的参数。

第五步，计算像素坐标与实际坐标转换系数。在现场放置一个物体，如图2所示，测量其实际长度为1.2m。使用webplotdigitizer测量图片中AB两点的像素距离为56。根据式(4)计算r＝21.43mm/px。

第六步，选择一个未标注的视频序列，输入到多目标跟踪模型中。这里选择与图1场景相同拍摄时间不同的视频片段，其中只包括工人1和危险物体1，如图3所示。根据多目标跟踪模型的输出结果，计算物体中心点位置。选取历史10s内物体的轨迹输入到轨迹预测模型中，预测未来10s内物体的轨迹。轨迹预测模型，预测工人1和危险物体1未来10s的轨迹,按照式 (6)转换为实际坐标，如表1所示，设当前时间为0s：

表1物体未来10s预测轨迹

第七步，计算工人的安全水平。

(1)确定基于轨迹的安全评价模型参数，根据管理人员经验，这里D

(2)输入工人和危险物体的预测轨迹，这里包含1个工人的预测轨迹

(3)计算工人1与危险物体1的预测轨迹之间的最短距离

表2预测轨迹计算物体表面距离

计算得到

(4)计算工人1与危险物体1的预测轨迹之间的距离序列满足距离阈值的最小时间t

(5)计算危险物体1在t

(6)计算工人1相对于危险物体1之间的安全水平L

(7)由于只有1个危险物体，工人1的安全水平评价流程结束。

以上所述实施例仅表达本发明的实施方式，但并不能因此而理解为对本发明专利的范围的限制，应当指出，对于本领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些均属于本发明的保护范围。