一种岸桥岸侧作业吊具下防砸方法及系统

技术领域

本发明适用于港口行业，涉及机器视觉和深度学习技术领域，尤其涉及一种岸桥岸侧作业吊具下防砸方法及系统。

背景技术

岸桥，即岸边集装箱起重机，是集装箱码头专门用于对集装箱船进行装卸作业的专业设备。当岸桥在岸侧进行集装箱落箱作业时，司机在上方司机室控制吊具，将吊具携带的集装箱下落到内集卡的车架上。在这一作业过程中，有如下情况会使得落箱过程中在下落的集装箱旁出现物体：①有港口工人站在内集卡旁边，准备拆卸下落集装箱上的锁扣；②内集卡车架前方是内集卡车头，车头远高于车架，且二者距离极近。然而，由于操作岸桥的司机作业位置高，且司机正下方吊具遮挡司机视野，会导致司机难以看清上述情况的人员与车头，导致集装箱与这些物体进行碰撞，发生重大安全生产事故。

近年来，随着多种传感器技术、机器视觉分析技术等的迅猛发展，上述技术在智能化控制领域得到广泛应用。在港口行业中，已经有相关技术部门应用上述技术，尝试解决岸桥在岸侧进行落箱作业时砸车头的问题，并已经设计相关内集卡引导系统。现有的内集卡引导系统主要有如下类型：①基于激光技术的内集卡对位，是使用安装在吊具上的激光器，对岸侧进行照射，进而获得集装箱精确定位坐标及姿态，之后根据吊具与集装箱的相对位置进行对位，避免车头与集装箱碰撞；②基于机器视觉技术的集卡对位，是通过前背景检测的方法，先检测定位到集卡的位置，再根据吊具与集卡的相对位置进行定位，准确将集卡引导到指定位置，使集装箱在落箱中不会与集卡车头碰撞。然而，现有方法存在如下问题：(1)基于激光的集卡对位技术，难以准确识别岸桥吊具下方工作的港口工人、其它类型车辆等物体；(2)基于机器视觉检测算法的集卡对位技术，难以识别吊具遮挡时其下方物体情况；(3)前背景检测算法依赖于背景建模，受天气影响大，在雨天、雪天时，难以准确区分前背景。

发明内容

为解决上述技术问题，本发明提供一种岸桥岸侧作业吊具下防砸方法及系统，在吊具下落乃至遮挡下方时，准确识别、定位受遮挡物体在遮挡前的位置。

本发明提供一种岸桥岸侧作业吊具下防砸方法，该方法，包括：

步骤1：在位于岸桥吊具两侧的司机室底部和小车架底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据；

步骤2：将所述岸桥吊具下方区域视频数据解码为视频帧，基于Yolov5x视觉检测网络对所述视频帧进行检测，获得检测结果；

步骤3：基于DeepSort算法和重识别算法，对所述检测结果进行跟踪预测，获得跟踪预测结果，基于所述检测结果和所述跟踪预测结果之间的相似度，对所述跟踪预测结果进行标记；

步骤4：将所述跟踪预测结果投影到小车架摄像机拍摄画面所在平面，获取小车架摄像机视角下投影过去的跟踪预测结果；

步骤5：根据吊具尺寸计算吊具出现在小车架摄像机视角下的吊具地面投影区域，若投影的跟踪预测结果的中心点落在吊具地面投影区域，则判断为有防砸风险，向岸桥发送告警信息。

优选地，所述步骤1包括：在位于岸桥吊具两侧的司机室后底部和小车架前底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据，所述岸桥吊具下方区域视频数据中的物体包括：行人、集卡车头、岸桥吊具、其它车辆。

优选地，所述步骤3包括：

步骤3.1：基于卡尔曼滤波对所述检测结果中检测物体的运动轨迹进行跟踪预测，获得跟踪预测结果，根据马氏距离和余弦距离计算所述检测结果和所述跟踪预测结果之间的第一相似度，并对所述第一相似度进行判断；

步骤3.2：若所述第一相似度大于第一相似度阈值，则所述检测结果中的检测物体与所述跟踪预测结果中的跟踪物体匹配为同一物体，所述跟踪预测结果标记为已匹配跟踪。

步骤3.2：若所述第一相似度小于等于所述第一相似度阈值，则获取所述检测结果中未匹配的检测物体，获取所述跟踪预测结果中未匹配的跟踪物体，根据余弦距离计算所述未匹配的检测物体的特征向量与所述未匹配的跟踪物体的特征向量之间的第二相似度，并对所述第二相似度进行判断，

若所述第二相似度大于第二相似度阈值，则所述未匹配的检测物体与所述未匹配的跟踪物体匹配为同一物体，所述跟踪预测结果标记为已匹配跟踪；若所述第二相似度小于等于所述第二相似度阈值，则所述未匹配的检测物体作为备选的新跟踪物体，所述跟踪预测结果标记为新跟踪；

步骤3.3：若所述第一相似度小于等于所述第一相似度阈值，则获取所述跟踪预测结果中未匹配的跟踪物体，判断所述未匹配的跟踪物体是否在岸桥吊具附近，若是，则所述未匹配的跟踪物体为遮挡的跟踪物体，所述跟踪预测结果标记为遮挡跟踪，否则，所述未匹配的跟踪物体为备选跟丢的物体，所述跟踪预测结果标记为丢失跟踪。

优选地，卡尔曼滤波公式为：

x′＝Fx(1)

P′＝FPF

其中，x为上一帧中目标的信息，x＝[u,v,gama,h,x1,y1,gama1，h1]，(u,v)为目标锚点框的中心坐标，gama为目标锚点框的长宽比，h为目标锚点框的高度，x1,y1,gama1,h1为目标对应在图像坐标中的运动信息，P为目标的估计误差，F为状态转移矩阵，Q为系统误差，x′为使用卡尔曼模型预测的下一帧物体状态信息，P′为使用卡尔曼模型预测的估计误差；

y＝z-Hx′(3)

S＝HP′H

K＝P′H

x＝x′+Ky(6)

P＝(1-KH)P′(7)

其中，z为检测的均值向量，z＝[u,v,gama,h]，H称为测量矩阵，R为检测器的噪声矩阵，K为卡尔曼增益，x，P分别为更新后的均值向量和协方差矩阵。

优选地，所述马氏距离公式为：

其中，d

所述余弦距离公式为：

其中，d

优选地，所述步骤4包括：利用仿射变换，将所述检测结果和所述跟踪预测结果投影到小车架摄像机拍摄画面所在平面，获取小车架摄像机视角下投影过去的跟踪预测结果，所述仿射变换矩阵为：

其中，x，y表示需要变换的原始坐标，x′，y′表示变换后的结果，

优选地，所述步骤4包括：基于IoU算法判断投影过去的跟踪预测结果是否与小车架检测结果重合，

如果IoU结果超过预设阈值，则投影过去的跟踪预测结果与小车架检测结果重合，保留小车架检测结果；

如果从司机室后投影到小车架的物体没有与小车架检测结果里的任一物体重合，则作为新物体向后发送；

如果小车架检测结果里的物体没有与司机室后投影到小车架的任一物体重合，则作为新物体向后发送。

与现有技术相比，本发明所提供的一种岸桥岸侧作业吊具下防砸方法具有如下有益效果：在位于岸桥吊具两侧的司机室底部和小车架底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据；将岸桥吊具下方区域视频数据解码为视频帧，基于Yolov5x视觉检测网络对视频帧进行检测，获得检测结果；基于DeepSort算法和重识别算法，对检测结果进行跟踪预测，获得跟踪预测结果，基于检测结果和跟踪预测结果之间的相似度，对跟踪预测结果进行标记；将跟踪预测结果投影到小车架摄像机拍摄画面所在平面，获取小车架摄像机视角下投影过去的跟踪预测结果；根据吊具尺寸计算吊具出现在小车架摄像机视角下的吊具地面投影区域，若投影的跟踪预测结果的中心点落在吊具地面投影区域，则判断为有防砸风险，向岸桥发送告警信息。通过重识别算法，对检测结果进行跟踪预测，在吊具下落乃至遮挡下方时，能够准确判断新出现的人是之前被吊具遮挡的还是新出现的人。

本发明还提供一种岸桥岸侧作业吊具下防砸系统，该系统包括：

视频数据获取模块，用于在位于岸桥吊具两侧的司机室底部和小车架底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据；

检测结果获取模块，用于将所述岸桥吊具下方区域视频数据解码为视频帧，基于Yolov5x视觉检测网络对所述视频帧进行检测，获得检测结果；

跟踪预测标记模块，用于基于DeepSort算法和重识别算法，对所述检测结果进行跟踪预测，获得跟踪预测结果，基于所述检测结果和所述跟踪预测结果之间的相似度，对所述跟踪预测结果进行标记；

投影模块，用于将所述检测结果和所述跟踪预测结果投影到小车架摄像机拍摄画面所在平面，获取小车架摄像机视角下投影过去的跟踪预测结果；

防砸判断模块，用于根据吊具尺寸计算吊具出现在小车架摄像机视角下的吊具地面投影区域，若投影的跟踪预测结果的中心点落在吊具地面投影区域，则判断为有防砸风险，向岸桥发送告警信息。

与现有技术相比，本发明提供的一种岸桥岸侧作业吊具下防砸系统的有益效果与上述技术方案所述一种岸桥岸侧作业吊具下防砸方法的有益效果相同，在此不做赘述。

本发明还提供一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任一项所述的一种岸桥岸侧作业吊具下防砸方法中的步骤。

与现有技术相比，本发明提供的电子设备的有益效果与上述技术方案所述一种岸桥岸侧作业吊具下防砸方法的有益效果相同，在此不做赘述。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种岸桥岸侧作业吊具下防砸方法中的步骤。

与现有技术相比，本发明提供的计算机可读存储介质的有益效果与上述技术方案所述一种岸桥岸侧作业吊具下防砸方法的有益效果相同，在此不做赘述。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种岸桥岸侧作业吊具下防砸方法的流程图；

图2示出了本发明实施例所提供的司机室后和小车架前的摄像机安装示意图；

图3示出了本发明实施例所提供的一种岸桥岸侧作业吊具下防砸方法发的原理图；

图4示出了本发明实施例所提供的基于重识别算法的跟踪预测流程图；

图5-图11示出了本发明实施例所提供的基于重识别算法的跟踪预测示意图。

具体实施方式

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

本实施例中提到的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况。“示例性的”或者“例如”等词用于表示作例子、例证或说明，旨在以具体方式呈现相关概念，不应被解释为比其他实施例或设计方案更优选或更具优势。

图1示出了本发明实施例所提供的一种岸桥岸侧作业吊具下防砸方法的流程图，图3示出了本发明实施例所提供的一种岸桥岸侧作业吊具下防砸方法发的原理图。如图1和图3所述，本发明实施例提供一种岸桥岸侧作业吊具下防砸方法，该方法包括：

步骤S1：在位于岸桥吊具两侧的司机室底部和小车架底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据。

需要说明的是，本发明实施例提供的一种岸桥岸侧作业吊具下防砸方法主要应用于港口岸桥作业。在位于岸桥吊具两侧的司机室后底部和小车架前底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据，所述岸桥吊具下方区域视频数据中的物体包括：行人、集卡车头、岸桥吊具、其它车辆等。

具体地，如图2所示，可以使用两台200万像素的网络摄像机，从岸桥司机室位置以及小车架位置往地面方向照射。两台摄像机分别安装在司机室后底部和小车架前底部有两个好处。一方面，可以使得摄像机随着小车的移动而移动，同时由于吊具也安装在小车架上，因此使得两台摄像机与吊具在水平方向上处在同一个相对位置，方便定位物体与吊具的相对关系。另一方面，两个摄像机一个安装在相对吊具的前方，另一个安装在后方，且两台摄像机光轴最终相交于吊具投影到地面的中心，可保证吊具在下落过程中尽可能无死角检测到吊具下方情况。

步骤S2：将所述岸桥吊具下方区域视频数据解码为视频帧，基于Yolov5x视觉检测网络对所述视频帧进行检测，获得检测结果。

需要说明的是，将两台网络摄像机拍摄的岸桥吊具下方区域视频数据解码成视频帧后，将视频帧放入计算机视觉检测网络，检测视频帧中的物体位置以及物体类型。针对现场场景具有多种物体，且背景变化大这一情况，选择使用的是Yolov5x网络。

使用Yolov5x作为检测网络原因如下：

(1)如表1所示，相比于传统Yolov3的Darknet-53基网，Yolov5x的基网使用了CSP架构，可以在准确率略微提升的前提下，减小运算量。

表1：现有方法与Yolov5x的性能比

(2)相比于Yolov5s的512层通道，Yolov5的通道层为1280，更多的通道数意味着更复杂的语义表达能力，即可以在复杂环境的浅层特征图获取更精准的检测能力，提升检测的准确率。

同时，针对现场岸侧港口工作人员在摄像机中的尺度为50×50(单位像素)，且视角为由顶端到底端，难以判断常规人体形状的情况，因此，确定输入尺寸为1280×732像素。

具体地，选择输入尺寸的依据为：

a、确定视频的分辨率w

b、由于Yolov5的检测坐标是通过金字塔形特征图确定的，金字塔特征图原理在后面步骤三中详解，根据尺度不变性，如果一个物体能够检测到，该物体需要在对应的尺度的特征图的对应位置有显著的特征，因此需要物体在对应特征图上的尺寸至少为1×1像素。

c、为了稳定检测到人体特征缺乏的微小物体，可以规定物体在步长为32的特征图上至少为1×1像素。如果设模型的输入尺寸为w

推导后可得

d、由于一般视频帧图片不是正方形，如果检测模型设置为正方形的输入尺寸w

在这里，由于已经确定输入原始视频帧尺寸w

该检测网络可以识别物体有集卡车头、人、桥吊吊具、其他车辆等。其检测的平均准确度可以达到95％。

步骤S3：基于DeepSort算法和重识别算法，对所述检测结果进行跟踪预测，获得跟踪预测结果，基于所述检测结果和所述跟踪预测结果之间的相似度，对所述跟踪预测结果进行标记。

需要说明的是，所述步骤S3包括：

步骤3.1：基于卡尔曼滤波对所述检测结果中检测物体的运动轨迹进行跟踪预测，获得跟踪预测结果，根据马氏距离和余弦距离计算所述检测结果和所述跟踪预测结果之间的第一相似度，并对所述第一相似度进行判断。

步骤3.2：若所述第一相似度小于等于所述第一相似度阈值，则获取所述检测结果中未匹配的检测物体，获取所述跟踪预测结果中未匹配的跟踪物体，根据余弦距离计算所述未匹配的检测物体的特征向量与所述未匹配的跟踪物体的特征向量之间的第二相似度，并对所述第二相似度进行判断，

若所述第二相似度大于第二相似度阈值，则所述未匹配的检测物体与所述未匹配的跟踪物体匹配为同一物体，所述跟踪预测结果标记为已匹配跟踪；若所述第二相似度小于等于所述第二相似度阈值，则所述未匹配的检测物体作为备选的新跟踪物体，所述跟踪预测结果标记为新跟踪。

步骤3.3：若所述第一相似度小于等于所述第一相似度阈值，则获取所述跟踪预测结果中未匹配的跟踪物体，判断所述未匹配的跟踪物体是否在岸桥吊具附近，若是，则所述未匹配的跟踪物体为遮挡的跟踪物体，所述跟踪预测结果标记为遮挡跟踪，否则，所述未匹配的跟踪物体为备选跟丢的物体，所述跟踪预测结果标记为丢失跟踪。

首先讲解一下DeepSORT算法。DeepSORT是SORT多目标跟踪算法的改进版本，设计了一种新的关联方式，提高对长时间遮挡的对象追踪的准确率。相比于SORT算法，DeepSORT通过结合动作和外观信息的更准确的度量来实现关联度量，使用CNN网络提取特征，增加对缺失和遮挡物体跟踪的鲁棒性。

具体地，DeepSORT的算法流程如下：

(1)对于输入的检测结果，先将每一个检测坐标对应的图像区域扣出，并使用CNN网络提取扣出的图片特征，作为检测结果中该检测物体的特征参数。

(2)对于原有的跟踪轨迹，使用卡尔曼滤波的方法对原有的跟踪轨迹进行预测。卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。DeepSORT使用u,v,gama,h,x1,y1,gama1,h1,这八个参数描述目标的运动状态，其中(u,v)为目标锚点框的中心坐标，gama是目标锚点框的长宽比，h表示目标锚点框的高度，其余四个变量为目标对应在图像坐标中的运动信息

卡尔曼滤波器运算步骤如下所示：

x′＝Fx(1)

P′＝FPF

其中，x为上一帧中目标的信息，x＝[u,v,gama,h,x1,y1,gama1,h1]，P为目标的估计误差，F为状态转移矩阵，Q为系统误差，x′为使用卡尔曼模型预测的下一帧物体状态信息，P′为使用卡尔曼模型预测的估计误差；

y＝z-Hx′(3)

A＝HP′H

K＝P′H

x＝x′+Ky(6)

P＝(1-KH)P′(7)

在公式3中，z为检测的均值向量，不包含速度变化值，即z＝[u,v,gama,h]，H称为测量矩阵，它将跟踪的均值向量x′映射到检测空间，公式3用于计算跟踪的均值误差。

公式4中，R为检测器的噪声矩阵，它是一个4×4的对角矩阵，对角线上的值分别为中心点两个坐标以及宽高的噪声，以任意值初始化，一般设置宽高的噪声大于中心点的噪声，该公式先将协方差矩阵P′映射到检测空间，然后再加上噪声矩阵R。

公式5计算卡尔曼增益K，卡尔曼增益用于估计误差的重要程度。

公式6和公式7得到更新后的均值向量x和协方差矩阵P。x的前四项内容u,v,gama,h,为卡尔曼滤波预测的物体跟踪结果。

基于卡尔曼滤波对检测结果中检测物体的运动轨迹进行跟踪预测，获得跟踪预测结果，得到检测结果与跟踪预测结果后，根据马氏距离和余弦距离计算检测结果和跟踪预测结果之间的第一相似度，即每一个检测物体与每一个跟踪物体之间的第一相似度，并对第一相似度进行判断。

具体地，马氏距离：是在规范化的主成分空间中的欧氏距离。所谓规范化的主成分空间就是利用主成分分析对一些数据进行主成分分解。再对所有主成分分解轴做归一化，形成新的坐标轴。由这些坐标轴张成的空间就是规范化的主成分空间。

在DeepSORT中，马氏距离的表达式为：

其中，d

余弦距离：是用来表示两个向量方向关系的距离。余弦距离越大意味着两个向量方向越不一致。

在DeepSORT中，余弦距离的表达式为：

其中，d

(4)如果检测的物体与跟踪的物体相似度高于某个阈值，即距离低于某个阈值，将这两个物体关联为同一个物体，同时更新跟踪器的坐标与物体特征信息。

(5)匹配的跟踪结果关联完毕后，将检测中没有进行匹配的物体取出来，作为备选的新跟踪物体。如果该新跟踪物体连续N帧可以匹配，即认为该物体为稳定的新跟踪物体。

(6)在进行步骤(5)的同时，将跟踪中没有与检测匹配的物体取出来，记录为备选跟丢的物体。如果连续N帧下该物体仍被标记为丢失，认为该物体为丢失物体，消除该物体轨迹。

DeepSORT算法可以对多个目标进行稳定跟踪，但对于长时间被某一个大型物体遮挡后，在其他位置出现的物体，按照上述流程，DeepSORT算法会有丢失该物体的现象，即遮挡前为一个ID，遮挡后为另一个ID的问题。在实际应用中，例如港口工人从岸桥吊具左侧进入吊具下方被遮挡，经过一段时间后会从吊具右侧出现，这个时候该工人会被判定为两个不同的人。

为了解决上述问题，本发明实施例引进重识别技术。重识别技术是图像检索的子问题，它需要在给定一个物体的图像后，检索出其他摄像头中存在的该物体的图像。在这里，前期被遮挡的物体为给定的输入，需要在其再次在其他地方出现的时候，将其检索出来并确定身份。

为此，如图4所示，需要对DeepSORT做如下改动：

(1)在进行原始DeepSORT网络的步骤时，对跟踪中没有与检测匹配的物体，判断该物体前一个匹配的跟踪结果是否位于吊具附近，吊具位置信息通过前一个步骤的检测网络获得。如果该物体前一个匹配的跟踪结果位于吊具附近，将其标记为遮挡物体，区别于其他的丢失物体。

(2)在下一帧跟踪进行时，对于标记为遮挡的物体，不进行卡尔曼滤波操作。

(3)在下一帧跟踪通过匹配后，获得检测中没有进行匹配的物体，将这些没有匹配的检测目标与上一帧标记为遮挡的物体使用余弦距离进行特征之间的匹配。如果特征匹配的余弦距离低于某个阈值，即认为这一对物体为同一物体，即重新匹配成功。之所以遮挡物体匹配不使用马氏距离，是因为马氏距离计算与物体之间的位置有关，距离越远，马氏距离越大。而一般被遮挡的物体出现时，相距于其消失的位置较远，马氏距离较大，难以作为判别标准。因此重识别匹配只能使用余弦距离作为判别依据。因此，需要继续对DeepSORT算法进行改进。

如图4所示，改进后的DeepSORT算法流程如下：

(1)同上述原先的DeepSORT一致，对于输入的检测结果提取图片特征，作为该检测物体的特征参数。

(2)对于非遮挡的跟踪物体，使用卡尔曼滤波的方法对其运动轨迹进行预测。

(3)计算非遮挡的跟踪物体与检测物体之间的余弦距离与马氏距离。

(4)如果检测的物体与非遮挡的跟踪物体相似度高于某个阈值，即距离低于某个阈值，将这两个物体关联为同一个物体，同时更新跟踪器的坐标与物体特征信息。

(5)匹配的非遮挡跟踪结果关联完毕后，首先将检测中没有进行匹配的物体取出来，计算其特征向量与遮挡的跟踪物体特征向量的余弦距离。如果其余弦距离低于某个阈值，将这两个物体关联为同一个物体，同时更新跟踪器的坐标与物体特征信息。

(6)根据(4)和(5)中全部匹配完毕后，将完全没有匹配的检测物体作为备选的新跟踪物体。如果该备选的新跟踪物体连续N帧可以匹配，即认为该物体为稳定的新跟踪物体。

(7)将跟踪中没有与检测匹配的物体取出来，判断其与岸桥吊具的位置关系，具体的，判断该物体前一个匹配的跟踪结果是否位于吊具附近，吊具位置信息通过前一个步骤的检测网络已经获得，如果该物体前一个匹配的跟踪结果位于吊具附近，将其标记为遮挡的跟踪物体，区别于其他的丢失物体。否则记录为备选跟丢的物体。如果备选跟丢的物体连续N帧下该物体仍被标记为丢失，认为该物体为丢失物体，消除该物体轨迹。

如图5所示，白色检测框中间用绿字标记为90和79的两个工人出现在视野左侧偏下位置，图6中移动到吊具下方后无法跟踪，由于其消失位置在吊具附近，将其判断为遮挡消失，同时记录消失时的坐标位置。如图7所示，在消失了一段时间后，两个人在吊具下方出现，此时重新重识别为之前遮挡消失的人员。

步骤4：将所述检测结果和所述跟踪预测结果投影到小车架摄像机拍摄画面所在平面，获取小车架摄像机视角下投影过去的跟踪预测结果。

需要说明的是，将两个摄像机检测和跟踪的结果投影到一个平面上。在现场，是将司机室后摄像机与小车架前摄像机的检测跟踪结果全部投影到小车架摄像机拍摄画面所在平面。

将司机室后摄像机的检测结果投影到小车架的算法是仿射变换。仿射变换是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。在二维图像中，仿射变换是将一个平面内的二维坐标(x，y)，平移到另一个平面内二维坐标(u，v)的线性变换，也叫图像扭曲。

应理解，使用仿射变换的原因是，岸桥岸侧作业时，如果岸侧物体静止，其相对于小车架与司机室后摄像机的三维位置关系是恒定不变的；当物体运动时，只有水平方向位置关系发生变动，但与摄像机的高度关系是不变的。因此，本发明实施例将摄像机之间的投影，简化为水平方向的线性变换问题，即仿射变换。

仿射变换的矩阵表达形式为：

其中，左侧的x，y对应的是需要变换的原始坐标，x′，y′对应的是变换后的结果。中间的3×3矩阵

Mat cv::getAffineTransform(const Point2f src[],const Point2fdst[])

其中src[]为从需要变换的图像选择的一系列点；dst[]为src[]对应的点在新平面的位置。在岸桥实际应用场景中，这两组点的获取方法为：

(1)在司机室后摄像机中截取视频帧。从视频帧里面的车道标志线选择M个不在一条直线上的点(M>3)，作为getAffineTransform函数的src[]。

(2)在小车架摄像机中截取同时间戳的视频帧。从视频帧中的车道标志线中找到(1)中src[]对应于小车架摄像机的坐标点，标记为dst[]。

(3)使用上面的函数getAffineTransform进行计算，该函数的返回值就是仿射变换矩阵，之后便使用该矩阵计算司机室后检测物体投影到小车架摄像机的位置。

投影完成后，使用IoU算法判断投影过去的跟踪预测结果是否与小车架的检测结果重合，分以下三种情况：

(1)如果IoU结果超过特定的阈值，认为这两个物体是重合的，即判断为同一物体，保留小车架的检测结果。

(2)如果从司机室后投影到小车架的物体没有与小车架里面的任一物体重合，即作为新物体向后发送。

(3)如果小车架的物体没有与司机室后投影的任一物体重合，作为新物体向后发送。

整合完毕后作为最终结果发送，即小车架视角下的检测结果。图8示出了小车架+司机室后融合到小车架视角的最终融合结果，图9示出了司机室后的同时画面。可以理解的是，由于画面中的两个人是为了测试跟踪性能人为添加上去的，其在两个视角下的效果难以准确叠加。由此司机室后的两个人直接映射到了小车架的白色检测框中间用绿字标识的25和4，从映射结果中可以看出投影的坐标是准确的。同时，原本在画面中出现的集卡车头在两个视角下准确融合成一个车头。

步骤5：根据吊具尺寸计算吊具出现在小车架摄像机视角下的吊具地面投影区域，若投影的跟踪预测结果的中心点落在吊具地面投影区域，则判断为有防砸风险，向岸桥发送告警信息。

需要说明的是，根据PLC信息，确定此时落箱作业的吊具的尺寸：20尺，40尺或45尺。根据吊具尺寸计算出现吊具在小车架摄像机视角下的地面投影区域。如果有跟踪结果，其中心点落在了吊具地面投影区域，即认为吊具集装箱有碰撞物体的风险，算法程序会向岸桥PLC发送告警。

另一种可能实施例：

步骤1：收集港口岸桥作业现场两个网络摄像机拍摄的视频数据，包括不同着装的行人、不同种类位置的集卡车头、不同位置状态的岸桥吊具。将视频转化为图片，并分为测试数据集和训练数据集两部分，进行Yolov5检测网络训练，将训练好的分类器运用到检测流程当中。

步骤2：如图10-图11所示，在岸桥小车架、司机室后两个位置安装两台网络高清摄像机，在岸桥上安装工控机，在工控机上安装编译好的目标检测程序。安装好设备后，调节小车架、司机室后摄像机由海侧到岸侧照射集装箱，且画面中心点位置放到吊装集装箱且落地的吊具中央。

步骤3：根据对应路面上的标志线在画面中位置，标定计算出由司机室后到小车架放射变换矩阵。

步骤4：完成监测模型训练和设备标定之后，即可运行编写好的程序进行目标检测、目标跟踪，最终将所有检测跟踪结果映射到小车架的画面下。

与现有技术相比，本发明实施例所提供的一种岸桥岸侧作业吊具下防砸方法具有如下有益效果：

1、在吊具下落乃至遮挡下方时，系统能够准确识别、定位受遮挡物体在遮挡前的位置，提升跟踪算法在人员被特定物体遮挡后重新跟上的能力，对人员被吊具遮挡后的跟踪识别有重大意义。

2、设计了将小车架到司机室后的坐标变换方法，可以将多摄像机结果综合到一个参考系下，在某一特定视角无法检测的情况下，可通过另一视角的检测结果进行互补，提升跟踪结果的鲁棒性。

本发明实施例提供一种岸桥岸侧作业吊具下防砸系统，该系统包括：

视频数据获取模块，用于在位于岸桥吊具两侧的司机室底部和小车架底部各设置一台对地照射的摄像机，以获取岸桥吊具下方区域视频数据；

检测结果获取模块，用于将所述岸桥吊具下方区域视频数据解码为视频帧，基于Yolov5x视觉检测网络对所述视频帧进行检测，获得检测结果；

跟踪预测标记模块，用于基于DeepSort算法和重识别算法，对所述检测结果进行跟踪预测，获得跟踪预测结果，基于所述检测结果和所述跟踪预测结果之间的相似度，对所述跟踪预测结果进行标记；

投影模块，用于将所述检测结果和所述跟踪预测结果投影到小车架摄像机拍摄画面所在平面，获取小车架摄像机视角下投影过去的跟踪预测结果；

防砸判断模块，用于根据吊具尺寸计算吊具出现在小车架摄像机视角下的吊具地面投影区域，若投影的跟踪预测结果的中心点落在吊具地面投影区域，则判断为有防砸风险，向岸桥发送告警信息。

与现有技术相比，本发明实施例提供的一种岸桥岸侧作业吊具下防砸系统的有益效果与上述技术方案所述一种岸桥岸侧作业吊具下防砸方法的有益效果相同，在此不做赘述。

此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种岸桥岸侧作业吊具下防砸方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种岸桥岸侧作业吊具下防砸方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。

在本申请所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。

所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。