行车吊钩动态跟踪方法

技术领域

本发明涉及动态跟踪技术领域，尤其涉及一种行车吊钩动态跟踪方法。

背景技术

随着工厂智能化的热度逐步上升，起重机智能化、信息化、无人化成为智能工厂建设与改造的重要组成部分。传统钢厂中，工人需要现场观察起重机挂钩是否挂上物体，无法对挂钩的状态实时进行监控，并且由于现场环境恶劣，工人在现场工作会具有潜在的作业风险，存在安全隐患。

发明内容

本发明提供一种行车吊钩动态跟踪方法，以克服上述技术问题。

为了实现上述目的，本发明的技术方案是：

一种行车吊钩动态跟踪方法，包括如下步骤：

S1：通过球机获取行车吊钩的图像，包括第一行车吊钩图像和第二行车吊钩图像；所述第二行车吊钩图像为球机拍摄的所述第一行车吊钩图像的在球机的上一采样周期获取的图像；

S2：通过AI检测模块获取所述第一行车吊钩图像中的第一自适应矩形框的中心点坐标P

S3：所述球机控制模块根据所述第一自适应矩形框的中心点坐标P

进一步的，所述S3中，对球机进行控制的控制逻辑如下：

S31:判断所述第一自适应矩形框的中心点坐标P

若是，则执行S32；

若否，则执行S34；

S32：判断第一自适应矩形框的左上顶点坐标A

若是，则对所述第一行车吊钩图像执行移动中缩小操作；

若否，则执行S33；

S33：判断第一自适应矩形框的左上顶点坐标A

若是，则对所述第一行车吊钩图像执行移动中放大操作；

若否，则对所述第一行车吊钩图像执行移动操作；

S34：判断所述第一自适应矩形框的中心点坐标P

若是，则执行S35，否则执行S36；

S35：判断第一自适应矩形框的左上顶点坐标A

S36：判断第一自适应矩形框的左上顶点坐标A

若是，则对所述第一行车吊钩图像执行静止中缩小操作；

若否，则对所述第一行车吊钩图像执行移动操作。

式中：W为球机屏幕的宽，H为球机屏幕的高；x

进一步的，所述移动中缩小操作，为先以球机屏幕中心O为基点，将第一自适应矩形框等比例缩小第一阈值倍数；然后将所述第一自适应矩形框的中心点坐标P

进一步的，所述移动中放大操作，为先以球机屏幕中心O为基点，将第一自适应矩形框等比例放大第二阈值倍数；然后将所述第一自适应矩形框的中心点坐标P

进一步的，所述静止中放大操作，为以球机屏幕中心O为基点，将第一自适应矩形框等比例放大第二阈值倍数。

进一步的，所述静止中缩小操作，为以球机屏幕中心O为基点，将第一自适应矩形框等比例缩小第一阈值倍数。

进一步的，所述移动操作，为将所述第一自适应矩形框的中心点坐标P

进一步的，所述S3中，对球机进行控制时的逻辑还包括：当AI检测模块在第一时间阈值内，没有检测到第一自适应矩形框的中心点坐标P

进一步的，所述球机获取行车吊钩的第一行车吊钩图像和第二行车吊钩图像的速度为25fps。

有益效果：本发明的行车吊钩动态跟踪方法，通过球机获取行车吊钩图像，并通过AI检测模块获取所述第一行车吊钩图像中的第一自适应矩形框的中心点坐标、第一自适应矩形框的左上顶点坐标和第一自适应矩形框的右下顶点坐标，以及第二行车吊钩图像中的第二自适应矩形框的中心点坐标，并将这些坐标传输至所述球机控制模块，用以对球机进行控制，以在球机屏幕上对吊钩进行动态清楚的实时监控，减少了工人在现场工作的作业风险，降低了安全隐患。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的行车吊钩动态跟踪方法流程图；

图2为本发明的实施例中的行车吊钩动态跟踪系统框架图；

图3为本发明的另一个实施例中的行车吊钩动态跟踪系统框架图；

图4为本发明的实施例中的对第一行车吊钩图像的缩小过程的操作示意图；

图5为本发明的实施例中的移动操作示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供了一种行车吊钩动态跟踪方法，如图1，包括如下步骤，

S1：通过球机获取行车吊钩的第一行车吊钩图像和第二行车吊钩图像；所述第二行车吊钩图像为球机拍摄的所述第一行车吊钩图像的在球机的上一采样周期所拍摄的图像；具体的，所述第二行车吊钩图像与所述第一行车吊钩图像为球机先后拍摄的相邻的两帧图像。

本发明的实施例中，采用海康SDK来对球机进行控制；其能根据所检测的吊钩的位置为准进行转动，并根据所检测的图像中的吊钩的大小，在球机屏幕上进行吊钩图像的调整。

S2：通过AI检测模块获取所述第一行车吊钩图像中的第一自适应矩形框的中心点坐标P

具体的，第一自适应矩形块/第二自适应矩形框，为以AI检测模块通过神经网络模型进行学习后，所检测到的第一行车吊钩图像/第二行车吊钩图像中的吊钩的边界信息所形成的矩形框，具体的为以所检测到的吊钩的最上边的点、最下边的点、最左边的点和最右边的点，所形成的矩形框作为第一自适应矩形块/第二自适应矩形框。

具体的，本实施例基于RTSP协议，调用OpenCV获取实时球机视频数据，即实时的第一行车吊钩图像和第二行车吊钩图像，将第一行车吊钩图像和第二行车吊钩图像的图片尺寸处理至深度神经网络需要的大小，此时读入的视频帧数据格式是numpy的ndarray数据格式，且是BGR格式，因此先将图片转RGB格式。不论BGR还是RGB格式，该阶段读取到的视频帧都是H*W*C的格式，而Pytorch等神经网络框架需要C*H*W格式的视频帧作为输入，因此需要对图片格式做一个处理,把0，1，2通道转置成2，0，1通道的形式，随后将视频帧处理成Pytorch支持的tensor。神经网络推理时使用一个通道来指定batch的大小，此后将数据用浮点型表示并进行归一化处理，即可得到AI检测模块的理想的输入数据，即能够输入至AI检测模块的第一行车吊钩图像和第二行车吊钩图像。

本实施例中的AI检测模块搭载以YOLOX或YOLOv5作为训练模型的AI检测算法，在算法落地前需要采集数据集对检测算法进行训练，以保证算法的正确性。数据集对AI算法至关重要，在实际运行前，需要使用大量的数据集对AI算法进行训练，数据集过少会出现过拟合现象，因此需要采集到尽可能全面的数据集对算法进行训练，才能使检测变得精准。在训练模型方面，本实施例选用了One Stage的YOLO系列的前沿神经网络，这样可以在满足现场高实时性检测的同时，达到一个很高的目标检出率，避免球机跟丢目标。由于现场可能出现很多类似行车吊钩的目标，我们在训练中采用了数据增强的方法，避免目标的误检。具体的，在传输每帧图像画面之前，首先对视频流地址进行解析解码从而获得bgr图像数据，以对视频流进行解码及获取第一行车吊钩图像和第二行车吊钩图像，通过Opencv三方库对视频流解析与视频流解码操作进行了封装，在使用时直接打开对应的流地址，即可以指定的速率读取每一帧球机画面，即行车吊钩图像，算法底层使用了ffmpeg支持视频流的编解码。

具体的，本实施例通过AI检测算法来进行吊钩识别，获取所述第一行车吊钩图像中的第一自适应矩形框的中心点坐标P

通过对第一行车吊钩图像和第二行车吊钩图像进行AI分析，确定出吊钩在图像中的位置，具体的为获取第一行车吊钩图像中的第一自适应矩形框的中心点坐标P

图2中，AI目标检测方法使用Python语言进行编写，可同时支持Pytorch，Tensorflow，ONNX，OpenVINO，TensorRT等深度学习框架。视频流解码部分由OpenCV实现，算法可选用YOLOv5，YOLOX等多种SOTA实时目标检测框架。AI推理结束后，追踪目标的点位信息，会通过urllib3，基于http传输，给到球机控制模块，结合海康SDK，实现对海康球型摄像机的控制。

图3中，AI目标检测方法使用C++语言进行编写，专为TensorRT框架设计，进行推理加速，更加适用于低延迟场景下的部署。视频流解码部分由FFmpeg或Gstreamer实现。经过算子转化后，算法可选用YOLOv5及YOLOX实时目标检测框架。AI推理结束后，追踪目标的点位信息，通过cinatra基于http传输，给到球机控制模块，结合海康SDK，实现对海康球型摄像机的控制。

S3：所述球机控制模块根据所述第一自适应矩形框的中心点坐标P

具体的，本实施例中的球机控制模块使用c++作为程序设计语言；AI检测模块使用python作为设计语言；二者之间涉及到跨语言的通信，c++控制端使用cinatra第三方库，AI端使用urllib3第三方库，以此实现c++和python基于http协议的跨语言通信，用于传输控制信号等。

具体的，动态跟踪系统启动后，球机控制模块通过http服务端对本地端口进行持续监听，监听来自AI检测模块的控制信号，即吊钩在第一行车吊钩图像和第二行车吊钩图像中的中心点坐标和自适应矩形框的左上顶点坐标和吊钩自适应矩形框的右下顶点坐标，通过两个顶点就可以锁定并画出整个吊钩自适应矩形框；每个行车吊钩图像都是由一个个像素点排列而成的，例如1280×720的图像就是由921600个像素点组成。AI检测模块传递的信息就是目标物体(即吊钩)中心点在图像中的坐标，和物体边界像素点位信息(即吊钩自适应矩形框的左上顶点坐标和吊钩自适应矩形框的右下顶点坐标)，随后通过目标物体的中心点在图像中的坐标进行逻辑控制。每次控制后都会保留目标物体本次的点位信息(即第一吊钩中心点坐标、第一吊钩自适应矩形框的左上顶点坐标、第一吊钩自适应矩形框的右下顶点坐标)用于和下次信号(即第二吊钩中心点坐标、第二吊钩自适应矩形框的左上顶点坐标和第二吊钩自适应矩形框的右下顶点坐标)对比。主要控制包括以下类别：

所述S3中，对球机进行控制的控制逻辑如下：

S31:判断所述第一自适应矩形框的中心点坐标P

若是，则执行S32；

若否，则执行S34；

S32：判断第一自适应矩形框的左上顶点坐标A

若是，则对所述第一行车吊钩图像执行移动中缩小操作；

若否，则执行S33；

优选地，所述移动中缩小操作，为先以球机屏幕中心为基点，将第一自适应矩形框等比例缩小第一阈值倍数；然后将所述第一自适应矩形框的中心点坐标P

具体的，在实施例中，为将第一自适应矩形框以球机屏幕中心为基点，将第一自适应矩形框等比例缩小0.5倍；

S33：判断第一自适应矩形框的左上顶点坐标A

若是，则对所述第一行车吊钩图像执行移动中放大操作；

若否，则对所述第一行车吊钩图像执行移动操作；

优选地，所述移动中放大操作，为先以球机屏幕中心为基点，将第一自适应矩形框等比例放大第二阈值倍数；然后将所述第一自适应矩形框的中心点坐标P

具体的，在实施例中，为将第一自适应矩形框以球机屏幕中心为基点，将第一自适应矩形框等比例放大2倍；

S34：判断所述第一自适应矩形框的中心点坐标P

若是，则执行S35，否则执行S36；

S35：判断第一自适应矩形框的左上顶点坐标A

优选地，所述静止中放大操作，为以球机屏幕中心为基点，将第一自适应矩形框等比例放大第二阈值倍数；

具体的，假如两次AI信号中给出的第一吊钩中心点坐标与第二吊钩中心点坐标之间的距离小于预先设定的阈值，那么跟踪系统判断物体没有发生移动或者该次小规模偏移是因现场环境而造成的误差，此情况下判断吊钩处于静止状态，则不对球机进行控制，不对所述第一行车吊钩图像执行操作，不改变球机的位置。

S36：判断第一自适应矩形框的左上顶点坐标A

若是，则对所述第一行车吊钩图像执行静止中缩小操作；此时，吊钩在第一行车吊钩图像中面积过大，也就是说吊钩距离球机镜头较近，系统将会通过海康SDK执行缩小操作。在特殊情况下，吊钩对着镜头移动，那么会导致物体中心位置信息不变，但是物体的整体面积会越来越大，此情况下球机位置不发生变化，单纯调整球机焦距，进行缩小操作。

若否，则对所述第一行车吊钩图像执行移动操作。

优选地，所述静止中缩小操作，为以球机屏幕中心为基点，将第一自适应矩形框等比例缩小第一阈值倍数；

优选地，所述移动操作，为将所述第一自适应矩形框的中心点坐标P

式中：W为球机屏幕的宽，H为球机屏幕的高；x

具体的，根据P

在移动中放大操作和移动中缩小操作中，在AI信号到来时，同时对第一行车吊钩图像和第二行车吊钩图像的中心点位置和物体面积做出判断。如果中心点发生显著偏移，同时物体面积发生较大规模变化，那么先控制球机先追踪物体后进行放大或者缩小，在进行移动，改变图像在球机屏幕中的位置，使图像始终大小位置适中。

所述S3中，对球机进行控制时的逻辑还包括：

当AI检测模块在第一时间阈值内，没有获取到所述第一行车吊钩图像中，没有检测到第一自适应矩形框的中心点坐标P

具体的，AI检测模块只有检测到吊钩时才会给球机控制模块发送点位信息。因此当球机在一次作业中长时间没有检测到物体，即没有检测到第一自适应矩形框的中心点坐标P

本实施例中的通信协议为http协议，球机控制模块和AI检测算法之间使用http协议进行通信。涉及到的主要传输内容为控制信息的传输，即将所述第一行车吊钩图像中的第一自适应矩形框的中心点坐标P_1、第一自适应矩形框的左上顶点坐标A_11和第一自适应矩形框的右下顶点坐标A_12，以及第二行车吊钩图像中的第二自适应矩形框的中心点坐标P_2、第二自适应矩形框的左上顶点坐标A_21和第二自适应矩形框的右下顶点坐标A_22，传输至所述球机控制模块；其中，控制模块以25fps的速度采集球机画面，发送频率要结合AI检测模块的速率进行综合考虑。

本发明的工作原理如下：

本实施例中的AI对图像中的吊钩进行检测后，会得到目标物的bounding box及置信度。该阶段检出的目标物有很低的概率数量在一个以上，为了让球机始终跟踪一个指定的行车吊钩目标，AI检测模块在神经网络输出的结构中选择置信度最高的目标进行后续的提取。确定追踪的吊钩后，我们计算出bounding box的中心点，也就是吊钩的自适应框在图像中的中心点，有了中心点像素在图像中的位置，就可以在后续调用海康SDK，控制球机的指向。另外，除了中心点信息以外，吊钩bounding box(自适应框)的边界信息也对球机的控制具有重要影响，bounding box的大小，一定程度上反应了目标离摄像头的远近，当bounding box过小时，系统会基于bound box的尺寸，对行车吊钩所在的区域进行动态放大，辅助行车驾驶人员实时作业，清楚低观测到吊钩。bounding box的边界信息通过第一自适应矩形框的左上顶点坐标A

图4展示了本发明的实施例中的对吊钩的自适应框进行缩小操作的示意图，本发明的缩小操作是以球机屏幕中心O为基点进行，因此在对自适应框进行操作时，不会使得吊钩的自适应框丢失。

图5展示了本发明的实施例中的对吊钩的自适应框进行移动的示意图，其中在第二行车吊钩图像中的P处，移动至第一行车吊钩图像自适应框所在位置Q处，即向球机屏幕中心点位置O进行移动。

本发明通过结合AI检测技术和球机控制，使用球机代替人眼对起重机吊钩进行智能追踪，对天车吊钩的实时状态进行跟踪，将挂钩的状态实时的传输到控制平台，起到视觉辅助的作用。成功实现了对工业现场的目标进行智能追踪，扩展了球机的运用场景，实现了工业环境中行车吊钩的动态跟踪。并且能够减轻了工人的工作压力，也尽可能的规避了生产过程中可能出现的潜在的作业风险，有助于提升生产效率。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。