一种生产线上物料运输车辆智能碰撞识别系统

技术领域

本发明涉及智能交通领域，具体涉及一种生产线上物料运输车辆智能碰撞识别系统。

背景技术

在制造领域中，各个生产线以及各个生产流程之间，往往涉及大量的资源运输与传递，物料能否快速准确地进行传递与运输，不仅直接影响着生产线上的加工制造效率，同样也是各个制造企业之间，提高生产效率，增加竞争优势的着力点。

由物料运输车辆代替人工搬运来进行物料的传递和运输，极大地减小了工人的工作压力和强度，但由于受到生产线之间的物料传递大、运输车次多、生产环境复杂等因素的影响，物料运输车辆在运输物料过程中，常常容易发生碰撞，这不仅造成了车辆的损坏和物料的损失，间接地，也会因为物料运输车辆的阻塞和停滞，进而影响了整个生产线的工作效率。

发明内容

为了解决上述背景技术中提到的至少一个问题，本发明提出了一种生产线上物料运输车辆智能碰撞识别系统。

一种生产线上物料运输车辆智能碰撞识别系统，包括图像采集装置、边缘推理服务器和远程数据中心，所述图像采集装置用于采集生产线上物流运输车流视频；所述边缘推理服务器用于处理生产线上物流运输车流视频，并判断是否发生车辆碰撞；所述远程数据中心包括显示装置和存储装置，用于显示车辆碰撞事故信息，并存储车辆碰撞事故视频，对于一组生产线上物料运输车辆智能碰撞识别系统，图像采集装置、边缘推理服务器和远程数据中心的数量关系是：

1台远程数据中心＝m*边缘推理服务器

1台边缘推理服务器＝n*图像采集装置

其中，m的取值范围是[30,40]，n的取值范围是[15,30]，

该系统工作过程包括：

步骤1，所述图像采集装置采集生产线上物流运输车流视频，并将采集到的视频推送给边缘推理服务器，具体包括步骤：

步骤101，由所述图像采集装置采集生产线上物流运输车流视频，并保存视频的时序信息，具体设置参数为640*640，帧率为50FPS，格式为RGB；

步骤102，根据视频的时序信息对视频流进行实时的编码；

步骤103，通过RTMP流媒体服务协议，将编码后的码流推送给所述边缘推理服务器。

步骤2，所述边缘推理服务器接收所述图像采集装置推送过来的视频，对视频进行实时处理和判断，并根据判断结果决定是否推送车辆碰撞事故和视频，具体包括步骤：

步骤201，所述边缘推理服务器接收所述图像采集装置推送过来的码流，并根据码流中的时序信息，将码流解码成视频，解码后视频在所述边缘推理服务器中具体分为两路；

第一路视频缓存在内存中，并等待是否执行推送的指令，如果没有接收到执行推送的指令，则缓存周期为15秒，如果接收到执行推送的指令，则以当前时间点为基准，重新计数；

第二路视频流加载到神经网络处理器(NPU)中，等待进一步推理计算，

步骤202，对视频进行跳帧处理，每连续5～10帧图像取1帧图像，并对执行跳帧处理后的图像划分ROI区域，以每一帧图像左下角为坐标原点(0,0)，具体地，ROI的x轴区域为(0，640)，y轴区域为(0，480)；

步骤203，基于改进后的检测算法和追踪算法，对图像进行推理计算；

其中，基于改进后的检测算法是指改进yolov5，来对车辆和人员进行检测，具体改进包括：

改进一，把注意力机制CBAM模块融合在特征提取网络Backbone之后，具体计算公式为：

其中，M

改进二，使用GIoU Loss作为损失函数，具体计算公式为：

L

其中，IoU表示预测边界框和真实边界框的交并比，A

其中，b表示预测边界框的中心店，b

检测算法输出目标为：

[“类别：机动车”，“置信度”，“车辆检测框的坐标”]

[“类别：人员”，“置信度”，“人员检测框的坐标”]

改进追踪算法是指基于改进后deepsort追踪算法对车辆进行重识别和轨迹追踪，具体改进方式是使用新的损失函数代替原损失函数，新的损失函数结合了中心损失函数与交叉熵损失函数，其计算公式为：

其中，L

追踪算法输出目标为：

[“车辆重识别ID号”，“车辆轨迹的坐标点”]

步骤204，根据推理计算的结果，判断是否发生车辆碰撞事故，判断条件包括：

条件一，两辆车的轨迹是否相交，具体计算公式为：

a

a

其中，x和y分别表示车辆轨迹x轴、y轴的坐标点，

条件二，两辆车是否已经停下，具体计算公式为：

其中，t

条件三，两辆车的检测框是否存在重叠，具体计算公式为：

其中，iou表示两辆车检测框交集和并集的比值，A和B分别表示两辆车的检测框，∩表示交集，∪表示并集，如果iou大于0，则判定两辆车的检测框存在重叠，

条件四，ROI区域是否检测到人员目标；

最终判断是否发生车辆碰撞事故的判断逻辑为：

条件一&&条件二&&条件三&&条件四

其中，&&表示逻辑与运算，当所有条件成立，即判断逻辑为真时，则判定当前发生车辆碰撞事故，

进一步地，如果判断发生了车辆碰撞事故，则执行流程L1，否则清空当前内存中的视频，

其中，流程L1是指下发追尾事件，具体包括流程：

首先，将当前车辆碰撞的各项参数编译成消息Info，并把消息Info发送给远程数据中心，具体地，消息Info为JSON格式，其结构为：

Info＝{"event":"车辆碰撞","Time":"车辆碰撞发生时间"，"number":"摄像头编号"，“address”：“追尾事件发生的具体位置”}

其次，向内存发送指令，以当前时间节点T1为基准，对当前缓存的视频进行编码，编码时间节点为T1-15秒至T1+15秒，

最后，等待视频编码完成，并通过RTMP流媒体服务协议，将编码后的码流推送给远程数据中心。

步骤3，所述远程数据中心监听所述边缘推理服务器，当接收到所述边缘推理服务器发发送过来的车辆碰撞事故和视频后，对车辆碰撞事故进行解析和显示，并将相应的车辆碰撞事故视频进行存储，具体包括步骤：

步骤301，由所述远程数据中心对所述推理服务器进行监听，如果接收到所述边缘推理服务器发送过来的消息Info，则对消息Info进行解析，并将解析出来的车辆碰撞时间，车辆碰撞位置，打印在显示装置界面上。

步骤302，等待所述推理服务器推送过来的数据流，如果接收到所述推理服务器推送过来的数据流，对数据流进行解码成视频流，按照Time+address的命名方式，存储至本地。

本发明提出了一种生产线上物料运输车辆智能碰撞识别系统，与现有的技术相比，具有以下

有益效果：

本发明提出了基于视觉算法来识别生产线上物流运输车辆的碰撞事故，并对物流运输车辆碰撞事故的数据进行自动留存，能够准确、及时的定位物流运输车辆碰撞位置，以及，为后续分析物流运输车辆碰撞事故发生的原因和进行物流运输车辆重新调度及规划提供依据。

本发明根据实际任务场景，设计了视频数据缓存与计算的并行逻辑，在避免了关键数据丢失的基础上，减小了数据存储和交换，提高了运行效率。

本发明通过改进检测算法和追踪算法，在提高算法精度的同时，减小了网络参数和计算量，提高了算法计算速度。

附图说明

图1是本发明的一种生产线上物料运输车辆智能碰撞识别系统结构图；

图2是本发明的车辆碰撞事故判断逻辑图。

具体实施方式

为了使本发明的目的、特征能够更加的明显和易懂，下面通过实施例并结合附图对本技术方案进行详细说明。

一种生产线上物料运输车辆智能碰撞识别系统，包括图像采集装置、边缘推理服务器和远程数据中心，所述图像采集装置用于采集生产线上物流运输车流视频；所述边缘推理服务器用于处理生产线上物流运输车流视频，并判断是否发生车辆碰撞；所述远程数据中心包括显示装置和存储装置，用于显示车辆碰撞事故信息，并存储车辆碰撞事故视频，如图1所示，对于一组生产线上物料运输车辆智能碰撞识别系统，图像采集装置、边缘推理服务器和远程数据中心的数量关系是：

1台远程数据中心＝m*边缘推理服务器

1台边缘推理服务器＝n*图像采集装置

其中，m的取值范围是[30,40]，n的取值范围是[15,30]。

该系统工作过程包括：

步骤1，所述图像采集装置采集生产线上物流运输车流视频，并将采集到的视频推送给边缘推理服务器。

具体包括以下步骤：

步骤101，由所述图像采集装置采集生产线上物流运输车流视频，并保存视频的时序信息，具体设置参数为640*640，帧率为50FPS，格式为RGB。

步骤102，根据视频的时序信息对视频流进行实时的编码。

步骤103，通过RTMP流媒体服务协议，将编码后的码流推送给所述边缘推理服务器。

步骤2，所述边缘推理服务器接收所述图像采集装置推送过来的视频，对视频进行实时处理和判断，并根据判断结果决定是否推送车辆碰撞事故和视频。

具体包括以下步骤：

步骤201，所述边缘推理服务器接收所述图像采集装置推送过来的码流，并根据码流中的时序信息，将码流解码成视频，解码后视频在所述边缘推理服务器中具体分为两路：

第一路视频缓存在内存中，并等待是否执行推送的指令，如果没有接收到执行推送的指令，则缓存周期为15秒，如果接收到执行推送的指令，则以当前时间点为基准，重新计数。

第二路视频流加载到神经网络处理器(NPU)中，等待进一步推理计算。

步骤202，对视频进行跳帧处理，每连续5～10帧图像取1帧图像，并对执行跳帧处理后的图像划分ROI区域，以每一帧图像左下角为坐标原点(0，0)，具体地，ROI的x轴区域为(0，640)，y轴区域为(0，480)。

步骤203，基于以下方式来改进改进yolov5，来对车辆和人员进行检测。

改进一，把注意力机制CBAM模块融合在特征提取网络Backbone之后，具体计算公式为：

其中，M

改进二，使用GIoU Loss作为损失函数，具体计算公式为：

L

其中，IoU表示预测边界框和真实边界框的交并比，A

改进三，采用DIoU作为非极大值抑制阶段的评判标准，具体计算公式为：

其中，b表示预测边界框的中心店，b

检测算法输出目标为：

[“类别：机动车”，“置信度”，“车辆检测框的坐标”]

[“类别：人员”，“置信度”，“人员检测框的坐标”]

改进追踪算法是指基于改进后deepsort追踪算法对车辆进行重识别和轨迹追踪，具体改进方式是使用新的损失函数代替原损失函数，新的损失函数结合了中心损失函数与交叉熵损失函数，其计算公式为：

其中，L

追踪算法输出目标为：

[“车辆重识别ID号”，“车辆轨迹的坐标点”]

步骤204，根据推理计算的结果，判断是否发生车辆碰撞事故。

如图2所示，车辆碰撞事故判断条件包括：

条件一，两辆车的轨迹是否相交，具体计算公式为：

a

a

其中，车辆轨迹线的方程通过以一元线性回归方程拟合车辆的坐标点轨迹得到，具体计算公式为：

其中，x和y分别表示车辆轨迹x轴、y轴的坐标点。

条件二，两辆车是否已经停下，具体计算公式为：

其中，t

条件三，两辆车的检测框是否存在重叠，具体计算公式为：

其中，iou表示两辆车检测框交集和并集的比值，A和B分别表示两辆车的检测框，∩表示交集，∪表示并集，如果iou大于0，则判定两辆车的检测框存在重叠。

条件四，ROI区域是否检测到人员目标；

最终判断是否发生车辆碰撞事故的判断逻辑为：

条件一&&条件二&&条件三&&条件四

其中，&&表示逻辑与运算，当所有条件成立，即判断逻辑为真时，则判定当前发生车辆碰撞事故。

进一步地，如果判断发生了车辆碰撞事故，则执行流程L1，否则清空当前内存中的视频。

流程L1是指下发追尾事件，过程如下：

首先，将当前车辆碰撞的各项参数编译成消息Info，并把消息Info发送给远程数据中心，具体地，消息Info为JSON格式，其结构为：

Info＝{"event":"车辆碰撞","Time":"车辆碰撞发生时间"，"number":"摄像头编号"，“address”：“追尾事件发生的具体位置”}

其次，向内存发送指令，以当前时间节点T1为基准，对当前缓存的视频进行编码，编码时间节点为T1-15秒至T1+15秒。

最后，等待视频编码完成，并通过RTMP流媒体服务协议，将编码后的码流推送给远程数据中心。

步骤3，所述远程数据中心监听所述边缘推理服务器，当接收到所述边缘推理服务器发发送过来的车辆碰撞事故和视频后，对车辆碰撞事故进行解析和显示，并将相应的车辆碰撞事故视频进行存储。

具体包括以下步骤：

步骤301，由所述远程数据中心对所述推理服务器进行监听，如果接收到所述边缘推理服务器发送过来的消息Info，则对消息Info进行解析，并将解析出来的车辆碰撞时间，车辆碰撞位置，打印在显示装置的界面上。

步骤302，等待所述推理服务器推送过来的数据流，如果接收到所述推理服务器推送过来的数据流，对数据流进行解码成视频流，按照Time+address的命名方式，存储至本地。

至此，按照本发明公开的方法，已实施完一次本发明的工作过程。

虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。