交通违规行为识别方法、装置、电子设备及存储介质

技术领域

本申请涉及目标识别技术领域，具体而言，涉及一种交通违规行为识别方法、装置、电子设备及存储介质。

背景技术

随着中国货运行业的逐步发展，货车司机常常会因为配送时效紧张而危险驾驶，甚至发生抢黄灯及闯红灯时间。这些违规行为有一定概率会造成严重的交通事故，进而造成更多的生命财产损失。因此，货运公司如何对司机违法违规驾驶行为进行监管成为亟待解决的问题。

目前，交通部门通常会在城市道路路口配置闯红灯检测摄像头。通过闯红灯检测摄像头抓拍到闯红灯车辆。当车辆出现闯红灯行为时，货运公司可以收到交通部门的违法闯红灯的罚款通知。

但是，交通部门下发相应处罚通常需要一周的时间，并且只有部分路口存在闯红灯检测摄像头，另外，检测摄像头目前只能识别闯红灯，而不识别抢黄灯行为。因此，目前通过交通部门的违法通知对货车进行监管的方案时效性和覆盖率低，且识别内容不全面。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种交通违规行为识别方法、装置、电子设备及存储介质，以解决现有技术中时效性和覆盖率低，且识别内容不全面的问题。

为实现上述目的，本申请采用的技术方案如下：

第一方面，本申请提供了一种交通违规行为识别方法，所述方法包括：

获取车辆在靠近道路路口时上传的路口图像序列；

对所述路口图像序列中各路口图像进行图像识别，得到各路口图像中的交通信号灯信息，所述交通信号灯信息包括：交通信号灯的位置、颜色、形状以及数量；

确定所述车辆的移动轨迹；

根据所述车辆的移动轨迹和各路口图像中的交通信号灯信息确定交通违规信息。

可选的，所述确定所述车辆的移动轨迹，包括：

根据各路口图像中的交通信号灯信息，确定交通信号灯的相对移动轨迹；

根据所述相对移动轨迹确定所述车辆的移动轨迹。

可选的，所述根据各路口图像中的交通信号灯信息，确定交通信号灯的相对移动轨迹，包括：

根据各路口图像中的交通信号灯的位置及数量，按照各路口图像在所述路口图像中的顺序，将各路口图像中的交通信号灯依次连接，得到所述交通信号灯的相对移动轨迹。

可选的，所述确定所述车辆的移动轨迹，包括：

获取所述车辆上传的航向角列表以及位置点列表，所述航向角列表中包括所述车辆依次所在的多个航向角，所述位置点列表中包括所述车辆依次经过的位置点；

根据所述航向角列表以及所述位置点列表，确定所述车辆的移动轨迹。

可选的，所述根据所述车辆的移动轨迹和各路口图像中的交通信号灯信息确定交通违规信息，包括：

根据车辆的移动轨迹确定车辆的行驶方向；

根据车辆的行驶方向、所述交通信号灯的颜色、形状及数量，生成所述车辆与所述交通信号灯的匹配对；

确定所述路口图像序列中交通信号灯的时长；

根据所述匹配对中交通信号灯的颜色以及所述路口图像序列中交通信号灯的时长确定交通违规信息。

可选的，所述根据所述匹配对中交通信号灯的颜色以及所述路口图像序列中交通信号灯的时长确定交通违规信息，包括：

若交通信号灯为红色，且所述路口图像序列中交通信号灯的时长超过

第一预设时长阈值，则确定交通违规信息包括闯红灯事件；

若交通信号灯为黄色，且所述路口图像序列中交通信号灯的时长超过第二预设时长阈值，则确定交通违规信息包括抢黄灯事件；

可选的，所述对所述路口图像序列中各路口图像进行图像识别，得到各路口图像中的交通信号灯信息，包括：

根据所述路口图像序列生成待检测任务，并将上述待检测任务存入存储列表中；

当接收到针对所述车辆的违规识别指令时，从所述存储列表中提取出所述车辆的待检测任务；

所述检测任务包括如下步骤：

基于目标检测算法获取各所述路口图像中的多个初始交通信号灯信息，所述初始交通信号灯信息中包括多个检测框；

对所述初始交通信号灯信息进行过滤，生成过滤后交通信号灯信息；

基于颜色模型，对所述过滤后交通信号灯信息进行判断，确定交通信号灯颜色信息；

基于深度学习算法，确定所述过滤后交通信号灯信息中交通信号灯形状信息，所述交通信号灯形状信息包括：圆形和箭头；

根据所述交通信号灯颜色信息、所述交通信号灯形状信息及所述过滤后交通信号灯信息确定所述路口图像中的交通信号灯信息。

第二方面，本申请提供了一种交通违规行为识别装置，所述装置包括：

获取模块，用于获取车辆在靠近道路路口时上传的路口图像序列；

识别模块，用于对所述路口图像序列中各路口图像进行图像识别，得到各路口图像中的交通信号灯信息，所述交通信号灯信息包括：交通信号灯的位置、颜色以及形状；

第一确定模块，用于确定所述车辆的移动轨迹；

第二确定模块，用于根据所述车辆的移动轨迹和各路口图像中的交通信号灯信息确定交通违规信息。

可选的，所述第一确定模块具体用于：

根据各路口图像中的交通信号灯信息，确定交通信号灯的相对移动轨迹；

根据所述相对移动轨迹确定所述车辆的移动轨迹。

可选的，所述第一确定模块具体用于：

根据各路口图像中的交通信号灯的位置及数量，按照各路口图像在所述路口图像中的顺序，将各路口图像中的交通信号灯依次连接，得到所述交通信号灯的相对移动轨迹。

可选的，所述第一确定模块具体用于：

获取所述车辆上传的航向角列表以及位置点列表，所述航向角列表中包括所述车辆依次所在的多个航向角，所述位置点列表中包括所述车辆依次经过的位置点；

根据所述航向角列表以及所述位置点列表，确定所述车辆的移动轨迹。

可选的，所述第二确定模块具体用于：

根据车辆的移动轨迹确定车辆的行驶方向；

根据车辆的行驶方向、所述交通信号灯的颜色、形状及数量，生成所述车辆与所述交通信号灯的匹配对；

确定所述路口图像序列中交通信号灯的时长；

根据所述匹配对中交通信号灯的颜色以及所述路口图像序列中交通信号灯的时长确定交通违规信息。

可选的，所述第二确定模块具体用于：

若交通信号灯为红色，且所述路口图像序列中交通信号灯的时长超过第一预设时长阈值，则确定交通违规信息包括闯红灯事件；

若交通信号灯为黄色，且所述路口图像序列中交通信号灯的时长超过第二预设时长阈值，则确定交通违规信息包括抢黄灯事件；

可选的，所述识别模块具体用于：

根据所述路口图像序列生成待检测任务，并将上述待检测任务存入存储列表中；

当接收到针对所述车辆的违规识别指令时，从所述存储列表中提取出所述车辆的待检测任务；

所述检测任务包括如下步骤：

基于目标检测算法获取各所述路口图像中的多个初始交通信号灯信息，所述初始交通信号灯信息中包括多个检测框；

对所述初始交通信号灯信息进行过滤，生成过滤后交通信号灯信息；

基于颜色模型，对所述过滤后交通信号灯信息进行判断，确定交通信号灯颜色信息；

基于深度学习算法，确定所述过滤后交通信号灯信息中交通信号灯形状信息，所述交通信号灯形状信息包括：圆形和箭头；

根据所述交通信号灯颜色信息、所述交通信号灯形状信息及所述过滤后交通信号灯信息确定所述路口图像中的交通信号灯信息。

第三方面，本申请提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如上述交通违规行为识别方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述交通违规行为识别方法的步骤。

本申请的有益效果是：先获取车辆在靠近道路路口时上传的路口图像序列，从而避免对车辆全程视频进行识别导致计算数据量过大，再对路口图像序列中各路口图像进行图像识别，得到各路口图像中的交通信号灯信息，然后确定车辆的移动轨迹。识别过程在云服务器进行，成本低且便于模型迭代。再根据车辆的移动轨迹和各路口图像中的交通信号灯信息确定交通违规信息。通过根据车辆的移动轨迹及识别出的交通信号灯信息，即可在需要对车辆进行交通违规识别的时候，及时对车辆的违规情况进行判断，增强时效性。且只要路口有交通信号灯，即可根据交通信号灯对车辆的违规情况进行判断，增大识别覆盖率，并且本实施例可以对抢黄灯行为进行识别，使货运公司实时掌握公司内货车的行车安全信息，针对违规行为对司机做出相应处罚，进而促进货车司机安全行车。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施例提供的一种交通违规行为识别方法的应用场景示意图；

图2是本申请实施例提供的一种交通违规行为识别方法的流程示意图；

图3是本申请实施例提供的一种确定车辆的移动轨迹的方法的流程示意图；

图4是本申请实施例提供的一种车辆的相对移动轨迹的示意图；

图5是本申请实施例提供的另一种确定车辆的移动轨迹的方法的流程示意图；

图6是本申请实施例提供的一种确定交通违规信息的方法的流程示意图；

图7是本申请实施例提供的一种确定交通违规信息的方法的具体流程示意图；

图8是本申请实施例提供的一种开启检测任务的方法的流程示意图；

图9是本申请实施例提供的一种确定交通信号灯信息的方法的流程示意图；

图10是本申请实施例提供的一种交通违规行为识别方法的完整流程示意图；

图11是本申请实施例提供的一种交通违规行为识别装置的结构示意图；

图12是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

目前，交通部门会在城市道路路口配置闯红灯检测摄像头。当车辆路过路口时，闯红灯检车摄像头通过抓拍3张照片来判定车辆是否闯红灯。其中，第一张图像为车辆越过路口停止线的影像，包括车牌号和交通信号灯颜色，第二张图像为车辆完全驶过停止线时的影像，第三张图像为车辆行驶到路中的影像。交通部门可以通过基于交通信号灯颜色对比上述三张影像图片中车辆的位置变化来判定当前车辆是否有闯红灯行为。当判定当前车辆有闯红灯行为时，货运公司可以收到交通部门的违法闯红灯的罚款通知。

但是交通部门下发相应处罚通常需要一周的时间，并且只有部分路口存在闯红灯检测摄像头，另外，检测摄像头目前只识别闯红灯，而不识别抢黄灯行为。因此，目前通过交通部门的违法通知对货车进行监管的方案时效性和覆盖率低，且识别内容不全面。

基于上述问题，本申请提出一种交通违规行为识别方法，该方法可以通过获取车辆在靠近道路路口是上传的视频识别当前路口的交通信号灯信息，包括交通信号灯颜色、形状、数量以及位置信息。然后再根据各路口图像中的交通信号灯信息确定车辆的移动轨迹，最后根据车辆的移动轨迹和各路口图像中的交通信号灯信息及时确定车辆是否有闯红灯或者抢黄灯行为。上述方案中，通过车辆上传的视频即可随时确定车辆是否有违规行为，时效性强，且通过包含交通信号灯图像的视频便可判断车辆是否有违规行为，并不需要交通部门设置的闯红灯检测摄像头，因此本方案覆盖性强。且本方案会对交通信号灯中红灯和黄灯同时进行判断，因此，本申请可以判断闯红灯行为和抢黄灯行为，识别内容全面。通过上述方案可以使货运公司实时掌握公司内货车的行车安全信息。

接下来，在介绍交通违规行为识别方法之前，先参照图1对交通违规行为识别方法的应用场景进行介绍。图1中，货车车机端可以定时向云服务器发送视频信号及全球定位系统(Global Positioning System，GPS)信号，云服务器可以对视频信号及GPS信号进行识别，生成交通违规信息，然后将交通违规信息发送给车辆及算法应用平台的服务器中。其中，算法应用平台可以对云服务器上传的车辆的交通违规信息进行存储及转发等，本申请不做限制。

以下，参照图2对交通违规行为识别方法进行详细介绍：

S201、获取车辆在靠近道路路口时上传的路口图像序列。

可选的，路口图像序列可以是车辆上传的视频包含的逐帧图像。值得注意的是，视频时长可以是预先设定的。

可选的，可以通过路口识别判断车辆是否靠近道路路口。具体的，车辆每隔预设时长向云服务器上传当前GPS信息，GPS信息包括车辆当前车辆的定位，云服务器根据车辆的定位和存储在存储器中的城市交通地图判断当前车辆是否在路口预设范围内，若是，则当前车辆靠近道路路口，若不是，则不需要对当前时间点的车辆进行下面步骤中的交通违规行为的识别，并继续采集下一时间点的车辆的GPS信号并进行判断。示例性的，预设时长可以是3秒，预设范围可以是100米。

S202、对路口图像序列中各路口图像进行图像识别，得到各路口图像中的交通信号灯信息，交通信号灯信息包括：交通信号灯的位置、颜色、形状以及数量。

可选的，在对路口图像序列中的各路口图像进行图像识别之前，可以先排除车辆停车或者唤醒情况。具体的，车辆每隔预设时长向云服务器上传当前GPS信息，GPS信息包括车辆当前车辆的定位，云服务器可以根据多个连续时间段的GPS信息判断当前车辆的行驶速度。若当前车辆的行驶速度小于或者等于预设速度，则当前车辆处于缓行状态，当当前车辆的行驶速度为0，则当前车辆处于停车状态。而当前车辆处于缓行状态或者停车状态时，则不需要对当前车辆进行交通违规识别。

可选的，可以基于图像识别模型对路口图像序列中的各路口图像进行识别，得到各图像中的交通信号灯信息，图像识别后的交通信号灯信息可以通过图像序列中的多个交通信号灯框及框中标注的交通信号灯颜色和形状表示。其中，交通信号灯框可以表示交通信号灯的位置。

可选的，交通信号灯的颜色为红色、黄色和绿色。交通信号灯的形状可以是圆形和箭头，箭头包括左箭头、右箭头和前向箭头。

S203、确定车辆的移动轨迹。

可选的，车辆的移动轨迹可以是基于车辆上的某一点生成的轨迹线。示例性的，将车辆中心点作为基准点生成轨迹线。

可选的，本申请提供两种确定车辆的移动轨迹的方法。第一种为根据各路口图像中的交通信号灯信息确定交通信号灯的相对移动轨迹，再根据交通信号灯的相对移动轨迹确定车辆的移动轨迹。第二种是车辆向云服务器上传GPS信息，GPS信息包括车辆的定位和航向角信息，云服务器根据GPS信息确定当前车辆的移动轨迹。值得说明的是，当接收到针对车辆的违规识别指令时，可以通过上述两种方法中的一种对车辆的移动轨迹进行识别，也可以通过上述两种方法同时进行识别，提高识别的准确性。

S204、根据车辆的移动轨迹和各路口图像中的交通信号灯信息确定交通违规信息。

可选的，根据车辆的移动轨迹可以表征当前车辆直行、左转、右转或者掉头的行驶状态。

可选的，根据车辆的行驶状态和交通信号灯信息中的交通信号灯数量和形状确定当前车辆匹配的交通信号灯。示例性的，若交通信号灯数量为2个，且其中一个交通信号灯为左箭头，车辆为左转向，则上述交通信号灯和车辆匹配。在确定当前车辆匹配的交通信号灯后，根据交通信号灯颜色判断当前车辆是否存在闯红灯和抢黄灯现象，若存在，则确定交通违规信息。

可选的，交通违规信息可以包括事件名称、事件时间、地点、车辆信息及图像序列。示例性的，交通违规信息可以是抢黄灯、2023年1月2日，X路口、ABC车及车辆上传的视频。

可选的，当云服务器确定车辆的交通违规信息后，可以将该交通违规信息发送到算法应用平台进行存储或者转发等操作，也可以将交通违规信息发送给货车车机端，从而及时提醒司机出现交通违规行为。

本实施例中，先获取车辆在靠近道路路口时上传的路口图像序列，从而避免对车辆全程视频进行识别导致计算数据量过大，再对路口图像序列中各路口图像进行图像识别，得到各路口图像中的交通信号灯信息，然后确定车辆的移动轨迹。识别过程在云服务器进行，成本低且便于模型迭代。再根据车辆的移动轨迹和各路口图像中的交通信号灯信息确定交通违规信息。通过根据车辆的移动轨迹及识别出的交通信号灯信息，即可在需要对车辆进行交通违规识别的时候，及时对车辆的违规情况进行判断，增强时效性。且只要路口有交通信号灯，即可根据交通信号灯对车辆的违规情况进行判断，增大识别覆盖率，并且本实施例可以对抢黄灯行为进行识别，使货运公司实时掌握公司内货车的行车安全信息，针对违规行为对司机做出相应处罚，进而促进货车司机安全行车。

作为一种可能的实施方式，参照图3对上述步骤S203中确定车辆的移动轨迹的具体流程进行介绍：

S301、根据各路口图像中的交通信号灯信息，确定交通信号灯的相对移动轨迹。

可选的，由于车辆上传了多张路口图像，每个路口图像中的交通信号灯信息可以包括多个交通信号灯框，因此可以根据多张路口图像中的多个交通信号灯框确定交通信号灯的相对移动轨迹。

示例性的，交通信号灯的相对移动轨迹可以如图4所示，可以基于交通信号灯框的一点，生成多个交通信号灯的相对移动轨迹。

S302、根据相对移动轨迹确定车辆的移动轨迹。

可选的，可以根据相对移动轨迹中轨迹线的变化方向确定车辆的移动方向，从而生成车辆移动轨迹。

示例性的，在路口图像中，横向为X轴，X轴左侧为负值，右边为正值，从左到右数值逐渐变大，纵向为Y轴，当交通信号灯的相对移动轨迹主要在Y轴方向发生变化，而X轴方向的变化并不大，则可以判定当前车辆为直行；若当交通信号灯的相对移动轨迹主要在X轴负值方向发生大幅变化时，则可以判定当前车辆为右转；若当交通信号灯的相对移动轨迹主要在X轴正值方向发生大幅变化时，则可以判定当前车辆为左转。

本实施例中，通过根据各路口图像中的交通信号灯信息，确定交通信号灯的相对移动轨迹，再根据相对移动轨迹确定车辆的移动轨迹，从而不需要闯红灯检测摄像头拍摄为每个车辆拍摄三个车辆来判断车辆的移动轨迹，也就扩大了违规识别覆盖范围，增强时效性。

以下对上述步骤S301中根据各路口图像中的交通信号灯信息，确定交通信号灯的相对移动轨迹，进行进一步介绍：

可选的，根据各路口图像中的交通信号灯的位置及数量，按照各路口图像在路口图像中的顺序，将各路口图像中的交通信号灯依次连接，得到交通信号灯的相对移动轨迹。

可选的，可以先根据路口图像中的交通信号灯数量对交通信号灯进行编号，然后按照各路口图像在路口图像中的顺序将交通信号灯基于一预设位置依次连接。生成交通信号灯的相对移动轨迹。

可选的，可以对一个图像序列中的多个交通信号灯基于跟踪算法进行逐帧对比，从而生成交通信号灯的相对移动轨迹。示例性的，跟踪算法可以是匈牙利算法或者centertrack模型。

值得注意的是，相对移动轨迹的数量取决于各路口图像中交通信号灯的数量。

本实施例中，通过根据各路口图像中的交通信号灯的位置及数量，按照各路口图像在路口图像中的顺序，将各路口图像中的交通信号灯依次连接，得到交通信号灯的相对移动轨迹，可以扩大违规识别覆盖范围。

作为另一种可能的实施方式，参照图5对上述步骤S203中确定车辆的移动轨迹的具体流程进行介绍：

S501、获取车辆上传的航向角列表以及位置点列表，航向角列表中包括车辆依次所在的多个航向角，位置点列表中包括车辆依次经过的位置点。

可选的，获取预设时长的车辆上传的航向角列表以及位置点列表，维系一个滑动时间窗口。其中预设时长可以和获取的路口图像序列组成的时长一致。

可选的，航向角可以是地面坐标系下，车辆质心速度与横轴的夹角。位置点可以是当前车辆的经纬度信息。

S502、根据航向角列表以及位置点列表，确定车辆的移动轨迹。

可选的，可以根据航向角列表中的第一个航向角和最后一个航向角的差值确定车辆的移动轨迹。具体的，若第一个航向角和最后一个航向角的差值在第一预设角度区间内，则确定车辆的移动轨迹为向右弯曲的线，若第一个航向角和最后一个航向角的差值在第二预设角度区间内，则确定车辆的移动轨迹为向左弯曲的线，若第一个航向角和最后一个航向角的差值小于第三预设角度区间，则确定车辆的移动轨迹为近似的直线。

示例性的，若第一个航向角和最后一个航向角的差值大于60度且小于100度，则确定车辆的移动轨迹为向右弯曲的线，若第一个航向角和最后一个航向角的差值小于-60度且大于-100度，则确定车辆的移动轨迹为向左弯曲的线，若第一个航向角和最后一个航向角的差值在-40度到40度之间，则确定车辆的移动轨迹为近似的直线。

本实施例中，通过获取车辆上传的航向角列表以及位置点列表，然后根据航向角列表以及位置点列表，确定车辆的移动轨迹，可以实时确定车辆的移动轨迹，增强时效性。

在介绍完如何获得车辆的移动轨迹之后，参照图6对上述步骤S204中根据车辆的移动轨迹和各路口图像中的交通信号灯信息确定交通违规信息，进行说明：

S601、根据车辆的移动轨迹确定车辆的行驶方向。

可选的，车辆的移动轨迹中线的弯曲方向，即为车辆的行驶方向。

S602、根据车辆的行驶方向、交通信号灯的颜色、形状及数量，生成车辆与交通信号灯的匹配对。

可选的，当车辆的行驶方向与交通信号灯的形状中的箭头方向一致，则当前车辆与该交通信号灯可以组成匹配对；当车辆的行驶方向与交通信号灯的形状中的箭头方向不一致时，根据车辆的行驶方向和交通信号灯的数量，生成车辆与交通信号灯的匹配对。具体的，当交通信号灯数量为1时，左转车辆和直行车辆均可以与该交通信号灯生成匹配对，右转车辆不受控制，因此，不对右转车辆进行交通违规行为识别。当交通信号灯数量为2时，左转车辆可以与从左数第一个交通信号灯生成匹配对，直行车辆可以与从左数第二个交通信号灯生成匹配对，右转车辆不受控制，因此，不对右转车辆进行交通违规行为识别。当交通信号灯数量为3时，左转车辆可以与从左数第一个交通信号灯生成匹配对，直行车辆可以与从左数第二个交通信号灯生成匹配对，右转车辆可以与从左数第三个交通信号灯生成匹配对。

S603、确定路口图像序列中交通信号灯的时长。

可选的，可以根据路口图像序列中与车辆形成匹配对的交通信号灯的单个颜色所出现的次数确定交通信号灯时长。示例性的，路口图像序列可以是车辆向云服务器上传的10秒视频中的每一帧的图像组成的序列，若10秒视频中每秒有25帧，则该车辆实际上传了250张路口图像，其中有200张路口图像中的匹配对里的交通信号灯为红色，则交通信号灯的为红灯的时长为8秒。

S604、根据匹配对中交通信号灯的颜色以及路口图像序列中交通信号灯的时长确定交通违规信息。

可选的，可以根据交通信号灯中各颜色出现的时长确定交通违规行为。示例性的，匹配对中，共有10秒的交通信号灯时长，其中8秒是红灯，2秒是黄灯，则确定交通违规信息中可以包括闯红灯事件。

本实施例中，根据车辆的移动轨迹确定车辆的行驶方向，根据车辆的行驶方向、交通信号灯的颜色、形状及数量，生成车辆与交通信号灯的匹配对，并确定路口图像序列中交通信号灯的时长，然后根据匹配对中交通信号灯的颜色以及路口图像序列中交通信号灯的时长确定交通违规信息，从而及时对车辆的违规情况进行判断，不受交通部门所设的闯红灯检测摄像头的局限，增强时效性，提高覆盖率。

接下来，参照图7对上述步骤S604中，根据匹配对中交通信号灯的颜色以及路口图像序列中交通信号灯的时长确定交通违规信息，进行介绍：

S701、若交通信号灯为红色，且路口图像序列中交通信号灯的时长超过第一预设时长阈值，则确定交通违规信息包括闯红灯事件。

可选的，若路口图像序列中交通信号灯的时长小于或者等于第一预设时长阈值，则不进行识别。值得注意的是，也可以根据匹配对中交通信号灯为红色的时长占总时长的比值是否超过第一预设比值，判断是否能够确定交通违规信息包括闯红灯事件。示例性的，总时长可以是10秒，第一预设时长阈值可以是8秒，第二预设比值可以是80％。

S702、若交通信号灯为黄色，且路口图像序列中交通信号灯的时长超过第二预设时长阈值，则确定交通违规信息包括抢黄灯事件。

可选的，若路口图像序列中交通信号灯的时长小于或者等于第二预设时长阈值，则不进行识别。值得注意的是，也可以根据匹配对中交通信号灯为黄色的时长占总时长的比值是否超过第二预设比值，判断是否能够确定交通违规信息包括抢黄灯事件。示例性的，总时长可以是10秒，第二预设时长阈值可以是5秒，第二预设比值可以是50％。

本实施例中，若交通信号灯为红色，且路口图像序列中交通信号灯的时长超过第一预设时长阈值，则确定交通违规信息包括闯红灯事件，若交通信号灯为黄色，且路口图像序列中交通信号灯的时长超过第二预设时长阈值，则确定交通违规信息包括抢黄灯事件，根据时长阈值判断交通违规信息，从而提高判断的准确度。

接下来，参照图8和图9对上述步骤S202中对路口图像序列中各路口图像进行图像识别，得到各路口图像中的交通信号灯信息，进行详细介绍：

S801、根据路口图像序列生成待检测任务，并将上述待检测任务存入存储列表中。

可选的，存储列表可以是一个kafka消息队列。

S802、当接收到针对车辆的违规识别指令时，从存储列表中提取出车辆的待检测任务。

可选的，当云服务器收到针对当前车辆的违规识别指令时，从kafka消息队列中提取车辆的待检测任务，并准备开始检测。值得说明的是，车辆的违规识别指令是按照用户需要向云服务器发送的，也可以是定时向云服务器发送的。

在提取出车辆的待检测任务之后，对待检测任务进行检测的步骤进行说明：

S901、基于目标检测算法获取各路口图像中的多个初始交通信号灯信息，初始交通信号灯信息中包括多个检测框。

可选的，目标检测算法可以是yolo系列模型算法或者FCOS框架模型算法。通过上述算法在各路口图像中通过检测框标注出多个初始交通信号灯信息。

S902、对初始交通信号灯信息进行过滤，生成过滤后交通信号灯信息。

可选的，因为初始交通信号灯信息可以会包括目标检测算法误识别出的图像框，因此，按照预先设定的规则对初始交通信号灯信息进行过滤，生成过滤后交通信号灯信息。示例性的，预先设定的规则可以是过滤与核心关注区域的距离大于预设距离阈值的图像框，同时过滤长宽比为1:1的图像框，从而过滤交通信号灯倒计时区域图像。

可选的，可以通过过滤后交通信号灯信息中检测框的个数确定交通信号灯的数量。

S903、基于颜色模型，对过滤后交通信号灯信息进行判断，确定交通信号灯颜色信息。

可选的，颜色模型可以是HSV(Hue,Saturation,Value)颜色模型对过滤后交通信号灯信息进行判断。其中，HSV颜色模型中的颜色参数分别为色调、饱和度和明度，则可以根据HSV色彩范围判断交通信号灯颜色信息。

S904、基于深度学习算法，确定过滤后交通信号灯信息中交通信号灯形状信息，交通信号灯形状信息包括：圆形和箭头。

可选的，深度学习算法可以是包括resnet、efficientnet等主干网络的训练后的模型，值得注意的是，可以在模型中增加一个检测头head，从而增加分类个数，进而分别识别出圆形、左箭头、右箭头和前向箭头。

S905、根据交通信号灯颜色信息、交通信号灯形状信息及过滤后交通信号灯信息确定路口图像中的交通信号灯信息。

可选的，将交通信号灯颜色信息、交通信号灯形状信息及过滤后交通信号灯信息作为当前路口图像中的交通信号灯信息。

本实施例中，基于目标检测算法获取各路口图像中的多个初始交通信号灯信息，初始交通信号灯信息中包括多个检测框，对初始交通信号灯信息进行过滤，生成过滤后交通信号灯信息，然后基于颜色模型，对过滤后交通信号灯信息进行判断，确定交通信号灯颜色信息，基于深度学习算法，确定过滤后交通信号灯信息中交通信号灯形状信息，最后根据交通信号灯颜色信息、交通信号灯形状信息及过滤后交通信号灯信息确定路口图像中的交通信号灯信息，从而通过各路口图像确定交通信号灯信息，进而能随时对车辆的交通违规行为进行识别，提高时效性。

作为一种可选的实施方式，可以参照图10对交通违规行为识别方法的完整流程进行介绍。交通违规行为识别方法应用于云服务器中，首先获取车机端上传的视频、航向角列表和位置点列表，然后根据位置点列表判断车辆是否在路口附近，若是，则继续根据位置点列表判断车辆是否存在停车或者缓行行为，若否，则将视频、航向角列表和位置点列表上传到任务信息队列中，当收到违规识别指令时，对视频中的各图像序列依次进行交通信号灯目标识别、异常检测框过滤、交通信号灯颜色识别、交通信号灯形状识别，并确定交通信号灯相对移动轨迹，根据交通信号灯相对移动轨迹或者航向角列表和位置点列表确定车辆的移动轨迹，再根据车辆的移动轨迹和图像序列中的交通信号灯信息确定交通违规信息，可以将交通违规信息生成违规事件上传至算法应用平台。

基于同一发明构思，本申请实施例中还提供了与交通违规行为识别方法对应的交通违规行为识别装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述交通违规行为识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图11所示，为本申请实施例提供的一种交通违规行为识别装置的示意图，所述装置包括：获取模块1101、识别模块1102、第一确定模块1103及第二确定模块1104；其中：

获取模块1101，用于获取车辆在靠近道路路口时上传的路口图像序列；

识别模块1102，用于对所述路口图像序列中各路口图像进行图像识别，得到各路口图像中的交通信号灯信息，所述交通信号灯信息包括：交通信号灯的位置、颜色以及形状；

第一确定模块1103，用于确定所述车辆的移动轨迹；

第二确定模块1104，用于根据所述车辆的移动轨迹和各路口图像中的交通信号灯信息确定交通违规信息。

可选的，所述第一确定模块1103具体用于：

根据各路口图像中的交通信号灯信息，确定交通信号灯的相对移动轨迹；

根据所述相对移动轨迹确定所述车辆的移动轨迹。

可选的，所述第一确定模块1103具体用于：

根据各路口图像中的交通信号灯的位置及数量，按照各路口图像在所述路口图像中的顺序，将各路口图像中的交通信号灯依次连接，得到所述交通信号灯的相对移动轨迹。

可选的，所述第一确定模块1103具体用于：

获取所述车辆上传的航向角列表以及位置点列表，所述航向角列表中包括所述车辆依次所在的多个航向角，所述位置点列表中包括所述车辆依次经过的位置点；

根据所述航向角列表以及所述位置点列表，确定所述车辆的移动轨迹。

可选的，所述第二确定模块1104具体用于：

根据车辆的移动轨迹确定车辆的行驶方向；

根据车辆的行驶方向、所述交通信号灯的颜色、形状及数量，生成所述车辆与所述交通信号灯的匹配对；

确定所述路口图像序列中交通信号灯的时长；

根据所述匹配对中交通信号灯的颜色以及所述路口图像序列中交通信号灯的时长确定交通违规信息。

可选的，所述第二确定模块1104具体用于：

若交通信号灯为红色，且所述路口图像序列中交通信号灯的时长超过第一预设时长阈值，则确定交通违规信息包括闯红灯事件；

若交通信号灯为黄色，且所述路口图像序列中交通信号灯的时长超过第二预设时长阈值，则确定交通违规信息包括抢黄灯事件；

可选的，所述识别模块1102具体用于：

根据所述路口图像序列生成待检测任务，并将上述待检测任务存入存储列表中；

当接收到针对所述车辆的违规识别指令时，从所述存储列表中提取出所述车辆的待检测任务；

所述检测任务包括如下步骤：

基于目标检测算法获取各所述路口图像中的多个初始交通信号灯信息，所述初始交通信号灯信息中包括多个检测框；

对所述初始交通信号灯信息进行过滤，生成过滤后交通信号灯信息；

基于颜色模型，对所述过滤后交通信号灯信息进行判断，确定交通信号灯颜色信息；

基于深度学习算法，确定所述过滤后交通信号灯信息中交通信号灯形状信息，所述交通信号灯形状信息包括：圆形和箭头；

根据所述交通信号灯颜色信息、所述交通信号灯形状信息及所述过滤后交通信号灯信息确定所述路口图像中的交通信号灯信息。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本申请实施例还提供了一种电子设备，如图12所示，为本申请实施例提供的电子设备结构示意图，包括：处理器1201、存储器1202和总线。所述存储器1202存储有所述处理器1201可执行的机器可读指令(比如，图11中的装置中获取模块1101、识别模块1102、第一确定模块1103及第二确定模块1104对应的执行指令等)，当计算机设备运行时，所述处理器1201与所述存储器1202之间通过总线通信，所述机器可读指令被所述处理器1201执行时执行上述交通违规行为识别方法的处理。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述交通违规行为识别方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。