基于目标实时追踪信息的智能违法行为检测系统及方法

技术领域

本发明涉及智能交通技术领域，具体涉及一种基于目标实时追踪信息的智能违法行为检测系统及方法。

背景技术

随着社会经济的持续发展与人民生活水平的不断提高，随之车辆越来越多，交通管理局对于车辆违章的自动审核需要越来越迫切。单现有的违法检测手段主要是通过人工去分析违法行为，比较耗费人力物力。

发明内容

针对上述技术缺陷，本发明实施例的目的在于提供一种基于目标实时追踪信息的智能违法行为检测系统及方法。

为实现上述目的，第一方面，本发明实施例提供了一种基于目标实时追踪信息的智能违法行为检测系统，包括接口模块、视频解帧分析追踪集群、消息节点集群、数据抽取模块和违法行为判断模块；所述接口模块用于提供各种接口，以实现系统内各模块之间的数据传输；

所述视频解帧分析追踪集群用于：

获取实时视频流，采用opencv技术对所述实时视频流进行解析，得到待处理图片；

采用Cascade R-CNN对所述待处理图片进行识别分析，得到待追踪目标；

采用deepsort对所述待追踪目标进行轨迹追踪，得到所述待追踪目标出现的坐标集合、整个轨迹及其对应的帧数；

所述消息节点集群用于发布所述坐标集合及帧数；

数据抽取模块，用于获取所述消息节点集群的发布数据，对所述发布数据进行处理，得到违法数据；

违法行为判断模块，用于对所述违法数据进行违法判断，得到违法结果。

作为本申请一种具体的实施方式，所述数据抽取模块用于对所述发布数据进行格式化和筛选；其中，筛选包括：

判断所述待追踪目标的初始位置是否在车道内；

判断所述待追踪目标的属性是否符合分析类型；

选取预设数量的图片进行违法行为分析，得到违法数据；

对所述违法数据进行四拼图合成；

选取违法前、违法中和违法后的图片进行合成；

选取违法前后第一预设时间内的图片，采用ffmepg将其合成为违法视频。

进一步地，在本申请某些优选实施方式中，所述系统还包括：

图片存储介质，用于存储所述视频解析模块得到的待处理图片。

数据库，用于存储所述数据抽取模块得到的违法数据和违法类型、卡口点位信息、场景配置信息、系统用户信息和日志数据。

进一步地，在本申请某些优选实施方式中，所述系统还包括页面管理模块，具体包括：

卡口管理单元，用于对卡口点位进行新增、删除及修改；

标注管理单元，用于对卡口分析违法类型进行标注，所标注的违法类型包括机动车和非机动车闯红绿灯、实线变道、大弯小转、客货分道和占用公交车道；

违法数据管理单元，用于展示违法数据的四拼图、违法地点和违法事件，以及播放违法视频；

卡口任务管理单元，用于展示卡口违法类型任务及开启关闭违法任务类型；

用户管理单元，用于对用户进行添加、修改及删除。

进一步地，在本申请某些优选实施方式中，所述接口模块还用于提供视频流任务分发管理接口，所述系统还包括任务维护模块，用于：

定期获取视频解帧分析追踪集群中每台服务器的任务；

通过负载均衡方式分配所述任务；

通过所述视频流任务分发管理接口对每台服务器上的任务进行开启、关闭和暂停。

第二方面，本发明实施例提供了另一种基于目标实时追踪信息的智能违法行为检测系统，包括：

接口模块，用于提供实时视频流获取接口；

视频解析模块，用于通过所述实时视频流获取接口获取实时视频流，采用opencv技术对所述实时视频流进行解析，得到待处理图片；

检测模块，用于采用Cascade R-CNN对所述待处理图片进行识别分析，得到待追踪目标；

追踪模块，用于采用deepsort对所述待追踪目标进行轨迹追踪，得到所述待追踪目标出现的坐标集合、整个轨迹及其对应的帧数，并通过消息节点集群发布所述坐标集合及帧数；

数据抽取模块，用于获取所述消息节点集群的发布数据，对所述发布数据进行处理，得到违法数据；

第三方面，本发明实施例提供了一种基于目标实时追踪信息的智能违法行为检测方法，包括：

获取接口获取实时视频流，采用opencv技术对所述实时视频流进行解析，得到待处理图片；

采用Cascade R-CNN对所述待处理图片进行识别分析，得到待追踪目标；

采用deepsort对所述待追踪目标进行轨迹追踪，得到所述待追踪目标出现的坐标集合、整个轨迹及其对应的帧数，并通过消息节点集群发布所述坐标集合及帧数；

获取所述消息节点集群的发布数据，对所述发布数据进行处理，得到违法数据；

对所述违法数据进行违法判断，得到违法结果。

实施本发明实施例，基于实时视频流解析，采用Cascade R-CNN方法对目标进行识别，采用deepsort对目标进行追踪，最终实现违法行为分析，速度快，准确率高，能极大的减少时间成本和人力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明第一实施例提供的基于目标实时追踪信息的智能违法行为检测系统的结构图；

图2是本发明第二实施例提供的基于目标实时追踪信息的智能违法行为检测系统的结构图；

图3是本发明实施例提供的基于目标实时追踪信息的智能违法行为检测的流程图；

图4是本发明实施例提供的电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，本发明第一实施例提供的基于目标实时追踪信息的智能违法行为检测系统，包括接口模块10、视频解帧分析追踪集群11、消息节点集群12、图片存储介质13、数据抽取模块14、违法行为判断模块15、数据库16及任务维护模块17。

接口模块10用于提供各种接口，以实现系统内各模块之间的数据传输。所述接口模块，包括实时视频流获取图片接口，视频流任务分发管理接口。其中，实时视频流获取图片接口用opencv解帧实时视频流获取图片及用户场景标注。视频流任务分发管理接口，用于分配视频流任务到合适的服务器进行任务的开启、关闭和暂停。

视频解帧分析追踪集群11主要用于视频解析、检测及追踪，具体为：

获取实时视频流，采用opencv技术对所述实时视频流进行解析，得到待处理图片；

采用Cascade R-CNN对所述待处理图片进行识别分析，得到待追踪目标，并获取目标的位置和属性等；

采用deepsort对所述待追踪目标进行轨迹追踪，得到待追踪目标在出现视频和离开视频过程中的坐标集合、整个轨迹及其对应的帧数；

将目标出现的坐标集合、属性帧数发布到消息节点集群12(kafka集群)，图片则存储至图片存储介质13(weed集群)中。

数据抽取模块14用于获取所述消息节点集群12的发布数据，对所述发布数据进行处理，得到违法数据。

违法行为判断模块15用于对所述违法数据进行违法判断，得到违法结果。

数据库16用于存储数据抽取模块得到的违法数据和违法类型、卡口点位信息、场景配置信息、系统用户信息和日志数据等。

任务维护模块17主要用于：

定期获取视频解帧分析追踪集群中每台服务器的任务；

通过负载均衡方式分配到每台服务器；

定期剔除已经挂掉的服务对上面的任务进行负载均衡分发；

接收任务接口的请求对请求进行分发；

通过视频流任务分发管理接口对每台服务器上的任务进行开启、关闭和暂停。

具体地，数据抽取模块14主要用于：获取消息节点集群12发布的数据，对数据进行格式化，对数据进行筛选主要包括：卡口分析违法任务分析类型的匹配，目标初始是否在车道内，目标属性是否符合分析类型，选取合适数量的图片进行违法行为的分析，对分析出来的违法数据进行四拼图的合成，选择违法前，违法中，违法后的图片进行合成，并选取违法前后5s内的图片用ffmepg合成违法视频，将违法数据入库并对违法类型数据进行统计存储到redis里面。

优选地，该系统还包括页面管理模块，用于对卡口点位进行管理，查看展示违法数据，对违法分析任务进行管理等，具体介绍如下：

页面管理模块主要包括卡口管理单元、标注管理单元、卡口任务管理单元、违法数据管理单元和用户管理单元。

卡口管理单元用于卡口的新增、删除及修改。主要添加修改卡口的名称、编号、经纬度及视频流地址这些字段。

标注管理单元主要用于卡口分析违法类型的标注，标注的违法类型主要包括机动车和非机动车闯红绿灯、实线变道、大弯小转、客货分道及占用公交车道等。页面针对所选的违法类型，标注的东西不同，主要包括车道线的绘制，红绿灯位置标注、网状线位置绘制及实线绘制。

卡口任务管理单元主要用于展示卡口违法类型任务的展示和开启关闭违法任务类型。

违法数据管理单元主要用于展示违法数据的四拼图、违法地点及违法时间，可以播放违法视频。

用户管理单元主要用于用户的添加修改删除管理。

实施本发明实施例，基于实时视频流解析，采用Cascade R-CNN方法对目标进行识别，采用deepsort对目标进行追踪，最终实现违法行为分析，速度快，准确率高，能极大的减少时间成本和人力。

请参考图2，本发明实施例提供了另一种基于目标实时追踪信息的智能违法行为检测系统，主要包括：

接口模块20，用于提供实时视频流获取接口；

视频解析模块21，用于通过所述实时视频流获取接口获取实时视频流，采用opencv技术对所述实时视频流进行解析，得到待处理图片；

检测模块22，用于采用Cascade R-CNN对所述待处理图片进行识别分析，得到待追踪目标；

追踪模块23，用于采用deepsort对所述待追踪目标进行轨迹追踪，得到所述待追踪目标出现的坐标集合、整个轨迹及其对应的帧数，并通过消息节点集群发布所述坐标集合及帧数；

数据抽取模块24，用于获取所述消息节点集群的发布数据，对所述发布数据进行处理，得到违法数据；

违法行为判断模块25，用于对所述违法数据进行违法判断，得到违法结果。

进一步地，所述数据抽取模块24用于对所述发布数据进行格式化和筛选；其中，筛选包括：

判断所述待追踪目标的初始位置是否在车道内；

判断所述待追踪目标的属性是否符合分析类型；

选取预设数量的图片进行违法行为分析，得到违法数据；

对所述违法数据进行四拼图合成；

选取违法前、违法中和违法后的图片进行合成；

选取违法前后第一预设时间内的图片，采用ffmepg将其合成为违法视频。

进一步地，该系统还包括：

图片存储介质，用于存储所述视频解析模块得到的待处理图片。

数据库，用于存储所述数据抽取模块得到的违法数据和违法类型、卡口点位信息、场景配置信息、系统用户信息和日志数据。

进一步地，该系统还包括：

页面管理模块，具体包括：

卡口管理单元，用于对卡口点位进行新增、删除及修改；

标注管理单元，用于对卡口分析违法类型进行标注，所标注的违法类型包括机动车和非机动车闯红绿灯、实线变道、大弯小转、客货分道和占用公交车道；

违法数据管理单元，用于展示违法数据的四拼图、违法地点和违法事件，以及播放违法视频；

卡口任务管理单元，用于展示卡口违法类型任务及开启关闭违法任务类型；

用户管理单元，用于对用户进行添加、修改及删除。

需要说明的是，关于本系统实施例各功能模块更为具体的工作流程，请参考前述第一实施例，在此不再赘述。

对应于第二系统实施例，本发明还提供了一种基于目标实时追踪信息的智能违法行为检测方法。如图3所示，该方法包括：

S101，获取接口获取实时视频流，采用opencv技术对所述实时视频流进行解析，得到待处理图片；

S102，采用Cascade R-CNN对所述待处理图片进行识别分析，得到待追踪目标；

S103，采用deepsort对所述待追踪目标进行轨迹追踪，得到所述待追踪目标出现的坐标集合、整个轨迹及其对应的帧数，并通过消息节点集群发布所述坐标集合及帧数；

S104，获取所述消息节点集群的发布数据，对所述发布数据进行处理，得到违法数据；

S105，对所述违法数据进行违法判断，得到违法结果。

进一步地，该方法还包括：通过web页面展示违法数据。

需要说明的是，关于方法步骤更为具体的描述，请参考前述系统实施例，在此不再赘述。

实施本发明实施例的检测方法，基于实时视频流解析，采用Cascade R-CNN方法对目标进行识别，采用deepsort对目标进行追踪，最终实现违法行为分析，速度快，准确率高，能极大的减少时间成本和人力。

对应于上述方法实施例，本发明还提供了一种电子设备。如图4所示，该电子设备可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述方法实施例部分的方法。

应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，深度学习显卡(如：华为NPU,英伟达GPU,谷歌TPU)该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。

该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。

具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的基于目标实时追踪信息的智能违法行为检测方法的实施例中所描述的实现方式，在此不再赘述。

进一步地，本发明实施例还提供了一种可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述基于目标实时追踪信息的智能违法行为检测方法。

所述计算机可读存储介质可以是前述任一实施例所述的系统的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。