一种基于多源数据融合的事件自适应采集设备及方法

技术领域

本发明属于智能交通数据采集和处理领域，具体涉及一种基于多源数据融合的事件自适应采集设备及方法。

背景技术

随着社会的进步和科学技术的发展，交通流量采集和交通违法事件取证等智能交通数据采集监控系统在各种城市交叉口、路段应用越来越广泛，它可以收集路口车流量信息，帮助生产路口放行方案，对危险驾驶行为进行抓拍取证，针对实时交通情况做出合理决策，实现安全、可靠和高效的道路交通车流控制。在应用中节约了人力，规范了驾驶行为，给各种场所更深度和广度的应用提供了便捷性。

传统的智能交通数据监控通常采用视频传感器、地磁传感器、毫米波雷达及激光雷达等检测设备，对交通违法事件进行监控时多依赖视频自动识别或手动控制。单一的传感器技术进行环境测定，都表现出了一定的局限性：

雷达传感器主要表现在：（1）无法可视化展示，（2）对物体的角度分辨率较差，（3）无法对目标类型进行识别；

视频传感器主要表现在：（1）受光照、环境如雾、雨、雪天气等影响较大，（2）无法准确获取目标的距离、速度信息；

另外，在数据分析处理器方面，传统的DSP由于运行速率的限制，无法直接处理产生的超高速数据流，FPGA处理器相同算力下功耗较大，成本较高，而GPU在多源数据处理中的应用给上述问题带来了经济、有效的解决方案。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种新的基于多源数据融合的事件自适应采集设备，该设备可以提高智能交通数据采集和处理系统对路口环境下交通流、交通事件的识别率，克服单一使用雷达传感器和单一使用视频传感器的缺点，使智能交通控制系统能够更可靠的规划路口放行方案，能针对实时交通情况做出合理决策，实现安全、可靠及高效的驾驶。

本发明所要解决的另一个技术问题是提供一咱基于多源数据融合的事件自适应采集方法。

为了达到上述目的，本发明首先提供了一种基于多源数据融合的事件自适应采集设备，所述装置包括GPU处理器，GPU处理器包括视频流处理单元、雷达信号处理单元、数据融合单元和控制输出单元，其中：

所述视频流处理单元从视频传感器接收视频信号，并通过算法处理信号，得到视频目标信息传输给所述数据融合单元；

所述雷达信号处理单元从毫米波雷达传感器接收雷达信号，并通过算法处理信号，得到雷达目标信息传输给所述数据融合单元；

所述数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证，之后输出叠加后的视频流媒体信息、交通流量信息和云台调整信息；

所述控制输出单元从所述的数据融合单元接收云台调整信息，驱动设备云台，实现设备水平角度、俯仰角度调整，与所述的角度传感器输入的信息对比确认调整到位后，对交通事件进行对焦取证。

进一步优选的技术方案是，所述设备还包括视频传感器、雷达传感器和角度传感器，所述视频传感器传输视频流媒体信息输入到所述视频流处理单元，所述雷达传感器传输毫米波雷达回波信号到所述雷达信号处理单元，所述角度传感器传输云台的水平角度信息和俯仰角信息到数据融合单元。

进一步优选的技术方案是，所述的GPU处理器还包括下列单元：Tegra X1处理器、通用可编程输入输出口GPIO、嵌入式内存LPDDR4、闪存eMMC、MIPI CSI-2摄像头接口、10/100/1000 BASE-T 以太网接口、HDMI 2.0 接口、PCIE接口、USB 3.0接口、USB 2.0接口、UART接口、SPI接口、I2S接口、I2C接口、布线等，上述单元的连接关系同常规GPU处理器中这些单元的连接关系。

进一步优选的技术方案是，所述视频流处理单元采用基于人工智能的深度学习算法进行高精度的推理运算，对视频传感器的视频流输入进行图像检测、识别和语义分割，得到的视频目标信息传输给所述的数据融合单元。

进一步优选的技术方案是，所述的视频流处理单元和雷达信号处理单元是GPU处理器的嵌入式可编程单元。

进一步优选的技术方案是，所述的数据融合单元是GPU处理器的嵌入式可编程单元。

进一步优选的技术方案是，所述的输出单元和控制单元是GPU处理器的嵌入式可编程单元。

进一步优选的技术方案是，所述的雷达传感器是毫米波雷达传感器。

本发明还提供一种基于多源数据融合的事件自适应采集方法，所述方法包括以下步骤：

（1）通过所述的视频流处理单元从所述的视频传感器接收视频数据，并通过YOLO V3算法对数据进行提取、分离、推断和判断，并将得到的视频目标信息传输给所述数据融合单元；

（2）通过所述的雷达信号处理单元从所述的雷达传感器接收毫米波雷达信号，并通过数据重采样、滤波、压缩、参数估计等算法进行信号处理，并将得到雷达目标信息传输给所述数据融合单元；

（3）利用所述的数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证，之后输出交通特征信息和云台控制信息。

（4）利用所述的云台控制信息驱动所述的控制输出单元，使得所述的视频传感器对准需要关注的交通事件，并对交通行为进行录像、摄像取证，之后存储。

基于多源数据融合的事件自适应采集方法进一步优选的技术方案是：对于步骤（1），还包括利用所述视频流处理单元通过YOLO V3算法对视频传感器输入的基础图像特征进行提取，所述YOLO V3算法提取流程包括：读取图像、比较算法处理图像和原始图像、视频传感器标定、输出目标坐标、画框、匹配、图像输出、目标辨识和目标像素坐标输出。

基于多源数据融合的事件自适应采集方法进一步优选的技术方案是：所述视频流信息包括目标编号、目标类型、目标像素坐标、排队长度和车辆特征等。所述雷达目标信息包括目标编号、目标类型、目标世界坐标、车速和车辆特征等。所述云台控制信息包括水平角度、俯仰角度等。

与现有技术相比，本发明具有以下有益效果：

本发明设备中的GPU处理器是专用集成电路中对视频流处理性能最强、设计周期最短及开发费用最低的器件之一，采用GPU处理器是小批量系统提高系统集成度、可靠性的最佳选择之一，而且由于它功能强大、应用灵活，在视频处理，自动控制邻域中得到更多青睐，用它作为主处理器，对于多源传感器信息的融合、校验和控制获得了非常明显的益处：

使用了单一的GPU处理器，统一在底层完成数据校验、融合和控制，简化了系统结构；

基于GPU处理器技术，实时完成视频信号和雷达信号的预处理，并获取视频信息和雷达信息，之后在同一处理器中实现两种信息的融合和校验，提高了系统的处理带宽，增加了系统的输出速率；

应用GPU处理器的数据融合单元，对雷达信息和视频信息很好的进行了信息融合和校验，使输出的控制信息更全面、准确。

本发明实现了更高效、准确、可靠的实现交通流量采集、交通违法事件取证功能，用GPU处理器接收、处理多源数据信息，并进行了校验、融合和交叉验证，然后驱动云台实现交通事件现场的自动对焦和自动取证，克服了单一雷达或视频传感技术的缺点，减少了人工工作量，能够更可靠的识别交通流量数据、排队长度、速度及违章类型等信息，提高交通控制系统运行的安全性和实时性。

附图说明：

图1为一种基于多源数据融合的事件自适应采集设备的系统构成框图；

图2 为一种基于多源数据融合的事件自适应采集设备的系统结构示意图；

图3为视频输入信息特征提取流程图；

图4为雷达输入信息特征提取流程图；

图5为视频输入信息和雷达输入信息数据融合输出流程图。

具体实施方式：

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

实施例1，一种基于多源数据融合的事件自适应采集设备：

参照图1和2，包括GPU处理器，GPU处理器包括视频流处理单元、雷达信号处理单元、数据融合单元和控制输出单元，其中：

所述视频流处理单元从视频传感器接收视频信号，并通过算法处理信号，得到视频目标信息传输给所述数据融合单元；所述雷达信号处理单元从毫米波雷达传感器接收雷达信号，并通过算法处理信号，得到雷达目标信息传输给所述数据融合单元；所述数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证，之后输出叠加后的视频流媒体信息、交通流量信息和云台调整信息；所述控制输出单元从所述的数据融合单元接收云台调整信息，驱动设备云台，实现设备水平角度、俯仰角度调整，并对交通事件进行对焦取证。

所述的GPU处理器还包括下列单元：Tegra X1处理器、通用可编程输入输出口GPIO、嵌入式内存RAM、闪存eMMC、MIPI CSI-2摄像头接口、10/100/1000 BASE-T 以太网接口、HDMI 2.0 接口、PCIE接口、USB 3.0接口、USB 2.0接口、UART接口、SPI接口、I2S接口、I2C接口、布线等，上述单元的连接关系同常规GPU处理器中这些单元的连接关系。

所述MIPI CSI-2摄像头接口、USB 3.0接口和USB 2.0接口可作为视频流信息输入口；通用可编程输入输出口GPIO、10/100/1000 BASE-T 以太网接口、UART接口、SPI接口、I2S接口和I2C接口可作为雷达信号输入口；通用可编程输入输出口GPIO、10/100/1000BASE-T 以太网接口、UART接口、SPI接口、I2S接口和I2C接口可作为角度信号输入口；10/100/1000 BASE-T 以太网接口、HDMI 2.0 接口、PCIE接口、USB 3.0接口和USB 2.0接口可作为视频流媒体输出口；通用可编程输入输出口GPIO、10/100/1000 BASE-T 以太网接口、UART接口、SPI接口、I2S接口和I2C接口可作为控制信息输出口。所述的接口是GPU处理器与外界电路的接口部分，完成不同电气特性下对输入/输出信号的驱动与匹配要求，GPU处理器内的接口按组分类，每组都能够独立地支持不同的接口标准。通过配置，可适配不同的电气标准与输入/输出物理特性。

所述视频流处理单元和雷达信号处理单元为GPU处理器的嵌入式可编程单元，是实现用户功能的基本单元，所述视频流处理单元还包括基于YOLO V3算法的特征提取单元。

所述的Tegra X1内核是GPU处理器的工作核心，GPU处理器的通过读入闪存eMMC中的程序在Tegra X1内核中运行实现需要的工作逻辑和输入输出。

布线连通GPU处理器内部的所有单元，而连线的长度和工艺决定着信号在连线上的驱动能力和传输速度。

所述视频传感器，也即摄像头，是一种视频采集设备，主要包括了镜头、CCD(Charged Coupled Device)图像传感器、预中放、AGC(Automatic Gain Control)、A/D(Analog/Digital)转换电路、同步信号发生器、CCD驱动器、DSP主控芯片、D/A(Digital/Analog)转换电路和电源的电路等。

本实施例中，利用视频流输入单元通过MIPI CSI-2摄像头接口、USB 3.0接口或USB 2.0接口接收来自视频传感器的视频信号输入，将视频信号载入YOLO V3算法，完成特征数据的提取，再与原始图像进行比较，实现目标坐标标记、画框、匹配，最终完成图像输出、目标辨识和目标像素坐标输出。

完成视频流信息处理的视频流信息包括目标编号、目标类型、目标像素坐标、排队长度和车辆特征等，然后把视频流数据信息传输到所述的数据融合单元。

所述雷达传感器的种类可选性比较多，有电磁波雷达、激光雷达、超宽带雷达等，各有优缺点和适合的应用场所，在智能交通数据采集和控制系统中用的比较多的是毫米波雷达，激光雷达也有应用。

毫米波雷达相比波长更长的米波雷达、厘米波雷达，波长更小，精度更高。而相对于波长更短的微米波雷达来说，在天线口径相同的情况下，毫米波雷达具有天线波束窄、分辨率高、频带宽、抗干扰能力强等优点。

本实施例选用了毫米波雷达传感器，毫米波雷达传感器通过自身的天线、发射单元、接收单元、模数转换器进行雷达回波信号的采集，通过GPU处理器的通用可编程输入输出口GPIO、10/100/1000 BASE-T 以太网接口、UART接口、SPI接口、I2S接口或I2C接口输入到所述雷达信号处理单元。

所述雷达信号处理单元接收来自雷达传感器的雷达回波信号，并进行信号处理，该信号处理包括数据采样、滤波、压缩、参数估计得到雷达数据信息，传输给所述数据融合单元，雷达目标信息包括目标编号、目标类型、目标世界坐标、车速和车辆特征等。

所述数据融合单元接收所述的视频目标信息和雷达目标信息，并对视频目标信息和雷达目标信息进行融合、校验和交叉验证提取车辆大小、颜色、坐标、车速等信息后将交通流量信息和视频流数据通过10/100/1000 BASE-T 以太网接口、HDMI 2.0 接口、PCIE接口、USB 3.0接口或USB 2.0接口编码输出，同时将云台调整信息通过通用可编程输入输出口GPIO、10/100/1000 BASE-T 以太网接口、UART接口、SPI接口、I2S接口或I2C接口输出。

所述输出单元从所述的数据融合单元接收交通流量信息和视频流数据信息，输出上述信息给交通管理控制设备以备使用。

所述控制单元从所述的数据融合单元接收云台调整信息，驱动设备云台，实现设备水平角度、俯仰角度调整，并对交通事件进行对焦取证。

实施例2，一种基于多源数据融合的事件自适应采集设备，

参照图1、附图2，设备包括GPU处理器4，雷达传感器1，视频传感器2和角度传感器3。

雷达传感器包括雷达模组11、信号预处理单元12。

GPU处理器4通过Tegra X1内核46进行算法处理，其中，将接收视频传感器信号的输入端口定义为视频输入口41，将接收雷达传感器信号的输入端口设置为雷达信号输入口42，将接收角度传感器信号的输入端口设置为角度信号输入口43，对Tegra X1内核算法流程进行配置，分成将视频输入处理成视频目标信息的视频处理单元44、将雷达信号输入处理成雷达目标信息的雷达信号处理单元45、实现相应功能的数据融合单元47、将控制信息提取为交通特征信息的输出单元48和将云台控制信息输出的控制单元4a，为实现数据输出和控制质量输出，配置相应的输出端口为输出口49和输出口4b。

设备还包括嵌入式内存LPDDR4 4c和闪存eMMC 4d。

实施例3，应用实施例2所述设备进行多源数据融合的方法：

所述视频输入口42接收所述视频传感器2输入的标准视频信号，输入到所述视频识别单元44，所述视频识别单元44将视频信号载入YOLO V3算法，完成特征数据的提取，再与原始图像进行比较，实现目标坐标标记、画框、匹配，最终完成图像输出、目标辨识和目标像素坐标输出，然后将视频目标信息传输给所述数据融合单元47，视频目标信息为目标编号、目标类型、目标像素坐标、排队长度和车辆特征等。视频输入图像特征提取流程图见图3。

所述雷达信号输入口41接收所述雷达传感器1传输的雷达目标信号，输入到所述雷达信号处理单元45，所述雷达信号处理单元45对雷达信号进行信号处理，该信号处理包括数据采样、滤波、压缩、参数估计得到雷达数据信息，然后将雷达目标信息传输给所述数据融合单元47，雷达目标信息包括目标编号、目标类型、目标世界坐标、车速和车辆特征等。雷达输入信息特征提取流程图见图4。

所述数据融合单元47接收所述的视频目标信息和雷达目标信息，并对信息进行比对、校验，完成融合和交叉验证，从而提高整体系统的精度、效率和数据可视化输出。之后通过输出口49输出交通特征信息，输出口4b输出云台控制信息。

采用本实施例的多源交通数据监控方法及设备，在实际应用中，克服了单一传感器的缺点，对视频数据和雷达数据进行了校验、融合和交叉验证，对现场环境、交通流特征和交通事件的判断更及时、准确、全面，给智能交通数据采集和处理提供了更好的条件。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。