一种应用于目标识别与跟踪的新型视频图像处理系统

技术领域

本发明属于目标识别与跟踪领域，是基于GPU及FPGA为核心的视频图像处理系统，具体涉及一种应用于目标识别与跟踪的新型视频图像处理系统。

技术背景

目标识别与跟踪技术是计算机视觉关键技术之一，在民用和军用的诸多领域都有着极其广阔的应用前景，包括智能监控、基于视觉的人机交互、视频叠加、目标跟踪、精确制导系统等。随着信息技术的高速发展，需要视频图像的处理信息量越来越大，传统的视频图像处理系统已无法满足现在的需求。

目前常用的目标识别与跟踪处理系统架构主要包括：ARM、DSP、DSP+FPGA等。但通常存在以下缺点：

（1）图像处理系统成本高，体积大，运算速度低且效果难以保证。

（2）系统结构复杂，需要多模块组合协同处理。针对不同应用场景需配置不同功能模块，灵活性不强。

（3）接口数量少，通用性不强。

发明内容

针对现有技术的至少一个缺陷或改进需求，本发明提供了基于FPGA+GPU的视频图像处理系统架构，可实现系统低成本、结构简单集成化、具有高度灵活性和扩展性。

本发明公开了一种应用于目标识别与跟踪的新型视频图像处理系统，该视频图像处理系统的视频接口在收到数据后发送给FPGA预处理之后再交于GPU加速处理，GPU将处理完成的视频数据转交给FPGA通过视频接口或网口发送出去，同时驱动相机跟踪检测目标；并且FPGA扩展板，可扩展其他功能和接口；

所述视频接口，为Camera Link输入接口和CVBS视频图像输出接口，输入接口收在到数据之后经过解码芯片将视频数据解码后发送给FPGA处理，输出接口，将FPGA发出的数据编码成CVBS制视频信号发送出去；

本系统只需一个电源连接器供电，通过电源管理模块，转化为FPGA和GPU需要的各种电源电压。

优选的，所述图像处理系统中GPU模块为NVDIA公司的高性能处理器Jetson TX2，其可搭载系统。

优选的，所述图像处理系统中接口功能扩展板可根据特定需求，设计特定功能扩展板。

优选的，所述图像处理系统中GPU模块向外引出了USB接口、HDMI接口。

优选的，所述图像处理系统中GPU模块向外引出了mSATA接口和SD Card 接口，可搭载mSATA硬盘和SD存储卡。

优选的，所述图像处理系统中FPGA模块搭载4片512MB的DDR3内存。

优选的，所述电源管理模块采用TI公司的TPS56221芯片和TPS54622芯片。

总体而言，本发明所构思的以上技术方案与现有技术相比，具有以下优点：

（1）：由于GPU自身可搭载系统，并利用FPGA的并行处理优势，组成计算机系统结构简单化、高度集成化、小型化、适用性广、成本低，不再需要单独的PC或者服务器作为处理器；

（2）：整个图像处理系统由底板+子卡组成，图像处理系统被模块化设计可以根据实际应用场景灵活配置，功能灵活性高；

（3）：通过子模块可扩展其他常用接口及特定接口供用户使用。大大增强通用性。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图作简单地介绍。

图1为本发明实施例的一种基于FPGA+GPU视频图像处理系统的架构图；

图2为本发明实施例所提供的一种视频接口编码与解码方式示意图；

图3为本发明实施例所提供的一种FPGA外扩千兆网口示意图；

图4为本发明实施例所提供的一种功能扩展板扩展外部接口示意图。

具体实施方式

本发明系统架构主要由FPGA和GPU模块组成，FPGA模块一方面用来接收GPU模块发送的配置参数及控制命令，来实现系统的控制管理，另一方面，将采集的视频图像数据发送到GPU模块进行数据处理，同时接收GPU模块的处理结果，将处理结果发送给外设接口输出。本发明GPU可安装操作系统，利用FPGA的并行处理优势，就可以组成一个小型便捷、适用于图像处理的计算系统。

图1为本发明实施例的一种基于FPGA+GPU的视频图像处理系统的架构图。该硬件平台系统中，FPGA和GPU之间采用PCIEX4进行数据传输，最高速率可达2GB/S。

GPU模块主要作为系统数据处理器，需要较强的运算能力，故选择NVIDIA公司的高性能处理器Jetson TX2(简称TX2)，其采用GPU+CPU架构；特点是NVIDIA Pascal GPU有256个CUDA有能力的核心；CPU部分由两个ARM v8 64位CPU集群组成，它们由高性能的相干互连结构连接，第一个CPU集群为NVIDIA Denver 2 64-Bit CPU 双核丹佛2 64位CPU集群，可提高单线程性能，第二个CPU集群是一个ARM Cortex-A57 QuadCore，它更适合于多线程应用程序；内存子系统包含一个128位的内存控制器，它提供高带宽LPDDR4支持；8 GB LPDDR4主存和32 GB eMMC闪存集也成于模块上。

FPGA模块主要作为系统的功能扩展，其命令来自于GPU的操作系统，用于系统的控制和管理。充分利用FPGA自身的并行处理的优势，实现视频图像采集和发送以及与GPU模块之间的数据交换的协调处理。这里选用Xilinx公司Kintex7系列的XC7K325T2FFG900I。

进一步地，底板上自身带有两个Camera Link接口（MDR26座子），可相连CameraLink接口相机采集视频图像数据。采集的数据通过解码器芯片（DS90CR286）解码转化为并行数据之后传输给FPGA，在FPGA内部预处理之后发送给GPU进行数据的处理，如图2所示。

进一步地，本系统自身带有两个CVBS信号接口。GPU将处理后的数据传送给FPGA,FPGA将收到的数据通过数据编码器芯片（ADV7393）编码，将数字信号转化成CVBS制信号，通过此接口向显示设备发送CVBS制视频信息。

进一步地，本系统自带有两个千兆网口，一个是GPU模块外扩的，可通过此网口直接与GPU通信；另一个网口是FPGA芯片通过PHY芯片（88E1111）外扩千兆网口，此网口可直接与FPGA进行数据通信，如图3所示。

进一步地，本系统的FPGA模块搭载有4片DDR3芯片总内存可高达2GB,可大大的增强FPGA的数据处理能力。

进一步地，本系统的GPU模块外扩有mSATA和SD Card座子可根据需求装配mSATA硬盘和SD存储卡，用以存储所需数据。

进一步地，本系统拥有GPU和FPGA两个和核心器件，需要多种电压。本系统电源采用J30J-9ZKW连接器输入5.5-12V电源电压。而TX2模块的外围电路需要1 .8V、2.5V、3 .3V和5V电压 FPGA选用Xilinx公司的XC7K325T，需要为该FPGA提供1V核电压，1 .8V VCCIO和VCCAUX、3 .3V VCCIO、1V和1 .2V的MGT供电。FPGA的1V核电压所需电流较大，故采用TexasInstruments公司TPS56221电源芯片（输出高达20A），其余电压采用多片TexasInstruments公司TPS54622芯 片（输出高达6A）为其提供电，以此保证供电的充足。且每一个电源均设计有电源指示灯，指示器电源工作状态。

进一步地，本发明系统架构设计两种时钟，分别是FPGA内部逻辑所需基础时钟，FPGA的PCIE 接口及千兆以太网PHY芯片所需时钟。FPGA内部逻辑所需基础时钟采用40MHz有源晶振产生，PCIE时钟采用差分125MHz时钟，由固定时钟振荡器产生。

进一步地，本系统的FPGA模块通过外扩板增加了VGA接口和DP接口，可通过这两个接口与外界相应端口相连，如图4所示。此扩展板卡置于视频图像处理板底板之上，形成底板+子板的结构。

进一步地，FPGA模块外挂RS422相机驱动控制接口，用以控制相机转动跟踪检测目标。

进一步地，由于本系统采用底板+子板的模式，尺寸为125mm*175mm。小于一般视频图像处理系统。

整个视频图像处理系统底板+扩展板组成，图像处理系统被模块化设计，可

以根据实际应用场景灵活配置，例如针对不同的相机及视频来源接口，配置不同扩展板，适应不同环境用途。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。