一种光电跟踪系统高清高帧频实时图像处理平台及方法

技术领域

本发明涉及光电跟踪系统技术领域，尤其涉及一种光电跟踪系统高清高帧频实时图像处理平台及方法。

背景技术

光电跟踪系统是集图像处理、光学、机械、伺服控制、电气于一体的高度集成化系统，以电视、红外、激光等成像设备为手段，利用目标跟踪识别技术实时获取目标运动、形状、位置等状态信息，实施目标打击的光电技术，是夺取战场信息优势、实施精确打击的重要技术手段，常见的有电视跟踪系统、红外跟踪系统和激光跟踪系统。

目标跟踪识别技术作为图像处理技术的一个重要分支，处理的实时性和精度直接关系到光电跟踪系统进行目标精准定位及火力精准打击的性能效果。为保证目标跟踪识别的实时性处理要求，通常采用高性能“FPGA+DSP”的嵌入式实时处理平台，其中，FPGA用于各种接口视频信号的采集、传输、显示以及信息交互，DSP用于接收FPGA采集的视频数据并实现目标跟踪识别算法，最后处理得到目标相关信息；而目标跟踪识别精度的提升除了对算法本身性能进行改进优化之外，可采用提高视频分辨率和视频帧率的方式进行提升，对基于复合轴控制的光电跟踪系统性能提升尤为显著。

随着近几年开源社区和新算法的大量涌现，目标跟踪识别技术得到了日新月异的发展，KCF、DSST等基于相关滤波的目标跟踪算法展现了较传统算法更优的跟踪性能，基于深度学习和人工神经网络的目标识别算法准确率大幅提高。上述算法通常包含大量复杂运算，而现有的图像处理平台因传输带宽、处理架构等因素导致算法实际性能无法得到充分发挥，只能通过压缩图像分辨率或降低帧率等手段降低运算数据量而保证实时性，最终使光电跟踪系统性能未能得到实质性的提升。

发明内容

为了解决上述问题，本发明提出了一种光电跟踪系统高清高帧频实时图像处理平台及方法，采用多核DSP+FPGA的架构，通过优化视频图像采集传输方式和处理架构，以解决在光电跟踪系统中难以实现高清高帧频图像高性能目标跟踪算法实时处理的问题。具体的，本发明提出的一种光电跟踪系统高清高帧频实时图像处理平台，包括FPGA和多核DSP，其中：

所述FPGA包括图像采集单元、处理单元、SRIO接口和数据地址总线接口，所述图像采集单元双向连接CameraLink接口，通过CameraLink接口采集相机的视频帧图像，并捕获视频同步信号发送至多核DSP，且将所述视频同步信号作为时统信号控制多核DSP的处理节拍；所述处理单元的输入端连接图像采集单元的输出端，并将图像采集单元采集的视频帧图像通过SRIO接口发送至多核DSP，所述处理单元的输出端通过输出显示接口与显示设备连接，所述处理单元还通过数据地址总线接双向连接多核DSP。

所述多核DSP包括多核、GPIO中断接口、EMIF接口、SRIO接口和内存单元，所述GPIO中断接口的输入端连接FPGA的图像采集单元的输出端，并以中断方式接收图像采集单元发送的视频同步信号；所述内存单元通过SRIO接口连接多核和FPGA的处理单元，并以GPIO中断接口接收的视频同步信号为节拍接收和缓存处理单元发送的视频帧图像；所述多核分别连接GPIO中断接口、EMIF接口和内存单元，并通过通讯接口接收目标的初始位置和初始尺度信息，再通过目标跟踪识别处理得到目标的跟踪状态信息，所述跟踪状态信息通过通讯接口输出，还依次通过EMIF接口和数据地址总线接口发送至FPGA的处理单元，所述处理单元将跟踪状态信息以字符的方式叠加于视频帧图像的下一帧图像的预设位置上，并通过输出显示接口传输至显示设备进行实时显示。

进一步的，所述目标的跟踪状态信息包括目标位置和尺度信息，所述目标位置和尺度信息分别用于产生跟踪波门的位置和大小。

进一步的，所述跟踪状态信息通过通讯接口发送至光电跟踪系统中的伺服控制系统，所述伺服控制系统接收到脱靶量信息即跟踪状态信息后，根据视场大小计算得到目标相对于瞄准线中心位置的实际偏差角度，进而控制系统调转相应的角度。

进一步的，内存单元包括DDR3 SDRAM和/或FLASH存储器。

本发明提出的一种光电跟踪系统高清高帧频实时图像处理方法，包括以下步骤：

S1.FPGA的图像采集单元实时解码和采集视频源的视频帧图像，提取视频同步信号并发送至多核DSP，同时将所述视频帧图像通过处理单元发送至多核DSP；

S2.所述多核DSP以中断方式接收视频同步信号，以所述视频同步信号为节拍接收视频帧图像，并进行目标跟踪识别处理，计算确定目标的跟踪状态信息，再根据所述跟踪状态信息计算确定目标的实际状态信息，并通过通讯接口发送至光电跟踪系统中的伺服控制系统；

S3.所述多核DSP还将所述目标状态信息发送至FPGA，所述FPGA接收多核DSP发送的目标状态信息后，通过目标十字线及波门叠加确定待叠加波门位置和大小；

S4.所述FPGA将目标状态信息以叠加字符的方式叠加至所述视频帧图像的下一帧图像上，并通过输出显示接口将叠加信息的视频输出至显示设备进行显示。

进一步的，所述多核DSP包括：

第一内核，用于通过通讯接口接收目标的初始位置和尺度信息，并通过SRIO接口接收FPGA发送的视频帧图像，处理得到的跟踪状态信息分别通过通讯接口和EMIF接口输出，所述第一内核还用于多核DSP的资源调度、内部外设及接口的初始化；

第二内核，用于目标跟踪识别循环处理，计算确定出目标中心点位于当前视频帧图像中的位置坐标点并作为目标的位置信息，计算确定出目标区域的像素尺寸并作为目标的尺度信息；

第三、四和五内核，分别用于当前大尺度区域跟踪、小尺度区域跟踪和当前尺度区域跟踪；

第六内核，用于当视频帧图像中目标发生位移或尺度变化时目标位置和尺度信息的更新；

第七和八内核，用于目标跟踪失败后的重新定位和捕获。

进一步的，所述跟踪波门在视频帧图像的下一帧图像上以区别于目标区域的像素值进行设置，从而使所述目标位置和尺度信息呈现直观的显示效果。

进一步的，所述FPGA通过CameraLink接口采集视频源的视频帧图像，且根据视频源的分辨率和帧率设定CameraLink接口的实时采集参数和采集模式。

进一步的，所述目标的跟踪状态信息包括目标位置和尺度信息，所述目标位置和尺度信息分别用于产生跟踪波门的位置和大小。

进一步的，所述目标的实际状态信息包括目标位置脱靶量。

本发明的有益效果在于：

(1)本发明采用多核DSP+FPGA的架构，通过优化视频图像采集传输方式和处理架构，解决了在光电跟踪系统中难以实现高清高帧频图像高性能目标跟踪算法实时处理的问题，可有效提高光电跟踪的系统性能，对基于复合轴控制的光电跟踪系统性能提升尤为显著；

(2)本发明从视频帧图像在FPGA和DSP之间的传输方式上做出改善，用高速的SRIO接口取代现有的EMIF传输方式，通过提高数据传输带宽而进一步提高高清图像处理的实时性；

(3)采用多核DSP作为目标跟踪识别实时处理运算单元，通过对8个内核进行合理的任务分配，并行处理，提升处理能力，解决了高帧频视频图像处理的实时性问题，便于选择更加复杂、性能更优的目标跟踪算法的移植和实现。

附图说明

图1为本发明实施例提供的一种高清高帧频实时图像处理平台的结构示意图；

图2为本发明实施例提供的一种高清高帧频实时图像处理方法的流程图；

图3为本发明实施例提供的一种视频帧图像数据在DDR3中的循环存储空间分布示意图；

图4为本发明实施例提供的一种高清高帧频实时图像处理方法的多核DSP任务分配示意图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参照图1，本实施例提供了一种光电跟踪系统高清高帧频实时图像处理平台，包括：

高性能现场可编程逻辑门阵列FPGA12和数字信号处理多核DSP20；

FPGA12，用于通过CameraLink接口11实时解码采集高清高帧频相机10的视频帧图像，视频帧图像通过SRIO接口124发送至多核DSP20的DDR321进行缓存以待处理，捕获视频同步信号并发送至多核DSP20的GPIO中断接口203作为时统信号控制多核DSP20的处理节拍，通过数据地址总线接口123接收多核DSP20经过目标跟踪识别处理后产生的目标位置和尺度信息以及其他跟踪状态信息，目标位置和尺度信息分别用于产生跟踪波门的位置和大小，跟踪状态信息以字符的方式叠加于视频图像的下一帧图像特定位置上，并通过输出显示接口13传输至显示设备14进行实时显示。

多核DSP20，用于通过GPIO中断接口203以中断方式接收视频同步信号，以视频帧同步信号为节拍接收视频帧图像，并根据目标初始位置和尺度信息在8×Core 201中并行进行目标跟踪识别处理，得到目标位置和尺度信息以及其他跟踪状态信息，将目标位置和尺度信息以及其他跟踪状态信息通过EMIF接口204发送至FPGA12，并将目标位置和尺度信息以及其他跟踪状态信息通过通讯接口23输出。

其中，目标初始位置和尺度信息为多核DSP20通过通讯接口23接收的目标跟踪识别处理初始得到的目标位置和尺度信息，当用户需要对特定目标进行跟踪时，对照显示设备14实时显示的视频图像，在用户屏幕目标相应位置点击生成目标位置，目标位置通过通讯接口23发送至多核DSP20，并结合程序内部固化的目标初始尺度信息生成目标初始位置和尺度信息。

请参照图1，高清高帧频相机10视频输出采用CameraLink数字接口，CameraLink接口是从Channel link技术上发展而来的，基于视频应用发展而来的通信接口，在机器视觉系统中广泛应用，CameraLink协议是一个工业高速串口数据和连接标准，旨在简化图像采集接口，方便高速数字相机和数据采集卡的连接，其分为Base、Medium和Full三种模式，可选地，普通技术人员可根据实际应用进行选择，本发明实施例根据高清高帧频相机10接口选择Full模式，高清高帧频相机10分辨率为1080p，帧频为200Fps。

FPGA12选择Kintex-7系列，用于高清高帧频CameraLink接口相机视频图像采集、SRIO接口传输、字符叠加及处理结果视频实时显示，多核DSP20采用TI KeyStone架构高性能8核定点/浮点TMS320C6678 DSP，用于接收高清高帧频视频图像进行目标跟踪识别算法的实现。

参照图1，在本实施例的基础上，通讯接口23用于接收目标初始位置信息、发送目标脱靶量等跟踪状态信息时，具体用于：

接收从外部设备发送的目标初始位置信息，外部设备可以是上位机或者操控终端；

FPGA12将采集的视频帧图像通过SRIO接口发送传输至与多核DSP20相连接的DDR321进行缓存，SRIO接口全称Serial RapidIO接口，FPGA12和DSP20将SRIO初始化为5Gbps传输速率，实现接口传输效率最大化，传输模式选择NWRITE模式，简化DSP20的处理和工作流程。

SRIO接口传输视频帧图像数据传输过程受FPGA12发送至多核DSP20的GPIO中断接口203的时统信号控制，每个中断信号发送一帧视频帧图像数据。

请参照图3，在DDR321中可同时存储从第n帧至第n+7帧数据之间连续8帧从FPGA12发送过来的视频帧图像数据，其中，n表示当前帧的帧编号。在多核DSP20中，DDR321的首地址为0x80000000，从FPGA21发过来的视频帧图像数据存储空间首地址为0x81000000，8帧数据存储空间地址从空间S19至S26，每一块存储空间为1920×1080×8bit，视频帧图像数据在DDR321中的存储位置每接收完一帧则通过FPGA12控制偏移地址指针增加1920×1080×8bit，即第n帧存储于S19空间，第n+1帧存储于S20空间，以此类推，第n+7帧存储于S26空间，当第n+7帧数据传输完毕后，则偏移地址指针再次回到第n帧的存储位置，当下一次时统信号节拍响应后的第n+8帧数据将存储于S19空间，由此实现了8帧数据在DDR321中的循环存储。

多核DSP20接收到视频同步信号触发的中断信号后从DDR3对应位置读取当前帧的视频帧图像数据，并进行目标跟踪识别处理，处理后将计算确定的目标脱靶量等跟踪状态信息通过通讯接口23输出时，通讯端口23连接设备可以是光电跟踪系统中的伺服控制系统，伺服控制系统接收到脱靶量信息后，根据视场大小计算得到目标相对于瞄准线中心位置的实际偏差角度，进而控制伺服跟踪系统调转相应的角度。

需要说明的是：

本实施例中多核DSP20中的电源管理205可以产生多核DSP20工作所需的电压，以及内核上电时序管理。

时钟管理206接收晶振电路26输入的时钟信号，经过锁相环倍频得到多核DSP20的8核系统工作时钟，其中，单核工作频率达到1.25GHz。

FLASH22通过SPI接口与多核DSP连接，可通过烧写程序将功能调试完善后的目标跟踪识别处理程序和数据烧写固化，多核DSP的上电启动引导方式需设置为SPI模式，当系统上电后，存储于多核DSP自带的EEPROM存储器会自动加载引导程序，将用户应用程序拷贝至SDRAM207存储器中进行运行。

复位电路24可以通过硬件按键开关对多核DSP进行硬件复位，使多核DSP恢复到上电初始状态。

本实施例中的光电跟踪系统高清高帧频实时图像处理平台可通过CameraLink接口实时采集高清高帧频相机10输出的视频信号，经过解码得到视频帧图像数据后发送至多核DSP进行目标跟踪识别处理，实现对特定目标的稳定实时跟踪。经过试验表明，该平台实时性高，处理能力强。该发明在光电跟踪系统实际工程项目中有很好的应用，实现对特定目标的稳定实时跟踪，并将跟踪结果输出至显示设备进行显示，计算确定的脱靶量等目标跟踪状态信息可发送至伺服跟踪系统对伺服转台进行调转，达到对动态特定目标的实时高精度跟瞄。本实施例中的高清高帧频实时图像处理平台实时性和处理能力强，在传输方式和处理架构上有很大的创新性，可有效提升光电跟踪系统的性能，对基于复合轴控制的光电跟踪系统性能提升尤为明显。

实施例2

本实施例在实施例1的基础上：

请参照图2，本实施例提供了一种光电跟踪系统高清高帧频实时图像处理方法，包括以下步骤：

S1.视频源输出高清高帧频视频信号；具体的，视频源通过CameraLink接口输出高清分辨率及200fps以上分辨率的视频信号。

S2.视频源输出的视频信号经视频采集解码模块输入FPGA，视频采集解码的过程是CameraLink视频信号的接收过程，接收芯片为DS90CR286A，接收芯片输出的数据直接发送至FPGA的视频帧图像分量获取单元。

S3.视频帧图像分量获取单元提取视频同步信号，并将视频源的灰度分量提取出来后，分两路输出，一路经过视频传输单元发送至多核DSP，一路经目标十字线及波门叠加单元后输出叠加信息的视频至显示器进行实时显示。

S4.视频传输单元传输节拍受视频同步信号的周期控制，每个周期发送一帧视频帧图像数据至多核DSP，传输的图像循环存储于多核DSP外接DDR3的空间中。

S5.多核DSP从DDR3中获取当前帧图像帧数据后开始进行多核并行处理。

S6.视频同步信号提取单元获取视频帧同步信号，用于发送至多核DSP触发GPIO中断，FPGA必须在一个帧同步信号周期内向多核DSP外接的DDR3传输一帧数据，传输完成后多核DSP收到下边沿触发的中断响应后确定当前帧数据已经传输完毕，由此可进行下一步的处理。

S7.中断响应对应多核DSP的GPIO14，配置为外部中断。

S8.多核DSP接收到包含有目标的当前帧的图像数据后，开始多核并行处理目标跟踪识别处理。

S9.多核DSP将处理得到的目标位置信息通过通讯接口发送至伺服控制系统，目标位置信息可根据视场中心位置坐标计算得到目标在视场中的脱靶量。

S10.多核DSP计算确定的脱靶量等目标状态信息通过通讯接口发送出去，通讯接口选择串口或者CAN进行与不同外部设备的通讯。具体的，光电跟踪系统中的伺服控制系统接收到脱靶量后，根据视场角和图像分辨率计算在实际转台坐标系下的角度偏差值，通过控制算法调转转台运动相应的偏差，从而使目标始终处于视频帧图像的中心十字线位置附近。

S11.多核DSP输出处理结果通过EMIF接口发送至FPGA，FPGA叠加目标十字线及波门以及其他字符信息；具体的，FPGA程序初始化时将常用字符以字库的形式存储于其内部存储器中，当目标十字线及波门叠加单元收到新的处理结果信息后，从字库存储单元查找和调用字库，最后在下一帧视频帧图像到来时改变目标位置波门的颜色，以区别于目标区域的颜色直观呈现目标位置和大小。

S12.输出显示接口根据显示设备选取不同的接口，本实施例中为VGA显示，叠加了目标信息的视频图像通过VGA显示接口输出后送入显示设备进行显示。

具体的，上述步骤S8中，多核并行处理目标跟踪识别处理的具体方法如下，请参照图4：

为多核DSP的8个C66x+核分配运行不同的并行处理任务，其中：

核0通过通讯接口接收目标初始位置和尺度信息，同时用于多核DSP的资源调度、内部外设及接口的初始化，通过SRIO接口从FPGA接收视频帧图像，处理得到的目标位置和尺度信息以及其他跟踪状态信息通过通讯接口和EMIF接口输出，与上位机或者伺服控制系统通过通讯接口连接以进行目标信息的交互；

核1用于目标跟踪识别循环处理，计算确定出目标中心点位于当前视频帧图像中的位置坐标点并作为目标位置信息，计算确定出目标区域的像素尺寸并作为目标尺度信息，计算确定出其他目标跟踪状态信息；

核2、核3、核4分别进行当前大尺度区域跟踪、小尺度区域跟踪和当前尺度区域跟踪；

核5用于当在视频帧图像中目标发生位移或尺度变化时目标位置信息和尺度信息的更新；

核6和核7用于目标跟踪失败后的重新定位和捕获；

本实施例提供的一种光电跟踪高清高帧频实时图像处理方法，实现了性能较优的KCF算法在高清高帧频实时图像处理平台的移植，具有很强的实时性，能够对特定目标实现实时稳定跟踪。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是本发明使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是有线连接，也可以是无线连接。