一种模块化实时图像处理装置

技术领域

本发明涉及光电产品技术领域，特别涉及一种模块化实时图像处理装置。

背景技术

光电产品的图像信息被获取后需要进行再处理，图像处理装置是对光电产品的图像信息进行再处理的重要载体，可以实现图像信息的采集、预处理、图像处理、压缩、本地存储和远程传输等功能。随着产品研制周期越来越短，产品功能迭代不断加快，成本控制越来越严格，测试和试验条件严苛，国产化要求高，急需提高产品通用化、系列化、模块化和国产化水平，以减少重复开发、重复测试和重复试验验证，快速固化技术状态，从而有效解决研制周期、研发成本、自主可控、技术迭代稳定性的突出矛盾。

因此，针对以上不足，需要提供一种新的模块化实时图像处理装置。

发明内容

本发明提供了一种模块化实时图像处理装置，能够进行模块化分解、组合，使得图像处理装置更通用，从而可快速实现和固化装置功能和性能。

本发明提供了一种模块化实时图像处理装置，包括：预处理模块、图像处理模块、图像压缩模块、综合控制模块和电源接口模块，所述预处理模块、所述图像处理模块、所述图像压缩模块、所述综合控制模块和所述电源接口模块通过总线插座层叠连接；

所述电源接口模块用于为所述预处理模块、所述图像处理模块、所述图像压缩模块、所述综合控制模块供电；

所述图像处理模块对接收到的经所述预处理模块预处理后的视频图像数据进行实时图像处理，并将图像处理结果传输至所述综合控制模块进行信息控制；

所述图像压缩模块用于对所述采集到的视频图像数据进行实时压缩，并通过同步串口输出压缩码流，同时通过异步串口与图像处理模块进行信息交换采用异步串口与所述图像处理模块进行信息交换。

可选地，所述电源接口模块还用于完成外部输入电源的滤波和电压转换以及实现差分电平转换。

可选地，所述电源接口模块还包括：对外插座；所述电源接口模块通过所述对外插座连接数传装置、伺服装置、上位机和提供外部输入电源的供电装置。

可选地，所述预处理模块采用异步串口、CameraLink接口与所述图像处理模块连接。

可选地，所述图像压缩模块采用异步串口与所述图像处理模块连接；所述图像压缩模块采用同步串口与所述电源接口模块连接。

可选地，所述图像处理模块采用异步串口、同步串口与所述电源接口模块连接；所述图像处理模块采用同步串口与所述综合控制模块连接。

可选地，所述综合控制模块采用1553B总线、同步串口与所述电源接口模块相连接。

可选地，所述预处理模块包括：可编程逻辑单元FPGA、CameraLink编码器、CameraLink解码器、总线驱动器、CameraLink接口、DSP芯片、用SPI通信的非易失性存储介质SPI FLASH、闪存NOR FLASH、同步动态随机存储器SDRAM。

可选地，所述图像处理模块包括：CameraLink编码器、CameraLink解码器、总线驱动器、闪存FLASH、SPI FLASH、FPGA、双倍数据速率内存DDR。

可选地，所述图像压缩模块包括：CameraLink编码器、CameraLink解码器、总线驱动器、FLASH、FPGA、DDR。

可选地，所述综合控制模块包括：总线驱动器、FPGA、SPI FLASH、DSP芯片、SDRAM、NOR FLASH。

可选地，所述图像压缩模块采用H.264压缩编码方式，压缩后的图像压缩后图像信噪比不低于25dB，图像压缩码流实时带宽不大于6Mbps，输出压缩码流的同步接口速率不低于10Mbps。

本发明实施例提供了一种模块化实时图像处理装置，该装置采用总线插座层叠连接各模块，各模块之间接口采用总线方式共享总线信号，从而实现各模块之间的任意组合，在不更改各模块硬件电路的基础上，可以直接将预处理模块、图像处理模块、图像压缩模块、综合控制模块应用于包含视频图像处理、视频压缩传输和控制信息处理等功能的光电产品中，得到通用化、模块化程度高的全国产的实时图像处理和视频压缩信息处理装置，实现图像处理装置的模块化分解、组合，从而可快速实现和固化装置功能和性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种模块化实时图像处理装置的结构示意图；

图2是本发明一实施例提供的模块化实时图像处理装置中各模块之间的连接示意图；

图3是本发明一实施例提供的另一种模块化实时图像处理装置的结构示意图；

图4是本发明一实施例提供的一种预处理模块的硬件架构图；

图5是本发明一实施例提供的一种图像处理模块的硬件架构图；

图6是本发明一实施例提供的一种图像压缩模块的硬件架构图；

图7是本发明一实施例提供的一种综合控制模块的硬件架构图；

附图标记：101-可见光传感器；102-红外传感器；20-预处理模块；30-图像处理模块；40-图像压缩模块；50-综合控制模块；60-电源接口模块；701-数传装置；702-伺服装置；703-供电装置；704-上位机。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种模块化实时图像处理装置，如图1和图2所示，该装置包括：预处理模块20、图像处理模块30、图像压缩模块40、综合控制模块50和电源接口模块60，预处理模块20、图像处理模块30、图像压缩模块40、综合控制模块50和电源接口模块60通过总线插座层叠连接；

电源接口模块60用于为预处理模块20、图像处理模块30、图像压缩模块40、综合控制模块50供电；

图像处理模块30对接收到的经预处理模块20预处理后的视频图像数据进行实时图像处理，并将图像处理结果传输至综合控制模块50进行信息控制；

图像压缩模块40用于对采集到的视频图像数据进行实时压缩，并通过同步串口输出压缩码流，同时通过异步串口与图像处理模块进行信息交换。

在本发明实施例中，该装置采用总线插座层叠连接各模块，各模块之间接口采用总线方式共享总线信号，从而实现各模块之间的任意组合，在不更改各模块硬件电路的基础上，可以直接将预处理模块、图像处理模块、图像压缩模块、综合控制模块应用于包含视频图像处理、视频压缩传输和控制信息处理等功能的光电产品中，得到通用化、模块化程度高的全国产的实时图像处理和视频压缩信息处理装置，实现图像处理装置的模块化分解、组合，从而可快速实现和固化装置功能和性能。

在一个优选的实施方式中，如图3所示，电源接口模块60还用于完成外部输入电源的滤波和电压转换以及实现差分电平转换。

在本发明中，电源接口模块完成外部输入27V电源的滤波和电压转换，为模块化实时图像处理装置的其他模块提供5V供电，并实现其他模块的同步、异步串口的TTL与差分电平转换。

在一个优选的实施方式中，如图2和图3所示，电源接口模块60还包括：对外插座；电源接口模块60通过对外插座连接数传装置、伺服装置、用于提供外部输入电源的供电装置和上位机。

在本发明中，电源接口模块还能够通过对外插座连接数传装置、伺服装置、供电装置、上位机和其他设备，并实现输入和输出。该处理装置模块化实时图像处理装置对红外、可见光视频图像中的信息进行识别和处理后，并将红外、可见光视频压缩后通过电源接口模块发送给数传装置送到上位机存储和分析，同时响应上位机的指令、返回自身数据和状态，并根据图像处理结果控制伺服装置动作。其中，供电装置用于为电源接口模块输入27V电源。

在一个优选的实施方式中，如图3所示，预处理模块20通过CameraLink接口与图像压缩模块40连接；预处理模块20采用异步串口、CameraLink接口与图像处理模块30连接；

图像压缩模块40采用异步串口与图像处理模块30连接；图像压缩模块40采用同步串口与电源接口模块60连接。

图像处理模块30采用异步串口、同步串口与电源接口模块60连接；图像处理模块30采用同步串口与综合控制模块50连接。

综合控制模块采用1553B总线、同步串口与电源接口模块60相连接；

可见光传感器101和红外传感器102用于采集视频图像数据。

在一个优选的实施方式中，如图4所示，预处理模块20包括：可编程逻辑单元FPGA、CameraLink编码器、CameraLink解码器、总线驱动器、CameraLink接口、DSP芯片、用SPI通信的非易失性存储介质SPI FLASH、闪存NOR FLASH、同步动态随机存储器SDRAM。

在本发明中，预处理模块的主要功能是通过特征抽取、图像分割等方法增强图像中的有用信息，图像预处理算法主要由大规模可编程器件FPGA完成；预处理后的红外和可见光视频图像通过CameraLink接口发送给图像处理模块，同时将红外和可见光原始图像通过CameraLink接口发送给图像压缩模块；预处理模块采用异步串口与图像处理模块完成信息交换。

在一个优选的实施方式中，如图5所示，图像处理模块30包括：CameraLink编码器、CameraLink解码器、总线驱动器、闪存FLASH、SPI FLASH、FPGA、双倍数据速率内存DDR。

在本发明中，图像处理模块的主要功能是对视频图像数据中的有用信息进行识别处理和决策控制，图像处理算法和决策控制主要由数字信号处理器DSP器件完成；根据DSP处理结果通过同步串口控制伺服装置动作，通过异步串口控制红外传感器、可见光传感器的工作状态；同时将处理结果和状态信息分别通过SDLC同步串口和异步串口发送给综合控制模块和图像压缩模块，图像接收解码、通信协议编解码由FPGA完成，FPGA还可完成图像预处理。

在一个优选的实施方式中，如图6所示，图像压缩模块40包括：CameraLink编码器、CameraLink解码器、总线驱动器、FLASH、FPGA、DDR。

在本发明中，图像压缩模块的主要功能是实现红外视频图像和可见光视频图像的H.264实时压缩，并将压缩后的图像数据流和所有模块状态信息通过SDLC同步串行接口输出到数传装置；图像压缩模块采用异步串口与预处理模块完成信息交换；图像接收解码、图像压缩和SDLC编解码主要由FPGA完成。

在一个优选的实施方式中，如图7所示，综合控制模块包括：总线驱动器、FPGA、SPIFLASH、DSP芯片、SDRAM、NOR FLASH。

在本发明中，综合控制模块的主要功能是接收上位机1553B总线的控制信息并通过同步串口下发到图像处理模块和该图像处理装置的外部设备，同时根据图像处理结果来控制伺服装置；模块上DSP主要完成参数计算、任务决策、数据分发，FPGA主要完成数据组包和通信接口编解码。

在一个优选的实施方式中，图像压缩模块采用H.264方式，压缩后的图像压缩后图像信噪比不低于25dB，图像压缩码流不大于6Mbps，通信接口速率不低于10Mbps。

在一个优选的实施方式中，至少两种模块组合均能得到一种装置，通过总线插座层叠连接任意模块得到具有不同功能的图像处理装置。例如，图像处理模块30+电源接口模块60：图像处理模块30为DSP+FPGA架构，多核DSP采用长城银河的FT-6678，实现多核并行实时处理大数据量图像信息，FPGA采用复旦微电子的JFM7K325T，完成通信接口编解码和图像预处理、分辨率和帧频转换等。预处理模块20+电源接口模块60：预处理模块为双FPGA架构，实时处理双通道视频图像,可应用适合FPGA实现的图像滤波、边缘检测、图像分割、图像增强和目标提取算法，处理后的图像可通过CameraLink接口输出。图像压缩模块40+电源接口模块60：图像压缩模块为双FPGA架构,分别实现两个通道视频数据流的实时压缩，压缩后数据通过同步串口输出。综合控制模块50+电源接口模块60：综合控制模块为DSP+FPGA架构，采用中电58所的浮点DSP JDSPF28335，可应用于需浮点运算的伺服控制和数据处理，处理结果可通过1553B和同步串口输出。

具体地，通过总线插座层叠连接任意三种模块得到具有不同功能的图像处理装置。例如，图像处理模块30+预处理模块20+电源接口模块60：适用于FPGA实现复杂图像预处理、多核DSP并行处理、图像处理性能要求很高的产品需求。图像处理模块30+图像压缩模块40+电源接口模块60：适用于目标识别、观测和视频传输功能的产品应用。图像处理模块30+综合控制模块50+电源接口模块60：适用于目标识别、跟踪和伺服控制功能的产品应用。预处理模块20+综合控制模块50+电源接口模块60：适用于低功耗(较FT-6678)的图像处理、目标识别和跟踪功能的产品应用。

可以理解的是，本发明实施例示意的结构并不构成对一种模块化实时图像处理装置的具体限定。在本发明的另一些实施例中，一种模块化实时图像处理装置可以包括比图示更多或者更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。

上述装置内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。