掌桥专利:专业的专利平台
掌桥专利
首页

一种单像素成像系统及方法

文献发布时间:2024-04-18 19:58:21


一种单像素成像系统及方法

技术领域

本发明涉及单像素成像领域,特别是涉及一种单像素成像系统及方法。

背景技术

单像素成像是基于光场的高阶关联来获取物体的信息,物、像可分离在不同光域中,通过获取物体的强度涨落信息以及对应的参考信息,经过二者的关联运算最后重构物体图像。

单像素成像具有抗干扰性强的优势,一定程度上可以抵抗大气湍流和散射介质的干扰,工程环境通常会存在雾霾,沙尘等各种恶劣环境的干扰。在这种复杂环境中,存在一些散射介质,大气湍流会影响大气光场分布,信号探测器无法准确记录对光强,相位等信息。单像素成像中参考光路不受上述干扰的影响,而且单像素成像的分辨率取决于参考光路,所以通过单像素成像在原理上可以实现超分辨,使得成像效果更佳。

单像素成像配合单光子探测器具有高灵敏性的优势,可以在弱光条件下依旧完成图像恢复,工程应用中不可避免的会遇到弱光场成像的问题。在弱光强条件下,一般的光电探测设备无法对微弱信号进行有效探测,单光子探测技术作为新式的信号探测技术,可以实现对极其微弱的信号探测,可达单光子量级,尤其是与单像素成像的结合,促进了单像素成像在微弱光场成像技术的发展。

基于以上优势特点,单像素成像已经可以在许多复杂环境中完成对于二维目标物体的成像,但是单像素成像采用传统二阶关联算法需要经过多达1024次的采样才能恢复出一个32*32分辨率的目标物体大致形貌,此过程耗时严重,无法做到实时成像以及高分辨率成像,同时基于计算机重构图像需要耗费巨大的内存空间,针对上述问题,基于FPGA的单像素成像逐渐成为研究热点。

2019年4月日本千叶大学Ikuo Hoshi团队为了加速图像重建计算,采用FPGA实现了关联运算电路,通过计算二阶相关性完成了300Hz的图像重建工作,该目标图像大小为32*32,同时基于差分鬼成像算法实现了256*256的仿真重建,所需耗时为671毫秒。2020年3月清华大学Wei-Xing Zhang团队采用序列单像素成像算法,在无需任何外部存储器的情况下,完成了每秒500次的计算测量重构工作,实现了25Hz的图像重建,该图像分辨率为400*280。2022年5月日本千叶大学(Chiba-University)Ikuo Hoshi等人使用FPGA实现了以40Hz速度实时单像素成像,图像的大小为128*128,他们的实验表明使用FPGA重建速度是CPU的10倍。

上述研究在单像素成像系统集成化的过程中资源消耗较多,图像重建速度还可提升,同时基于verilog设计算法模块,验证方式不全面,开发周期长,算法模块接口无法灵活配置,因此需要一种资源节约,重建快速,接口灵活的单像素成像系统。

发明内容

本发明的目的是提供一种单像素成像系统及方法,可降低资源消耗,加速图像重建,提高接口配置灵活性,系统集成度高。

为实现上述目的,本发明提供了如下方案:

一种单像素成像系统,包括:光学成像系统和电子学系统;

所述光学成像系统用于输出带有目标物体的光强信息和同步信息;

所述电子学系统包括依次连接的同步中断处理模块、ARM处理器、数据采集模块和图像重建模块;所述ARM处理器还与所述图像重建模块连接;所述同步中断处理模块、所述数据采集模块和所述图像重建模块均设置在FPGA上;所述同步中断处理模块和所述数据采集模块还均与所述光学成像系统连接;所述同步中断处理模块用于接收所述同步信息并以中断的方式发送至所述ARM处理器;所述ARM处理器控制所述数据采集模块采集所述光强信息并传输至所述图像重建模块;所述图像重建模块用于根据所述光强信息利用蝶形运算形式的快速沃什哈达玛变换算法进行图像重建。

可选地,所述电子学系统还包括DMA模块;所述DMA模块分别与所述数据采集模块、所述ARM处理器和所述图像重建模块连接;所述DMA模块设置在FPGA上。

可选地,所述电子学系统还包括双倍速率同步动态随机存储器模块;所述双倍速率同步动态随机存储器模块设置在所述DMA模块与所述图像重建模块之间;所述双倍速率同步动态随机存储器模块还分别与所述DMA模块、所述图像重建模块和所述ARM处理器连接;所述双倍速率同步动态随机存储器模块设置在FPGA上。

可选地,所述同步中断处理模块为AXI_GPIO模块。

可选地,所述数据采集模块为ADC9238模块。

可选地,所述图像重建模块采用XAZU3EG芯片。

可选地,所述光学成像系统包括依次设置的激光器、扩束透镜组、数字微镜器件、汇聚透镜组和单像素探测器;目标物体设置在所述数字微镜器件和所述汇聚透镜组之间;所述数字微镜器件用于输出同步信息;所述单像素探测器用于输出带有目标物体的光强信息。

本发明还提供一种单像素成像方法,所述单像素成像方法应用于所述的单像素成像系统,所述单像素成像方法包括:

获取同步信号;

根据所述同步信号控制数据采集模块进行光强信息采集并记录采集次数;

判断所述采集次数是否达到设定阈值;

若是,则控制图像重建模块根据所述光强信息利用蝶形运算形式的快速沃什哈达玛变换算法进行图像重建;

若否,则返回步骤“获取同步信号”。

根据本发明提供的具体实施例,本发明公开了以下技术效果:

本发明提供的单像素成像系统,包括:光学成像系统和电子学系统;所述光学成像系统用于输出带有目标物体的光强信息和同步信息;所述电子学系统包括依次连接的同步中断处理模块、ARM处理器、数据采集模块和图像重建模块;所述ARM处理器还与所述图像重建模块连接;所述同步中断处理模块、所述数据采集模块和所述图像重建模块均设置在FPGA上;所述同步中断处理模块和所述数据采集模块还均与所述光学成像系统连接;所述同步中断处理模块用于接收所述同步信息并以中断的方式发送至所述ARM处理器;所述ARM处理器控制所述数据采集模块采集所述光强信息并传输至所述图像重建模块;所述图像重建模块用于根据所述光强信息利用蝶形运算形式的快速沃什哈达玛变换算法进行图像重建。通过设置在FPGA的同步中断处理模块、所述数据采集模块和所述图像重建模块降低资源消耗,加速图像重建,提高接口配置灵活性,系统集成度高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明单像素成像系统结构图;

图2为单像素成像光学路径示意图;

图3为快速沃什哈达玛变换蝶形运算示意图;

图4为单像素成像数据流向图;

图5为单像素成像FPGA系统设计图;

图6为单像素成像电子学系统工作流程图;

图7为单像素成像系统工作时序图;

图8为电子学系统图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的目的是提供一种单像素成像系统及方法,可降低资源消耗,加速图像重建,提高接口配置灵活性,系统集成度高。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示,本发明提供的一种单像素成像系统,包括:光学成像系统和电子学系统。

所述光学成像系统用于输出带有目标物体的光强信息和同步信息。

所述电子学系统包括依次连接的同步中断处理模块、ARM处理器、数据采集模块和图像重建模块;所述ARM处理器还与所述图像重建模块连接;所述同步中断处理模块、所述数据采集模块和所述图像重建模块均设置在FPGA上;所述同步中断处理模块和所述数据采集模块还均与所述光学成像系统连接;所述同步中断处理模块用于接收所述同步信息并以中断的方式发送至所述ARM处理器;所述ARM处理器控制所述数据采集模块采集所述光强信息并传输至所述图像重建模块;所述图像重建模块用于根据所述光强信息利用蝶形运算形式的快速沃什哈达玛变换算法进行图像重建。

同步中断处理模块为AXI_GPIO模块。同步中断模块设计是基于通用输入输出接口(AXI_GPIO)模块完成,其目的是对数字微镜器件输入的同步信号转换为中断处理。

同步中断处理模块其核心在于AXI_GPIO模块,其采集位宽设置为1bit,并且使能它的中断功能,中断信号连接到处理器的共享中断控制器上,中断控制号是121,地址分配空间为8Kbytes,起始地址为0x80000000。

首先处理器初始化共享外设中断,然后通过AXI_Lite总线配置该模块,AXI_GPIO开始采集数字微镜器件信号,如果遇到上升沿信号后该模块上报共享外设中断,跳转执行相应的中断处理函数,此时也表明数字微镜器件加载一帧散斑图成功,后续可以采集光强数据。

所述数据采集模块为ADC9238模块。数据采集模块设计是基于模拟数字转换器(ADC)完成,其目的是将模拟电压信号转换为12位数字信号。

如图5所示,数据采集模块核心在于ADC9238模块,该模块可以在65MHz频率下采样,数据位宽是12位,该模块的Slave_AXI_Lite端口可以通过处理器配置采样长度,比如一次采样100个数据等,该模块Master_AXI_Stream端口将采集到的12位数据扩展成16位数据,并封装成流数据接口便于与DMA进行数据交互。

每次数字微镜器件发出一个上升沿信号,AXI_GPIO中断处理函数就会将flag信号置1,主函数就会启动数据采集功能,主函数需要传递采集数量这个参数给采集函数,采集函数将数据传输到DMA后,DMA就会触发S2MM中断信号,表明DMA有数据需要写入DDR中,等待数据写入完成后重新回到主函数读取外设信息部分,等待下一次数字微镜器件的翻转。

电子学系统主要包括Advanced RISC Machines(ARM)以及现场可编程门阵列(FPGA)两个部分,电子学系统除了ARM处理器,其他模块均在FPGA上实现,FPGA与ARM两者之间通过Advanced eXtensible Interface Lite(AXI4-Lite)总线通信。所述电子学系统还包括DMA模块;所述DMA模块分别与所述数据采集模块、所述ARM处理器和所述图像重建模块连接;所述DMA模块设置在FPGA上。

所述电子学系统还包括双倍速率同步动态随机存储器模块;所述双倍速率同步动态随机存储器模块设置在所述DMA模块与所述图像重建模块之间;所述双倍速率同步动态随机存储器模块还分别与所述DMA模块、所述图像重建模块和所述ARM处理器连接;所述双倍速率同步动态随机存储器模块设置在FPGA上。

如图3所示,所述图像重建模块采用XAZU3EG芯片。快速沃什哈达玛变换算法(FWHT),基于哈达玛散斑调制策略的单像素成像方案,它最终的1024个光强值信息,与32*32目标图像存在映射关系,这种映射关系通过下式蝶形算法实现。

WAL(n,i)是Walsh函数,Y

蝶形算法仅包含加法减法运算,适合用于FPGA实现,另外通过添加流水线并行化,数组分割等技术,算法的资源消耗情况会远远低于目前的单像素成像算法,因快速沃什哈达玛变换算法无需调制散斑参与运算,所以它省去了大量的调制散斑存储空间,可以为后续大像素的单像素成像提供解决方案。如图3所示,基于哈达玛散斑调制方案,例如采集到8个光强值数据(第一列表示),第一个数据加上第五个数据得到第二列第一个数据以此类推,第一个数据减去第五个数据得到第二列第五个数据以此类推,在第二列中,将第一个数据与第三个数据相加得到第三列第一个数据,表现快速什哈达玛变换算法的蝶形运算过程。

根据FWHT算法模型确定输入以及输出,其只有一个光强测量值输入,重构结果作为输出,利用二者蝶形运算映射关系编写算法,采用C++编程实现,定义测量值和结果数据类型均为无符号整型32位(ap_uint<32>)。这里的软件部分具体是用快速沃什哈达玛变换算法,借助Xilinx官方工具高层次综合软件实现,它的算法输入是1024个光强值数据,在算法里面就是容量为1024的矩阵,运算过程就是蝶形运算加加减减操作,最后算法输出也是1024个数值,通过重新resize可以变成32*32的二维矩阵,也就是最后的重构结果图。

由于FWHT算法采用蝶形算法映射,没有条件跳转,共享资源冲突,中断请求,故可采用流水线技术进行硬件加速,在计算机体系结构中流水线技术是指将规模较大,层次较多的组合电路分解为多级结构,在每一级中添加寄存器用来暂存中间数据,将上一级的输出作为下一级的输入而此过程又无反馈电路,此技术提高了电路的吞吐率以及工作频率实现了硬件加速功能。

高层次综合设计过程首先确定系统芯片工作时钟频率为100MHz,并采用赛灵思(xilinx)的XAZU3EG芯片型号。将FWHT算法添加项目的源文件(Source)中,并编写测试程序添加到项目测试文件(Test Bench)中,测试程序用来验证高级语言编写的IDGI算法正确性,针对均方根误差,结构相似度等指标与MATLAB仿真结果对比符合要求即可。

在高层次综合设计过程中,经过C仿真(C Simulation)即可完成上一步骤中的验证工作,然后在源文件中FWHT算法的循环语句中添加#pragma HLS PIPELINE(流水线)#pragma HLS UNROLL(循环展开)。

根据输入输出数据类型以及模块连接方式确定接口封装类型(#pragma HLSINTERFACE),因为在一次循环中既涉及读操作也涉及写操作,所以测量值输入以及重建结果输出端口均绑定为块随机存储器(BRAM),另外将FWHT算法模块的状态控制端口绑定为AXI4-Lite协议,每次PS端可通过AXI4-Lite总线发送算法启动指令控制PL端算法启动,也可以通过AXI4-Lite总线协议读取PL端算法模块完成状态。

然后完成C综合(C Synthesis)获得FWHT算法的总耗时情况以及占用FPGA资源情况,根据可视化的综合结果对速度与面积进行平衡。最终导出生成知识产权核(IP核),在集成电路设计中IP核是指形式为逻辑单元,芯片设计的可重用模组,对外显示接口类型,对内实现功能运算,经过上述步骤的设计验证后,设计人员以IP核为基础进行设计开发,可以缩短设计所需周期。如表1所示,FWHT算法部署到FPGA上消耗资源情况如表1的第二行内容,该XAZU3EG芯片拥有的全部资源数量如表1中的第三行内容,算法消耗资源占总资源的比率如表1中的第四行内容。

表1 FWHT算法各资源消耗表

基于FPGA的FWHT算法实现仅消耗4个块随机存储器,3个乘加运算器(DSP),928个触发器(FF),1628查找表资源(LUT),极低的资源消耗优点大幅降低了单像素成像集成化要求。

所述光学成像系统包括依次设置的激光器、扩束透镜组、数字微镜器件、汇聚透镜组和单像素探测器;目标物体设置在所述数字微镜器件和所述汇聚透镜组之间;所述数字微镜器件用于输出同步信息;所述单像素探测器用于输出带有目标物体的光强信息。激光器为整个光学系统提供光源;扩束透镜组将激光器发出的光进行准直扩束,使其能够完全覆盖数字微镜器件镜面上。数字微镜器件可以根据加载的散斑图完成±12°翻转,这两个方向分别实现了光场调制功能,选取一个方向的光路即可。目标物体选取透射型物体,调整目标物体与DMD调制后光路方向在同一水平线上,保证光场完全覆盖目标物体。汇聚透镜组将透射后的光场汇聚到耦合镜上,通过光纤将光强信息送给下一级设备。单像素探测器接收总光强信息并将其转换为模拟电压,等待电子学系统采集。

光学成像系统由激光器发出连续光源,经过扩束镜将光源尽可能均匀的照射到数字微镜器件上,完成光场调制的功能,调制后的光经过调整与目标物体作用,再将反射后的光经过汇聚透镜组调整,最终光场信息被单像素探测器以光强方式记录,单像素探测器内部包含光电转换功能,可以将光强信息转换为模拟电压输出。

电子学系统被动接收数字微镜器件发出的同步信息,一旦检测到上升沿就会以中断的方式通知ARM端的中央处理器单元(CPU),CPU确认是来自数字微镜器件的共享中断后,通过AXI4-Lite总线启动数据采集功能,数据采集模块以65MBps速率采集单像素探测器模拟电压,并将12bits数据转换为16bits数据并封装为流数据(AXI-Stream)协议,然后经过Direct Memory Access(DMA)完成数据运输,将采集数据存储在双倍速率同步动态随机存储器(DDR4),经过1024次上述数据采集过程,CPU就会启动图像重建功能,利用1024个光强信息重建出32*32的目标图像,并将结果存储在随机存储器或者外设存储卡中。

如图2所示,激光器发出光源经过反射镜调整光路,经过扩束镜将光源均匀照射到数字微镜器件上,经过数字微镜的调制,光照射到透射型的物体上,透射型物体的T(x)表示,再将光源经过汇聚被单像素探测器接收光强值为B

光学成像系统设计主要包括调制器件选型,单像素探测器的选型,散斑调制序列的制定以及其他光学透镜选型等内容。

调制器件选择数字微镜器件(DMD),它被广泛应用于单像素实验方案中,DMD由大量13.68微米*13.68微米的小微镜组成,它将每个微镜设置为“0”态和“1”态,使其沿其法线翻转±12°。这样就可以在+12°或者-12°方向获得调制光场,另外DMD的每次调制过程中会输出一个上升沿的触发信号可以用于同步探测器的采集数据。数字微镜器件翻转频率最高可达22kHz,这要求数据采集搬运以及前期的预处理工作必须要在45微秒内完成。

单像素探测器是负责接收光路上的光强值信息,本质上它是将光信号转换成电压信号输出。选取索雷博PDA20CS2产品,它的探测波长范围可从800nm到1700nm,增益可调节。最大带宽是11MHz,输出电压范围是0~10V,ADC数据采集位宽是12位,量化精度是2.4mV。

上位机电脑可以预先将散斑加载到数字微镜器件里面,调制策略是加载到数字微镜器件上面的散斑图,包括随机散斑,哈达玛散斑,小波基散斑以及傅里叶散斑等。在经过MATLAB仿真及实验验证后,哈达玛散斑效果更优,一方面哈达玛散斑调制策略复杂度较低,另一方面只有采取哈达玛调制策略,才能通过快速沃什哈达玛变换算法完成图像重建工作。

数据在光学系统中的单像素探测器产生,经过FPGA的模数转换,完成数据采集功能,考虑到一次可能采集多次数据,故使用DMA将采集数据搬运到DDR4中,完成预处理工作后,ARM将单个数据通过AMBA总线写入到FPGA的随机存储器中,以上过程经过1024次,就可以通知ARM启动FPGA的图像重建模块将1024个数据读入,并将重建结果写入FPGA另一个随机存储器中,ARM就可以通过AMBA总线读取其中内容并最终写入SD卡外存中备份。具体如图4所示,光强数据由光学系统的单像素探测器产生,经过电子学系统的ADC数据采集将模拟电压信号转换为12bits的数字信号,在经过DMA将采集数据搬运到DDR4的指定地址处,待数据预处理完成后CPU又会将数据存储到FPGA上的RAM中,采集次数达到阈值后数据又会进入FPGA的图像重建模块完成运算并将结果写入fpga的另一块RAM中,CPU可以将RAM中数据保存到SD卡中,避免数据掉电丢失。

电子学系统整体工作流程如图6所示,首先系统上电初始化共享外设中断,配置AXI_GPIO,配置DMA,配置算法模块,配置数据采集模块等工作,然后等待DMD同步信号,检测到上升沿后跳转到GPIO中断处理函数将flag信号拉高,表示这是一次有效的数据采集请求,然后处理器通知数据采集开始并通过DMA完成数据搬运,DMA一旦完成数据运输后触发中断通知处理器这是一次有效的数据采集,并对adc_cnt数值加一,等待adc_cnt等于1024时表明这是一次满采样过程,处理器就可以启动算法重建IP核,并将结果写到随机存储器中。具体为电子学系统上电后,先完成基本的初始化操作,例如初始化共享外设中断,配置并初始化AXI_GPIO这个同步中断模块,配置并初始化DMA,配置并初始化图像重建模块,数据采集模块无需初始化。初始化flag=flase,adc_cnt=0。读取外设信息即读取数字微镜器件发出的脉冲信号,一旦检测到脉冲信号就会执行AXI_GPIO中断处理函数,该函数读取信号电平是否为高,是的话,将flag状态变为true,不是的话将flag状态变为flase。当flag为true时,cpu就会设置数据采集模块长度信息并启动数据采集以及DMA数据传输,当flag为flase时,系统再次等待数字微镜器件发出脉冲信号。DMA数据传输完毕后会自动产生S2MM中断,并跳转到DMA中断处理函数中,该函数将adc_cnt自增,表明采集完成一次,跳出中断处理函数,判断adc_cnt是否达到阈值,若达到阈值,cpu启动图像重建模块,若未达到,再次等待数字微镜器件脉冲信号。

单像素成像流程:

初始化工作:光学成像系统首先设置好数字微镜器件的翻转频率,占空比,并将1024个光场调制矩阵(1024个32*32大小的由0和1组成的散斑图)存储到数字微镜器件里面,这一步是通过光学成像系统的上位机实现各项参数设置。

此时数字微镜器件开始工作,数字微镜器件完成一张散斑图加载显示就给电子学系统输出一个同步信号,该同步信号是1bit脉冲信号,通知电子学系统可以开始采集单像素探测器数据,然后电子学系统由主控部分ARM通过AXI—Lite总线配置数据采集模块,设置采集长度信息比如100组数据,再启动该模块,数据采集模块就会读取单像素探测器的模拟电压信号,并将信号转换为12bits的数字信号,紧接着通过DMA将数据搬运到DDR中的指定位置处,将100组数据做简单的预处理过程(取均值或中值)最后保存1个数值即可,同时数据采集运输完成后又会通知ARM完成,ARM将adc_cnt全局变量加1,表明采集完成一次,这期间都必须严格符合数字微镜器件时序,如图7所示,具体为数字微镜器件发出脉冲同步信号,系统检测到脉冲信号的上升沿后延时15微秒,延时作用是等待数字微镜器件加载散斑稳定,配置采集数据长度为100,启动数据采集过程耗时2微秒,启动DMA数据搬运以及数据预处理功能耗时19微秒,一次采集完成,等待下一次数字微镜器件的上升沿到达。

然后,数字微镜器件加载显示下一张散斑图,又会输出一个脉冲信号,步骤同上,这个过程经过1024次采样后,adc_cnt==1024,此时ARM就通过AXI_Lite总线启动算法重建模块,该算法重建模块就是上文提到的快速沃什哈达玛变换算法的硬件IP核(由高层次综合将软件算法转换为硬件IP核),ARM只需要控制它启动即可,最后该算法IP核就会读取DDR中指定位置的1024个数据,待算法重建完成后会输出完成标志给ARM同时将结果写入到另一个指定位置的存储空间,即完成了整个系统的工作。

本发明提供的单像素成像方法、系统,在于集数据采集和图像重建一体化,大幅节省了数据离线传输成本,另外基于快速沃什哈达玛变换算法的单像素成像方案大幅减少了对于FPGA资源的消耗,为单像素成像的集成化小型化提供一种解决方案,FPGA又具备并行化数据处理能力,大幅减少了图像重建耗时,最终实现了快速重建型和资源节约型的FPGA单像素成像系统。

在实际应用中,如图8所示,电子学系统为XAZU3EG。XAZU3EG一个由ARM处理器(PS,Processing System),FPGA可编程逻辑(PL,Programmable Logic)部分组成异构系统。其实现了工业标准的AXI接口,在芯片的两个部分实现了高带宽,低延迟的连接。

ARM系统部分:

Memory(内存)指的是硬件电路板上的双倍速率同步动态随机存储器(DDR),其作用是为程序运行提供空间,存储临时变量等。

DDR3_Memory_Controller指的是DDR的内存控制器,其作用是设置内存种类为DDR4,设置总线传输带宽为32Bit,设置是否对数据进行校验,设置DDR工作频率,设置突发传输长度等。

RS-232串口通信作为UART的物理层面实现,硬件上以USB接口形式与上位机相连,其硬件底层包含CP2102芯片完成USB与UART的转换功能,配合TXS0102DCTR芯片完成硬件层面的数据传输功能。此串口主要用于SDK嵌入式开发中的查阅调试信息,后期可去除。

MIO(Multiplexing IO)是PS端可复用的IO管脚资源,类似于RS-232与TF卡都需要接入PS端MIO部分,该硬件即为PS端BANK501。在MIO配置中勾选UART与SD,就可以将FPGA板卡外部的RS-232与TF卡分别与PS端UART以及SD接口相连接,也就是物理层连接。

UART作为PS端外设资源的一部分,其作用是将数据转换为UART协议进而发送到CPU中,CPU也可以通过UART访问外部RS-232的缓冲数据。

FPGA系统部分:

AXI-Interconnect作为一个具有多个主机与从机端口的AXI组件,主要作用是作为中间结点连接各个AXI接口的组件,本次设计的BRAM-Controller就是通过AXI4总线与之相联,IDGI算法模块是通过AXI4-Lite总线与之相联。

ADC数据采集IP核以65MHz速率采集12位数据,处理器通过AXI-Lite总线配置该模块数据采集长度以及启动情况,该模块将12位数据扩展为16位并封装成流数据接口与DMA进行数据交互。

DMA数据传输IP核从ADC模块读取流数据,然后将数据自动写入DDR空间中,传输完成后发出中断通知处理器。

AXI_GPIO同步中断IP核接收来自DMD的单比特同步信号,一旦检测到上升沿后触发中断,将flag信号拉高,表明有数据请求。

RAM IP核是一种存储类的IP核,此设计中有两个模块。其中一个IP核主要作用是存储从ADC采集的光强信息,另外一个是存储FWHT算法重构结果。设置存储哈达玛矩阵的BRAM模块读写位宽是32位,该模块消耗了FPGA中4个36KRAMs资源。

BRAM-Controller IP核是为了方便的与本地的Block Memory Generator模块进行通信而设计的IP核,其BRAM端接口连接本地Block Memory Generator模块,另一端AXI4接口与AXI-Interconnect连接,其作用方便PS端通过AXI总线对PL端BRAM数据交互。

图像重建算法IP核是通过HLS设计产生的,它是PL端的核心模块,基于FWHT算法重构目标图像,该图像是以矩阵的形式存储在BRAM中。通过HLS将其数据接口全部封装为BRAM接口与本地Block Memory Generator模块进行数据交互,将控制端口封装为AXI-Lite接口,与AXI-Interconnect连接,直接由PS端控制该IP核是否启动,并实时监控其运行状态。

综上所述,PS端负责资源调用以及外设配置,PL端负责运算以及其他辅助数据协议转换,两者之间通过AXI总线进行数据交互,这样的设计既实现了对算法重构的硬件加速,也减少了CPU对数据处理的负担。

本发明还提供一种单像素成像方法,所述单像素成像方法应用于所述的单像素成像系统,所述单像素成像方法包括:

获取同步信号。

根据所述同步信号控制数据采集模块进行光强信息采集并记录采集次数。

判断所述采集次数是否达到设定阈值。

若是,则控制图像重建模块根据所述光强信息利用蝶形运算形式的快速沃什哈达玛变换算法进行图像重建。

若否,则返回步骤“获取同步信号”。

目前制约单像素成像图像重建工作的主要有两个因素:一是个人计算机无法进行并行运算,对于大矩阵的复杂运算既耗费大量时间又占用了极大的内存资源,甚至性能较低的计算机无法完成256*256的单像素成像图像重建。二是单像素成像需要大量测量矩阵作为参考标准,参与图像运算工作,极大地增加了系统的数据存取的负担。本发明采用FPGA开发方式并结合流水线,数组分割,循环展开等手段使单像素成像重建工作可以并行化进行,极大加快了运算过程,另外基于快速沃什哈达玛变换算法的图像重建方法无需测量矩阵作为参考标准,大幅度节省了系统的存储需求,同时该算法仅包含加减法简单操作,非常适合在FPGA上实现,该算法对于单像素成像的大像素图像重建意义重大,FPGA并行化以及快速沃什哈达玛变换算法结合对促进单像素成像系统更加小型化有着深远的意义。

本发明首先基于高层次综合工具设计快速沃什哈达玛变换算法,代码简洁,接口可灵活配置,更重要的是该算法消耗资源少,其次将数据采集和图像重建融合,避免了离线下载数据的问题,更利于单像素成像工程化,无需测量矩阵的图像重建方法大幅降低了系统对于内存的要求,同时FPGA支持并行化数据处理以及流水线操作,提高系统的数据吞吐量,满采样1024次图像重建仅耗时300微秒,最后形成了快速重建型和资源节约型的单像素成像系统。具体优势如下:

针对于快速沃什哈达玛变换算法,无需存储测量矩阵,大幅降低了对系统内存要求,其蝶形算法不涉及乘除运算,大大降低了FPGA自身查找表触发器等资源的消耗,为大像素的单像素成像提供了解决方案。

采用高层次综合工具可以准确指明该算法模块整体所消耗的BRAM(块随机存储器),DSP,FF(触发器),LUT(查找表)等资源情况,内部变量占用资源情况,以及整个算法从输入开始经过流水线加速最终得到输出结果所消耗的时间,从资源占用方面以及算法耗时方面都可以给设计人员明确的指示。

综上所述,实现了资源节约型,快速重建型的FPGA单像素成像系统。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

相关技术
  • 一种基于傅里叶功率谱探测的单像素相位成像方法
  • 一种基于非训练的神经网络约束的差分单像素成像系统及成像方法
  • 一种相干单像素成像系统及成像方法
技术分类

06120116482935