一种基于复眼相机阵列的远场信号反演重建方法

技术领域

本发明属于计算光学成像技术，具体为一种基于复眼相机阵列的远场信号反演重建方法。

背景技术

人眼的视觉能力受其生理结构的限制，在时间、空间、灵敏度、分辨力等方面均存在局限，无法获取遥远距离的信息或者难以看清非常细小的物体。光学系统的出现打破了人们对于远距离目标信息获取的瓶颈。人们第一次将视力范围拓展到了一个新的高度，人类的视觉功能得到了质的飞跃。但是光学成像系统的信息量受到视场和分辨率的制约。短焦距镜头能够获得较大的视场范围，但无法观测到场景中人物的细节。焦距增大后，对场景细节的分辨能力虽得以提升，但其视场角几乎得到等比例的缩小，只能看到场景中很少的一部分信息。为了同时获得更大的视场范围和更加细节的目标信息，光学系统朝着广域和高分辨率的方向发展。计算成像技术的出现使得广域高分辨成像成为可能([1]CN202010490965.9，一种非干涉合成孔径超分辨成像重构方法)，不同于以往的传统的光学成像系统，计算成像技术借助于计算机高效的处理性能，可以同时兼顾广域和高分辨率。截至目前，已经涌现出大量基于计算成像技术的广域高分辨率成像系统。

2007年，Kopf等用单个单反镜头进行扫描拼接成像，以获取广域高分辨率十亿级像素的图像([2]Kopf J，Uyttendaele M，Deussen O，et al.Capturing and viewinggigapixel images[J].Acm Transactions on Graphics，2007，26(3)：93-es.)。该系统使用焦距为100～400mm的变焦镜头，长焦时以大约5s的时间拍摄单张图像，30min内采集高分辨率图像250张，90min内采集图像800张，全视场角150°，图像总像素数36亿，拍摄耗时30～90min，后期拼接处理需3～6h，即用后期处理时间换成像质量。2018年，西安电子科技大学吴雄雄等提出一种同心多尺度双分辨率成像系统，前级系统采用一个同心球形物镜，次级系统采用1个单透镜和1个双胶合透镜，结合二轴微机电系统(MEMS)扫描微镜，通过驱动MEMS子成像系统可实现小视场下的高分辨率扫描成像，动态跟踪目标区域([3]吴雄雄.基于多尺度成像原理的宽视场高分辨光学系统设计与研制[D].西安电子科技大学，2018.)。该系统虽然使用较少的次级小相机实现了中继成像，减少了图像获取、传输和处理的数据量，但多个微相机分割视场转接成像会造成系统中心遮拦大的问题，同时也存在定焦系统无法实现对探测区域内目标信息的细节进行放大的问题。西安电子科技大学邵晓鹏等设计了一种多孔径成像系统，系统总视场为123.5°×38.5°，像素数超1亿，可实现图像、视频实时全局查看，且支持局部细节信息查看、导出等功能([4]邵晓鹏，刘飞，李伟，等.计算成像技术及应用最新进展[J].激光与光电子学进展，2020，57(2)：020001.)。但此系统在大视场模式切换至局部细节查看时存在明显跳变，不利于动态跟踪已确定的目标，因此实现快速、大视场平滑过渡至局部细节观测是一项亟需解决的瓶颈问题。

发明内容

本发明的目的在于提供一种基于复眼相机阵列的远场信号反演重建方法，既能实现两种模式的智能切换，又能保证高速实时拼接成像及高分辨成像模式下远场信号反演重建。

实现本发明目的技术方案为：一种基于复眼相机阵列的远场信号反演重建方法，具体步骤为：

步骤1：构建复眼相机阵列；

步骤2：根据使用需求，选择复眼相机阵列模式，所述复眼相机阵列模式包括广域视场合成模式和高分辨精细成像模式；

步骤3：利用复眼相机阵列进行图像采集，并根据选择的复眼相机阵列模式对采集的图像做相应的处理。

优选地，所述复眼相机阵列包括相机1～25、滑轨8～12、云台14，滑轨8～12等间距平行设置在云台上，相机1～25以5×5阵列形式排列在滑轨8～12上，且相邻相机的距离与相邻滑轨的具体相等，相机1～25均可调节。

优选地，广域视场合成模式时，计算满足90度合成视场角的各子眼相机与阵列中心相机的转动角度，舵机调控复眼相机阵列使得各子眼相机依照计算出的转动角度转动，且相邻相机之间的视野重叠区域至少为15％。

本发明与现有技术相比，其显著优点：(1)相对于现有复眼成像拼接系统，该装置结构简单，测量快速，操作简易，结合GPU加速技术可实时重建得到广域视场合成图像。(2)利用复眼相机阵列采集不同光场视角下的低分辨图像，并结合TV正则化稀疏迭代优化算法，可减少所需光场视角图像，实现高分辨信号的计算反演。(3)本发明可以实现广域视场合成及高分辨精细成像模式下的智能切换，并且复眼相机阵列对于运动目标在相邻子眼相机间不形成跳跃。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为一种基于广域视场合成及高分辨精细成像的复眼系统示意图。

图2为本发明采用的单个相机及其配套元件的结构示意图。

图3为本发明广域视场合成模式流程示意图。

图4、5为本发明广域视场合成模式的实验结果，图4是拍摄得到的25个子图，图5是本发明使用的复眼相机阵列系统的拼接结果。

图6为本发明高分辨精细成像模式流程示意图。

图7、8为本发明高分辨精细成像模式的实验结果，图7是拍摄得到的低分辨图像，图8是本发明高分辨精细成像模式的成像结果图。

具体实施方式

一种基于复眼相机阵列的远场信号反演重建方法，具体步骤为：

步骤1：构建复眼相机阵列，所述复眼相机阵列包括相机1～25、滑轨8～12、左右调节手柄13、云台14，每个相机都配有舵机连接件2、舵机3、舵机连接件4、舵机5、舵机滑块连接件6、上下调节滑块7。相机1～25以5×5阵列形式排列在滑轨8～12上，相邻相机之间的距离相等。滑轨8～12通过螺钉垂直连接至云台14，其中滑轨10处于云台14的中心位置，滑轨8、9位于滑轨10的左侧，滑轨11、12位于滑轨10的右侧，相邻滑轨之间的距离与相邻相机之间的距离相同。相机通过舵机连接件2与舵机3连接，舵机3通过舵机连接件4与舵机5连接，并通过舵机滑块连接件6连接至上下调节滑块7。

步骤2：根据使用需求的不同，选择复眼相机阵列模式，即广域视场合成模式、高分辨精细成像模式。针对大范围视场角下的动态场景信息获取的需求，复眼相机阵列选择广域视场合成模式，针对目标物体高分辨精细成像的需求，复眼相机阵列选择高分辨精细成像模式。复眼相机阵列初始模式为广域视场合成模式。

具体地，广域视场合成模式时，计算满足90度合成视场角的各子眼相机与阵列中心相机的转动角度，舵机调控复眼相机阵列使得各子眼相机依照该角度转动，且相邻相机之间的重叠区域至少为15％。

在其中一个实施例中，如图1所示，所有子眼相机按照5×5等距排列，相邻相机之间的距离为124mm，相机的转动角度由舵机3和舵机5控制。在广域视场合成模式下，相机13为阵列中心相机，相机1～12、相机14～25相对于相机13进行偏转，可以实现90度的合成视场角。此时相机2、相机7、相机12、相机17、相机22、相机4、相机9、相机14、相机19、相机24的横向发散转动角θ

θ

θ

其中，Ω

相机1、相机6、相机11、相机16、相机21、相机5、相机10、相机15、相机20、相机25的横向发散转动角θ

θ

θ

相邻相机水平方向上的重叠区域占单个相机水平方向上的视场区域比值中的最小值k

其中，L表示物体与复眼相机阵列的距离。

相邻相机垂直方向上的重叠区域占单个相机垂直方向上的视场区域比值中的最小值k

为确保图像拼接算法结果质量，要求相邻相机重叠区域约占单个相机视场区域的15％及以上，即k

当复眼相机阵列观测100m处的物体，整体水平视场角为90度，整体垂直视场角为50度，子眼相机水平视场角为30度，垂直视场角为25度时，每个相机横向发散、纵向发散转动角计算如下表

表1每个相机的横向发散转动角

表2每个相机的纵向发散转动角

相机阵列在广域视场合成模式下的单个相机的视场覆盖区域为一个宽度为535.9m～732.05m的矩形，相邻相机之间的重叠区域宽度为267.83m～309.27m。此时重叠区域占独占区域的比值为36.6％～57.7％，保证了拼接图像的质量。

具体地，高分辨精细成像模式时，计算满足观察同一个物体条件的各子眼相机与阵列中心相机的转动角度，舵机调控复眼相机阵列使得各子眼相机依照该角度转动。

在其中一个实施例中，相机2、相机7、相机12、相机17、相机22、相机4、相机9、相机14、相机19、相机24的横向发散转动角θ

θ

相机1、相机6、相机11、相机16、相机21、相机5、相机10、相机15、相机20、相机25的横向发散转动角θ

θ

其中，L表示被拍摄物体与该复眼相机阵列的距离，l表示复眼相机阵列中子眼相机的间距。

当复眼相机阵列观测100m处的物体时，每个子眼相机间距为124mm，其横向会聚、纵向会聚转动角计算如下表：

表3每个相机的横向会聚转动角

表4每个相机的纵向会聚转动角

步骤3：广域视场合成拼接步骤具体如下：

25个相机阵列实时采集到25张图片，按照相机所在行的位置将其分为五组图片，每组图片按照相机所在列的位置排序。分别提取每组图片的特征点，生成对应的描述子descriptors，根据描述子进行匹配，筛选出最优的匹配点对good_matches，获取最优匹配点对的二维像素坐标Point2f，根据坐标值计算单应矩阵H，利用单应矩阵将每组图片的像素点映射到每组第一幅图片上，查找相邻图像重叠区域的接缝线，并进行渐入渐出融合，生成各组拼接图像。对各组拼接图像重复上述特征点提取、匹配、计算单应矩阵、像素点映射、接缝线查找、渐入渐出融合的过程，最终生成全景图。

图3为广域视场合成模式的流程图，本发明基于复眼相机阵列的远场信号反演重建方法中的广域视场合成模式下，根据已知转动角调控子眼相机，复眼相机阵列单帧拍摄由25幅图像组成的图像级，每帧图像集都经过如下的步骤：

1.获取最优的匹配点对。利用Hessian矩阵对相邻的图像生成所有的兴趣点，即图像稳定的边缘点。构建多尺度空间，将经过Hessian矩阵处理的兴趣点和它同尺度的共8个相邻点和上下相邻尺度对应的9×2个点比较得出初始特征点，滤除能量比较弱和定位错误的初始兴趣点，得到稳定特征点。统计稳定特征点圆形邻域内的harr小波特征得到稳定特征点的主方向。沿着主方向取以稳定特征点为中心4*4像素点大小的矩形区域块，统计矩形区域块内所有向量值从而得到稳定特征点的描述子。根据描述子计算稳定特征点之间的欧式距离确定匹配度。一个稳定特征点与其匹配度最优的特征点、与其匹配度次优的特征点分别构成相似点对和较相似点对，根据相似点对和较相似点对间欧式距离的比值小于0.6，得到最优的匹配点对。

2.计算重叠区域宽度。获得最优的匹配点对的坐标，计算相邻图像之间的单应矩阵，以相邻图像左边的图像为第一幅图像，相邻图像右边的图像为第二幅图像，根据单应矩阵可以算得第二幅图像素点映射在第一幅图像上面的坐标，计算得到重叠区域的宽度d为：

d＝x1-x2

其中，

3.根据已有的第一幅图像和第二幅图像的坐标生成全景图的宽度width和高度height为：

width＝ds-d

其中，ds表示第一幅图像和第二幅图像的宽度之和，h表示第一幅图像的高度，

4.根据重叠区域的宽度以及第一幅图像和第二幅图像的像素点坐标得到重叠区域的起点横坐标值start和终点横坐标值end为：

start＝x1

end＝start+d

5.获取第一幅图像和第二幅图像重叠区域的最佳缝合线。记(start，0)、(start，h)、(end，0)、(end，h)组成的矩形区域为第一幅图像的重叠区域，记(0，0)、(0，h)、(d，0)、(d，h)组成的矩形区域为第二幅图像的重叠区域。依照像素差值最小和像素点结构最相似的原则，建立以第一幅图像和第二幅图像的重叠区域第一行每一个像素为起点的缝合线，将每一条缝合线的当前点与该点紧邻的下一行的3个像素点强度值相加进行比较，取最小强度值所对应的像素点位置作为该缝合线的扩展方向，最终得到第一幅图像和第二幅图像重叠区域的最佳缝合线。

6.处理第一幅图像和第二幅图像重叠区域的灰度值，最终得到一幅全景图。根据第一幅图像和第二幅图像的重叠区域的最佳缝合线，将第一幅图像和第二幅图像的重叠区域分为左区域和右区域，根据第一幅图像和第二幅图像重叠区域的坐标对左区域和右区域赋值，每个像素点所乘的比例值

其中，m表示该重叠区域对应的图像序号，(i，j)

7.对每一行的5张图像两两依次进行1～6的操作，生成5张全景图，对这5张全景图先进行旋转操作，再两两依次进行1～6的操作，最终得到25张子图的整体全景图。对每帧得到的25张子图都进行如上的操作，最终实现整体图样的实时显示。图4为采用本发明基于复眼相机阵列系统拍摄得到的25个子图，图5是本发明使用的复眼相机阵列系统的拼接结果，单个图像水平视场范围为30°，通过本发明提出的广域视场拼接合成算法可以实现无明显接缝线，边界平滑的广域视场图像，合成图像水平视场范围大于90°。

步骤4：高分辨精细成像模式的具体过程为，复眼相机阵列拍摄同一个物体的一系列低分辨子图像。本发明基于复眼相机阵列的远场信号反演重建方法中的高分辨精细成像模式下，根据已知转动角调控子眼相机，利用复眼相机阵列采集不同光场视角下的低分辨图像，并求解带有TV正则化项的拉格朗日增广式，在傅里叶域进行交替迭代更新重构，可获得超越探测器空间采样频率的高分辨图像，实现远场信号反演重建。

图6为高分辨精细成像模式的流程图，本发明基于复眼相机阵列的远场信号反演重建方法中的高分辨精细成像模式步骤具体如下：

1.根据确定的转动角度单独调控复眼相机阵列各子眼相机，子眼相机拍摄同一个物体，得到相应的低分辨图像b

2.将所有低分辨率图像的平均作为初始化的低分辨率图像，然后对其进行插值放大，作为初始化的高分辨率图像，并对其做傅立叶变换，求得初始化的高分辨率频谱psi

3.建立带有TV正则化项的拉格朗日增广式，具体为：

其中，psi

4.初始化带有TV正则化项的拉格朗日增广式。将TV正则化项参数w、拉格朗日乘子y

5.更新自定义参数s

6.更新第i个子眼相机的自定义参数g

其中，sgn{...}表示符号函数。

7.更新高分辨频谱psi

其中，N表示子眼相机的数量。

8.更新TV正则化项参数w。对更新得到的psi

其中，D表示实测得到的梯度参数，

9.更新拉格朗日乘子y

10.更新拉格朗日乘子v。将更新后TV正则化项参数w减去孔径函数测得的场强值H与psi

11.如果iter的值大于1，则利用高分辨频谱psi

其中，psi

12.令i＝i+1，选择下一个子眼相机，重复迭代步骤5到步骤11，直到所有子眼相机所对应的孔径函数P

13.令iter＝iter+1，重复迭代步骤5到步骤12，直到重构的高分辨率图像收敛，收敛的判据为参数ε

图8为对室外物体进行超分辨率成像的实验结果，图7是未进行超分辨重构前的使用像素尺寸为12μm可见光相机拍摄的低分辨率原始图像。可以看出，采集到的图片存在明显像素化的问题，目标物边缘模糊，无法辨识目标物细节。通过提出的重建，目标物体的细节得到大幅提升，超分辨重构效果明显。