一种双景象生成器件投影图像的融合配准方法

技术领域

本发明属于图像配准技术领域，具体地，涉及一种双景象生成器件投影图像的融合配准方法。

背景技术

基于图像视觉的图像配准方法，旨在通过检测图像中的相关特征点，进行匹配和迭代找寻最优变换模型来实现像素对齐，以直观获取融合信息，适用于已获取到的图像数据，这种方法的目标是实现像素对齐，以便在不同图像之间进行直观的信息融合。这一技术在计算机视觉、医学图像处理、材料力学、遥感等领域都有广泛的应用。

图像配准的基本原理是检测图像中的特征点，这些特征点在不同图像之间具有对应关系。通过对这些特征点进行匹配，并采用迭代的方式寻找最优的变换模型，可以实现图像的像素级对齐。这个过程可以用于将不同视角或时间拍摄的图像进行精确的叠加，使得融合的图像更加清晰、准确。

现有技术多用于成像系统的图像配准，具体如消除对运动目标成像时产生的伪影，运动目标的伪影为前一时刻的运动状态和后一时刻的运动状态不同，即图像拍摄时间的不一致和场景中动态对象的运动造成，消除目标运动产生的伪影可大幅提高成像质量，但是这些技术只针对改善成像系统的性能，而无法被应用于投影显示领域。

在投影领域，利用双通道共口径投影光学系统，可以使经同步控制的双景象生成器件的调制层光学性地叠加，使像素一一重合，通过重合像素的联合空间光调制可极大提高投影图像的位深或帧频，改善投影设备性能。而通过传统机械调整方法不可能实现两景象生成器件的像素级配准，由失配带来的伪影同样会使得投影质量下降。因此，本发明提出一种针对投影领域的图像融合配准方法，适用于解决双通道共口径并联光路中两景象生成器件的失配问题。

发明内容

本发明提出了一种双景象生成器件投影图像的融合配准方法，以解决双景象生成器件在双通道共口径光学系统下的投影图像失配的技术问题，可实现双景象生成器件投影图像的像素级配准。

本发明通过以下技术方案实现：

一种双景象生成器件投影图像的融合配准方法：所述方法具体包括以下步骤：

步骤一，初步配准：相机接收模块采集双景象生成器的投影，采集双十字线的横纵轴误差，进行初步机械调试；

步骤二，预处理：上传具有复杂特征的源图像至投影模块，双景象生成器件分别投影，相机接收模块进行格式转换，得到的图像分别作为参考图像和待配准图像，完成预处理；

步骤三，精确配准：使用图像配准模块，对参考图像和待配准图像进行精确配准，

步骤四，仿射变换：使用仿射变换模块对上传至其中一个景象生成器件的源图像根据单应性矩阵进行仿射变换，上传至另一景象生成器件的源图像保持不变，再次通过投影模块分别投影，则伪影消失；

步骤五，验证配准精度：从步骤二至步骤四反复执行，验证配准精度，判定所求单应矩阵是否有效；

步骤六，连续的多帧投影：后续的源图像在投影时，在上传至两景象生成器件前，其中一幅都需要利用单应矩阵先执行仿射变换，然后再将源图像和变换后的源图像分别上传至两景象生成器件并投影，实现两景象生成器件投影图像的融合配准。

进一步的，在步骤一中，将一张十字线源图像上传至投影模块，使双景象生成器件同时投影，相机接收模块固定，用于采集；观察采集到的双十字线的横纵轴误差，进行初步机械调试，最终使横纵轴的平均误差都控制在约50个像素点之内，完成初步配准。

将一张具有复杂特征的源图像上传至投影模块，双景象生成器件分别投影，相机接收模块采集到两张图像并储存至上位机；将采集到的两张图像的像素尺寸，转化为符合景象生成器件的像素尺寸；得到的图像分别作为参考图像和待配准图像，完成预处理。

进一步的，在步骤三中，所述精确配准流程为：

步骤三一，对参考图像和待配准图像首先根据尺度不变特征变换算法进行特征点提取；

步骤三二，使用快速最近邻逼近搜索的匹配机制，对提取到的特征点进行的初匹配；

步骤三三，随机抽样一致性算法，迭代计算最优单应性矩阵参数，完成特征点精匹配。

进一步的，在步骤三一中，具体为：

首先利用高斯差分法构造尺度空间极值；其次对高斯尺度空间中检测到的极值点进行拟合，确定特征点的准确位置和尺度；

然后根据图像的局部梯度分配特征点方向；最后根据图像梯度大小和方向，得到一个描述子生成器来计算每个特征点的特征描述子。

进一步的，在步骤三二中，建立一种快速最近邻逼近搜索的匹配机制

对步骤三一中提取到的参考图像和待配准图像特征点，建立集合，参考图像中特征点:

对具有128维的特征点的相似性度量采用欧式距离，任意特征点对相似性度量为:

T的范围在0-1，为一个经验值，靠近0，总匹配量减少，匹配精度增高；靠近1，总匹配量增多，出现的误匹配也增多，匹配精度降低。

进一步的，在步骤三三中，采用随机抽样一致性算法；

对步骤三二中，初匹配成功的特征点，随机选取4对作为样本, 多次迭代计算单应性矩阵参数，剔除错误的匹配对，提升匹配精度，使得相应得代价函数最小，得到最终的精匹配和最优单应性矩阵参数，完成参考图像和待配准图像的特征点精匹配；

单应性矩阵表示为:

其中(

代价函数表示为:

。

进一步的，在步骤四中，使用仿射变换模块将上传至其中一个景象生成器件源图像根据单应性矩阵进行仿射变换，将源图像和源图像经过仿射变换后的图像上传至投影模块，分别由第一景象生成器件与第二景象生成器件，同时投影，相机接收模块再次采集；最终，双景象生成器件的投影图像融合，伪影消失；

在步骤五中，为了验证最终的配准精度，再次从步骤二开始，对双景象生成器件的投影图像分别采集，尺寸转化后，再次分别进行特征点提取，初匹配，精匹配，并记录20对匹配的特征点的坐标进行对比，当图像配准精度小于1像素时，则判定所求的单应矩阵有效。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明有益效果

本发明创新性的用于双景象生成器件投影图像融合领域，相对于传统的机械调整方法，这种双景象生成器件的像素级配准具有显著的优势，传统机械调整方法很难实现像素级的配准，因为它们可能受到机械精度的限制，由于失配可能导致伪影，因此无法避免地会导致投影图像质量的降低；此外，失配还可能使经同步控制的双景象生成器件的联合空间光能力下降，影响整体系统性能，因此本发明解决了因失配问题带来的图像质量下降问题，有力保证并联双景象生成器件的联合空间光能力。

本发明通过采用尺度不变特征变换算法、快速最近邻逼近搜索的匹配机制和随机抽样一致性算法，实现了高精度的图像配准。通过最终验证，投影图像在X轴和Y轴的平均像素误差都在1个像素点以内，表明配准的精度相当高。

本发明采用随机抽样一致性算法进行特征点的精匹配，能够剔除错误的匹配对，提高了算法的鲁棒性，使得最终配准结果更加可靠。

本发明引入快速最近邻逼近搜索的匹配机制，加速了特征点的初匹配过程，从而提高了整体配准的效率。

本发明通过仿射变换模块，可以适用于不同类型的源图像，包括具有复杂特征的图像。

本发明所使用的两景象生成器件，只要保证产品型号完全相同即可，可以是任意类型的景象生成器件，包括但不限于数字微镜器件、液晶显示器、硅基液晶、电阻阵列等。

这种通用性使得该方案在多种场景下都具有应用潜力。通过最终的仿射变换，成功消除了由两景象生成器件的失配带来的伪影，极大提升了融合投影图像的质量。

附图说明

图1为执行本发明所述的一种双景象生成器件投影图像融合方法的装置示意图；

图2为初步配准效果图；

图3为精确配准流程图；

图4为尺度不变特征变换算法流程图；

图5为尺度不变特征变换算法效果图；

图6为快速最近邻逼近搜索的匹配机制流程图；

图7为快速最近邻逼近搜索的匹配机制效果图；

图8为随机抽样一致性算法流程图；

图9为随机抽样一致性算法效果图；

图10为精确配准效果图；

图11为精确配准后X-Y轴平均像素误差图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1至图11。

本发明面向具有双通道共口径光学系统的投影显示设备进行两个投影图像的配准，因此本发明所述的双景象生成器不仅局限于数字微镜器件，还可以是液晶显示器、硅基液晶、电阻阵列等，只要用于并联投影光路的双景象生成器件型号一致，且用于接收投影图像的相机的分辨率高于双景象生成器件即可。

本发明提出了一种双景象生成器件投影图像的融合配准方法；

所述融合配准方法的装置包括投影模块、相机接收模块、图像配准模块和仿射变换模块；

所述投影模块由双景象生成器件组成，在十字线源图像上传至投影模块后，双景象生成器件同时投影，将相机接收模块保持固定，接收双景象生成器件投影图像；

本实施例以两个1024×768像素尺寸的数字微镜器件(digital micromirrordevice, DMD)为双景象生成器件，相机接收模块采集的图像分辨率为2448×2048像素尺寸。

所述图像配准模块用于对参考图像和待配准图像进行精确配准，精确配准总流程图如图3所示，包括：尺度不变特征变换算法的特征点提取，快速最近邻逼近搜索的匹配机制的初匹配，随机抽样一致性算法的精匹配三部分组成。

所述仿射变换模块用于源图像的仿射变换，将源图像和源图像经过仿射变换后的图像上传至投影模块并同时投影，相机接收模块再次采集，双景象生成器件的投影图像融合，伪影消失。

在双景象生成器件组成的投影模块结构不改变的情况下，仿射变换模块可以实时的适用于投影模块使得融合效果保持，无论是图像的单帧投影还是连续的多帧投影；

所述双景象生成器件投影图像的融合配准方法具体包括以下步骤：

步骤一，初步配准：相机接收模块采集双景象生成器的投影，采集双十字线的横纵轴误差，进行初步机械调试；

将一张十字线源图像上传至投影模块，使双景象生成器件同时投影，相机接收模块固定，用于采集；观察采集到的双十字线的横纵轴误差，进行初步机械调试，最终使横纵轴的平均误差都控制在约50个像素点之内，完成初步配准；效果如图2所示。

步骤二，预处理：上传具有复杂特征的源图像至投影模块，双景象生成器件分别投影，相机接收模块进行格式转换，得到的图像分别作为参考图像和待配准图像，完成预处理；

在实施例中，将一张具有复杂特征的源图像上传至投影模块，双景象生成器件分别投影，相机接收模块采集到两张2448×2048像素尺寸图像并储存至上位机；将采集到的两张图像的像素尺寸，转化为符合DMD像素尺寸的1024×768；得到的图像分别作为参考图像和待配准图像，完成预处理。

步骤三，精确配准：使用图像配准模块，对参考图像和待配准图像进行精确配准，精确配准总流程图如图3所示，

所述精确配准流程为：

步骤三一，对参考图像和待配准图像首先根据尺度不变特征变换算法进行特征点提取；图4为尺度不变特征变换算法流程图；

首先利用高斯差分法构造尺度空间极值；其次对高斯尺度空间中检测到的极值点进行拟合，确定特征点的准确位置和尺度，同时去除对比度低、边缘响应不稳定的特征点，增强匹配稳定性，提高抗噪能力；

然后根据图像的局部梯度分配特征点方向；最后根据图像梯度大小和方向，得到一个描述子生成器来计算每个特征点的特征描述子。通过以上步骤，完成参考图像和待配准图像的特征点提取；图5为尺度不变特征变换算法效果图。

步骤三二，使用快速最近邻逼近搜索的匹配机制，对提取到的特征点进行的初匹配；

建立一种快速最近邻逼近搜索的匹配机制，图6为快速最近邻逼近搜索的匹配机制流程图；

对步骤三一中提取到的参考图像和待配准图像特征点，建立集合，参考图像中特征点:

对具有128维的特征点的相似性度量采用欧式距离，任意特征点对相似性度量为:

T的范围在0-1，为一个经验值，靠近0，总匹配量减少，匹配精度增高；靠近1，总匹配量增多，出现的误匹配也增多，匹配精度降低。实施例选择T为0.9，以确保获取足够的匹配量；经以上步骤，完成参考图像和待配准图像的特征点初匹配；图7为快速最近邻逼近搜索的匹配机制效果图。

步骤三三，随机抽样一致性算法，迭代计算最优单应性矩阵参数，完成特征点精匹配。

采用随机抽样一致性算法，图8为随机抽样一致性算法流程图；

对步骤三二中，初匹配成功的特征点，随机选取4对作为样本, 多次迭代计算单应性矩阵参数，剔除错误的匹配对，提升匹配精度，使得相应得代价函数最小，得到最终的精匹配和最优单应性矩阵参数，完成参考图像和待配准图像的特征点精匹配；图9为随机抽样一致性算法效果图；

单应性矩阵表示为:

其中(

代价函数表示为:

。

步骤四，仿射变换：使用仿射变换模块对上传至其中一个景象生成器件的源图像根据单应性矩阵进行仿射变换，上传至另一景象生成器件的源图像保持不变，再次通过投影模块分别投影；

在步骤四中，使用仿射变换模块将上传至其中一个景象生成器件源图像根据单应性矩阵进行仿射变换，将源图像和源图像经过仿射变换后的图像上传至投影模块，分别由第一景象生成器件与第二景象生成器件，同时投影，相机接收模块再次采集；图10为精确配准效果图，最终，伪影消失；

步骤五，验证配准精度：从步骤二至步骤四反复执行，判定单应矩阵是否有效。

在步骤五中，为了验证最终的配准精度，再次从步骤二开始，对双景象生成器件的投影图像分别采集，尺寸转化后，再次分别进行特征点提取，初匹配，精匹配，并记录20对匹配的特征点的坐标进行对比，当图像配准精度小于1像素时，则判定所求的单应矩阵有效，如图11所示，为精确配准后X-Y轴像素误差图，计算得到X轴的平均像素误差为0.23，Y轴平均像素误差为0.21，都在1个像素点以内，达到了高配准精度，且判定单应矩阵有效；

步骤六，连续的多帧投影：后续的源图像在投影时，在上传至两景象生成器件前，其中一幅都需要利用单应矩阵先执行仿射变换，然后再将源图像和变换后的源图像分别上传至两景象生成器件并投影，实现两景象生成器件投影图像的融合配准。

一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器read only memory，ROM、可编程只读存储器programmable ROM，PROM、可擦除可编程只读存储器erasablePROM，EPROM、电可擦除可编程只读存储器electrically EPROM，EEPROM或闪存。易失性存储器可以是随机存取存储器random access memory，RAM，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM 可用，例如静态随机存取存储器static RAM，SRAM、动态随机存取存储器dynamic RAM，DRAM、同步动态随机存取存储器synchronous DRAM，SDRAM、双倍数据速率同步动态随机存取存储器double data rate SDRAM，DDR SDRAM、增强型同步动态随机存取存储器enhanced SDRAM，ESDRAM、同步连接动态随机存取存储器synchlink DRAM，SLDRAM和直接内存总线随机存取存储器direct rambus RAM，DR RAM。应注意，本发明描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线例如同轴电缆、光纤、数字用户线digital subscriber line，DSL或无线例如红外、无线、微波等方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质例如，软盘、硬盘、磁带、光介质例如，高密度数字视频光盘digital video disc，DVD、或者半导体介质例如，固态硬盘solid state disc，SSD等。

以上对本发明所提出的一种双景象生成器件投影图像的融合配准方法，进行了详细介绍，对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。