用于重叠多图像应用的响应归一化

相关申请的交叉引用

本专利申请要求2018年11月6日提交且标题为“RESPONSE NORMALIZATION FOROVERLAPPED MULTI-IMAGE APPLICATIONS”的美国临时专利申请号62/756,522的优先权和权益，在此通过引用将该申请全文并入。

技术领域

本公开的一个或多个实施方式总体涉及成像系统，更具体地例如涉及用于将两个或更多个重叠图像组合成数据集的系统和方法。

背景技术

在图像处理领域中，持续需要高效且可靠的方式来分析和处理由成像装置捕获的图像。一些系统包括一个或多个图像传感器和/或相机以捕获一个或多个视场的图像(例如，场景的图像)。在一种方法中，通过识别一个图像中与另一图像中的点对应的点来将多个所捕获图像对齐和/或拼接在一起。然而，图像对之间的不同图像捕获参数(例如，相机位置、捕获时间)可能使得图像配准在某些应用中具有挑战性。例如，在无人机系统(UAS)任务期间捕获的红外图像通常需要使用2D和/或3D图像配准技术组合成单个数据集。单个任务可能包括在长达30分钟的时间段期间捕获的数百张图像。在此期间，成像器的环境条件可能变化，这可能导致即使场景本身没有变化，图像也会捕获在不同信号电平下感测的场景的相同特征。这些因素可以包括用于感测图像的焦平面阵列(FPA)的温度、壳体和透镜组件的温度、观察距离、观察角度和成像器参数变化(例如，偏移校正)的变化。即使图像捕获装置本身可以被配置为补偿这些变化，在飞行期间捕获的图像也将不会被完美地归一化。

鉴于上述情况，在本领域中持续需要既高效又准确的改进的图像配准系统和方法。

发明内容

提供了用于对所捕获的图像进行归一化以便在重叠多图像应用中使用(包括相机响应函数的归一化)的各种系统和方法。本发明的范围由权利要求限定，通过引用将权利要求并入该章节中。将通过考虑一个或多个实施方式的以下详细描述，来给予本领域技术人员本发明的实施方式的更完全理解、以及本发明其他优点的实现。将参照首先将简要描述的附图。

附图说明

图1例示了根据本公开的各种实施方式的示例相机响应函数归一化过程。

图2例示了根据本公开的各种实施方式的示例相机响应函数归一化过程。

图3例示了根据本公开的各种实施方式的相机响应函数归一化算法的示例流程图。

图4例示了根据本公开的各种实施方式的具有不同相机响应函数的示例图像对。

图5例示了根据本公开的各种实施方式的示例权重函数。

图6例示了根据本公开的各种实施方式的相机响应函数归一化算法的示例流程图。

图7例示了根据本公开的各种实施方式的示例图像对相机响应函数归一化。

图8例示了根据本公开的各种实施方式的示例指示符图和一组随机采样像素。

图9例示了根据本公开的各种实施方式的在相机响应函数归一化之前和之后的示例图像。

图10例示了根据本公开的各种实施方式的示例成像系统。

图11例示了根据本公开的实施方式的示例主机图像配准系统。

通过参考下面的详细描述，将最佳地理解本公开的实施方式及其优点。应当理解，同样的附图标记用于识别在一个或多个附图中例示的同样的元件。

具体实施方式

本公开提供了用于对齐图像对的改进的系统和方法，包括解决相机响应函数归一化的新颖的端到端解决方案。本文公开的解决方案允许一次对多个图像进行共同操作，并且特别适合于处理在无人机系统(UAS)飞行期间捕获的红外图像。诸如热图像的红外图像可能取决于高度、飞行期间环境条件的差异、加热图像捕获系统、飞行角度、图像参数和其他因素而具有不同的响应。图像捕获系统可以被配置为在图像捕获期间补偿这些变化，但是所得到的图像并不总是被归一化。

在各种实施方式中，相机响应函数(CRF)归一化过程包括算法，该算法向所捕获的图像应用偏移和增益校正，使得拼接伪影将被最小化。在一些实施方式中，本文公开的系统和方法在连续捕获帧之间具有至少50％重叠的数据集上实施。通过使用具有相关联元数据的图像，实现了进一步的准确度，该元数据允许图像被配准到水平和垂直视场的2％以内。优化准则包括在帧N中找到一组局部增益和偏移项，使得重叠区域中相对于帧N-1的逐像素信号差最小化。

现在将参考图1描述图像配准过程100的实施方式，在步骤110中，图像预配准过程接收包括相关联的元数据的图像数据集。在一个实施方式中，图像数据集包括在UAS任务期间捕获的红外图像和元数据的集合。例如，来自无人机测绘应用的校准数据文件可以与全球定位卫星(GPS)定位信息结合使用，以准确地估计图像的视场。如本文所公开的具有相关联的元数据的图像允许在水平和垂直视场的2％内的图像配准。

在步骤120中，执行相机响应函数归一化，包括图像对选择、成对归一化和全局相机响应函数优化。在一些实施方式中，为了避免在图像配对时因大的视角变化而导致的极端变形，仅使用相机姿态类似的图像对。算法使用内部和估计的相机参数以获得更准确的配准，来读取校准文件以获得数据集中所有图像的成对配准参数。接着，获得配准参数和透镜畸变参数。配准参数可以包括用于近似对齐各个重叠图像对的参数(例如，平移、旋转和缩放，或更一般的透视变换)。在一个实施方式中，配准参数在二维阵列中实施，其中配准参数用于每个可能的图像对。例如，对于N个图像，配准参数包含在N×N个元素的阵列中，使得配准参数{i，j}给出用于将图像j与图像i对齐的配准参数(平移、旋转和缩放)。透镜畸变参数包括用于图像捕获装置的估计的透镜畸变参数。在步骤130中，应用相机响应函数，并且将图像集重新归一化成(近似)原始动态范围。

现在将参考图2进一步描述相机响应函数归一化算法200的实施方式。在步骤204中提供图像集202并选择图像对。图像集202包括一组重叠图像以及一组配准参数，该组配准参数允许任何重叠图像对的正确对齐(例如，在一些实施方案中具有高达FOV的2％的误差)。在一些实施方式中，通过定义图像对的最小可接受重叠(例如，0.6或60％)来设置图像对要求。然后，该算法将仅选择具有至少最小重叠百分比的图像区域重叠的图像对。可以通过定义非连续图像的图像对的最大百分比来进一步约束图像对选择。总的最大可能对数被定义为N×(1+非顺序百分比)，其中N是顺序图像对的数量。图像对选择算法基于预配准参数从图像集中选择所有合适的图像对。这包括计算所有可能的图像对之间的重叠，并选择满足要求的那些图像对。首先选择连续图像对。接着，通过找到非顺序地(即，在时间上沿着路径更远)拍摄的重叠图像来选择更多图像对。将图像对索引编码在阵列/配对矩阵中。

在步骤206中，独立地处理每个选择的图像对，以匹配各对中的两个图像的相机响应函数(CRF)。成对归一化的目标是配准和归一化每对的第二图像y2，使得其CRF与该对中的第一图像y1的CRF匹配。在获得成对CRF之后，执行全局CRF优化208，以确保在若干对中出现的每个图像将具有相同的响应函数，由此由不同图像覆盖的场景中的每个元素n在各个图像中将具有类似的辐射测量值。在CRF的全局优化之后，在步骤210中将优化的CRF应用于该组图像。接着，在步骤212中，转换图像的动态范围以尝试匹配原始动态范围，同时保留优化的CRF。

参考图3，现在将描述在图2的步骤206中应用于各个图像对(y1，y2)的处理方法300的实施方式。首先，在预处理阶段，通过去混频部件304从所接收图像对(y1warp和y2warp)中去除低频不均匀性。在一个实施方式中，去混频部件可使用在2018年3月14日提交的且标题为“Systems and methods for reducing low-frequency non-uniformity inimages，”的国际申请号PCT/US2018/022495中公开的低频非均匀性去除方法的实施方式来实施，据此通过引用将该申请全文并入。接着，在步骤306中，使用对应于图像捕捉装置的部件的适当透镜畸变参数来应用透镜畸变校正。另外，使用配准参数，在步骤308中创建变形图(delta_map_complex)，该变形图用于使第二图像y2变形以与该对中的第一图像y1对齐。在各种实施方式中，变形图是用于将y2相对于y1对齐的复杂2D阵列。对于y2中的每个像素，变形图中的对应值告知该像素与y1中的对应像素对齐的位移。在一个实施方式中，该值的实部对应于水平位移，而虚部对应于垂直位移。

在步骤310中执行相机响应归一化(CRN)。在该步骤中，输入图像对(y1，y2)和变形图，并且估计将该对中的第二图像y2与该对中的第一图像y1匹配的CRF。在各种实施方式中，CRN过程310还接收权重w

图4例示了具有不同CRF的图像对的两个示例(a)-(b)和(c)-(d)。图像对示出了在图像的不同区域中的CRF的变化。通过对图像应用参数变换来修改相机响应函数。由于图像中存在的不均匀性，相机响应函数是非全局的。因此，在各种实施方式中，在各个图像的拐角处定义CRF的四个不同变换函数。

这样，通过四个不同的仿射变换函数

其中

不同CRF的加权函数w

其中，(c

现在将参考图6描述图像对相机响应函数归一化算法600的实施方式。算法600以迭代多尺度方式工作，其中，在每次迭代中，细化将第二图像y

算法600优化变换参数p

在各种实施方式中，目标是最小化y

其中，

其中，

将y1和

将输入y

其中，μ＝1/5，σ

在每次迭代中更新变形图(delta_map_complex)。这通过使用基于梯度的方法来进行，该方法估计两个图像之间的逐像素位移。加权的2D多项式拟合用于该目的。由于两个图像的CRF的失配影响梯度，因此使用误差直方图(histVar)来得到我们在CRF方面具有较高误差的区域，以在位移估计中分配较小的权重。在其它实施方式中可以使用其它方法，诸如光流估计。

参考图7，例示了图像对CRF归一化。原始对(a)和(b)示出了不同的CRF。在(c)中，y

现在将参考图8描述全局CRF优化(图2的方框208)。从成对优化阶段起，算法保存从配准的图像对提取的一组采样点、对应的拐角CRF多项式以及用于在采样点处插值CRF的权重。独立地获得成对CRF，并且对于每对图像，归一化第二图像以匹配第一图像。在相机响应函数的全局优化中，确保对于每个处理的图像，CRF参数在其所属的所有对中是相同的。全局优化算法接收对于所有对从第一图像提取的一组随机采样点Y1p、以及来自第二图像的对于所有对相对于第一图像配准的一组采样点Y2p。算法还接收用于所有对的第一图像中的采样点的CRF的插值的权重W1234_1、以及用于所有对的配准的第二图像中的采样点的CRF的插值的权重W1234_2。算法还接收用于映射来自每对的第二图像的CRF以匹配该对中的第一图像的CRF的参数P2、以及对图像对编索引的二进制配对矩阵。

全局优化算法首先使用采样点来估计图像的平均强度，然后强制所有图像具有相同的平均强度值。然后，当每个图像将出现在一个或多个图像对中时，通过该对中采样点之间绝对差的平均值来计算各个成对CRF归一化的成功指示符。为了确保对于每个处理的图像，CRF参数在其所属的所有对中是相同的，成功指示符被用作针对图像估计的所有CRF参数的加权平均中的权重。然后，加权平均的结果被用作该具体图像的CRF。全局优化为每个图像返回一组独特的CRF变换参数P，这些参数可以用于归一化图像集。

如图8例示，在图像(a)中，由变形算子

参考图9，现在将描述用于应用相机响应函数和动态范围的重新归一化(参见图2的步骤210和212)的过程。在全局CRF优化之后，变换属于有效图像对的那些图像，使得它们的CRF使用存储在P中的变换值匹配。在已经针对图像集归一化CRF之后，将它们的动态范围转换回其原始值(或者尽可能接近原始动态范围)。为此，找到有效图像集合上的原始最大和最小值，然后用于缩放归一化图像。图9例示了算法的示例结果。图像(a)是原始图像，图像(b)是CRF归一化之后的图像。

现在将参考图10和图11描述包括本文公开的相机响应归一化的实施方式的配准系统和方法的示例实施方案。在各种实施方式中，一种用于配准一系列图像的系统包括：图像捕获装置，诸如可操作为捕获一系列图像的相机；以及主机系统，该主机系统可操作为接收图像对的流并且执行如本文公开的配准和归一化过程。在一个实施方式中，主机系统包括多个模板，可以选择这些模板以允许配准过程适于与各种图像捕获系统一起使用。

参考图10，现在将描述用于与图像配准主机系统一起使用的图像捕获系统1000的实施方式。在一些实施方式中，图像捕获装置是可以捕获和处理可见光图像和红外图像的多光谱成像系统的一部分。在各种应用中，期望将一对捕获的图像彼此上下对齐。例如，可以对多个图像执行对象检测，并且组合结果以实现更准确的对象检测。在一些实施方式中，本文公开的系统和方法被配置为自动对齐图像对。

在各种实施方式中，图像捕获系统1000可以在无人机系统(UAS)中实施，包括可操作以在飞行期间捕获红外图像的无人驾驶飞行器(UAV)或无人机。UAS可以包括独立系统和/或分布式系统，该独立系统包括主机系统，分布式系统可以包括云或其他网络服务器系统上的图像处理和图像配准。在各种实施方式中，在UAV从任务返回之后，图像被传送到主机系统以用于对齐和分析，包括如本文所公开的相机响应归一化。在一些实施方式中，可能需要使用2D和/或3D图像配准技术将在UAS任务期间捕获的一系列红外图像组合成单个数据集。单个任务可能由在长达30分钟的时间段期间捕获的数百图像构成。在此期间，图像捕获部件的环境条件可能变化，这可能导致即使场景本身没有变化，图像也会捕获在不同信号电平下感测的场景的相同特征。本文公开的图像配准过程可以用于对齐红外图像对(或使用不同模态捕获的其他图像对)以用于进一步的图像处理。

图像捕获系统1000可以是成像系统，该成像系统例如用于捕获和处理图像，以检测、分类和/或计数在视场中出现的对象，映射地形和物理结构和/或执行其它图像捕获和处理功能。如图例示，图像捕获系统1000可用于对视场中的场景1070进行成像。图像捕获系统1000包括处理部件1010、存储部件1020、图像捕获部件1030、光学部件1032(例如，被配置为通过相机部件1001中的光圈1034接收电磁辐射并将电磁辐射传递到图像捕获部件1030的一个或多个透镜)、图像捕获接口部件1036、可任选显示部件1040、控制部件1050、通信部件1052以及其它感测部件。

在各种实施方式中，图像捕获系统1000可以被实施为成像装置，诸如相机部件1001，以捕获例如相机部件1001的视场中的场景1070的图像帧。在一些实施方式中，相机部件1001可以包括容纳在保护外壳中的图像捕获部件1030、光学部件1032以及图像捕获接口部件1036。图像捕获系统1000可表示适于对场景1070成像且提供相关联图像数据的任何类型的相机系统。图像捕获系统1000可以在各种类型的固定位置和环境处或在便携式装置或交通工具(例如，有人驾驶和/或无人驾驶的陆基交通工具、船只、飞机、航天器或另一交通工具)中用相机部件1001来实施。

处理部件1010可以包括例如微处理器、单核处理器、多核处理器、微控制器、逻辑装置(例如，被配置成执行处理操作的可编程逻辑装置)、数字信号处理(DSP)装置、用于存储可执行指令(例如，软件、固件或其他指令)的一个或多个存储器、图形处理单元和/或执行指令来执行本文所述的各种操作中的任一个的处理装置和/或存储器的任何其他适当组合。处理部件1010适于与部件1020、1030、1040和1050接口连接并通信，以执行如本文所述的方法和处理步骤。处理部件1010还可适于执行如本文所述的图像处理(图像处理部件1080)和/或图像对配准(图像对配准部件1082)。在各种实施方式中，处理部件1010还可适于通过图像处理部件1080检测并分类由图像捕获部件1030捕获的图像中的对象。

应当理解，处理操作和/或指令可以作为处理部件1010的一部分被集成在软件和/或硬件中，或者可以被集成在可以被存储在存储部件1020中的代码(例如，软件或配置数据)中。本文公开的处理操作和/或指令的实施方式可以由机器可读介质以非暂时性方式(例如，存储器、硬盘驱动器、光盘、数字视频光盘或闪存)存储，以由一个或多个计算机(例如，基于逻辑或处理器的系统)执行，以执行本文公开的各种方法。

在一个实施方式中，存储部件120包括存储数据和信息的一个或多个存储装置(例如，一个或多个存储器)。一个或多个存储装置可以包括各种类型的存储器，包括易失性和非易失性存储装置，诸如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦只读存储器)、闪存或其他类型的存储器。在一个实施方式中，处理部件1010适于执行存储在存储部件1020和/或机器可读介质中的软件，以便以如本文所述的方式执行各种方法、过程和操作。

在一个实施方式中，图像捕获部件1030包括用于捕获表示场景1070的图像的图像信号的一个或多个传感器。在一个实施方式中，图像捕获部件1030的传感器提供为将场景1070的捕获的红外图像信号表示(例如，转换)为数字数据(例如，经由模数转换器，该模数转换器被包含作为传感器的一部分或与作为图像捕获系统1000的一部分的传感器分开)。在一些实施方式中，图像捕获部件1030包括以阵列或其它方式在基板上实施的红外传感器(例如，红外检测器)。例如，在一个实施方式中，红外传感器可以被实施为焦平面阵列(FPA)。红外传感器可以被配置为检测来自目标场景的红外辐射(例如，红外能量)，包括例如中波红外波段(MWIR)、长波红外波段(LWIR)和/或其他热成像波段，如可能期望的。红外传感器可以例如被实施为微测热辐射计或以任何期望的阵列图案布置以提供多个像素的其他类型的热成像红外传感器。在一些实施方式中，图像捕获部件1030还包括被配置为检测来自目标场景1070的可见光谱辐射的可见光谱传感器。

处理部件1010可适于从图像捕获部件1030接收图像信号，处理图像信号(例如，以提供经处理的图像数据)，将图像信号或图像数据存储在存储部件1020中，和/或从存储部件1020检索所存储的图像信号。在各种方面中，处理部件1010可以远程定位，并且处理部件1010可以适于经由与图像捕获接口部件1036的有线或无线通信从图像捕获部件1030远程接收图像信号，如本文所述。

显示部件1040可以包括图像显示装置(例如，液晶显示器(LCD))或各种其它类型的通常已知的视频显示器或监视器。在各种实施方式中，控制部件1050可以包括用户输入和/或接口装置，诸如键盘、控制面板单元、图形用户界面或其他用户输入/输出。控制部件1050可以适于集成为显示部件1040的一部分，以操作为用户输入装置和显示装置这两者，该显示装置例如是触摸屏装置，该触摸屏装置适于从触摸显示屏的不同部分的用户接收输入信号。

处理部件1010可以适于与图像捕获接口部件1036通信(例如，通过从图像捕获部件1030接收数据和信息)。图像捕获接口部件1036可以被配置为从图像捕获部件1030接收图像信号(例如，图像帧)，并且以通信部件1052的方式直接或通过一个或多个有线或无线通信部件(例如，由连接1037表示)将图像信号传送到处理部件1010。在各种实施方式中，相机部件1001和处理部件1010可以彼此接近或远离地定位。

在一个实施方式中，通信部件1052可以被实施为适于与网络通信的网络接口部件，并且可以包括一个或多个有线或无线通信部件。在各种实施方式中，网络1054可以被实施为单个网络或多个网络的组合，并且可以包括有线或无线网络，包括无线局域网、广域网、因特网、云网络服务和/或其他适当类型的通信网络。图像捕获系统1000可以被配置为与一个或多个计算装置、服务器和/或一个或多个数据库一起操作，并且可以与其他部件组合。在一些实施方式中，图像捕获系统1000可以通过网络1054(例如，因特网或云)向诸如主机配准系统1056的服务器系统发送图像对，以用于远程图像对配准和处理，包括相机响应归一化，如本文所公开的。

参考图11，现在将描述主机图像配准系统1100的各种实施方式。主机图像配准系统1100可以在一个或多个服务器上实施，诸如执行数据处理和/或用于生成、存储、分类和检索图像的其他软件执行操作的应用服务器。在一些实施方式中，主机图像配准系统1100的部件可以分布在诸如通信网络1122的通信网络上。通信网络1122可以包括诸如无线局域网(WLAN)的一个或多个局部网络、诸如因特网的广域网、以及适于促进如本文所述的部件之间的通信的其它有线或无线通信路径。主机图像配准系统1100包括通信部件1114，该通信部件可操作为促进通过通信网络1122与一个或多个图像捕获系统1120的通信。

在各种实施方式中，主机图像配准系统1100可以作为通用图像配准系统来操作，诸如基于云的图像配准系统，或者可以被配置为在专用系统中操作，诸如存储从多个图像捕获装置实时捕获的视频和图像并且使用数据库1102来识别和分类对象的视频监视系统。主机图像配准系统1100可以被配置为从一个或多个图像捕获系统1120接收一个或多个图像对(例如，来自从视频监视系统的红外相机捕获的图像流的对)并且处理相关联的配准请求。

如图例示，主机图像配准系统1100包括一个或多个处理器1104，这些处理器执行用于主机图像配准系统1100的数据处理和/或其他软件执行操作。处理器1104可以包括逻辑装置、微控制器、处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他装置，它们可以由主机图像配准系统1100使用以执行适当的指令，诸如存储在存储器1106中的软件指令，包括图像对配准部件1110和/或其他应用。存储器1106可在存储可执行指令、数据和信息(包括图像数据、视频数据、音频数据和网络信息)的一个或多个存储装置(例如，存储部件)中实施。在各种实施方式中，主机图像配准系统1100可以被配置为与各种网络装置接口连接，诸如图像捕获系统1120、台式计算机或网络服务器、移动计算装置(诸如移动电话、平板电脑、膝上型计算机或具有用于与主机图像配准系统1100连接的通信电路(例如，无线通信电路或有线通信电路)的其他计算装置)。

通信部件1114可包括用于使用各种通信协议与其它装置通信的电路。在各种实施方式中，通信部件1114可被配置为出于有线通信目的而通过有线通信链路(例如，通过网络路由器、交换机、集线器或其它网络装置)通信。例如，有线链路可以用支持对应的有线网络技术的电力线电缆、同轴电缆、光纤电缆或其它适当的电缆或电线来实施。通信部件1114还可以被配置为经由有线通信部件(诸如以太网接口、电力线调制解调器、数字用户线(DSL)调制解调器、公共交换电话网络(PSTN)调制解调器、电缆调制解调器和/或用于有线通信的其它适当部件)与有线网络和/或装置接口连接。通信部件1114也可以支持专用有线通信协议和接口。

在适用情况下，可以使用硬件、软件、或硬件和软件的组合来实施由本公开提供的各种实施方式。而且，在适用情况下，在不脱离本公开的精神的情况下，可以将本文阐述的各种硬件部件和/或软件部件组合成包括软件、硬件和/或这两者的复合部件。在适用情况下，在不脱离本公开的精神的情况下，可以将本文阐述的各种硬件部件和/或软件部件分成包括软件、硬件或这两者的子部件。

根据本公开的软件，诸如非暂时性指令、程序代码和/或数据，可以存储在一个或多个非暂时性机器可读介质上。还设想本文识别的软件可以使用联网和/或处于其他方式的一个或多个通用或专用计算机和/或计算机系统来实施。在适用情况下，本文描述的各种步骤的顺序可以更改、组合成复合步骤和/或分成子步骤，以提供本文描述的特征。

上述实施方式例示但不限制本发明。还应理解，大量修改和变更根据本发明的原理是可行的。因此，本发明的范围仅由以下权利要求限定。