基于特征矫正GPS信息的航拍图实时拼接方法及系统
文献发布时间：2023-06-19 19:28:50
技术领域
本发明属于图像处理技术领域，特别是涉及一种基于特征矫正GPS信息的航拍图实时拼接方法及系统。
背景技术
在航拍图的常用拼接方法中，大致有两个工作方向：1.通过图像匹配算法，将连续的航拍图序列一一拼接成整幅图；2.通过航拍过程记录的POS信息（即无人机的高度和GPS信息等），根据GPS对应像素点做图像匹配。在第一种方法下，由于航拍图的分辨高，匹配算法耗时较长，达不到实时效果；第二种方法简单高效，但是性价比高的设备带来的高度和GPS误差也较大，对连续帧的拼接产生较大的误差。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于特征矫正GPS信息的航拍图实时拼接方法及系统。
本发明的目的是通过以下技术方案来实现的：根据本发明的第一方面，基于特征矫正GPS信息的航拍图实时拼接方法，包括：
根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标；
根据第一图像和第二图像的像素坐标对应的GPS坐标，选取第一图像中的n个图像块作为待匹配块，在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块，所述第二图像为与第一图像相邻的后一帧航拍图像；
提取每个待匹配块的特征向量，构成特征向量集合；
基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块；
根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数；
根据透视变换矩阵将第一图像和第二图像映射到同一坐标系，完成图像拼接。
进一步地，根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标，包括：
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机的相机内参计算航拍图像中每个像素的精度；
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
进一步地，所述航拍图像中x方向的像素精度为：
式中，
所述航拍图像中y方向的像素精度为：
式中，
其中，
式中，H为飞行器的高度，F为相机的焦距，
进一步地，像素(x,y)的GPS坐标
式中，
进一步地，提取每个待匹配块的特征向量，构成特征向量集合，包括：
采用CNN模型对第一图像中每个待匹配块进行特征提取，得到n个特征向量；
将所述n个特征向量组成特征向量集合
进一步地，所述CNN模型包括滤波器层、非线性层、池化层和归一化层。
进一步地，所述待匹配块的最优匹配块的选取方法包括：
步骤S410.分别将所述待匹配块对应的候选匹配块的中心点周围S*S范围内的每个点作为中心点，获取与该候选匹配块同等大小的图像块，并提取该图像块的特征向量
步骤S420.将所述特征向量
步骤S430.选取欧氏距离集合D中最小的距离
；
步骤S440.将
进一步地，所述透视变换矩阵中的参数的计算公式为：
式中，
根据本发明的第二方面，基于特征矫正GPS信息的航拍图实时拼接系统，包括：
GPS坐标计算模块，用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标；
匹配块选取模块，用于根据第一图像和第二图像的像素坐标对应的GPS坐标，选取第一图像中的n个图像块作为待匹配块，在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块，所述第二图像为与第一图像相邻的后一帧航拍图像；
特征提取模块，用于提取每个待匹配块的特征向量，构成特征向量集合；
匹配模块，用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块；
参数计算模块，用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数；
拼接模块，用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系，完成图像拼接。
本发明的有益效果是：本发明通过偏航角、高度和GPS信息估算像素精度（即像素代表实际长度和宽度，单位米），通过GPS信息将相邻帧中重叠的n个（n大于等于4的整数）Patch区（图像块）域取出，然后将GPS计算的重叠区域提取特征向量，并根据特征向量寻找最优匹配的，通过匹配的Patch和计算出相邻帧的映射矩阵，从而达到矫正GPS信息精度的效果，由于在航拍图中只计算对应的Patch区域，因此该方法可以达到高精度的航拍图实时拼接。
附图说明
图1为本发明中航拍图实时拼接方法的一种实施例的流程图；
图2为部分相机内参的关系示意图；
图3为第一图像和第二图像中选取的图像块的示意图；
图4为图像拼接的示意图；
图5为本发明中航拍图实时拼接系统的一种实施例的组成框图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1至图5，本发明提供一种基于特征矫正GPS信息的航拍图实时拼接方法及系统：
本实施例的第一方面提供了一种基于特征矫正GPS信息的航拍图实时拼接方法。如图1所示，所述航拍图实时拼接方法包括步骤S100至步骤S600，以下详细说明。
步骤S100.根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标。
在一些实施例中，根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标，包括：
步骤S110.根据飞行器的偏航角、高度以及飞行器搭载的相机的相机内参计算航拍图像中每个像素的精度。
如图2所示，相机内参中成像元件大小为
。
所述航拍图像中x方向的像素精度为：
式中，
所述航拍图像中y方向的像素精度为：
式中，
步骤S120.根据航拍图像中每个像素的精度和航拍图像的中心点GPS坐标计算每个像素的GPS坐标。
像素(x,y)的GPS坐标
式中，
在平常的航拍图中保存的GPS信息只有图像中心点的经纬度信息，且精度受定位设备的影响，导致误差较大。本实施例的方法计算得到的像素的GPS坐标精度很高。
步骤S200.根据第一图像和第二图像的像素坐标对应的GPS坐标，选取第一图像中的n个图像块作为待匹配块，在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块，所述第二图像为与第一图像相邻的后一帧航拍图像。
具体的，在第二图像中为每个待匹配块找一个对应的图像块，并将该图像块作为该待匹配块对应的候选匹配块。
例如，图3中的前一帧图像为第一图像，图3中的当前帧图像为第二图像，patch1、patch2、……、patch（n）等表示图像块。
步骤S300.提取每个待匹配块的特征向量，构成特征向量集合。
在一些实施例中，提取每个待匹配块的特征向量，构成特征向量集合，包括：采用CNN模型对第一图像中每个待匹配块进行特征提取，得到n个特征向量；将所述n个特征向量组成特征向量集合
如表1所示，所述CNN模型为一个三层结构，所示CNN模型包括滤波器层、非线性层、池化层和归一化层；每个特征向量都为128维。
表1 CNN模型的组成参数表
步骤S400.基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块。
通过步骤S300中的CNN模型在第二图像中每个Patch中心点附近S*S范围内寻找最优匹配点，以消除GPS的误差。
在一些实施例中，所述待匹配块的最优匹配块的选取方法包括：
步骤S410.对于某个待匹配块，分别将所述待匹配块对应的候选匹配块的中心点周围S*S范围内的每个点作为中心点，基于这些中心点获取与该候选匹配块同等大小的图像块，并提取获得的图像块的特征向量
步骤S420.将所述特征向量
。
步骤S430.选取欧氏距离集合D中最小的距离
。
步骤S440.将
第一图像
步骤S500.根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数。
所述透视变换矩阵中的参数的计算公式为：
式中，
具体的，取第一图像
步骤S600.根据透视变换矩阵将第一图像和第二图像映射到同一坐标系，完成图像拼接，如图4所示。
本实施例的第二方面提供了一种基于特征矫正GPS信息的航拍图实时拼接系统。如图5所示，所述航拍图实时拼接系统包括GPS坐标计算模块、匹配块选取模块、特征提取模块、匹配模块、参数计算模块和拼接模块。
GPS坐标计算模块用于根据飞行器的高度和航拍图像的GPS信息计算航拍图像中每个像素的GPS坐标。关于所述GPS坐标计算模块的具体描述可参对所述步骤S100的描述。
匹配块选取模块用于根据第一图像和第二图像的像素坐标对应的GPS坐标，选取第一图像中的n个图像块作为待匹配块，在第二图像中分别为每个待匹配块选一个对应的图像块作为候选匹配块，所述第二图像为与第一图像相邻的后一帧航拍图像。关于所述匹配块选取模块的具体描述可参对所述步骤S200的描述。
特征提取模块用于提取每个待匹配块的特征向量，构成特征向量集合。关于所述特征提取模块的具体描述可参对所述步骤S300的描述。
匹配模块用于基于所述特征向量集合和候选匹配块为每个待匹配块选取最优匹配块。关于所述匹配模块的具体描述可参对所述步骤S400的描述。
参数计算模块用于根据待匹配块的中心点坐标和该待匹配块对应的最优匹配块的中心坐标计算透视变换矩阵中的参数。关于所述参数计算模块的具体描述可参对所述步骤S500的描述。
拼接模块用于根据透视变换矩阵将第一图像和第二图像映射到同一坐标系，完成图像拼接。关于所述拼接模块的具体描述可参对所述步骤S600的描述。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。