基于遥感影像的倾斜校正稠密匹配方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于遥感影像的倾斜校正稠密匹配方法。

背景技术

当前，三维物体、场景重建主要有主动和被动两种方式。其中，主动方式采用主动传感器设备如激光雷达来感知物体表面的三维信息并经过数据后处理操作，达到重建场景三维结构的目的，此种方式对场景的三维结构重建精度高、重建效率较高，但由于依赖较为昂贵的测量设备并且数据获取过程较为繁琐，在获得具有照片真实感的虚拟三维模型时需要在采集三维信息的同时采集图像信息，并且在数据后处理时涉及到点云与图像的配准问题，采集数据量及计算过程的工作量均较为庞大；而被动方式采用图像传感器获取物体表面的图像信息，根据双目立体视觉原理由具有一定视差的二维图像对恢复出物体表面的三维结构信息，此种方式的采集设备仅需普通相机，对场景目标的形状、尺寸没有特殊要求，采集数据获取简单、易行，生成重构场景也能够具备真实感，但其场景重构精度一般较主动式要低，且存在着数据后处理过程较为复杂、耗时，纹理单一的图像区域无法获取准确的三维信息的问题。主动三维扫描在很多应用领域已经成为获取三维信息的重要手段，但基于图像的被动式三维建模仍然是最经济、灵活、易行和广泛使用的方法，在各个领域发挥着重要的作用。

基于图像重建三维物体、场景和地表的关键是同名点稠密匹配，精确、稠密的同名点是获取高精度三维信息的基础。稠密匹配广泛应用于物体的精细重建、真实感场景的重建和数字表面模型及真数字正射影像的生成，若能实现同名点的准确、稠密和高效匹配，则解决了基于图像的三维重建中精度、数据处理复杂耗时导致的重建效率较低的问题。

现有技术中图像匹配方法分为基于特征的方法和基于影像相关的方法，基于特征的方法精度和准确率高，但只针对图像中的角点、线、边缘等特征显著区域，因此仅能获取稀疏的匹配点集，且单点计算开销较影像相关方法高很多，一般用来为稠密匹配提供种子点或约束条件；基于影像相关的方法由于计算量较大，效率较低，且在纹理单一区域具有自相似性，容易产生误匹配，从而限制了其使用，因此，传统的影像匹配方法仍然是基于影像的三维重建的主要实现途径。

中国专利公开号CN113034556A公开了一种频域相关半稠密遥感影像匹配方法，目的是得到两图之间的匹配信息；根据初始匹配信息对两图中的一幅进行扭转，得到待匹配影像；将参考影像和待匹配影像划分成若干区域；以四个小区域为一组区域图块，将区域图块的中心设置为种子点，统计区域图块的梯度方向直方图，得到四个角度范围对应的梯度幅值和角度；设置四种不同级别的优先权值；得到结合种子点四邻域方向梯度信息的新匹配结果；将所有种子点的匹配结果加入稀疏匹配点集中，得到半稠密的遥感影像匹配点集；对稠密匹配点进行参考点误匹配校正，得到匹配结果。上述技术方案中的初始匹配区域图块数量大时数据处理计算工作量大，使得三维重建难度增大，初始匹配区域图块数量小时匹配精度难以保证。

发明内容

为此，本发明提供一种基于遥感影像的倾斜校正稠密匹配方法，用以克服现有技术中采用影像匹配进行三维重建中影像匹配数据处理复杂导致的三维重建精度难以提升的问题。

为实现上述目的，本发明提供一种基于遥感影像的倾斜校正稠密匹配方法，包括以下步骤：

步骤S1，采用SIFT特征描述子从左相机拍摄的左倾斜影像和右相机拍摄的右倾斜影像中分别提取特征点进行特征匹配得到稀疏同名点；

步骤S2，基于所述稀疏同名点及相机内参数对立体像对进行相对定向，获取左相机和右相机的相对位姿关系；

步骤S3，基于所述相对位姿关系构造水平核线坐标系，并通过所述水平核线坐标系与左相机坐标系以及右相机坐标系的映射关系以将左倾斜影像和右倾斜影像分别校正为左水平核线影像以及右水平核线影像；

步骤S4，在所述步骤S3中获取的所述左水平核线影像中以设定的匹配间隔确定若干稠密待匹配点，并对任一所述稠密待匹配点在右水平核线影像中进行一维灰度相关匹配，获取初始稠密同名点；

步骤S5，对所述初始稠密同名点执行最小二乘影像匹配，获取亚像素级稠密同名点。

进一步地，步骤S2中，所述相对位姿关系通过所述稀疏同名点及相机内参数采用相对定向直接解法得到并经光束法平差优化后确定，所述相对位姿关系采用位姿变换矩阵

其中，

进一步地，步骤S3中，所述水平核线坐标系为右手三维直角坐标系，设定所述水平核线坐标系的原点为所述左相机坐标系的原点，所述水平核线坐标系的X轴为左相机投影中心与右相机投影中心的连线，得到，

所述水平核线坐标系的X轴向量在左相机坐标系下的坐标为：

所述水平核线坐标系的Y轴向量在左相机坐标系下的坐标为：

所述水平核线坐标系的Z轴向量在左相机坐标系下的坐标为：

左相机坐标系下的向量到水平核线坐标系方向的旋转变换矩阵为：

右相机坐标系下的向量到水平核线坐标系方向的旋转变换矩阵为：

其中，

进一步地，在步骤S3中，通过

进一步地，在步骤S4中，获取所述初始稠密同名点的步骤包括：

步骤S41，分别计算所述左水平核线影像和所述右水平核线影像在所述水平核线坐标系X轴和Y轴的初始视差；

步骤S42，根据所述初始视差确定所述左水平核线影像中任一稠密待匹配点在所述右水平核线影像中的粗略匹配点；

步骤S43，以所述粗略匹配点的位置坐标为搜索中心，以设定的搜索半径，在所述右水平核线影像中所述粗略匹配点的位置坐标所在行确定一维搜索范围以确定若干匹配候选点；

步骤S44，分别计算所述稠密待匹配点为中心的源影像块的灰度均值与以任一所述匹配候选点为中心的目标影像块的灰度均值间的归一化互相关系数；

步骤S45，根据所述归一化互相关系数确定所述稠密待匹配点的初始稠密同名点。

进一步地，在步骤S41中，所述左水平核线影像和所述右水平核线影像的初始视差的计算步骤为：

步骤S411，分别计算所述左水平核线影像和所述右水平核线影像中各所述稀疏同名点在所述水平核线坐标系下的X视差和Y视差；

步骤S412，选取相邻三个所述稀疏同名点三角构网形成若干视差计算区域，在单个所述视差计算区域内分别在X方向以及Y方向上采用线性插值计算所述视差计算区域内任一点的X视差d

步骤S413，当所述稠密待匹配点位于单个视差计算区域时，采用与所述单个视差计算区域对应的X视差d

进一步地，在步骤S45中，通过判定所述归一化互相关系数是否符合标准以确定单个所述稠密待匹配点是否存在初始稠密同名点，设置初始匹配相关系数标准t和初始匹配相关系数差值标准e，其中，t≥0.7，0＜e≤0.01，将所述稠密待匹配点为中心的源影像块的灰度均值与以任一所述匹配候选点为中心的目标影像块的灰度均值间的归一化互相关系数中的最大值记为Enccmax1、次大值记为Enccmax2，设定ΔEncc=Enccmax1-Enccmax2，

当Enccmax1≥t且ΔEncc＞e时，判定归一化互相关系数符合初始匹配标准，设定Enccmax1对应的匹配候选点为所述待匹配点的初始稠密同名点；

当Enccmax1＜t或ΔEncc≤e时，判定归一化互相关系数不符合初始匹配标准，Enccmax1对应的待匹配点不存在初始稠密同名点，将所述待匹配点剔除。

进一步地，在步骤S43中，设定搜索步长为2像素以在所述一维搜索范围内确定所述匹配候选点。

进一步地，在步骤S44中，所述灰度均值采用增量计算方式，增量计算公式为：

其中，将第m个匹配候选点为中心的目标影像块记为第m个目标影像块，

进一步地，在步骤S5中，采用最小二乘影像匹配对各所述初始稠密同名点进行位置调整得到二乘稠密同名点，并根据各所述二乘稠密同名点对应影像块的灰度均值与对应的所述稠密待匹配点为中心的源影像块的灰度均值间的归一化互相关系数中的最大值Encc2确定亚像素级稠密同名点的位置坐标，设定二乘匹配相关系数标准tm，其中，tm≥0.9，

当Encc2≥tm时，判定二乘归一化互相关系数符合亚像素级匹配标准，设定Encc2对应的二乘稠密同名点为所述稠密待匹配点的亚像素级稠密同名点；

当Encc2＜tm时，判定二乘归一化互相关系数不符合亚像素级匹配标准。

进一步地，在步骤S5中，在得到所述亚像素级稠密同名点后，将所述亚像素级稠密同名点与所述粗略匹配点在所述水平核线影像中X方向进行实际位置偏差验算得到X方向偏差

当

当

进一步地，在步骤S5中，当得到任一扫描行中的全部所述亚像素级稠密同名点时，计算各所述亚像素级稠密同名点与对应的所述粗略匹配点在所述水平核线影像中X方向进行实际位置偏差计算得到X方向偏差均值

当

当

进一步地，所述源影像块和目标影像块均为矩形大小相同，并且所述稠密待匹配点位于所述源影像块中心，所述匹配候选点位于所述目标影像块的中心，影像块大小取

与现有技术相比，本发明的有益效果在于，本发明基于遥感影像的倾斜校正稠密匹配方法首先由稀疏同名点生成水平核线影像，进而估计左右水平核线影像对的初始视差，从而提高了视差估计精度，减小了匹配点的搜索范围，并通过一维搜索确定初始稠密同名点时采用增量计算灰度均值，减少了灰度计算的计算量；在搜索匹配点时，将搜索步长设为2，从而减少了匹配次数，并经过最小二乘影像匹配对初始稠密同名点进行微调以实现提高匹配效率和减少误匹配的目的。

进一步地，本发明在获得稀疏同名点时采用相对定向直接解法得到并经光束法平差优化后确定，能够获得立体像的精确相对定向元素，由此确定了构成立体模型的两个相机的相对位姿关系具有精确性，保证了后续左右水平核线影像的精确程度。

进一步地，本发明通过构建水平核线坐标系以将左右相机拍摄的原始影像分别转换为水平核线坐标系下的左水平核线影像和右水平核线影像，通过在同一坐标系对左右相机拍摄的立体像的视差进行分析，有效的提高了对左右影像视差分析的便捷程度和准确率，并且生成的左水平核线影像和右水平核线影像能够作为进行稠密匹配的基础，提高了稠密同名点匹配的效率。

进一步地，本发明通过在采用水平核线坐标系中对左水平核线影像和右水平核线影像进行稠密同名点匹配，由于在水平核线坐标系已进行X方向及Y方向的视差计算，对于单个待匹配点进行稠密同名点匹配时，对应匹配的粗略匹配点的匹配精度以达到一定精度，并由于构建的水平核线坐标系的X轴由左右相机坐标系的原点构造而成，故理论上水平核线坐标系的Y轴方向的视差具有固定性，本发明中根据三角构网对Y视差进行了进一步地精算，就精确度而言，Y轴方向的视差以达到具有较高的精度，故本发明通过固定Y方向坐标选择在X方向上进行一维搜索能够达到二维搜索相近的精度，并且，一维搜索的计算量较二维搜索大大降低，进一步降低了本发明在对稠密同名点进行匹配时的计算量，提高了本发明的计算效率。

进一步地，本发明通过采用归一化互相关系数来度量两个图像块的相似程度，由于归一化互相关系数对图像块间的线性亮度变化具有较好的鲁棒性，因而能够克服以灰度均值代表图像块特征中存在的线型亮度变化，进一步提高了本发明针对稠密同名点进行匹配时的匹配相关度符合匹配点的特征相关度，提高了本发明所述方法匹配得到的稠密同名点与实际图像的同名点接近程度。

进一步地，本发明通过判定归一化互相关系数是否符合标准以确定单个所述待匹配点是否存在初始稠密同名点并设置有初始匹配相关系数标准t和初始匹配相关系数差值标准e，以对单个所述稠密待匹配点与若干匹配候选点进行归一化互相关系数计算得到初始稠密同名点，通过判定归一化互相关系数与初始匹配相关系数标准t的大小关系保证了初始稠密同名点具有一定的匹配精度保证了初始匹配的正确性，避免对匹配精度较差的点进行最小二乘匹配带来的无效计算量增加，进一步地提高了同名点匹配的计算效率，同时，以初始匹配相关系数差值标准e作为初始稠密同名点的匹配显著性标准，进一步保证了判定的初始稠密同名点与其他匹配候选匹配点相比具有与待匹配点的更好的匹配性，提高了匹配的可信程度。

进一步地，本发明通过在一维搜索时将搜索步长设定为2个像素，一方面通过扩大步长将匹配候选点数量降低至逐像素匹配时匹配候选点数量的一半，以使匹配计算量降低原计算量的一半，提高了搜索计算效率；另一方面，由于后续的获取到初始稠密同名点后会进行最小二乘匹配以获得最终的稠密同名点，因此通过将搜索步长设定为2个像素，保证了经过最小二乘匹配能够覆盖计算与初始稠密同名点相邻的像素为匹配候选点的匹配性，使得本发明所述方法对稠密同名点的匹配能够覆盖到搜索范围内的每个像素，避免搜索点稀疏导致匹配的稠密同名点非待匹配点的最佳匹配点，进一步保证了搜索的效率与精确程度的均衡。

进一步地，本发明通过采用增量计算的方式进行目标影像块的灰度均值计算，由于匹配候选点具有一定稠密程度，因而相邻的目标影像块中存在一定区域的重叠，因此，通过在获取到前一个目标影像块灰度均值时，通过仅计算相邻目标影像块中未重叠区域的灰度值对灰度均值进行快速计算，降低了对同个像素块进行重复计算灰度值导致的计算量大的问题，进一步提高了本发明所述方法的计算效率。

进一步地，本发明通过在获得到所述亚像素级稠密同名点后将所述亚像素级稠密同名点与所述粗略匹配点在所述水平核线影像中X方向进行实际位置偏差验算得到X方向偏差

附图说明

图1为本发明基于遥感影像的倾斜校正稠密匹配方法的步骤图；

图2为本发明获取所述初始稠密同名点的步骤图；

图3为本发明初始视差计算步骤图；

图4为本发明实施例三角形差值示意图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1所示，其为本发明基于遥感影像的倾斜校正稠密匹配方法的步骤图，本发明提供一种基于遥感影像的倾斜校正稠密匹配方法，包括：

步骤S1，采用SIFT特征描述子从左相机拍摄的左倾斜影像和右相机拍摄的右倾斜影像中分别提取特征点进行特征匹配得到稀疏同名点；

步骤S2，基于所述稀疏同名点及相机内参数对立体像对进行相对定向，获取左相机和右相机的相对位姿关系；

步骤S3，基于所述相对位姿关系构造水平核线坐标系，并通过所述水平核线坐标系与左相机坐标系以及右相机坐标系的映射关系以将左倾斜影像和右倾斜影像分别校正为左水平核线影像以及右水平核线影像；

步骤S4，在所述步骤S3中获取的所述左水平核线影像中以设定的匹配间隔确定若干稠密待匹配点，并对任一所述稠密待匹配点在右水平核线影像中进行一维灰度相关匹配，获取初始稠密同名点；

步骤S5，对所述初始稠密同名点执行最小二乘影像匹配，获取亚像素级稠密同名点。

本发明基于遥感影像的倾斜校正稠密匹配方法首先由稀疏同名点生成水平核线影像，进而估计左右水平核线影像对的初始视差，从而提高了视差估计精度，减小了匹配点的搜索范围，并通过一维搜索确定初始稠密同名点时采用增量计算灰度均值，减少了灰度计算的计算量；在搜索匹配点时，将搜索步长设为2，从而减少了匹配次数，并经过最小二乘影像匹配对初始稠密同名点进行微调以实现提高匹配效率和减少误匹配的目的。

请继续参阅图1所示，步骤S2中，所述相对位姿关系通过所述稀疏同名点及相机内参数采用相对定向直接解法得到并经光束法平差优化后确定，所述相对位姿关系采用位姿变换矩阵

其中，

本发明在获得稀疏同名点时采用相对定向直接解法得到并经光束法平差优化后确定，能够获得立体像的精确相对定向元素，由此确定了构成立体模型的两个相机的相对位姿关系具有精确性，保证了后续左右水平核线影像的精确程度。

请继续参阅图1所示，步骤S3中，所述水平核线坐标系为右手三维直角坐标系，设定所述水平核线坐标系的原点为所述左相机坐标系的原点，所述水平核线坐标系的X轴为左相机投影中心与右相机投影中心的连线，得到，

所述水平核线坐标系的X轴向量在左相机坐标系下的坐标为：

所述水平核线坐标系的Y轴向量在左相机坐标系下的坐标为：

所述水平核线坐标系的Z轴向量在左相机坐标系下的坐标为：

左相机坐标系下的向量到水平核线坐标系方向的旋转变换矩阵为：

右相机坐标系下的向量到水平核线坐标系方向的旋转变换矩阵为：

其中，

本发明通过构建水平核线坐标系以将左右相机拍摄的原始影像分别转换为水平核线坐标系下的左水平核线影像和右水平核线影像，通过在同一坐标系对左右相机拍摄的立体像的视差进行分析，有效的提高了对左右影像视差分析的便捷程度和准确率，并且生成的左水平核线影像和右水平核线影像能够作为进行稠密匹配的基础，提高了稠密同名点匹配的效率。

请继续参阅图1所示，在所述步骤S3中，通过

请参阅图2所示，其为本发明获取所述初始稠密同名点的步骤图，在步骤S4中，获取所述初始稠密同名点的步骤包括：

步骤S41，分别计算所述左水平核线影像和所述右水平核线影像在所述水平核线坐标系X轴和Y轴的初始视差；

步骤S42，根据所述初始视差确定所述左水平核线影像中任一稠密待匹配点在所述右水平核线影像中的粗略匹配点；

步骤S43，以所述粗略匹配点的位置坐标为搜索中心，以设定的搜索半径，在所述右水平核线影像中所述粗略匹配点的位置坐标所在行确定一维搜索范围以确定若干匹配候选点；

步骤S44，分别计算所述稠密待匹配点为中心的源影像块的灰度均值与以任一所述匹配候选点为中心的目标影像块的灰度均值间的归一化互相关系数；

步骤S45，根据所述归一化互相关系数确定所述稠密待匹配点的初始稠密同名点。

请参阅图3所示，其为本发明初始视差计算步骤图，在步骤S41中，所述左水平核线影像和所述右水平核线影像的初始视差的计算步骤为：

步骤S411，分别计算所述左水平核线影像和所述右水平核线影像中各所述稀疏同名点在所述水平核线坐标系下的X视差和Y视差；

步骤S412，选取相邻三个所述稀疏同名点三角构网形成若干视差计算区域，在单个所述视差计算区域内分别在X方向以及Y方向上采用线性插值计算所述视差计算区域内任一点的X视差d

步骤S413，当所述稠密待匹配点位于单个视差计算区域时，采用与所述单个视差计算区域对应的X视差d

具体而言，计算左水平核线影像和右水平核线影像的初始视差并根据初始视差确定左水平核线影像中任一稠密待匹配点

本发明通过在采用水平核线坐标系中对左水平核线影像和右水平核线影像进行稠密同名点匹配，由于在水平核线坐标系已进行X方向及Y方向的视差计算，对于单个待匹配点进行稠密同名点匹配时，对应匹配的粗略匹配点的匹配精度以达到一定精度，并由于构建的水平核线坐标系的X轴由左右相机坐标系的原点构造而成，故理论上水平核线坐标系的Y轴方向的视差具有固定性，本发明中根据三角构网对Y视差进行了进一步地精算，就精确度而言，Y轴方向的视差以达到具有较高的精度，故本发明通过固定Y方向坐标选择在X方向上进行一维搜索能够达到二维搜索相近的精度，并且，一维搜索的计算量较二维搜索大大降低，进一步降低了本发明在对稠密同名点进行匹配时的计算量，提高了本发明的计算效率。

请继续参阅图2所示，在步骤S45中，通过判定归一化互相关系数是否符合标准以确定单个所述待匹配点是否存在初始稠密同名点，设置初始匹配相关系数标准t和初始匹配相关系数差值标准e，其中，t≥0.7，0＜e≤0.01，将计算得到的归一化互相关系数中的最大值记为Enccmax1、次大值记为Enccmax2，设定ΔEncc=Enccmax1-Enccmax2，

当Enccmax1≥t且ΔEncc＞e时，判定归一化互相关系数符合初始匹配标准，设定Enccmax1对应的匹配候选点为所述待匹配点的初始稠密同名点；

当Enccmax1＜t或ΔEncc≤e时，判定归一化互相关系数不符合初始匹配标准，Enccmax1对应的待匹配点不存在初始稠密同名点，将所述待匹配点剔除。

本发明通过采用归一化互相关系数来度量两个图像块的相似程度，由于归一化互相关系数系数对图像块间的线性亮度变化具有较好的鲁棒性，因而能够克服以灰度均值代表图像块特征中存在的线型亮度变化，进一步提高了本发明针对稠密同名点进行匹配时的匹配相关度符合匹配点的特征相关度，提高了本发明所述方法匹配得到的的稠密同名点与实际图像的同名点接近程度。

本发明通过判定归一化互相关系数是否符合标准以确定单个所述待匹配点是否存在初始稠密同名点并设置有初始匹配相关系数标准t和初始匹配相关系数差值标准e，以对单个所述稠密待匹配点与若干匹配候选点进行归一化互相关系数计算得到初始稠密同名点，通过判定归一化互相关系数与初始匹配相关系数标准t的大小关系保证了初始稠密同名点具有一定的匹配精度保证了初始匹配的正确性，避免对匹配精度较差的点进行最小二乘匹配带来的无效计算量增加，进一步地提高了同名点匹配的计算效率，同时，以初始匹配相关系数差值标准e作为初始稠密同名点的匹配显著性标准，进一步保证了判定的初始稠密同名点与其他匹配候选匹配点相比具有与待匹配点的更好的匹配性，提高了匹配的可信程度。

请继续参阅图2所示，在步骤S43中，所述右水平核线影像的第

计算得到所述匹配候选点的坐标为

本发明通过在一维搜索时将搜索步长设定为2个像素，一方面通过扩大步长将匹配候选点数量降低至逐像素匹配时匹配候选点数量的一半，以使匹配计算量降低原计算量的一半，提高了搜索计算效率；另一方面，由于后续的获取到初始稠密同名点后会进行最小二乘匹配以获得最终的稠密同名点，因此通过将搜索步长设定为2个像素，保证了经过最小二乘匹配能够覆盖计算与初始稠密同名点相邻的像素为匹配候选点的匹配性，使得本发明所述方法对稠密同名点的匹配能够覆盖到搜索范围内的每个像素，避免搜索点稀疏导致匹配的稠密同名点非待匹配点的最佳匹配点，进一步保证了搜索的效率与精确程度的均衡。

请继续参阅图1所示，在所述步骤S4中，所述灰度均值采用增量计算方式，增量计算公式为：

其中，将第m个匹配候选点为中心的目标影像块记为第m个目标影像块，

本发明通过采用增量计算的方式进行目标影像块的灰度均值计算，由于匹配候选点具有一定稠密程度，因而相邻的目标影像块中存在一定区域的重叠，因此，通过在获取到前一个目标影像块灰度均值时，通过仅计算相邻目标影像块中未重叠区域的灰度值对灰度均值进行快速计算，降低了对同个像素块进行重复计算灰度值导致的计算量大的问题，进一步提高了本发明所述方法的计算效率。

请继续参阅图1所示，在所述步骤S5中，采用最小二乘影像匹配对各所述初始稠密同名点进行位置调整得到二乘稠密同名点，并根据各所述二乘稠密同名点对应影像块的灰度均值与对应的所述稠密待匹配点为中心的源影像块的灰度均值间的归一化互相关系数中的最大值Encc2确定亚像素级稠密同名点的位置坐标，设定二乘匹配相关系数标准tm，其中，tm≥0.9，

当Encc2≥tm时，判定二乘归一化互相关系数符合亚像素级匹配标准，设定Encc2对应的二乘稠密同名点为所述稠密待匹配点的亚像素级稠密同名点；

当Encc2＜tm时，判定二乘归一化互相关系数不符合亚像素级匹配标准。

具体而言，在所述步骤S5中，在得到所述亚像素级稠密同名点后，将所述亚像素级稠密同名点与所述粗略匹配点在所述水平核线影像中X方向进行实际位置偏差验算得到X方向偏差

当

当

具体而言，在步骤S5中，在得到所述亚像素级稠密同名点后，将所述亚像素级稠密同名点与所述粗略匹配点在所述水平核线影像中X方向进行实际位置偏差验算得到X方向偏差

当

当

具体而言，在步骤S5中，当得到任一扫描行中的全部所述亚像素级稠密同名点时，计算各所述亚像素级稠密同名点与对应的所述粗略匹配点在所述水平核线影像中X方向进行实际位置偏差计算得到X方向偏差均值

当

当

进一步地，所述源影像块和目标影像块均为矩形大小相同，并且所述稠密待匹配点位于所述源影像块中心，所述匹配候选点位于所述目标影像块的中心，影像块大小取

具体而言，当得到第

实施例：

本实施例提供一种基于遥感影像的倾斜校正稠密匹配方法的具体计算过程，针对一具体的立体像E，原始影像采用左相机对立体像E拍摄得到的左倾斜影像和采用右相机对立体像E拍摄得到的右倾斜影像，包括：

步骤一，特征匹配；

首先采用SIFT特征描述子提取左倾斜影像和右倾斜影像的特征点，进行特征匹配；采用RANSAC算法，根据特征匹配点求解两幅影像的仿射变换关系，并剔除少量误匹配点，最终获得一定数量分布于整个重叠区的可靠同名像点，由左右影像构成一个立体模型。

步骤二，相对定向；

基于左倾斜影像和右倾斜影像的同名点及相机内参数，通过相对定向直接解法，再结合光束法平差优化，可以获得立体像E的精确相对定向元素，即确定了构成立体像E的左相机和右相机的相对位姿关系，即右相机坐标系相对于左相机坐标系的旋转矩阵

步骤三，生成立体像E的水平核线影像，包括：

步骤31，水平核线坐标系构建；

将左相机坐标系原点作为水平核线坐标系的原点，通过确定水平核线坐标系X、Y、Z三轴对应的向量在左相机坐标系下的坐标来定义水平核线坐标系。设左、右相机投影中心的连线向量为水平核线坐标系的X轴，由于水平核线坐标系的X轴向量在左相机坐标系下的坐标即为相对定向求得的平移向量t，水平核线坐标系的X轴向量在左相机坐标系下的坐标为：

所述水平核线坐标系的Y轴向量在左相机坐标系下的坐标为：

所述水平核线坐标系的Z轴向量在左相机坐标系下的坐标为：

至此，水平核线坐标系的三个轴向量在左相机坐标系下的坐标已经求得，且上述过程构造的是一个右手三维直角坐标系。

需要说明的是，水平核线坐标系构造完成后同时构造虚拟的左、右水平核线相机，其中，左、右水平核线相机坐标系的X、Y、Z三轴与水平核线坐标系三轴平行，左、右水平核线相机坐标系的原点分别设为左、右倾斜相机坐标系的原点，即左、右倾斜相机的投影中心。

构造了水平核线坐标系后，左相机坐标系下的向量到水平核线坐标系方向的旋转变换矩阵为：

右相机坐标系下的向量到水平核线坐标系方向的旋转变换矩阵为：

其中，

步骤32，影像校正；

以左相机对应的左倾斜影像为例，将倾斜影像校正为水平影像的过程如下，

对于左倾斜影像中任一像素点

其中，

将式（1）与式（2）结合，可将左倾斜影像中任一像素映射到左水平核线影像，反之亦成立；

对于右相机对应的右倾斜影像，通过将式（2）中的

在具体实施中，首先将

步骤四，灰度相关匹配，包括；

步骤41，视差估计；

为了估计水平影像对的初始视差，首先采用式（2），将所有稀疏同名点的原始影像坐标转为水平核线影像坐标；然后由稀疏点三角构网，根据每个三角形三个顶点在x和y方向的水平影像视差，在三角形内插值出水平影像每个像素的x和y视差。

请参阅图4所示，其为本发明实施例三角形差值示意图，其中

通过将式（3）中的视差换成对应点的x坐标，可求得点

同理可以求得

值得注意的是，理论上水平核线影像对中任意位置的y视差是固定的，理论上y视差由校正时采用的像主点列坐标

步骤24，相关匹配；

采用规范化互相关系数来度量两个图像块的相似程度，规范化互相关系数对图像块间的线性亮度变化鲁棒，其计算公式如下：

其中：

值得注意的是，对于彩色影像，应该分别计算各颜色通道的灰度均值，并联立全部颜色通道来计算相关系数，对应的计算公式如下：

其中，c为颜色通道数；

设定稠密待匹配点的匹配间隔设为m×n，即每隔m行、n列匹配一个稠密同名点，间隔越小，密度越大，重建的精细程度越高，m和n的取值可根据实际场景的三维场景复杂程度来设置，在此不再赘述；

对于左水平核线影像上任一待匹配点

需要说明的是，虽然上述提到y视差并不固定，但在搜索区域的小范围内，y视差波动很小，故通过将y视差固定，能够减小搜索范围，降低计算数据量；由于粗略匹配点的估算精度较高，因此r不必很大，这一方面减小了搜索范围，提高了匹配效率，另一方面，降低了误匹配的概率，提高了匹配正确率。

对于任一粗略待匹配点，根据式（6）计算以粗略待匹配点为中心的目标影像块与以对应稠密待匹配点为中心的源影像块间的归一化相关系数；从所有粗略待匹配点的归一化相关系数计算值中取归一化相关系数计算值最大值对应的粗略待匹配点，若该点的相关系数大于t，且归一化相关系数计算值最大值与次大值之差大于e，则认为该点是初始稠密同名点；否则剔除该点；t≥0.7，用以保证初匹配的正确性，0＜e≤0.01，以保证同名点具有一定的显著度，提高可信度。

具体而言，目标影像块大小一般取11像素×11像素。

具体而言，搜索初始稠密同名点时，采用如下2个策略来提高匹配效率：

策略一，所述右水平核线影像的任一扫描行的搜索范围进行一维搜索时，设定搜索步长为2像素，计算得到所述匹配候选点的坐标；

即，所述匹配候选点的坐标不是遍历搜索范围内的每一个像素，而是每隔一个求一次相关系数，从而使搜索量减半，进而达到提高匹配效率的目的。

这样做的合理性在于：由于搜索到的初始稠密同名点会采用最小二乘匹配进行微调，并且最小二乘匹配的校正范围可以达到2个像素，所以即使实际最佳匹配点处于未被扫描的间隔像素中时，由于搜索到的初始稠密同名点为实际最佳匹配点的临近像素，可通过最小二乘匹配来校正到实际的最佳位置，故无需逐点匹配。

策略二，在搜索范围内搜索初始稠密同名点时，计算相关系数中的灰度均值时采用增量计算：

在搜索范围的起始匹配候选点处，计算得到源图像均值

增量计算公式为：

其中，将第m个匹配候选点为中心的目标影像块记为第m个目标影像块，

采用增量计算处理能够减少灰度计算量。

策略三，沿扫描线对匹配点加入了顺序一致性约束，即对于左水平核线影像上的两点

步骤五，最小二乘匹配；

对步骤四获取的初始稠密同名点，执行最小二乘影像匹配，使同名点的匹配精度达到亚像素级。

由于逐点搜索匹配仅能达到1个像素的匹配精度，所以最后采用最小二乘匹配对搜索到的初始匹配点进行微调，使同名点达到亚像素级的匹配精度，以改善重建场景的视觉效果，由于最小二乘匹配能校正同名影像窗口的仿射变形，所以最终的相关系数应该大于tm，才认为是正确的稠密同名点。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。