基于最小化重投影误差的全局优化坐标映射转换方法

技术领域

本发明涉及成像与位移台定位技术领域，尤其是一种基于最小化重投影误差的全局优化坐标映射转换方法。

背景技术

坐标映射是计算机视觉和图像处理领域中的一个重要概念；坐标映射可以将不同图像或不同场景中的对应特征点进行对齐；使得可以进行跨图像或场景的特征匹配、跟踪和比较，从而实现各种计算机视觉和图像处理任务；在许多应用中，我们需要将一个图像中的点或特征映射到另一个图像或场景中的对应点或特征上；这种映射关系可以用数学模型来表示，其中最常用的是单应性矩阵。

全局优化从本质上讲属于NP(Non-deterministic Polynomial)问题，任务是找到一组绝对最佳的允许条件来实现目标，它试图在给定集合上找到一个函数或一组函数的全局最小值或最大值，通常被描述为一个最小化问题。

单应性矩阵是一种灵活且通用的数学模型，用于描述平面或场景之间的投影关系；它可以用于实现图像配准、图像拼接、虚拟现实等应用；提供了一种灵活的方式来描述和表示平面或场景之间的映射关系，适用于不同尺度和旋转的图像，因此在各种应用中具有广泛的适用性。单应性矩阵是一个3x3的矩阵，可以通过有限数量的参数来表示映射关系，这使得单应性矩阵的计算和使用相对简单和高效。

然而在实践中，不可避免的存在噪声、非线性畸变或完全不匹配问题等影响，在现有的技术中，只利用单应性矩阵准确计算坐标映射是具有一定挑战性的，计算的准确性需要建立在系统视野质量良好的情况下，并对校准特征点的精度有非常高的要求，该方法的适用性受到严格限制，不适合宽范围的应用推广。

发明内容

为了克服现有技术的不足，本发明提供了基于最小化重投影误差的全局优化坐标映射转换方法，旨在解决当前坐标映射转换方法存在的问题，包括对校准特征点精度要求高，受噪声、非线性畸变或完全不匹配问题的困扰；本发明引入全局优化方法改进校准特征点的准确性，并基于最小化重投影误差进行优化后的单应性矩阵变换方法相结合，同时还利用基于深度学习模型的特征点区域分割技术，从实际场景中提取出准确的特征点区域，大大提高了坐标映射的准确性和稳定性。

本发明解决其技术问题所采用的技术方案是：

基于最小化重投影误差的全局优化坐标映射转换方法，包括如下步骤：

步骤一：通过人为设定的特征点(十字)坐标用于校准，分别计算两个系统中，相对应的特征点间的相对位移关系；即：计算出两个系统中每个特征点对应的坐标，以及相对应的两两特征点间的位移关系；

单应矩阵H具有8个自由度，共需要8个方程才能计算出单应矩阵H，而1对特征点能够提供两个方程，故而至少需要4对特征点才能完成解出单应矩阵H，因此设计不少于4组特征点，特征点尽可能的充满整个场景S；

所述场景S是校准特征点的场景，场景S中的特征点记为S

进一步的，所述特征点的坐标精度于校准十字大小成反比，十字坐标越小，定位精度越高；

所述两个系统是指：观测系统A和目标系统B；

对于观测系统A，特征点的集合记为V

对于目标系统B，特征点的集合记为V

通过对观测系统A中特征点坐标计算，得到场景S在观测系统A内特征点间的相对位移关系，记为：

通过对目标系统B中特征点坐标计算，得到场景S在目标系统B内特征点间的相对位移关系，记为：

其中，M、N为观测系统A中标定的特征点，U、V为目标系统B中标定的特征点；

所述相对位移关系P

所述相对位移关系P

步骤二：通过全局优化，计算每个系统中其它特征点与本系统中的参考特征点的相对位移关系，得到每个系统中各特征点优化后的坐标，减少了误差：

作为一种举例说明，减少了误差是指：因为硬件设备的配置及对照时参差不齐等原因，对坐标的测量存在误差；在每个系统中，我们通过全局优化算法来减小特征点坐标的测量误差。

对于观测系统A,经全局优化，计算得到的最优配置为：

对于目标系统B，经全局优化，计算得到的最佳配置为：

场景S在观测系统A内，其它特征点相对参考特征点优化后的位移关系为：

场景S在目标系统B内，其它特征点相对参考特征点优化后的位移关系：

其中：

为经过全局优化后观测系统A中抽取的第n个特征点与参考特征点a

为经过全局优化后目标系统B中抽取的第n个特征点与参考特征点b

通过优化后的特征点相对位移，求得优化后的特征点坐标；

作为一种举例说明，所述的全局优化算法包括：最小二乘算法，遗传算法、粒子群优化算法或模拟退火算法等。

作为一种举例说明，选择多个不同的特征点作为预选参考点，将每一个预选参考点作为独立的全局优化问题进行求解，比较各个结果的准确性和误差，选择对应结果最优的预选特征点作为参考点。

作为一种举例说明，可以先使用局部优化算法进行粗略的优化，然后将局部优化的结果作为全局优化算法的初始值估计值，再使用全局优化算法进行精细的优化。

步骤三：根据全局优化后的观测系统A和目标系统B之间特征点的对应关系，计算两系统的单应性变换矩阵；

对观测系统A和目标系统B进行匹配：将观测系统A特征点集合中的特征点与目标系统B特征点集合中的特征点进行对应匹配；

两个不同视角图像上的点，其对应的齐次坐标可以用一个射影变换来表述，对应的变换矩阵称为单应性矩阵；

将观测系统A特征点集合中的特征点a

a

平面上的点为三维齐次矢量，设对应的特征点a

通过观测系统A和目标系统B中n(n≥4)对特征点的坐标计算，得到单应矩阵H；

使用LM算法与奇异值分解结合使用来求解单应性矩阵：计算映射后的特征点与目标系统中对应位置的特征点之间的重投影误差，通过优化LM算法更新单应性矩阵H的参数，以减小重投影误差；优化算法根据重投影误差，调整单应性矩阵H的参数，使得重投影误差逐步减小；重复迭代：重复计算误差与优化，直到达到指定的停止条件(如达到最大迭代次数或重投影误差足够小)；将LM求得的单应性矩阵使用奇异值分解(SVD)做进一步处理；

步骤四：对需要对采集的视野进行预处理，旨在提高识别实际样本特征区域坐标数据的准确性和可用性；

作为一种举例说明，所述的预处理方式包括图像去噪、图像标准化等。

作为一种举例说明，所述图像去噪包括均值滤波、中值滤波或高斯滤波去噪等。

作为一种举例说明，所述图像标准化包括灰度化、直方图均衡化。

步骤五：将预先标注的语义分割的训练图像以及预处理后的图像利用深度学习语义分割模型进行训练，得到所述图像特征区域的实际分割图；

进一步的，根据鲁棒性的要求，对预处理后的图像，采用数据增强方法来增强数据样本的多样性，使得能够生成更多样化，更具挑战的图像样本；

作为一种举例说明，所述的数据增强方法包括：随机翻转、旋转，随机改变图像强度等。

作为一种举例说明，所述深度学习语义分割模型包括unet、deeplab、stardist模型。

步骤六：根据语义分割模型的结果，识别出实际样本点信息的坐标，将观测系统A中识别的实际样本点坐标存于Sa中，根据Sa中存的实际样本点的坐标，通过步骤三由校准特征点计算到的单应性矩阵H变换得到对应在目标系统B的坐标。

作为一种举例说明，本发明通过scipy.ndimage.measurements label函数对特征点对应的连通域进行提取，并通过centroid属性获得观测系统A中实际样本特征区域的坐标。

基于所述的scipy.ndimage.measurements label函数受分割后存在小面积的孔洞的影响，本发明通过补集作为mask用于限制膨胀结果，通过cv.getStructuringElement()函数创建3×3的十字形核，用于作为膨胀时的kernel，直至收敛。

本发明的有益效果：

本发明克服两平面系统基于坐标映射转换中，因为视野角度、系统坐标体系不同导致坐标无法准确转换的问题，转换后的误差极低。

本发明的目的是，提供一种基于最小化重投影误差的全局优化坐标映射转换方法，通过自定义的校准特征点为计算两系统变换的单应性矩阵做准备，提出使用更小的十字校准特征点，提高定位精度；通过全局优化算法，计算出两个系统场景S的校准特征点间的位移关系，减少了坐标之间的误差问题，提高了坐标转换的精确度以及鲁棒性；对实际视野中的特征区域利用深度学习模型进行分割，利用改进后的识别方法精准识别出观测系统特征区域的坐标，通过基于最小化重投影误差迭代优化的方法使用校准特征点计算得到单应性矩阵，实现两平面系统之间的坐标变换映射；本发明提供了一种精度高、鲁棒性强的两平面系统坐标映射方法，该方法通过全局优化算法和自定义的校准特征点，显著提升了坐标转换的精确度和稳定性。

附图说明

图1是本发明基于最小化重投影误差的全局优化坐标映射转换方法之整体流程结构框图。

图2是本发明基于最小化重投影误差的全局优化坐标映射转换方法之校准特征点的参照图。

图3是本发明基于最小化重投影误差的全局优化坐标映射转换方法之实物图对应的场景S特征点示意图。

图4是本发明基于最小化重投影误差的全局优化坐标映射转换方法之场景S相邻特征点对应关系示意图。

图5是本发明基于最小化重投影误差的全局优化坐标映射转换方法之参考特征点与其他特征点的位移关系示意图。

图6是本发明基于最小化重投影误差的全局优化坐标映射转换方法之特征点坐标经全局优化后效果示意图。

图7是本发明基于最小化重投影误差的全局优化坐标映射转换方法之两平面系统坐标对应关系映射示意图。

图8是本发明基于最小化重投影误差的全局优化坐标映射转换方法之观测系统与目标系统坐标映射预览图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细说明。

参照图1所示，基于最小化重投影误差的全局优化坐标映射转换方法，包括如下步骤：

步骤一：通过人为设定的特征点(十字)的坐标用于校准，分别计算两个系统中，相对应的校准特征点间的相对位移关系；即：计算出两个系统中每个校准特征点对应的坐标，以及相对应的两两特征点间的位移关系；

单应矩阵H具有8个自由度，共需要8个方程才能计算出单应矩阵H，而1对特征点能够提供两个方程，故而至少需要4对特征点才能完成解出单应矩阵H，因此设计不少于4组特征点，特征点尽可能的充满整个场景S；

进一步的，所述特征点的坐标精度于校准十字大小成反比，十字坐标越小，定位精度越高；

所述两个系统是指：观测系统A和目标系统B；

作为一种举例说明，单应性矩阵的计算需要至少四组对应点，如图2所示，本发明中所用的校准特征点为9个；

作为一种举例说明，如图3中示意，所述场景S是校准特征点的场景，场景S中的特征点记为S

对于观测系统A，特征点的集合记为V

对于目标系统B，特征点的集合记为V

如图4所示，通过对观测系统A中特征点坐标计算，得到场景S在观测系统A内特征点间的相对位移关系，记为：

如图4所示，通过对目标系统B中特征点坐标计算，得到场景S在目标系统B内特征点间的相对位移关系，记为：

其中，M、N为观测系统A中标定的特征点，U、V为目标系统B中标定的特征点；

所述相对位移关系P

所述相对位移关系P

步骤二：通过全局优化，计算每个系统中其它特征点与本系统中的参考特征点的相对位移关系，得到每个系统中各特征点优化后的坐标，减少误差：

因为硬件设备的配置及对照时参差不齐等原因，对坐标的测量存在误差；在每个系统中，我们通过全局优化算法来减小特征点坐标的测量误差；

作为一种举例说明，所述的全局优化算法包括遗传算法、粒子群优化算法或模拟退火算法等；

对于观测系统A,经全局优化，计算得到的最优配置为：

对于目标系统B，经全局优化，计算得到的最佳配置为：

如图5所示，经全局优化后，选定一个特征点为参考点，计算得到其他特征点与参考特征点的相对位移；

场景S在观测系统A内，其它特征点相对参考特征点优化后的位移关系为：

场景S在目标系统B内，其它特征点相对参考特征点优化后的位移关系：

其中：

a

b

作为一种举例说明，通过优化后的特征点相对位移，求得优化后的特征点坐标，如图6所示，左图为校准特征点初始坐标，右图为经全局优化后特征点对于参考特征点的相对位移坐标，其中参考特征点的坐标为(0,0)；

进一步的，选择多个不同的特征点作为预选参考点，将每一个预选参考点作为独立的全局优化问题进行求解，比较各个结果的准确性和误差，选择对应结果最优的预选特征点作为参考点。

进一步的，可以先使用局部优化算法进行粗略的优化，然后将局部优化的结果作为全局优化算法的初始值估计值，再使用全局优化算法进行精细的优化。

作为一种举例说明，所述的局部优化算法可选择梯度下降法、牛顿法等；

通过优化后的特征点相对位移，求得优化后的特征点坐标；

作为一种举例说明，所述全局优化算法包括：最小二乘法、随机游走算法或遗传算法。

步骤三：根据观测系统A和目标系统B之间特征点的对应关系，计算两系统的单应性变换矩阵，如图7所示；

对观测系统A和目标系统B进行匹配：将观测系统A特征点集合中的特征点与目标系统B特征点集合中的特征点进行对应匹配；

两个不同视角图像上的点，其对应的齐次坐标可以用一个射影变换来表述，对应的变换矩阵称为单应性矩阵；

将观测系统A特征点集合中的特征点a

a

平面上的点为三维齐次矢量，设对应的特征点a

通过观测系统A和目标系统B中n(n≥4)对特征点的坐标计算，得到单应矩阵H；

进一步的，使用LM(Levenberg-Marquarelt)算法与奇异值分解结合使用来求解单应性矩阵：

LM算法是一种迭代求函数极值的算法，结合了牛顿法求极值与梯度法求极值这两种算法的优点；

高斯牛顿法求极值的递推公式：x

梯度法求极值的递推公式:x

LM算法求极值的递推公式：x

从上述公式中可看出，αI是控制步长的调节因子，也称为阻尼因子，当LM算法求得的极值接近最优点时，使用较小的α，使整个公式接近高斯牛顿法使得能够更快的收敛；当离最优点很远时，高斯牛顿误差大，因此使用较大的α，使得整个公式接近梯度法；

在使用LM算法求解优化问题，目标是通过调整参数使得拟合误差最小化。阻尼因子的调整可以基于最小化重投影误差来进行的，在每次迭代时，算法会计算当前参数下的重投影误差，并根据该误差来动态调整阻尼因子；

这里的重投影误差是将观测系统A上的特征点坐标通过单应性矩阵H进行投影，并将其归一化到齐次坐标形式，计算投影点与目标系统B的对应特征点坐标之间的差异(残差)；

通过使用LM算法迭代调整参数值来不断优化拟合结果，将LM求得的单应性矩阵使用奇异值分解(SVD)做进一步处理；

作为一种举例说明，分别使用最小化重投影误差、MSE以及决定系数等指标对优化算法进行评价，其中最小化重投影误差越小，获得的单应性矩阵越准确；MSE越小表示预测的变换结果与真实值之间的差异越小，单应性矩阵的准确性越高；决定系数的大小的取值范围在0-1之间，与拟合程度成正相关，具体数据可以参照表1：

表1

步骤四：对需要对采集的视野进行预处理，旨在提高识别实际样本点坐标数据的准确性和可用性；

作为一种举例说明，所述的预处理方式包括图像去噪、图像标准化等；

作为一种举例说明，所述图像去噪包括均值滤波、中值滤波或高斯滤波去噪等；

作为一种举例说明，所述图像标准化包括灰度化、直方图均衡化；

步骤五：将预先标注的语义分割的训练图像以及预处理后的图像利用深度学习语义分割模型进行训练，得到所述图像的实际分割图；

进一步的，根据鲁棒性的要求，对预处理后的图像，采用数据增强方法来增强数据样本的多样性，使得能够生成更多样化，更具挑战的图像样本；

作为一种举例说明，所述的数据增强方法包括随机翻转、旋转，随机改变图像强度等；

作为一种举例说明，所述深度学习语义分割模型包括unet、deeplab、stardist模型；

步骤六：根据语义分割模型的结果，识别出实际样本点信息的坐标，将观测系统A中识别的实际样本点坐标存于Sa中，根据Sa中存的实际样本点的坐标，通过步骤三由校准特征点计算到的单应性矩阵H变换得到对应在目标系统B的坐标；

作为一种举例说明，本发明通过scipy.ndimage.measurements label函数对特征点对应的连通域进行提取，并通过centroid属性获得观测系统系统A中实际样本点的坐标；

进一步的，基于所述的scipy.ndimage.measurements label函数受分割后存在小面积的孔洞的影响，本发明通过补集作为mask用于限制膨胀结果，通过cv.getStructuringElement()函数创建3×3的十字形核，用于作为膨胀时的kernel，直至收敛；

如图8所示，将观测系统的特征区域进行分割后，基于上述识别方法取得的对应特征点坐标，通过变换矩阵，获得目标系统特征区域的定位坐标；

本发明克服两平面系统基于坐标映射转换中，因为视野角度、系统坐标体系不同导致坐标无法准确转换的问题，转换后的误差极低。

本发明的目的是，提供一种基于最小化重投影误差的全局优化坐标映射转换方法，通过自定义的校准特征点为计算两系统变换的单应性矩阵做准备，提出使用更小的十字校准特征点，提高定位精度；通过全局优化算法，计算出两个系统场景S的校准特征点间的位移关系，减少了坐标之间的误差问题，提高了坐标转换的精确度以及鲁棒性；对实际视野中的特征区域利用深度学习模型进行分割，利用改进后的识别方法精准识别出观测系统特征区域的坐标，通过基于最小化重投影误差迭代优化的方法使用校准特征点计算得到单应性矩阵，实现两平面系统之间的坐标变换映射；本发明提供了一种精度高、鲁棒性强的两平面系统坐标映射方法，该方法通过全局优化算法和自定义的校准特征点，显著提升了坐标转换的精确度和稳定性。

以上所述的仅为本发明的优选实施例，所应理解的是，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，并不用于限定本发明的保护范围，凡在本发明的思想和原则之内所做的任何修改、等同替换等等，均应包含在本发明的保护范围之内。