条纹图模型优化方法、装置、设备及计算机可读存储介质

技术领域

本申请涉及条纹图重建技术领域，具体涉及一种条纹图模型优化方法、装置、设备及计算机可读存储介质。

背景技术

相移干涉法（PSI）作为一种简单、准确的技术在光学计量中得到了广泛的应用。在相移干涉法中，产生并捕获一系列相移条纹图，从中提取与测量量(如形状、变形或折射率)相关的相位分布。但在实际测量中，由于参考物之间的刚性和非刚性运动、空气湍流引起的振动、图像中出现高反光和低反光的现象、物体产生大面积阴影区域和干涉器件产生随机噪音等多种因素，导致拍摄出的条纹图会在时间与空间中均形成不均匀的相移分布，即帧与帧之间和帧内像素之间相移不均匀分布。为了在这些误差源存在的情况下准确地提取相位，人们开发了许多相移算法（PSA）。典型未知相移的例子有基于可选线性最小二乘拟合(LSF)框架的先进迭代算法AIA、精度好、计算速度快的主成分分析算法PCA、基于欧氏矩阵范数和Gram-Schmidt正交正态化的算法等。但是这些算法都是解决帧内分布均匀相移，帧间不均匀相移的情况。

基于AIA衍生改进的算法GIA，为了考虑同时解决帧间分布不均匀相移和帧内分布不均匀相移的情况。它提出了一种采用最一般条纹模型的一般迭代算法。在GIA中，将条纹模式模型中的许多未知数分为三组，包括:(i)条纹背景光强和振幅，(ii)相位和(iii)相移相关参数，并通过单变量搜索技术逐组优化，以提高精度和收敛性。由于Levenberg-Marquart方法（以下称LM）具有良好的精度和鲁棒性，因此采用LM方法对每组未知数进行优化，使无噪声条纹强度与实测条纹强度之间的最小二乘误差最小化，返回最小化时对应的未知向量解，从而提取出相位和不均匀相移等相关数据。

然而在实际过程中，我们拍摄的图像会因为物体的材质引发高反光，从而使得原本正确的采样数据受到污染，例如：高反光使得黑白条纹数值同时增大，但是读取图像值最大只有255，导致出现黑白条纹渐变缩短的现象。这些受污染的条纹图数据使得GIA用麦克劳林多项式拟合帧内相移不准确，从而可能出现物体在条纹边界重建的部分出现缝隙或者断崖现象。为了克服这一问题，提出了一种基于方向相干性的不连续光学相位图加权最小二乘相位展开算法。在该算法中，引入方向相干性来定义新的加权系数，利用加权系数使得重建后物体表面更加平滑衔接。然而该算法的权重值是依赖于包裹相位图的权重系数，包裹相位图的不准确区域会影响准确区域的权重选择。该算法也在实验中表明，在连续区域中展开的相位值看起来不够光滑。

发明内容

本申请的目的在于提供一种条纹图模型优化方法、装置、设备及计算机可读存储介质，可以解决背景技术中存在的至少一技术问题。

为实现上述目的，本申请提供了一种条纹图模型优化方法，包括：

S1、基于连续多帧图像的各像素设立条纹图模型，所述条纹图模型的特征参数包括条纹背景光强和振幅、相位以及相移相关参数；

S2、分别对每组特征参数创建对应的优化目标函数；

S3、利用优化模型逐一对每组特征参数进行优化，在优化其中任一组特征参数时，将该组特征参数作为变量，其他两组特征参数作为已知量，所述优化模型包括加权最小二乘法模型和神经网络模型，每组特征参数的优化方法包括：

S31、基于各组特征参数、连续多帧图像的各像素的权重系数和代价系数、以及设定的优化参数构造所述加权最小二乘法模型和所述神经网络模型；

S32、将待优化的一组变量和对应的已知量输入所述加权最小二乘法模型；

S33、所述加权最小二乘法模型对待优化的变量进行优化并更新权重系数和代价系数；

S34、将更新后的权重系数传递给所述神经网络模型，所述神经网络模型利用更新后的权重系数更新神经网络参数并反向传递给所述加权最小二乘法模型；

S35、将更新后的神经网络参数作为所述加权最小二乘法模型的新的所述优化参数，并重复步骤S33和步骤S34；

S36、将重新优化后的变量和对应的已知量代入对应的所述优化目标函数并判断是否收敛，如果是，则进入步骤S38，如果否，则将该重新优化后的变量反向传递给所述加权最小二乘法模型并进入步骤S37；

S37、重复步骤S35和步骤S36，直至所述优化目标函数收敛时进入步骤S38；

S38、输出完成优化的变量；

S4、重复步骤S3，直至达到最终收敛条件，输出完成最终优化的各组特征参数。

可选地，所述条纹图模型为：

所述条纹背景光强和所述振幅对应的优化目标函数为：

所述相位对应的优化目标函数为：

所述相移相关参数对应的优化目标函数为：

其中

可选地，所述加权最小二乘法模型的参数包括：未知量向量，残差向量和雅可比矩阵；

所述条纹背景光强和所述振幅对应的未知量向量、残差向量和雅可比矩阵分别为：

所述相位对应的未知量向量、残差向量和雅可比矩阵分别为：

所述相移相关参数对应的未知量向量、残差向量和雅可比矩阵分别为：

其中

可选地，所述加权最小二乘法模型的损失函数为：

其中，

所述神经网络模型的损失函数为：

其中，

可选地，所述神经网络模型包括：输入层、隐藏层和输出层；

所述神经网络模型的连接方式采用全连接的方式进行连接；

其中输入层和输出层的神经元的个数与所述未知量向量大小一致；

其中隐藏层的神经元个数与所述权重系数的个数一致。

可选地，通过下列不等式确定所述优化目标函数收敛：

其中

可选地，所述最终收敛条件包括：

选择任意一组特征参数对应的优化目标函数,代入下列不等式并使所述不等式成立：

其中

为实现上述目的，本申请提供了一种条纹图模型优化装置，包括：

设立模块，用于基于连续多帧图像的各像素设立条纹图模型，所述条纹图模型的特征参数包括条纹背景光强和振幅、相位以及相移相关参数；

创建模块，用于分别对每组特征参数创建对应的优化目标函数；

优化模块，用于利用优化模型逐一对每组特征参数进行优化，在优化其中任一组特征参数时，将该组特征参数作为变量，其他两组特征参数作为已知量，所述优化模型包括加权最小二乘法模型和神经网络模型，每组特征参数的优化方法包括：

S31、基于各组特征参数、连续多帧图像的各像素的权重系数和代价系数、以及设定的优化参数构造所述加权最小二乘法模型和所述神经网络模型；

S32、将待优化的一组变量和对应的已知量输入所述加权最小二乘法模型；

S33、所述加权最小二乘法模型对待优化的变量进行优化并更新权重系数和代价系数；

S34、将更新后的权重系数传递给所述神经网络模型，所述神经网络模型利用更新后的权重系数更新神经网络参数并反向传递给所述加权最小二乘法模型；

S35、将更新后的神经网络参数作为所述加权最小二乘法模型的新的所述优化参数，并重复步骤S33和步骤S34；

S36、将重新优化后的变量和对应的已知量代入对应的所述优化目标函数并判断是否收敛，如果是，则进入步骤S38，如果否，则将该重新优化后的变量反向传递给所述加权最小二乘法模型并进入步骤S37；

S37、重复步骤S35和步骤S36，直至所述优化目标函数收敛时进入步骤S38；

S38、输出完成优化的变量；

输出模块，用于达到最终收敛条件时，输出完成最终优化的各组特征参数。

为实现上述目的，本申请还提供了一种设备，包括：

处理器；

存储器，其中存储有所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行如上所述的条纹图模型优化方法。

为实现上述目的，本申请还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时实现如上所述的条纹图模型优化方法。

本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行如上所述的条纹图模型优化方法。

本申请利用加权最小二乘法模型结合神经网络模型对条纹图模型的条纹背景光强和振幅、相位以及相移相关参数进行逐一优化，在进行优化时，加权最小二乘法模型会将更新后的权重系数正向传递给神经网络模型，神经网络模型利用接收到的权重系数更新神经网络参数并反向传递给加权最小二乘法模型，加权最小二乘法模型即可将更新后的神经网络参数作为新的所述优化参数再进行优化，接着将重新优化后的变量和对应的已知量代入对应的优化目标函数并判断是否收敛，如果是，则输出完成优化的变量，如果否，则将该重新优化后的变量反向传递给加权最小二乘法模型并重复进行优化，直至优化目标函数收敛时输出完成优化的变量。本申请重复对条纹背景光强和振幅、相位以及相移相关参数进行逐一优化，直至达到最终收敛条件，输出完成最终优化的各组特征参数。由于神经网络模型在训练过程中通过学习大量数据的统计规律，建立了对特征和模式的抽象表示，保持准确数据的输出稳定性，本申请选择用神经网络模型获取加权最小二乘方法的权重系数，解决因为不准确权重系数影响准确权重系数的选择的问题。其次，神经网路具有端到端学习能力，将神经网络模型与加权最小二乘法模型结合，可以实现端到端的学习，意味着可以直接从原始输入数据开始，通过神经网络模型进行权重系数的学习，可以更好地适应不同的任务和数据。

附图说明

图1是本申请实施例条纹图模型优化方法的流程图。

图2是本申请实施例一组特征参数的优化方法的流程图。

图3是本申请实施例待优化变量为条纹背景光强和振幅时，神经网络模型的神经元结构。

图4是本申请实施例优化模型的示意图。

图5是本申请另一实施例条纹图模型优化方法的流程图。

图6是本申请实施例条纹图模型优化装置的示意框图。

图7是本申请实施例设备的示意框图。

具体实施方式

为了详细说明本申请的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

实施例一

请参阅图1至图5，本申请公开了一种条纹图模型优化方法，包括：

S1、基于连续多帧图像的各像素设立条纹图模型，条纹图模型的特征参数包括条纹背景光强和振幅、相位以及相移相关参数。条纹背景光强和振幅为一组特征参数，相位为一组特征参数，相移相关参数为一组特征参数。

具体地，条纹图模型为：

其中

S2、分别对每组特征参数创建对应的优化目标函数。

具体地，条纹背景光强和振幅对应的优化目标函数为：

相位对应的优化目标函数为：

相移相关参数对应的优化目标函数为：

其中

S3、利用优化模型逐一对每组特征参数进行优化，在优化其中任一组特征参数时，将该组特征参数作为变量，其他两组特征参数作为已知量，优化模型包括加权最小二乘法模型（加权LM（Levenberg-Marquart）模型，即图4中优化器LM）和神经网络模型（优化器Adam）。可以理解的是，在对一组变量进行优化时，是在最新的优化基础上继续进行优化，输入的变量和已知量均为最新优化得到的结果。

具体地，加权最小二乘法模型的参数包括：未知量向量，残差向量和雅可比矩阵。

条纹背景光强和振幅对应的未知量向量、残差向量和雅可比矩阵（对目标像素j建立未知量向量、残差向量和雅可比矩阵）分别为：

其中，

具体地，加权最小二乘法模型优化条纹背景光强和振幅时，需要传递的参数还包括：最大迭代次数LM_MaxIter、阻尼因子

根据实验，设立最大迭代次数LM_MaxIter等于200、阻尼因子

相位对应的未知量向量、残差向量和雅可比矩阵（对目标像素j建立未知量向量、残差向量和雅可比矩阵）分别为：

其中

具体地，加权最小二乘法模型优化相位时，需要传递的参数还包括：最大迭代次数LM_MaxIter、阻尼因子

根据实验，设立最大迭代次数LM_MaxIter等于200、阻尼因子

相移相关参数对应的未知量向量、残差向量和雅可比矩阵分别为：

其中

对于相移相关参数，优化是逐帧的，并假设第一帧的相移为0。对于目标帧

具体地，加权最小二乘法模型优化相移相关参数时，需要传递的参数还包括：最大迭代次数LM_MaxIter、阻尼因子

根据实验，设立最大迭代次数LM_MaxIter等于200、阻尼因子

具体地，神经网络模型包括：输入层、隐藏层和输出层；

神经网络模型的连接方式采用全连接的方式进行连接；

其中输入层和输出层的神经元的个数与未知量向量大小一致；

其中隐藏层的神经元个数与权重系数的个数一致。

其中图3给出了待优化变量为条纹背景光强和振幅时，神经网络模型的神经元结构。隐藏层的神经元代表正向传递时的权重系数

每组特征参数的优化方法包括：

S31、基于各组特征参数、连续多帧图像的各像素的权重系数和代价系数、以及设定的优化参数（初始值设为1）构造加权最小二乘法模型和神经网络模型。

具体地，加权最小二乘法模型的损失函数为：

其中，

加权最小二乘法模型为：

神经网络模型的损失函数为：

其中，

神经网络模型的优化函数为：

S32、将待优化的一组变量和对应的已知量输入加权最小二乘法模型。

在待优化的变量为条纹背景光强和振幅时，已知量包括相位和相移相关参数。在待优化的变量为相位时，已知量为条纹背景光强和振幅，以及相移相关参数。在待优化的变量为相移相关参数时，已知量为条纹背景光强和振幅，以及相位。

S33、加权最小二乘法模型对待优化的变量进行优化并更新权重系数和代价系数。具体地，加权最小二乘法模型根据损失函数计算出新的S(θ; v)。

S34、将更新后的权重系数传递给神经网络模型，神经网络模型利用更新后的权重系数更新神经网络参数并反向传递给加权最小二乘法模型。

具体地，神经网络模型会根据损失函数

S35、将更新后的神经网络参数作为加权最小二乘法模型的新的优化参数，并重复步骤S33和步骤S34。

S36、将重新优化后的变量和对应的已知量代入对应的优化目标函数并判断是否收敛，如果是，则进入步骤S38，如果否，则将该重新优化后的变量反向传递给加权最小二乘法模型并进入步骤S37。

具体地，在变量为条纹背景光强和振幅时，代入的优化目标函数为：

在变量为相位时，代入的优化目标函数为：

在变量为相移相关参数时，代入的优化目标函数为：

。

具体地，通过下列不等式确定优化目标函数收敛：

其中

S37、重复步骤S35和步骤S36，直至优化目标函数收敛时进入步骤S38。

S38、输出完成优化的变量。

对于整个优化模型而言，可以划分为如图4中所示的输入层、隐藏层和输出层，其中输入层用于输入待优化的一组变量和对应的已知量，输出层用于输出隐藏层中符合迭代终止条件的变量，即完成优化的变量，隐藏层则负责除输入和输出之外的工作。

请结合图5，具体地，在利用优化模型逐一对每组特征参数进行优化之前，方法还包括：采用AIA迭代法对所有特征参数和相移进行初始化。

初始化的数据会影响本申请最终收敛数据的准确性。当初始化数据过于偏离收敛数据时，得到的最终结果准确性不高，同时会增加收敛迭代的次数从而影响收敛速度。为了提高最终结果的准确性，尽可能的选取接近真实结果的数据，因此，本申请可以选择使用AIA计算出的数据作为初始值，即利用AIA初始化条纹背景光强、振幅、相位、相移和相移相关参数。

进一步地，采用AIA迭代法对所有特征参数进行初始化时，将相移相关参数设为零（即将麦克劳林的系数向量都设置为0，也就是一个全零的一维向量，保证第一帧的相移平面是从0开始的），以及在

S4、重复步骤S3，直至达到最终收敛条件，输出完成最终优化的各组特征参数。

具体地，最终收敛条件包括：选择任意一组特征参数对应的优化目标函数,代入下列不等式并使不等式成立：

其中

具体地，最终收敛条件还包括最大迭代次数MaxIter。可选地，最大迭代次数MaxIter=20~50。

在图5提供的示例中，在逐一对每组特征参数进行优化时，优化顺序为先对条纹背景光强和振幅进行优化，接着对相位进行优化，最后对相移相关参数进行优化。当然，在优化时并不限制为该优化顺序。

本申请利用加权最小二乘法模型结合神经网络模型对条纹图模型的条纹背景光强和振幅、相位以及相移相关参数进行逐一优化，在进行优化时，加权最小二乘法模型会将更新后的权重系数正向传递给神经网络模型，神经网络模型利用接收到的权重系数更新神经网络参数并反向传递给加权最小二乘法模型，加权最小二乘法模型即可将更新后的神经网络参数作为新的优化参数再进行优化，接着将重新优化后的变量和对应的已知量代入对应的优化目标函数并判断是否收敛，如果是，则输出完成优化的变量，如果否，则将该重新优化后的变量反向传递给加权最小二乘法模型并重复进行优化，直至优化目标函数收敛时输出完成优化的变量。本申请重复对条纹背景光强和振幅、相位以及相移相关参数进行逐一优化，直至达到最终收敛条件，输出完成最终优化的各组特征参数。由于神经网络模型在训练过程中通过学习大量数据的统计规律，建立了对特征和模式的抽象表示，保持准确数据的输出稳定性，本申请选择用神经网络模型获取加权最小二乘方法的权重系数，解决因为不准确权重系数影响准确权重系数的选择的问题。其次，神经网路具有端到端学习能力，将神经网络模型与加权最小二乘法模型结合，可以实现端到端的学习，意味着可以直接从原始输入数据开始，通过神经网络模型进行权重系数的学习，可以更好地适应不同的任务和数据。

实施例二

请参阅图2和图6，本申请公开了一种条纹图模型优化装置，包括：

设立模块201，用于基于连续多帧图像的各像素设立条纹图模型，条纹图模型的特征参数包括条纹背景光强和振幅、相位以及相移相关参数。

创建模块202，用于分别对每组特征参数创建对应的优化目标函数。

优化模块203，用于利用优化模型逐一对每组特征参数进行优化，在优化其中任一组特征参数时，将该组特征参数作为变量，其他两组特征参数作为已知量，优化模型包括加权最小二乘法模型和神经网络模型。每组特征参数的优化方法包括：

S31、基于各组特征参数、连续多帧图像的各像素的权重系数和代价系数、以及设定的优化参数构造加权最小二乘法模型和神经网络模型；

S32、将待优化的一组变量和对应的已知量输入加权最小二乘法模型；

S33、加权最小二乘法模型对待优化的变量进行优化并更新权重系数和代价系数；

S34、将更新后的权重系数传递给神经网络模型，神经网络模型利用更新后的权重系数更新神经网络参数并反向传递给加权最小二乘法模型；

S35、将更新后的神经网络参数作为加权最小二乘法模型的新的优化参数，并重复步骤S33和步骤S34；

S36、将重新优化后的变量和对应的已知量代入对应的优化目标函数并判断是否收敛，如果是，则进入步骤S38，如果否，则将该重新优化后的变量反向传递给加权最小二乘法模型并进入步骤S37；

S37、重复步骤S35和步骤S36，直至优化目标函数收敛时进入步骤S38；

S38、输出完成优化的变量。

输出模块204，用于达到最终收敛条件时，输出完成最终优化的各组特征参数。

本申请利用加权最小二乘法模型结合神经网络模型对条纹图模型的条纹背景光强和振幅、相位以及相移相关参数进行逐一优化，在进行优化时，加权最小二乘法模型会将更新后的权重系数正向传递给神经网络模型，神经网络模型利用接收到的权重系数更新神经网络参数并反向传递给加权最小二乘法模型，加权最小二乘法模型即可将更新后的神经网络参数作为新的优化参数再进行优化，接着将重新优化后的变量和对应的已知量代入对应的优化目标函数并判断是否收敛，如果是，则输出完成优化的变量，如果否，则将该重新优化后的变量反向传递给加权最小二乘法模型并重复进行优化，直至优化目标函数收敛时输出完成优化的变量。本申请重复对条纹背景光强和振幅、相位以及相移相关参数进行逐一优化，直至达到最终收敛条件，输出完成最终优化的各组特征参数。由于神经网络模型在训练过程中通过学习大量数据的统计规律，建立了对特征和模式的抽象表示，保持准确数据的输出稳定性，本申请选择用神经网络模型获取加权最小二乘方法的权重系数，解决因为不准确权重系数影响准确权重系数的选择的问题。其次，神经网路具有端到端学习能力，将神经网络模型与加权最小二乘法模型结合，可以实现端到端的学习，意味着可以直接从原始输入数据开始，通过神经网络模型进行权重系数的学习，可以更好地适应不同的任务和数据。

实施例三

请结合图7，本申请公开了一种设备，包括：

处理器30；

存储器40，其中存储有处理器30的可执行指令；

其中，处理器30配置为经由执行可执行指令来执行如实施例一所述的条纹图模型优化方法。

实施例四

本申请公开了一种计算机可读存储介质，其上存储有程序，程序被处理器执行时实现如实施例一所述的条纹图模型优化方法。

实施例五

本申请实施例公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行如实施例一所述的条纹图模型优化方法。

应当理解，在本申请实施例中，所称处理器可以是中央处理模块(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application SpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上所揭露的仅为本申请的较佳实例而已，不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，均属于本申请所涵盖的范围。