点云融合模型获取方法、装置、电子设备及存储介质

技术领域

本申请涉及数据融合技术领域，具体而言，涉及一种点云融合模型获取方法、装置、电子设备及存储介质。

背景技术

目前，虚拟现实与无人机的结合应用越来越受到重视，虚拟现实不仅能为操作者提供远程操作，还能提供沉浸式的三维动态场景，虚拟现实技术所提供的第一视角的人机互动可以很大改善无人机飞行员的工作条件。其中，无人机虚拟场景三维重建是实现虚拟现实场景与无人机结合的关键技术。

通常地，在进行无人机虚拟场景三维重建时，一般需要采用点云融合模型来实现无人机采集到的点云数据的融合，这种点云融合模型在投入使用前需要进行大量训练工作，训练时间长，训练效率较低，需要寻求一种训练方法提高训练效率。

发明内容

本申请的目的在于提供一种点云融合模型获取方法、装置、电子设备及存储介质，可提高点云融合模型的训练效率。

第一方面，本申请提供了一种点云融合模型获取方法，用于对点云融合模型进行训练，所述点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；所述点云融合模型获取方法包括步骤：

A1.获取训练数据集；

A2.初始化所述点云融合模型的网络参数；

A3.利用所述训练数据集，根据改进梯度下降法迭代更新所述点云融合模型的所述网络参数，直到损失函数或所述网络参数收敛；每次迭代过程中，根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率。

该方法在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。

优选地，步骤A3中，每次迭代过程包括步骤：

A301.计算所述损失函数；

A302.更新一阶动量参数和二阶动量参数；

A303. 根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率；

A304.根据所述一阶动量参数、所述二阶动量参数和所述学习效率更新所述点云融合模型的所述网络参数；

A305.若所述损失函数和所述网络参数中的至少一个收敛，则停止迭代。

优选地，步骤A301包括：

根据以下公式计算损失函数：

；

其中，

该损失函数的函数曲线光滑、连续，处处可导，便于改进梯度下降算法的使用，而且，随着误差的减小，梯度也在减小，这有利于提高损失函数的收敛速度。

优选地，步骤A302包括：

根据以下公式更新所述一阶动量参数和所述二阶动量参数：

；

；

其中，

优选地，步骤A303包括：

根据以下公式计算第一影响系数和第二影响系数：

；

；

其中，

根据以下公式计算第三影响系数和第四影响系数：

；

；

；

其中，

根据所述第一影响系数、所述第二影响系数、所述第三影响系数和所述第四影响系数，更新所述学习效率。

优选地，所述根据所述第一影响系数、所述第二影响系数、所述第三影响系数和所述第四影响系数，更新所述学习效率的步骤包括：

根据以下公式计算基准学习效率：

；

其中，

根据所述第一影响系数和所述第二影响系数，通过以下公式计算第一散度：

；

其中，

根据所述第三影响系数和所述第四影响系数，通过以下公式计算第二散度：

；

其中，

根据所述第一散度和所述第二散度，通过以下公式计算学习率修正系数：

；

其中，

根据所述基准学习效率和所述学习率修正系数，通过以下公式更新所述学习效率：

；

其中，

上述更新学习效率的过程，引入损失函数对各网络模块的输出数据和输入样本各个元素的梯度，实现学习效率的自适应更新，有利于加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。

优选地，步骤A304包括：

根据以下公式更新所述点云融合模型的所述网络参数：

；

其中，

第二方面，本申请提供了一种点云融合模型获取装置，用于对点云融合模型进行训练，所述点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；所述点云融合模型获取装置包括：

第一获取模块，用于获取训练数据集；

初始化模块，初始化所述点云融合模型的网络参数；

更新模块，用于利用所述训练数据集，根据改进梯度下降法迭代更新所述点云融合模型的所述网络参数，直到损失函数或所述网络参数收敛；每次迭代过程中，根据所述点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数更新学习效率。

该装置在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。

第三方面，本申请提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述点云融合模型获取方法中的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述点云融合模型获取方法中的步骤。

有益效果：

本申请提供的点云融合模型获取方法、装置、电子设备及存储介质，在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对所述损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。

附图说明

图1为本申请实施例提供的点云融合模型获取方法的流程图。

图2为本申请实施例提供的点云融合模型获取装置的结构示意图。

图3为本申请实施例提供的电子设备的结构示意图。

图4为点云融合模型的结构示意图。

标号说明：1、第一获取模块；2、初始化模块；3、更新模块；301、处理器；302、存储器；303、通信总线。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1是本申请一些实施例中的一种点云融合模型获取方法，用于对点云融合模型进行训练，该点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；点云融合模型获取方法包括步骤：

A1.获取训练数据集；

A2.初始化点云融合模型的网络参数；

A3.利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率。

该方法在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。

其中，参考图4，该点云融合模型的输入层输入的是M×3×N维的数据（其中，M为单帧点云数据的点数，N为输入样本的元素总数量，即输入样本包含的点云数据的总帧数），经特征提取网络模块对输入的点云数据进行特征提取后，输出的数据记为

在本实施例中，特征提取网络模块通过ResNet-50网络实现对输入的点云数据的特征提取，特征提取网络模块的特征提取函数记为

其中，训练数据集包括多个样本，每个样本包括多帧（N帧）连续的点云数据和对应的真值标签（即对多帧点云数据进行融合后的参考融合点云数据）。根据多帧连续的点云数据获取对应的真值标签的方法为现有技术，此处不对其进行详述。

其中，点云融合模型的网络参数包括特征提取网络模块的网络参数

在本实施例中，步骤A3中，每次迭代过程包括步骤：

A301.计算损失函数；

A302.更新一阶动量参数和二阶动量参数；

A303.根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；

A304.根据一阶动量参数、二阶动量参数和学习效率更新点云融合模型的网络参数；

A305.若损失函数和网络参数中的至少一个收敛，则停止迭代。

即当损失函数和网络参数均不收敛时，需要把下一个样本作为输入样本，把该输入样本的点云数据输入至点云融合模型，并重复步骤A301-A305进行下一次迭代，直到损失函数和网络参数中的至少一个收敛。

其中，损失函数可根据实际需要设置，例如可选择使用MSE损失函数，但不限于此。

在一些优选实施方式中，步骤A301包括：

根据以下公式计算损失函数：

；

其中，

该损失函数的函数曲线光滑、连续，处处可导，便于改进梯度下降算法的使用，而且，随着误差的减小，梯度也在减小，这有利于提高损失函数的收敛速度。

具体地，步骤A302包括：

根据以下公式更新一阶动量参数和二阶动量参数：

；

；

其中，

具体地，步骤A303包括：

根据以下公式计算第一影响系数和第二影响系数：

；

；

其中，

根据以下公式计算第三影响系数和第四影响系数：

；

；

；

其中，

根据第一影响系数、第二影响系数、第三影响系数和第四影响系数，更新学习效率。

具体地，根据第一影响系数、第二影响系数、第三影响系数和第四影响系数，更新学习效率的步骤包括：

根据以下公式计算基准学习效率：

；

其中，

根据第一影响系数和第二影响系数，通过以下公式计算第一散度：

；

其中，

根据第三影响系数和第四影响系数，通过以下公式计算第二散度：

；

其中，

根据第一散度和第二散度，通过以下公式计算学习率修正系数：

；

其中，

根据基准学习效率和学习率修正系数，通过以下公式更新学习效率：

；

其中，

上述更新学习效率的过程，引入损失函数对各网络模块的输出数据的梯度和对输入样本各个元素的梯度，实现学习效率的自适应更新，有利于加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。

具体地，步骤A304包括：

根据以下公式更新点云融合模型的网络参数：

；

其中，

具体地，步骤A305中，若

由上可知，该点云融合模型获取方法，通过获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；从而可加速点云融合模型的网络参数收敛速度，进而提高点云融合模型的训练效率。

参考图2，本申请提供了一种点云融合模型获取装置，用于对点云融合模型进行训练，点云融合模型包括输入层、特征提取网络模块、特征融合网络模块、上采样网络模块和输出层；该点云融合模型获取装置包括：

第一获取模块1，用于获取训练数据集；

初始化模块2，初始化点云融合模型的网络参数；

更新模块3，用于利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率。

该装置在对点云融合模型进行迭代训练的过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数自适应地更新学习效率，可加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。

其中，参考图4，该点云融合模型的输入层输入的是M×3×N维的数据（其中，M为单帧点云数据的点数，N为输入样本的元素总数量，即输入样本包含的点云数据的总帧数），经特征提取网络模块对输入的点云数据进行特征提取后，输出的数据记为

在本实施例中，特征提取网络模块通过ResNet-50网络实现对输入的点云数据的特征提取，特征提取网络模块的特征提取函数记为

其中，训练数据集包括多个样本，每个样本包括多帧（N帧）连续的点云数据和对应的真值标签（即对多帧点云数据进行融合后的参考融合点云数据）。根据多帧连续的点云数据获取对应的真值标签的方法为现有技术，此处不对其进行详述。

其中，点云融合模型的网络参数包括特征提取网络模块的网络参数

在本实施例中，更新模块3在利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛的时候，每次迭代过程执行：

计算损失函数；

更新一阶动量参数和二阶动量参数；

根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；

根据一阶动量参数、二阶动量参数和学习效率更新点云融合模型的网络参数；

若损失函数和网络参数中的至少一个收敛，则停止迭代。

即当损失函数和网络参数均不收敛时，需要把下一个样本作为输入样本，把该输入样本的点云数据输入至点云融合模型，并进行下一次迭代，直到损失函数和网络参数中的至少一个收敛。

其中，损失函数可根据实际需要设置，例如可选择使用MSE损失函数，但不限于此。

在一些优选实施方式中，更新模块3在计算损失函数的时候，执行：

根据以下公式计算损失函数：

；

其中，

该损失函数的函数曲线光滑、连续，处处可导，便于改进梯度下降算法的使用，而且，随着误差的减小，梯度也在减小，这有利于提高损失函数的收敛速度。

具体地，更新模块3在更新一阶动量参数和二阶动量参数的时候，执行：

根据以下公式更新一阶动量参数和二阶动量参数：

；

；

其中，

具体地，更新模块3在根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率的时候，执行：

根据以下公式计算第一影响系数和第二影响系数：

；

；

其中，

根据以下公式计算第三影响系数和第四影响系数：

；

；

；

其中，

根据第一影响系数、第二影响系数、第三影响系数和第四影响系数，更新学习效率。

具体地，根据第一影响系数、第二影响系数、第三影响系数和第四影响系数，更新学习效率具体包括：

根据以下公式计算基准学习效率：

；

其中，

根据第一影响系数和第二影响系数，通过以下公式计算第一散度：

；

其中，

根据第三影响系数和第四影响系数，通过以下公式计算第二散度：

；

其中，

根据第一散度和第二散度，通过以下公式计算学习率修正系数：

；

其中，

根据基准学习效率和学习率修正系数，通过以下公式更新学习效率：

；

其中，

上述更新学习效率的过程，引入损失函数对各网络模块的输出数据的梯度和对输入样本各个元素的梯度，实现学习效率的自适应更新，有利于加速点云融合模型的网络参数收敛速度，从而提高点云融合模型的训练效率。

具体地，更新模块3在根据一阶动量参数、二阶动量参数和学习效率更新点云融合模型的网络参数的时候，执行：

根据以下公式更新点云融合模型的网络参数：

；

其中，

具体地，若

由上可知，该点云融合模型获取装置，通过获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率；从而可加速点云融合模型的网络参数收敛速度，进而提高点云融合模型的训练效率。

请参照图3，图3为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的点云融合模型获取方法，以实现以下功能：获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的点云融合模型获取方法，以实现以下功能：获取训练数据集；初始化点云融合模型的网络参数；利用训练数据集，根据改进梯度下降法迭代更新点云融合模型的网络参数，直到损失函数或网络参数收敛；每次迭代过程中，根据点云融合模型的输入样本和各网络模块的输出数据对损失函数的影响系数更新学习效率。其中，计算机可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-OnlyMemory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read OnlyMemory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-Only Memory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。