掌桥专利:专业的专利平台
掌桥专利
首页

全息图的获取方法、装置、电子设备和介质

文献发布时间:2023-06-19 18:25:54


全息图的获取方法、装置、电子设备和介质

技术领域

本申请涉及数据处理领域,尤其涉及一种全息图的获取方法、装置、电子设备和介质。

背景技术

随着社会的发展,实际环境中仍然存在部分区域环境较为恶劣,对于进入该部分区域进行作业的工作人员来说,存在一定程度的安全隐患。

相关技术中,可以通过对该部分区域进行三维地图的构建,从而协助工作人员获取该部分区域的相关信息,体验感不足,进而导致工作人员从三维地图中获取到的相关信息与实际场景之间存在误差。

发明内容

本申请的目的旨在至少在一定程度上解决上述技术中的技术问题之一。

本申请第一方面提供了一种全息图的获取方法,包括:获取目标区域的初始多源三维构图数据,并根据所述初始多源三维构图数据,获取所述目标区域的目标三维图像;获取所述目标三维图像的N个层面图像和所述层面图像的振幅分布;获取所述层面图像的相位调整值,并根据所述振幅分布和所述相位调整值,得到所述层面图像的第一复振幅;根据所述第一复振幅,获取所述层面图像的初始全息图,并基于N个所述层面图像全部的初始全息图,得到所述目标三维图像的目标全息图。

本申请第一方面提供的一种全息图的获取方法,还具备如下技术特征,包括:

根据本申请一实施例,所述根据所述第一复振幅,获取所述层面图像的初始全息图,并基于N个所述层面图像全部的初始全息图,得到所述目标三维图像的目标全息图,包括:对所述第一复振幅进行衍射处理,以得到所述层面图像的所述初始全息图;对N个所述层面图像各自的初始全息图进行叠加,以获取所述目标三维图像的所述目标全息图。

根据本申请一实施例,所述对N个所述层面图像各自的初始全息图进行叠加,以获取所述目标三维图像的所述目标全息图,包括:对N个所述层面图像各自的初始全息图进行迭代优化,得到迭代优化后的候选优化全息图;对N个所述层面图像各自的候选优化全息图进行叠加,以获取所述目标三维图像的所述目标全息图。

根据本申请一实施例,所述对N个所述层面图像各自的初始全息图进行迭代优化,得到迭代优化后的候选优化全息图,包括:获取N个所述层面图像各自的初始全息图的第一期望振幅和第二期望振幅;基于所述第一期望振幅和所述第二期望振幅对N个所述层面图像各自的初始全息图进行优化,获取N个所述层面图像各自的第一优化全息图;返回使用所述第一期望振幅和所述第二期望振幅,继续对N个所述层面图像各自的第一优化全息图进行优化,以获取N个所述层面图像各自优化后的第二优化全息图,直至迭代结束,得到N个所述层面图像各自的候选优化全息图。

根据本申请一实施例,所述基于所述第一期望振幅和所述第二期望振幅对N个所述层面图像各自的初始全息图进行优化,获取N个所述层面图像各自的第一优化全息图,包括:基于所述第一期望振幅,获取N个所述层面图像各自的初始全息图的调制全息图;对所述调制全息图进行逆向衍射,得到N个所述层面图像各自的调制全息图的调制层面图像;基于所述第二期望振幅,得到N个所述层面图像各自的调制层面图像的第一优化全息图。

根据本申请一实施例,所述基于所述第一期望振幅,获取N个所述层面图像各自的初始全息图的调制全息图,包括:获取所述初始全息图的初始全息相位;根据所述初始全息相位和所述第一期望振幅,获取所述初始全息图的调制全息图。

根据本申请一实施例,所述基于所述第二期望振幅,得到N个所述层面图像各自的调制层面图像的第一优化全息图,包括:获取所述调制层面图像的调制层面相位,并根据所述调制层面相位和所述第二期望振幅,得到所述调制层面图像的第二复振幅;基于所述第二复振幅,得到所述调制层面图像的所述第一优化全息图。

根据本申请一实施例,所述方法还包括:获取所述目标全息图中的复振幅全息图,并根据所述复振幅全息图中的第一像素点的像素误差,对所述第一像素点相邻的多个第二像素点进行校正,以得到所述目标全息图的相位全息图。

根据本申请一实施例,所述获取目标区域的初始多源三维构图数据,并根据所述初始多源三维构图数据,获取所述目标区域的目标三维图像,包括:获取目标区域的初始多源三维构图数据,并对所述初始多源三维构图数据进行预处理,得到所述目标区域的目标多源三维构图数据;基于SLAM处理所述目标多源三维构图数据,以生成所述目标区域的所述目标三维图像。

本申请第二方面提供了一种全息图的获取装置,包括:第一获取模块,用于获取目标区域的初始多源三维构图数据,并根据所述初始多源三维构图数据,获取所述目标区域的目标三维图像;第二获取模块,用于获取所述目标三维图像的N个层面图像和所述层面图像的振幅分布;第三获取模块,用于获取所述层面图像的相位调整值,并根据所述振幅分布和所述相位调整值,得到所述层面图像的第一复振幅;生成模块,用于根据所述第一复振幅,获取所述层面图像的初始全息图,并基于N个所述层面图像全部的初始全息图,得到所述目标三维图像的目标全息图。

本申请第二方面提供的一种全息图的获取装置,还具备如下技术特征,包括:

根据本申请一实施例,所述生成模块,还用于:对所述第一复振幅进行衍射处理,以得到所述层面图像的所述初始全息图;对N个所述层面图像各自的初始全息图进行叠加,以获取所述目标三维图像的所述目标全息图。

根据本申请一实施例,所述生成模块,还用于:对N个所述层面图像各自的初始全息图进行迭代优化,得到迭代优化后的候选优化全息图;对N个所述层面图像各自的候选优化全息图进行叠加,以获取所述目标三维图像的所述目标全息图。

根据本申请一实施例,所述生成模块,还用于:获取N个所述层面图像各自的初始全息图的第一期望振幅和第二期望振幅;基于所述第一期望振幅和所述第二期望振幅对N个所述层面图像各自的初始全息图进行优化,获取N个所述层面图像各自的第一优化全息图;返回使用所述第一期望振幅和所述第二期望振幅,继续对N个所述层面图像各自的第一优化全息图进行优化,以获取N个所述层面图像各自优化后的第二优化全息图,直至迭代结束,得到N个所述层面图像各自的候选优化全息图。

根据本申请一实施例,所述生成模块,还用于:基于所述第一期望振幅,获取N个所述层面图像各自的初始全息图的调制全息图;对所述调制全息图进行逆向衍射,得到N个所述层面图像各自的调制全息图的调制层面图像;基于所述第二期望振幅,得到N个所述层面图像各自的调制层面图像的第一优化全息图。

根据本申请一实施例,所述生成模块,还用于:获取所述初始全息图的初始全息相位;根据所述初始全息相位和所述第一期望振幅,获取所述初始全息图的调制全息图。

根据本申请一实施例,所述生成模块,还用于:获取所述调制层面图像的调制层面相位,并根据所述调制层面相位和所述第二期望振幅,得到所述调制层面图像的第二复振幅;基于所述第二复振幅,得到所述调制层面图像的所述第一优化全息图。

根据本申请一实施例,所述生成模块,还用于:获取所述目标全息图中的复振幅全息图,并根据所述复振幅全息图中的第一像素点的像素误差,对所述第一像素点相邻的多个第二像素点进行校正,以得到所述目标全息图的相位全息图。

根据本申请一实施例,所述第一获取模块,还用于:获取目标区域的初始多源三维构图数据,并对所述初始多源三维构图数据进行预处理,得到所述目标区域的目标多源三维构图数据;基于SLAM处理所述目标多源三维构图数据,以生成所述目标区域的所述目标三维图像。

本申请第三方面实施例提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请第一方面提供的全息图的获取方法。

本申请第四方面实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请第一方面提供的全息图的获取方法。

本申请第五方面实施例提供了一种计算机程序产品,当所述计算机程序产品中的指令处理器执行时,执行本申请第一方面提供的全息图的获取方法。

本申请提供的全息图的获取方法及装置,获取目标区域的初始多源三维构图数据,以得到目标区域的目标三维图像,进一步地,获取目标三维图像的N个层面图像,进而得到N个层面图像各自的振幅分布,并基于相位调整值以及振幅分布,得到N个层面图像各自的第一复振幅,从而获取N个层面图像各自的初始全息图。进一步地,基于全部的初始全息图,得到目标区域的目标三维图像的目标全息图。本申请中,基于目标三维图像获取目标全息图,使得工作人员可以在不进入目标区域的场景下,基于目标区域的目标全息图,实现对目标区域的实际环境的体验,优化了工作人员在进行目标区域的相关信息获取过程中的体验感,降低了工作人员获取到的目标区域的相关信息与目标区域的实际场景之间的误差程度,提高了目标区域的信息获取的准确性,优化了对工作人员的安全防护效果。

本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本申请一实施例的全息图的获取方法的流程示意图;

图2为本申请另一实施例的全息图的获取方法的流程示意图;

图3为本申请另一实施例的全息图的获取方法的流程示意图;

图4为本申请另一实施例的全息图的获取方法的流程示意图;

图5为本申请一实施例的目标三维图像的生成示意图;

图6为本申请另一实施例的全息图的获取方法的流程示意图;

图7为本申请另一实施例的全息图的获取方法的流程示意图;

图8为本申请一实施例的目标三维图像构图数据采集机器人的示意图;

图9为本申请一实施例的全息图的获取装置的结构示意图;

图10为本申请一实施例的电子设备的框图。

具体实施方式

下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的全息图的获取方法、装置、电子设备及存储介质。

图1为本申请一实施例的全息图的获取方法的流程示意图,如图1所示,该方法包括:

S101,获取目标区域的初始多源三维构图数据,并根据初始多源三维构图数据,获取目标区域的目标三维图像。

实现中,可以基于全息图的生成算法,对目标区域的三维图像进行算法处理,从而得到目标区域的全息图。

本申请实施例中,可以基于相关技术中的三维图像构图数据的采集技术,对目标区域进行数据采集,从而得到目标区域的三维构图数据,其中,可以基于不同的采集设备对目标区域的三维构图数据进行采集,从而获取目标区域的多源的三维构图数据,并将该数据标识为目标区域的初始多源三维构图数据。

进一步地,基于相关技术中的三维构图算法,对初始多源三维构图数据进行算法处理,从而得到目标区域的目标三维图像。

需要说明的是,目标区域可以为与目标三维图像的全息图的显示端存在设定距离的远端区域,此处不做具体限定。

S102,获取目标三维图像的N个层面图像和层面图像的振幅分布。

本申请实施例中,可以获取目标三维图像对应的深度图,并基于该深度图对目标三维图像进行划分,从而得到目标三维图像的N个层面图像,其中,可以对目标三维图像进行转换,得到目标三维图像对应的二维图像,并基于深度图对该二维图像进行分层,从而得到目标三维图像的二维图像中的N个层面图像。

进一步地,基于相关技术中的振幅分布算法,对N个层面图像中的各层面图像进行算法处理,从而得到N个层面图像中各层面图像的振幅分布。

S103,获取层面图像的相位调整值,并根据振幅分布和相位调整值,得到层面图像的第一复振幅。

本申请实施例中,N个层面图像中各层面图像存在预设的相位调整值,可以基于该预设的相位调整值,对层面图像进行相位调整。

其中,可以基于相关技术中的相位获取算法,对N个层面图像进行算法处理,从而得到N个层面图像各自的相位,进一步地,基于预设的相位调整值以及N个层面图像各自的相位,得到N个层面图像各自的调整后相位。

在该场景下,可以基于相关技术中的复振幅算法,对获取到的N个层面图像各自的调整后相位以及各自的振幅分布进行算法处理,进而得到N个层面图像各自的复振幅,并将其标识为N个层面图像各自的第一复振幅。

S104,根据第一复振幅,获取层面图像的初始全息图,并基于N个层面图像全部的初始全息图,得到目标三维图像的目标全息图。

本申请实施例中,可以基于全息图的算法对N个层面图像各自的第一复振幅进行算法处理,并基于算法处理的结果,得到N个层面图像各自的初始全息图。

在该场景下,可以对获取到的N个层面图像全部的初始全息图进行整合,并基于整合后得到的全息图获取目标三维图像的目标全息图。

需要说明的是,如图2所示,可以在初始全息图生成的过程中对N个层面图像所属层面进行标识以及排序,并逐层地对N个层面图像进行初始全息图的生成。

如图2所示,若当前处理的层面图像的标识信息并非N个层面图像的最后一个层级标识,则返回继续获取下一个层面图像并生成下一个层面图像的初始全息图,直至N个层面图像各自的初始全息图全部生成,则基于N个层面图像全部的初始全息图,得到目标三维图像的目标全息图。

本申请提出的全息图的获取方法,获取目标区域的初始多源三维构图数据,以得到目标区域的目标三维图像,进一步地,获取目标三维图像的N个层面图像,进而得到N个层面图像各自的振幅分布,并基于相位调整值以及振幅分布,得到N个层面图像各自的第一复振幅,从而获取N个层面图像各自的初始全息图。进一步地,基于全部的初始全息图,得到目标区域的目标三维图像的目标全息图。本申请中,基于目标三维图像获取目标全息图,使得工作人员可以在不进入目标区域的场景下,基于目标区域的目标全息图,实现对目标区域的实际环境的体验,优化了工作人员在进行目标区域的相关信息获取过程中的体验感,降低了工作人员获取到的目标区域的相关信息与目标区域的实际场景之间的误差程度,提高了目标区域的信息获取的准确性,优化了对工作人员的安全防护效果。

上述实施例中,关于目标全息图的获取,可结合图3进一步理解,图3为本申请另一实施例的全息图的获取方法的流程示意图,如图3所示,该方法包括:

S301,对第一复振幅进行衍射处理,以得到层面图像的初始全息图。

在一些实现中,可以对第一复振幅进行衍射处理,以得到层面图像的初始全息图,其中,可以基于角谱衍射理论对第一复振幅进行衍射处理,而得到N个层面图像各自的初始全息图。

可选地,基于角谱衍射理论对应的算法对第一复振幅进行算法处理,从而得到N个层面图像各自的初始全息图的算法公式,可如下所示:

上述公式中,i=1,2,3,……,N,

S302,对N个层面图像各自的初始全息图进行叠加,以获取目标三维图像的目标全息图。

本申请实施例中,可以对N个层面图像各自的初始全息图进行叠加,公式如下:

上述公式中,H为目标三维图像的目标全息图,

实现中,还可以对N个层面图像各自的初始全息图进行优化,并基于N个层面图像各自的优化后的初始全息图,获取目标三维图像的目标全息图,其中,可以对N个层面图像各自的初始全息图进行迭代优化,得到迭代优化后的候选优化全息图。

可选地,可以获取N个层面图像各自的初始全息图的第一期望振幅和第二期望振幅。

本申请实施例中,为了使得目标全息图满足预设的需求,可以基于预设的需求获取目标全息图对应的期望振幅,其中,可以获取目标全息图的期望振幅作为第一期望振幅,并获取生成目标全息图的层面图像的期望振幅作为第二期望振幅。

可选地,可以基于第一期望振幅和第二期望振幅对N个层面图像各自的初始全息图进行优化,获取N个层面图像各自的第一优化全息图。

其中,可以基于第一期望振幅,获取N个层面图像各自的初始全息图的调制全息图。

本申请实施例中,可以基于第一期望振幅对N个层面图像各自的初始全息图进行优化,其中,可以获取初始全息图的初始全息相位。

可选地,可以基于相关技术中的全息图的相位获取算法,对N个层面图像各自的初始全息图进行算法处理,并基于算法处理的结果,得到N个层面图像各自的初始全息图的相位,并将其确定为N个层面图像各自的初始全息图的初始全息相位。

进一步地,根据初始全息相位和第一期望振幅,获取初始全息图的调制全息图。

可选地,可以用第一期望振幅替代初始全息图的振幅,并基于第一期望振幅的替代,得到初始全息图的调制全息图。

其中,可以获取预设的平面波常数,并基于该平面波常数得到第一期望振幅,并对初始全息图的振幅进行替代,从而得到初始全息图的调制全息图。

该场景下,可以基于第一期望振幅以及初始全息相位获取对应的复振幅并将其确定为获取调制全息图的复振幅,进而基于该复振幅,获取初始全息图的调制全息图。

进一步地,可以对调制全息图进行逆向衍射,得到N个层面图像各自的调制全息图的调制层面图像。

本申请实施例中,可以基于角谱衍射理论,对调制全息图进行逆向的衍射处理,将调制全息图转换为对应的层面图像。

其中,可以将调制全息图基于逆向衍射所得到的层面图像,确定为N个层面图像各自的调制层面图像。

在该场景下,可以基于获取N个层面图像各自的调制层面图像的复振幅,以得到N个层面图像各自的调制全息图的调制层面图像,其中,N个层面图像各自的调制层面图像的复振幅的获取公式如下:

上述公式中,i=1,2,3,……,N,

进一步地,基于第二期望振幅,得到N个层面图像各自的调制层面图像的第一优化全息图。

本申请实施例中,可以基于相关技术中的振幅获取方法得到调制层面图像的振幅,并将第二期望振幅对N个层面图像各自的调制层面图像的振幅进行替代,并将替代后得到的调制层面图像确定为N个层面图像各自的优化后调制层面图像。

其中,可以基于预设的自适应约束振幅获取调制层面图像对应的第二期望振幅。

作为一种示例,设定N个层面图像各自的调制层面图像的振幅为

可选地,获取调制层面图像的调制层面相位,并根据调制层面相位和第二期望振幅,得到调制层面图像的第二复振幅。

本申请实施例中,可以将N个层面图像各自的调制层面图像的相位,确定为N个层面图像各自的调制层面图像的调制层面相位。

其中,可以基于相关技术中的复振幅计算公式,对调制层面图像的调制层面相位以及第二期望振幅进行计算,并基于计算结果获取调制层面图像的第二复振幅。

相应地,基于第二复振幅,得到调制层面图像的第一优化全息图。

本申请实施例中,可以基于角谱衍射理论,对第二复振幅进行衍射处理,进而基于衍射处理的结果,得到第二复振幅对应的调制层面图像的全息图,并将其确定为调制层面图像的第一优化全息图。

在一些实现中,可以基于第二复振幅,获取调制层面图像对应的全息图的复振幅,其中,可以基于下述公式实现该复振幅的获取:

上述公式中,i=1,2,3,……,N,

进一步地,返回使用第一期望振幅和第二期望振幅,继续对N个层面图像各自的第一优化全息图进行优化,以获取N个层面图像各自优化后的第二优化全息图,直至迭代结束,得到N个层面图像各自的候选优化全息图。

本申请实施例中,为了使得目标全息图可以满足预设的需求,在对N个层面图像各自的初始全息图进行优化,得到N个层面图像各自的第一优化全息图后,可以返回继续使用第一期望振幅和第二期望振幅对第一优化全息图进行优化。

其中,可以基于第一期望振幅对第一优化全息图进行优化,得到第一优化全息图的调制全息图,并对第一优化全息图的调制全息图进行逆向衍射,得到N个层面图像各自的第一优化全息图的调制全息图的调制层面图像。

进一步地,基于第二期望振幅对第一优化全息图的调制全息图的调制层面图像进行优化,从而得到N个层面图像各自的第一优化全息图的调制全息图的优化后的调制层面图像的第二优化全息图,并返回继续使用第一期望振幅和第二期望振幅对第二优化全息图进行优化,直至迭代结束。

可选地,可以基于预设的迭代次数设定迭代结束条件,若当前轮次的全息图的优化对应的迭代次数满足了预设的迭代结束条件,则结束迭代,并将最后一个轮次的优化后得到的全息图,确定为N个层面图像各自的候选优化全息图。

可选地,对N个层面图像各自的候选优化全息图进行叠加,以获取目标三维图像的目标全息图。

其中,叠加公式如下:

上述公式中,

进一步地,基于N个层面图像各自的候选优化全息图的叠加,得到目标区域的目标三维图像的目标全息图。

在一些实现中,可以基于相位全息图对目标区域进行信息的获取,在该场景下,可以获取目标全息图对应的复振幅全息图,并基于复振幅全息图实现相位全息图的提取。

可选地,可以获取目标全息图中的复振幅全息图,并根据复振幅全息图中的第一像素点的像素误差,对第一像素点相邻的多个第二像素点进行校正,以得到目标全息图的相位全息图。

如图4所示,d为当前迭代次数,i为N个层面图像各自的层级标识,其中,可以对N个层面图像进行排序,并确定排序后的N个层面图像各自的层级标识为i =1,2,3,……,N。

如图4所示, N个层面图中,可以获取第i层的层面图像的初始全息图的复振幅,并基于第一期望振幅替代该复振幅中的振幅,从而得到第i层的层面图像的初始全息图的优化后复振幅,进一步地,对该优化后复振幅进行逆向衍射处理,得到第i层的层面图像的初始全息图的调制层面图像的复振幅。

进一步地,基于第二期望振幅对第i层的层面图像的初始全息图的调制层面图像的复振幅中的振幅进行替代,得到第i层的层面图像的初始全息图的调制层面图像的优化后复振幅,并对该优化后复振幅进行衍射处理,从而得到第i层的层面图像的初始全息图的优化后复振幅。

如图4所示,返回继续对第i+1层的层面图像的初始全息图的复振幅进行优化,获取第i+1层的层面图像的初始全息图的优化后复振幅,直至N个层面图像各自的初始全息图的复振幅优化结束。

其中,如图4所示,可以将d与预设的总迭代次数M进行对比,当d=M时,则可以确定,当前对N个层面图像的初始全息图的优化迭代结束。

进一步地,对N个层面图像各自的初始全息图的优化后复振幅进行叠加,从而得到目标三维图像对应的复振幅全息图。

可选地,可以基于像素误差算法,获取复振幅全息图中的第一像素点的像素误差,公式如下:

上述公式中,

进一步地,基于该像素误差对第一像素点相邻的每个第二像素点进行误差补偿和校正,并遍历复振幅全息图的全部像素点,进而将遍历后的全息图,确定为目标全息图的相位全息图。

本申请提出的全息图的获取方法,获取N个层面图像各自的初始全息图。对N个层面图像各自的初始全息图进行迭代优化,从而得到N个层面图像各自的候选优化全息图,进一步地,基于全部的候选优化全息图,得到目标区域的目标三维图像的目标全息图。本申请中,基于初始全息图的优化得到的候选优化全息图,降低了基于候选优化全息图获取的目标全息图的噪声,提高了基于三维图像得到的目标全息图的图像质量,进而使得工作人员可以在不进入目标区域的场景下,基于目标区域的目标全息图,实现对目标区域的实际环境的体验,优化了工作人员在进行目标区域的相关信息获取过程中的体验感,降低了工作人员获取到的目标区域的相关信息与目标区域的实际场景之间的误差程度,提高了目标区域的信息获取的准确性,优化了对工作人员的安全防护效果。

上述实施例中,关于目标三维图像的获取,可结合图5进一步理解,图5为本申请另一实施例的全息图的获取方法的流程示意图,如图5所示,该方法包括:

S501,获取目标区域的初始多源三维构图数据,并对初始多源三维构图数据进行预处理,得到目标区域的目标多源三维构图数据。

本申请实施例中,可以将激光雷达、惯性测量单元(Inertial Measurement Unit,IMU)、相机以及融合有同步定位与建图 (Simultaneous localization and mapping,SLAM)技术编码器,作为目标区域的初始多源三维构图数据的数据采集设备。

进一步地,对各数据采集设备采集到的三维构图数据各自进行预处理,从而得到目标区域的目标多源三维构图数据。

可选地,如图6所示,可以基于IMU和编码器组成里程记录设备,并对IMU获取到的目标区域的三维构图数据进行预积分,更新该三维构图数据对应的预积分测量值以及预积分协方差矩阵,从而得到该三维构图数据中相邻帧之间的速度、位置以及姿态变化。

在该场景下,可以通过编码器对IMU获取到的包括有当前时刻的位移、速度以及旋转角度的三维构图数据进行校正,其中,编码器可以基于卡尔曼滤波算法对包括有当前时刻的位移、速度以及旋转角度的三维构图数据进行算法处理,从而实现对IMU采集到的三维构图数据的校正。

可选地,如图6所示,可以通过激光雷达采集目标区域的点云数据,并基于相关技术中的尺度不变特征变换(Scale-invariant feature transform,SIFT)特征提取算法对该点云数据进行滤波以及分割与预处理,进一步地,基于相关技术中的正态分布变换算法对分割以及预处理后得到的点云数据进行扫描匹配,其中,可以通过获取目标区域中不同位置采集到的两帧点云之间的旋转平移矩阵实现相关的扫描匹配操作,进而将该点云数据转换为三维构图算法对应的坐标系下的点云数据。

可选地,如图6所示,里程记录设备还可以包括图像采集设备,其中,可以通过图像采集设备采集目标区域的图像数据,其中,可以基于相关技术中的特征提取算法提取目标区域的图像数据中的特征点,进而得到特征点的像素坐标和描述信息,进而对获取到的像素坐标和描述信息进行特征匹配,从而得到相邻帧图像之间的旋转矩阵和平移向量。

需要说明的是,在图像采集设备采集目标区域的图像数据的过程中,可以基于相关技术中的图像增强及消抖算法对采集到的图像数据进行处理,如图7所示,可以基于相关技术中的视网膜大脑皮层理论(Retinex)算法进行图像数据的低照度图像增强,再通过相关技术中的双边滤波算法对图像数据进行降噪处理,同时减少图像数据边缘的信息损失,进一步地,基于相邻帧的图像数据之间的特征点匹配获取图像采集设备的运动向量,进而根据图像采集设备的运动向量以及平移旋转运动参数,对存在抖动的图像数据进行运动补偿,从而实现对图像数据的消抖处理,以得到图像采集设备采集到的图像数据进行增强以及消抖后的图像数据。

进一步地,基于上述三维图像构图数据的采集设备获取到的目标区域的初始多源三维构图数据,并基于对初始多源三维构图数据的预处理,得到目标区域的目标多源三维构图数据。

需要说明的是,可以通过机器人对目标区域的初始多源三维构图数据进行采集,工作人员可以通过控制机器人的移动,从而实现对初始多源三维构图数据采集设备的采集视野的控制,其中,机器人采集到的初始多源三维构图数据可以通过相关技术中的5G通信技术回传至工作人员处,从而实现工作人员对于目标区域的目标三维图像的即时获取,进而实现了工作人员对目标区域的目标全息图的即时获取。

可选地,机器人上初始多源三维构图数据的采集设备的设置可以如图8所示,其中,激光雷达、IMU相机以及其他传感器设置于机器人的上位机,驱动以及编码器设置于机器人的下位机。如图8所示,上位机上还设置有机器人的5G通信模块,用于实现与控制机器人的工作人员的数据交互。

S502,基于SLAM处理目标多源三维构图数据,以生成目标区域的目标三维图像。

本申请实施例中,可以基于相关技术中的即时定位与地图构建(SimultaneousLocalization and Mapping,SLAM)算法对目标多源三维构图数据进行算法处理,并根据算法处理的结果得到目标区域的目标三维图像。

在该场景下,为了实现基于目标多源三维构图数据生成目标区域的目标三维图像,可以对获取目标多源三维构图数据的数据源进行坐标系的标定。

在上述示例的基础上,如图6所示,可以将目标多源三维构图数据输入标定模块,通过标定模块对图6中的IMU、激光雷达以及相机各自的内部参数进行统一化标定,进一步地,对IMU与激光雷达之间的外部参数进行统一化标定、IMU与相机之间的外部参数进行统一化标定以及相机与激光雷达之间的外部参数进行统一化标定,从而实现基于IMU、激光雷达以及相机的目标多源三维构图数据的目标三维图像的生成。

可选地,可以基于对IMU内部的加速度计以及陀螺仪的调试实现对IMU的高斯白噪声以及随机误差的校正,以及,可以基于相关技术中的跨平台计算机视觉库(opencv)和标定板对相机矩阵和畸变系数进行校正。

可选地,可以对IMU和相机各自的旋转矩阵进行参数统一标定、松耦合初始化以及紧耦合进行参数统一化标定,以及可以对激光雷达和IMU之间的旋转矩阵继续参数统一化标定、松耦合初始化以及紧耦合进行参数统一化标定。

进一步地,如图6所示,还可以将标定模块输出的目标多源三维构图数据输入图6所示的滤波器进行预处理,其中,可以通过联邦滤波器对目标多源三维构图数据进行滤波处理。

本申请实施例中,滤波器中包括主滤波器、第一子滤波器和第二子滤波器,其中,主滤波器、第一子滤波器和第二子滤波器均为采用误差状态卡尔曼滤波器(Error StateKalman Filter, ESKF),第一子滤波器和第二子滤波器各自独立进行测量更新和状态估计,得到局部最优状态估计融合到主滤波器中。

主滤波器可以将第一子滤波器和第二子滤波器的局部最优状态估计进行数据融合和自适应权重更新,从而得到全局最优状态估计。

可选地,第一子滤波器可以融合相机、IMU以及编码器数据,从而得到视觉惯性系统。第二子滤波器可以融合激光雷达、IMU以及编码器数据,从而得到激光雷达惯性系统,并基于紧耦合的方式对视觉惯性系统和激光雷达惯性系统进行融合。

进一步地,基于相关技术中的三维图像的生成算法,对预处理后目标多源三维构图数据进行算法处理,并基于算法结果得到对应的三维图像。

可选地,还可以对该三维图像进行回环检测,从而消除该三维图像中的位姿误差,并将回环检测后得到的三维图像,确定为目标区域的目标三维图像。

本申请实施例中,还可以分别生成目标区域的局部三维图像,并基于相关技术中的拼接算法,对局部三维图像进行拼接,从而得到目标区域的目标三维图像。

本申请提出的全息图的获取方法,获取目标区域的初始多源三维构图数据,并进行预处理以得到目标多源三维构图数据,基于SLAM处理目标多源三维构图数据得到目标区域的目标三维图像。本申请中,通过对目标区域的目标多源三维构图数据的采集得到的目标三维图像,为目标全息图的生成提供了基础,进而使得工作人员可以在不进入目标区域的场景下,基于目标区域的目标全息图,实现对目标区域的实际环境的体验,优化了工作人员在进行目标区域的相关信息获取过程中的体验感,降低了工作人员获取到的目标区域的相关信息与目标区域的实际场景之间的误差程度,提高了目标区域的信息获取的准确性,优化了对工作人员的安全防护效果。

与上述几种实施例提出的全息图的获取方法相对应,本申请的一个实施例还提出了一种全息图的获取装置,由于本申请实施例提出的全息图的获取装置与上述几种实施例提出的全息图的获取方法相对应,因此上述全息图的获取方法的实施方式也适用于本申请实施例提出的全息图的获取装置,在下述实施例中不再详细描述。

图9为本申请一实施例的全息图的获取装置的结构示意图,如图9所示,全息图的获取装置900,包括第一获取模块91、第二获取模块92、第三获取模块92和生成模块94,其中:

第一获取模块91,用于获取目标区域的初始多源三维构图数据,并根据初始多源三维构图数据,获取目标区域的目标三维图像;

第二获取模块92,用于获取目标三维图像的N个层面图像和层面图像的振幅分布;

第三获取模块92,用于获取层面图像的相位调整值,并根据振幅分布和相位调整值,得到层面图像的第一复振幅;

生成模块94,用于根据第一复振幅,获取层面图像的初始全息图,并基于N个层面图像全部的初始全息图,得到目标三维图像的目标全息图。

根据本申请一实施例,生成模块94,还用于:对第一复振幅进行衍射处理,以得到层面图像的初始全息图;对N个层面图像各自的初始全息图进行叠加,以获取目标三维图像的目标全息图。

根据本申请一实施例,生成模块94,还用于:对N个层面图像各自的初始全息图进行迭代优化,得到迭代优化后的候选优化全息图;对N个层面图像各自的候选优化全息图进行叠加,以获取目标三维图像的目标全息图。

根据本申请一实施例,生成模块94,还用于:获取N个层面图像各自的初始全息图的第一期望振幅和第二期望振幅;基于第一期望振幅和第二期望振幅对N个层面图像各自的初始全息图进行优化,获取N个层面图像各自的第一优化全息图;返回使用第一期望振幅和第二期望振幅,继续对N个层面图像各自的第一优化全息图进行优化,以获取N个层面图像各自优化后的第二优化全息图,直至迭代结束,得到N个层面图像各自的候选优化全息图。

根据本申请一实施例,生成模块94,还用于:基于第一期望振幅,获取N个层面图像各自的初始全息图的调制全息图;对调制全息图进行逆向衍射,得到N个层面图像各自的调制全息图的调制层面图像;基于第二期望振幅,得到N个层面图像各自的调制层面图像的第一优化全息图。

根据本申请一实施例,生成模块94,还用于:获取初始全息图的初始全息相位;根据初始全息相位和第一期望振幅,获取初始全息图的调制全息图。

根据本申请一实施例,生成模块94,还用于:获取调制层面图像的调制层面相位,并根据调制层面相位和第二期望振幅,得到调制层面图像的第二复振幅;基于第二复振幅,得到调制层面图像的第一优化全息图。

根据本申请一实施例,生成模块94,还用于:获取目标全息图中的复振幅全息图,并根据复振幅全息图中的第一像素点的像素误差,对第一像素点相邻的多个第二像素点进行校正,以得到目标全息图的相位全息图。

根据本申请一实施例,第一获取模块91,还用于:获取目标区域的初始多源三维构图数据,并对初始多源三维构图数据进行预处理,得到目标区域的目标多源三维构图数据;基于SLAM处理目标多源三维构图数据,以生成目标区域的目标三维图像。

本申请提出的全息图的获取装置,获取目标区域的初始多源三维构图数据,以得到目标区域的目标三维图像,进一步地,获取目标三维图像的N个层面图像,进而得到N个层面图像各自的振幅分布,并基于相位调整值以及振幅分布,得到N个层面图像各自的第一复振幅,从而获取N个层面图像各自的初始全息图。进一步地,基于全部的初始全息图,得到目标区域的目标三维图像的目标全息图。本申请中,基于目标三维图像获取目标全息图,使得工作人员可以在不进入目标区域的场景下,基于目标区域的目标全息图,实现对目标区域的实际环境的体验,优化了工作人员在进行目标区域的相关信息获取过程中的体验感,降低了工作人员获取到的目标区域的相关信息与目标区域的实际场景之间的误差程度,提高了目标区域的信息获取的准确性,优化了对工作人员的安全防护效果。

为达到上述实施例,本申请还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。

图10为本申请一实施例的电子设备的框图,如图10所示,设备1000包括存储器101、处理器102及存储在存储101上并可在处理器102上运行的计算机程序,处理器102执行程序指令时,实现执行图1至图8的实施例的全息图的获取方法。

为了实现上述实施例,本申请还提供一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行图1至图8的实施例的全息图的获取方法。

为了实现上述实施例,本申请还提供一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行图1至图8的实施例的全息图的获取方法。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

相关技术
  • 测绘信息获取方法、装置、电子设备及存储介质
  • 一种获取用户画像的方法、装置、电子设备及存储介质
  • 基于分布式系统的信息获取方法、装置、电子设备和介质
  • 电子设备的显示控制方法、装置、电子设备和存储介质
  • 电子设备控制方法及装置、电子设备及存储介质
  • 叠层全息图信息存储介质及其记录装置/方法、再生装置/方法、以及叠层全息图信息存储介质设计方法
  • 叠层全息图信息存储介质及其记录装置/方法、再生装置/方法、以及叠层全息图信息存储介质设计方法
技术分类

06120115568219