掌桥专利:专业的专利平台
掌桥专利
首页

水下vr图像处理方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 16:06:26



技术领域

本发明涉及虚拟现实技术领域,尤其涉及一种水下vr图像处理方法、装置、电子设备及存储介质。

背景技术

虚拟现实技术(英文名称:Virtual Reality,缩写为VR),是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术,其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。

目前的虚拟化制作方法,通常需要在现实场景中建立真实拍摄场景,通过摄像机的光学追踪以及虚拟场景中的虚拟摄像机联动等技术实现虚拟拍摄,此方法对于水下的拍摄和虚拟化制作具有很大局限性,例如拍摄设备在水下坐标的位置、移动轨迹、灯光、摄像机的操作方式,这些因素对水下拍摄效果的影响很大,使得水下虚拟化制作的难度较大,进而导致vr设备的图像失真度较高,进而使得用户体验差。

发明内容

本发明实施例提供一种水下vr图像处理方法,旨在解决现有虚拟化制作中由于水下因素对水下拍摄效果的影响很大,使得水下虚拟化制作的难度较大,进而导致水中vr设备的图像失真度较高的问题,通过获取当前设备所在区域的水下环境信息,第一区域对应的第一水下图像以及第二区域对应的第二水下图像,来生成第三水下图像,再由第三水下图像和预设的三维水下空间生成目标vr图像用于展示,由于第三水下图像是通过多个维度来生成的图像,使得第三水下图像具有更准确的环境与图像信息,从而避免了水下因素的直接影响,进而降低了虚拟化制作的难度,降低了水中vr设备的图像失真度,提高用户体验。

第一方面,本发明实施例提供一种水下vr图像处理方法,应用于水下vr设备,所述水下vr设备包括防水外壳,设置在所述防水外壳内的处理器单元、图像展示单元、水下环境传感单元、第一图像采集单元和第二图像采集单元,所述水下环境传感单元用于采集所述水下vr设备所在区域的水下环境信息,所述第一图像采集单元用于采集第一区域的第一水下图像,所述第二图像采集单元用于采集第二区域的第二水下图像,所述第一区域与所述第二区域的交并比小于预设值,所述方法包括以下步骤:

获取所述水下环境信息、所述第一水下图像以及所述第二水下图像;

根据所述水下环境信息、所述第一水下图像以及所述第二水下图像,生成第三水下图像;

根据所述第三水下图像与预设的三维水下空间,生成目标vr图像,所述三维水下空间与所述vr设备所在区域存在相同的活动空间,所述目标vr图像用于在所述图像展示单元中进行展示。

可选的,所述水下环境传感单元包括水下深度传感器、水下压力传感器、水下光线传感器、水下温度传感器以及水质透明度检测器中的至少一种,所述水下环境信息包括水下深度信息、水下压力信息、水下光线信息、水下温度信息、水质透明度信息等至少一种水下环境信息,所述根据所述水下环境信息、所述第一水下图像以及所述第二水下图像,生成第三水下图像,包括:

以所述第一水下图像或所述第二水下图像的像素值范围,对所述水下环境信息进行编码量化,得到噪声图;

通过预设的图像生成网络对所述噪声图、所述第一水下图像以及所述第二水下图像进行图像生成处理,生成所述第三水下图像。

可选的,所述预设的图像生成网络包括第一图像生成网络、第二图像生成网络、第三图像生成网络,所述通过预设的生成网络对所述噪声图、所述第一水下图像以及所述第二水下图像进行图像生成处理,生成所述第三水下图像,包括:

通过所述第一图像生成网络对所述噪声图与所述第一水下图像进行图像生成处理,得到第一生成图像,以及通过所述第二图像生成网络对所述噪声图与所述第二水下图像进行图像生成处理,得到第二生成图像;

通过所述第三图像生成网络对所述第一生成图像和所述第二生成图像进行图像生成处理,得到第三水下图像。

可选的,所述根据所述第三水下图像与预设的三维水下空间,生成目标vr图像,所述三维水下空间与所述vr设备所在区域存在相同的活动空间,包括:

根据所述第三水下图像,对所述预设的三维水下空间进行调整,得到调整后的三维水下空间;

根据所述第三水下图像,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数;

根据所述调整后的三维水下空间的虚拟拍摄参数,生成目标vr图像。

可选的,所述水下vr设备包括主设备和从设备,所述主设备包括第一防水外壳,设置在所述第一防水外壳内的处理器单元、图像展示单元、水下环境传感单元、第一图像采集单元,所述从设备包括第二防水外壳,设置在所述第二防水外壳内的第二图像采集单元,所述主设备穿戴于第一人体特定部位,所述从设备穿戴于第二人体特定部位,所述第二图像采集单元与所述处理器单元信号连接,所述根据所述第三水下图像,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数,包括:

根据所述第三水下图像的尺寸参数和所述第一水下图像与所述第二水下图像的交并比,确定所述水下vr设备在当前状态下的用户视觉参数;

根据所述用户视觉参数,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数。

可选的,所述根据所述第三水下图像的尺寸参数和所述第一水下图像与所述第二水下图像的交并比,确定所述水下vr设备在当前状态下的用户视觉参数,包括:

根据所述第三水下图像的尺寸参数和所述第一水下图像与所述第二水下图像的交并比,计算所述水下vr设备在当前状态下的用户姿态;

根据所述用户姿态,确定所述水下vr设备在当前状态下的用户视觉参数。

可选的,在所述根据所述第三水下图像与预设的三维水下空间,生成目标vr图像的步骤之后,所述方法包括:

计算所述目标vr图像中出现的色差像素点;

解析所述色差像素点的色差颜色;

以所述色差颜色的相反颜色对所述色差像素点进行色差补偿,得到待显示图像;

将所述待显示图像传输到所述图像展示单元进行展示。

第二方面,本发明实施例提供一种水下vr图像处理装置,应用于水下vr设备,所述水下vr设备包括防水外壳,设置在所述防水外壳内的水下vr图像处理装置、图像展示单元、水下环境传感单元、第一图像采集单元和第二图像采集单元,所述水下环境传感单元用于采集所述水下vr设备所在区域的水下环境信息,所述第一图像采集单元用于采集第一区域的第一水下图像,所述第二图像采集单元用于采集第二区域的第二水下图像,所述第一区域与所述第二区域的交并比小于预设值,所述装置包括:

获取模块,用于获取所述水下环境信息、所述第一水下图像以及所述第二水下图像;

第一生成模块,用于根据所述水下环境信息、所述第一水下图像以及所述第二水下图像,生成第三水下图像;

第二生成模块,用于根据所述第三水下图像与预设的三维水下空间,生成目标vr图像,所述三维水下空间与所述vr设备所在区域存在相同的活动空间。

第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本发明实施例提供的水下vr图像处理方法中的步骤。

第四方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现发明实施例提供的水下vr图像处理方法中的步骤。

本发明实施例中,获取所述水下环境信息、所述第一水下图像以及所述第二水下图像;根据所述水下环境信息、所述第一水下图像以及所述第二水下图像,生成第三水下图像;根据所述第三水下图像与预设的三维水下空间,生成目标vr图像,所述三维水下空间与所述vr设备所在区域存在相同的活动空间,所述目标vr图像用于在所述图像展示单元中进行展示。通过获取当前设备所在区域的水下环境信息,第一区域对应的第一水下图像以及第二区域对应的第二水下图像,来生成第三水下图像,再由第三水下图像和预设的三维水下空间生成目标vr图像用于展示,由于第三水下图像是通过多个维度来生成的图像,使得第三水下图像具有更准确的环境与图像信息,从而避免了水下因素的直接影响,进而降低了虚拟化制作的难度,降低了水中vr设备的图像失真度,提高用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种水下vr设备的结构图;

图2是本发明实施例提供的一种水下vr图像处理方法的流程图;

图3是本发明实施例提供的一种水下vr图像处理装置的结构示意图;

图4是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参见图1,图1是本发明实施例提供的一种水下vr设备的结构图,如图1所示,该水下vr设备包括包括防水外壳,设置在防水外壳内的处理器单元、图像展示单元、水下环境传感单元、第一图像采集单元和第二图像采集单元,水下环境传感单元用于采集水下vr设备所在区域的水下环境信息,第一图像采集单元用于采集第一区域的第一水下图像,第二图像采集单元用于采集第二区域的第二水下图像,第一区域与第二区域的交并比小于预设值。

其中,处理器单元分别与图像展示单元、水下环境传感单元、第一图像采集单元和第二图像采集单元进行信号连接,在水下环境传感单元将采集到的水下环境信息传输到处理器单元中,第一图像采集单元将采集到的第一水下图像传输到处理器单元中,第二图像采集单元将采集到的第二水下图像传输到处理器单元中后,处理器单元根据水下环境信息、第一水下图像以及第二水下图像,生成第三水下图像;根据第三水下图像与预设的三维水下空间,生成目标vr图像,三维水下空间与vr设备所在区域存在相同的活动空间,目标vr图像用于在图像展示单元中进行展示。

第一区域与第二区域的交并比小于预设值,保证第一水下图像与第二水下图像不会产生重合的情况。

上述信号连接可以是现有的任意一种有线或无线的信号连接方式。在本发明实施例中,考虑到水下环境的信号稳定性,上述信号连接可以是有线连接。

具体的,处理器单元中嵌入有图像生成网络,处理器单元在接收到水下环境信息、第一水下图像以及第二水下图像后,通过图像生成网络对水下环境信息、第一水下图像以及第二水下图像进行图像生成处理,得到第三水下图像。

进一步的,处理器单元中存储有三维水下空间,上述三维水下空间可以是预先根据当前水下空间进行实景建模,并根据实景建模得到的模型进行视觉艺术调整得到,上述视觉艺术调整可以是理解为风格化的模型调整,比如,当前水下空间为游泳池的水下空间,在对游泳池的水下空间进行实景建模后,可以得到游泳池的水下空间模型,对游泳池的水下空间模块进行视觉艺术调整后,可以得到某片海洋的水下空间模型、某片湖泊的水下空间模型、某条河流的水下空间模型。其中,预设的三维水下空间与vr设备所在区域存在相同的活动空间,避免用户在体验时与非活动空间发生碰撞。

处理器单元在得到第三水下图像后,由于第三水下图像是实际的水下空间的图像,因此,可以在预设的三维水下空间中,生成与第三水下图像相对应的目标vr图像,使得上述目标vr图像与上述预设的三维水下空间具有相同的风格。

处理器单元在得到目标vr图像后,可以将目标vr图像传输到图像展示单元中进行展示。

请参见图2,图2是本发明实施例提供的一种水下vr图像处理方法的流程图,如图2所示,该水下vr图像处理方法主要应用于上述处理器单元,包括以下步骤:

201、获取水下环境信息、第一水下图像以及第二水下图像。

在本发明实施例中,上述水下环境信息可以通过上述水下环境传感单元实时采集得到,水下环境传感单元将实时采集到的水下环境信息传输到处理器单元。

上述第一水下图像可以通过上述第一图像采集单元实时采集得到,第一图像单元将实时采集到的第一水下图像传输到处理器单元。

上述第二水下图像可以通过上述第二图像采集单元实时采集得到,第二图像单元将实时采集到的第二水下图像传输到处理器单元。

上述水下环境信息可以包括水下深度信息、水下压力信息、水下光线信息、水下温度信息、水质透明度等环境信息中的至少一个。

上述第一水下图像为第一图像采集单元对第一区域进行实时采集得到,上述第二水下图像为第二图像采集单元对第二区域进行实时采集得到,第一区域理解为第一图像采集单元的视野区域,第二区域为第二图像采集单元的视野区域。比如,第一区域可以是用户头顶位置的正前方区域,第二区域可以是用户胸前的下前方区域。

202、根据水下环境信息、第一水下图像以及第二水下图像,生成第三水下图像。

在本发明实施例中,上述水下环境信息可以包括水下深度信息、水下压力信息、水下光线信息、水下温度信息、水质透明度信息等环境信息中的至少一个,可以根据水下深度信息、水下压力信息、水下光线信息、水下温度信息、水质透明度等环境信息中的至少一个,结合第一水下图像及第二水下图像来生成第三水下图像。

在一种可能的实施例中,在通过上述水下环境信息、第一水下图像以及第二水下图像生成第三水下图像的过程中,可以理解为通过水下环境信息对第一水下图像和第二水下图像进行实时滤波,并将经过实时滤波后的第一水下图像与第二水下图像进行拼接,从而得到第三水下图像。

其中,上述第三水下图像的尺寸均大于第一水下图像和第二水下图像的尺寸,上述第一水下图像与第二水下图像的尺寸为固定尺寸,该固定尺寸为第一图像采集单元与第二图像采集单元的设置参数相关。在本发明实施例中,第一水下图像的尺寸与第二水下图像的尺寸相同。

上述第三水下图像中包括与第一区域对应的图像区域和与第二区域对应的图像区域。

203、根据第三水下图像与预设的三维水下空间,生成目标vr图像。

在本发明实施例中,三维水下空间与vr设备所在区域存在相同的活动空间,目标vr图像用于在图像展示单元中进行展示。

上述三维水下空间可以是预先根据当前水下空间进行实景建模,并根据实景建模得到的模型进行视觉艺术调整得到,上述视觉艺术调整可以是理解为风格化的模型调整,比如,当前水下空间为游泳池的水下空间,在对游泳池的水下空间进行实景建模后,可以得到游泳池的水下空间模型,对游泳池的水下空间模块进行视觉艺术调整后,可以得到某片海洋的水下空间模型、某片湖泊的水下空间模型、某条河流的水下空间模型。其中,预设的三维水下空间与vr设备所在区域存在相同的活动空间,避免用户在体验时与非活动空间发生碰撞。

具体的,可以根据第三水下图像,在预设的三维水下空间区域与第三水下图像相对应的图像来得目标vr图像。

更具体的,可以将当前水下空间中的实景特征点与三维水下空间的风格化特征点进行一一映射,计算第三水下图像中的实景特征点位置,根据实景特征点位置确定风格化特征点位置,进而根据风格化特征点位置在三维水下空间中获取对应的候选vr图像,候选vr图像的尺寸与第三水下图像的尺寸相同,从候选vr图像的中间部分裁剪出对应的目标vr图像。

需要说明的是,上述目标vr图像的尺寸与图像展示单元的展示尺寸相同。

本发明实施例中,获取所述水下环境信息、所述第一水下图像以及所述第二水下图像;根据所述水下环境信息、所述第一水下图像以及所述第二水下图像,生成第三水下图像;根据所述第三水下图像与预设的三维水下空间,生成目标vr图像,所述三维水下空间与所述vr设备所在区域存在相同的活动空间,所述目标vr图像用于在所述图像展示单元中进行展示。通过获取当前设备所在区域的水下环境信息,第一区域对应的第一水下图像以及第二区域对应的第二水下图像,来生成第三水下图像,再由第三水下图像和预设的三维水下空间生成目标vr图像用于展示,由于第三水下图像是通过多个维度来生成的图像,使得第三水下图像具有更准确的环境与图像信息,从而避免了水下因素的直接影响,进而降低了虚拟化制作的难度,降低了水中vr设备的图像失真度,提高用户体验。

可选的,水下环境传感单元包括水下深度传感器、水下压力传感器、水下光线传感器、水下温度传感器以及水质透明度检测器中的至少一种,水下环境信息包括水下深度信息、水下压力信息、水下光线信息、水下温度信息、水质透明度信息等至少一种水下环境信息,在根据水下环境信息、第一水下图像以及第二水下图像,生成第三水下图像的步骤中,可以以第一水下图像或第二水下图像的像素值范围,对水下环境信息进行编码量化,得到噪声图;通过预设的图像生成网络对噪声图、第一水下图像以及第二水下图像进行图像生成处理,生成第三水下图像。

在本发明实施例中,可以根据第一水下图像的像素值范围或第二水下图像的像素值范围,确定编码量化的范围。在一种可能的实施例中,上述第一水下图像的像素值范围可以是[0,255]的整数区间,上述第二水下图像的像素值范围也可以是[0,255]的整数区间,在将传感器采集到的水下环境信息进行模转数后,得到数字模态的水下环境信息,将数字模态的水下环境信息编码量化到[0,255]的整数区间。

具体的,可以通过词向量编码的方式对数字模态的水下环境信息进行编码。在词向量编码中,一个字符可以通过多维向量来进行表示,比如,1可以通过[a0,a1,…,an]这样一个n维的向量进行表示,上述的n为第一水下图像的总像素个数或第二水下图像的总像素个数,由于上述第一水下图像的尺寸与上述第二水下图像的尺寸相同,上述第一水下图像的总像素个数或第二水下图像的总像素个数为相同的。将水下环境信息通过词向量编码的方式进行编码后,得到水下环境信息的编码向量,再将编码向量映射到[0,255]的整数区间进行量化,得到噪声图。

通过对水下环境信息进行编码量化,可以得到与第一水下图像和第二水下图像尺寸相同的噪声图。

上述预设的图像生成网络可以是基于生成式对抗网络中的生成器,生成式对抗网络可以将噪声信息作为输入,生成对应的图像信息。在本发明实施例中,图像生成网络在训练时,训练样本为三元组结构,训练样本包括样本噪声图、样本第一水下图像、样本第二水下图像,每个训练样本还对应一个修复后的标签图像,其中,上述样本噪声图的获取方法与上述噪声图的获取方法相同,样本第一水下图像、样本第二水下图像与上述第一水下图像和上述第二水下图像的获取方法相同。修复后的标签图像可以是人工进行修复后的图像,修复后的图像用于在鉴别器中对生成器的生成图像进行鉴别。通过生成器与鉴别器的对抗训练,使生成器学习到生成接近修复后的标签图像的图像的能力。在训练好后,只取生成器的参数部署在处理器单元中,在处理器单元中,再使用训练样本对生成器的参数进行微调,从而得到图像生成网络。

通过预设的图像生成网络来生成第三水下图像,可以得到受水下环境影响较小的第三水下图像。

可选的,预设的图像生成网络包括第一图像生成网络、第二图像生成网络、第三图像生成网络,在通过预设的生成网络对噪声图、第一水下图像以及第二水下图像进行生成处理,生成第三水下图像的步骤中,可以通过第一图像生成网络对噪声图与第一水下图像进行图像生成处理,得到第一生成图像,以及通过第二图像生成网络对噪声图与第二水下图像进行图像生成处理,得到第二生成图像;通过第三图像生成网络对第一生成图像和第二生成图像进行图像生成处理,得到第三水下图像。

在本发明实施例中,通过第一图像生成网络对噪声图和第一水下图像进行图像生成处理,生成第一生成图像,可以使得第一生成图像更接近于修复后的图像;通过第二图像生成网络对噪声图和第二水下图像进行图像生成处理,生成第二生成图像,可以使得第二生成图像更接近于修复后的图像;进一步的,在第三图像生成网络的处理过程中,对第一生成图像和第二生成图像进行图像生成处理,生成第三水下图像,使得第三水下图像更接近于修复后的图像。降低图像失真度,使图像更清晰,从而提高用户体验。

第一图像生成网络的输出和第二图像生成网络的输出均与第三图像生成网络的输入连接。

需要说明的是,由于图像生成网络中包括第一图像生成网络、第二图像生成网络以及第三图像生成网络,因此,在进行训练时,需要构建第一生成器、第二生成器以及第三生成器,其中,第一生成器对应第一图像生成网络,第二生成器对应第二图像生成网络,第三生成器对应第三图像生成网络,还需要构建第一鉴别器、第二鉴别器以及第三鉴别器,其中,第一生成器的输出分别与第一鉴别器和第三生成器的输入连接,第二生成器的输出分别与第二鉴别器和第三生成器的输入连接,第三生成器的输出与第三鉴别器的输入连接。

在训练时,训练样本为三元组结构,训练样本包括样本噪声图、样本第一水下图像、样本第二水下图像,每个训练样本还对应一个修复后的标签图像三元组,标签图像三元组中包括修复后的第一标签图像、修复后的第二标签图像以及修复后的第三标签图像,修复后的第一标签图像用于第一鉴别器的鉴别,修复后的第二标签图像用于第二鉴别器的鉴别,第三标签图像用于第三鉴别器的鉴别,其中,上述样本噪声图的获取方法与上述噪声图的获取方法相同,样本第一水下图像、样本第二水下图像与上述第一水下图像和上述第二水下图像的获取方法相同。修复后的标签图像可以是人工进行修复后的图像,修复后的图像用于在对应鉴别器中对对应生成器的生成图像进行鉴别。通过生成器与鉴别器的对抗训练,使生成器学习到生成接近修复后的标签图像的图像的能力。在训练好后,只取生成器的参数部署在处理器单元中,在处理器单元中,再使用训练样本对生成器的参数进行微调,从而得到图像生成网络。在训练过程中,可以采用第一生成器、第二生成器和第三生成器的总损失来对第一生成器、第二生成器和第三生成器进行误差反向传播,来调整第一生成器、第二生成器和第三生成器的参数。

可选的,根据第三水下图像与预设的三维水下空间,生成目标vr图像,三维水下空间与vr设备所在区域存在相同的活动空间步骤中,可以根据第三水下图像,对预设的三维水下空间进行调整,得到调整后的三维水下空间;根据第三水下图像,计算虚拟相机在调整后的三维水下空间中的虚拟拍摄参数;根据调整后的三维水下空间的虚拟拍摄参数,生成目标vr图像。

在本发明实施例中,可以提取第三水下图像中的活动空间信息,来对三维水下空间中的活动空间进行调整,得到调整后的三维水下空间,上述活动空间指的是用户在水中可以活动的空间,比如,当第三水下图像中出现另一个用户时,则另一个用户所在的空间,在当前时刻并不是当前用户可以活动的空间。这样,可以实现对三维水下空间的实时调整,从而避免多个用户之间的无意识碰撞,保护用户和水下vr设备。

上述虚拟拍摄参数包括虚拟相机的拍摄焦距、拍摄位置以及拍摄方向等参数。通过虚拟拍摄参数,可以得到与第三水下图像在拍摄焦距、拍摄位置以及拍摄方向相同的图像,根据该图像得到目标vr图像。

可选的,水下vr设备包括主设备和从设备,主设备包括第一防水外壳,设置在第一防水外壳内的处理器单元、图像展示单元、水下环境传感单元、第一图像采集单元,从设备包括第二防水外壳,设置在第二防水外壳内的第二图像采集单元,主设备穿戴于第一人体特定部位,从设备穿戴于第二人体特定部位,第二图像采集单元与所述处理器单元信号连接,在根据所述第三水下图像,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数的步骤中,可以根据第三水下图像的尺寸参数和第一水下图像与第二水下图像的交并比,确定水下vr设备在当前状态下的用户视觉参数;根据用户视觉参数,计算虚拟相机在调整后的三维水下空间中的虚拟拍摄参数。

在本发明实施例中,用户视觉参数包括用户基于当前姿态的可视范围,比如用户视觉参数与虚拟拍摄参数存在映射关系。进一步的,用户视觉参数可以通过用户姿态来进行表示,更进一步的,用户视觉参数可以通过用户头部状态来进行表示。

上述水下vr设备包括主设备和从设备,上述主设备和从设备穿戴于人体不同的部位,从而可以采集到不同的第一水下图像与第二水下图像,比如,主设备可以穿戴于人体头部,从设备可以穿戴于人体躯体或肢体,在本发明实施例中,主设备穿戴于第一人体特定部位,从设备穿戴于第二人体特定部位,第一人体特定部位为头部,上述第二人体特定部位为胸口或肩膀,这样,可以通过第一水下图像和第二水下图像来得到用户头部和胸口或肩膀之间的姿态信息,从而使得第三图像也具备用户头部和胸口或肩膀之间的姿态信息。比如,人在直立平视前方时,第一图像采集单元与第二图像采集单元分别可以对人体前方的第一区域和第二区域进行图像采集,当人低头时,第一区域和第二区域的重合区域变大,当人抬头时,第一区域和第二区域的重合区域变小。

需要说明的是,上述第一区域与第二区域的交并比小于预设值,可以理解为用户在直立平视前方时,用户前方的第一区域与第二区域相交区域与相并区域的比例小于预设值,从而保证用户在直立平视前方时第一区域与第二区域不会完全重合。

当然,在一种可能的实施例中,上述第一区域与第二区域交并比小于第一预设值,大于第二预设值,上述第一预设值为1,上述第二预设值0,使得第一区域与第二区域存在一定的区域重叠,但又不存在完全重合的情况。

上述第三水下图像包括第一水下图像对应的图像区域和第二水下图像对应的图像区域,上述第一水下图像对应的图像区域则为第三水下图像中第一区域对应的图像,上述第二水下图像对应的图像区域则为第三水下图像中第二区域对应的图像。由此,可以根据第三水下图像的尺寸,来得到用户的姿态,当第三水下图像的尺寸小于标准尺寸时,说明用户为低头姿态,当第三水下图像的尺寸大于标准尺寸时,说明用户为抬头姿态。上述第三水下图像的标准尺寸为用户在直立平视前方时,根据第一水下图像和第二水下图像生成得到的第三水下图像的尺寸。

可选的,在根据第三水下图像的尺寸参数和第一水下图像与第二水下图像的交并比,确定水下vr设备在当前状态下的用户视觉参数的步骤中,可以根据第三水下图像的尺寸参数和第一水下图像与第二水下图像的交并比,计算水下vr设备在当前状态下的用户姿态;根据用户姿态,确定水下vr设备在当前状态下的用户视觉参数。

在本发明实施例中,当第三水下图像的尺寸小于标准尺寸时,说明用户为低头姿态,第三水下图像的尺寸越小,则说明低头幅度越大;当第三水下图像的尺寸大于标准尺寸时,说明用户为抬头姿态,第三水下图像的尺寸越大,则说明抬头幅度越大。

同时,当第一水下图像与第二水下图像的交并比大于标准交并比时,则说明用户为低头姿态,第一水下图像与第二水下图像的交并比越大,则说明低头幅度越大,当第一水下图像与第二水下图像的交并比小于标准交并比时,则说明用户为抬头姿态,其中,标准交并比为用户在直立平视前方时,第一水下图像和第二水下图像的交并比。

可以根据第三水下图像的尺寸参数和第一水下图像与第二水下图像的交并比来共同确定水下vr设备在当前状态下的用户姿态。具体的,上述用户状态为头部姿态,可以通过下述式子来确定用户的头部姿态:

s

s

其中,式中σ为用户的头部姿态角,正为抬头,负为低关,σ

根据用户的头部姿态角,得到水下vr设备在当前状态下的用户视觉参数。

可选的,在根据第三水下图像与预设的三维水下空间,生成目标vr图像的步骤之后,还可以计算目标vr图像中出现的色差像素点;解析色差像素点的色差颜色;以色差颜色的相反颜色对色差像素点进行色差补偿,得到待显示图像;将待显示图像传输到图像展示单元进行展示。

在本发明实施例中,上述色差像素点是由于材料折射率产生的,通过折射可以将白光分散成其他颜色的光线,因此,可以利用相反颜色对色差像素点进行色差补偿,得到图像质量更高的待显示图像,将待显示图像会车到图像展示单元进行展示,从而实现水中vr设备的虚拟现实功能。

实施本发明实施例,通过获取当前设备所在区域的水下环境信息,第一区域对应的第一水下图像以及第二区域对应的第二水下图像,来生成第三水下图像,再由第三水下图像和预设的三维水下空间生成目标vr图像用于展示,由于第三水下图像是通过多个维度来生成的图像,使得第三水下图像具有更准确的环境与图像信息,从而避免了水下因素的直接影响,进而降低了虚拟化制作的难度,降低了水中vr设备的图像失真度,提高用户体验。

需要说明的是,本发明实施例提供的水下vr图像处理方法可以应用于vr设备、智能手机、电脑、服务器等设备。

可选的,本发明实施例提供一种水下vr图像处理装置,应用于水下vr设备,所述水下vr设备包括防水外壳,设置在所述防水外壳内的水下vr图像处理装置、图像展示单元、水下环境传感单元、第一图像采集单元和第二图像采集单元,所述水下环境传感单元用于采集所述水下vr设备所在区域的水下环境信息,所述第一图像采集单元用于采集第一区域的第一水下图像,所述第二图像采集单元用于采集第二区域的第二水下图像,所述第一区域与所述第二区域的交并比小于预设值,请参见图3,图3是本发明实施例提供的一种水下vr图像处理装置的结构示意图,如图3所示,装置包括:

获取模块301,用于获取所述水下环境信息、所述第一水下图像以及所述第二水下图像;

第一生成模块302,用于根据所述水下环境信息、所述第一水下图像以及所述第二水下图像,生成第三水下图像;

第二生成模块303,用于根据所述第三水下图像与预设的三维水下空间,生成目标vr图像,所述三维水下空间与所述vr设备所在区域存在相同的活动空间。

可选的,所述水下环境传感单元包括水下深度传感器、水下压力传感器、水下光线传感器、水下温度传感器以及水质透明度检测器中的至少一种,所述水下环境信息包括水下深度信息、水下压力信息、水下光线信息、水下温度信息、水质透明度信息等至少一种水下环境信息,所述第一生成模块302还用于以所述第一水下图像或所述第二水下图像的像素值范围,对所述水下环境信息进行编码量化,得到噪声图;通过预设的图像生成网络对所述噪声图、所述第一水下图像以及所述第二水下图像进行图像生成处理,生成所述第三水下图像。

可选的,所述预设的图像生成网络包括第一图像生成网络、第二图像生成网络、第三图像生成网络,所述第一生成模块302还用于通过所述第一图像生成网络对所述噪声图与所述第一水下图像进行图像生成处理,得到第一生成图像,以及通过所述第二图像生成网络对所述噪声图与所述第二水下图像进行图像生成处理,得到第二生成图像;通过所述第三图像生成网络对所述第一生成图像和所述第二生成图像进行图像生成处理,得到第三水下图像。

可选的,所述第二生成模块303还用于根据所述第三水下图像,对所述预设的三维水下空间进行调整,得到调整后的三维水下空间;根据所述第三水下图像,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数;根据所述调整后的三维水下空间的虚拟拍摄参数,生成目标vr图像。

可选的,所述水下vr设备包括主设备和从设备,所述主设备包括第一防水外壳,设置在所述第一防水外壳内的处理器单元、图像展示单元、水下环境传感单元、第一图像采集单元,所述从设备包括第二防水外壳,设置在所述第二防水外壳内的第二图像采集单元,所述主设备穿戴于第一人体特定部位,所述从设备穿戴于第二人体特定部位,所述第二图像采集单元与所述处理器单元信号连接,所述第二生成模块303还用于根据所述第三水下图像的尺寸参数和所述第一水下图像与所述第二水下图像的交并比,确定所述水下vr设备在当前状态下的用户视觉参数;根据所述用户视觉参数,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数。

可选的,所述所述第二生成模块303还用于根据所述第三水下图像的尺寸参数和所述第一水下图像与所述第二水下图像的交并比,计算所述水下vr设备在当前状态下的用户姿态;根据所述用户姿态,确定所述水下vr设备在当前状态下的用户视觉参数。

可选的,所述装置包括:

计算模块,用于计算所述目标vr图像中出现的色差像素点;

解析模块,用于解析所述色差像素点的色差颜色;

补偿模块,用于以所述色差颜色的相反颜色对所述色差像素点进行色差补偿,得到待显示图像;

展示模块,用于将所述待显示图像传输到所述图像展示单元进行展示。

需要说明的是,本发明实施例提供的行为检测装置可以应用于可以进行水下vr图像处理的vr设备、智能手机、电脑、服务器等设备。

本发明实施例提供的行为检测装置能够实现上述方法实施例中水下vr图像处理方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。

参见图4,图4是本发明实施例提供的一种电子设备的结构示意图,如图4所示,包括:存储器402、处理器401及存储在存储器402上并可在处理器3401上运行的水下vr图像处理方法的计算机程序,其中:

处理器401用于调用存储器402存储的计算机程序,执行如下步骤:

获取所述水下环境信息、所述第一水下图像以及所述第二水下图像;

根据所述水下环境信息、所述第一水下图像以及所述第二水下图像,生成第三水下图像;

根据所述第三水下图像与预设的三维水下空间,生成目标vr图像,所述三维水下空间与所述vr设备所在区域存在相同的活动空间,所述目标vr图像用于在所述图像展示单元中进行展示。

可选的,所述水下环境传感单元包括水下深度传感器、水下压力传感器、水下光线传感器、水下温度传感器以及水质透明度检测器中的至少一种,所述水下环境信息包括水下深度信息、水下压力信息、水下光线信息、水下温度信息、水质透明度信息等至少一种水下环境信息,处理器401执行的所述根据所述水下环境信息、所述第一水下图像以及所述第二水下图像,生成第三水下图像,包括:

以所述第一水下图像或所述第二水下图像的像素值范围,对所述水下环境信息进行编码量化,得到噪声图;

通过预设的图像生成网络对所述噪声图、所述第一水下图像以及所述第二水下图像进行图像生成处理,生成所述第三水下图像。

可选的,所述预设的图像生成网络包括第一图像生成网络、第二图像生成网络、第三图像生成网络,处理器401执行的所述通过预设的生成网络对所述噪声图、所述第一水下图像以及所述第二水下图像进行图像生成处理,生成所述第三水下图像,包括:

通过所述第一图像生成网络对所述噪声图与所述第一水下图像进行图像生成处理,得到第一生成图像,以及通过所述第二图像生成网络对所述噪声图与所述第二水下图像进行图像生成处理,得到第二生成图像;

通过所述第三图像生成网络对所述第一生成图像和所述第二生成图像进行图像生成处理,得到第三水下图像。

可选的,处理器401执行的所述根据所述第三水下图像与预设的三维水下空间,生成目标vr图像,所述三维水下空间与所述vr设备所在区域存在相同的活动空间,包括:

根据所述第三水下图像,对所述预设的三维水下空间进行调整,得到调整后的三维水下空间;

根据所述第三水下图像,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数;

根据所述调整后的三维水下空间的虚拟拍摄参数,生成目标vr图像。

可选的,所述水下vr设备包括主设备和从设备,所述主设备包括第一防水外壳,设置在所述第一防水外壳内的处理器单元、图像展示单元、水下环境传感单元、第一图像采集单元,所述从设备包括第二防水外壳,设置在所述第二防水外壳内的第二图像采集单元,所述主设备穿戴于第一人体特定部位,所述从设备穿戴于第二人体特定部位,所述第二图像采集单元与所述处理器单元信号连接,处理器401执行的所述根据所述第三水下图像,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数,包括:

根据所述第三水下图像的尺寸参数和所述第一水下图像与所述第二水下图像的交并比,确定所述水下vr设备在当前状态下的用户视觉参数;

根据所述用户视觉参数,计算虚拟相机在所述调整后的三维水下空间中的虚拟拍摄参数。

可选的,处理器401执行的所述根据所述第三水下图像的尺寸参数和所述第一水下图像与所述第二水下图像的交并比,确定所述水下vr设备在当前状态下的用户视觉参数,包括:

根据所述第三水下图像的尺寸参数和所述第一水下图像与所述第二水下图像的交并比,计算所述水下vr设备在当前状态下的用户姿态;

根据所述用户姿态,确定所述水下vr设备在当前状态下的用户视觉参数。

可选的,在所述根据所述第三水下图像与预设的三维水下空间,生成目标vr图像的步骤之后,处理器401执行的所述方法包括:

计算所述目标vr图像中出现的色差像素点;

解析所述色差像素点的色差颜色;

以所述色差颜色的相反颜色对所述色差像素点进行色差补偿,得到待显示图像;

将所述待显示图像传输到所述图像展示单元进行展示。

需要说明的是,本发明实施例提供的电子设备可以应用于可以进行水下vr图像处理的vr设备、智能手机、电脑、服务器等设备。

本发明实施例提供的电子设备能够实现上述方法实施例中水下vr图像处理方法实现的各个过程,且可以达到相同的有益效果。为避免重复,这里不再赘述。

本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现本发明实施例提供的水下vr图像处理方法或应用端水下vr图像处理方法的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存取存储器(RandomAccess Memory,简称RAM)等。

以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

技术分类

06120114703162