掌桥专利:专业的专利平台
掌桥专利
首页

视频处理方法、装置、电子设备及存储介质

文献发布时间:2024-04-18 19:58:21


视频处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理技术领域,具体涉及一种视频处理方法、装置、电子设备及存储介质。

背景技术

在现有技术中,无人机通过摄像头采集到的全景视频之后,直接将全景视频传输到其他电子设备上,其他电子设备在获取到全景视频之后,由于该全景视频不包括在录制过程中用户的观看角度,需要用户自行调节观看角度才能观看到对应角度的视频。

发明内容

本申请实施例提供一种视频处理方法、装置、电子设备及存储介质。该视频处理方法可以以用户预览全景画面时的预览角度播放全景图像数据对应的视频。

第一方面,本申请实施例提供了一种视频处理方法,包括:

获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备;

获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成;

从全景影像数据中提取预览姿态数据和全景图像数据;

根据预览姿态数据播放全景图像数据对应的视频。

第二方面,本申请实施例提供了一种视频处理装置,包括:

发送模块,用于获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备;

获取模块,用于获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成;

提取模块,用于从全景影像数据中提取预览姿态数据和全景图像数据;

播放模块,用于根据预览姿态数据播放全景图像数据对应的视频。

第三方面,本申请实施例提供了一种电子设备,包括存储有可执行程序代码的存储器、与存储器耦合的处理器;处理器调用存储器中存储的可执行程序代码,执行本申请实施例提供的视频处理方法或数据处理方法中的步骤。

第四方面,本申请实施例提供了一种存储介质,存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请实施例提供的视频处理方法或数据处理方法中的步骤。

在本申请实施例中,控制设备可以获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备;然后获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成;再从全景影像数据中提取预览姿态数据和全景图像数据;最后根据预览姿态数据播放全景图像数据对应的视频。从而实现在播放全景图像数据对应的视频时能够以用户的预览角度来播放视频。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的录制设备和控制设备进行数据传输的场景示意图。

图2是本申请实施例提供的三维空间的示意图。

图3是本申请实施例提供的视频处理方法的第一流程示意图。

图4是本申请实施例提供的视频处理方法的第二流程示意图。

图5是本申请实施例提供的视频处理方法的第三流程示意图。

图6是本申请实施例提供的数据处理方法的第一流程示意图。

图7是本申请实施例提供的视频处理装置的结构示意图。

图8是本申请实施例提供的数据处理装置的结构示意图

图9是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

在相关技术中,无人机通过摄像头采集到的全景视频之后,直接将全景视频传输到其他电子设备上,其他电子设备在获取到全景视频之后,由于该全景视频不包括在录制过程中用户的观看角度,需要用户自行调节观看角度才能观看到对应角度的视频。

为了解决上述技术问题,本申请实施例中提供了一种视频处理方法、装置、电子设备及存储介质。该视频处理方法可以应用于VR(Virtual Reality,虚拟现实)眼镜,还可以应用于智能手机、电脑等多种电子设备。

请参阅图1,图1是本申请实施例提供的录制设备和控制设备进行数据传输的场景示意图。

在本申请实施例中,录制设备可以是录制全景图像数据,控制设备可以对录制设备录制的全景画面进行预览,控制设备还可以用于对录制设备录制完成的全景图像数据进行播放。

如图1所示,其中S1为控制设备,S2为录制设备,控制设备可以是VR眼镜,录制设备可以是无人机,无人机上设置有三百六十度全景摄像头,录制设备可以录制真实的立体空间内的全景画面。

需要说明的是,控制设备还可以是手机、电脑或者其他拥有计算能力的电子设备。录制设备还可以是全景摄像机等电子设备。图1所示的无人机和VR眼镜仅仅是例举,不应视为对本申请的限制。

请继续参阅图1,在实际应用场景中,当控制设备和录制设备建立通信连接之后,录制设备可以将录制的全景画面传输到控制设备上,用户可以通过控制设备来对全景画面进行预览,控制设备会获取用户预览全景画面时用户对应的预览姿态数据,然后将预览姿态数据发送给录制设备。

比如,用户在控制设备上预览的全景画面可以是一个低清晰度的画面。比如录制设备录制的全景图像数据时原始全景画面对应的数据,但是如果录制设备对控制设备传输原始的全景画面对应的数据,由于数据较大,会导致传输过程中出现较高的延迟,不利于用户实时预览。

因此,录制设备可以将获取的全景图像数据转换为分辨率较低的预览全景图像数据,然后将预览全景图像数据发送给控制设备。控制设备在接收到预览全景图像数据之后,可以根据预览全景图像数据来对全景画面进行预览,控制设备将用户预览全景画面时的预览数据发送给录制设备。比如控制设备可以通过陀螺仪、加速度传感器等传感器来获取用户预览全景画面时的预览姿态数据。

当录制设备接收到预览姿态数据之后,录制设备会根据录制的全景图像数据和预览姿态数据来生成全景影像数据,然后录制设备将全景影像数据发送给控制设备。

控制设备接收到全景影像数据之后,控制设备对全景影像数据进行提取,从而提取出预览姿态数据和全景图像数据,最后根据预览姿态数据播放全景图像数据对应的视频。

其中,控制设备可以根据预览姿态数据来确定用户的预览角度,然后根据预览角度来播放全景图像数据对应的视频。

针对于控制设备根据预览全景图像数据预览全景画面的内容,请一并参阅图2,图2是本申请实施例提供的三维空间的示意图。

其中,控制设备可以先确定出空间中心点A2,然后建立三维空间A1,该三维空间对应于录制设备所处的立体空间,该空间中心点在三维空间中的位置对应于录制设备在真实立体空间中的位置。在控制设备建立三维空间的过程中,可以将录制设备通过融合磁力计得到的北方方向确定为空间中心点对应的标准方向,然后以该标准方向来建立三维空间。

该三维空间是虚拟空间,当录制设备将预览全景图像数据传输给控制设备时,控制设备可以将预览全景图像数据渲染在三维空间中,从而得到预览的全景画面。

当录制设备传输的预览全景图像数据为数据流时,则在三维空间中渲染的是全景视频。

用户在使用控制设备预览全景画面时,控制设备可以利用传感器来记录下用户对应的预览姿态数据,比如通过陀螺仪、加速度传感器等传感器记录下的数据确定出用户对应的预览姿态数据。

比如,用户在佩戴控制设备时,控制设备可以获取用户的预览姿态数据,比如用户通过转动头部观看其中某一方向,控制设备可以记录下该方向对应的预览姿态数据,预览姿态数据可以是欧拉角数据。其中欧拉角是用来唯一地确定定点转动刚体位置的三个一组独立角参量,由章动角θ、进动角ψ和自转角φ组成。

如图2所示,控制设备在渲染全景图像或者全景视频的过程中,控制设备可以确定出对应的可视角度B1和可视距离C1,在该可视角度B1和可视距离C1下在全景图像或者全景视频中确定出用户所预览的画面。然后将该画面显示在控制设备的显示区域上。其中,可视距离C1为空间中心点A2到空间点A3之间的距离。

为了更加详细的了解本申请实施例提供的视频处理方法,请参阅图3,图3是本申请实施例提供的视频处理方法的第一流程示意图。该视频处理方法可以包括如下步骤:

110、获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备。

在一些实施方式中,用户在使用控制设备来对录制设备发送的全景画面进行预览时,此时控制设备可以对用户的预览姿态数据进行记录,并将预览姿态数据发送给录制设备。

例如,控制设备可以采用陀螺仪、加速度传感器等来获取用户对应的预览姿态数据,比如控制设备被用户佩戴或者用户手持的时候,可以通过传感器来获取对应的传感器数据,然后将传感器数据来确定用户的预览姿态数据,比如预览姿态数据包括欧拉角数据、角速度数据、加速度数据等。

又例如,用户在使用鼠标或者触控的方式来滑动屏幕实现对全景画面的预览时,控制设备可以将用户的鼠标移动信息或者手指滑动信息来转换为用户预览全景画面时对应的预览姿态数据,比如鼠标移动信息或者手指滑动信息来确定用户在预览全景画面时所选择的方向,从而将该方向确定为预览姿态数据。

在一些实施方式中,当控制设备获取到用户的预览姿态数据之后,可以将预览姿态数据和具体时间相关联,然后将关联时间后的预览姿态数据发送给录制设备。

120、获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成。

在一些实施方式中,当控制设备将预览姿态数据发送给录制设备之后,录制设备会根据录制的全景图像数据和预览姿态数据生成全景影像数据。全景影像数据可以理解为是包含图像数据和姿态数据的数据。

控制设备可以通过无线通信的方式接收录制设备发送的全景影像数据。

130、从全景影像数据中提取预览姿态数据和全景图像数据。

控制设备在获取到全景影像数据之后,可以对全景影像数据进行解析,从而得到全景图像数据和预览姿态数据。

比如,全景图像数据和预览姿态数据是通过预设的编码格式生成的全景影像数据,则控制设备可以采用对应的解码方式来对全景影像数据进行解码,从而得到全景图像数据和预览姿态数据。

需要说明的是,控制设备还可以确定出预览姿态数据对应的时间信息以及全景图像数据对应的时间信息,然后将相同时间的预览姿态数据和全景图像数据相对应。

在一些实施方式中,在控制设备对全景影像数据进行解析时,控制设备可以对全景影像数据进行平滑处理,从而滤除其中的无用数据或者噪声数据。

140、根据预览姿态数据播放全景图像数据对应的视频。

在一些实施方式中,当用户需要播放全景影像数据对应的视频的时候,控制设备可以先确定出需要播放的时间起点,然后根据该时间起点确定出播放起点对应的预览姿态数据和全景图像数据,然后按照时间顺序通过预览姿态数据来渲染全景图像数据对应的画面,从而渲染出用户预览角度下的画面。

当电子设备连续显示多帧预览角度下的画面时,则控制设备播放了全景影像数据对应的视频。

也就是说,在本申请实施例中,控制设备可以根据预览姿态数据确定用户的预览角度,然后根据预览角度播放全景影像数据对应的视频。

需要说明的是,在对全景影像数据的视频进行播放的设备不仅限于控制设备,还可以是其他具备播放能力的电子设备。

请一并参阅图2,如图2所示,在预览姿态数据为欧拉角数据的情况下,控制设备可以根据欧拉角数据在三维空间中确定出用户的预览角度,并确定出预览角度对应的画面。

当控制设备的显示区域显示多帧预览角度分别对应的画面时,则实现了在用户的预览角度下播放全景影像数据对应的视频。

在本申请实施例中,控制设备可以获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备;然后获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成;再从全景影像数据中提取预览姿态数据和全景图像数据;最后根据预览姿态数据播放全景图像数据对应的视频。从而实现在播放全景图像数据对应的视频时能够以用户的预览角度来播放视频。

请继续参阅图4,图4是本申请实施例提供的视频处理方法的第二流程示意图。该视频处理方法可以包括以下步骤:

201、获取预览姿态数据。

例如,控制设备可以采用陀螺仪、加速度传感器等来获取用户对应的预览姿态数据,比如控制设备被用户佩戴或者用户手持的时候,可以通过传感器来获取对应的传感器数据,然后将传感器数据来确定用户的预览姿态数据,比如预览姿态数据包括欧拉角数据、角速度数据、加速度数据等。

又例如,用户在使用鼠标或者触控的方式来滑动屏幕实现对全景画面的预览时,控制设备可以将用户的鼠标移动信息或者手指滑动信息来转换为用户预览全景画面时对应的预览姿态数据,比如鼠标移动信息或者手指滑动信息来确定用户在预览全景画面时所选择的方向,从而将该方向确定为预览姿态数据。

202、确定当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据之间的差值。

在一些实施方式中,控制设备可以确定当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据,然后确定当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据之间的差值。

当预览姿态数据为欧拉角数据时,则第一预览姿态数据为第一欧拉角数据,第二姿态数据为第二欧拉角数据。

具体的,控制设备将当前视频帧的第一欧拉角数据转换为第一空间矢量,将前一视频帧的第二欧拉角数据转换为第二空间矢量,最后确定第一空间矢量和第二空间矢量之间的差值。该第一空间矢量和第二空间矢量之间的差值就是当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据之间的差值。

203、若差值在预设差值范围内,则停止将第一预览姿态数据发送给录制设备。

在一些实施方式中,控制设备可以设置一个预设差值范围,当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据之间的差值在该预设差值范围内时,则认为用户的预览姿态变化很小,比如用户的头部变化很小。

例如,预设差值范围为0~5度,而当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据之间的差值为4度,则确定当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据之间的差值在预设差值范围内。

此时,控制设备可以停止将当前视频帧的预览数据发送给录制设备,减少对录制设备的数据传输,从而使得录制设备最终根据预览姿态数据和全景图像数据生成的全景影像数据的数据量更小。同时能够减少无用数据的传输,提升数据控制设备和录制设备之间的数据传输效率。

204、若差值在预设差值范围外,则将第一预览姿态数据发送给录制设备。

在一些实施方式中,若差值在预设差值范围外,则说明当前视频帧和前一视频帧相比,用户的预览姿态发生了较大变化,此时可以将第一预览姿态数据发送给录制设备。

205、获取录制设备根据预览姿态数据发送的全景影像数据。

在一些实施方式中,当录制设备接收到第一预览姿态数据之后,录制设备可以确定出第一预览姿态数据对应的时间戳,然后根据该时间戳和相同时间的全景图像数据相关联。

录制设备可以将多帧预览姿态数据和其对应的全景图像数据相关联,从而生成全景影像数据。

比如,时间10:01对应的预览姿态数据和其对应的全景图像数据相关联,时间10:02对应的预览姿态数据和其对应的全景图像数据相关联。通过该方式,对预览姿态数据和全景图像数据相关联之后,则得到全景影像数据。

控制设备可以通过无线通信的方式接收录制设备发送的全景影像数据。

206、获取对预览姿态数据编辑后生成的已编辑姿态数据。

在一些实施方式中,当控制设备接收到全景影像数据之后,用户可以对全景影像数据中的预览姿态数据进行编辑,从而生成已编辑姿态数据。比如用户在选取关键帧之后,可以对关键帧对应的预览姿态数据进行编辑,从而得到已编辑姿态数据。

比如,第一关键帧对应第一目标预览姿态数据,而用户对第一目标预览姿态数据进行编辑之后,得到第一关键帧对应的第一已编辑姿态数据。第二关键帧对应第二目标预览姿态数据,而用户对第二目标预览姿态数据进行编辑之后,得到第二关键帧对应的第二已编辑姿态数据。

在一些实施方式中,用户还可以对全景影像数据的其他参数进行更改,比如用户选取关键帧之后,改变关键帧对应的可视角度。

207、根据已编辑姿态数据和预览姿态数据播放全景影像数据对应的视频。

在一些实施方式中,控制设备可以通过关键帧对应的已编辑姿态数据来确定关键帧对应的画面的预览角度,通过预览姿态数据来确定全景影像数据中其他帧对应的画面的预览角度,最后通过关键帧对应的画面的预览角度播放关键帧对应的画面,通过其他帧对应的画面的预览角度播放其他帧对应的画面。

在一些实施方式中,控制设备还可以通过已编辑姿态数据和预览姿态数据对全景影像数据中每一帧的全景图像数据对应的姿态数据进行平滑处理,然后根据平滑处理后的姿态数据播放对全景影像数据中每一帧的全景图像数据对应的画面。

从而实现根据已编辑姿态数据和预览姿态数据播放全景图像数据对应的视频。

为了更加详细的了解本申请实施例中根据已编辑姿态数据和预览姿态数据播放全景影像数据对应的视频,请继续参阅图5,图5是本申请实施例提供的视频处理方法的第三流程示意图。该视频处理方法还可以包括如下步骤:

301、确定全景影像数据对应的第一关键帧以及第一关键帧对应的第一目标预览姿态数据。

在一些实施方式中,以用户编辑的第一关键帧为例,控制设备确定用户编辑全景影像数据的第一关键帧以及第一关键帧对应的第一目标预览姿态数据,其中第一目标预览姿态数据是控制设备全景影像数据中提取出的数据。第一关键帧为用户在全景图像数据中选取的全景图像数据对应的关键帧。

302、获取对第一目标预览姿态数据编辑后生成的第一已编辑姿态数据。

例如,预览姿态数据为欧拉角数据,当用户确定第一关键帧之后,对第一关键帧对应的第一目标欧拉角数据进行编辑,从而得到第一关键帧对应的已编辑欧拉角数据。

303、确定第一关键帧对应的预设时间范围内是否有第二关键帧。

比如,第一关键帧对应的预设时间范围为第一关键帧之前的前五秒和第一关键帧之后的后五秒,控制设备可以确定在这个预设时间范围内是否有用户选择编辑的第二关键帧。

若第一关键帧对应的预设时间范围内有第二关键帧,则进入步骤304。若第一关键帧对应的预设时间范围内没有第二关键帧,则进入步骤306。

304、若第一关键帧对应的预设时间范围内有第二关键帧,则获取第二关键帧对应的第二已编辑姿态数据。

比如,若第一关键帧对应的预设时间范围内有第二关键帧,控制设备可以确定第二关键帧对应的第二目标预览姿态数据,然后获取用户对第二目标预览姿态数据进行编辑后生成的第二已编辑姿态数据。

305、根据第一已编辑姿态数据和第二已编辑姿态数据播放第一关键帧和第二关键帧之间的全景图像数据对应的视频,根据预览姿态数据播放预设时间范围外的全景图像数据对应的视频。

具体的,控制设备可以根据第一已编辑姿态数据和第二已编辑姿态数据对第一关键帧和第二关键帧之间每一帧全景图像数据对应的姿态数据进行插值计算,得到第一关键帧和第二关键帧之间每一帧全景图像数据对应的插值姿态数据;然后根据插值姿态数据播放第一关键帧和第二关键帧之间的全景图像数据对应的视频。

例如,在第一关键帧和第二关键帧之间有三帧画面,将这三帧按照时间顺序分别确定为帧A、帧B、帧C。控制设备可以根据第一已编辑姿态数据和第二已编辑姿态数据对帧A、帧B、帧C分别对应的姿态数据进行计算,从而得到帧A、帧B、帧C分别对应的插值姿态数据。

然后根据插值姿态数据确定出帧A、帧B、帧C分别对应的观看角度,最后根据该观看角度播放帧A、帧B、帧C分别对应的画面。从而实现根据插值姿态数据播放第一关键帧和第二关键帧之间的全景图像数据对应的视频。

在一些实施方式中,在预设时间范围外的全景图像数据,可以采取从全景图像数据中提取的预览姿态数据来播放对应的视频。

比如,在第一关键帧前5秒之前的全景图像数据,则可以通过的预览姿态数据来播放全景图像数据对应的视频。

通过上述方式,可以实现对整个全景影像数据进行姿态数据的平滑处理,使得播放全景影像数据对应的视频的时候,能够拥有更加平滑的观看角度过渡的播放效果,而不会出现视频画面之间卡顿的现象。

306、若第一关键帧对应的预设时间范围内没有第二关键帧,则确定预设时间范围内时间起点对应的第一视频帧和时间终点对应的第二视频帧。

比如,第一关键帧对应的预设时间范围为第一关键帧之前的前五秒和第一关键帧之后的后五秒,若第一关键帧对应的预设时间范围内没有第二关键帧,此时控制设备确定第一关键帧前5秒对应的第一视频帧,以及第一关键帧后5秒对应的第二视频帧。

307、根据第一视频帧对应的预览姿态数据和第二视频帧对应的预览姿态数据对第一关键帧对应的姿态数据进行插值计算,得到第一关键帧对应的第一插值姿态数据。

比如,控制设备先从全景影像数据中获取第一视频帧对应的预览姿态数据和第二视频帧对应的预览姿态数据,然后通过第一视频帧对应的预览姿态数据和第二视频帧对应的预览姿态数据对第一关键帧对应的姿态数据进行插值计算,从而计算出第一关键帧对应的第一插值姿态数据。

对于用户对第一关键帧编辑的第一已编辑姿态数据,则不采用。

308、根据第一插值姿态数据和第一关键帧对应的全景图像数据显示第一关键帧对应的画面。

比如,控制设备通过采用第一插值姿态数据确定第一关键帧对应的观看角度,然后在全景影像数据中确定第一关键帧对应的全景图像数据,最后通过第一关键帧对应的观看角度显示第一关键帧对应的全景图像数据的画面。

在本申请实施例中,在控制设备获取到全景影像数据之后,可以根据全景影像数据中的预览姿态数据来对以用户预览全景画面时的角度播放全景影像数据对应的视频。如果用户对全景影像数据中的预览姿态数据进行编辑,则可以根据用户编辑的已编辑姿态数据和预览姿态数据来共同播放全景影像数据对应的视频。

在一些实施方式中,如果需要将编辑后的全景影像数据在其他设备上进行播放,则可以将编辑后的全景影像数据的文件格式转换为通用格式,比如mp4格式,然后其他设备播放编辑后的全景影像数据时,可以直接通过已编辑姿态数据和预览姿态数据对应的角度来播放全景影像数据对应的视频。

在本申请实施例中,控制设备通过获取预览姿态数据,然后确定当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据之间的差值,若差值在预设差值范围内,则停止将第一预览姿态数据发送给录制设备。若差值在预设差值范围外,则将第一预览姿态数据发送给录制设备,然后获取录制设备根据预览姿态数据发送的全景影像数据,获取对预览姿态数据编辑后生成的已编辑姿态数据,最后根据已编辑姿态数据和预览姿态数据播放全景影像数据对应的视频。从而通过已编辑姿态数据和预览姿态数据对应的角度来播放全景影像数据对应的视频。

请参阅图6,图6是本申请实施例提供的数据处理方法的第一流程示意图,该数据处理方法针对于录制设备,该数据处理方法可以包括如下步骤:

410、采集全景图像数据。

录制设备上设置有三百六十度全景摄像头,通过全景摄像头捕获到全景图像数据,该全景图像数据为原生数据。

录制设备可以将全景图像数据转换为清晰度更低的预览全景图像数据,然后将预览全景图像数据发送给控制设备,从而实现用户通过控制设备预览该预览全景图像数据对应的全景画面。

420、接收控制设备发送的预览姿态数据。

在一些实施方式中,录制设备还可以获取控制设备发送来的预览姿态数据,预览姿态数据内有对应的时间信息。比如不同时刻的预览姿态数据对应有一个时间戳。

430、将相同时间的全景图像数据和预览姿态数据相关联,生成全景影像数据。

在一些实施方式中,录制设备可以根据预览姿态数据的时间信息和全景图像数据的时间信息,将相同时间的全景图像数据和预览姿态数据相关联,生成关联文件;将关联文件设置在全景图像数据的尾部,生成全景影像数据。

440、将全景影像数据发送给控制设备。

录制设备可以通过无线通信的方式将全景影像数据发送给控制设备。

在本申请实施例中,录制设备通过采集全景图像数据,然后接收控制设备发送的预览姿态数据,再将相同时间的全景图像数据和预览姿态数据相关联,生成全景影像数据,最后将全景影像数据发送给控制设备。从而实现了将用户的预览姿态数据和全景图像数据相关联。

请参阅图7,图7是本申请实施例提供的视频处理装置的结构示意图。该视频处理装置500可以包括:

发送模块510,用于获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备。

发送模块510,还用于确定当前视频帧对应的第一预览姿态数据和前一视频帧对应的第二预览姿态数据之间的差值;

若差值在预设差值范围外,则将第一预览姿态数据发送给录制设备;

若差值在预设差值范围内,则停止将第一预览姿态数据发送给录制设备。

发送模块510,还用于将当前视频帧的第一欧拉角数据转换为第一空间矢量,将前一视频帧的第二欧拉角数据转换为第二空间矢量;

确定第一空间矢量和第二空间矢量之间的差值。

获取模块520,用于获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成。

提取模块530,用于从全景影像数据中提取预览姿态数据和全景图像数据。

播放模块540,用于根据预览姿态数据播放全景图像数据对应的视频。

播放模块540,还用于获取对预览姿态数据编辑后生成的已编辑姿态数据;根据已编辑姿态数据和预览姿态数据播放全景图像数据对应的视频。

播放模块540,还用于确定全景影像数据对应的第一关键帧以及第一关键帧对应的第一目标预览姿态数据;

获取对第一目标预览姿态数据编辑后生成的第一已编辑姿态数据。

播放模块540,还用于确定第一关键帧对应的预设时间范围内是否有第二关键帧;

若第一关键帧对应的预设时间范围内有第二关键帧,则获取第二关键帧对应的第二已编辑姿态数据;

根据第一已编辑姿态数据和第二已编辑姿态数据播放第一关键帧和第二关键帧之间的全景图像数据对应的视频,根据预览姿态数据播放预设时间范围外的全景图像数据对应的视频。

播放模块540,还用于根据第一已编辑姿态数据和第二已编辑姿态数据,对第一关键帧和第二关键帧之间每一帧全景影像数据对应的姿态数据进行插值计算,得到第一关键帧和第二关键帧之间每一帧全景图像数据对应的插值姿态数据;

根据插值姿态数据播放第一关键帧和第二关键帧之间的全景图像数据对应的视频。

在确定第一关键帧对应的预设时间范围内是否有第二关键帧之后,播放模块540,还用于若第一关键帧对应的预设时间范围内没有第二关键帧,则确定预设时间范围内时间起点对应的第一视频帧和时间终点对应的第二视频帧;

根据第一视频帧对应的预览姿态数据和第二视频帧对应的预览姿态数据对第一关键帧的姿态数据进行插值计算,得到第一关键帧对应的第一插值姿态数据;

根据第一插值姿态数据和第一关键帧对应的全景图像数据显示第一关键帧对应的画面。

在本申请实施例中,控制设备可以获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备;然后获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成;再从全景影像数据中提取预览姿态数据和全景图像数据;最后根据预览姿态数据播放全景图像数据对应的视频。从而实现在播放全景图像数据对应的视频时能够以用户的预览角度来播放视频。

请参阅图8,图8是本申请实施例提供的数据处理装置的结构示意图。该数据处理装置600可以包括:

采集模块610,用于采集全景图像数据。

接收模块620,用于接收控制设备发送的预览姿态数据。

关联模块630,用于将相同时间的全景图像数据和预览姿态数据相关联,生成全景影像数据。

关联模块630,还用于将相同时间的初始全景图像数据和预览姿态数据相关联,生成关联文件;

将关联文件设置在全景图像数据的尾部,生成全景影像数据。

数据发送模块640,用于将全景影像数据发送给控制设备。

在本申请实施例中,录制设备通过采集全景图像数据,然后接收控制设备发送的预览姿态数据,再将相同时间的全景图像数据和预览姿态数据相关联,生成全景影像数据,最后将全景影像数据发送给控制设备。从而实现了将用户的预览姿态数据和初始全景图像数据相关联。

相应的,本申请实施例还提供一种电子设备,如图9所示,该电子设备可以包括有一个或一个以上计算机可读存储介质的存储器701、输入单元702、显示单元703、传感器704、包括有一个或者一个以上处理核心的处理器705、以及电源706等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

存储器701可用于存储软件程序以及模块,处理器705通过运行存储在存储器701的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器701可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器701可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器701还可以包括存储器控制器,以提供处理器705和输入单元702对存储器701的访问。

输入单元702可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元702可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器705,并能接收处理器705发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面,输入单元702还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元703可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元703可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid CrystalDisplay)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器705以确定触摸事件的类型,随后处理器705根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图9中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。

电子设备还可包括至少一种传感器704,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在电子设备移动到耳边时,关闭显示面板和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。

处理器705是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器701内的软件程序和/或模块,以及调用存储在存储器701内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器705可包括一个或多个处理核心;优选的,处理器705可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器705中。

电子设备还包括给各个部件供电的电源706(比如电池),优选的,电源可以通过电源管理系统与处理器705逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源706还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出,电子设备还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备中的处理器705会加载存储器701上存储的计算机程序,处理器705通过加载计算机程序,从而实现各种功能:

获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备;

获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成;

从全景影像数据中提取预览姿态数据和全景图像数据;

根据预览姿态数据播放全景图像数据对应的视频。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种视频处理方法中的步骤。例如,该指令可以执行如下步骤:

获取用户预览全景画面时对应的预览姿态数据,并将预览姿态数据发送给录制设备;

获取录制设备发送的全景影像数据,全景影像数据由录制设备根据录制的全景图像数据和预览姿态数据生成;

从全景影像数据中提取预览姿态数据和全景图像数据;

根据预览姿态数据播放全景图像数据对应的视频。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种视频处理方法中的步骤,因此,可以实现本申请实施例所提供的任一种视频处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上对本申请实施例所提供的一种视频处理方法、装置、电子设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 视频处理方法、装置、电子设备及存储介质
  • 视频处理方法、装置、电子设备及存储介质
  • 视频处理方法、装置、电子设备及存储介质
  • 视频处理方法、装置、电子设备以及存储介质
  • 视频处理方法、装置、电子设备及存储介质
  • 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质
  • 视频处理方法、视频处理装置、电子设备和存储介质
技术分类

06120116485122