掌桥专利:专业的专利平台
掌桥专利
首页

基于人工智能和物联网交互的数据处理方法、系统及平台

文献发布时间:2023-06-19 10:22:47


基于人工智能和物联网交互的数据处理方法、系统及平台

技术领域

本发明涉及物联网技术领域,具体而言,涉及一种基于人工智能和物联网交互的数据处理方法、系统及平台。

背景技术

随着物联网技术的快速发展,物联网在担任着越来越重要的角色,虚拟现实技术是如今最受关注的前沿科技之一,正在飞速发展着,现在包括虚拟现实硬件设备以及虚拟现实内容应用的各类虚拟现实产品已经逐渐进入了消费市场。例如,在进行物联网交互过程中的虚拟现实体验过程中,通常会预先绘制各个视频播放贴图(例如人机交互终端、安防终端、移动应用终端)的贴图绘制流,进而便于后续的动态虚拟体验。

在传统方案中,通常并未考虑到不同互动物联网形式的差异,从而容易造成绘制过程中出现绘制冲突的情况,并且在绘制过程中,不同的视频播放贴图之间可能会存在一些叠加绘制效果,这些叠加绘制效果可以进一步丰富物联网的体验形式,例如针对相同功能形式的多个物联网设备而言,可以帮助用户进一步体验物联网的实时交互过程。然而,目前缺少针对单独的每个关联的视频播放贴图的绘制结果独立处理方案,导致在实际虚拟现实体验过程中无法针对性地以关联的视频播放贴图为独立体验目标进行后续的动态虚拟体验。

发明内容

为了至少克服现有技术中的上述不足,本发明的目的在于提供一种基于人工智能和物联网交互的数据处理方法、系统及平台,通过基于预定的互动物联网形式对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,从而考虑到不同互动物联网形式的差异,改善绘制过程中出现绘制冲突的情况,此外通过针对单独的每个关联的视频播放贴图进行沉浸式叠加绘制后生成的绘制结果进行独立处理,可以在实际虚拟现实体验过程中针对性地以关联的视频播放贴图为独立体验目标进行后续的动态虚拟体验。

第一方面,本发明提供一种基于人工智能和物联网交互的数据处理方法,应用于云计算平台,所述云计算平台与多个人机交互设备端通信连接,所述方法包括:

从每个人机交互设备端中获取候选物联网互动场景在每个绘制分层组件的绘制像素片段下的虚拟现实三维贴图,并按照预定的互动物联网形式对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,分别生成每个互动物联网形式的贴图划分序列;

针对每个互动物联网形式,获取该互动物联网形式的贴图划分序列中每个视频播放贴图对应的贴图绘制流,并将每个视频播放贴图对应的贴图绘制流进行虚拟现实绘制;

在虚拟现实绘制过程中判断是否存在用于表示视频播放贴图存在绘制叠加的绘制叠加信息,并在检测到所述绘制叠加信息时,提取虚拟现实绘制的所述绘制叠加信息对应的第一视频播放贴图的第一贴图绘制流以及与所述第一视频播放贴图存在绘制叠加关系的至少一个第二视频播放贴图的第二贴图绘制流;

根据预设人工智能模型确定所述第一视频播放贴图和所述至少一个第二视频播放贴图之间的完整虚拟现实绘制信息。

在第一方面的一种可能的实现方式中,所述获取该互动物联网形式的贴图划分序列中每个视频播放贴图对应的贴图绘制流的步骤,包括:

判断是否与每个视频播放贴图已建立物联网互动关系;其中,所述物联网互动关系用于对视频播放贴图所对应的贴图绘制流的绘制业务进行设定,每个视频播放贴图对应一个物联网互动关系,不同物联网互动关系的互动方式不同;

若未与每个视频播放贴图关联对应的物联网互动关系,获取每个视频播放贴图的贴图绘制源信息;其中,所述贴图绘制源信息包括所述视频播放贴图的对应的贴图源标签,所述贴图源标签是所述视频播放贴图所生成贴图绘制流所对应的贴图源标签;

根据每个贴图绘制源信息对应的顶点映射字符对每个贴图绘制源信息进行解析识别,得到每个贴图绘制源信息对应的至少多个顶点映射分区,并从每个贴图绘制源信息对应的顶点映射分区中确定出存在位移变换信息的目标顶点映射分区;其中,所述位移变换信息是表征顶点映射分区对贴图源标签对应的顶点映射分区的位移变换节点;

根据每个视频播放贴图对应的目标顶点映射分区中的深度贴图与每个视频播放贴图关联对应的物联网互动关系,其中,所述物联网互动关系根据所述目标顶点映射分区中的深度贴图中的每个深度虚拟摄像机所对应的物联网互动关系确定;

根据所述每个视频播放贴图关联对应的物联网互动关系,从预先配置的贴图绘制流库中获取每个视频播放贴图对应的贴图绘制流,其中,所述贴图绘制流库包括每个视频播放贴图在不同物联网互动关系下的贴图绘制流。

在第一方面的一种可能的实现方式中,所述根据预设人工智能模型确定所述第一视频播放贴图和所述至少一个第二视频播放贴图之间的完整虚拟现实绘制信息的步骤,包括:

将所述第一贴图绘制流和所述第二贴图绘制流添加到预设的沉浸式叠加绘制队列,并基于所述沉浸式叠加绘制队列建立所述第一贴图绘制流的多个第一沉浸式叠加绘制参数以及所述第二贴图绘制流的多个第二沉浸式叠加绘制参数;

根据每个第一沉浸式叠加绘制参数确定所述第一视频播放贴图的第一透镜扭曲信息,并根据每个第二沉浸式叠加绘制参数确定所述第二视频播放贴图的第二透镜扭曲信息,而后将所述第一透镜扭曲信息和所述第二透镜扭曲信息映射至预设投射矩阵,得到所述第一透镜扭曲信息对应的第一视场角度重绘制流以及所述第二透镜扭曲信息对应的第二视场角度重绘制流,并确定所述预设投射矩阵中的多个虚拟成像画面,对所述多个虚拟成像画面进行汇总得到至少多个不同类别的虚拟成像序列,针对每个虚拟成像序列,在预设的虚拟现实绘制进程中绘制所述虚拟成像序列中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流;

根据所述虚拟成像序列中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的绘制结果按照渲染顺序进行拼接生成的模拟绘制流,根据预设人工智能模型对所述拼接生成的模拟绘制流进行还原,确定所述第一视频播放贴图和所述至少一个第二视频播放贴图之间的完整虚拟现实绘制信息。

在第一方面的一种可能的实现方式中,所述将所述第一贴图绘制流和所述第二贴图绘制流添加到预设的沉浸式叠加绘制队列的步骤,包括:

确定所述沉浸式叠加绘制队列的叠加绘制配置信息;其中,所述叠加绘制配置信息用于表征所述沉浸式叠加绘制队列对先后添加到的贴图绘制流进行处理时所分配的沉浸式叠加绘制单元,所述沉浸式叠加绘制单元用于表征所述沉浸式叠加绘制队列对添加到的贴图绘制流进行绘制时的绘制特征节点信息;

基于所述叠加绘制配置信息,确定将所述第一贴图绘制流添加到所述沉浸式叠加绘制队列所对应的第一绘制特征节点信息以及将所述第二贴图绘制流添加到所述沉浸式叠加绘制队列所对应的第二绘制特征节点信息;

根据所述第一绘制特征节点信息和所述第二绘制特征节点信息确定在将所述第一贴图绘制流和所述第二贴图绘制流添加到所述沉浸式叠加绘制队列时是否存在绘制叠加;其中,所述绘制叠加用于表征所述沉浸式叠加绘制队列的绘制存在叠加同步行为;

若否,则对所述第二绘制特征节点信息进行调整得到第三绘制特征节点信息,并基于所述第一绘制特征节点信息和所述第三绘制特征节点信息将所述第一贴图绘制流和所述第二贴图绘制流添加到所述沉浸式叠加绘制队列,其中,所述第三绘制特征节点信息与所述第二绘制特征节点信息之间的特征差距与所述第一绘制特征节点信息和所述第二绘制特征节点信息之间的特征差距匹配;

若是,则持续采用所述第一绘制特征节点信息和所述第二绘制特征节点信息将所述第一贴图绘制流和所述第二贴图绘制流添加到所述沉浸式叠加绘制队列。

在第一方面的一种可能的实现方式中,基于所述沉浸式叠加绘制队列建立所述第一贴图绘制流的多个第一沉浸式叠加绘制参数以及所述第二贴图绘制流的多个第二沉浸式叠加绘制参数的步骤,包括:

基于所述沉浸式叠加绘制队列确定所述第一贴图绘制流的第一绘制节点序列以及所述第二贴图绘制流的第二绘制节点序列;其中,所述绘制节点序列用于表征贴图绘制流在不同绘制节点下的绘制互动关系;

分别根据所述第一绘制节点序列以及所述第二绘制节点序列在所述沉浸式叠加绘制队列中建立所述第一贴图绘制流的多个第一沉浸式叠加绘制参数以及所述第二贴图绘制流的多个第二沉浸式叠加绘制参数。

在第一方面的一种可能的实现方式中,所述根据每个第一沉浸式叠加绘制参数确定所述第一视频播放贴图的第一透镜扭曲信息,并根据每个第二沉浸式叠加绘制参数确定所述第二视频播放贴图的第二透镜扭曲信息的步骤,包括:

根据每个第一沉浸式叠加绘制参数中的多个绘制节点以及每相邻两个绘制节点之间的绘制模型碰撞参数确定每个第一沉浸式叠加绘制参数对应的绘制节点时序轴;

基于所述绘制节点时序轴确定所述第一视频播放贴图的第一透镜扭曲信息;其中,所述第一沉浸式叠加绘制参数中的每个绘制节点对应设置有绘制模型碰撞循环参数,所述绘制模型碰撞循环参数与任意一个绘制节点的绘制模型碰撞循环参数之间的匹配参数作为对应的绘制模型碰撞参数,所述绘制模型碰撞循环参数根据所述绘制节点在所述第一沉浸式叠加绘制参数中的绘制轨道确定;

将每个第二沉浸式叠加绘制参数的绘制节点和绘制节点对应的绘制模型碰撞循环参数列出,得到每个第二沉浸式叠加绘制参数对应的第一投射绘制对象和第二投射绘制对象;其中,所述第一投射绘制对象为第二沉浸式叠加绘制参数的绘制节点对应的投射绘制对象,所述第二投射绘制对象为第二沉浸式叠加绘制参数的绘制模型碰撞循环参数对应的投射绘制对象;

确定所述第一投射绘制对象相对于所述第二投射绘制对象的第一三维空间关系以及所述第二投射绘制对象相对于所述第二投射绘制对象的第二三维空间关系;

获取所述第一三维空间关系和所述第二三维空间关系中具有相同的空间点连续性的至少三个目标三维位置,并根据所述目标三维位置确定出所述第二沉浸式叠加绘制参数的第二透镜扭曲信息;其中,所述空间点连续性用于表征每两个三维位置之间的绘制模型碰撞循环关系。

在第一方面的一种可能的实现方式中,所述对所述多个虚拟成像画面进行汇总得到至少多个不同类别的虚拟成像序列的步骤,包括:

确定所述预设投射矩阵中的每个虚拟成像画面对应的视场角度重绘制流的数量;

确定每个虚拟成像画面对应的视场角度重绘制流的类别绘制区间;其中,所述类别绘制区间为每个虚拟成像画面对应的视场角度重绘制流中第一视场角度重绘制流与第二视场角度重绘制流的重合比例;

确定每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的矢量立体绘制信息;其中,所述矢量立体绘制信息通过对第一视场角度重绘制流和第二视场角度重绘制流对应设定数量个视场角度重绘制画面进行矢量角度特征值计算得到;

根据每个虚拟成像画面对应的视场角度重绘制流的数量、类别绘制区间和矢量立体绘制信息确定每个虚拟成像画面的帧特征序列;

基于每个虚拟成像画面的帧特征序列对每个虚拟成像画面进行汇总,得到所述至少多个不同类别的虚拟成像序列。

在第一方面的一种可能的实现方式中,所述在预设的虚拟现实绘制进程中绘制所述虚拟成像序列中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的步骤,包括:

确定每个虚拟成像序列中每个虚拟成像画面对应的帧特征序列的叠加绘制配置信息;

根据所述叠加绘制配置信息确定每个汇总中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的沉浸式叠加绘制误差;其中,所述沉浸式叠加绘制误差用于表征每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的绘制误差情况;

判断每个沉浸式叠加绘制误差与所述虚拟现实绘制进程对应的基准绘制误差的差值是否在预设差值区间内;其中,所述预设差值区间用于表征虚拟现实绘制进程处于正常运行时每个沉浸式叠加绘制误差所处的区间;

在每个沉浸式叠加绘制误差与所述虚拟现实绘制进程对应的基准同步系数的差值均落入所述预设差值区间时,基于所述虚拟现实绘制进程运行所述虚拟成像序列中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流;

否则,根据所述虚拟现实绘制进程的线程脚本对未落入所述预设差值区间内的差值对应的沉浸式叠加绘制误差对应的叠加绘制配置信息进行修正,并返回根据所述叠加绘制配置信息确定每个汇总中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的沉浸式叠加绘制误差的步骤。

第二方面,本发明实施例还提供一种基于人工智能和物联网交互的数据处理装置,应用于云计算平台,所述云计算平台与多个人机交互设备端通信连接,所述装置包括:

获取模块,用于从每个人机交互设备端中获取候选物联网互动场景在每个绘制分层组件的绘制像素片段下的虚拟现实三维贴图,并按照预定的互动物联网形式对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,分别生成每个互动物联网形式的贴图划分序列;

绘制模块,用于针对每个互动物联网形式,获取该互动物联网形式的贴图划分序列中每个视频播放贴图对应的贴图绘制流,并将每个视频播放贴图对应的贴图绘制流进行虚拟现实绘制;

提取模块,用于在虚拟现实绘制过程中判断是否存在用于表示视频播放贴图存在绘制叠加的绘制叠加信息,并在检测到所述绘制叠加信息时,提取虚拟现实绘制的所述绘制叠加信息对应的第一视频播放贴图的第一贴图绘制流以及与所述第一视频播放贴图存在绘制叠加关系的至少一个第二视频播放贴图的第二贴图绘制流;

确定模块,用于根据预设人工智能模型确定所述第一视频播放贴图和所述至少一个第二视频播放贴图之间的完整虚拟现实绘制信息。

第三方面,本发明实施例还提供一种基于人工智能和物联网交互的数据处理系统,所述基于人工智能和物联网交互的数据处理系统包括云计算平台以及与所述云计算平台通信连接的多个人机交互设备端;

所述人机交互设备端,用于向所述云计算平台发送候选物联网互动场景在每个绘制分层组件的绘制像素片段下的虚拟现实三维贴图

所述云计算平台,用于从每个人机交互设备端中获取候选物联网互动场景在每个绘制分层组件的绘制像素片段下的虚拟现实三维贴图,并按照预定的互动物联网形式对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,分别生成每个互动物联网形式的贴图划分序列;

所述云计算平台,用于针对每个互动物联网形式,获取该互动物联网形式的贴图划分序列中每个视频播放贴图对应的贴图绘制流,并将每个视频播放贴图对应的贴图绘制流进行虚拟现实绘制;

所述云计算平台,用于在虚拟现实绘制过程中判断是否存在用于表示视频播放贴图存在绘制叠加的绘制叠加信息,并在检测到所述绘制叠加信息时,提取虚拟现实绘制的所述绘制叠加信息对应的第一视频播放贴图的第一贴图绘制流以及与所述第一视频播放贴图存在绘制叠加关系的至少一个第二视频播放贴图的第二贴图绘制流;

所述云计算平台,用于根据预设人工智能模型确定所述第一视频播放贴图和所述至少一个第二视频播放贴图之间的完整虚拟现实绘制信息。

第四方面,本发明实施例还提供一种云计算平台,所述云计算平台包括处理器、机器可读存储介质和网络接口,所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连,所述网络接口用于与至少一个人机交互设备端通信连接,所述机器可读存储介质用于存储程序、指令或代码,所述处理器用于执行所述机器可读存储介质中的程序、指令或代码,以执行第一方面或者第一方面中任意一个可能的设计中的基于人工智能和物联网交互的数据处理方法。

第五方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其被执行时,使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的基于人工智能和物联网交互的数据处理方法。

基于上述任意一个方面,本发明通过基于预定的互动物联网形式对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,从而考虑到不同互动物联网形式的差异,改善绘制过程中出现绘制冲突的情况,此外通过针对单独的每个关联的视频播放贴图进行沉浸式叠加绘制后生成的绘制结果进行独立处理,可以在实际虚拟现实体验过程中针对性地以关联的视频播放贴图为独立体验目标进行后续的动态虚拟体验。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。

图1为本发明实施例提供的基于人工智能和物联网交互的数据处理系统的应用场景示意图;

图2为本发明实施例提供的基于人工智能和物联网交互的数据处理方法的流程示意图;

图3为本发明实施例提供的基于人工智能和物联网交互的数据处理装置的功能模块示意图;

图4为本发明实施例提供的用于实现上述的基于人工智能和物联网交互的数据处理方法的云计算平台的结构组件示意框图。

具体实施方式

下面结合说明书附图对本发明进行具体说明,方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。

图1是本发明一种实施例提供的基于人工智能和物联网交互的数据处理系统10的交互示意图。基于人工智能和物联网交互的数据处理系统10可以包括云计算平台100以及与云计算平台100通信连接的人机交互设备端200。图1所示的基于人工智能和物联网交互的数据处理系统10仅为一种可行的示例,在其它可行的实施例中,该基于人工智能和物联网交互的数据处理系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。

本实施例中,人机交互设备端200可以包括移动设备、平板计算机、膝上型计算机等或其任意组合。在一些实施例中,移动设备可以包括物联网设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等,或其任意组合。在一些实施例中,物联网设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机等,或其任意组合。在一些实施例中,可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等,或其任何组合。在一些实施例中,智能移动设备可以包括智能手机、个人数字助理、游戏设备等,或其任意组合。在一些实施例中,虚拟现实设备和增强现实设备可以包括虚拟现实头盔、虚拟现实玻璃、虚拟现实贴片、增强现实头盔、增强现实玻璃、或增强现实贴片等,或其任意组合。例如,虚拟现实设备和增强现实设备可以包括各种虚拟现实产品等。

本实施例中,基于人工智能和物联网交互的数据处理系统10中的云计算平台100和人机交互设备端200可以通过配合执行以下方法实施例所描述的基于人工智能和物联网交互的数据处理方法,具体云计算平台100和人机交互设备端200的执行步骤部分可以参照以下方法实施例的详细描述。

本实施例中,本实施例中,上述的基于人工智能和物联网交互的数据处理系统10可以在各种应用场景下实现,例如区块链应用场景、智能家居应用场景、智能控制应用场景等。

为了解决前述背景技术中的技术问题,图2为本发明实施例提供的基于人工智能和物联网交互的数据处理方法的流程示意图,本实施例提供的基于人工智能和物联网交互的数据处理方法可以由图1中所示的云计算平台100执行,下面对该基于人工智能和物联网交互的数据处理方法进行详细介绍。

步骤S110,从每个人机交互设备端200中获取候选物联网互动场景在每个绘制分层组件的绘制像素片段下的虚拟现实三维贴图,并按照预定的互动物联网形式对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,分别生成每个互动物联网形式的贴图划分序列。

其中,绘制分层组件可以是指对于一个渲染场景而言,通常会包括多个绘制层,例如实景层、菜单选项层等,每个绘制层可以分别由相对应的绘制分层组件继续控制执行。

其中,虚拟现实三维贴图可以用于表示候选物联网互动场景在每个绘制分层组件的绘制像素片段下的具体展示的实体绘制模型。例如,可以利用三维动画软件(比如3dsMax、Maya或Houdini)在计算机中建立一个虚拟的世界。然后,在这个虚拟的三维世界中添加场景和三维卡通角色等三维模型。最后,设定模型的动画曲线、虚拟摄影机的运动轨迹和其它动画参数,渲染得到动态贴图,然后收集这些动态贴图从而便于后续虚拟现实绘制过程中的调取。

本实施例中,预定的互动物联网形式可以根据实际设计需求进行灵活选择,例如办公协同物联网形式、商场体验互联网形式等,在此不作详细限定。

步骤S120,针对每个互动物联网形式,获取该互动物联网形式的贴图划分序列中每个视频播放贴图对应的贴图绘制流,并将每个视频播放贴图对应的贴图绘制流进行虚拟现实绘制。

步骤S130,在虚拟现实绘制过程中判断是否存在用于表示视频播放贴图存在绘制叠加的绘制叠加信息,并在检测到绘制叠加信息时,提取虚拟现实绘制的绘制叠加信息对应的第一视频播放贴图的第一贴图绘制流以及与第一视频播放贴图存在绘制叠加关系的至少一个第二视频播放贴图的第二贴图绘制流。

步骤S140,根据预设人工智能模型确定第一视频播放贴图和至少一个第二视频播放贴图之间的完整虚拟现实绘制信息。

基于上述步骤,本实施例通过基于预定的互动物联网形式对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,从而考虑到不同互动物联网形式的差异,改善绘制过程中出现绘制冲突的情况,此外通过结合候选物联网互动场景的绘制数据类型信息和模拟绘制流信息,以对比二者绘制单位空间的绘制状态序列后在绘制像素片段的每个相应的绘制单位空间下分别对候选物联网互动场景中的各个模型资源进行绘制,可以便于基于前面模拟时的模拟绘制情况针对一些重要的绘制单位空间进行快速绘制,提高绘制效率,减少用户的等待时间。

在一种可能的实现方式中,针对步骤S110,为了提高划分的精确度,并且减少冗余信息以提高互动方式划分准确度,本实施例可以获取每个预定的互动物联网形式所对应的互动物联网素材,形成每个预定的互动物联网形式的互动物联网素材序列,并获取各个绘制像素片段的每个目标互动物联网素材与互动物联网素材序列的互动物联网素材的关联互动物联网素材信息。

在此基础上,可以根据目标互动物联网素材与互动物联网素材序列的互动物联网素材的关联互动物联网素材信息,计算每种目标互动物联网形式的关键互动物联网素材的集合区间,并根据每种目标互动物联网形式的关键互动物联网素材的集合区间,从互动物联网素材序列中选取互动物联网素材,得到初始互动物联网素材分布空间。

在一种可能的示例中,若初始互动物联网素材分布空间的总素材分布集合区间大于总素材分布集合区间要求的最大总素材分布集合区间,则将初始互动物联网素材分布空间中的第一关键互动物联网素材分散到第一分布集合区间,并且将初始互动物联网素材分布空间中的第二关键互动物联网素材聚集到第一分布集合区间。

其中,值得说明的是,第二关键互动物联网素材可以是指关键互动物联网素材在所在的物联网分区的单位密集程度小于设定程度的关键互动物联网素材,第一关键互动物联网素材可以是指关键互动物联网素材在所在的物联网分区的单位密集程度不小于设定程度的关键互动物联网素材,第一分布集合区间可根据实际需求进行设定,但是第一分部集合区间不应当与总素材分布集合区间要求的最大总素材分布集合区间相差过大。

然后,计算本次调整后的初始互动物联网素材分布空间的总素材分布集合区间,若本次调整后的初始互动物联网素材分布空间的总素材分布集合区间大于最大总素材分布集合区间,则再一次对本次调整后的初始互动物联网素材分布空间执行以上处理。

再例如,若本次调整后的初始互动物联网素材分布空间的总素材分布集合区间小于或者等于最大总素材分布集合区间,则可以将本次调整前的初始互动物联网素材分布空间作为第一调整分布空间,按照互动物联网形式由低优先级到高优先级的顺序将各目标互动物联网形式进行排序,得到目标互动物联网形式序列。

在此基础上,可以根据目标互动物联网形式序列对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,分别生成每个互动物联网形式的贴图划分序列。

例如详细地,可以根据目标互动物联网形式序列,将各目标互动物联网形式进行聚类,每个聚类中包括与目标互动物联网形式序列的互动范围相关的、且与互动范围的范围差异一致的第一互动物联网形式和第二互动物联网形式,第一互动物联网形式的优先级小于第二互动物联网形式。

然后,按照与互动范围的范围差异由低优先级到高优先级的顺序,依次将每个聚类作为目标聚类,对目标聚类进行以下第二调整处理: 将第一调整分布空间中目标聚类的第一互动物联网形式的关键互动物联网素材增加设定数目,并且将第一调整分布空间中目标聚类的第二互动物联网形式的关键互动物联网素材减少设定数目。

在此基础上,可以判断本次调整后的第一调整分布空间的总素材分布集合区间是否大于总素材分布集合区间要求,若本次调整后的第一调整分布空间的总素材分布集合区间大于总素材分布集合区间要求,则将本次调整后的第一调整分布空间作为最终互动物联网素材分布空间。若本次调整后的第一调整分布空间的总素材分布集合区间不大于总素材分布集合区间要求,则将下一个聚类作为新的目标聚类,对新的目标聚类进行第二调整处理。

又例如,若初始互动物联网素材分布空间的总素材分布集合区间小于大于总素材分布集合区间要求的最小总素材分布集合区间,则对初始互动物联网素材分布空间进行以下第三调整处理: 将初始互动物联网素材分布空间中的第一关键互动物联网素材增加第一分布集合区间,并且将初始互动物联网素材分布空间中的第二关键互动物联网素材减少第一分布集合区间。

在此基础上,计算本次调整后的初始互动物联网素材分布空间的总素材分布集合区间,若本次调整后的初始互动物联网素材分布空间的总素材分布集合区间小于最小总素材分布集合区间,则再一次对本次调整后的初始互动物联网素材分布空间执行第三调整处理。或者,若本次调整后的初始互动物联网素材分布空间的总素材分布集合区间大于或者等于最小总素材分布集合区间,则将本次调整前的初始互动物联网素材分布空间作为第二调整分布空间,按照互动物联网形式由低优先级到高优先级的顺序将各目标互动物联网形式进行排序,得到目标互动物联网形式序列。

由此,可以根据目标互动物联网形式序列,将各目标互动物联网形式进行聚类,每个聚类中包括在目标互动物联网形式序列的互动范围关联的、且与互动范围的范围差异一致的第一互动物联网形式和第二互动物联网形式,第一互动物联网形式的优先级小于第二互动物联网形式。

然后,按照与互动范围的范围差异由低优先级到高优先级的顺序,依次将每个聚类作为目标聚类,对目标聚类进行以下第四调整处理:将第二调整分布空间中目标聚类的第一互动物联网形式的关键互动物联网素材减少设定数目,并且将第二调整分布空间中目标聚类的第二互动物联网形式的关键互动物联网素材增加设定数目。

进一步地,本实施例可以判断本次调整后的第二调整分布空间的总素材分布集合区间是否大于总素材分布集合区间要求,若本次调整后的第二调整分布空间的总素材分布集合区间大于总素材分布集合区间要求,则将本次调整后的第二调整分布空间作为最终互动物联网素材分布空间,若本次调整后的第二调整分布空间的总素材分布集合区间不大于总素材分布集合区间要求,则将下一个聚类作为新的目标聚类,对新的目标聚类进行第四调整处理。

由此,可以将各个目标互动物联网形式的最终互动物联网素材分布空间中的每个互动物联网素材的虚拟现实三维贴图分别归类为该互动物联网形式的贴图划分序列。

在一种可能的实现方式中,针对步骤S120,考虑一部分视频播放贴图可能是调整后增加的,因此对于步骤S120而言,还可以通过以下示例性的子步骤来实现,详细描述如下。

子步骤S121,判断是否与每个视频播放贴图已建立物联网互动关系。

本实施例中,物联网互动关系可以用于对视频播放贴图所对应的贴图绘制流的绘制业务进行设定,每个视频播放贴图对应一个物联网互动关系,不同物联网互动关系的互动方式不同。

子步骤S122,若未与每个视频播放贴图关联对应的物联网互动关系,获取每个视频播放贴图的贴图绘制源信息。

本实施例中,贴图绘制源信息包括视频播放贴图的对应的贴图源标签,贴图源标签是视频播放贴图所生成贴图绘制流所对应的贴图源标签。

子步骤S123,根据每个贴图绘制源信息对应的顶点映射字符对每个贴图绘制源信息进行解析识别,得到每个贴图绘制源信息对应的至少多个顶点映射分区,并从每个贴图绘制源信息对应的顶点映射分区中确定出存在位移变换信息的目标顶点映射分区。

本实施例中,位移变换信息是表征顶点映射分区对贴图源标签对应的顶点映射分区的位移变换节点。

子步骤S124,根据每个视频播放贴图对应的目标顶点映射分区中的深度贴图与每个视频播放贴图关联对应的物联网互动关系。

本实施例中,物联网互动关系根据目标顶点映射分区中的深度贴图中的每个深度虚拟摄像机所对应的物联网互动关系确定。

子步骤S125,根据每个视频播放贴图关联对应的物联网互动关系,从预先配置的贴图绘制流库中获取每个视频播放贴图对应的贴图绘制流。

本实施例中,贴图绘制流库包括每个视频播放贴图在不同物联网互动关系下的贴图绘制流。

在一种可能的实现方式中,针对步骤S130,本实施例在提取虚拟现实绘制的绘制叠加信息对应的第一视频播放贴图的第一贴图绘制流以及与第一视频播放贴图存在绘制叠加关系的至少一个第二视频播放贴图的第二贴图绘制流的过程中,可以从虚拟现实绘制过程中产生的虚拟现实绘制记录信息中提取虚拟现实绘制的绘制叠加信息对应的第一视频播放贴图的第一贴图绘制流以及与第一视频播放贴图存在绘制叠加关系的至少一个第二视频播放贴图的第二贴图绘制流。其中,与第一视频播放贴图存在绘制叠加关系的至少一个第二视频播放贴图可以是指与第一视频播放贴图存在相关联的联动效应的第二视频播放贴图。

例如,如果某个视频播放贴图需要在第一视频播放贴图绘制的过程中叠加绘制,那么该视频播放贴图可以理解为与第一视频播放贴图存在绘制叠加关系的第二视频播放贴图。

在一种可能的实现方式中,针对步骤S140,可以通过以下示例性的子步骤实现,详细描述如下。

子步骤S141,将第一贴图绘制流和第二贴图绘制流添加到预设的沉浸式叠加绘制队列,并基于沉浸式叠加绘制队列建立第一贴图绘制流的多个第一沉浸式叠加绘制参数以及第二贴图绘制流的多个第二沉浸式叠加绘制参数。

子步骤S142,根据每个第一沉浸式叠加绘制参数确定第一视频播放贴图的第一透镜扭曲信息,并根据每个第二沉浸式叠加绘制参数确定第二视频播放贴图的第二透镜扭曲信息,而后将第一透镜扭曲信息和第二透镜扭曲信息映射至预设投射矩阵,得到第一透镜扭曲信息对应的第一视场角度重绘制流以及第二透镜扭曲信息对应的第二视场角度重绘制流,并确定预设投射矩阵中的多个虚拟成像画面,对多个虚拟成像画面进行汇总得到至少多个不同类别的虚拟成像序列,针对每个虚拟成像序列,在预设的虚拟现实绘制进程中绘制虚拟成像序列中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流。

子步骤S143,根据虚拟成像序列中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的绘制结果按照渲染顺序进行拼接生成的模拟绘制流,根据预设人工智能模型对拼接生成的模拟绘制流进行还原,确定第一视频播放贴图和至少一个第二视频播放贴图之间的完整虚拟现实绘制信息。

如此,可以在实际虚拟现实体验过程中针对性地以关联的视频播放贴图为独立体验目标进行后续的动态虚拟体验。

示例性地,在子步骤S141中,可以通过以下详细的实施方式实现,例如可以描述如下。

(1)确定沉浸式叠加绘制队列的叠加绘制配置信息。

本实施例中,叠加绘制配置信息用于表征沉浸式叠加绘制队列对先后添加到的贴图绘制流进行处理时所分配的沉浸式叠加绘制单元,沉浸式叠加绘制单元用于表征沉浸式叠加绘制队列对添加到的贴图绘制流进行绘制时的绘制特征节点信息。

(2)基于叠加绘制配置信息,确定将第一贴图绘制流添加到沉浸式叠加绘制队列所对应的第一绘制特征节点信息以及将第二贴图绘制流添加到沉浸式叠加绘制队列所对应的第二绘制特征节点信息。

(3)根据第一绘制特征节点信息和第二绘制特征节点信息确定在将第一贴图绘制流和第二贴图绘制流添加到沉浸式叠加绘制队列时是否存在绘制叠加。

本实施例中,绘制叠加可以用于表征沉浸式叠加绘制队列的绘制存在叠加同步行为。

(4)若确定在将第一贴图绘制流和第二贴图绘制流添加到沉浸式叠加绘制队列时不存在绘制叠加,则对第二绘制特征节点信息进行调整得到第三绘制特征节点信息,并基于第一绘制特征节点信息和第三绘制特征节点信息将第一贴图绘制流和第二贴图绘制流添加到沉浸式叠加绘制队列。

本实施例中,第三绘制特征节点信息与第二绘制特征节点信息之间的特征差距与第一绘制特征节点信息和第二绘制特征节点信息之间的特征差距匹配。

(5)若确定在将第一贴图绘制流和第二贴图绘制流添加到沉浸式叠加绘制队列时存在绘制叠加,则持续采用第一绘制特征节点信息和第二绘制特征节点信息将第一贴图绘制流和第二贴图绘制流添加到沉浸式叠加绘制队列。

在一种可能的实现方式中,仍旧在子步骤S141中,在基于沉浸式叠加绘制队列建立第一贴图绘制流的多个第一沉浸式叠加绘制参数以及第二贴图绘制流的多个第二沉浸式叠加绘制参数的过程中,可以通过以下详细的实施方式实现,例如可以描述如下。

(6)基于沉浸式叠加绘制队列确定第一贴图绘制流的第一绘制节点序列以及第二贴图绘制流的第二绘制节点序列。

其中,值得说明的是,绘制节点序列可以用于表征贴图绘制流在不同绘制节点下的绘制互动关系,例如可以表示过渡绘制互动关系、覆盖绘制互动关系、增加绘制互动关系等等,在此不作具体想定。

(7)分别根据第一绘制节点序列以及第二绘制节点序列在沉浸式叠加绘制队列中建立第一贴图绘制流的多个第一沉浸式叠加绘制参数以及第二贴图绘制流的多个第二沉浸式叠加绘制参数。

在一种可能的实现方式中,针对步骤S142,为了保证同步性和连贯性,便于后续观测,可以通过以下详细的实施方式实现,例如可以描述如下。

(1)根据每个第一沉浸式叠加绘制参数中的多个绘制节点以及每相邻两个绘制节点之间的绘制模型碰撞参数确定每个第一沉浸式叠加绘制参数对应的绘制节点时序轴

(2)基于绘制节点时序轴确定第一视频播放贴图的第一透镜扭曲信息。

其中,第一沉浸式叠加绘制参数中的每个绘制节点对应设置有绘制模型碰撞循环参数,绘制模型碰撞循环参数与任意一个绘制节点的绘制模型碰撞循环参数之间的匹配参数作为对应的绘制模型碰撞参数,绘制模型碰撞循环参数根据绘制节点在第一沉浸式叠加绘制参数中的绘制轨道确定。

(3)将每个第二沉浸式叠加绘制参数的绘制节点和绘制节点对应的绘制模型碰撞循环参数列出,得到每个第二沉浸式叠加绘制参数对应的第一投射绘制对象和第二投射绘制对象。

其中,示例性地,第一投射绘制对象可以为第二沉浸式叠加绘制参数的绘制节点对应的投射绘制对象,第二投射绘制对象可以为第二沉浸式叠加绘制参数的绘制模型碰撞循环参数对应的投射绘制对象。

(4)确定第一投射绘制对象相对于第二投射绘制对象的第一三维空间关系以及第二投射绘制对象相对于第二投射绘制对象的第二三维空间关系。

(5)获取第一三维空间关系和第二三维空间关系中具有相同的空间点连续性的至少三个目标三维位置,并根据目标三维位置确定出第二沉浸式叠加绘制参数的第二透镜扭曲信息。

其中,示例性地,空间点连续性用于表征每两个三维位置之间的绘制模型碰撞循环关系。

在一种可能的实现方式中,仍旧针对步骤S142,在对多个虚拟成像画面进行汇总得到至少多个不同类别的虚拟成像序列的过程中,可以通过以下详细的实施方式实现,例如可以描述如下。

(6)确定预设投射矩阵中的每个虚拟成像画面对应的视场角度重绘制流的数量。

(7)确定每个虚拟成像画面对应的视场角度重绘制流的类别绘制区间。

其中,类别绘制区间可以为每个虚拟成像画面对应的视场角度重绘制流中第一视场角度重绘制流与第二视场角度重绘制流的重合比例。

(8)确定每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的矢量立体绘制信息。

其中,矢量立体绘制信息可以通过对第一视场角度重绘制流和第二视场角度重绘制流对应设定数量个视场角度重绘制画面进行矢量角度特征值(例如灰度特征值、各个RGB颜色值的均值特征值等)计算得到。

(9)根据每个虚拟成像画面对应的视场角度重绘制流的数量、类别绘制区间和矢量立体绘制信息确定每个虚拟成像画面的帧特征序列(即以视场角度重绘制流的数量、类别绘制区间和矢量立体绘制信息为顺序形成的序列)。

(10)基于每个虚拟成像画面的帧特征序列对每个虚拟成像画面进行汇总,得到至少多个不同类别的虚拟成像序列。

例如,可以把帧特征序列中的各个特征参数存在至少一个相同特征参数的虚拟成像画面汇总到该相同特征参数所对应的类别的虚拟成像序列,从而到至少多个不同类别的虚拟成像序列。

在一种可能的实现方式中,仍旧针对步骤S142,在预设的虚拟现实绘制进程中绘制虚拟成像序列中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的过程中,可以通过以下详细的实施方式实现,例如可以描述如下。

(11)确定每个虚拟成像序列中每个虚拟成像画面对应的帧特征序列的叠加绘制配置信息。

(12)根据叠加绘制配置信息确定每个汇总中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的沉浸式叠加绘制误差。

其中,沉浸式叠加绘制误差可以用于表征每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的绘制误差情况。

(13)判断每个沉浸式叠加绘制误差与虚拟现实绘制进程对应的基准绘制误差的差值是否在预设差值区间内。

其中,预设差值区间可以用于表征虚拟现实绘制进程处于正常运行时每个沉浸式叠加绘制误差所处的区间。

(13)在每个沉浸式叠加绘制误差与虚拟现实绘制进程对应的基准同步系数的差值均落入预设差值区间时,可以基于虚拟现实绘制进程运行虚拟成像序列中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流。

(14)否则,在每个沉浸式叠加绘制误差与虚拟现实绘制进程对应的基准同步系数的差值均未落入预设差值区间时,可以根据虚拟现实绘制进程的线程脚本对未落入预设差值区间内的差值对应的沉浸式叠加绘制误差对应的叠加绘制配置信息进行修正,并返回根据叠加绘制配置信息确定每个汇总中的每个虚拟成像画面对应的第一视场角度重绘制流和第二视场角度重绘制流的沉浸式叠加绘制误差的步骤。

图3为本公开实施例提供的基于人工智能和物联网交互的数据处理装置300的功能模块示意图,本实施例可以根据上述云计算平台100执行的方法实施例对该基于人工智能和物联网交互的数据处理装置300进行功能模块的划分,也即该基于人工智能和物联网交互的数据处理装置300所对应的以下各个功能模块可以用于执行上述云计算平台100执行的各个方法实施例。其中,该基于人工智能和物联网交互的数据处理装置300可以包括获取模块310、绘制模块320、提取模块330以及确定模块340,下面分别对该基于人工智能和物联网交互的数据处理装置300的各个功能模块的功能进行详细阐述。

获取模块310,用于从每个人机交互设备端200中获取候选物联网互动场景在每个绘制分层组件的绘制像素片段下的虚拟现实三维贴图,并按照预定的互动物联网形式对各个绘制像素片段下的虚拟现实三维贴图进行互动方式划分,分别生成每个互动物联网形式的贴图划分序列。其中,获取模块310可以用于执行上述的步骤S110,关于获取模块310的详细实现方式可以参照上述针对步骤S110的详细描述即可。

绘制模块320,用于针对每个互动物联网形式,获取该互动物联网形式的贴图划分序列中每个视频播放贴图对应的贴图绘制流,并将每个视频播放贴图对应的贴图绘制流进行虚拟现实绘制。其中,绘制模块320可以用于执行上述的步骤S120,关于绘制模块320的详细实现方式可以参照上述针对步骤S120的详细描述即可。

提取模块330,用于在虚拟现实绘制过程中判断是否存在用于表示视频播放贴图存在绘制叠加的绘制叠加信息,并在检测到绘制叠加信息时,提取虚拟现实绘制的绘制叠加信息对应的第一视频播放贴图的第一贴图绘制流以及与第一视频播放贴图存在绘制叠加关系的至少一个第二视频播放贴图的第二贴图绘制流。其中,提取模块330可以用于执行上述的步骤S130,关于提取模块330的详细实现方式可以参照上述针对步骤S130的详细描述即可。

确定模块340,用于根据预设人工智能模型确定第一视频播放贴图和至少一个第二视频播放贴图之间的完整虚拟现实绘制信息。其中,确定模块340可以用于执行上述的步骤S140,关于确定模块340的详细实现方式可以参照上述针对步骤S140的详细描述即可。

需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现。也可以全部以硬件的形式实现。还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,获取模块310可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上获取模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所描述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。

图4示出了本公开实施例提供的用于实现上述的控制设备的云计算平台100的硬件结构示意图,如图4所示,云计算平台100可包括处理器110、机器可读存储介质120、总线130以及收发器140。

在具体实现过程中,至少一个处理器110执行机器可读存储介质120存储的计算机执行指令(例如图3中所示的基于人工智能和物联网交互的数据处理装置300包括的获取模块310、绘制模块320、提取模块330以及确定模块340),使得处理器110可以执行如上方法实施例的基于人工智能和物联网交互的数据处理方法,其中,处理器110、机器可读存储介质120以及收发器140通过总线130连接,处理器110可以用于控制收发器140的收发动作,从而可以与前述的人机交互设备端200进行数据收发。

处理器110的具体实现过程可参见上述云计算平台100执行的各个方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。

在上述的图4所示的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,DSP)、专用集成电路(英文:ApplicationSpecificIntegrated Circuit,ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

机器可读存储介质120可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。

总线130可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component Interconnect,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线130可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

此外,本公开实施例还提供一种可读存储介质,所述可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上基于人工智能和物联网交互的数据处理方法。

上述的可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

相关技术
  • 基于人工智能和物联网交互的数据处理方法、系统及平台
  • 基于人工智能和物联网交互的数据处理方法及云计算平台
技术分类

06120112527375