掌桥专利:专业的专利平台
掌桥专利
首页

信息处理方法、装置、电子设备、存储介质及程序产品

文献发布时间:2023-06-19 18:37:28


信息处理方法、装置、电子设备、存储介质及程序产品

技术领域

本申请涉及信息处理技术领域,具体而言,本申请涉及一种信息处理方法、装置、电子设备、存储介质及程序产品。

背景技术

近年来,XR(Extended Reality,扩展现实)产业的发展正逐渐步入沉浸式体验阶段,市场渗透率的不断提升,驱动XR技术朝着体验升级方向发展。

目前,XR设备仍延续了显示屏类电子设备的界面展示模式,即所有应用(Application,APP)的标识均采用平铺模式布局,导致布局对象数量有限,界面功能扩展性弱,影响用户体验。

发明内容

本申请实施例旨在能解决XR设备的界面布局体验感不强的问题。

根据本申请实施例的一个方面,提供了一种信息处理方法,该方法包括:

响应于切换至目标界面展示模式的指令,将应用标识转化为与目标界面展示模式对应的形态;

确定当前用户的用户位置信息;

基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围。

根据本申请实施例的另一个方面,提供了一种信息处理装置,该装置包括:

转化模块,用于响应于切换至目标界面展示模式的指令,将应用标识转化为与目标界面展示模式对应的形态;

确定模块,用于确定当前用户的用户位置信息;

展示模块,用于基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围。

根据本申请实施例的又一个方面,提供了一种电子设备,该电子设备包括:存储器、处理器及存储在存储器上的计算机程序,处理器执行计算机程序以实现本申请实施例提供的信息处理方法。

根据本申请实施例的再一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本申请实施例提供的信息处理方法。

根据本申请实施例的还一个方面,提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现本申请实施例提供的信息处理方法。

本申请实施例提供的信息处理方法、装置、电子设备、存储介质及程序产品,响应于切换至目标界面展示模式的指令,将应用标识转化为与目标界面展示模式对应的形态,并确定当前用户的用户位置信息,进而基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围,能够充分利用XR设备特有的显示空间,增大应用标识的布局容量,提高趣味性、沉浸感和自身存在感,增强用户使用体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的一种信息处理方法的流程示意图;

图2为本申请实施例提供的一种APP标识转化后的形态的示意图;

图3a为本申请实施例提供的一种呈环绕当前用户的圆柱面的示意图;

图3b为本申请实施例提供的一种呈环绕当前用户的棱柱面的示意图;

图4为本申请实施例提供的一种多层圆柱面的俯视示意图;

图5为本申请实施例提供的一种从平面界面展示模式切换到圆柱面界面展示模式的示意图;

图6为本申请实施例提供的一种弧形网格的示意图;

图7为本申请实施例提供的一种移动轨迹的示意图;

图8为本申请实施例提供的一种平面布局模式的示意图;

图9为本申请实施例提供的一种信息处理装置的结构示意图;

图10为本申请实施例提供的一种4电子设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解,下面结合附图所阐述的实施方式,是用于解释本申请实施例的技术方案的示例性描述,对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是,本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件,但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解,当我们称一个元件被“连接”或“耦接”到另一元件时,该一个元件可以直接连接或耦接到另一元件,也可以指该一个元件和另一元件通过中间元件建立连接关系。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个,例如“A和/或B”可以实现为“A”,或者实现为“B”,或者实现为“A和B”。

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

首先对本申请涉及的几个名词进行介绍和解释:

(1)AR(Augmented Reality,增强现实):将虚拟信息叠加到真实世界进行显示,即将现实场景和虚拟场景相结合。

(2)VR(Virtual Reality,虚拟现实):利用VR设备模拟一个完全虚拟的世界,通过佩戴VR设备进入到虚拟场景中。

(3)MR(Mixed Reality,混合现实):对AR和VR的融合,即将真实世界和虚拟世界混合在一起,产生新的可视化环境,同时包含现实物体和虚拟信息。

(4)XR:包括但不限于AR、VR和MR等,可以理解为三者的总称,例如VR设备也可称为XR设备。

目前XR设备的显示界面都采用平铺式布局,例如所有应用标识平铺于一个平面上,除了存在布局对象数量有限、界面功能扩展性不强等问题,还存在不便于选择应用,也无法让用户找到自身存在感等问题。

本申请提供的信息处理方法、装置、电子设备、存储介质及程序产品,旨在提供一种更符合XR设备的界面展示方式,使用户的使用体验更好。

下面通过对几个示例性实施方式的描述,对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是,下述实施方式之间可以相互参考、借鉴或结合,对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等,不再重复描述。

本申请实施例中提供了一种信息处理方法,如图1所示,该方法包括:

步骤S101:响应于切换至目标界面展示模式的指令,将应用标识转化为与目标界面展示模式对应的形态;

其中,界面展示模式是指将界面中的应用标识按照指定方式在桌面(Launcher)进行布局并展示的模式,也可称为界面布局模式,或简称为布局模式。目标界面展示模式是切换指令对应的界面展示模式。本申请实施例中,XR设备中可以部署一个或多个界面展示模式,可以根据相应的指令切换到任一界面展示模式。

具体而言,若XR设备中仅部署该一个目标界面展示模式,可以在XR设备开机、解锁、触发预定接口、或从某一APP切出等情况下触发切换至目标界面展示模式的指令。

若XR设备中可以部署包含该目标界面展示模式的多种界面展示模式,除了可以在以上情况触发切换至目标界面展示模式的指令,还可以是从其他界面展示模式切换到该目标界面展示模式,触发切换至目标界面展示模式的指令。

本申请实施例中,响应于切换至目标界面展示模式的指令,会对应用标识的形态进行转化,使其与目标界面展示模式更加匹配。

其中,应用是指XR设备中安装的需要进行展示的APP,应用标识是用于识别不同应用的标志。对于本申请实施例,应用标识可以特指应用的可视化标识,例如应用图标等,但不限于此。

应用标识的形态可以是指可视化标识的形状、形式和/或状态等,但不限于此。其中,不同的目标界面展示模式对应的应用标识形态可以是相同的也可以是不同的。若用户指示在两种界面展示模式之间切换,且切换前的原界面展示模式和切换后的目标界面展示模式对应的应用标识形态相同,也可以设置当前应用标识的形态不转换。实际应用中,本领域技术人员可以根据实际情况对每种界面展示模式对应的形态进行设置,本申请实施例在此不做限定。

步骤S102:确定当前用户的用户位置信息;

其中,根据不同的场景,用户位置信息可以是当前用户真实的位置信息,也可以是场景中虚拟的位置信息,还是当前用户的虚拟形象在场景中的位置信息等,本领域技术人员可以根据实际情况进行设置,本申请实施例在此不做限定。

本申请实施例中,将用户作为应用标识展示的基准,例如以当前用户的用户位置信息为中心,便可确定应用标识展示的位置。

需要说明的是,上述步骤S101和步骤S102中的步骤编号并不构成对两步骤先后顺序的限定,例如步骤S102也可以是响应于切换至目标界面展示模式的指令执行的。

步骤S103:基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围。

即本申请实施例中,应用标识的展示并不限于当前用户正前方的平面,还可以是当前用户多个方向的平面,甚至是四周的平面。进一步地,还可以不限于特定平面,可以是空间中的任意位置。

本申请实施例中,不同的目标界面展示模式可以采用不同的应用标识布局方式,例如,一种目标界面展示模式可以采用前、后、左、右四个方向的平面来展示应用标识,另一种目标界面展示模式可以采用前、左、右三个方向的平面来展示应用标识,又一种目标界面展示模式可以采用上、中、下三个方向的平面来展示应用标识等。当前用户可以选择切换到任一种目标界面展示模式,均可实现将应用标识排列在当前用户的周围。实际应用中,本领域技术人员可以根据实际情况来设置不同界面展示模式对应的应用标识布局方式,也可以采用用户自定义的应用标识布局方式等,本申请实施例在此不做限定。

本申请实施例中,由于应用标识转换后的形态是和对应的目标界面展示模式是相匹配的,并且将转化形态后的应用标识排列在当前用户的周围,能够提升当前用户沉浸式的体验感受。因此对于本申请实施例,将转化形态后的应用标识排列在当前用户周围的这种界面展示模式也可称为沉浸式界面展示模式。

本申请实施例提供的信息处理方法,通过响应于切换至目标界面展示模式的指令,将应用标识转化为与目标界面展示模式对应的形态,并确定当前用户的用户位置信息,进而基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围,能够充分利用XR设备特有的显示空间,增大应用标识的布局容量,提高趣味性、沉浸感和自身存在感,增强用户使用体验。

可选地,本方案可以应用于AR设备。作为示例地,步骤S102中,确定的是当前用户的实时位置信息,如果AR设备是一体机,可通过IMU(Inertial Measurement Unit,惯性测量单元)、摄像头视觉计算等方法来获取用户的实时位置信息,如果AR设备是外接类设备,除了可以通过IMU、摄像头视觉计算位置信息,还可以通过红外、雷达、超声等计算定位,但不限于此。进而在步骤S103中将转化形态后的应用标识显示在当前用户的周围。

可选地,本方案可以应用于VR设备。作为示例地,步骤S102中,确定当前用户的虚拟形象在虚拟场景中的虚拟位置信息;如果VR设备是一体机或PC(Personal Computer,个人计算机)类设备,可通过IMU、摄像头视觉计算、红外、雷达、超声等计算定位,进而在步骤S103中将转化形态后的应用标识排列在虚拟形象的周围。

本领域技术人员应能理解,上述几种应用场景仅为示意性描述,不构成对本申请实施例的限制,基于这些范例进行的适当变化也可适用于本申请,故也应包含在本申请保护范围以内。下文的实施例均可应用于这些应用场景,基于这些场景扩展的处理过程将不再赘述。

本申请实施例中,为沉浸式界面展示模式提供了一种可选的应用标识布局方式,应用标识可以采用环绕式排列。

一个示例中,假设用户操作XR设备从平面界面展示模式切换到沉浸式界面展示模式,可以沿每个APP的界面位置进行分割,变成一个个独立的APP个体,分割后的界面即可视为对应的APP标识转化后的形态。作为示例地,如图2所示,每个深色板块对应于一个APP标识。再将这些APP标识进行环绕式排列,即完成沉浸式界面展示模式的布局展示。

可选地,步骤S103具体可以包括:基于用户位置信息,将转化形态后的应用标识环绕当前用户进行排列。

对于本申请实施例,环绕当前用户进行排列,包括但不限于以下至少一种方式:

(1)呈环绕当前用户的圆柱面进行排列;

(2)呈环绕当前用户的球面进行排列;

(3)呈环绕当前用户的螺旋面进行排列。

(4)呈环绕当前用户的棱柱面进行排列;

其中,圆柱面也包括椭圆柱面;球面也可以包括椭球面等。

可选地,步骤S101具体可以包括:响应于切换至第一界面展示模式的指令,将应用标识转化为曲面形态;则步骤S103包括:基于用户位置信息,将曲面形态的应用标识环绕当前用户进行排列。

以呈环绕当前用户的圆柱面为例,如图3a所示,各个曲面形态的应用标识环绕排列,组成一个圆柱面。其他环绕方式以此类推,将不再赘述。

可选地,应用标识也可以采用平面形态,例如如图3b所示的俯视图,多个平面形态的应用标识环绕用户,组成一个多边形柱面。实际应用中,多边形的形状、边数、以及每个面上可以排列的应用标识数量(图3b中以一个为例,实际应用中不限于此)可以根据实际情况进行设置,本申请实施例在此不做限定。

可选地,应用标识可以在圆柱面、棱柱面等上下偏移,即应用标识的高度可以是设置或实时计算的,本领域技术人员可以根据实际情况对高度值或计算方式进行设置,本申请实施例在不做限定。

对于本申请实施例,环绕当前用户进行排列,还可以采用多层环绕模式,例如但不限于多层多边形柱面、圆柱面、多层球面、多层螺旋面等。以多层圆柱面为例,图4示出了多层圆柱面的俯视图。图4中,包含两层圆柱面,里面一层排列了曲面形态的APP1和APP2,外面一层排列了曲面形态的APP3和APP4。实际应用中,层数可以是预设的,也可以是根据APP数量或排列情况实时确定的,本领域技术人员可以根据实际情况对层数或层数的确定方式进行设置,本申请实施例在此不做限定。其他环绕方式以此类推,将不再赘述。

一个示例中,假设用户操作XR设备从平面界面展示模式切换到圆柱面界面展示模式,可以将独立的一个个APP标识,先从平面形态转化成曲面形态,如图5所示,再将这些APP标识呈圆柱面进行环绕式排列,即完成沉浸式界面展示模式的布局展示。

本申请实施例提供了一种可选的实施方式,通过应用背板来对应用标识进行形态变化和定位。其中,应用背板是指放置应用标识的背景所在的面板。可选地,背板是可见或不可见的,可见时可以替换图片或颜色,形成应用标识(图标(icon)或者模型)的边框或背景。无论背板可见或不可见,均可用于决定应用标识的形状和位置。

具体而言,将应用标识转化为曲面形态的过程,具体可以包括:确定应用背板形变后的形态信息;基于形态信息,将应用标识转化为曲面形态;

以呈圆柱面的界面展示模式为例,每个背板形变后的背板都是圆柱面上的一段弧面,对于该示例,形态信息具体可以是形状信息。

作为示例地,在对背板进行形变时,将平面矩形的每条横边插值划分为m条线段,m可设置。将每个线段顶点和圆心(即用户位置信息)的连线与柱面方程求交点,如图6所示,m=2计算出6个柱面交点(V

实际应用中,不同的目标界面展示模式可以对应不同的形态信息,即本申请实施例中,可以根据目标界面展示模式,确定应用背板的形态信息。

进一步地,基于计算出的背板的形态信息,便可将应用标识从其他形态转化为该形态信息对应的曲面形态。

具体而言,基于用户位置信息,将曲面形态的应用标识环绕当前用户进行排列的过程,具体可以包括:基于用户位置信息,确定应用背板的背板位置信息;基于背板位置信息,将曲面形态的应用标识环绕当前用户进行排列。

以呈多层圆柱面的界面展示模式为例,假设有n层圆柱面,将用户位置信息作为圆心,第一层半径为r,每层半径间隔距离为d,每个应用在圆柱面占据的弧长为L,应用之间在圆柱面的列间隔弧长为gapL,列偏移弧长(可选的)为dL,每层圆柱面上的应用行数为ro,行间隔距离为gapR,行偏移距离(可选的)为dR,则:

第i(1≤i≤n)层圆柱面上可以放置的一行应用个数为:

num=2*PI*(r+(i-1)*d)/(L+gapL)

该行第j个应用标识的位置为:

x=(r+(I-1)*d)*cos(j*PI/num+dL/(r+(i-1)*d))

z=(r+(I-1)*d)*sin(j*PI/num+dL/(r+(i-1)*d))

上述各公式中,可以设置PI=3.1415926。

另外,每个应用标识的高度和背板高度、行间隔距离gapR、行偏移距离dR等相关。

其中,列偏移弧长dL和行偏移距离dR的作用是将应用标识的位置沿指向原点或视点的射线略微偏移一点距离,作为应用标识的最终位置,以减少里层圆柱面上的应用标识对外层圆柱面上的应用标识的阻挡,让用户能够更直观的看到不同圆柱面上的应用标识。

实际应用中,上述各参数可以根据实际情况进行设置,本申请实施例在此不做限定。即本申请实施例中,可以根据目标界面展示模式的展示参数(例如但不限于上述半径、每个应用在圆柱面占据的弧长、应用之间在圆柱面的列间隔弧长、每层圆柱面上的应用行数,行间隔距离等)和用户位置信息,确定应用背板的背板位置信息。

进一步地,基于计算出的背板位置信息对应的新位置,便可将应用标识从原位置移至该新位置,以将曲面形态的应用标识环绕当前用户进行排列。

本申请实施例中,除了可以根据目标界面展示模式的展示参数确定所有应用背板位置信息和形态信息。还可以确定应用标识的排列顺序。

可选地,排列顺序可以是用户预设的,或者排列顺序是随机的,或者排列顺序是和切换前的界面展示模式对应的,或者排列顺序是根据应用标识的优先级确定的等,本领域技术人员可以根据实际情况进行设置,本申请实施例在此不做限定。

本申请实施例中,为根据应用标识的优先级来确定排列方式提供了可行的实施方式,具体地,步骤S103可以包括:确定应用标识排列的优先级;基于用户位置信息,将当前用户的视线正前方最近的目标位置确定为优先级最高的应用标识的更新位置;基于目标位置和各个应用标识的优先级,确定其他应用标识的更新位置;基于各个应用标识的更新位置,将转化形态后的应用标识环绕当前用户进行排列。

简单来说,根据计算的优先级,将优先级最高的应用标识与当前视线正前方最接近的背板位置绑定,并按优先级顺序依次延伸排列其他应用标识。

其中,应用标识排列的优先级可以是基于但不限于此以下至少一种方式确定的:

(1)应用的使用时长;

(2)应用的使用频率;

(3)正在使用的应用;

(4)用户设置的重要应用。

进一步地,应用标识排列的优先级的基础上,还可以结合应用标识之间的关联度。具体地,基于目标、背板位置信息和各个应用标识的优先级,确定其他应用标识的更新位置的步骤,可以包括:确定各个应用标识之间的关联度;基于目标位置、各个应用标识的优先级和各个应用标识之间的关联度,确定其他应用标识的更新位置。

作为示例地,以呈多层圆柱面的界面展示模式为例,一种可行的排列方式可以这样设定,界面展示模式切换后,以用户为中心设立2个排列序列,参照图4,用户经常用的APP1排在正对着用户的最近的位置;基本不用的APP2排列在用户的背面位置;和APP1相关联的APP3和APP4,排列在APP1稍后一点的位置,用户可以看到,但是不在距离用户最近的排列范围内。

作为示例地,以呈多层圆柱面的界面展示模式为例,另一种可行的排列方式可以这样设定,界面展示模式切换后,以用户为中心设立2个排列序列,参照图4,界面展示模式切换前用户正在使用的APP1排列在正对着用户的最近的位置;基本不用的APP2排列在用户的背面位置;和APP1相关联的APP3和APP4,排列在APP1稍后一点的位置,用户可以看到,但是不在距离用户最近的排列范围内。

本领域技术人员应能理解,上述几种基于优先级的排列方式仅为示意性描述,不构成对本申请实施例的限制,基于这些范例进行的适当变化也可适用于本申请,故也应包含在本申请保护范围以内。

本申请实施例中,为沉浸式界面展示模式提供了另一种可选的应用标识布局方式,应用标识可以采用三维空间场景排列。

可选地,步骤S101具体可以包括:响应于切换至第二界面展示模式的指令,确定当前用户所处的三维场景,并将应用标识转化为三维场景中相应物体的三维模型形态;则步骤S103包括:基于用户位置信息,将三维模型形态的应用标识排列在三维场景中。

即本申请实施例中,整个界面是一个三维空间场景,XR设备中有对应三维空间场景的应用,可以采用三维模型作为应用标识,定位在合适的位置。

一个示例中,切换后的目标界面展示模式对应一个房间的三维空间场景,可以设置时钟App采用定位在墙面上的挂钟3D模型作为应用标识;备忘录App采用放置在书桌上的记事本3D模型作为应用标识;文件管理App采用书桌上的文件盒3D模型作为应用标识等等。

实际应用中,本领域技术人员可以根据实际情况对应用标识对应的三维模型形态以及应用标识的放置位置进行设置,本申请实施例在此不做限定。

可以理解,基于用户位置信息,可以确定当前三维空间场景的哪些应用标识是用户视野范围内的,以准确地进行展示。

本申请实施例中,对于在两个界面展示模式之间切换的情况,在应用标识的新位置(切换后的目标界面展示模式中的位置,也可称为更新位置)确定后,可以设置合适的移动轨迹,将应用标识从原位置(切换前的界面展示模式中的位置,也可称为原始位置)移动到新位置。具体的,步骤S103具体可以包括:基于用户位置信息,确定各个应用标识的更新位置;基于各个应用标识的更新位置和各个应用标识的原始位置,确定各个应用标识的移动轨迹;基于各个应用标识的移动轨迹,将各个应用标识进行移动,并排列到当前用户的周围。

可选的,移动轨迹可以直接采用直线,或者也可以采用其他特殊路线。

一种可选的实施方式中,移动轨迹可以采用贝塞尔(Bezier)曲线。

可选地,基于各个应用标识的更新位置和各个应用标识的原始位置,确定各个应用标识的移动轨迹的步骤,可以包括:基于各个应用标识的更新位置、各个应用标识的原始位置和当前用户的视点位置,确定各个应用标识相对于视点位置的曲线型的移动轨迹。

即该曲线型的移动轨迹(下面简称为该曲线)位于原位置P0、新位置P2和视点位置P1三点形成的平面上,P0和P2分别作为曲线的起点和终点,视点位置P1作为控制点,由此可以形成一条相对于视点的平滑运动轨迹,如图7所示,则对用户来说,应用标识的移动路径就是一条平滑的曲线。

本申请实施例中,对于各种移动轨迹,均可以采用插值处理,以形成顺滑的移动效果。实际应用中,本领域技术人员可以根据实际情况对插值的数量进行设置,本申请实施例在此不做限定。

本申请实施例中,还可以设置每个应用标识的移动时间。例如为每个应用标识添加动画控制器,在时间t内沿相应的轨迹运动从起点移动到终点。实际应用中,本领域技术人员可以根据实际情况对移动时间t进行设置,本申请实施例在此不做限定,例如t可以设置为0.3秒,一般不超过2秒。则以贝塞尔曲线为例,s(0≤s≤t)时刻的位置可以表示为:

B(s)=(1-s)

本申请实施例中,考虑在在多个应用同时移动时,多个轨迹之间在相同的时刻可能产生碰撞,此时可以将碰撞点代替P0,重新计算新的曲线,后续运动沿新的曲线进行。即基于各个应用标识的移动轨迹,将各个应用标识进行移动,并排列到当前用户的周围的过程可以包括:检测到存在碰撞的移动轨迹,基于相应应用标识的更新位置和碰撞位置,更新相应应用标识的移动轨迹;基于更新后的相应应用标识的移动轨迹,将相应应用标识进行移动,并排列到当前用户的周围。

本申请实施例中,针对应用太多时造成碰撞概率较大的情况,也可以基于节省计算资源的考虑,不再修改移动轨迹,直接穿过碰撞点位置继续沿原移动轨迹移动。或者,也可以限定次数(例如三次)变更曲线之后不再修改移动轨迹,直接穿过碰撞点位置继续沿最后一次修改的移动轨迹移动。实际应用中,本领域技术人员可以根据实际情况对可修改次数进行设置,本申请实施例在此不做限定。

本申请实施例中,用户可以通过动眼、操作手柄、触发虚拟界面上的按钮、语音等发生来进行切换界面展示模式、选择APP等操作(生成相应的指令),XR设备可以进行响应,执行相应的处理。

本申请实施例中,给出了一个VR桌面(VR Launcher)中App的平面布局和沉浸式布局(即上述目标界面展示模式)切换的完整方案。

其中,平面布局模式下,每个应用标识(也可以是应用背板)可以采用平面的矩形(例如但不限于圆角矩形),整体空间可以进行分区,每个分区还可以分为一个或多个布局,例如图8中以分为左分区、前分区、和右分区三个分区,前分区又分为上、中、下三个子布局为例。

其中,每个分区或者子布局都可以分别设置但不限于行数row、列数col、应用间隔(行rgap、列cgap)、分区角度(三个方向偏转角axW、ayW、azW)等参数,每个应用标识也可以分别设置但不限于大小(宽w、高h)、偏移向量(相对于默认定位在三个方向的偏移量T

x=(i-1)%col*(rgap+w)

y=(i-1)/col*(cgap+h)

其中,对于平面布局模式,应用标识位置的z值局部坐标值为0;

进一步地,可以设置应用标识相对于平面位置再进行偏移和/或旋转,假设旋转矩阵和平移矩阵分别为:

则可以确定应用标识的位置为:

前分区的大小计算如下:

weith=(cgap+w)*col+cgap

height=(rgap+h)*row+rgap

则左分区的右侧根据-weith/2进行定位,右分区的左侧可以根据weith/2进行定位,左分区或右分区的位置及旋转角度的计算可以参见前分区,将不再赘述。

沉浸式布局(即上述目标界面展示模式)下,各个应用标识的位置的计算可以参见上文中的介绍,在此不再赘述。

当用户想只在一个方位查看APP时,可以采取平面布局模式,当用户想沉浸式体验APP时,可以采取界面的沉浸式布局模式,本方案支持在两种布局方式之间无缝切换,给用户更丰富的体验。

具体地,若用户触发从平面布局模式切换到沉浸式布局模式,将各个应用标识的形状转化为沉浸式布局模式对应的形态,并将针对平面布局模式计算的各个应用标识的位置作为起点,将针对沉浸式布局模式计算的各个应用标识的位置作为终点,通过计算出的移动轨迹,将各个转化形态后的应用标识移动从起点移至终点,以排列在当前用户的周围。

本申请实施例中,通过采用但不限于以下模块,来实现界面展示模式的切换:

(1)形变及定位模块,负责根据目标界面展示模式确定应用标识(或应用背板)的形态数据及位置数据。具体的确定方式可以参见上文,在此不再赘述。

(2)定位动画模块:负责在不同界面展示模式之间切换时,应用标识移位的过渡轨迹规划。具体的规划方式可以参见上文,在此不再赘述。

为了达到空间布局的多样性效果,本申请实施例中,还可以包括但不限于以下模块:

(3)布局模式库:负责存储、管理各种界面展示模式,例如记录各种界面展示模式必要的参数(如行数、列数、间隔等),在选择目标界面展示模式后,根据参数自动生成对应的布局,并通过优先级排列应用;对于由用户自由摆放生成的布局方式等没有固定规律的界面展示模式,还可以记录每个应用标识的位置、角度、类型等等信息。

(4)应用管理模块:负责维护设备上安装的应用列表,设置启动图标或三维模型作为应用标识。可选地,该模块在每次有应用启动或者关闭时,访问数据统计模块的记录,根据数据统计模块记录的使用时间、时长、频率、安装时间、应用启动顺序等等信息,按照权重计算应用优先级和关联度。可选地,该模块在用户设置应用布局时,显示应用列表,通过用户操作(例如但不限于手柄勾选或者拖动等)将应用放入对应区域。

(5)自定义布局控制模块:负责进入界面编辑模式,用户可以拖动应用标识(包括图标或者三维模型)到指定的位置,用户可以达到想要的结果时点击确定,自定义的应用标识的位置、角度、类型等等信息将会存入布局模式库。

(6)数据统计模块:负责记录每个应用的使用时间、时长、频率、安装时间、应用启动顺序、包体大小、图标信息、三维模型信息等运行数据和外观信息。

本申请实施例提供的信息处理方法,可以有效利用XR设备特有的显示空间,增大应用标识的布局容量。

本申请实施例提供的信息处理方法,可以达到更加丰富的布局样式及切换过渡效果,增强用户使用体验,提高趣味性。

本申请实施例提供的信息处理方法,通过应用标识的排位优先级,便于用户更快启动常用或重要App。

本申请实施例提供了一种信息处理装置,如图9所示,该信息处理装置90可以包括:转化模块901、确定模块902以及展示模块903,其中,

转化模块901用于响应于切换至目标界面展示模式的指令,将应用标识转化为与目标界面展示模式对应的形态;

确定模块902用于确定当前用户的用户位置信息;

展示模块903用于基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围。

在一种可选的实施方式中,展示模块903在用于基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围时,具体用于:

基于用户位置信息,将转化形态后的应用标识环绕当前用户进行排列。

在一种可选的实施方式中,环绕当前用户进行排列,包括以下至少一种方式:

呈环绕当前用户的圆柱面进行排列;

呈环绕当前用户的球面进行排列;

呈环绕当前用户的螺旋面进行排列;

呈环绕当前用户的棱柱面进行排列。

在一种可选的实施方式中,转化模块901在用于响应于切换至目标界面展示模式的指令,将应用标识转化为与目标界面展示模式对应的形态时,具体用于:响应于切换至第一界面展示模式的指令,将应用标识转化为曲面形态;

展示模块903在用于基于用户位置信息,将转化形态后的应用标识环绕当前用户进行排列时,具体用于:基于用户位置信息,将曲面形态的应用标识环绕当前用户进行排列。

在一种可选的实施方式中,转化模块901在用于将应用标识转化为曲面形态时,具体用于:

确定应用背板形变后的形态信息;

基于形态信息,将应用标识转化为曲面形态;

展示模块903在用于基于用户位置信息,将曲面形态的应用标识环绕当前用户进行排列时,具体用于:

基于用户位置信息,确定应用背板的背板位置信息;

基于背板位置信息,将曲面形态的应用标识环绕当前用户进行排列。

在一种可选的实施方式中,转化模块901在用于响应于切换至目标界面展示模式的指令,将应用标识转化为与目标界面展示模式对应的形态时,具体用于:响应于切换至第二界面展示模式的指令,确定当前用户所处的三维场景,并将应用标识转化为三维场景中相应物体的三维模型形态;

展示模块903在用于基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围时,具体用于:基于用户位置信息,将三维模型形态的应用标识排列在三维场景中。

在一种可选的实施方式中,展示模块903在用于基于用户位置信息,将转化形态后的应用标识环绕当前用户进行排列时,具体用于:

确定应用标识排列的优先级;

基于用户位置信息,将当前用户的视线正前方最近的目标位置确定为优先级最高的应用标识的更新位置;

基于目标位置和各个应用标识的优先级,确定其他应用标识的更新位置;

基于各个应用标识的更新位置,将转化形态后的应用标识环绕当前用户进行排列。

在一种可选的实施方式中,展示模块903在用于基于目标位置和各个应用标识的优先级,确定其他应用标识的更新位置时,具体用于:

确定各个应用标识之间的关联度;

基于目标位置、各个应用标识的优先级和各个应用标识之间的关联度,确定其他应用标识的更新位置。

在一种可选的实施方式中,展示模块903在用于基于用户位置信息,将转化形态后的应用标识排列在当前用户的周围时,具体用于:

基于用户位置信息,确定各个应用标识的更新位置;

基于各个应用标识的更新位置和各个应用标识的原始位置,确定各个应用标识的移动轨迹;

基于各个应用标识的移动轨迹,将各个应用标识进行移动,并排列到当前用户的周围。

在一种可选的实施方式中,展示模块903在用于基于各个应用标识的移动轨迹,将各个应用标识进行移动,并排列到当前用户的周围时,具体用于:

若检测到存在碰撞的移动轨迹,基于相应应用标识的更新位置和碰撞位置,更新相应应用标识的移动轨迹;

基于更新后的相应应用标识的移动轨迹,将相应应用标识进行移动,并排列到当前用户的周围。

在一种可选的实施方式中,展示模块903在用于基于各个应用标识的更新位置和各个应用标识的原始位置,确定各个应用标识的移动轨迹时,具体用于:

基于各个应用标识的更新位置、各个应用标识的原始位置和当前用户的视点位置,确定各个应用标识相对于视点位置的曲线型的移动轨迹。

在一种可选的实施方式中,确定模块902在用于确定当前用户的用户位置信息时,具体用于:确定当前用户的虚拟形象在虚拟场景中的虚拟位置信息;

展示模块903在用于将转化形态后的应用标识排列在当前用户的周围时,具体用于:将转化形态后的应用标识排列在虚拟形象的周围。

本申请实施例的装置可执行本申请实施例所提供的方法,其实现原理相类似,本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的,对于装置的各模块的详细功能描述以及产生的有益效果具体可以参见前文中所示的对应方法中的描述,此处不再赘述。

本申请实施例中提供了一种电子设备,包括存储器、处理器及存储在存储器上的计算机程序,该处理器执行上述计算机程序以实现前述各方法实施例的步骤,可选地,电子设备是XR设备,包括但不限于AR、设备VR设备、MR设备等。

在一个可选实施例中提供了一种电子设备,如图10所示,图10所示的电子设备1000包括:处理器1001和存储器1003。其中,处理器1001和存储器1003相连,如通过总线1002相连。可选地,电子设备1000还可以包括收发器1004,收发器1004可以用于该电子设备与其他电子设备之间的数据交互,如数据的发送和/或数据的接收等。需要说明的是,实际应用中收发器1004不限于一个,该电子设备1000的结构并不构成对本申请实施例的限定。

处理器1001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器1001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。

总线1002可包括一通路,在上述组件之间传送信息。总线1002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线1002可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

存储器1003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质、其他磁存储设备、或者能够用于携带或存储计算机程序并能够由计算机读取的任何其他介质,在此不做限定。

存储器1003用于存储执行本申请实施例的计算机程序,并由处理器1001来控制执行。处理器1001用于执行存储器1003中存储的计算机程序,以实现前述方法实施例所示的步骤。

本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请实施例还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时可实现前述方法实施例的步骤及相应内容。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是,虽然本申请实施例的流程图中通过箭头指示各个操作步骤,但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明,否则在本申请实施例的一些实施场景中,各流程图中的实施步骤可以按照需求以其他的顺序执行。此外,各流程图中的部分或全部步骤基于实际的实施场景,可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行,这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下,这些子步骤或者阶段的执行顺序可以根据需求灵活配置,本申请实施例对此不限制。

以上仅是本申请部分实施场景的可选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请的方案技术构思的前提下,采用基于本申请技术思想的其他类似实施手段,同样属于本申请实施例的保护范畴。

技术分类

06120115638161