掌桥专利:专业的专利平台
掌桥专利
首页

一种界面交互方法及电子设备

文献发布时间:2024-04-18 19:56:50


一种界面交互方法及电子设备

技术领域

本申请涉及终端技术领域,尤其涉及一种界面交互方法及电子设备。

背景技术

在用户戴着耳机听音频的时候,用户一般只能够通过音量键调整听到的音量大小,声音位置来源就在耳边。然而,人们对于声音的感知还包括更多维度的体验,仅仅调整音频音量,导致用户的感知声音的效果差。

发明内容

本申请实施例提供了一种界面交互方法及电子设备,用于调整音频所处的空间位置。

第一方面,本申请实施例提供了一种界面交互方法,所述方法应用于电子设备,所述方法包括:所述电子设备显示第一用户界面,所述第一用户界面显示有光标点及其所在的纬线轨道和经线轨道;所述光标点为所述纬线轨道和所述经线轨道相交于球体表面的其中一点,所述光标点表示音频的音源位置相对于用户的空间方向;所述电子设备获取第一操作;在所述第一操作为沿第一方向滑动操作的情况下,所述第一用户界面中的所述光标点沿着其所在的纬线轨道进行滑动,所述光标点所在的经线轨道随着所述光标点在所述纬线轨道上的滑动发生改变;所述第一方向为与所述纬线轨道对应的方向;

在所述第一操作为沿第二方向滑动操作的情况下,所述第一用户界面中的所述光标点沿着其所在的经线轨道进行滑动,所述光标点所在的纬线轨道随着所述光标点在所述经线轨道上的滑动发生改变;所述第二方向为与所述经线轨道对应的方向。

其中,第一方向为横向,即垂直于经线轨道平面的方向;第二方向为纵向,即垂直于纬线轨道平面的方向,第一操作为用户触控电子设备屏幕的滑动操作。第一用户界面可以参考图2B,图9和图13的相关描述,第一操作可以参考图2B、图3和图4A和图4B,以及图14中的相关描述,不赘述。

在本申请实施例中,电子设备能够通过横向或者纵向滑动,调整音频在空间中的位置,用户通过滑动光标点,电子设备便能够模拟的空间音源点,体验音源点在不同位置时的音效。进一步地,三维的音源空间位置在二维屏幕上,调整和交互往往有一定难度,需要用户学习和适应,本申请结合经线和纬线标定球体位置从而确定音源的空间方向,能够保证交互中用户使用的直观和便捷程度。

在一种可能实现的方式中,所述第一用户界面中的所述光标点沿着其所在的纬线轨道进行滑动,所述光标点所在的经线轨道随着所述光标点在所述纬线轨道上的滑动发生改变,具体包括:

在第一时刻,所述第一用户界面显示所述光标点、第一纬线轨道和第一经线轨道,所述光标点位于所述第一纬线轨道的第一位置;

在第二时刻,所述第一用户界面显示所述光标点、第一纬线轨道和第二经线轨道,所述光标点位于所述第一纬线轨道的第二位置;所述第二经线轨道为所述第一经线轨道以第一直线为旋转轴线沿所述光标点滑动方向转动得到的经线轨道,所述第一位置和所述第二位置为所述第一纬线轨道不同点的位置,所述第一直线为垂直于所述第一纬线轨道的方向且经过所述第一纬线轨道圆心的直线。

其中,光标点的滑动可以参考图7A和图7B的相关描述,不赘述。

在本申请实施例中,在用户横向滑动的过程中,纬线轨道不变,光标点在纬线轨道上滑动,经线随之滑动,从而能够确保在一个轨道上的变化,保证用户能够有效的控制经线轨道的位置,让交互过程用户更容易理解和更方便操作。

在一种可能实现的方式中,所述第一用户界面中的所述光标点沿着其所在的经线轨道进行滑动,所述光标点所在的纬线轨道随着所述光标点在所述经线轨道上的滑动发生改变,具体包括:

在第三时刻,所述第一用户界面显示所述光标点、第一纬线轨道和第一经线轨道,所述光标点位于所述第一经线轨道的第三位置;

在第四时刻,所述第一用户界面显示所述光标点、第二纬线轨道和第一经线轨道,所述光标点位于所述第一经线轨道的第四位置;所述第二纬线轨道为所述第一纬线轨道以第一直线为轴线沿所述光标点滑动方向平移放缩得到的纬线轨道,所述第三位置和所述第四位置为所述第一经线轨道不同点的位置,所述第一直线为垂直于所述第一纬线轨道的方向且经过所述第一纬线轨道圆心的直线。

在本申请实施例中,在用户纵向滑动的过程中,经线轨道不变,光标点在经线轨道上滑动,纬线随之滑动,从而能够确保在一个轨道上的变化,保证用户能够有效的控制经线轨道的位置,让交互过程用户更容易理解和更方便操作。

在一种可能实现的方式中,所述电子设备显示第一用户界面的情况下,所述方法还包括:响应于第二操作,所述电子设备调整音源距离,所述音源距离为音源位置与用户位置之间的长度,所述第二操作为用户滑动所述第一用户界面中音源距离控件的操作。这样,电子设备还可以调整音频在空间位置距离用户之间的方向,提高可调整的维度,保证更符合音频在空间位置调节过程中的灵活性。

其中,第三操作可以参考图2B中用户滑动音频距离的调节按钮的相关表述,不赘述。

在一种可能实现的方式中,所述电子设备显示第一用户界面的情况下,所述方法还包括:

响应于第三操作,所述电子设备将所述光标点调整为预选光标点,将所述纬线轨道显示为预选纬线轨道、将所述经线轨道调整为预选经线轨道,将所述音源距离调整为预选音源距离;其中,所述第三操作为用户点击所述第一用户界面中推荐音源位置控件的操作;所述预选光标点为推荐音源位置所在的光标点;所述预选纬线轨道为推荐音源位置对应的纬线轨道;所述预选经线轨道为推荐音源位置对应的经线轨道;预选音源距离推荐的音源距离。这样,用户可以将调整的位置恢复到推荐的音源位置,加快调整的结果,简化操作过程,进一步提高操作的便捷性和高效性。

其中,第三操作可以参考图2B和图13中用户的点击推荐位置的操作,具体参考相关描述,不赘述。

在一种可能实现的方式中,所述电子设备显示第一用户界面之后,所述方法还包括:响应于第一操作,所述电子设备采集第一滑动数据,所述第一滑动数据为所述第一操作的滑动起点和当前滑动点的坐标;所述电子设备基于所述第一滑动数据判断是否触发所述光标点移动;在触发所述光标点移动的情况下,所述电子设备基于所述第一滑动数据确定滑动方向;所述滑动方向包括所述第一方向和所述第二方向。这样,电子设备先确定是否触发滑动,在确定滑动的方向,可以保证光标点的移动时机和移动方向的准确性。

在一种可能实现的方式中,所述电子设备基于所述第一滑动数据判断是否触发所述光标点移动,具体包括:所述电子设备确定从所述滑动起点到所述当前滑动点之间的横向滑动距离|dx|和纵向滑动距离|dy|;所述电子设备判断所述|dx|和所述|dy|是否均小于或等于滑动阈值距离m;在小于或等于的情况下,所述电子设备确定不触发所述光标点移动;否则,所述电子设备触发所述光标点移动。这样,用户进行滑动操作的情况下,滑动距离太短,可能是用户的误触屏幕或者点击控件,因此,可以保证触发光标点移动的准确性。

在一种可能实现的方式中,所述电子设备基于所述第一滑动数据确定滑动方向,具体包括:在所述|dx|大于所述|dy|的情况下,所述电子设备确定滑动方向为第一方向;在所述|dx|小于所述|dy|的情况下,所述电子设备确定滑动方向为第二方向。这样,可以准确地确定用户滑动的方向,在触发光标点移动时再确定滑动方向,也能够保证确定方向的必要性。

在一种可能实现的方式中,所述第一用户界面中的所述光标点沿着其所在的纬线轨道进行滑动,所述光标点所在的经线轨道随着所述光标点在所述纬线轨道上的滑动发生改变,具体包括:

在所述第一操作尚未结束的情况下,所述电子设备采集第二滑动数据,所述第二滑动数据为最近一次采集的第一操作的滑动点的坐标;

所述电子设备基于所述第二滑动数据、第三滑动数据和上一次滑动结果数据确定所述光标点的第二位置和第二经线轨道;所述第三滑动数据为所述电子设备上一次采集的第一操作的滑动点的位置,所述上一次滑动结果数据是针对于所述第三滑动数据显示的所述光标点的第一位置、第一纬线轨道和第一经线轨道;

所述电子设备基于所述光标点的第二位置、所述第一纬线轨道和所述第二经线轨道进行显示。

在本申请实施例中,电子设备可以基于用户的横向滑动位移情况和上一次采集并显示的数据,计算出接下来要显示需要的数据,即所述光标点的第二位置、所述第一纬线轨道和所述第二经线轨道,电子设备不需要将二维坐标向三维空间进行转化,仅仅通过椭圆、光标点之间的位置关系便能够计算出显示做需要的数据,从而保证计算的简洁性和处理的高效性。

在一种可能实现的方式中,所述电子设备基于所述第二滑动数据、第三滑动数据和上一次滑动结果数据确定所述光标点的第二位置和第二经线轨道,具体包括:

所述电子设备基于所述第二滑动数据和所述第三滑动数据确定横向滑动位移Δx;

所述电子设备基于所述第一纬线轨道确定横向阈值范围[x_min,x_max];

所述电子设备基于所述Δx、所述[x_min,x_max]和所述光标点的第一位置确定所述光标点的第二位置的横坐标x′;

所述电子设备基于所述x′和所述第一纬线轨道确定所述光标点的第二位置的纵坐标y′;

所述电子设备基于所述x′、所述y′和所述第一经线轨道确定所述第二经线轨道。

在本申请实施例中,在用户滑动的过程中,电子设备不断地采集滑动数据,并基于已显示的结果进一步确定接下来需要显示的光标点和两轨道,从而可以保证显示的准确性。此外,不需要将三维空间与二维之间的转化,仅仅通过二维的计算显示三维的效果,保证计算的高效性。

在一种可能实现的方式中,所述电子设备基于所述Δx、所述[x_min,x_max]和所述光标点的第一位置确定所述光标点的第二位置的横坐标x′,具体包括:

所述光标点的第一位置包括第一坐标(x,y)和第一球面位置,所述球面位置表示所述光标点的第一位置处于所述球体正面或者反面;

所述电子设备基于所述(x,y)、所述第一球面位置和所述Δx确定所述光标点的第二位置的第一横坐标x

在所述x

在所述第一横坐标大于所述x_max的情况下,所述电子设备将所述确定为x_max-(x

在所述第一横坐标小于所述x_min的情况下,所述电子设备将所述x′确定为x_min+(x_min-x

其中,所述第二横坐标为最近一次采集到滑动点对应所述光标点的横坐标;所述第二球面位置为最近一次采集到滑动点对应所述光标点的球面位置。

这样,横坐标的确定巧妙地利用了横坐标范围与正反面的转换的关系,保证光标点的准确性和计算的高效性。

在一种可能实现的方式中,所述第一用户界面中的所述光标点沿着其所在的经线轨道进行滑动,所述光标点所在的纬线轨道随着所述光标点在所述经线轨道上的滑动发生改变,具体包括:

在所述第一操作尚未结束的情况下,所述电子设备采集第二滑动数据,所述第二滑动数据为最近一次采集的第一操作的滑动点的坐标;

所述电子设备基于所述第二滑动数据、第三滑动数据和上一次滑动结果数据确定所述光标点的第三位置和第三纬线轨道;所述第三滑动数据为所述电子设备上一次采集的第一操作的滑动点的位置,所述上一次滑动结果数据是针对于所述第三滑动数据显示的所述光标点的第一位置、第一纬线轨道和第一经线轨道;

所述电子设备基于所述光标点的第三位置、所述第三纬线轨道和所述第一经线轨道进行显示。

在本申请实施例中,电子设备可以基于用户的横向滑动位移情况和上一次采集并显示的数据,计算出接下来要显示需要的数据,即所述光标点的第二位置、所述第一纬线轨道和所述第二经线轨道,电子设备不需要将二维坐标向三维空间进行转化,仅仅通过椭圆、光标点之间的位置关系便能够计算出显示做需要的数据,从而保证计算的简洁性和处理的高效性。

在一种可能实现的方式中,所述电子设备基于所述第二滑动数据、第三滑动数据和上一次滑动结果数据确定所述光标点的第三位置和第三纬线轨道,具体包括:

所述电子设备基于所述第二滑动数据和所述第三滑动数据确定纵向滑动位移Δy;

所述电子设备确定纵向阈值范围[y_min,y_max];

所述电子设备基于所述Δy、所述[y_min,y_max]、所述光标点的第一位置和所述第一纬线轨道的圆心纵坐标k确定所述第三纬线轨道的圆心纵坐标k″和所述光标点的第三位置的纵坐标y″;

所述电子设备基于所述球体的球心坐标和所述k″确定所述第三纬线轨道的长轴;

所述电子设备基于初始纬线轨道与第一纬线轨道的相似比和所述长轴确定所述第三纬线轨道的短轴;

基于所述k″、所述长轴和所述短轴确定所述第三纬线轨道;

所述电子设备基于所述纵坐标y″和所述第一经线轨道确定所述光标点的第三位置的横坐标x″。

在本申请实施例中,在用户滑动的过程中,电子设备不断地采集滑动数据,并基于已显示的结果进一步确定接下来需要显示的光标点和两轨道,从而可以保证显示的准确性。此外,不需要将三维空间与二维之间的转化,仅仅通过二维的计算显示三维的效果,保证计算的高效性。

在一种可能实现的方式中,所述电子设备基于所述Δy、所述[y_min,y_max]、所述光标点的第一位置和所述第一纬线轨道的圆心纵坐标k确定所述第三纬线轨道的圆心纵坐标k″和所述光标点的第三位置的纵坐标y″,具体包括:

所述光标点的第一位置包括第一坐标(x,y)和第一球面位置,所述球面位置表示所述光标点的第一位置处于所述球体正面或者反面;

所述电子设备基于所述(x,y)、所述第一球面位置和所述Δy确定所述光标点的第三位置的第一纵坐标y

在所述y

在所述y大于所述y_max的情况下,所述电子设备将所述y″确定为y_max-(y

在所述y小于所述y_min的情况下,所述电子设备将所述y″确定为y_min+(y_min-y

其中,所述第二纵坐标为最近一次采集到滑动点对应所述光标点的纵坐标;所述第三球面位置为最近一次采集到滑动点对应所述光标点的球面位置,所述第二圆心纵坐标为最近一次采集到滑动点对应所述第三纬线轨道的圆心纵坐标。这样,光标点纵坐标和纬线轨道的确定巧妙地利用了纵坐标范围与正反面的转换的关系,保证光标点的准确性和计算的高效性。

在一种可能实现的方式中,所述第一用户界面包括空间音频调节选项,所述空间音频调节选项包括方位角、俯仰角和距离,所述方位角表征音源方向所在直线与用户平视时的经线轨道平面所成的夹角;所述俯仰角表征音源方向所在直线与用户平视时的纬线轨道平面所成的夹角;所述距离表征音源位置与用户位置之间的长度;

在所述第一操作为沿第一方向滑动操作的情况下,所述方位角对应变化;

在所述第一操作为沿第二方向滑动操作的情况下,所述俯仰角对应变化。

在本申请实施例中,用户滑动调整光标点,最终是为了确定音频在空间中在用户的哪一个方向,因此可以在滑动过程中确定方位角和俯仰角,从而可以转换成三维空间的方向,以便电子设备对于音频信息的进一步处理,也能够为用户提供滑动的方向表示的结果。

在一种可能实现的方式中,在所述第一操作为沿第一方向滑动操作的情况下,所述方位角对应变化,具体包括:

在确定所述光标点在第二位置的横坐标x′和横向阈值范围的最值x_m的情况下,所述电子设备基于第一关系式确定所述光标点的第二位置的方位角θ′;

其中,所述第一关系式为

在所述第一操作为沿第二方向滑动操作的情况下,所述俯仰角对应变化,具体包括:

在确定所述光标点在第三位置的纵坐标y″和纵向阈值范围的最值y_m的情况下,所述电子设备基于第二关系式确定所述光标点的第三位置的俯仰角β″;

其中,所述第二关系式为

其中,所述横向阈值范围的最值x_m包括所述横向阈值范围的最大值x_max和最小值x_min;所述纵向阈值范围的最值包括所述纵向阈值范围的最大值y_max和最小值y_min;所述光标点的第一位置为上一次采集的第一操作的滑动点对应的光标点位置。

在本申请实施例中,电子设备可以预设两个关系式,连接方位角与横坐标之间的关系以及仰角与纵坐标之间的关系。从而可以快速地确定出方位角和俯仰角,这个不需要计算复杂的二维平面光标点的显示位置与三维空间方位角之间的关系,能够保证一定准确性的同时,调高计算的简洁程度,以及处理的效率。

第二方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器和一个或多个存储器;所述一个或多个处理器与所述一个或多个存储器耦合,所述一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使得所述电子设备执行:

显示第一用户界面,所述第一用户界面显示有光标点及其所在的纬线轨道和经线轨道;所述光标点为所述纬线轨道和所述经线轨道相交于球体表面的其中一点,所述光标点表示音频的音源位置相对于用户的空间方向;获取第一操作;在所述第一操作为沿第一方向滑动操作的情况下,所述第一用户界面中的所述光标点沿着其所在的纬线轨道进行滑动,所述光标点所在的经线轨道随着所述光标点在所述纬线轨道上的滑动发生改变;所述第一方向为与所述纬线轨道对应的方向;在所述第一操作为沿第二方向滑动操作的情况下,所述第一用户界面中的所述光标点沿着其所在的经线轨道进行滑动,所述光标点所在的纬线轨道随着所述光标点在所述经线轨道上的滑动发生改变;所述第二方向为与所述经线轨道对应的方向。

其中,第一方向为横向,即垂直于经线轨道平面的方向;第二方向为纵向,即垂直于纬线轨道平面的方向,第一操作为用户触控电子设备屏幕的滑动操作。第一用户界面可以参考图2B,图9和图13的相关描述,第一操作可以参考图2B、图3和图4A和图4B,以及图14中的相关描述,不赘述。

在本申请实施例中,电子设备能够通过横向或者纵向滑动,调整音频在空间中的位置,用户通过滑动光标点,电子设备便能够模拟的空间音源点,体验音源点在不同位置时的音效。进一步地,三维的音源空间位置在二维屏幕上,调整和交互往往有一定难度,需要用户学习和适应,本申请结合经线和纬线标定球体位置从而确定音源的空间方向,能够保证交互中用户使用的直观和便捷程度。

在一种可能实现的方式中,所述第一用户界面中的所述光标点沿着其所在的纬线轨道进行滑动,所述光标点所在的经线轨道随着所述光标点在所述纬线轨道上的滑动发生改变,具体包括:

在第一时刻,所述第一用户界面显示所述光标点、第一纬线轨道和第一经线轨道,所述光标点位于所述第一纬线轨道的第一位置;

在第二时刻,所述第一用户界面显示所述光标点、第一纬线轨道和第二经线轨道,所述光标点位于所述第一纬线轨道的第二位置;所述第二经线轨道为所述第一经线轨道以第一直线为旋转轴线沿所述光标点滑动方向转动得到的经线轨道,所述第一位置和所述第二位置为所述第一纬线轨道不同点的位置,所述第一直线为垂直于所述第一纬线轨道的方向且经过所述第一纬线轨道圆心的直线。

在本申请实施例中,在用户横向滑动的过程中,纬线轨道不变,光标点在纬线轨道上滑动,经线随之滑动,从而能够确保在一个轨道上的变化,保证用户能够有效的控制经线轨道的位置,让交互过程用户更容易理解和更方便操作。

在一种可能实现的方式中,所述第一用户界面中的所述光标点沿着其所在的经线轨道进行滑动,所述光标点所在的纬线轨道随着所述光标点在所述经线轨道上的滑动发生改变,具体包括:

在第三时刻,所述第一用户界面显示所述光标点、第一纬线轨道和第一经线轨道,所述光标点位于所述第一经线轨道的第三位置;

在第四时刻,所述第一用户界面显示所述光标点、第二纬线轨道和第一经线轨道,所述光标点位于所述第一经线轨道的第四位置;所述第二纬线轨道为所述第一纬线轨道以第一直线为轴线沿所述光标点滑动方向平移放缩得到的纬线轨道,所述第三位置和所述第四位置为所述第一经线轨道不同点的位置,所述第一直线为垂直于所述第一纬线轨道的方向且经过所述第一纬线轨道圆心的直线。

在本申请实施例中,在用户纵向滑动的过程中,经线轨道不变,光标点在经线轨道上滑动,纬线随之滑动,从而能够确保在一个轨道上的变化,保证用户能够有效的控制经线轨道的位置,让交互过程用户更容易理解和更方便操作。

在一种可能实现的方式中,所述电子设备显示第一用户界面的情况下,所述电子设备还执行:响应于第二操作,调整音源距离,所述音源距离为音源位置与用户位置之间的长度,所述第二操作为用户滑动所述第一用户界面中音源距离控件的操作。

这样,电子设备还可以调整音频在空间位置距离用户之间的方向,提高可调整的维度,保证更符合音频在空间位置调节过程中的灵活性。

其中,第三操作可以参考图2B中用户滑动音频距离的调节按钮的相关表述,不赘述。

在一种可能实现的方式中,所述电子设备显示第一用户界面的情况下,所述电子设备还执行:

响应于第三操作,将所述光标点调整为预选光标点,将所述纬线轨道显示为预选纬线轨道、将所述经线轨道调整为预选经线轨道,将所述音源距离调整为预选音源距离;其中,所述第三操作为用户点击所述第一用户界面中推荐音源位置控件的操作;所述预选光标点为推荐音源位置所在的光标点;所述预选纬线轨道为推荐音源位置对应的纬线轨道;所述预选经线轨道为推荐音源位置对应的经线轨道;预选音源距离推荐的音源距离。

这样,用户可以将调整的位置恢复到推荐的音源位置,加快调整的结果,简化操作过程,进一步提高操作的便捷性和高效性。

其中,第三操作可以参考图2B和图13中用户的点击推荐位置的操作,具体参考相关描述,不赘述。

在一种可能实现的方式中,所述电子设备显示第一用户界面之后,所述电子设备还执行:响应于第一操作,采集第一滑动数据,所述第一滑动数据为所述第一操作的滑动起点和当前滑动点的坐标;基于所述第一滑动数据判断是否触发所述光标点移动;在触发所述光标点移动的情况下,基于所述第一滑动数据确定滑动方向;所述滑动方向包括所述第一方向和所述第二方向。这样,电子设备先确定是否触发滑动,在确定滑动的方向,可以保证光标点的移动时机和移动方向的准确性。

在一种可能实现的方式中,所述电子设备基于所述第一滑动数据判断是否触发所述光标点移动,具体执行:

确定从所述滑动起点到所述当前滑动点之间的横向滑动距离|dx|和纵向滑动距离|dy|;

判断所述|dx|和所述|dy|是否均小于或等于滑动阈值距离m;在小于或等于的情况下,所述电子设备确定不触发所述光标点移动;否则,所述电子设备触发所述光标点移动。这样,用户进行滑动操作的情况下,滑动距离太短,可能是用户的误触屏幕或者点击控件,因此,可以保证触发光标点移动的准确性。

在一种可能实现的方式中,所述电子设备基于所述第一滑动数据确定滑动方向,具体执行:在所述|dx|大于所述|dy|的情况下,确定滑动方向为第一方向;在所述|dx|小于所述|dy|的情况下,确定滑动方向为第二方向。这样,可以准确地确定用户滑动的方向,在触发光标点移动时再确定滑动方向,也能够保证确定方向的必要性。

在一种可能实现的方式中,所述第一用户界面中的所述光标点沿着其所在的纬线轨道进行滑动,所述光标点所在的经线轨道随着所述光标点在所述纬线轨道上的滑动发生改变,具体执行:

在所述第一操作尚未结束的情况下,采集第二滑动数据,所述第二滑动数据为最近一次采集的第一操作的滑动点的坐标;

基于所述第二滑动数据、第三滑动数据和上一次滑动结果数据确定所述光标点的第二位置和第二经线轨道;所述第三滑动数据为所述电子设备上一次采集的第一操作的滑动点的位置,所述上一次滑动结果数据是针对于所述第三滑动数据显示的所述光标点的第一位置、第一纬线轨道和第一经线轨道;

基于所述光标点的第二位置、所述第一纬线轨道和所述第二经线轨道进行显示。

在本申请实施例中,电子设备可以基于用户的横向滑动位移情况和上一次采集并显示的数据,计算出接下来要显示需要的数据,即所述光标点的第二位置、所述第一纬线轨道和所述第二经线轨道,电子设备不需要将二维坐标向三维空间进行转化,仅仅通过椭圆、光标点之间的位置关系便能够计算出显示做需要的数据,从而保证计算的简洁性和处理的高效性。

在一种可能实现的方式中,所述电子设备基于所述第二滑动数据、第三滑动数据和上一次滑动结果数据确定所述光标点的第二位置和第二经线轨道,具体执行:

基于所述第二滑动数据和所述第三滑动数据确定横向滑动位移Δx;

基于所述第一纬线轨道确定横向阈值范围[x_min,x_max];

基于所述Δx、所述[x_min,x_max]和所述光标点的第一位置确定所述光标点的第二位置的横坐标x′;

基于所述x′和所述第一纬线轨道确定所述光标点的第二位置的纵坐标y′;

基于所述x′、所述y′和所述第一经线轨道确定所述第二经线轨道。

在本申请实施例中,在用户滑动的过程中,电子设备不断地采集滑动数据,并基于已显示的结果进一步确定接下来需要显示的光标点和两轨道,从而可以保证显示的准确性。此外,不需要将三维空间与二维之间的转化,仅仅通过二维的计算显示三维的效果,保证计算的高效性。

在一种可能实现的方式中,所述电子设备基于所述Δx、所述[x_min,x_max]和所述光标点的第一位置确定所述光标点的第二位置的横坐标x′,具体执行:

所述光标点的第一位置包括第一坐标(x,y)和第一球面位置,所述球面位置表示所述光标点的第一位置处于所述球体正面或者反面;

基于所述(x,y)、所述第一球面位置和所述Δx确定所述光标点的第二位置的第一横坐标x

在所述x

在所述第一横坐标大于所述x_max的情况下,将所述确定为x_max-(x

在所述第一横坐标小于所述x_min的情况下,将所述x′确定为x_min+(x_min-x

其中,所述第二横坐标为最近一次采集到滑动点对应所述光标点的横坐标;所述第二球面位置为最近一次采集到滑动点对应所述光标点的球面位置。这样,横坐标的确定巧妙地利用了横坐标范围与正反面的转换的关系,保证光标点的准确性和计算的高效性。

在一种可能实现的方式中,所述第一用户界面中的所述光标点沿着其所在的经线轨道进行滑动,所述光标点所在的纬线轨道随着所述光标点在所述经线轨道上的滑动发生改变,具体执行:

在所述第一操作尚未结束的情况下,采集第二滑动数据,所述第二滑动数据为最近一次采集的第一操作的滑动点的坐标;

基于所述第二滑动数据、第三滑动数据和上一次滑动结果数据确定所述光标点的第三位置和第三纬线轨道;所述第三滑动数据为所述电子设备上一次采集的第一操作的滑动点的位置,所述上一次滑动结果数据是针对于所述第三滑动数据显示的所述光标点的第一位置、第一纬线轨道和第一经线轨道;

基于所述光标点的第三位置、所述第三纬线轨道和所述第一经线轨道进行显示。

在本申请实施例中,电子设备可以基于用户的横向滑动位移情况和上一次采集并显示的数据,计算出接下来要显示需要的数据,即所述光标点的第二位置、所述第一纬线轨道和所述第二经线轨道,电子设备不需要将二维坐标向三维空间进行转化,仅仅通过椭圆、光标点之间的位置关系便能够计算出显示做需要的数据,从而保证计算的简洁性和处理的高效性。

在一种可能实现的方式中,所述电子设备基于所述第二滑动数据、第三滑动数据和上一次滑动结果数据确定所述光标点的第三位置和第三纬线轨道,具体执行:

基于所述第二滑动数据和所述第三滑动数据确定纵向滑动位移Δy;

确定纵向阈值范围[y_min,y_max];

基于所述Δy、所述[y_min,y_max]、所述光标点的第一位置和所述第一纬线轨道的圆心纵坐标k确定所述第三纬线轨道的圆心纵坐标k″和所述光标点的第三位置的纵坐标y″;

基于所述球体的球心坐标和所述k″确定所述第三纬线轨道的长轴;

基于初始纬线轨道与第一纬线轨道的相似比和所述长轴确定所述第三纬线轨道的短轴;

基于所述k″、所述长轴和所述短轴确定所述第三纬线轨道;

基于所述纵坐标y″和所述第一经线轨道确定所述光标点的第三位置的横坐标x″。

在本申请实施例中,在用户滑动的过程中,电子设备不断地采集滑动数据,并基于已显示的结果进一步确定接下来需要显示的光标点和两轨道,从而可以保证显示的准确性。此外,不需要将三维空间与二维之间的转化,仅仅通过二维的计算显示三维的效果,保证计算的高效性。

在一种可能实现的方式中,基于所述Δy、所述[y_min,y_max]、所述光标点的第一位置和所述第一纬线轨道的圆心纵坐标k确定所述第三纬线轨道的圆心纵坐标k″和所述光标点的第三位置的纵坐标y″,具体执行:

所述光标点的第一位置包括第一坐标(x,y)和第一球面位置,所述球面位置表示所述光标点的第一位置处于所述球体正面或者反面;

基于所述(x,y)、所述第一球面位置和所述Δy确定所述光标点的第三位置的第一纵坐标y

在所述y

在所述y大于所述y_max的情况下,所述电子设备将所述y″确定为y_max-(y

在所述y小于所述y_min的情况下,将所述y″确定为y_min+(y_min-y

其中,所述第二纵坐标为最近一次采集到滑动点对应所述光标点的纵坐标;所述第三球面位置为最近一次采集到滑动点对应所述光标点的球面位置,所述第二圆心纵坐标为最近一次采集到滑动点对应所述第三纬线轨道的圆心纵坐标。这样,光标点纵坐标和纬线轨道的确定巧妙地利用了纵坐标范围与正反面的转换的关系,保证光标点的准确性和计算的高效性。

在一种可能实现的方式中,所述第一用户界面包括空间音频调节选项,所述空间音频调节选项包括方位角、俯仰角和距离,所述方位角表征音源方向所在直线与用户平视时的经线轨道平面所成的夹角;所述俯仰角表征音源方向所在直线与用户平视时的纬线轨道平面所成的夹角;所述距离表征音源位置与用户位置之间的长度;

在所述第一操作为沿第一方向滑动操作的情况下,所述方位角对应变化;

在所述第一操作为沿第二方向滑动操作的情况下,所述俯仰角对应变化。

在本申请实施例中,用户滑动调整光标点,最终是为了确定音频在空间中在用户的哪一个方向,因此可以在滑动过程中确定方位角和俯仰角,从而可以转换成三维空间的方向,以便电子设备对于音频信息的进一步处理,也能够为用户提供滑动的方向表示的结果。

在一种可能实现的方式中,在所述第一操作为沿第一方向滑动操作的情况下,所述方位角对应变化,具体执行:

在确定所述光标点在第二位置的横坐标x′和横向阈值范围的最值x_m的情况下,第一关系式确定所述光标点的第二位置的方位角θ′;

其中,所述第一关系式为

在所述第一操作为沿第二方向滑动操作的情况下,所述俯仰角对应变化,具体包括:

在确定所述光标点在第三位置的纵坐标y″和纵向阈值范围的最值y_m的情况下,基于第二关系式确定所述光标点的第三位置的俯仰角β″;

其中,所述第二关系式为

其中,所述横向阈值范围的最值x_m包括所述横向阈值范围的最大值x_max和最小值x_min;所述纵向阈值范围的最值包括所述纵向阈值范围的最大值y_max和最小值y_min;所述光标点的第一位置为上一次采集的第一操作的滑动点对应的光标点位置。

在本申请实施例中,电子设备可以预设两个关系式,连接方位角与横坐标之间的关系以及仰角与纵坐标之间的关系。从而可以快速地确定出方位角和俯仰角,这个不需要计算复杂的二维平面光标点的显示位置与三维空间方位角之间的关系,能够保证一定准确性的同时,调高计算的简洁程度,以及处理的效率。

第三方面,本申请实施例提供了一种芯片系统,该芯片系统应用于电子设备,该芯片系统包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的界面交互方法。

第四方面,本申请实施例提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的界面交互方法。

第五方面,本申请实施例提供了一种计算机可读存储介质,包括指令,当该指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实现的方式所述的界面交互方法。

附图说明

图1A~图1C是本申请实施例提供的一组球面运动的显示方式示意图;

图2A~图2B是本申请实施例提供的一组用户界面示意图;

图3是本申请实施例提供的一种用户滑动操作示意图;

图4A~图4B是本申请实施例提供的另一种用户滑动操作示意图;

图5A~图5C是本申请实施例提供的一种电子设备的软件结构示意图;

图6A~图6B是本申请实施例提供的一种横向滑动的交互计算的方法流程示意图;

图7A~图7B是本申请实施例提供的一组用户横向滑动光标点的示意图;

图8A~图8B是本申请实施例提供的一组光标点及轨道绘制结果示意图;

图9是本申请实施例提供的一种用户界面示意图;

图10A~图10B是本申请实施例提供的一种纵向滑动的交互计算的方法流程示意图;

图11A~图11B是本申请实施例提供的一组用户纵向滑动光标点的示意图;

图12A~图12B是本申请实施例提供的另一组光标及轨道绘制结果示意图;

图13是本申请实施例提供的另一种用户界面示意图;

图14是本申请实施例提供的一种球面运动交互的方法流程示意图;

图15是本申请实施例提供的一种电子设备的软件结构示意图;

图16是本申请实施例提供的一种电子设备100的硬件结构示意图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。

用户在听音乐的时候,往往是将播放音频的设备放置于空间位置中的某一点,人体便能感知到空间中音频的方向和距离来源。在用户戴耳机的时候,音频通常是直接入耳的,用户并不会感知到音源的方向和距离。因此,在用户戴耳机时,为了能够模拟在空间中人听音频的感知,提高用户感知空间音频的效果,用户可以通过电子设备调整空间音频的音源位置。例如,用户的可以调整空间音频与用户之间的方向以及距离。因此,针对于空间音频的场景,用户如何调整音源的方向和距离是本申请亟待解决的问题。

电子设备的屏幕是二维平面,用户操作调控的维度也是二维的,在上述应用场景中,电子设备需要通过二维的画面显示三维空间音频效果。针对空间音频的方向,电子设备可以将用户的位置(或者人接受到声音的位置)确定为球体的球心,球面各个点可以表示为音频的方向。用户可以通过调整球面光标点的位置改变空间音频的方向。

本申请实施例中,针对于球面运动的应用场景,本申请提出一种交互显示方式及电子设备。

经纬线在地理坐标系统中可以描述地球的任一位置。本申请实施例利用经纬线(的轨道)来标定光标点处于球面位置或者位置移动的过程,能够显示球面上的光标点进行移动的效果。本申请实施例中,将穿过球体表面上下两顶点(上下方向)的圆称为经线轨道,将平行于水平面的(左右方向)圆称之为纬线轨道。球体的轨道经线轨道和纬线轨道在二维的平面呈现椭圆形状。

图1A~图1C是本申请实施例公开的一组球面运动的显示方式示意图。如图1A所示,电子设备可以显示经线轨道102和纬线轨道103来表示球体101,经线轨道102和纬线轨道103是两垂直相交的圆形轨道(三维空间中),经线轨道102和纬线轨道103在球体101的正面相交于P0光标点。当前P0点的位置表示光标位置于球体101的正前方。球体101可以是以O

需要说明的是,为了更清楚地表示出球体101、经线轨道102和纬线轨道103的空间关系,以球体101左上方的一点O为三维空间的原点建立空间坐标系X轴,Y轴和Z轴。其中,X轴的正方向为向右,Y轴的正方向为向下,Z轴的正方向为向前。X轴和Y轴在二维平面交互和显示中计算的时候能够实际使用到,使用实线表示,而Z轴并不会只用到,因此使用虚线表示。在实际计算的过程中,电子设备屏幕所在的平面为XOY面,电子设备可以以屏幕左上角为原点建立坐标系,也可以以球体球心为原点建立坐标系(未示出)。

在电子设备实际显示的时候,上述的辅助线X轴,Y轴和Z轴以及球体101均不进行显示。如图1B所示,电子设备可以仅显示经线轨道102,纬线轨道103,以及用于表示当前位置的两轨道的交点P0。经线轨道102,纬线轨道103和交点P0根据用户的操作会发生变化的,P0可以在球体正面,可以以在球体正面,也可以在球体背面。如图1C所示,电子设备可显示P0处于球体正背面的一点。

可选地,两轨道(经线轨道102和纬线轨道103)位于球体101正面的部分,用户可以看见,因此可以显示为实线;而两轨道位于球体101背面的部分,用户看不见,电子设备可以将两轨道按照越接近背面的轨道透明度越大的方式进行显示,电子设备也可以将两轨道中一个轨道全部显示,另一个轨道处于球体背面的透明度变大,例如,经线轨道为实线,纬线轨道处于球体背面的透明度增大。这样,能够有效地区分轨道的位置处于正面还是反面的部分。两轨道的正面和背面还可以通过其他方式进行区别,本申请不加限定。

可选地,在P0在球体的正面位置的情况下,P0光标点显示在经线轨道和纬线轨道表面,即光标点覆盖两轨道;相反,在P0在球体的背面位置的情况下,P0光标点显示在经线轨道和纬线轨道下方,即两轨道覆盖光标点。光标点的位置一直是位于球体表面的,因此,前后的显示顺序,前方的覆盖后方的,因此,上述正好能够表明光标显示的正背面的位置。

本申请实施例中,电子设备可以通过二维平面显示三维球体表面位置的移动情况。

用户左右滑动调整经线轨道,上下滑动调整纬线轨道。以三维空间的效果来看,用户左右滑动,光标点沿着其所在的纬线轨道进行滑动,光标点所在的经线轨道随着光标点在纬线轨道上的滑动发生改变。即经线轨道以上下方向的轴(Y轴)为旋转轴线顺时针或者逆时针旋转。用户上下滑动,光标点沿着其所在的经线轨道进行滑动,光标点所在的纬线轨道随着光标点在经线轨道上的滑动发生改变,即纬线轨道平行于XOZ平面以Y轴上的点为圆心上下缩放变化,即纬线轨道的半径也会做随之发生变化。以二维平面的显示效果来看,用户左右滑动经线轨道的椭圆长轴(Y轴方向)不变,短轴发生增大或者减小的过程,最大短轴等于长轴,最小短轴为0,即呈现一条竖线。用户上下滑动纬线轨道的椭圆的沿着Y轴方向平移,且椭圆进行放大或缩小,在上下滑动过程中,滑动到长轴最长的位置,长轴的半径即圆形的半径。

上述的过程中,电子设备能够通过横向或者纵向滑动,调整音频在空间中的位置,用户通过滑动光标点,电子设备便能够模拟的空间音源点,体验音源点在不同位置时的音效。进一步地,三维的音源空间位置在二维屏幕上,调整和交互往往有一定难度,需要用户学习和适应,本申请结合经线和纬线标定球体位置从而确定音源的空间方向,能够保证交互中用户使用的直观和便捷程度。

下面按照电子设备显示以及用户的操作说明整个交互流程:

首先,电子设备显示光标相对于球体初始位置的用户界面。

图2A~图2B是本申请实施例公开的一组用户界面示意图。如图2A所示,用户打开电子设备的显示界面,电子设备可以显示用户界面210。用户界面210可以包括多个应用。例如,天气、日历、邮件、设置、应用商店、便签、图库、XX211、电话、短消息、浏览器和相机等。其中,应用程序的图标以及相应的应用程序的名称的位置可以根据用户的喜好进行调整,本申请实施例对此不作限定。本申请实施例中,打开XX211应用程序的时候,电子设备可以显示球面上一点的位置,且用户操作改变这一点位置的情况,XX211应用的名称和图案均不限定。例如,XX可以为音乐应用,也可以为空间音频(spatial audio)应用。

需要说明的是,图2A所示的电子设备的界面示意图为本申请实施例的示例性的展示,电子设备的界面示意图也可以为其他样式,本申请实施例对此不作限定。

在图2A中,用户可以点击用户界面210(球体交互界面)中的XX211控件,电子设备接收到作用于XX211控件的操作之后,可以显示图2B所示的用户界面220。

如图2B所示,用户界面220中可以显示球面位置交互图案221。球面位置交互图案221中可以的具体描述可以参考图1A~图1C中的相关描述。电子设备进入XX应用的情况下,电子设备显示光标位置为球体正前方的位置,即图2B中的P0点。在用户界面220中,用户的可以滑动屏幕,调整光标点P0以及经线轨道102和纬线轨道103。在本申请实施例中,球面位置交互图案221的显示的大小和显示的位置均不限定。

可选地,如图2B所示,用户界面220可以显示空间音频调节的菜单栏223。菜单栏223可以包括方位角(azimuth)、俯仰角(elevation)和(音源)距离(distance)三种调节选项。方位角表示音源方向所在直线与用户平视时的经线轨道平面所成的夹角;俯仰角表示音源方向所在直线与用户平视时的纬线轨道平面所成的夹角,距离表示音源位置与球心(用户位置)之间的长度,例如,当前方位角为0度、俯仰角为0度和距离为100m。

可选地,如图2B所示,针对于上述的菜单栏223中的音源(sound source)距离(distance),用户界面220可以包括音源距离调整栏222,用户可以滑动音源距离控件增大或者缩小距离。例如,用户将距离控件向左滑动减小距离,向右滑动增大距离。这样,电子设备还可以调整音频在空间位置距离用户之间的方向,提高可调整的维度,保证更符合音频在空间位置调节过程中的灵活性。

可选地,如图2B所示,用户界面220还包括“推荐位置(recommended position)”(推荐音源位置)的控件,用户点击“推荐位置”控件,电子设备可以将音源的位置调整到电子设备所推荐的空间位置。具体地,电子设备可以存储有预选光标点、预选纬线轨道、预选经线轨道(对应特定的(预选)方位角和(预选)俯仰角)和预选音源距离。其中,预选光标点为推荐音源位置所在的光标点;预选纬线轨道为推荐音源位置对应的纬线轨道;预选经线轨道为推荐音源位置对应的经线轨道;音源距离推荐的音源距离。响应于用户触控“推荐位置”控件的操作,电子设备将光标点调整为预选光标点,将纬线轨道显示为预选纬线轨道、将经线轨道调整为预选经线轨道,将所述音源距离调整为音源距离。这样,用户可以将调整的位置恢复到推荐的音源位置,加快调整的结果,简化操作过程,进一步提高操作的便捷性和高效性。

示例性地,如图13所示,电子设备显示用户界面1310,用户点击推荐位置控件之后,电子设备显示如图2B所示的用户界面220。即预选方位角和预选俯仰角都为0度,将方位角从75度调整为0度;将俯仰角从60度调整为0度;推荐的预选音源距离保持100m不变。上述的预选方位角、预选俯仰角和预选音源距离均是示例性的描述,不限定。

需要说明的是,上述的用户界面220中,电子设备针对于音频1的空间方向和位置的调整,此时,电子设备已经启动空间音频的功能,并且可以由用户手动调节(manual)。用户也可以选择自动调节的按钮,电子设备进行自动调节(auto)。

电子设备首次显示用户界面220的时候,光标点P0位于球体的正前方点处。电子设备可以预设当前的坐标系为XOY。球体在XOY平面为图1A中的球体101(呈现为圆形),其圆心为O

示例性地,在XOY的平面中(此时的XOY平面为以球心O

纬线轨道103(长轴在X轴)为:

经线轨道102(长轴在Y轴)为:

示例性地,在XOY的平面中(此时的XOY平面为屏幕左上角为原点的平面),电子设备可以绘制并显示的两个轨道可以表示为:

纬线轨道103(长轴在X轴)为:

经线轨道102(长轴在Y轴)为:

此时,(m,n)为圆心点的坐标。

需要说明的是,上述的纬线轨道103和经线轨道102的长轴不一定相等,短轴也不一定相等,为了方便说明,下面的描述也会延用上述公式,本申请实施例不加限定。

可选地,经线轨道和纬线轨道处于正面的轨道突出显示,处于背面的轨道隐含显示。如图2B所示,电子设备显示的轨道的正面通过实线进行显示,轨道的背面越接近正背面的点,轨道透明度越大,处于球体背面的轨道显示渐变颜色。进一步地,纬线轨道的下半部分可以表示为球体正面,对应上半部分可以表示为球体背面;纬线轨道的上半部分也可以表示为球体正面,对应下半部分可以表示为球体背面。经线轨道的左半部分可以表示为球体正面,对应右半部分可以表示为球体背面;纬线轨道的左半部分可以表示为球体背面;对应右半部分可以表示为球体正面。

用户可以上下滑动或者左右滑动。示例性的,如图2B所示,响应于用户的AB轨迹的(向右)滑动操作,电子设备可以将P0沿着纬线轨道顺时针方向移动,且经线轨道进行变化。响应于用户的AC轨迹的(向上)滑动操作,电子设备可以将P0沿着经线轨道向上移动,且纬线轨道进行上下变化。

电子设备显示球面交互的用户界面之后,用户可以通过滑动操作调整光标点在球体表面的位置。用户调整光标点的位置的时候可以进行左右滑动,调整进行纬线轨道;上下滑动调整经线轨道。下面结合用户的滑动操作,具体说明电子设备的交互过程。光标点进行移动,相应的轨道进行变换,光标点的移动方向可以分为横向和竖向,相应的轨道也包括横向的纬线轨道和纵向的经线轨道,下面针对用户对于光标点的移动,对电子设备进行显示的处理过程加以说明:

为了方便表示交互情况,更简明地表示用户滑动过程和球面位置交互图案的变化情况,此后的图中可直接通过球面上的两轨道和光标点位置以及相关的辅助线内容表示,光标点在球面的位置可表示音源的方向。

电子设备检测到用户的滑动操作的情况下,先判断是否触发光标点移动。

在电子设备显示球体交互界面情况下,响应于滑动操作,电子设备可以判断是否触发光标点移动。在判断不移动的情况下,电子设备不需要变动光标点和两轨道的位置;在判断移动的情况下,电子设备可以判断用户的滑动方向,基于滑动操作显示光标点和两轨道的变化。

电子设备判断横向滑动距离或者纵向滑动距离是否大于滑动阈值距离,在大于滑动阈值距离的情况下,可以确定触发光标点移动;否则,判断不触发光标点移动。

用户点击屏幕开始滑动,滑动起点为(x0,y0),当前的滑动点为(x1,y1)。已知滑动阈值距离m,电子设备可以确定当前横向移动的位移为dx=x1-x0,横向滑动距离记为|dx|=|x1-x0|;纵向移动的位移为dy=y1-y0,纵向滑动距离记为|dy|=|y1-y0|。在电子设备判断出|dy|≤m(|dy|m)的情况下,可以确定当前不移动光标点;在电子设备判断出|dy|>m(|dy|≥m)或|dx|>m(|dy|≥m)的情况下,可以确定移动光标点。当且仅当,电子设备判断出触发光标点移动的情况下,电子设备可以开始对应显示轨道以及光标点的移动,在判断出不移动光标点的情况下,电子设备显示轨道以及光标点不移动。

具体地,电子设备响应于用户的滑动操作,确定滑动起点为(x0,y0),当前滑动点为(x1,y1),并计算|dy|和|dx|。在|dy|≤m(|dy|m)的情况下,若电子设备检测到结束滑动操作,则不触发光标点移动,即显示不移动光标点和轨道。若电子设备检测到继续滑动操作,达到dy|>m(|dy|≥m)或|dx|>m(|dy|≥m)的条件,电子设备可以显示移动光标点和轨道。在|dy|≤m且|dx|≤m的情况下,随着用户的滑动操作,光标点和轨道持续变化,直到滑动操作结束为止。

上述滑动过程中,用户可以横向滑动或者纵向滑动,电子设备可以通过屏幕周期地采集用户触控屏幕的位置,即(x1,y1),电子设备获取到滑动点的数据,便可以对应计算。

可选地,T0时刻,电子设备检测到用户开始滑动,并获取到滑动起点(x0,y0),在T1时刻,电子设备检测到滑动点为(x1,y1),且判断出|dy|≤m(|dy|m),电子设备可以确定不触发移动光标点。在T2时刻,电子设备检测到用户结束滑动操作,可以不触发光标点移动,即显示的用户界面中,不发生改变。

可选地,T0时刻,电子设备检测到用户开始滑动,并获取到滑动起点(x0,y0),在T1时刻,电子设备检测到滑动点为(x1,y1),且判断出|dy|≤m(|dy|m)。在T3时刻,电子设备检测到滑动点为(x2,y2),且判断出dy|>m(|dy|≥m)或|dx|>m(|dy|≥m),电子设备可以确定触发移动光标点,并确定滑动方向,计算滑动过程,显示到用户界面。在T4时刻,电子设备检测到用户结束滑动操作,电子设备可以结束此次用户滑动。

示例性地,图3是本申请实施例示例性地示出的一种用户滑动操作示意图。如图3所示,将用户滑动的屏幕确定为XOY平面,电子设备响应于滑动操作,确定滑动起点为A点(x0,y0),用户滑动轨迹为虚线302,当用户滑动到AC之间的时候,电子设备可以确定|dy|≤m且|dx|≤m,电子设备不显示轨道以及光标点的移动。当滑动操作划过C点之后,电子设备判断出|dx|>m,电子设备可以进一步确定滑动方向,并需要对光标点和轨道的移动进行显示。

示例性地,如图3所示,若电子设备检测到用户在滑动到AC之间结束滑动操作,便可以确定不触发光标点移动,电子设备可以显示光标点和轨道不变化,即保持原来的位置显示即可。

上述过程中,用户进行滑动操作的情况下,滑动距离太短,可能是用户的误触屏幕或者点击控件,因此,可以保证触发光标点移动的准确性。

电子设备在触发光标点移动的情况下,基于用户的滑动操作判断滑动方向。

电子设备基于横向滑动距离|dx|和纵向滑动距离|dy|判断滑动的方向为横向还是纵向,进一步基于滑动位移的正负确定是滑动为左还是右,或者上还是下。

在|dy|>|dx|的情况下,电子设备纵向滑动,即光标点沿着经线方向滑动,纬线上下变化;进一步地,电子设备基于dy的正负确定纵向滑动的方向,在dy>0的情况下,电子设备确定光标点沿着经线方向(Y轴正方向)向下滑动;纬线向下滑动变化。在dy<0的情况下,电子设备确定光标点沿着经线方向(Y轴负方向)向上滑动;纬线向上滑动变化。

在|dy|<|dx|的情况下,电子设备横向滑动,即光标点沿着纬线方向滑动,经线左右变化;进一步地,电子设备基于dx的正负确定横向滑动的方向,在dx>0的情况下,电子设备确定光标点沿着纬线方向(X轴正方向)向右滑动;纬线向右滑动变化。在dx<0的情况下,电子设备确定光标点沿着纬线方向(X轴负方向)向左滑动;纬线向左滑动变化。

在|dy|=|dx|的情况下,电子设备不移动轨道和光标点。电子设备可以进一步采集滑动点重复上述过程即可。

示例性地,图4A~图4B是本申请实施例公开的另一种用户滑动操作示意图。如图4A所示,用户在屏幕上的滑动轨迹是虚线AF,AF横向或者纵向滑动距离大于滑动阈值距离(例如,电子设备已经判定|dy|>m)。电子设备可以比较横向滑动距离|dx|和纵向滑动距离|dy|的大小,如图4A所示,|dy|>|dx|,电子设备可以确定纵向滑动,且dy=y2-y0<0,因此用户从A(x0,y0)滑动到F(x2,y2),沿Y轴负方向滑动|dy|的距离。可以确定在Y轴方向从A(x0,y0)滑动到G(x0,y2),纵向滑动位移为AG。

示例性地,如图4B所示,用户在屏幕上的滑动轨迹是虚线AI,AI横向或者纵向滑动距离大于滑动阈值距离(例如,电子设备已经判定|dx|>m)。电子设备可以比较横向滑动距离|dx|和纵向滑动距离|dy|的大小,如图4B所示,|dx|>|dy|,电子设备可以确定纵向滑动,且dx=x3-x0>0,因此用户从A(x0,y0)滑动到I(x3,y3),沿X轴正方向滑动|dy|的距离。可以确定在X轴方向从A(x0,y0)滑动到H(x3,y0),横向滑动位移为AH。

上述实施方式中,可以准确地确定用户滑动的方向,在触发光标点移动时再确定滑动方向,也能够保证确定方向的必要性。

电子设备确定触动光标点移动的情况下,继续采集滑动点位置,并基于滑动点位置和上一次滑动结果确定经线轨道、纬线轨道和光标点的坐标,并显示变化的经线轨道、纬线轨道和光标点。

在电子设备检测出继续滑动的情况下,电子设备可以继续采集操作的触控点,电子设备可以基于此次采集的触控点和上一次触控点的显示结果(上一光标点,上一经线轨道和上一纬线轨道)确定这一次的显示结果(这一光标点,这一经线轨道和这一纬线轨道)。

在滑动过程中,电子设备可以确定持续采集触控点的位置。例如,上一滑动点坐标为(x

在判断出横向移动的情况下,电子设备计算并显示经线轨迹的变化过程和光标点的变化过程。(横向移动的过程中,纬线轨道不变,只改变经线轨道)

从三维空间来看,用户左右滑动,光标坐标的位置沿着纬线轨道(向左滑动,纬线轨道顺时针旋转;向左滑动,纬线轨道逆时针旋转)滑动,而经线轨道沿着Y轴方向进行旋转。在二维平面来看,用户左右滑动,纬线轨道的椭圆不发生变化,经线轨道椭圆的长轴(Y轴方向的长度)不变,短轴随着用户滑动增大或者缩小。

图6A~图6B是本申请实施例提供的一种横向滑动的交互计算的方法流程示意图,如图6A所示,用户横向滑动的过程中,电子设备的交互计算可以包括但不限于以下步骤:

本申请实施例中第一纬线轨道、第一经线轨道和光标点的第一位置均是指在电子设备在滑动操作中,上一次采集的滑动点处理并显示的滑动结果数据(上一次滑动结果数据)。

S11:电子设备确定横向滑动位移、第一纬线轨道、以及横轴阈值范围。

电子设备存储有上一次采集的滑动点坐标(x

第一纬线轨道为这一次滑动操作之前或者上一次滑动操作结束之后确定的纬线轨道。示例性地,图5A和图5B是本申请实施例公开的一组球面运动光标点的轨道示意图。如图5A所示,若当前的椭圆按照圆心为原点的XOY坐标系进行计算,第一纬线轨道的表达式为

电子设备可以先基于第一纬线轨道的表达式确定横轴阈值范围[x_min,x_max],之后可以基于横轴阈值范围确定光标滑动点。示例性地,如图5A中,x_min=-a;x_max=a。如图5B中,x_min=-a1;x_max=a1。

S12:电子设备确定光标点的第二位置的第二横坐标。

电子设备可以基于Δx、[x_min,x_max]和光标点的第一位置确定光标点的第二位置的横坐标x′。

在本申请实施例中,光标点的第一位置是上一次采集到滑动点确定出的光标点位置,光标点的第二位置在横向滑动的过程中,这一次采集到滑动点需要确定的光标点位置。光标点位置包括坐标和球面位置,球面位置表示光标点的位置处于所述球体正面或者反面。第一位置可以包括第一坐标(x,y)和第一球面位置,第二位置包括第二坐标(x′,y′)和第二球面位置。第二经线轨道是这一次采集到滑动点需要确定的经线轨道。如图6B所示,确定光标点第二位置的横坐标x′的方法可以包括但不限于以下步骤:

S121:电子设备基于第一坐标,横向滑动位移和第一球面位置确定所述光标点的第二位置的第一横坐标。

电子设备基于用户的左右滑动,确定X轴方向的横向滑动位移Δx。其中,Δx可正可负,用户向右滑动,Δx为正,表示光标点沿着纬线轨道的逆时针进行变化;用户向左滑动,Δx为负,表示光标点沿着纬线轨道的顺时针进行变化。

电子设备判断第一球面位置为球体的正面还是反面。电子设备可以将第一坐标(x,y)与第一纬线轨道圆心纵坐标k进行比较确定上一光标点所处球体的正反面位置。

可选地,如图5A所示。第一纬线轨道椭圆表达式中,位于椭圆轨道上半部分的光标点表示位于背面;下半部分的光标点位于球体正面。电子设备可以将光标点的第一位置中纵坐标与第一纬线轨道的圆心纵坐标k进行比较,在y>k的情况下,光标点的第一位置位于球体背面;在yk的情况下,光标点的第一位置位于球体正面。

在确定第一球面位置之后,电子设备在光标点的第一位置处于正面的情况下,将光标点的第二位置第一横坐标确定为x

示例性地,如图5A所示,第一纬线轨道的圆心纵坐标k为0,光标点的第一位置P0(x,y)的纵坐标y小于k,电子设备可以确定P0处于球体的正面。此时,光标点的第二位置的第一横坐标为x

在本申请实施例中,第一横坐标x

S122:电子设备判断第一横坐标是否超出横轴阈值范围;在处于横轴阈值范围内的情况下,电子设备执行S123;否则,电子设备执行S124。

由于电子设备第一横坐标x

具体地,电子设备判断光标点第二位置的第一横坐标x

S123:电子设备将第一横坐标确定光标点的第二位置的第二横坐标,且将第二球面位置确定为与第一球面位置相同的球面位置。

在横轴阈值范围内的情况下,电子设备可以确定光标点的第二位置的第二横坐标最终结果为第一横坐标,即在光标点的第一位置处于正面的情况下,将光标点的第二位置的第二横坐标确定为x′=x+Δx=x

S124:电子设备判断光标点的第二位置的第一横坐标是否小于横轴阈值范围的最小值。在小于的情况下,电子设备可以执行S126;在不小于的情况下,则执行S125。

具体地,电子设备可以判断x′是否小于x_min的情况下,在小于的情况下(x′<x_min),电子设备则执行S126;在不小于的情况下(x′>x_max),电子设备则执行S125。

S125:电子设备确定光标点的第二位置的第二横坐标为x_max-(x

S126:电子设备确定光标点的第二位置的第二横坐标为x_min+(x_min-x

具体地,电子设备需要保证光标点的第二位置的第一横坐标处于横轴阈值范围[x_min,x_max]内。电子设备判断光标点的横坐标x′是否处于[x_min,x_max]内。

在处于[x_min,x_max]内的情况下,电子设备在光标点的第一位置处于正面的情况下,将光标点的第二位置的横坐标保持x′=x+Δx不变,确定光标点的第二位置也为正面(与第一球面位置相同);在光标点的第一位置处于背面的情况下,将光标点的第二位置的横坐标保持x′=x-Δx不变,确定光标点的第二位置也为背面(与第一球面位置相同)。

在不处于[x_min,x_max]内的情况下,分为两种情况:电子设备判断出x′<x_min的情况下,将第二横坐标确定为x_min+(x_min-x

其中,光标点的第二位置的第二横坐标为最近一次采集到的滑动点所对应确定的光标点的横坐标。

示例性的,图7A和图7B是本申请实施例示例性地公开的一组用户横向滑动光标点的示意图。如图7A所示,用户向右滑动,光标沿着纬线轨道逆时针方向旋转。几次滑动操作的滑动起点是Q1。在用户进行滑动1操作的情况下,滑动点滑动到Q2(横向位移),电子设备显示的光标点可以从Q1′滑动到Q2′。滑动1操作的过程中,光标点均处于球面的正面。在用户进行滑动2操作的情况下,滑动点滑动到Q3,电子设备显示的光标点可以从Q1′滑动到Q3′。光标点从球面的正面滑动到球面的背面。在用户进行滑动3操作的情况下,滑动点滑动到Q4,电子设备显示的光标点可以从Q1′滑动到Q4′。滑动3操作的过程中,光标点从球面的正面经过球面的背面再滑动到球面的正面。滑动过程中,电子设备可以采集很多滑动点,每次采集一个滑动点,需要计算对应光标点。

如图7B所示,用户向左滑动,光标沿着纬线轨道顺时针方向旋转。几次滑动操作的滑动起点是G1。在用户进行滑动4操作的情况下,滑动点滑动到G2,电子设备显示的光标点可以从G1′滑动到G2′。滑动4操作的过程中,光标点均处于球面的正面。在用户进行滑动5操作的情况下,滑动点滑动到G3,电子设备显示的光标点可以从G1′滑动到G3′。光标点从球面的正面滑动到球面的背面。

S13:电子设备基于光标点第二位置的第二横坐标和第二球面位置和第一纬线轨道确定光标点第二位置的纵坐标。

在S12中电子设备光标点第二位置的第二横坐标x′,电子设备可以基于光标点的横坐标x′确定其纵坐标y′。

电子设备已知第一纬线轨道的表达式,将x′代入上述第一纬线轨道表达式可以求出y′。其中,在x_min<x′<x_max的情况下,可以确定出两个纵坐标,即y′1和y′2,(y′1>k>y′2)。如图5A和图5B所示,电子设备确定第二球面位置处于正面的情况下,确定光标点的第二位置的纵坐标为y′2;确定第二球面位置处于背面的情况下,确定光标点的第二位置的纵坐标为y′1。在x′=x_min或者x′=x_max的情况下,电子设备可以直接确定出一个y′为光标点的第二位置的纵坐标。如图5C所示,电子设备确定第二球面位置处于正面的情况下,确定光标点的第二位置的纵坐标为y′1;确定第二球面位置处于背面的情况下,确定光标点的第二位置的纵坐标为y′2。

示例性地,如图5B所示,第一纬线轨道的表达式为:

电子设备可以将x′代入上述表达式,得到y′1和y′2。电子设备确定更新后的光标点为正面的情况下,由于y′2

综上,电子设备可以得到随着用户滑动,得到光标点的第二坐标为(x′,y′)。

S14:电子设备基于光标点的第二坐标确定第二经线轨道。

由于滑动过程中,光标点经过经线轨道,经线轨道为短轴变化、长轴不变的椭圆,电子设备可以基于光标点的第二位置求取椭圆中短轴大小,便可以确定经线轨道的表达式。

示例性地,以经线轨道的圆心是XOY坐标系的原点为例,经线轨道的标准椭圆表达式为:

其中,b′为未知的,将(x′,y′)代入上述表达式,可以确定b′,从而可以确定随着用户滑动,经线轨道的表达式。

示例性地,以屏幕左上角是XOY坐标系的原点为例,经线轨道的椭圆表达式为:

其中,b″为未知的,将(x′,y′)代入上述表达式,可以确定b″,从而可以确定随着用户滑动,经线轨道的表达式。

上述两种示例性,具体参数a、x、y、m和n的含义可以参照上述图2A~图2B中的相关描述,不赘述。

电子设备确定(x′,y″)和经线轨道的表达式之后,可以进行绘制,并进行显示,其中,光标点沿着纬线轨道进行移动,经线轨道按照表达式的变化进行变化。

示例性地,图8A和图8B是本申请实施例示例性地示出的一组光标点及轨道绘制结果示意图。如图5A所示,电子设备中滑动起点显示的图标,光标点P0;如图8A所示,电子设备显示沿着纬线轨道滑动到光标点P2的图标。光标点滑动前后均在球体的正面。

示例性地,如图5A所示,电子设备中滑动起始点的光标点P0;如图8B所示,电子设备显示沿着纬线轨道滑动到光标点P3的图标。光标点从球体的正面滑动到球体背面。

进一步地,电子设备可以基于第二横坐标计算电子设备的方位角,并按照计算的方位角进行绘制。

一种可能的实施方式中,电子设备存储有光标点的横坐标处于最值时的方位角θ_m,光标点在第一位置的方位角θ;光标点在第一位置的横坐标x,上述过程中,电子设备计算出第二位置的横坐标x′和横向阈值范围的最值x_m。电子设备可以基于第一关系式为

示例性地,上一光标点处于P0(图1A中,第一位置),x对应的方位角θ为0度,纬线轨道最右端x_max,对应的方位角为135度;纬线最左端x_min,对应的方位角为315度。假设光标点第二位置位于P1点,x′位于球体正面的x到x_max之间。电子设备可以基于

在上述的实施方式中,电子设备可以预设一个关系式,连接方位角与横坐标之间的关系。从而可以快速地确定出方位角,这个不需要计算复杂的二维平面光标点的显示位置与三维空间方位角之间的关系,能够保证一定准确性的同时,调高计算的简洁程度,以及处理的效率。

另一种可能的实施方式中,光标点的方位角满足公式

在上述的实施方式中,电子设备确定方位角,需要建立二维平面光标点与三维空间方位角的关系,能够保证方位角的准确性。

图9是本申请实施例示例性地示出的一种用户界面示意图。如图9所示,电子设备基于用户向右的滑动操作,可以显示用户界面910。用户界面910中,电子设备可以从图2B中的P0点滑动到图9中的P1点,将方位角从0度调整为75度。

在判断出纵向移动的情况下,电子设备计算并显示纬线轨迹的变化过程和光标点的变化过程。(纵向移动的过程中,经线轨道不变,只改变纬线轨道)

从三维空间来看,用户上下滑动,光标坐标的位置沿着经线轨道(向上滑动,为经线轨道上移;向下滑动,经线轨道下移)滑动,而纬线轨道沿着Y轴方向进行变化。在二维平面来看,用户上下滑动,经线轨道不发生变化,纬线轨道随着用户滑动进行上下增大或者缩小。

图10A~图10B是本申请实施例提供的一种纵向滑动的交互计算的方法流程示意图,如图10A所示,用户纵向滑动的过程中,电子设备的交互计算可以包括但不限于以下步骤:

S21:电子设备确定纵向滑动位移、第一经线轨道,以及第一纬线轨道的圆心以及纵向阈值范围。

电子设备存储有上一次采集的滑动点坐标(x

第一纬线轨道为这一次滑动操作之前或者上一次滑动操作结束之后确定的经线轨道。例如,如图8A和图8B所示,经线轨道的表达式可以为:

电子设备确定上一次采集滑动点之后,计算出第一纬线轨道的圆心(即第一纬线轨道的圆心)并存储。当然,电子设备页可以确定第一纬线轨道的表达式,并通过第一纬线轨道的表达式确定第一纬线轨道的圆心。

示例性地,如图5B所示,纬线轨道的表达式为

由于横向滑动的过程中,经线轨道的长轴不发生变化,因此可以纵轴阈值范围为[y_min,y_max]是固定的。例如,y_min=-a;y_max=a。

S22:电子设备确定第三纬线轨道的圆心纵坐标和光标点第三位置的纵坐标。

其中,光标点的第三位置在纵向滑动的过程中,这一次采集到滑动点需要确定的光标点位置,第三位置包括第三坐标(x″,y″)和第三球面位置。第三纬线轨道是这一次采集到滑动点需要确定的纬线轨道。

电子设备可以基于Δy、[y_min,y_max]、光标点的第一位置和第一纬线轨道的圆心纵坐标k确定第三纬线轨道的圆心纵坐标k″和光标点第三位置的纵坐标y″。

如图10B所示,确定圆心坐标k″和光标点第三位置的纵坐标y″的方法可以包括但不限于以下步骤:

S221:电子设备基于纵向滑动位移,第一纬线轨道的圆心纵坐标、第一球面位置计算光标点的第三位置的第一纵坐标和第三纬线轨道的第一圆心纵坐标。

电子设备基于用户的上下滑动,确定Y轴方向的纵向滑动位移Δy。其中,Δy可正可负,用户向下滑动,Δy为正,表示光标点沿着经线轨道向下滑动;用户向上滑动,Δy为负,表示光标点沿着经线轨道向上滑动。

已知上一纬线轨道的圆心坐标为(0,k),上一光标点纵坐标为y。假设用户的纵向滑动位移为Δy。电子设备可以计算出第三纬线轨道的第一圆心纵坐标为k

电子设备可以存储有第一球面位置,判断第一球面位置是正面还是背面。在第一球面位置处于正面的情况下,k

S222:电子设备判断第一圆心纵坐标是否超出纵轴阈值范围;在处于纵轴阈值范围内的情况下,电子设备执行S223;否则,电子设备执行S224。

电子设备判断是否y_min≤y

S223:电子设备将光标点的第三位置的第一纵坐标确定为其第二纵坐标,将第三纬线轨道的第一圆心纵坐标确定为其第二圆心纵坐标,且将第三球面位置确定为与第一球面位置相同的球面位置。

在k

S224:电子设备判断第一圆心纵坐标是否小于纵轴阈值范围的最小值(或者第一纵坐标是否小于纵轴阈值范围的最小值)。在小于的情况下,电子设备可以执行S226;在不小于的情况下,则执行S225。

电子设备判断k″是否满足k″(或者y″)<y_min。在k″满足k″<y_min的情况下,确定k″(或者y″)y_max,可以执行S225。

S225:电子设备将第三纬线轨道的第二圆心纵坐标确定为y_max-(k

S226:电子设备将第三纬线轨道的第二圆心纵坐标确定为y_min+(y_min-k

具体地,电子设备需要保证这一光标纵坐标处于纵轴阈值范围[y_min,y_max]内。电子设备判断光标点的纵坐标y″或k″是否处于[y_min,y_max]内。

在处于[y_min,y_max]内的情况下,电子设备在第一球面位置处于正面的情况下,将光标点的第三位置的纵坐标保持y″=y+Δy不变,以及第三纬线轨道的圆心纵坐标保持k″=k+Δy不变,确定第三球面位置也为正面(与第一球面位置相同);在第一球面位置处于背面的情况下,将光标点第三位置的纵坐标保持y″=y-Δy不变,以及第三纬线轨道的圆心纵坐标保持k″=k-Δy不变,确定第三球面位置也为背面(与第一球面位置相同)。

在不处于[y_min,y_max]内的情况下,分为两种情况:电子设备判断出y

其中,光标点的第三位置的第二纵坐标为最近一次采集到的滑动点所对应确定的光标点的纵坐标,第二圆心纵坐标为最近一次采集到的滑动点所对应第三纬线轨道的圆心纵坐标。

综上,电子设备可以将纬线轨道的圆心纵坐标确定为(0,k″),光标点纵坐标y″。以及第三球面位置。

示例性地,图11A和图11B是本申请实施例示例性地公开的一组用户纵向滑动光标点的示意图。如图11A所示,用户向上滑动,光标沿着经线轨道向上移动(正面)。几次滑动操作的滑动起点是R1。在用户进行滑6动操作的情况下,滑动点滑动到R2(纵向位移),电子设备显示的光标点可以从R1′滑动到R2′。滑动6操作的过程中,光标点均处于球面的正面。在用户进行滑动7操作的情况下,滑动点滑动到R3,电子设备显示的光标点可以从R1′滑动到R3′。光标点从球面的正面滑动到球面的背面。

如图11B所示,用户向左滑动,光标沿着经线轨道向下移动。几次滑动操作的滑动起点是F1。在用户进行滑动8操作的情况下,电子设备显示的光标点可以从F1′滑动到F2″。滑动8操作的过程中,滑动点滑动到F2,光标点均处于球面的正面。在用户进行滑动9操作的情况下,滑动点滑动到F3,电子设备显示的光标点可以从F1′滑动到F3′。光标点从球面的正面滑动到球面的背面。

S23:电子设备基于球体的球心坐标、第三纬线轨道的第二圆心纵坐标确定第三纬线轨道的长轴和短轴。

电子设备可以基于圆的表达式(球体的在XOY平面的投影的圆形)和第三纬线轨道的圆心纵坐标确定第三纬线轨道的长轴。

电子设备可以将k″代入圆的表达式,确定出相同纵坐标的两坐标点或者一个坐标点。

可选地,电子设备在确定两坐标点的情况下,得到位于圆上的两点(x_min,k″)和(x_max,k″)。电子设备可以确定长轴2*a2为x_max-x_min。其中,x_max>x_min。因此,可以计算得到纬线轨道椭圆的长轴的一半为a2。

具体地,由于纬线轨道椭圆的左右两顶点与圆x

可选地,电子设备可以基于勾股定理确定出长轴,斜边球体半径a,一个直角边为|k″|,得到

进一步地,电子设备可以基于初始纬线轨道与第一纬线轨道的相似比和长轴确定第三纬线轨道的短轴。

由于在纬线轨道变化的过程中,纬线轨道与初始纬线轨道(最大)是相似的,因此可以按照初始纬线轨道与目前第三纬线轨道的相似比确定短轴长度。

相似比为:

其中,a和b是预置的,电子设备已知,其含义可参考上述的描述,不赘述。在电子设备已知a2的情况下,可以求得b2。短轴为2*b2。

至此,电子设备可以确定出纬线轨道的表达式为:

S24:电子设备基于光标点的第三位置的第二纵坐标和第一经线轨道确定光标点第三位置的横坐标。

电子设备可以将y″代入第一经线轨道的表达式,可以得到一个横坐标或者两个横坐标。在得到两个横坐标的情况下,电子设备可以基于第三球面位置确定出光标点的第三位置的横坐标。

第一经线轨道的表达式为

在电子设备确定出x″1以及x″2的情况下,可以判断x″1和x″2分别大于0还是小于0,选择横坐标。

电子设备先判断当前第一经线轨道左半部分为球体正面,右半部分为球体反面;还是左半部分为球体反面,右半部分为球体正面。电子设备可以基于第一球面位置以及光标点的第一位置的横坐标x进行判断。

具体地,光标点的第一坐标为(x,y)。电子设备确第一球面位置处于球面的正面,且x<0;或者确定第一球面位置处于球面的反面,且x>0,电子设备都可以确定x<0的部分为正面,x>0的部分为反面。电子设备确定第一球面位置处于球面的正面,且x>0;或者第一球面位置处于球面的反面,且x<0,电子设备都可以确定x>0的部分为正面,x<0的部分为反面。

一种可能的实施方式中,第三经线轨道中横坐标小于0的部分为第三经线轨道的正面,大于0的部分为第三经线轨道的反面。示例性地,图2B中,第三经线轨道的右半部分是反面,左半部是正面。

另一种可能的实施方式中,第三经线轨道中横坐标小于0的部分为第三经线轨道的反面,大于0的部分为第三经线轨道的正面。示例性地,图8A中,第三经线轨道的右半部分是正面,左半部是反面。

电子设备确定第三坐标(x″,y″)、第三球面位置和第三纬线轨道的表达式之后,可以进行绘制,并进行显示,其中,光标点沿着经线轨道进行移动,纬线轨道按照表达式的变化进行变化。

示例性地,图12A和图12B是本申请实施例示例性地示出的另一组光标及轨道绘制结果示意图。如图8A所示,电子设备中滑动起点显示的图标,光标点P2;如图12A所示,电子设备显示沿着经线轨道滑动到光标点P4的图标。光标点滑动前后均在球体的正面。

示例性地,如图8A所示,电子设备中滑动起始点的光标点P2;如图12B所示,电子设备显示沿着经线轨道滑动到光标点P5的图标。光标点从球体的正面滑动到球体背面。

进一步地,电子设备可以基于第二纵坐标计算电子设备的俯仰角,并按照计算的俯仰角进行绘制。

一种可能的实施方式中,电子设备存储有所述光标点的纵坐标处于所述最值时的俯仰角β_m,所述光标点在第一位置的俯仰角β;所述光标点在第一位置的纵坐标x,上述过程中,电子设备计算出第三位置的纵坐标y″和纵向阈值范围的最值y_m。电子设备可以基于第二关系式为

示例性地,电子设备光标点处于P0(图1A中)(第一位置),y对应的俯仰角β为0度;经线最上端y_max,对应的俯仰角为135度;纬线最下端y_min,对应的俯仰角为315度。假设滑动的光标点位于P4点(图12A中),y″位于球体正面的y到y_max之间。电子设备可以基于

在上述的实施方式中,电子设备可以预设一个关系式,连接俯仰角与纵坐标之间的关系。从而可以快速地确定出俯仰角,这个不需要计算复杂的二维平面光标点的显示位置与三维空间俯仰角之间的关系,能够保证一定准确性的同时,调高计算的简洁程度,以及处理的效率。

另一种可能的实施方式中,光标点的俯仰角满足公式

在上述的实施方式中,电子设备确定俯仰角,需要建立二维平面光标点与三维空间方位角的关系,能够保证俯仰角的准确性。

图13是本申请实施例示例性地示出的另一种用户界面示意图。如图13所示,电子设备基于用户向上的滑动操作,可以显示用户界面1310。用户界面1310中,电子设备可以从图9中的光标点滑动到图13中的光标点,将俯仰角从0度调整为60度。

需要说明的是,上述滑动过程中,滑动点是持续采集的,前后连续采集的两次滑动点之间的横向位移Δx几乎是很短的,因此,前后两光标点的位置一般情况下的球体的同一面,也可能变化一次所处的面,但由于采集频次非常密集,Δx不会经历两次或者以上变化在球体所处的面。同理,纵向位移Δy亦如此。

图14是本申请实施例公开的一种球面运动交互的方法流程示意图。如图14所示,空间音频中界面交互方法可以包括但不限于以下步骤:

本申请实施例中,光标点在球面上的位置可以表示空间音频的声源方向。

S1401:电子设备响应于第一操作,采集第一滑动数据。

其中,第一操作是指用户触控电子设备屏幕的滑动操作,具体可以参考图3和图4A和图4B中的相关描述,不赘述。

第一滑动数据可以包括第一操作者的滑动起点和当前滑动点。例如,滑动起点为(x0,y0),当前滑动点为(x1,y1)。

S1402:电子设备基于第一滑动数据判断是否触发针对第一操作的光标点移动。在触发的情况下,电子设备执行S1404;否则(不触发),电子设备执行S1403。

具体地,电子设备计算横向移动位移为dx=x1-x0,横向滑动距离为|dx|=|x1-x0|;纵向移动位移为dy=y1-y0,纵向滑动距离记为|dy|=|y1-y0|。电子设备可以存储有滑动阈值距离m。

电子设备基于横向滑动距离、纵向滑动距离和滑动阈值距离m判断是否触发针对第一操作的光标点移动。在电子设备判断出|dy|≤m(|dy|m)的情况下,可以不触发针对第一操作的光标点移动;在电子设备判断出|dy|>m(|dy|≥m)或|dx|>m(|dy|≥m)的情况下,可以触发针对第一操作的光标点移动。具体描述可以参考上述图3的相关描述,不赘述。

S1403:电子设备判断第一操作是否结束。

电子设备检测第一操作是否结束,在电子设备检测不到用户的第一操作的情况下,确定第一操作结束,电子设备执行S1405;在能够检测到第一操作的情况下,确定第一操作未结束,电子设备执行S1401,即继续采集第一滑动数据。

本申请实施例中,第一滑动数据表示电子设备尚未开始变更经度轨道、纬度轨道和光标点。

S1404:电子设备基于第一滑动数据确定滑动方向。

在电子设备判断触发针对第一操作的光标点移动的情况下,电子设备基于第一滑动数据确定滑动方向。

具体地,电子设备可以比较横向滑动距离和纵向滑动距离,在横向滑动距离大于纵向滑动距离的情况下,确定纵向滑动;在横向滑动距离小于纵向滑动距离的情况下,确定横向滑动;在横向滑动距离小于纵向滑动距离的情况下,确定不触发针对第一操作的光标点移动。电子设备在确定不触发针对第一操作的光标点移动的情况下,可以执行S1403。

其中,S1404的相关描述可以参考上述的图4A和图4B的相关描述,不赘述。

S1405:电子设备显示经线轨道、纬线轨道和光标点不变。

在触发针对第一操作的光标点移动,且第一操作结束的情况下,电子设备可以显示经线轨道、纬线轨道和光标点不变,即保持光标点、经线轨道和纬线轨道不变即可。

S1406:电子设备判断第一操作是否结束。在结束的情况下,电子设备执行S1407;在不结束的情况下,电子设备执行S1408。

其中,S1406的描述可以参考S1403的相关描述,不赘述。

S1407:电子设备停止采集数据并保存滑动结果数据。

在第一操作结束的情况下,电子设备停止采集滑动数据并保存滑动结果数据。滑动数据即电子设备检测到的第一操作的触控点的数据。滑动结果数据包括经线轨道、纬线轨道(包括纬线轨道的圆心坐标)和光标点的坐标和球面位置。

S1408:电子设备采集第二滑动数据。

在第一操作尚未结束的情况下,电子设备采集第二滑动数据。第二滑动数据是针对第一操作采集的当前触控点的坐标(最近一次触控点的坐标,即这一次采集的滑动点坐标)。

S1409:电子设备基于第二滑动数据、第三滑动数据、滑动方向和上一次滑动结果数据确定经线轨道、纬线轨道和光标点的坐标,并显示变化的经线轨道、纬线轨道和光标点。

第三滑动数据针对第一操作采集的上一次滑动(触控)点的坐标。

电子设备可以基于第二滑动数据和第三滑动数据和滑动方向确定经线轨道、纬线轨道和光标点的坐标,并显示变化的经线轨道、纬线轨道和光标点。

其中,S1409的相关描述可以参考上述的S11~S14、以及S21~S24的相关描述,不赘述。

在S1409处理完成之后,第一操作尚未结束,电子设备需要继续采集滑动数据并进行显示。循环S1408和S1409的过程,一直到第一操作结束为止。

上述实施方式中,电子设备能够通过横向或者纵向滑动,调整音频在空间中的位置,用户通过滑动光标点,电子设备便能够模拟的空间音源点,体验音源点在不同位置时的音效。进一步地,三维的音源空间位置在二维屏幕上,调整和交互往往有一定难度,需要用户学习和适应,本申请结合经线和纬线标定球体位置从而确定音源的空间方向,能够保证交互中用户使用的直观和便捷程度。电子设备可以基于用户的横向滑动位移情况和上一次采集并显示的数据,计算出接下来要显示需要的数据,即所述光标点的第二位置、所述第一纬线轨道和所述第二经线轨道,电子设备不需要将二维坐标向三维空间进行转化,仅仅通过椭圆、光标点之间的位置关系便能够计算出显示做需要的数据,从而保证计算的简洁性和处理的高效性。

图15为本申请实施例提供的一种电子设备的软件结构示意图。

分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将系统分为四层,从上至下分别为应用程序层,应用程序框架层,运行时(Runtime)和系统库,以及内核层。

应用程序层可以包括一系列应用程序包。

如图15所示,应用程序包可以包括相机,图库,地图,导航、音乐和空间音频(spatial audio)等应用程序(也可以称为应用)。

在本申请实施例中,图14相关的方法通过空间音频应用处理,也可以通过音乐应用处理,不限定。

应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图15所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。

内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。

视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。

资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。

运行时(Runtime)包括核心库和虚拟机。Runtime负责系统的调度和管理。

核心库包含两部分:一部分是编程语言(例如,java语言)需要调用的功能函数,另一部分是系统的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的编程文件(例如,java文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。

系统库可以包括多个功能模块。例如:表面管理器(Surface Manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。

表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维(2-Dimensional,2D)和三维(3-Dimensional,3D)图层的融合。

媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。

三维图形处理库用于实现3D图形绘图,图像渲染,合成,和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,虚拟卡驱动。

下面结合拍摄场景,示例性说明电子设备软件以及硬件的工作流程。

电子设备通过空间音频应用(音乐应用)可以为提供一种音源方向调整和音源距离调整的交互示意图。电子设备可以通过空间音频应用检测用户的滑动操作,并基于滑动操作处理,计算光标点的位置,经线轨道和纬线轨道的表达式,之后,可以调用窗口管理器和图形处理库等进行绘制并显示。具体过程可以参考上述图14以及相关描述,不赘述。

下面介绍本申请实施例涉及的装置。

图16为本申请实施例提供的一种电子设备100的硬件结构示意图。

电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。

可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics Processingunit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。

其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。

可理解,处理器110中还可以包括AE系统。AE系统可以具体设置在ISP中。AE系统可用于实现曝光参数的自动调整。可选的,AE系统还可以集成在其它处理器芯片中。本申请实施例对此不作限定。

在本申请提供的实施例中,电子设备100可以通过处理器110执行所述曝光强度调节方法。

处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。

在一些实施例中,处理器110可以包括一个或多个接口。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备100,例如AR设备等。

电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Mini LED,Micro LED,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。

电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现获取功能。

ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像或视频。在一些实施例中,ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB,YUV等格式的图像或视频信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。例如,在一些实施例中,电子设备100可以利用N个摄像头193获取多个曝光系数的图像,进而,在视频后处理中,电子设备100可以根据多个曝光系数的图像,通过HDR技术合成HDR图像。本申请实施例中,电子设备能够通过上述的摄像头193获取N帧第一图像。

数字信号处理器用于处理数字信号,除了可以处理数字图像或视频信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。

NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。

外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像视频播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。

上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

相关技术
  • 一种胶接界面强度的计算方法、装置及电子设备
  • 一种交互方法、电子设备及服务器
  • 一种语音交互方法、装置、电子设备及可读存储介质
  • 一种语音交互的方法、电子设备及计算机存储介质
  • 一种交互消息推送方法、装置及电子设备
  • 交互界面展示方法、交互界面生成方法、装置及电子设备
  • 交互界面展示方法、交互界面生成方法、装置及电子设备
技术分类

06120116437330