掌桥专利:专业的专利平台
掌桥专利
首页

图像交互方法、装置、电子设备及存储介质

文献发布时间:2024-04-18 19:58:21


图像交互方法、装置、电子设备及存储介质

技术领域

本发明涉及智能设备技术领域,尤其涉及一种图像交互方法、装置、电子设备及存储介质。

背景技术

智能眼镜作为一种新兴的智能穿戴终端,与传统智能设备在形态上有很大区别。传统智能设备均具备基本的显示触摸屏,可以方便使用手指触控实现与界面元素的交互。而智能眼镜作为头部佩戴装置,其显示屏与传统智能设备不同,一般采用的是光学器件依靠反射或者衍射原理形成一块虚拟显示屏来向用户展示,意味着智能眼镜不能具备传统智能设备拥有的显示触摸屏。这也意味着,目前用户与智能眼镜的界面元素之间的交互方式单一。

发明内容

基于此,本申请提供一种图像交互方法、装置、电子设备及存储介质,丰富了用户与智能眼镜的界面元素之间的交互方式。

第一方面,本申请实施例提供一种图像交互方法,包括:

确定目标对象,并显示所述目标对象的增强现实图像;

响应于用户的头部转动操作,获取所述头部转动操作对应的头部转动角度;

基于当前的显示参数以及头部转动角度,计算所述头部转动操作在虚拟屏幕上的视野轨迹;

根据所述视野轨迹,触发与所述增强现实图像进行交互。

第二方面,本申请实施例还提供一种图像交互装置,包括:

显示模块,用于确定目标对象,并显示所述目标对象的增强现实图像;

获取模块,用于响应于用户的头部转动操作,获取所述头部转动操作对应的头部转动角度;

计算模块,用于基于当前的显示参数以及头部转动角度,计算所述头部转动操作在虚拟屏幕上的视野轨迹;

交互模块,用于根据所述视野轨迹,触发与所述增强现实图像进行交互。

可选地,在本申请的一些实施例中,所述计算模块包括:

第一计算单元,用于基于当前的显示参数以及头部转动角度,计算所述头部转动操作对应的像素点变化参数;

获取单元,用于获取当前的传感器数据;

第二计算单元,用于根据所述像素点变化参数以及传感器数据,计算所述头部转动操作在虚拟屏幕上的视野轨迹。

可选地,在本申请的一些实施例中,所述第二计算单元包括:

转换子单元,用于对所述传感器数据进行矩阵转换,得到所述传感器数据对应的旋转矩阵;

第一计算子单元,用于基于预设方式以及所述旋转矩阵,计算当前设备在世界坐标系的三维坐标;

第二计算子单元,用于根据所述三维坐标以及所述像素点变化参数,计算所述头部转动操作在虚拟屏幕上的视野轨迹。

可选地,在本申请的一些实施例中,所述第二计算子单元具体用于:

确定当前焦点;

基于所述当前焦点以及所述像素点变化参数,计算当前的虚拟现实边界;

根据所述三维坐标、所述像素点变化参数以及虚拟现实边界,计算所述头部转动操作在虚拟屏幕上的视野轨迹。

可选地,在本申请的一些实施例中,所述第一计算单元具体用于:

基于当前的显示参数确定所述用户头部转动的最大角度;

根据所述最大角度以及头部转动角度,计算所述头部转动操作对应的像素点变化参数。

可选地,在本申请的一些实施例中,所述交互模块包括:

确定单元,用于确定所述视野轨迹对应的轨迹终点;

调用单元,用于调用所述头部转动操作对应的操作事件;

交互单元,用于基于所述操作事件以及轨迹终点,触发与所述增强现实图像进行交互。

可选地,在本申请的一些实施例中,所述交互单元具体用于:识别所述操作事件为阅读事件时,基于所述轨迹终点放大所述增强现实图像的局部。

第三方面,本发明实施例提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行上述图像交互方法的步骤。

第四方面,本发明实施例提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器上述图像交互方法的步骤。

本申请实施例提供一种图像交互方法、装置、电子设备及存储介质,在确定目标对象,并显示所述目标对象的增强现实图像后,响应于用户的头部转动操作,获取所述头部转动操作对应的头部转动角度,接着基于当前的显示参数以及头部转动角度,计算所述头部转动操作在虚拟屏幕上的视野轨迹,最后,根据所述视野轨迹,触发与所述增强现实图像进行交互。在本申请提供的图像交互方案中,通过当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,由此,可以利用视野轨迹,与增强现实图像进行交互,即,丰富了用户与智能眼镜的界面元素之间的交互方式。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

其中:

图1是本申请实施例提供的图像交互方法的场景示意图;

图2是本申请实施例提供的图像交互方法的流程图;

图3是本申请实施例提供的图像交互方法中构建坐标系的示意图;

图4是本申请实施例提供的图像交互方法中视场角的示意图;

图5是本申请实施例提供的图像交互方法的另一场景示意图;

图6是本申请实施例提供的图像交互装置的结构示意图;

图7是本申请提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本申请提供一种图像交互方法、装置、电子设备及存储介质。

其中,该图像交互装置具体可以集成在终端中,终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表或者智能眼镜等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器,本申请在此不做限制。

例如,请参阅图1,本申请提供一种图像交互装置,该图像交互装置集成在智能眼镜10中,用户在使用智能眼镜10时,显示目标对象的增强现实图像,该目标对象可以是虚拟对象,如虚拟人物或虚拟物品,也可以是实体的人或物,具体根据实际情况进行设置,然后,智能眼镜10响应于用户20的头部转动操作,获取头部转动操作对应的头部转动角度,接着,智能眼镜10基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,最后,智能眼镜10根据视野轨迹,触发与增强现实图像进行交互。

本申请提供的图像交互方法,通过当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,由此,可以利用视野轨迹,与增强现实图像进行交互,即,丰富了用户与智能眼镜的界面元素之间的交互方式。

本申请一种图像交互方法,包括:确定目标对象,并显示目标对象的增强现实图像;响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度;基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹;根据视野轨迹,触发与增强现实图像进行交互。

请参阅图2,图2为本申请提供的图像交互方法的流程示意图。该图像交互方法的具体流程可以如下:

101、确定目标对象,并显示目标对象的增强现实图像。

目标对象可以是虚拟人物、虚拟物品、实体的人或实体的事物,具体可以根据实际而定。当用户佩戴智能眼镜时,通过智能眼镜触发确定目标对象的确定操作后,将确定的对象确定为目标对象,并显示该目标对象对应的增强现实图像,如,确定虚拟书籍为目标对象,然后,显示该虚拟书籍对应的增强现实图像。

需要说明的是,增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。

102、响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度。

在用户佩戴智能眼镜的过程中,当用户转动头部时,触发针对智能眼镜的头部转动操作。此时,响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度。头部转动操作对应的头部转动角度具体可以通过集成在智能眼镜上的传感器进行获取,如,通过智能眼镜的陀螺仪传感器和地磁传感器获取头部转动操作对应的头部转动角度。

例如,具体的,预先注册Sensor.TYPE_ROTATION_VECTOR类型的传感器(即陀螺仪传感器和地磁传感器)以及对应的SensorEventListener监听器。当检测到头部转动操作时,从SensorEventListener中提取到相应的传感器数据。

需要说明的是,在SensorEventListener接口中定义了两个方法:onSensorChanged和onAccuracyChanged。当传感器的值发生变化时,例如磁阻传感器的方向改变时会调用onSensorChanged方法。当传感器的精度变化时会调用onAccuracyChanged方法。

onSensorChanged方法只有一个SensorEvent类型的参数event,其中SensorEvent类有一个values变量非常重要,该变量的类型是float[]。但该变量最多只有3个元素,而且根据传感器的不同,values变量中元素所代表的含义也不同。

以陀螺仪传感器为例,陀螺仪传感器的类型常量是Sensor.TYPE_GYROSCOPE。values数组的三个元素表示的含义如下:values[0]:延X轴旋转的角速度。

values[1]:延Y轴旋转的角速度。

values[2]:延Z轴旋转的角速度。

当智能眼镜逆时针旋转时,角速度为正值,顺时针旋转时,角速度为负值。陀螺仪传感器经常被用来计算智能眼镜已转动的角度。

同理,采用类似的方式获取智能眼镜中地磁传感器的传感器数据,并将地磁传感器的传感器数据和陀螺仪传感器的传感器数据进行融合,基于融合数据确定头部转动操作对应的头部转动角度。获取头部转动角度不是本申请的重点,也可以采用其他方式获取,具体可以根据实际情况进行选择。

103、基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹。

例如,在获取到当前的显示参数如分辨率后,可以基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,具体可以计算头部转动单位角度对应的像素点变化参数,即,头部偏转的度数对应的像素点变化,即,可选地,在一些实施例中,步骤“基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹”,具体可以包括:

(11)基于当前的显示参数以及头部转动角度,计算头部转动操作对应的像素点变化参数;

(12)获取当前的传感器数据;

(13)根据像素点变化参数以及传感器数据,计算头部转动操作在虚拟屏幕上的视野轨迹。

例如,具体的,可以基于用户头部转动的最大角度计算用户运动角度与屏幕移动角度的像素点变化参数,该最大角度是基于当前屏幕的分辨率确定的,在确定最大角度之后,则可以根据最大角度以及实际的头部转动角度,计算头部转动操作对应的像素点变化参数,即,可选地,在一些实施例中,步骤“基于当前的显示参数以及头部转动角度,计算头部转动操作对应的像素点变化参数”,具体可以包括:

(21)基于当前的显示参数确定用户头部转动的最大角度;

(22)根据最大角度以及头部转动角度,计算头部转动操作对应的像素点变化参数。

根据智能眼镜的显示屏的分辨率,确定头部朝每个方向所能转动的最大角度,然后,计算头部每转动一个角度对应显示屏所移动的像素距离,即,得到头部每转动一个角度与显示屏所移动的像素距离之间的关联关系,最后,根据该关联关系以及头部转动角度,计算头部转动操作对应的像素点变化参数。

具体的,根据显示屏幕的分辨率可以分别确定显示屏幕在x轴和y轴上分别具有多少像素块。将显示屏幕x轴和y轴上的像素块数量分别与用户头部在偏航角和俯仰角上所能转动的最大角度相除,得到用户头部转动单位角度时,所对应移动的单位像素距离。比如,用户头部偏航角的活动范围为100°(即用户左右转头的最大角度为100°),智能眼镜显示屏幕的x轴上具有500万个像素块,通过相除可以确定用户头部在左右活动时,虚拟光标对应移动的单位像素距离为5万,即用户头部每偏转1°,显示屏幕上就会向相应位置移动5万个像素块。

比如,通过硬件系统接口获取智能眼镜的屏幕长宽,分别得屏幕宽度的像素点数ScreenWidth和屏幕高度的像素点数ScreenHeight。然后,根据人头部俯仰角度DegreeY和左右横摆角度为DegreeX;接着,根据屏幕宽度的像素点数ScreenWidth和屏幕高度的像素点数ScreenHeight,计算得到人体的头部每转动1个单位角度,对应移动的像素点为:横向参数AngVelocityPerPixX=ScreenWidth/DegreeX,竖向参数AngVelocityPerPixY=ScreenHeight/DegreeY。

进一步的,在确定像素点变化参数后,可以通过SensorManager.getRotationMatrixFromVector()方法对传感器数据event.sensor进行矩阵反转处理,得到矩阵数据。

可选地,当智能眼镜处于平坦位置时,旋转矢量的参考框架是X朝东,Y朝北,Z垂直,假设智能眼镜在空间中从左向右移动,监听移动开始和移动结束的传感器值,将传感器值转换为获取模拟动作所需要的参数,例如俯仰角、翻滚角、方位角等。其中需要经过将旋转矢量转换为旋转矩阵、将传感器实际坐标数据到传感器坐标系系统的映射、以及将旋转矩阵数据转化为俯仰角、翻滚角和方位角,将角度值传输到眼镜端,在眼镜端实现画对应坐标视图的功能。定一个蓝牙智能戒指的特征值,眼镜端通过低功耗模式和戒指实现连接,眼镜端监听这个特殊的特征值,通过此特征值实现数据收发,计算坐标值的中心点,定义一个映射范围和,将这个范围内的视为选中的视图,将这个视图的中心点定义为鼠标按下的中心点,通过计算开始跟结束时的映射视图的坐标,得出是从左向右的滑动趋势,通过Android的辅助功能实现模拟从左向右的操作,选中右边一个的视图。示例代码如下:

在得到矩阵数据后,基于预设方式以及该矩阵数据,计算当前设备在世界坐标系的三维坐标,最后,根据三维坐标以及像素点变化参数,计算头部转动操作在虚拟屏幕上的视野轨迹,即,可选地,在一些实施例中,步骤“根据像素点变化参数以及传感器数据,计算头部转动操作在虚拟屏幕上的视野轨迹”,具体可以包括:

(31)对传感器数据进行矩阵转换,得到传感器数据对应的旋转矩阵;

(32)基于预设方式以及旋转矩阵,计算当前设备在世界坐标系的三维坐标;

(33)根据三维坐标以及像素点变化参数,计算头部转动操作在虚拟屏幕上的视野轨迹。

例如,具体的,可以根据当前设备(如智能眼镜)的屏幕朝向,构建屏幕对应的坐标系,如图3所示,以屏幕所在的平面为X轴和Y轴所在的平面,垂直与屏幕的轴为Z轴,然后,基于SensorManager.remapCoordinateSystem(X,Y,matrix)、旋转矩阵以及屏幕对应的坐标系,计算传感器数据对应的三维坐标,最后,根据三维坐标以及像素点变化参数,计算头部转动操作在虚拟屏幕上的视野轨迹。

进一步的,在计算出用户佩戴眼镜时的姿态映射到屏幕坐标系的坐标(即计算传感器数据对应的三维坐标)后,可以确定头部转动操作映射到屏幕上的焦点的实时变化,最后,根据世界坐标系坐标值(Xr,Yr,Zr)的每一个分量计算出单个方向的映射。

需要说明的是,在智能眼镜中,存在一个叫做视场角(Fieldangle angle ofview,FOV)的概念,在光学仪器中,以光学仪器的镜头为顶点,以被测目标的物象可通过镜头的最大范围的两条边缘构成的夹角,称为视场角。简单的说,在显示系统中,视场角就是显示器边缘与观察点(眼睛)连线的夹角,如图4所示,视场角的大小直接决定了用户的直观感受,因为人眼正常睁开观看周围环境的时候,是120度的视场角,小于这个范围,就会在视野边界处出现黑边。

由于FOV的存在,用户在佩戴智能眼镜时的姿势是会变化的(如旋转头部),而屏幕相对于人眼是相对静止的,因此需计算出一个虚拟边界bound防止视觉焦点消失,进而计算头部转动操作在虚拟屏幕上的视野轨迹,即,可选地,在一些实施例中,步骤“根据三维坐标以及像素点变化参数,计算头部转动操作在虚拟屏幕上的视野轨迹”,具体可以包括:

(41)确定当前焦点;

(42)基于当前焦点以及像素点变化参数,计算当前的虚拟现实边界;

(43)根据三维坐标、像素点变化参数以及虚拟现实边界,计算头部转动操作在虚拟屏幕上的视野轨迹。

例如,左边界参数left_bound=center(当前焦点)-DegreeX/2,右边界参数right_bound=center(当前焦点)+DegreeX/2。然后,根据世界坐标系的坐标值(Xr,Yr,Zr),计算出用户佩戴智能眼镜时的姿态映射到屏幕坐标系的坐标,由此得出人头部动作映射到眼镜虚拟屏幕上的焦点实时变化:取出世界坐标系坐标值的每一个分量计算出单个方向的映射,如:

映射横向坐标remapX=AngVelocityPerPixX*(Xr±Bound)

remapY=AngVelocityPerPixY*(Yr±Bound)

其中,Bound包括计算的左边界和右边界,计算出的remapX和remapY即为人头部运动中映射到屏幕坐标系中的像素点位置,基于计算的像素点位置,输出头部转动操作在虚拟屏幕上的视野轨迹,以便后续根据该视野轨迹与增强显示图像进行交互。

104、根据视野轨迹,触发与增强现实图像进行交互。

在计算得到视野轨迹后,根据该视野轨迹,触发与增强现实图像进行交互,如放大增强现实图像的部分,或者缩小整个增强现实图像。

需要说明的,当用户佩戴智能眼镜观看某一文物对应的增强显示图像时,受限于智能眼镜屏幕的尺寸限制,在目前的图像交互方案中,需要用户通过手势或者移动自身的位置观看增强显示图像,并且,当该增强显示图像远大于智能眼镜屏幕的尺寸,如增强显示图像的尺寸为智能眼镜屏幕的尺寸的5倍时,需要用户反复移动自身的位置或者反复的进行手势操作,可见,目前的图像交互方式单一,且交互效率低下。

基于此,本申请提供一种图像交互方法,当用户佩戴智能眼镜观看某一文物对应的增强显示图像时,在计算得到视野轨迹后,提取该视野轨迹的轨迹终点s,并确定该轨迹终点s对应在增强现实图像的图像位置,然后,以该图像位置为基准,放大该图像位置预设范围内的图像,即,可选地,在一些实施例中,步骤“根据视野轨迹,触发与增强现实图像进行交互”,具体可以包括:识别操作事件为阅读事件时,基于轨迹终点放大增强现实图像的局部。

例如,具体的,请参阅图5,在计算得到视野轨迹后,提取该视野轨迹L1对应的轨迹点sn,并确定每个轨迹点sn在对应在增强现实图像的图像位置为位置an,其中,n为大于零的正整数,然后,以位置a为基准,放大该位置a预设范围内的图像P1,该预设范围可以是预先设置的,也可以是根据该智能眼镜的分辨率进行设定的,具体可以实际情况进行设定,在此不作赘述。

进一步的,请继续参阅图5,在用户通过智能眼镜阅读完放大后的图像信息后,再次旋转头部查看下一区域的图像信息时,则以视野轨迹L1的轨迹终点为下一个视野轨迹L2的起点,在确定下一个视野轨迹L2的轨迹点d时,确定每个轨迹点dn在对应在增强现实图像的图像位置为位置bn,其中,n为大于零的正整数,其中,n为大于零的正整数,然后,以位置b为基准,放大该位置b预设范围内的图像P2,由此,用户可以通过转动头部观看超出屏幕尺寸的增强现实图像的图像内容,不需要用户反复地移动位置或通过大量手势操作,即,丰富了图像交互方式,并提高了交互效率。

以上完成本申请的图像交互流程。

如上所述,本申请提供一种图像交互方法,在确定目标对象,并显示目标对象的增强现实图像后,响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度,接着,基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,最后,根据视野轨迹,触发与增强现实图像进行交互。在本申请提供的图像交互方法中,通过当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,由此,可以利用视野轨迹,与增强现实图像进行交互,即,丰富了用户与智能眼镜的界面元素之间的交互方式。

相应的,请参阅图6,本发明实施例提供一种图像交互装置(以下简称交互装置),该交互装置包括显示模块201、获取模块202、计算模块203以及交互模块204,具体如下:

显示模块201,用于确定目标对象,并显示目标对象的增强现实图像。

目标对象可以是虚拟人物、虚拟物品、实体的人或实体的事物,具体可以根据实际而定。当用户佩戴智能眼镜时,显示模块201通过智能眼镜触发确定目标对象的确定操作后,将确定的对象确定为目标对象,并显示该目标对象对应的增强现实图像,如,确定虚拟书籍为目标对象,然后,显示模块201显示该虚拟书籍对应的增强现实图像。

获取模块202,用于响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度。

在用户佩戴智能眼镜的过程中,当用户转动头部时,触发针对智能眼镜的头部转动操作。此时,响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度。获取模块202可以通过获取集成在智能眼镜上的传感器的传感器数据,得到头部转动操作对应的头部转动角度。

计算模块203,用于基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹。

例如,在获取到当前的显示参数如分辨率后,可以基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,具体可以计算头部转动单位角度对应的像素点变化参数,即,可选地,在一些实施例中,计算模块203具体可以包括:

第一计算单元,用于基于当前的显示参数以及头部转动角度,计算头部转动操作对应的像素点变化参数;

获取单元,用于获取当前的传感器数据;

第二计算单元,用于根据像素点变化参数以及传感器数据,计算头部转动操作在虚拟屏幕上的视野轨迹。

可选地,在一些实施例中,第二计算单元具体可以包括:

转换子单元,用于对传感器数据进行矩阵转换,得到传感器数据对应的旋转矩阵;

第一计算子单元,用于基于预设方式以及旋转矩阵,计算当前设备在世界坐标系的三维坐标;

第二计算子单元,用于根据三维坐标以及像素点变化参数,计算头部转动操作在虚拟屏幕上的视野轨迹。

可选地,在一些实施例中,所述第二计算子单元具体可以用于:确定当前焦点;基于当前焦点以及像素点变化参数,计算当前的虚拟现实边界;根据所述三维坐标、像素点变化参数以及虚拟现实边界,计算头部转动操作在虚拟屏幕上的视野轨迹。

可选地,在一些实施例中,第一计算单元具体可以用于:基于当前的显示参数确定用户头部转动的最大角度;根据最大角度以及头部转动角度,计算头部转动操作对应的像素点变化参数。

交互模块204,用于根据视野轨迹,触发与增强现实图像进行交互。

在计算得到视野轨迹后,根据该视野轨迹,触发与增强现实图像进行交互,如放大增强现实图像的部分,或者缩小整个增强现实图像。

需要说明的,当用户佩戴智能眼镜观看某一文物对应的增强显示图像时,受限于智能眼镜屏幕的尺寸限制,在目前的图像交互方案中,需要用户通过手势或者移动自身的位置观看增强显示图像,并且,当该增强显示图像远大于智能眼镜屏幕的尺寸,如增强显示图像的尺寸为智能眼镜屏幕的尺寸的5倍时,需要用户反复移动自身的位置或者反复的进行手势操作,可见,目前的图像交互方式单一,且交互效率低下。

可选地,用户佩戴智能眼镜观看某一文物对应的增强显示图像时,在计算得到视野轨迹后,在一些实施例中,交互模块204可以基于轨迹终点放大增强现实图像的局部,由此,用户可以通过转动头部观看超出屏幕尺寸的增强现实图像的图像内容,不需要用户反复地移动位置或通过大量手势操作,即,丰富了图像交互方式,并提高了交互效率。

可选地,在一些实施例中,交互模块204具体可以包括:

确定单元,用于确定视野轨迹对应的轨迹终点;

调用单元,用于调用头部转动操作对应的操作事件;

交互单元,用于基于操作事件以及轨迹终点,触发与增强现实图像进行交互。

可选地,在一些实施例中,交互单元具体可以用于:识别操作事件为阅读事件时,基于轨迹终点放大增强现实图像的局部。

如上所述,本申请提供一种图像交互装置,在显示模块201确定目标对象,并显示目标对象的增强现实图像后,获取模块202响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度,接着,计算模块203基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,最后,交互模块204根据视野轨迹,触发与增强现实图像进行交互。在本申请提供的图像交互方法中,通过当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,由此,可以利用视野轨迹,与增强现实图像进行交互,即,丰富了用户与智能眼镜的界面元素之间的交互方式。

此外,本申请还提供一种电子设备,如图7所示,其示出了本申请所涉及的电子设备的结构示意图,具体来讲:该电子设备可以包括一个或者一个以上处理核心的处理器301、一个或一个以上计算机可读存储介质的存储器302、电源303和输入单元304等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器301是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器302内的软件程序和/或模块,以及调用存储在存储器302内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器301可包括一个或多个处理核心;优选的,处理器301可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器301中。

存储器302可用于存储软件程序以及模块,处理器301通过运行存储在存储器302的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器302还可以包括存储器控制器,以提供处理器301对存储器302的访问。

电子设备还包括给各个部件供电的电源303,优选的,电源303可以通过电源管理系统与处理器301逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源303还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元304,该输入单元304可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器301会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器302中,并由处理器301来运行存储在存储器302中的应用程序,从而实现各种功能,如下:

确定目标对象,并显示目标对象的增强现实图像;响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度;基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹;根据视野轨迹,触发与增强现实图像进行交互。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

本申请实施例在确定目标对象,并显示目标对象的增强现实图像后,响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度,接着,基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,最后,根据视野轨迹,触发与增强现实图像进行交互。在本申请提供的图像交互方法中,通过当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹,由此,可以利用视野轨迹,与增强现实图像进行交互,即,丰富了用户与智能眼镜的界面元素之间的交互方式。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本申请提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请所提供的任一种图像交互方法中的步骤。例如,该指令可以执行如下步骤:

确定目标对象,并显示目标对象的增强现实图像;响应于用户的头部转动操作,获取头部转动操作对应的头部转动角度;基于当前的显示参数以及头部转动角度,计算头部转动操作在虚拟屏幕上的视野轨迹;根据视野轨迹,触发与增强现实图像进行交互。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本申请所提供的任一种图像交互方法中的步骤,因此,可以实现本申请所提供的任一种图像交互方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述各种可选实现方式中提供的方法。

以上对本申请所提供的一种图像交互方法、装置、电子设备以及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 交互方法、交互装置、电子设备及存储介质
  • 交互设计工具文件生成方法、装置、电子设备及存储介质
  • 一种语音交互方法、装置、电子设备及可读存储介质
  • 语句条目交互方法与装置、电子设备、存储介质
  • 图像信息的传输方法、装置、存储介质及电子设备
  • 图像交互方法、装置、电子设备及可读存储介质
  • 一种基于交互的图像生成方法、装置、电子设备及存储介质
技术分类

06120116482959