基于AR的场景导览方法、设备以及计算机可读存储介质
文献发布时间:2023-06-19 09:32:16
技术领域
本申请涉及增强现实技术领域,特别是涉及一种基于AR的场景导览方法、设备以及计算机可读存储介质。
背景技术
导视系统是结合环境与人之间的关系的信息界面系统,传统的导视系统主要分为两类,一类为传统地图导视系统,一类为发光二极管(Light Emitting Diode,LED)导视系统。传统地图导视牌的引导流程是通过实体地图传达周边信息,不具扩展性,且传达形式相对落后,用户难以明确方向与距离,不够直观;而LED导视系统虽然能够一定程度上改善传统地图导视牌的缺点,但由于其需要实体高精度可触控屏幕作为操作接口,其生产造价与维护难度、成本均远高于传统地图导视牌,故不具备可扩展性。
针对这一问题,相关技术提出了基于增强现实(Augmented Reality,简称为AR)的导览方案,在先专利(申请号为201710278330.0)公开了一种基于增强现实技术的景观导视方法,通过以下步骤实现:
步骤1:用户打开客户端,通过移动电子设备采集用户周围实时图像信息;步骤2:基于预置标志物图像信息,将采集的图像信息进行图像识别处理,判断当前帧图像内是否有与预置标志物匹配的标志物;若有,则进行步骤3a:根据当前识别出来的标志物的即时位置及当前用户的朝向,实时构建用户周围3D地图;若没有,则进行步骤3b:根据用户当前坐标,选取距离用户一定范围内的预设标志物,并进行步骤3c:通过指向加距离同时显示的形式引导用户前往预设标志物,步骤3c之后进行步骤3a;步骤3a之后进行步骤4:基于建立的3D地图,在地图中的标志物上生成可供点击选择的按钮;步骤5:用户通过按钮选择相应类型的标志物,并在3D地图中的标志物上生成多种功能扩展选项。
上述专利在构建三维(Three Dimensional,简称为3D)地图的过程中,需要用到跟踪与定位系统,即采用全球定位系统(Global Positioning System,简称为GPS)跟踪用户的地理位置,采用电子罗盘确定用户的朝向,结合用户的地理位置和朝向实时构建3D地图。然而,民用GPS的精度一般在3m到12m左右,若是在户外遇到较差的天气,最大误差可达100m,电子罗盘也会因为附近的磁场干扰产生误差,从而存在定位错误。相关技术通常在预设标志物周围设置地理围栏,在实时构建3D地图时,由于定位信号的精度问题,一方面,当用户携带设备在覆盖预设标志物的地理围栏的边缘移动时,会发生定位信号频繁出入预设地理围栏的情况,导致设备输出的内容频繁出现和消失;另一方面,当多个地理围栏存在重叠区域的情况下,设备输出对应于多个预设标志物的内容,对用户在视觉上造成干扰,不利于导览。
目前针对相关技术中基于AR的场景导览方案因定位精度低而导致虚拟内容输出不稳定的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于AR的场景导览方法、设备以及计算机可读存储介质,以至少解决相关技术中基于AR的场景导览方案因定位精度低而导致虚拟内容输出不稳定的问题。
第一方面,本申请实施例提供了一种基于AR的场景导览方法,包括:获取用户的位置;根据所述位置,判断所述用户是否处于目标围栏内,其中,所述目标围栏内设置有预设标志物;在判断到所述用户处于所述目标围栏内的情况下,判断所述用户处于所述目标围栏内的时间是否达到预设时间;在判断到所述用户处于所述目标围栏内的时间达到预设时间的情况下,获取对应于所述预设标志物的多媒体素材;将所述多媒体素材叠加于所述用户视野所及的空间区域。
在其中一些实施例中,在根据所述位置,判断所述用户是否处于目标围栏内之前,所述方法还包括:在所述用户处于多个围栏的重叠区域的情况下,获取所述用户与多个所述围栏中每个围栏的预设中心的距离;确定多个所述距离中的最小距离对应的围栏作为所述目标围栏。
在其中一些实施例中,在根据所述位置,判断所述用户是否处于目标围栏内之前,所述方法还包括:在所述用户处于多个围栏的重叠区域的情况下,获取所述用户的输入指令,所述输入指令用于从所述多个围栏中确定一个围栏;确定根据所述输入指令确定的围栏为所述目标围栏。
在其中一些实施例中,在根据所述位置,判断所述用户是否处于目标围栏内之前,所述方法还包括:获取多个预设标志物的位置,确定该多个预设标志物的分布情况;根据所述分布情况,设置一个或者多个围栏,其中,每个围栏内包括至少一个预设标志物。
在其中一些实施例中,获取用户的位置包括:根据定位系统获取所述用户的位置,其中,所述定位系统包括以下至少之一:GPS、Wi-Fi、蓝牙;和/或获取用户视野所及的空间区域的实时图像;对所述实时图像进行目标识别处理,确定所述实时图像中的目标;根据所述实时图像中的目标,确定所述用户的位置。
在其中一些实施例中,在获取用户的位置之前,所述方法还包括:获取所述用户的运动状态信息;根据所述运动状态信息,确定所述用户处于的运动状态,其中,所述运动状态包括以下至少之一:乘坐交通工具状态、步行状态;根据所述用户处于的运动状态,获取对应于所述运动状态的多媒体素材;将对应于所述运动状态的多媒体素材叠加于所述用户视野所及的所述空间区域。
在其中一些实施例中,将对应于所述状态的多媒体素材叠加于所述用户视野所及的所述空间区域包括:在所述用户处于乘坐交通工具状态的情况下,将全局导航地图的多媒体素材叠加于所述用户视野所及的所述空间区域;和/或,在所述用户处于步行状态的情况下,将局部导航地图的多媒体素材叠加于所述用户视野所及的所述空间区域,所述局部导航地图包括距离所述用户当前所处位置处于预设范围内的预设标志物的信息。
在其中一些实施例中,所述运动状态信息包括以下至少之一:移动速度值、加速度值;根据所述运动状态信息,确定所述用户处于的运动状态包括:判断所述移动速度值是否在预设持续时间内达到预设移动速度阈值的预设条件,若是,则确定所述用户处于对应于所述预设条件的运动状态;和/或判断所述加速度值的变化规律是否符合预设规律,若是,则确定所述用户处于对应于所述预设规律的运动状态。
第二方面,本申请实施例提供了一种基于AR的场景导览设备,包括:设备框架、定位模块、输出模块、主控模块以及电源模块;所述定位模块和所述输出模块设置于所述设备框架上,所述主控模块分别与所述定位模块和所述输出模块电连接,所述电源模块分别为所述定位模块、所述输出模块和所述主控模块电连接;其中,所述定位模块用于获取用户的位置;所述输出模块用于呈现多媒体素材;所述主控模块包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的基于AR的场景导览方法。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述第一方面所述的基于AR的场景导览方法。
相比于相关技术,本申请实施例提供的基于AR的场景导览方法、基于AR的场景导览设备以及计算机可读存储介质,通过获取用户的位置;根据位置,判断用户是否处于目标围栏内,其中,目标围栏内设置有预设标志物;在判断到用户处于目标围栏内的情况下,判断用户处于目标围栏内的时间是否达到预设时间;在判断到用户处于目标围栏内的时间达到预设时间的情况下,获取对应于预设标志物的多媒体素材;将多媒体素材叠加于用户视野所及的空间区域,解决了相关技术中基于AR的场景导览方案因定位精度低而导致虚拟内容输出不稳定的问题,保证了虚拟内容输出的稳定性。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的基于AR的场景导览方法的流程图;
图2是根据本申请优选实施例的基于AR的场景导览方法的流程图;
图3是根据本申请实施例的基于AR的场景导览设备的结构示意图;
图4是根据本申请实施例的主控模块的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所做出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请中描述的各种技术可以用于各种展览场景的导览,例如博物馆、植物园、动物园以及画展,也可以用于室外导览和室内导览,本申请并不限定。
本实施例提供了一种基于AR的场景导览方法,图1是根据本申请实施例的基于AR的场景导览方法的流程图,如图1所示,该流程包括如下步骤:
步骤S101,获取用户的位置。
位置的获取方式可以是通过基于GPS的定位技术、基于Wi-Fi(无线局域网)的定位技术、基于蓝牙的定位技术、基于基站信号的定位技术其中一项或者多项的组合来实现。可以直接采用GPS采集得到地理位置,可用经度和维度来表示,例如,当前用户的位置为“北纬N30°23′10.95″,东经E120°06′38.63″”;也可以将GPS采集得到的地理位置经转换后得到对应于预设场景的位置,可用预设场景名称、方位以及距离来表示。例如当前用户的位置为“文化馆西南方向30米”。本申请对用户位置的采集形式并不作限定。
步骤S102,根据位置,判断用户是否处于目标围栏内,其中,目标围栏内设置有预设标志物。
通过预先存储目标围栏的位置参数,将用户的位置和预先存储的目标围栏的位置参数进行比较,以判断用户是否处于目标围栏内,若预先存储的目标围栏的位置参数包含用户的位置,则代表用户处于目标围栏内,其中,目标围栏内代表目标围栏以内的范围,可以不包括目标围栏边界。
预设标志物可以是供用户观赏的实体,例如出土文物、宫殿遗址等;也可以是人工设置的二维码、图形码等类似标志物。
步骤S103,在判断到用户处于目标围栏内的情况下,判断用户处于目标围栏内的时间是否达到预设时间。
步骤S104,在判断到用户处于目标围栏内的时间达到预设时间的情况下,获取对应于预设标志物的多媒体素材。
步骤S105,将多媒体素材叠加于用户视野所及的空间区域。
由于定位信号的精度问题,当用户处于目标围栏的边缘附近时,会出现被判定为用户交替进入和退出目标围栏的情况,导致AR设备输出的虚拟内容也呈现交替出现和消失的情况而影响用户体验。通过上述步骤,当判断到用户进入目标围栏内,并处于该目标围栏内的时间达到预设时间的情况下,才获取多媒体素材以及通过AR设备将多媒体素材叠加于用户视野所及的空间区域,从而避免用户处于目标围栏边界附近导致的虚拟内容交替出现和消失而导致的用户体验降低的问题。
在本实施例中,目标围栏和预设标志物关联,通过确定用户当前处于的目标围栏,即可确定预设标志物。每个预设标志物有着对应的多媒体素材。在一些实施例中,多媒体素材包括但不限于以下至少之一:文本、图片、视频,一个多媒体素材可以为文本、图片、视频中的其中任意一项或者多项的组合。
在一些实施例中,将多媒体素材叠加于用户视野所及的空间区域包括但不限于以下至少之一:在多媒体素材为可视化素材的情况下,可以将多媒体素材显示于处于用户视野前方的显示屏上,或者通过投影装置将多媒体素材投影到用户视野所及的空间区域内。在多媒体素材包括非可视化素材(例如音频素材)的情况下,可以使用扬声器对多媒体素材进行播放。通过上述的方式,实现了将可视化或非可视化的多媒体素材与用户视野所及的空间区域的叠加。
目标围栏内的预设标志物可以是一个,也可以是多个。当预设标志物为多个的情况下,可以获取目标围栏内每个预设标志物对应的多媒体素材,并将这些多媒体素材同时叠加于用户视野所及的空间区域。
相比于相关技术的方案,本实施例在用户进入目标围栏以后,根据用户在目标围栏内的持续驻留时间来判定用户是否有意观察该目标围栏内的事物,进而决定是否向用户呈现该目标围栏内对应于预设标志物的多媒体素材,从而避免因定位信号无法捕捉用户在目标围栏的边缘移动的情况,而导致虚拟内容输出不稳定的问题。通过上述步骤,解决了相关技术中基于AR的场景导览方案因定位精度低而导致虚拟内容输出不稳定的问题,保证了虚拟内容输出的稳定性。
类似的,在步骤S105之后,当用户仍然在目标围栏的边缘附近,导致被判定为用户交替退出和进入目标围栏的情况,使得AR设备中止输出虚拟内容影响用户体验,在一些实施例中,在步骤S103之后,还可以在判断到用户退出目标围栏的情况下,判断用户退出目标围栏的时间是否达到预设时间;若是,则中止获取对应于预设标志物的多媒体素材,否则继续获取对应于预设标志物的多媒体素材,以及继续将获取到的多媒体素材叠加于用户视野所及的空间区域。
在上述实施例中,用于判断用户处于目标围栏内时间的预设时间和用于判断用户退出目标围栏的时间的预设时间可以相同,也可以不同。上述的预设时间可以为数秒或者十几秒,在本申请中不作限定。
当有一些较小的预设标志物分布较为密集时,对应于这些多个预设标志物的围栏可能相互重叠,当多个围栏存在重叠区域的情况下,设备输出对应于多个预设标志物的内容,对用户在视觉上造成干扰,不利于导览。以下将介绍从多个围栏中确定目标围栏的实施例。
在其中一些实施例中,在根据位置,判断用户是否处于目标围栏内之前,方法还包括:在用户处于多个围栏的重叠区域的情况下,获取用户与多个围栏中每个围栏的预设中心的距离;确定多个距离中的最小距离对应的围栏作为目标围栏。
围栏的预设中心设置在该围栏内其中一个预设标志物所在的位置,也可以设置在该围栏内多个预设标志物周围所在的位置。在本实施例中,可以预先采集围栏的预设中心的位置,当用户的位置同时落入多个围栏内的情况下,通过比较每个围栏预设中心和用户之间的距离,从中选取最小距离对应的围栏作为目标围栏,以此确定目标围栏中的预设标志物为用户当前有意观察的事物,从而避免设备输出对应于多个围栏的虚拟内容,对用户在视觉上造成干扰的问题,有利于提升导览的体验感。
在其中一些实施例中,在根据位置,判断用户是否处于目标围栏内之前,方法还包括:在用户处于多个围栏的重叠区域的情况下,获取用户的输入指令,输入指令用于从多个围栏中确定一个围栏;确定根据输入指令确定的围栏为目标围栏。
在本实施例中,当用户的位置同时落入多个围栏内的情况下,可以根据用户的主动选择,指定其中一个围栏作为目标围栏,目标围栏的选定方式包括但不限于:
在用户视野所及的空间区域叠加虚拟围栏;获取用户的眼动轨迹,可以通过在预设时间内采集在用户视野范围内的注视点,根据采集到的注视点,在多个围栏中选择其中一个围栏作为目标围栏。
在用户视野所及的空间区域叠加虚拟围栏;接收用户发出的语音指令,该语音指令携带有选定目标围栏的标识信息,根据语音指令,在多个围栏中选择其中一个围栏作为目标围栏。
获取摄像头的对焦信息,根据对焦信息,在多个围栏中选择其中一个围栏作为目标围栏。在根据对焦信息选定目标围栏的过程中,将摄像头最终聚焦的某个预设标志物所对应的围栏作为目标围栏。
上述实施例中的多个围栏存在重叠区域,当用户同时落入多个相互重叠的围栏内的情况下,需要借助算法进一步确定目标围栏,过程较为复杂,为了解决该问题,在其中一些实施例中,在根据位置,判断用户是否处于目标围栏内之前,方法还包括:获取多个预设标志物的位置,确定该多个预设标志物的分布情况;根据分布情况,设置一个或者多个围栏,其中,每个围栏内包括至少一个预设标志物。
在本实施例中,围栏的形状可以为圆形、椭圆形、方形中的任意一种,也可以为其他不规则形状,只要能够避免围栏之间相互重叠即可。通过本实施例,可以避免用户同时落入多个围栏,无需用户在多个围栏中进一步确定目标围栏的步骤,简化了算法,提升了导览实时性。
在本申请中,获取用户的位置的方式可以有多种,可以是根据定位系统获取用户的位置;也可以根据目标识别算法获取用户的位置;还可以是结合定位系统和目标识别算法获取用户的位置,以解决定位系统定位精度不高的问题。
在一些实施例中,根据目标识别算法获取用户的位置包括:获取用户视野所及的空间区域的实时图像;对实时图像进行目标识别处理,确定实时图像中的目标;根据实时图像中的目标,确定用户的位置。
实时图像可以是捕获处于空间区域中的三维实体所形成的图像,目标可以是预设标志物,也可以是其他用于起到标识性作用的实体、图片或者文字。通过预先采集目标的位置,将目标和目标的位置进行关联存储,根据用户视野内所呈现的目标能够判定用户当前所处的位置,以及用户在一段预设时间内所经过的位置。
对实时图像进行目标识别处理包括:采用经训练的卷积神经网络提取实时图像的特征,将实时图像的特征输入至分类器中得到分类结果,根据分类结果确定实时图像中的目标。该卷积神经网络可以预先训练,例如,先获取预设图像,对预设图像进行特征提取处理,得到预设特征,根据预设特征训练得到该卷积神经网络,以用于对实时图像进行图像识别处理。
此外,本发明的一个或多个实施例可以通过SIFT(Scale-invariant featurestransform,尺度不变特征变换)、HOG(histogram of Oriented Gradient,方向梯度直方)、SURF(Speeded Up Robust Features,加速稳健特征)或者LBP(Local Binary Pattern,局部二值模式)等算法提取图像的特征,并采用聚类算法进行特征匹配,从而确定图像的识别结果。此外,对实时图像进行目标识别处理可以基于本地处理或云端服务器处理,本申请对实时图像进行目标识别处理的方法并不限定。
在一些实施例中,结合定位系统和目标识别算法获取用户的位置包括:一方面,根据定位系统获取用户当前的地理位置,例如“北纬N30°23′10.95″,东经E120°06′38.63″”;另一方面,根据目标识别算法获取用户的位置,例如拍摄到一张目标为文化馆的实时图像,得到当前所处场景为“文化馆”,结合用户当前的地理位置和场景,采用预设算法进一步确定用户当前的位置为“文化馆西南方向30米”。本申请对用户位置的表达形式并不作限定。
相关技术中,基于AR的场景导览方案缺乏与用户的交互,例如,无法根据用户的状态动态地呈现虚拟内容,为了改善这种情况,在其中一些实施例中,在获取用户的位置之前,方法还包括:获取用户的运动状态信息;根据运动状态信息,确定用户处于的运动状态,其中,运动状态包括以下至少之一:乘坐交通工具状态、步行状态;根据用户处于的运动状态,获取对应于运动状态的多媒体素材;将对应于运动状态的多媒体素材叠加于用户视野所及的空间区域。
当用户和周围事物之间的相对移动速度较快时,例如在乘坐交通工具状态的情况下,若此时向用户呈现事物的多媒体素材,多媒体素材的更替速度也较快,用户没有足够的时间观看AR设备呈现的多媒体素材;当用户和周围事物之间的相对移动速度较慢时,例如在步行状态的情况下,若此时向用户呈现事物的多媒体素材,多媒体素材的更替速度也较慢,用户有足够的时间观看AR设备呈现的多媒体素材。
本实施例通过获取用户的运动状态信息,确定用户的运动状态,并根据运动状态向用户呈现相对应的多媒体素材,能够增强与用户之间的交互性,提升导览体验。
以下实施例将介绍不同运动状态所呈现不同的多媒体素材的实施例。
在其中一些实施例中,将对应于状态的多媒体素材叠加于用户视野所及的空间区域包括:在用户处于乘坐交通工具状态的情况下,将全局导航地图的多媒体素材叠加于用户视野所及的空间区域。
在用户处于乘坐交通工具状态的情况下,用户没有足够的时间消化呈现的多媒体素材,用户更为关注的是导览的规划信息,包括但不限于:根据预设导览范围所形成的地图,用户当前在该地图中所处的位置,导览的路径,用户已经经过的位置,用户即将抵达的位置。
在其中一些实施例中,将对应于状态的多媒体素材叠加于用户视野所及的空间区域包括:在用户处于步行状态的情况下,将局部导航地图的多媒体素材叠加于用户视野所及的空间区域,局部导航地图包括距离用户当前所处位置处于预设范围内的预设标志物的信息。
在用户处于步行状态的情况下,用户有足够的时间消化呈现的多媒体素材,用户更为关注的是周围事物的信息。局部导航地图比全局导航地图更为详细,地图中能够显示距离用户最近的几个兴趣点(预设标志物)的详细信息,以引导用户前往兴趣点。
无论用户处于乘坐交通工具状态还是处于步行状态,当用户进入某个围栏后,均可以通过上述步骤S101至步骤S105呈现多媒体素材;进一步地,当围栏内存在多个预设标志物的情况下,还可以借助于CV(Computer Version,机器视觉)算法辅助识别各个预设标志物,从而呈现对应于各个预设标志物的多媒体素材。
在其中一些实施例中,运动状态信息包括以下至少之一:移动速度值、加速度值。
获取运动状态信息的方式可以是采用定位系统获取,也可以是采用加速度传感器获取。
在其中一些实施例中,根据运动状态信息,确定用户处于的运动状态包括:判断移动速度值是否在预设持续时间内达到预设移动速度阈值的预设条件,若是,则确定用户处于对应于预设条件的运动状态。例如,在判断到移动速度值在持续5秒内大于3米/秒的情况下,则确定用户处于乘坐交通工具状态。在判断到移动速度值在持续5秒内低于3米/秒的情况下,则确定用户处于步行状态。
在一些优选实施例中,还可以根据预设频率采集用户的移动速度值,判断移动速度值是否满足预设条件,其中,预设条件包括移动速度值在预设持续时间内N次达到预设移动速度阈值,在判断到移动速度值满足预设条件的情况下,确定用户处于对应于预设条件的状态。预设条件至少包括对应于乘坐交通工具状态的条件和对应于步行状态的条件。其中,对应乘坐交通工具状态的条件还可以分为对应于乘坐观光车状态的条件、乘坐自行车状态的条件。
在其中一些实施例中,根据运动状态信息,确定用户处于的运动状态包括:判断加速度值的变化规律是否符合预设规律,若是,则确定用户处于对应于预设规律的运动状态。例如,在判断到加速度值符合乘坐交通工具状态的加速度值的情况下,则确定用户处于乘坐交通工具状态。在判断到加速度值符合步行状态的加速度值的情况下,则确定用户处于步行状态。
在一些优选实施例中,还可以综合考虑移动速度值与加速度值,根据用户的运动状态与上述移动速度值的预设条件以及加速度值的预设规律的总体匹配情况,来确定用户处于的运动状态。
图2是根据本申请优选实施例的基于AR的场景导览方法的流程图,如图2所示,该流程包括如下步骤:
步骤S201,通过用户佩戴的AR眼镜测量用户的移动速度,该AR眼镜包括用于测量用户的移动速度的装置,例如加速度传感器,和/或GPS定位装置。
步骤S202,按照预设频率采集用户的移动速度值,判断用户是否连续N次达到预设速度阈值,以根据达到的预设速度阈值呈现差异化的多媒体素材。在判断到用户连续N次达到第一预设速度阈值的情况下,执行步骤S203;在判断到用户连续N次达到第二预设速度阈值的情况下,执行步骤S204。
步骤S203,确定用户处于乘坐交通工具状态,通过AR眼镜向用户呈现全局地图和导览路线,并显示当前用户的位置的相关信息。
步骤S204,确定用户处于步行状态,通过AR眼镜向用户呈现局部的详细地图,并显示和用户最近的几个兴趣点的详细信息,并引导用户前往兴趣点。执行步骤S205。
步骤S205,判断用户是否处于兴趣点围栏内,其中,兴趣点围栏不相互重叠。在判断到用户处于兴趣点围栏内的情况下,执行步骤S206。
步骤S206,触发兴趣点判断逻辑,判断用户是否在兴趣点围栏内滞留超过一定时间。在判断到用户在兴趣点围栏内滞留超过一定时间的情况下,执行步骤S207。
步骤S207,确定用户有意向观察的兴趣点。对于兴趣点围栏较小的兴趣点,由于GPS的定位精度不高,可以启动摄像头,通过CV算法判断用户的行动方向,再结合GPS定位信号进行辅助定位。
步骤S208,向用户视野所及的空间区域叠加兴趣点的增强信息。
通过上述步骤,解决了相关技术中基于AR的场景导览方案因定位精度低而导致虚拟内容输出不稳定的问题,保证了虚拟内容输出的稳定性;避免用户同时落入多个围栏,摒弃了在多个围栏中进一步确定目标围栏的步骤,简化了算法,提升了导览实时性;根据运动状态向用户呈现相对应的多媒体素材,能够增强与用户之间的交互性,提升导览体验。
结合上述实施例所描述的基于AR的场景导览方法,本实施例还提供了一种基于AR的场景导览设备,图3是根据本申请实施例的基于AR的场景导览设备的结构示意图,如图3所示,包括:设备框架、定位模块301、输出模块302、主控模块303以及电源模块304;定位模块301和输出模块302设置于设备框架上,主控模块303分别与定位模块301和输出模块302电连接,电源模块304分别为定位模块301、输出模块302和主控模块303电连接;其中,定位模块301用于获取用户的位置;输出模块302用于呈现多媒体素材;主控模块303包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中的基于AR的场景导览方法。
在其中一些实施例中,输出模块302包括显示屏,也可以包括显示屏和扬声器。
在其中一些实施例中,设备框架可以设置成头戴式框架,也可以设置成手持式框架,还可以设置成眼镜形态。
在其中一些实施例中,主控模块303可以集成设置于设备框架中,也可以独立于设备框架。
在其中一些实施例中,电源模块304可以集成设置于设备框架中,也可以独立于设备框架。
在其中一些实施例中,设备还可以包括语音采集模块,用于采集用户发出的语音指令。
本领域技术人员可以理解,图3中示出的用户终端结构并不构成对基于AR的场景导览设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
需要说明的是,上述各个部分可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
图4是根据本申请实施例的主控模块的硬件结构示意图,如图4所示,处理器401可以包括中央处理器(CPU),或者特定集成电路(Application Specific IntegratedCircuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器402可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器402可在数据处理装置的内部或外部。在特定实施例中,存储器402是非易失性(Non-Volatile)存储器。在特定实施例中,存储器402包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(ErasableProgrammable Read-Only Memory,简称为EPROM)、电可擦除PROM(Electrically ErasableProgrammable Read-Only Memory,简称为EEPROM)、电可改写ROM(ElectricallyAlterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(Static Random-AccessMemory,简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode DynamicRandom Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(ExtendedDate Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器402可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器401所执行的可能的计算机程序指令。
处理器401通过读取并执行存储器402中存储的计算机程序指令,以实现上述实施例中的任意一种基于AR的场景导览方法。
在其中一些实施例中,基于主控模块还可以包括通信接口403和总线400。其中,如图4所示,处理器401、存储器402、通信接口403通过总线400连接并完成相互间的通信。
通信接口403用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口403还可以实现与其他部件例如:外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线400包括硬件、软件或两者,将主控模块的部件彼此耦接在一起。总线400包括但不限于以下至少之一:数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制,总线400可包括图形加速接口(Accelerated Graphics Port,简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,简称为EISA)总线、前端总线(Front Side Bus,简称为FSB)、超传输(Hyper Transport,简称为HT)互连、工业标准架构(Industry Standard Architecture,简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count,简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture,简称为MCA)总线、外围组件互连(Peripheral Component Interconnect,简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment,简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus,简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线400可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
该主控模块可以基于获取到的用户视野所及的空间区域的实时图像,执行本申请实施例中的基于AR的场景导览方法,从而实现结合图1描述的基于AR的场景导览方法。
另外,结合上述实施例中的基于AR的场景导览方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种基于AR的场景导览方法。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
- 基于AR的场景导览方法、设备以及计算机可读存储介质
- 基于AR的场景导览方法和设备