掌桥专利:专业的专利平台
掌桥专利
首页

信息显示方法、装置及设备、存储介质

文献发布时间:2023-06-19 10:21:15


信息显示方法、装置及设备、存储介质

技术领域

本发明涉及增强现实显示技术领域,尤其涉及一种信息显示方法、装置及设备、存储介质。

背景技术

AR(Augmented Reality)增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术,通过在现实空间叠加显示虚拟空间的内容来增强现实的感觉,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。

通常来说,AR眼镜可以采集真实环境的图像、还可获取定位等信息,通过镜片显示图像和相关信息,用户可以通过佩戴AR眼镜来了解周围情况。但是,目前的AR眼镜还无法直接向用户呈现路旁建筑物内的情况,包括建筑物内有哪些店铺、企事业单位等,导致用户无法快速地做出下一步行动的决策,对用户来说较为不便。

发明内容

本发明提供一种信息显示方法、装置及设备、存储介质,可直观地展示经营主体的描述信息。

本发明的第一方面提供一种信息显示方法,应用于服务器,所述服务器连接AR眼镜,该方法包括:

获取所述AR眼镜的摄像头当前采集的第一图像、以及所述AR眼镜当前所处的第一位置信息;

依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息,其中,所述目标建筑物为包含经营主体的建筑物;

在所述第一图像中为所述经营主体确定对应的显示平面,其中,所述显示平面是所述第一图像中与所述经营主体所在的目标建筑物的指定外立面相互垂直的平面;以及,

将各个经营主体的描述信息叠加至经营主体对应的显示平面上,得到第二图像。

根据本发明的一个实施例,所述依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息,包括:

依据所述第一位置信息在已设置的地图中确定用于搜索建筑物的目标搜索范围,所述地图记录了处于指定地理区域范围内的建筑物的标识信息;

从所述地图中获取处于所述目标搜索范围内的建筑物的目标标识信息;

从所述第一图像中提取出所述建筑物的第一特征信息;

针对每一所述建筑物的第一特征信息,在已设置的数据库中确定所述目标标识信息对应的特征信息,检查所述特征信息中是否存在与所述第一特征信息匹配的特征信息;

若存在与所述第一特征信息匹配的特征信息,则确定该建筑物为目标建筑物,并从所述数据库中获取该第一特征信息对应的所述目标建筑物中的所有所述经营主体的描述信息。

根据本发明的一个实施例,该方法进一步包括:获取每一所述经营主体的楼层信息;

所述在所述第一图像中为所述经营主体确定对应的显示平面,包括:

针对每一所述经营主体:

若该经营主体的楼层信息指示该经营主体处于所在的目标建筑物的其中N个楼层,所述N大于或等于1且小于该目标建筑物内所有楼层的数量,则在所述第一图像中该目标建筑物的指定外立面上确定与所述N个楼层对应的局部外立面,并将该局部外立面的一法向平面作为该经营主体对应的显示平面,该显示平面与N个楼层的高度对齐;

若该经营主体的楼层信息指示该经营主体处于所在的目标建筑物的所有楼层,则将该目标建筑物的整个指定外立面的一法向平面作为该经营主体对应的显示平面,该显示平面与该目标建筑物的楼高对齐。

根据本发明的一个实施例,该方法进一步包括:

获取所述AR眼镜的测距装置测得的所述AR眼镜在所述摄像头采集第一图像时与各建筑物之间的距离值;

从各距离值中确定出所述AR眼镜与所述目标建筑物之间的目标距离值;

所述将各个经营主体的描述信息叠加至经营主体对应的显示平面上进一步为:

依据所述目标距离值将各个经营主体的描述信息叠加至经营主体对应的显示平面上。

根据本发明的一个实施例,依据所述目标距离值将各个经营主体的描述信息叠加至经营主体对应的显示平面上,包括:

确定各个所述经营主体的描述信息的字体大小,其中,所述AR眼镜与所述经营主体所在的目标建筑物之间的目标距离值越小,则字体越大;

根据确定出的字体大小将经营主体的描述信息叠加至与经营主体对应的显示平面上。

根据本发明的一个实施例,在所述第一图像中为所述经营主体确定对应的显示平面之后,该方法进一步包括:

在各个所述经营主体对应的显示平面上添加虚拟广告牌,其中,所述AR眼镜与该经营主体所在的目标建筑物之间的目标距离值越小,则所述虚拟广告牌的尺寸越大;所述描述信息被叠加在该描述信息对应的虚拟广告牌上。

根据本发明的一个实施例,该方法进一步包括:获取各个所述经营主体的品牌风格信息,所述品牌风格信息包括经营主体的品牌字体类型信息和/或品牌字体颜色信息;

所述将各个经营主体的描述信息叠加至经营主体对应的显示平面上进一步为:按照经营主体的品牌风格信息将各个经营主体的描述信息叠加至经营主体对应的显示平面上。

根据本发明的一个实施例,得到第二图像之后,该方法还包括:

向所述AR眼镜发送所述第二图像,以在所述AR眼镜上显示该第二图像。

根据本发明的一个实施例,

所述第一图像是所述AR眼镜在从第一图像中检测到标志特征时发送的,所述标志特征用于表征所述第一图像中存在建筑物;

所述经营主体包括店铺、企业单位和/或事业单位;

所述描述信息包括经营主体的名称、地址信息、促销信息和/或联系电话;

所述指定外立面为目标建筑物在所述第一图像中呈现面积最大的外立面。

本发明第二方面提供一种信息显示装置,应用于服务器,所述服务器连接AR眼镜,该装置包括:

信息获取模块,用于获取所述AR眼镜的摄像头当前采集的第一图像、以及所述AR眼镜当前所处的第一位置信息;

描述信息确定模块,用于依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息,其中,所述目标建筑物为包含经营主体的建筑物;

显示平面确定模块,用于在所述第一图像中为所述经营主体确定对应的显示平面,其中,所述显示平面是所述第一图像中与所述经营主体所在的目标建筑物的指定外立面相互垂直的平面;以及,

信息叠加模块,用于将各个经营主体的描述信息叠加至经营主体对应的显示平面上,得到第二图像。

根据本发明的一个实施例,所述描述信息确定模块依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息时,具体用于:

依据所述第一位置信息在已设置的地图中确定用于搜索建筑物的目标搜索范围,所述地图记录了处于指定地理区域范围内的建筑物的标识信息;

从所述地图中获取处于所述目标搜索范围内的建筑物的目标标识信息;

从所述第一图像中提取出所述建筑物的第一特征信息;

针对每一所述建筑物的第一特征信息,在已设置的数据库中确定所述目标标识信息对应的特征信息,检查所述特征信息中是否存在与所述第一特征信息匹配的特征信息;

若存在与所述第一特征信息匹配的特征信息,则确定该建筑物为目标建筑物,并从所述数据库中获取该第一特征信息对应的所述目标建筑物中的所有所述经营主体的描述信息。

根据本发明的一个实施例,该装置进一步包括:楼层信息获取模块,用于获取每一所述经营主体的楼层信息;

所述显示平面确定模块在所述第一图像中为所述经营主体确定对应的显示平面时,具体用于:

针对每一所述经营主体:

若该经营主体的楼层信息指示该经营主体处于所在的目标建筑物的其中N个楼层,所述N大于或等于1且小于该目标建筑物内所有楼层的数量,则在所述第一图像中该目标建筑物的指定外立面上确定与所述N个楼层对应的局部外立面,并将该局部外立面的一法向平面作为该经营主体对应的显示平面,该显示平面与N个楼层的高度对齐;

若该经营主体的楼层信息指示该经营主体处于所在的目标建筑物的所有楼层,则将该目标建筑物的整个指定外立面的一法向平面作为该经营主体对应的显示平面,该显示平面与该目标建筑物的楼高对齐。

根据本发明的一个实施例,该装置进一步包括:

距离值获取模块,用于获取所述AR眼镜的测距装置测得的所述AR眼镜在所述摄像头采集第一图像时与各建筑物之间的距离值;

目标距离值确定模块,用于从各距离值中确定出所述AR眼镜与所述目标建筑物之间的目标距离值;

所述信息叠加模块将各个经营主体的描述信息叠加至经营主体对应的显示平面上时,进一步用于:

依据所述目标距离值将各个经营主体的描述信息叠加至经营主体对应的显示平面上。

根据本发明的一个实施例,所述信息叠加模块依据所述目标距离值将各个经营主体的描述信息叠加至经营主体对应的显示平面上时,具体用于:

确定各个所述经营主体的描述信息的字体大小,其中,所述AR眼镜与所述经营主体所在的目标建筑物之间的目标距离值越小,则字体越大;

根据确定出的字体大小将经营主体的描述信息叠加至与经营主体对应的显示平面上。

根据本发明的一个实施例,所述显示平面确定模块在所述第一图像中为所述经营主体确定对应的显示平面之后,进一步用于:

在各个所述经营主体对应的显示平面上添加虚拟广告牌,其中,所述AR眼镜与该经营主体所在的目标建筑物之间的目标距离值越小,则所述虚拟广告牌的尺寸越大;所述描述信息被叠加在该描述信息对应的虚拟广告牌上。

根据本发明的一个实施例,该装置进一步包括:品牌风格信息获取模块,用于获取各个所述经营主体的品牌风格信息,所述品牌风格信息包括经营主体的品牌字体类型信息和/或品牌字体颜色信息;

所述信息叠加模块将各个经营主体的描述信息叠加至经营主体对应的显示平面上时,进一步用于:按照经营主体的品牌风格信息将各个经营主体的描述信息叠加至经营主体对应的显示平面上。

根据本发明的一个实施例,

所述第一图像是所述AR眼镜在从第一图像中检测到标志特征时发送的,所述标志特征用于表征所述第一图像中存在建筑物;

所述经营主体包括店铺、企业单位和/或事业单位;

所述描述信息包括经营主体的名称、地址信息、促销信息和/或联系电话;

所述指定外立面为目标建筑物在所述第一图像中呈现面积最大的外立面。

根据本发明的一个实施例,该装置还包括:

第二图像发送模块,用于向所述AR眼镜发送所述第二图像,以在所述AR眼镜上显示该第二图像。

本发明第三方面提供一种电子设备,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如前述实施例所述的信息显示方法。

本发明第四方面提供一种非暂态电子设备可读存储介质,其上存储有程序,该程序被处理器执行时,实现如前述实施例所述的信息显示方法。

本发明具有以下有益效果:

本发明实施例中,通过获取AR眼镜的摄像头当前采集的第一图像以及AR眼镜当前所处的第一位置信息,可以据此确定出第一图像中包含有经营主体的目标建筑物,并确定出相应的描述信息,并可以在第一图像中为目标建筑物内的经营主体确定对应的显示平面,并将描述信息叠加到对应显示平面上,第一图像展示的是真实环境,描述信息作为虚拟内容叠加到真实环境一起显示,实现将经营主体的描述信息与真实环境融合,有利于用户查找经营主体,更重要的是,由于显示平面垂直于目标建筑物的指定外立面,所以,叠加后得到的第二图像中,描述信息可以垂直显示于对应经营主体所在的目标建筑物的指定外立面,相比于平铺在建筑物的外立面上而言,展示更为直观,使得用户可以一目了然,提供了立体三维的导向作用,可以更快速地找到想要找的经营主体,节省寻找的时间,而且,对于逛街的用户而言,可以向逛街的用户三维展示某条街上所有的店铺信息,提升逛街乐趣,同时为商户提供了一个展示店铺的平台。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一实施例的信息显示方法的应用场景示意图;

图2是本发明一实施例的信息显示方法的流程示意图;

图3是本发明一实施例的描述信息叠加到第一图像的示意图;

图4是本发明一实施例的第二图像的示意图;

图5是本发明另一实施例的信息显示方法的流程示意图;

图6是本发明一实施例的信息显示装置的结构框图;

图7是本发明另一实施例的信息显示装置的结构框图;

图8是本发明一实施例的电子设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。

在一个实施例中,如图1所示,其为本发明提供的一种信息显示方法的应用场景示意图,在该应用场景中,本发明实施例的信息显示方法应用于服务器10,即信息显示方法的执行主体为服务器10,进一步地可以为服务器10的处理器11,其中,服务器10包括至少一个处理器11和存储器12,其中,处理器11可以为通用处理器或者专用处理器。

所述服务器连接AR眼镜20,连接可以是无线远程连接。服务器10可以由多台计算机设备组成,具有较强大的数据处理与存储能力,可以连接多个AR眼镜20,可以为AR眼镜20提供云服务,包括数据处理与存储等,具体不做限定。

AR眼镜20通过不限定的连接方式向服务器10提供图像数据、位置信息以及姿态信息等用于服务器10处理与存储的信息数据。

藉由服务器10和AR眼镜20,在该应用场景中可以实现服务器10获取AR眼镜20采集的场景图像以及AR眼镜20的位置信息,进而服务器10在数据库中查询并获得需要向AR眼镜佩戴者展示的描述信息,最后根据已获得的描述信息,将描述信息与原始的场景图像进行处理,生成可以在AR眼镜20中显示的图像。

具体的,图1所示应用场景中的信息显示方法请参看图2,该信息显示方法可以包括以下步骤:

S100:获取所述AR眼镜的摄像头当前采集的第一图像、以及所述AR眼镜当前所处的第一位置信息;

S200:依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息,其中,所述目标建筑物为包含经营主体的建筑物;

S300:在所述第一图像中为所述经营主体确定对应的显示平面,其中,所述显示平面是所述第一图像中与所述经营主体所在的目标建筑物的指定外立面相互垂直的平面;以及,

S400:将各个经营主体的描述信息叠加至经营主体对应的显示平面上,得到第二图像。

信息显示方法涉及到的AR眼镜可以是与服务器连接的任一AR眼镜。AR眼镜可以包括摄像头、定位装置。摄像头可以以设定的采集帧率采集图像,摄像头的视野范围可以与佩戴者的视野范围相匹配,从而佩戴者可以通过观看摄像头采集到的图像来了解周围真实环境。定位装置可以实时地测量AR眼镜所处的位置信息。可选的,定位装置比如可以为GPS(全球定位系统)装置,具体不做限定。

当然,AR眼镜还可以包括其他的组成部件,比如还可以包括处理器、存储器、通信单元、显示单元(如镜片)、陀螺仪等,处理器可以用于数据处理,存储器可以用于保存数据如图像等,通信单元可实现AR眼镜与其他设备如服务器的通信,显示单元可用于显示图像等数据,陀螺仪可以用于测量AR镜片的加速度和角速度,具体不做限定。

步骤S100中,获取AR眼镜的摄像头当前采集的第一图像、以及所述AR眼镜当前所处的第一位置信息,所述第一图像包含建筑物。

AR眼镜可以对摄像头每次采集的图像进行检测,在确定图像中包含建筑物时,可以将该图像确定为第一图像并发送给服务器,并可将AR眼镜的定位装置测得的位置信息即第一位置信息发送给服务器。

该第一位置信息可以是在摄像头采集到第一图像时测得的位置信息,也可以是在确定第一图像中包含建筑物时测得的,具体不做限定,只要可以表征AR眼镜当前所处位置即可。

优选的,所述第一图像是所述AR眼镜在从第一图像中检测到标志特征时发送的,所述标志特征用于表征所述第一图像中存在建筑物。这里的标志特征比如可以包括广告牌,一般来说,广告牌会设置在建筑物上,通常是商场、大厦等,一般在这些建筑物中会存在经营主体,因而,可以在检测到广告牌时确定第一图像中存在建筑物,当然,具体不做限定,其他可以表征建筑物的标志特征也同样适用。

服务器在收到AR眼镜发送的第一图像和第一位置信息之后,可以执行后续的步骤。可以理解,在一些情况下,也可以服务器主动从AR眼镜获取第一图像和第一位置信息,具体不做限定。

步骤S200中,依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息,其中,所述目标建筑物为包含经营主体的建筑物。

可选的,所述经营主体包括店铺、企业单位和/或事业单位。优选来说,第一图像中的建筑物只要包含店铺、企业单位、事业单位其中的任一个,则该建筑物即为目标建筑物。

所述描述信息包括经营主体的名称、地址信息、促销信息和/或联系电话等,当然,其他与经营主体相关的信息也同样可以作为描述信息,比如还可以包括经营主体的logo等。

可选的,不同经营主体被确定出的描述信息可以不同。比如,一个经营主体的描述信息可以包括名称和地址信息,另一个经营主体可以包括名称和联系电话等。

第一位置信息可以表征AR眼镜的位置,而第一图像中的建筑物与AR眼镜之间的位置存在关联,结合实际的地理情况,可以根据第一位置信息和第一图像来确定出第一图像中包含经营主体的目标建筑物,并可确定出目标建筑物包含的经营主体的描述信息。

可选的,步骤S200中,依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息,可以包括以下步骤:

S201:依据所述第一位置信息在已设置的地图中确定用于搜索建筑物的目标搜索范围,所述地图记录了处于指定地理区域范围内的建筑物的标识信息;

S202:从所述地图中获取处于所述目标搜索范围内的建筑物的目标标识信息;

S203:从所述第一图像中提取出所述建筑物的第一特征信息;

S204:针对每一所述建筑物的第一特征信息,在已设置的数据库中确定所述目标标识信息对应的特征信息,检查所述特征信息中是否存在与所述第一特征信息匹配的特征信息;

S205:若存在与所述第一特征信息匹配的特征信息,则确定该建筑物为目标建筑物,并从所述数据库中获取该第一特征信息对应的所述目标建筑物中的所有所述经营主体的描述信息。

地图可以是预先设置好的,可以保存在服务器中或其他设备中,在需要时调用。地图记录了处于指定地理区域范围内的建筑物的标识信息,可以反映指定地理区域范围内建筑物之间的真实位置关系,地图中可以记录指定地理区域范围内所有建筑物的标识信息,也可以仅记录指定建筑物的标识信息,这里的指定建筑物比如可以为包含经营主体的建筑物,当然具体不做限定。

举例来说,在指定地理区域范围内,位置D1处具有建筑物,该建筑物的标识信息为S1,则在地图上对应于位置D1之处记录有S1,表示此处具有标识信息为S1的建筑物。

可选的,建筑物的标识信息比如可以为建筑物的名称,具体不做限定。

步骤S201中,目标搜索范围可以依据第一位置信息确定。第一位置信息可以为经纬度信息,地图中同样可以用经纬度来表示位置。可选的,目标搜索范围可以包含该第一位置信息,比如可以是地图中以第一位置信息为圆心、半径为指定半径的区域范围,此处只是举例,并不作为限制。

可以理解,在此过程中也可以进行一定的位置关系的转换,比如将第一位置信息转换为地图上的位置信息,再以转换所得的位置信息来确定目标搜索范围,具体不做限定。

步骤S202中,从所述地图中获取处于所述目标搜索范围内的建筑物的目标标识信息,这些建筑物中可以包含第一图像中的所有建筑物或者经营主体所在的建筑物,还可以包含其他建筑物。当然,目标搜索范围内也可能仅包含第一图像中的一部分建筑物,具体可视目标搜索范围以及AR眼镜所处位置而定,具体不做限定。

步骤S203中,从所述第一图像中提取出建筑物的第一特征信息,第一特征信息可以表征该建筑物的特征。可以采用相关的特征提取算法来实现特征信息的提取,比如可以为特征点提取、边缘提取算法等,具体算法不做限定。

不同建筑物通常外观特征有所不同,建筑物比如可以包括玻璃、外挂岩石、楼顶广告牌等外观物体,而且一些建筑物可以具有某些外观物体、另一些建筑物可以具有另一些外观物体,即使具有相同的外观物体,则这些外观物体的位置、颜色等也会有所不同。因此,第一特征信息一般可以唯一地表征相应的建筑物。

步骤S204中,数据库可以是预先设置好的,可以记录有包含经营主体的建筑物的标识信息、特征信息以及所包含的经营主体的描述信息。一个建筑物中可以包含一个经营主体,也可以包含多个经营主体,具体不做限定。

针对从第一图像中提取出的每一建筑物的第一特征信息,在已设置的数据库中确定与目标标识信息对应的特征信息,检查所述特征信息中是否存在与所述第一特征信息匹配的特征信息。

若存在与所述第一特征信息匹配的特征信息,则确定该建筑物为目标建筑物,并从所述数据库中获取该第一特征信息对应的所述目标建筑物中的所有所述经营主体的描述信息。

当然,数据库还可以记录这些建筑物的其他信息,如品牌风格信息、楼层高度、整个建筑物的楼高等,具体不做限定。

步骤S300中,在所述第一图像中为所述经营主体确定对应的显示平面,其中,所述显示平面是所述第一图像中与所述经营主体所在的目标建筑物的指定外立面相互垂直的平面。

可选的,所述指定外立面为目标建筑物在所述第一图像中呈现面积最大的外立面,当然,具体不做限定。

每一经营主体都可具有对应的显示平面,显示平面的数量与经营主体的数量可以一致,即经营主体与显示平面可以是一一对应的。当然,在一些情况下,一个显示平面也可以与两个以上经营主体对应,具体不做限定。

步骤S400中,将各个经营主体的描述信息叠加至经营主体对应的显示平面上,得到第二图像,以使描述信息垂直显示于对应的经营主体所在的目标建筑物的指定外立面。

在第一图像中,每一个经营主体均具有对应的显示平面,且该显示平面与经营主体所在的目标建筑物的指定外立面是相互垂直的,因而,在将经营主体的描述信息叠加到显示平面上之后,描述信息在得到的第二图像中是立体的。

可选的,在叠加时,描述信息可以以文字的形式叠加到相应的显示平面,当然具体不做限定。

一般来说,佩戴AR眼镜的佩戴者在需要查找经营主体时,通常都是处于道路上,所以,建筑物通常是位于道路两侧,指定外立面通常是更靠近道路的平面,显示平面与指定外立面垂直,所以显示平面通常是面向用户的,如此,叠加后的描述信息也可以面向用户,展示更为直观和清晰。

在上述的实施例中,通过获取AR眼镜的摄像头当前采集的第一图像以及AR眼镜当前所处的第一位置信息,可以据此确定出第一图像中包含有经营主体的目标建筑物,并确定出相应的描述信息,并可以在第一图像中为目标建筑物内的经营主体确定对应的显示平面,并将描述信息叠加到对应显示平面上,第一图像展示的是真实环境,描述信息作为虚拟内容叠加到真实环境一起显示,实现将经营主体的描述信息与真实环境融合,有利于用户查找经营主体,更重要的是,由于显示平面垂直于目标建筑物的指定外立面,所以,叠加后得到的第二图像中,描述信息可以垂直显示于对应经营主体所在的目标建筑物的指定外立面,相比于平铺在建筑物的外立面上而言,展示更为直观,使得用户可以一目了然,提供了立体三维的导向作用,可以更快速地找到想要找的经营主体,节省寻找的时间,而且,对于逛街的用户而言,可以向逛街的用户三维展示某条街上所有的店铺信息,提升逛街乐趣,同时为商户提供了一个展示店铺的平台。

在一个实施例中,该方法进一步包括:获取每一所述经营主体的楼层信息。这一步可以在确定出目标建筑物之后执行,比如可以在获取到描述信息之后执行。

可选的,可以从数据库中获取经营主体的楼层信息,楼层信息可以预先记录在数据库中。或者,在描述信息包含地址信息的情况下,可以从地址信息中确定出楼层信息。楼层信息可以指示经营主体处于哪一层或哪几层楼层、是否处于建筑物的所有楼层,经营主体处于建筑物的所有楼层一般认为是这个建筑物只有这一个经营主体。

相应的,步骤S300中,所述在所述第一图像中为所述经营主体确定对应的显示平面,可以包括以下步骤:

针对每一经营主体:

若该经营主体的楼层信息指示该经营主体处于所在的目标建筑物的其中N个楼层,所述N大于或等于1且小于该目标建筑物内所有楼层的数量,则在所述第一图像中该目标建筑物的指定外立面上确定与所述N个楼层对应的局部外立面,并将该局部外立面的一法向平面作为该经营主体对应的显示平面,该显示平面与N个楼层的高度对齐;

若该经营主体的楼层信息指示该经营主体处于所在的目标建筑物的所有楼层,则将该目标建筑物的整个指定外立面的一法向平面作为该经营主体对应的显示平面,该显示平面与该目标建筑物的楼高对齐。

楼层的高度、目标建筑物的楼高可以预先记录在数据库中,可以在确定上述楼层信息时一并获取相应的楼层的高度或目标建筑物的楼高。显示平面与N个楼层的高度对齐,则意味着根据N个楼层的高度确定显示平面的高度。显示平面与该目标建筑物的楼高对齐,则意味着根据目标建筑物的楼高确定显示平面的高度。

举例来说,参看图3,A1公司、A2公司和A3店铺为同一建筑物——B大厦中的3个不同的经营主体,根据相应的楼层信息可以确定:A1公司处于四层,A2公司处于三层,A3店铺处于二层。局部外立面101为B大厦的指定外立面上与四层对应的外立面,相应的,为A1公司确定的显示平面201垂直于该局部外立面101,且与四层的高度对齐。局部外立面102为B大厦的指定外立面上与三层对应的外立面,相应的,为A2公司确定的显示平面202垂直于该局部外立面102,且与三层的高度对齐。局部外立面103为B大厦的指定外立面上与二层对应的外立面,相应的,为A3店铺确定的显示平面203垂直于该局部外立面103,且与四层的高度对齐。

显示平面并不呈现在第一图像上,因而在图3中,显示平面201-203用虚线绘制。

在经营主体处于目标建筑物的所有楼层的情况下,则显示平面垂直于指定外立面,且与该目标建筑物的楼高对齐,此处不再以图示举例。

可选来说,在同一楼层具有多个经营主体的情况下,这些经营主体对应的显示平面可以前后排列,前后关系可以是随机确定的、也可以采用其他方式确定;或者,可以错位平铺在显示平面上。当然,具体不做限定,只要不重叠在一起即可。

在一个实施例中,该方法进一步包括:

获取所述AR眼镜的测距装置测得的所述AR眼镜在所述摄像头采集第一图像时与各建筑物之间的距离值;

从各距离值中确定出所述AR眼镜与所述目标建筑物之间的目标距离值。

上述的步骤可以在确定第一图像中的目标建筑物之后执行。

上述的距离值可以AR眼镜在发送第一图像和第一位置信息时一同发送的,当然,也可以是分不同时间发送的,具体不做限定。

优选来说,测距装置比如可以为双目相机,保证测得的距离值与第一图像中的建筑物关联。双目相机同步采集到的图像之间具有一定的视差,基于双目视觉原理可以根据视差确定出左右目图像的重叠区域中各场景的深度信息,也就是测距装置(测距装置位于AR眼镜上,所以也就是AR眼镜)与场景之间的距离值。当然,测距装置也不限于双目相机,其他可实现测量距离的装置均适用。

可选的,在测距装置为双目相机的情况下,上述的摄像头可以是测距装置的其中一目摄像头。比如,左右目摄像头采集到图像后,可确定出距离值,同时对其中一目图像进行检测,在确定图像中存在建筑物时,将该图像作为第一图像,并将第一图像、第一位置信息、以及距离值发送给服务器。

服务器收到的距离值可以包括AR眼镜与第一图像中所有建筑物之间的距离值,当然还可以包括与其他物体之间的距离值,比如其他人或车辆等障碍物之间的距离值。

优选来说,上述的距离值可以以深度图的形式来呈现,在从第一图像中提取出建筑物的第一特征信息,并据此从中确定出目标建筑物的情况下,可以确定目标建筑物在深度图中的位置,从而可确定深度图中目标建筑物的深度信息也就是目标距离值。当然,从所有距离值中确定出目标建筑物的目标距离值的方式不限于此。

相应的,所述将各个经营主体的描述信息叠加至经营主体对应的显示平面上进一步为:

依据所述目标距离值将各个经营主体的描述信息叠加至经营主体对应的显示平面上。

经营主体所在的目标建筑物与AR眼镜之间的目标距离值不同,经营主体对应的描述信息在第一图像上的叠加方式可以不同,这里的不同可以体现在引人关注方面,比如目标距离值更小的(即距离更近),则描述信息的字体可以更大,色彩可以更明亮等,具体不做限定。

可选的,依据所述目标距离值将各个经营主体的描述信息叠加至经营主体对应的显示平面上,包括:

确定各个经营主体的描述信息的字体大小,其中,所述AR眼镜与经营主体所在的目标建筑物之间的目标距离值越小,则字体越大;

根据确定出的字体大小将经营主体的描述信息叠加至与经营主体对应的显示平面上。

换言之,目标建筑物与AR眼镜的距离值越近,则在叠加时该目标建筑物内的经营主体的描述信息的字体越大;相反的,目标建筑物与AR眼镜的距离值越远,则在叠加时该目标建筑物内的经营主体的描述信息的字体越小。

可选的,可以根据距离值分段来确定字体大小,例如距离值为0-50米则采用大号字体,距离值为50-100米则采用中号字体,距离值为100米开外则用小号字体,以此类推,距离值越大描述信息字体就越小。

本实施例中,根据目标建筑物与AR眼镜之间的距离远近,来确定经营主体对应的描述信息在叠加时的字体大小,越近则越大,可以通过字体大小来直观地显示距离远近。

可选的,在同一目标建筑物包含多个经营主体的情况下,若多个经营主体的显示平面前后排列,则在叠加时将叠加到更靠前的显示平面上的描述信息的字体设置地更大,当然具体不做限定,也可以相同大小。

在一个实施例中,在所述第一图像中确定与所述经营主体对应的显示平面之后,该方法进一步包括:

在各个经营主体对应的显示平面上添加虚拟广告牌,其中,所述AR眼镜与该经营主体所在的目标建筑物之间的目标距离值越小,则虚拟广告牌的尺寸越大;所述描述信息被叠加在该描述信息对应的虚拟广告牌上。

继续参看图3,显示平面201上添加有虚拟广告牌301,A1公司的描述信息叠加在虚拟广告牌301上;显示平面202上添加有虚拟广告牌302,A2公司的描述信息叠加在虚拟广告牌302上;显示平面203上添加有虚拟广告牌303,A3店铺的描述信息叠加在虚拟广告牌303上A3店铺。

图4示出了本发明实施例中在某一场景下,叠加有各目标建筑物内的经营主体的描述信息的第二图像,当然,图4只是示例性的,并不作为限制。

本实施例中,通过添加虚拟广告牌,可以使得描述信息的呈现更为真实,更有利于用户快速分辨哪些是经营主体的描述信息,而且,虚拟广告牌的大小也按照目标建筑物与AR眼镜的远近来设置,更近者虚拟广告牌更大,更有利于用户查找所需的经营主体。

可选的,第二图像中的虚拟广告牌可以透明或者半透明,可避免影响用户的视线。

在一个实施例中,该方法进一步包括:获取各个所述经营主体的品牌风格信息,所述品牌风格信息包括经营主体的品牌字体类型信息和/或品牌字体颜色信息。

一些经营主体,尤其是店铺、企业单位,具有相应的品牌logo,而且各具特色,一般在品牌字体类型和品牌字体颜色方面各具特色。比如,一家企业单位的logo主色调为黄色,另一家企业单位的logo主色调为红色和灰色,这些品牌字体颜色可以分别作为这两家企业单位的品牌风格信息。品牌字体类型也是类似,在此不再赘述。

相应的,所述将各个经营主体的描述信息叠加至经营主体对应的显示平面上进一步为:按照经营主体的品牌风格信息将各个经营主体的描述信息叠加至经营主体对应的显示平面上。

比如,一家企业单位的logo主色调为黄色,品牌字体类型为宋体,则在将该单位的描述信息叠加到对应的显示平面时,描述信息同样为黄色且为宋体,更有利于用户辨认和区分。当然,品牌风格信息包括品牌字体类型和品牌字体颜色只是优选的方式,实际可以只选择其中一个。

在一个实施例中,参看图5,得到第二图像之后,该方法还包括:

步骤S500:向所述AR眼镜发送所述第二图像,以在所述AR眼镜上显示该第二图像。

AR眼镜上可以具有显示单元,该显示单元可以包括AR眼镜上的AR镜片,当然,在一些情况下,显示单元也可以包括AR眼镜上的其他显示部件,具体不做限定。

AR眼镜在收到第二图像时,可以通过显示单元比如AR镜片显示该第二图像,以使用户可以一方面看到周围环境(主要是前方环境),另一方面可以看到周围环境中的经营主体的描述信息,以便尽快做出下一步行动的决策。

本实施例中,通过向所述AR眼镜发送所述第二图像,可在AR眼镜的显示单元上直观地向AR眼镜的佩戴者展示当前可视范围内各个建筑物中经营主体的描述信息。

本发明还提供一种信息显示装置,应用于服务器,所述服务器连接AR眼镜,参看图6,该装置400包括:

信息获取模块401,用于获取所述AR眼镜的摄像头当前采集的第一图像、以及所述AR眼镜当前所处的第一位置信息;

描述信息确定模块402,用于依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息,其中,所述目标建筑物为包含经营主体的建筑物;

显示平面确定模块403,用于在所述第一图像中为所述经营主体确定对应的显示平面,其中,所述显示平面是所述第一图像中与所述经营主体所在的目标建筑物的指定外立面相互垂直的平面;以及,

信息叠加模块404,用于将各个经营主体的描述信息叠加至经营主体对应的显示平面上,得到第二图像。

在一个实施例中,所述描述信息确定模块依据所述第一图像和所述第一位置信息确定所述第一图像中的目标建筑物,并提取所述目标建筑物内包含的至少一经营主体的描述信息时,具体用于:

依据所述第一位置信息在已设置的地图中确定用于搜索建筑物的目标搜索范围,所述地图记录了处于指定地理区域范围内的建筑物的标识信息;

从所述地图中获取处于所述目标搜索范围内的建筑物的目标标识信息;

从所述第一图像中提取出所述建筑物的第一特征信息;

针对每一所述建筑物的第一特征信息,在已设置的数据库中确定所述目标标识信息对应的特征信息,检查所述特征信息中是否存在与所述第一特征信息匹配的特征信息;

若存在与所述第一特征信息匹配的特征信息,则确定该建筑物为目标建筑物,并从所述数据库中获取该第一特征信息对应的所述目标建筑物中的所有所述经营主体的描述信息。

在一个实施例中,该装置进一步包括:楼层信息获取模块,用于获取每一所述经营主体的楼层信息;

所述显示平面确定模块在所述第一图像中为所述经营主体确定对应的显示平面时,具体用于:

针对每一所述经营主体:

若该经营主体的楼层信息指示该经营主体处于所在的目标建筑物的其中N个楼层,所述N大于或等于1且小于该目标建筑物内所有楼层的数量,则在所述第一图像中该目标建筑物的指定外立面上确定与所述N个楼层对应的局部外立面,并将该局部外立面的一法向平面作为该经营主体对应的显示平面,该显示平面与N个楼层的高度对齐;

若该经营主体的楼层信息指示该经营主体处于所在的目标建筑物的所有楼层,则将该目标建筑物的整个指定外立面的一法向平面作为该经营主体对应的显示平面,该显示平面与该目标建筑物的楼高对齐。

在一个实施例中,该装置进一步包括:

距离值获取模块,用于获取所述AR眼镜的测距装置测得的所述AR眼镜在所述摄像头采集第一图像时与各建筑物之间的距离值;

目标距离值确定模块,用于从各距离值中确定出所述AR眼镜与所述目标建筑物之间的目标距离值;

所述信息叠加模块将各个经营主体的描述信息叠加至经营主体对应的显示平面上时,进一步用于:

依据所述目标距离值将各个经营主体的描述信息叠加至经营主体对应的显示平面上。

在一个实施例中,所述信息叠加模块依据所述目标距离值将各个经营主体的描述信息叠加至经营主体对应的显示平面上时,具体用于:

确定各个所述经营主体的描述信息的字体大小,其中,所述AR眼镜与所述经营主体所在的目标建筑物之间的目标距离值越小,则字体越大;

根据确定出的字体大小将经营主体的描述信息叠加至与经营主体对应的显示平面上。

在一个实施例中,所述显示平面确定模块在所述第一图像中为所述经营主体确定对应的显示平面之后,进一步用于:

在各个所述经营主体对应的显示平面上添加虚拟广告牌,其中,所述AR眼镜与该经营主体所在的目标建筑物之间的目标距离值越小,则所述虚拟广告牌的尺寸越大;所述描述信息被叠加在该描述信息对应的虚拟广告牌上。

在一个实施例中,该装置进一步包括:品牌风格信息获取模块,用于获取各个所述经营主体的品牌风格信息,所述品牌风格信息包括经营主体的品牌字体类型信息和/或品牌字体颜色信息;

所述信息叠加模块将各个经营主体的描述信息叠加至经营主体对应的显示平面上时,进一步用于:按照经营主体的品牌风格信息将各个经营主体的描述信息叠加至经营主体对应的显示平面上。

在一个实施例中,参看图7,该装置400还包括:

第二图像发送模块405,用于向所述AR眼镜发送所述第二图像,以在所述AR眼镜上显示该第二图像。

在一个实施例中,

所述第一图像是所述AR眼镜在从第一图像中检测到标志特征时发送的,所述标志特征用于表征所述第一图像中存在建筑物;

所述经营主体包括店铺、企业单位和/或事业单位;

所述描述信息包括经营主体的名称、地址信息、促销信息和/或联系电话;

所述指定外立面为目标建筑物在所述第一图像中呈现面积最大的外立面。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。

对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元。

本发明还提供一种电子设备,包括处理器及存储器;存储器存储有可被处理器调用的程序;其中,处理器执行程序时,实现如前述实施例中的信息显示方法。

本发明信息显示装置的实施例可以应用在电子设备上,电子设备可以作为图1所示场景中,应用信息显示方法的服务器。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图8所示,图8是本发明根据一示例性实施例示出的信息显示装置400所在电子设备的一种硬件结构图,除了图8所示的处理器510、内存530、网络接口520、以及非易失性存储器540之外,实施例中信息显示装置400所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。

本发明还提供一种非暂态电子设备可读存储介质,其上存储有程序,该程序被处理器执行时,实现如前述实施例中的信息显示方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。非暂态电子设备可读存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。非暂态电子设备可读存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

相关技术
  • 信息显示方法、信息显示装置、电子设备和可读存储介质
  • 信息显示方法、信息显示装置、存储介质及电子设备
技术分类

06120112518430