掌桥专利:专业的专利平台
掌桥专利
首页

显示方法、装置及第一电子设备

文献发布时间:2023-06-19 18:58:26


显示方法、装置及第一电子设备

技术领域

本申请属于图像显示领域,具体涉及一种显示方法、装置及第一电子设备。

背景技术

扩展现实(Extended Reality,XR)是指通过计算机技术和电子设备产生的一个真实物理世界场景与虚拟应用场景组合的、可人机交互的环境,在使用电子设备时,电子设备可以将真实物理世界场景作为背景,将虚拟应用场景内容作为前景进行组合,以呈现给用户。

然而,以电子设备为XR眼镜为例,用户在使用XR眼镜时,XR眼镜只能为用户呈现摄像头实时采集到的真实物理世界场景中的物体,如此,一些被遮挡的物体,XR眼镜无法为用户呈现,导致用户无法获知该被遮挡物体在当前视角范围内的位置。

发明内容

本申请实施例的目的是提供一种显示方法、装置及第一电子设备,能够解决电子设备无法帮助用户定位被遮挡的物体的问题。

第一方面,本申请实施例提供了一种显示方法,该方法包括:获取第一摄像头的第一视角对应的第一图像;获取目标对象的位置信息和建模信息,该目标对象被第一视角内的第一对象所遮挡,建模信息用于建立目标对象的对象模型;基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像,该第二图像包括目标对象。

第二方面,本申请实施例提供了一种显示装置,该显示装置包括:获取模块和处理模块。获取模块,用于获取第一摄像头的第一视角对应的第一图像;并获取目标对象的位置信息和建模信息,该目标对象被第一视角内的第一对象所遮挡,建模信息用于建立目标对象的对象模型。处理模块,用于基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像,该第二图像包括目标对象。

第三方面,本申请实施例提供了一种第一电子设备,该第一电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中,第一电子设备可以获取第一摄像头的第一视角对应的第一图像;并获取目标对象的位置信息和建模信息,该目标对象被第一视角内的第一对象所遮挡,以基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像,该第二图像包括目标对象。本方案中,由于第一电子设备可以获取第一摄像头的第一视角对应的第一图像,以及被第一视角内的第一对象所遮挡的目标对象的位置信息和建模信息,因此第一电子设备可以基于获取的目标对象的位置信息和建模信息,以及第一图像,生成并显示包括目标对象的第二图像,如此,第一电子设备能够帮助用户定位第一视角内被遮挡的目标对象。

附图说明

图1是本申请实施例提供的一种显示方法的示意图;

图2是本申请实施例提供的一种显示目标对象的实例示意图之一;

图3是本申请实施例提供的一种显示目标对象的实例示意图之二;

图4是本申请实施例提供的一种显示装置的结构示意图;

图5是本申请实施例提供的一种第一电子设备的硬件结构示意图之一;

图6是本申请实施例提供的一种第一电子设备的硬件结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的显示方法进行详细地说明。

本申请实施例中的显示方法可以应用于电子设备显示被遮挡物体的场景。

目前,电子设备(例如:XR眼镜)在显示应用场景时,有时会考虑将应用场景的内容和真实物理世界的场景做混合后再显示,常见于虚拟现实(virtual reality,VR)设备的边界系统或者增强现实(augmented reality,AR)的视觉体验。具体地,以电子设备为XR眼镜为例,XR眼镜在做应用场景内容和真实物理世界场景混合时,通常考虑将真实物理世界场景作为背景,将应用场景内容作为前景混合,以达到真实人眼视觉的体验效果。然而,上述方法中,XR眼镜只能为用户呈现摄像头实时采集到的真实物理世界场景中的物体,一些被遮挡的物体并不能为用户呈现,如此,导致用户无法获知该被遮挡物体在当前视角范围内的位置。

而在本申请实施例中,在目标对象(即被遮挡物体)处于第一摄像头的第一视角范围以外时,XR眼镜可以获取第一摄像头的第一视角对应的第一图像,以及被第一视角内的第一对象所遮挡的目标对象的位置信息和建模信息,从而基于获取的目标对象的位置信息和建模信息,以及第一图像,生成并显示包括目标对象的第二图像,如此,XR眼镜能够帮助用户定位第一视角内被遮挡的目标对象。

本申请实施例提供的显示方法的执行主体为显示装置。该显示装置可以为第一电子设备,也可以为该第一电子设备内部的功能控制模块,本申请实施例对此不作限定。以下将以第一电子设备为例对本申请实施例提供的技术方案进行说明。

本申请实施例提供一种显示方法,图1示出了本申请实施例提供的一种显示方法的流程图。如图1所示,本申请实施例提供的显示方法可以包括下述的步骤201至步骤203。

步骤201、第一电子设备获取第一摄像头的第一视角对应的第一图像。

可选地,本申请实施例中,上述第一摄像头为第一电子设备的摄像头。

可选地,本申请实施例中,上述第一图像可以为第一电子设备基于第一摄像头采集的第一视角内的图像,即二维图像。

可选地,本申请实施例中,上述第一图像可以为第一电子设备基于第一摄像头采集的第一视角内的二维图像构建的三维图像。

示例性地,第一电子设备可以通过结构重建技术(Structure From Motion,SFM)将第一摄像头采集到的第一视角内的二维图像转化为三维图像。

步骤202、第一电子设备获取目标对象的位置信息和建模信息。

本申请实施例中,上述目标对象被第一视角内的第一对象所遮挡,建模信息用于建立目标对象的对象模型。

可选地,本申请实施例中,上述目标对象可以包括以下至少一项:其他用户、植物、动物、建筑、电子产品、桌椅等。

示例性地,上述第一对象可以包括以下至少一项:其他用户、植物、动物、建筑、电子产品、桌椅等。

需要说明的是,目标对象被第一视角内的第一对象所遮挡,可以理解为目标对象处于第一摄像头的第一视角以外,或者,第一电子设备的显示场景中不包括该目标对象,或者,第一电子设备通过第一摄像头采集的第一视角内的图像中不包括目标对象,也就是说,用户通过第一电子设备的显示屏幕无法观察到该目标对象。

可选地,本申请实施例中,第一电子设备可以获取第二摄像头采集的图像,然后基于该图像和第二摄像头的位置信息,得到目标对象的位置信息。

示例性地,上述第二摄像头可以为以下任一项:与第一电子设备连接的目标电子设备的摄像头、网络摄像头、本地摄像头等。

示例性地,上述第二摄像头与第一电子设备之间的距离小于或等于预设阈值。

示例性地,上述目标电子设备为移动电子设备(例如手机、平板电脑、笔记本电脑、掌上电脑等),也可以为非移动电子设备(例如个人计算机、电视机等)。

示例性地,用户在使用第一电子设备时,可以触发第一电子设备与第二摄像头或第二摄像头对应的目标电子设备建立连接,以实时获取第二摄像头的第二视角内的场景,即实时获取第二摄像头基于第二视角采集的图像。

示例性地,上述目标对象处于第二摄像头的第二视角内,可以理解的是,第二摄像头采集的图像中包括目标对象。

示例性地,第一电子设备得到第二摄像头采集的包括目标对象的图像之后,可以对该图像进行分析,以得到目标对象相对于第二摄像头的位置信息,然后第一电子设备可以基于第二摄像头的位置信息和目标对象相对于第二摄像头的位置信息,计算得到目标对象相对于第一电子设备的位置信息。

可选地,本申请实施例中,第一电子设备可以基于第二摄像头采集的图像,得到目标对象的建模信息。

示例性地,上述目标对象的建模信息包括目标对象渲染的数据,包括:色彩数据、材质数据等。

示例性地,第一电子设备得到第二摄像头采集的包括目标对象的图像之5后,可以利用图片建模技术,对该图像进行处理,以得到目标对象的建模信息。

示例性地,第一电子设备可以直接获取预先存储的目标对象的建模信息。

可选地,本申请实施例中,第一电子设备可以基于目标地图的地图数据,得到目标对象的位置信息和目标对象的建模信息中的至少之一。

示例性地,上述目标地图包含目标对象。

0示例性地,上述目标地图的地图数据可以为本地或网络预先准备好的地图

数据。

示例性地,第一电子设备可以获取目标对象的名称,以根据目标对象的名称在目标地图的地图数据中进行查询,从而获取到目标对象的位置信息。

示例性地,第一电子设备可以根据目标对象的名称在目标地图的地图数据5中进行查询,以获取与目标对象关联的一些图片信息,然后第一电子设备可以根据这些图片信息,利用图片建模技术,得到目标对象的建模信息。

示例性地,第一电子设备可以根据目标对象的名称,直接从目标地图的地图数据中获取目标对象的建模信息,该目标对象的建模信息为预先存储在地图数据中的。

0步骤203、第一电子设备基于目标对象的位置信息和建模信息,以及第一

图像,生成并显示第二图像。

本申请实施例中,上述第二图像包括目标对象。

可选地,本申请实施例中,第一电子设备可以基于目标对象的位置信息和建模信息,对第一图像进行处理,以生成并显示第二图像。

5示例性地,上述第二图像可以理解为目标对象的透视图像,该透视图像是

通过在第一对象上对目标对象的对象模型进行透视投影后得到的。

可选地,本申请实施例中,第一电子设备生成并显示第二图像之后,可以释放第一电子设备的一些资源,例如:内存、中央处理器(Central Processing Unit,CPU)占用等。

可选地,本申请实施例中,第一电子设备生成并显示第二图像之后,若显示第二图像的窗口大小完全覆盖第一电子设备的前台应用,则第一电子设备可以暂停运行前台应用。

示例性地,上述显示第二图像的窗口大小可以为系统默认显示的,用户可以调整窗口的显示尺寸。

可选地,本申请实施例中,第一电子设备生成并显示包括目标对象的第二图像可以理解为进入透视模式,以透视显示被遮挡的目标对象。

示例性地,用户可以对第一电子设备进行输入,以触发第一电子设备退出透视模式,即取消显示第二图像。

示例性地,上述输入可以为以下任一项:语音输入、按键输入、手势输入等,具体可以根据实际使用需求确定,本发明实施例不作限定。

举例说明,用户可以通过“退出透视模式”、“取消定位XX物品”等语音输入,触发第一电子设备退出透视模式。

举例说明,用户可以对第一电子设备关联的手机、耳机、手表等常用物体的物理按键进行输入,或进行特定手势输入,以触发第一电子设备退出透视模式。

示例性地,在第一电子设备检测到目标对象已未被其他物体遮挡时,第一电子设备可以主动退出透视模式。

示例性地,第一电子设备退出透视模式之后,可以重新加载资源。

示例性地,第一电子设备退出透视模式之后,若前台应用处于暂停运行状态,则第一电子设备可以重新运行前台应用。

本申请实施例提供一种显示方法,第一电子设备可以获取第一摄像头的第一视角对应的第一图像;并获取目标对象的位置信息和建模信息,该目标对象被第一视角内的第一对象所遮挡,以基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像,该第二图像包括目标对象。本方案中,由于第一电子设备可以获取第一摄像头的第一视角对应的第一图像,以及被第一视角内的第一对象所遮挡的目标对象的位置信息和建模信息,因此第一电子设备可以基于获取的目标对象的位置信息和建模信息,以及第一图像,生成并显示包括目标对象的第二图像,如此,第一电子设备能够帮助用户定位第一视角内被遮挡的目标对象。

可选地,本申请实施例中,第一摄像头为第一电子设备的摄像头,目标对象为第二电子设备,上述步骤202具体可以通过下述的步骤202a实现。

步骤202a、在第二电子设备接收到信息的情况下,第一电子设备获取第二电子设备的位置信息和建模信息。

可选地,本申请实施例中,上述第二电子设备可以为移动电子设备,也可以为非移动电子设备。

可选地,本申请实施例中,用户在使用第一电子设备时,可以触发第一电子设备与第二电子设备建立连接(例如有线连接或无线连接),以在第二电子设备接收到信息时,能够确定第二电子设备接收到信息,从而获取第二电子设备的位置信息和建模信息。

示例性地,第一电子设备与第二电子设备建立连接的情况下,第一电子设备可以直接获取第二电子设备(即目标对象)的位置信息。

可选地,本申请实施例中,上述信息可以为语音通话、视频通话、通知等。

本申请实施例中,由于在第二电子设备接收到信息时,第一电子设备可以获取第二电子设备的位置信息和建模信息,从而基于第二电子设备的位置信息和建模信息,以及第一图像,生成并显示第二图像,如此,能够快速帮助用户定位到第二电子设备,以查看接收到的信息。

可选地,本申请实施例中,上述步骤202具体可以通过下述的步骤202b实现。

步骤202b、在获取到的用户语音信息包括目标对象的情况下,第一电子设备获取目标对象的位置信息和建模信息。

可选地,本申请实施例中,在用户需要定位某些被遮挡的物品,即目标对象时,可以对第一电子设备进行语音输入,以触发第一电子设备获取目标对象的位置信息和建模信息,从而能够基于获取的目标对象的位置信息和建模信息,以及第一图像,生成并显示包括目标对象的第二图像。

举例说明,在用户需要定位目标对象,例如:“XX”物品时,用户可以通过“帮我找到XX物品”、“定位XX物品”、“XX物品在哪”等语音输入,触发第一电子设备获取目标对象的位置信息和建模信息。

本申请实施例中,由于在第一电子设备识别到的用户语音信息包括目标对象时,第一电子设备可以获取目标对象的位置信息和建模信息,从而基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像,如此,能够快速帮助用户定位到目标对象。

可选地,本申请实施例中,在用户需要定位目标对象时,可以对第一电子设备进行按键输入或手势输入等,具体可以根据实际使用需求确定,本发明实施例不作限定。

举例说明,用户可以对第一电子设备关联的手机、耳机、手表等常用物体的物理按键进行输入,或进行特定手势输入,以触发第一电子设备获取目标对象的位置信息和建模信息。

可选地,本申请实施例中,上述步骤203具体可以通过下述的步骤203a实现。

步骤203a、在识别到目标对象对用户存在安全隐患的情况下,第一电子设备基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像。

可选地,本申请实施例中,在确定目标对象处于第一摄像头的第一视角以外,即目标对象被遮挡时,第一电子设备可以确定目标对象对用户存在安全隐患。

示例性地,在第一电子设备实时采集的图像不包括目标对象、且目标对象处于第二摄像头的第二视角内的情况下,第一电子设备可以确定目标对象被遮挡。

可以理解,在第一电子设备通过第二摄像头检测到目标对象处于第二摄像头的第二视角内,但是,通过第一摄像头采集的第一视角内的图像中并不包括目标对象时,第一电子设备可以确定目标对象处于第一摄像头的第一视角以外,即第一电子设备即将靠近目标对象,但是目标对象被其他物体所遮挡,从而第一电子设备可以确定目标对象对用户存在安全隐患。

举例说明,如图2中的(A)所示,当前环境内包括物体11和树12,第一摄像头13可以采集对应的第一视角内的图像14;如图2中的(B)所示,该图像14中包括该物体11,此时,若第一电子设备通过第二摄像头检测到第二摄像头对应的第二视角内包括树12,则第一电子设备可以确定第一电子设备即将靠近树12,但是树12被其他物体遮挡,从而第一电子设备可以确定目标对象对用户存在安全隐患。

本申请实施例中,由于在识别到目标对象对用户存在安全隐患时,第一电子设备可以基于获取的目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像,从而能够快速帮助用户定位到目标对象,以避免安全隐患。

可选地,本申请实施例中,在目标对象为第二电子设备的情况下,在第二电子设备与第一电子设备建立连接,且接收到信息时,第一电子设备可以获取第二电子设备的位置信息,以根据第二电子设备的位置信息检测第二电子设备是否处于第一摄像头的第一视角以外,在确定第二电子设备处于第一摄像头的第一视角以外时,基于获取的第二电子设备的位置信息和建模信息,以及第一图像,生成并显示包括第二电子设备的第二图像。

示例性地,第一电子设备可以结合第二电子设备的位置信息和通过第一摄像头采集的第一视角内的图像,检测第二电子设备是否处于第一摄像头的第一视角范围以外。

例如:若第一电子设备检测到通过第一摄像头采集的第一视角内的图像中不包括第二电子设备,同时,第一电子设备又根据第二电子设备的位置信息判断出该第二电子设备处于第一电子设备的预设范围内,则第一电子设备可以确定第二电子设备处于第一摄像头的第一视角以外。

可选地,本申请实施例中,上述步骤203具体可以通过下述的步骤203b和步骤203c实现。

步骤203b、第一电子设备基于目标对象的位置信息和建模信息,在第一图像中增加目标对象的图像,以生成第三图像。

可选地,本申请实施例中,在第一图像为第一电子设备基于第一摄像头采集的第一视角内的二维图像构建的三维图像的情况下,第一电子设备可以基于目标对象的位置信息和建模信息,在第一图像中增加目标对象的三维图像,以生成第三图像。

可以理解,上述第三图像包括目标对象的三维图像,且第三图像为三维图像。

示例性地,上述第三图像为第一视角对应的三维图像。

示例性地,在第一电子设备得到第一图像之后,第一电子设备可以根据目标对象的位置信息确定目标对象在第一图像中的深度信息;然后,第一电子设备可以根据目标对象的建模信息和目标对象的深度信息,得到目标对象的三维图像;最后,第一电子设备可以根据第二摄像头的第二视角内的目标对象,得到目标对象在真实物理世界场景中的放置方向,从而第一电子设备可以将目标对象的三维图像按照目标对象在真实物理世界场景中的方向对应增加到第一图像中,以得到第三图像。

例如:假设目标对象为一辆“汽车”,在该汽车不处于第一摄像头的第一视角内,且处于第二摄像头的第二视角内时,第一电子设备可以确定该汽车在第一视角内被其他物体所遮挡;并且,在第二摄像头的第二视角内,显示的为汽车的右侧面时,那么,可以确定该汽车在真实物理世界场景中的放置方向为车的右侧面朝着第二摄像头放置,因此,第一电子设备可以将汽车的三维图像,以右侧面朝向第二摄像头的方向增加到第一图像中,即按照车辆在真实物理世界场景中的放置方向,将车辆的三维图像增加到第一图像中,以生成第三图像。

可以理解,在生成第三图像之后,第一电子设备可以基于该第三图像得到目标对象在第一视角内的场景下的相对位置。

步骤203c、第一电子设备基于第一视角,对第三图像进行处理,生成并显示第二图像。

可选地,本申请实施例中,第一电子设备可以通过第一摄像头采集第一视角内的图像,然后基于第一视角,对第三图像和第一摄像头采集的第一视角内的图像进行处理,以生成并显示包括目标对象的第二图像。

示例性地,第一电子设备可以基于第一视角,对第三图像和第一摄像头采集的第一视角内的图像进行透视投影,以生成并显示包括目标对象的第二图像。

示例性地,上述第二图像可以理解为目标对象的透视图像,该透视图像是通过在第一对象上对目标对象的对象模型进行透视投影后得到的。

可选地,本申请实施例中,第一电子设备可以基于第一视角,将第三图像中的目标对象的形体投射到第一图像上,以生成并显示包括目标对象的第二图像。

示例性地,第一电子设备可以基于第一视角,对第三图像和第一图像进行图像渲染处理,以生成并显示包括目标对象的第二图像。

示例性地,第一电子设备可以基于第一视角,通过开放式图形库(Open(GraphicsLibrary,GL)对第三图像和第一图像进行合成,以生成并显示包括目标对象的第二图像。

举例说明,结合图2,第一电子设备可以基于图像14,构建第一视角对应的第一图像,然后电子设备可以基于树12的位置信息和建模信息,在该第一图像中增加树12的三维图像,以生成第三图像,从而第一电子设备可以根据该第三图像得到树12在第一视角内的场景下的相对位置,进而第一电子设备可以基于第一视角,对该第三图像和第一图像进行透视投影,以得到第一视角内的树12的透视图像15,即第二图像,如图3所示,树12透视显示在物体11上,从而方便用户快速定位到树12。

图4示出了本申请实施例中涉及的显示装置的一种可能的结构示意图。如图4所示,该显示装置70可以包括:获取模块71和处理模块72。

其中,获取模块71,用于获取第一摄像头的第一视角对应的第一图像;并获取目标对象的位置信息和建模信息,该目标对象被第一视角内的第一对象所遮挡,建模信息用于建立目标对象的对象模型。处理模块72,用于基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像,该第二图像包括目标对象。

本申请实施例提供一种显示装置,由于显示装置可以获取第一摄像头的第一视角对应的第一图像,以及被第一视角内的第一对象所遮挡的目标对象的位置信息和建模信息,因此显示装置可以基于获取的目标对象的位置信息和建模信息,以及第一图像,生成并显示包括目标对象的第二图像,如此,显示装置能够帮助用户定位第一视角内被遮挡的目标对象。

在一种可能的实现方式中,第一摄像头为第一电子设备的摄像头,目标对象为第二电子设备,获取模块71,具体用于在第二电子设备接收到信息的情况下,第一电子设备获取第二电子设备的位置信息和建模信息。

在一种可能的实现方式中,获取模块71,具体用于在获取到的用户语音信息包括目标对象的情况下,获取目标对象的位置信息和建模信息。

在一种可能的实现方式中,处理模块72,具体用于在识别到目标对象对用户存在安全隐患的情况下,基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像。

在一种可能的实现方式中,处理模块72,具体用于基于目标对象的位置信息和建模信息,在第一图像中增加目标对象的图像,以生成第三图像;并基于第一视角,对第三图像进行处理,生成并显示第二图像。

本申请实施例中的显示装置可以是第一电子设备,也可以是第一电子设备中的部件,例如集成电路或芯片。该第一电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,第一电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、AR/VR设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,还可以为服务器、网络附属存储器(Network AttachedStorage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。

本申请实施例中的显示装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。

本申请实施例提供的显示装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。

可选地,如图5所示,本申请实施例还提供一种电子设备900,包括处理器901和存储器902,存储器902上存储有可在所述处理器901上运行的程序或指令,该程序或指令被处理器901执行时实现上述方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要说明的是,本申请实施例中的第一电子设备包括上述所述的移动电子设备和非移动电子设备。

图6为实现本申请实施例的一种第一电子设备的硬件结构示意图。

该第一电子设备100包括但不限于:射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。

本领域技术人员可以理解,第一电子设备100还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的第一电子设备结构并不构成对第一电子设备的限定,第一电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。

其中,处理器110,用于获取第一摄像头的第一视角对应的第一图像;并获取目标对象的位置信息和建模信息,该目标对象被第一视角内的第一对象所遮挡,建模信息用于建立目标对象的对象模型;以及基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像,该第二图像包括目标对象。

本申请实施例提供一种第一电子设备,由于第一电子设备可以获取第一摄像头的第一视角对应的第一图像,以及被第一视角内的第一对象所遮挡的目标对象的位置信息和建模信息,因此第一电子设备可以基于获取的目标对象的位置信息和建模信息,以及第一图像,生成并显示包括目标对象的第二图像,如此,第一电子设备能够帮助用户定位第一视角内被遮挡的目标对象。

可选地,第一摄像头为第一电子设备的摄像头,目标对象为第二电子设备,处理器110,具体用于在第二电子设备接收到信息的情况下,第一电子设备获取第二电子设备的位置信息和建模信息。

可选地,处理器110,具体用于在获取到的用户语音信息包括目标对象的情况下,获取目标对象的位置信息和建模信息。

可选地,处理器110,具体用于在识别到目标对象对用户存在安全隐患的情况下,基于目标对象的位置信息和建模信息,以及第一图像,生成并显示第二图像。

可选地,处理器110,具体用于基于目标对象的位置信息和建模信息,在第一图像中增加目标对象的图像,以生成第三图像;并基于第一视角,对第三图像进行处理,生成并显示第二图像。

本申请实施例提供的第一电子设备能够实现上述方法实施例实现的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果,为避免重复,此处不再赘述。

应理解的是,本申请实施例中,输入单元104可以包括图形处理器(GraphicsProcessing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072中的至少一种。触控面板1071,也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存5储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器109可以包括易失性存储器或非易失性存储器,或者,存储器109可以包括易失性和非易失性存储器两者。其中,非易失性存

储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器0(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,

DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据5速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器109包括但不限于这些和任意其它适合类型的存储器。

0处理器110可包括一个或多个处理单元;可选的,处理器110集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。

可以理解的是,上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序5或指令,该程序或指令被处理器执行时实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,所述处理器为上述实施例中所述的第一电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

技术分类

06120115758674