掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法、装置、电子设备及存储介质

文献发布时间:2023-06-29 06:30:04


图像处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

因为疫情,许多活动(如教学活动、娱乐活动、办公等)由线下转到线上,以确保活动的继续进行。

但是在进行线上活动时,因用户所处实际环境与线下活动需要的环境不相符,用户参与感弱。因此,如何提高用户在线上活动的参与感是目前亟待解决的问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题,本公开提供了一种图像处理方法、装置、电子设备及存储介质。

根据本公开的一方面,提供了一种图像处理方法,包括:

获取第一图像数据;所述第一图像数据包括目标对象和背景;

对所述第一图像数据进行抠图,得到所述目标对象的影像;

获取虚拟场景;

确定所述目标对象的影像在所述虚拟场景中的展示数据,所述展示数据包括所述目标对象的影像在所述虚拟场景中的位置、朝向以及尺寸中的至少一个;

基于所述展示数据,将所述目标对象的影像与所述虚拟场景进行合成;

对合成后的所述虚拟场景进行图像采集,得到待展示图像。

根据本公开的另一方面,提供了一种图像处理装置,包括:

第一采集模块,用于获取第一图像数据;所述第一图像数据包括目标对象和背景;

抠图模块,用于对所述第一图像数据进行抠图,得到所述目标对象的影像;

获取模块,用于获取虚拟场景;

确定模块,用于确定所述目标对象的影像在所述虚拟场景中的展示数据,所述展示数据包括所述目标对象的影像在所述虚拟场景中的位置、朝向以及尺寸中的至少一个;

合成模块,用于基于所述展示数据,将所述目标对象的影像与所述虚拟场景进行合成;

第二采集模块,用于对合成后的所述虚拟场景进行图像采集,得到待展示图像。

根据本公开的另一方面,提供了一种电子设备,包括:

处理器;以及

存储程序的存储器,

其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行如上所述的图像处理方法。

根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如上所述的图像处理方法。

本申请实施例中提供的一个或多个技术方案,通过构造虚拟世界来模拟线下活动场景,并且使得虚拟世界中存在与真实用户对应的且逻辑合理的影像,并且用户和与其对应的影像可以实现联动,可以提高用户的参与感。

附图说明

在下面结合附图对于示例性实施例的描述中,本公开的更多细节、特征和优点被公开,在附图中:

图1为本公开实施例提供的一种图像处理方法的流程图;

图2为本公开实施例提供的一种第一图像数据的示意图;

图3为本公开实施例提供的一种虚拟场景的图像的示意图;

图4为本公开实施例提供的一种待展示图像的示意图;

图5为本公开实施例提供的一种图像处理装置的结构示意图;

图6示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。

应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。

图1为本公开实施例提供的一种图像处理方法的流程图。本实施例可适用于客户端中进行图像处理的情况,该方法可以由图像处理装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于电子设备中,例如终端,具体包括但不限于智能手机、掌上电脑、平板电脑、带显示屏的可穿戴设备、台式机、笔记本电脑、一体机、智能家居设备等。或者,本实施例可适用于服务端中进行图像处理的情况,该方法可以由图像处理装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于电子设备中,例如服务器。本申请提供的图像处理方法可以应用于线上教学、办公、娱乐等多个场景。

在本申请中,为了便于理解,以教学场景为例,对本申请提供的图像处理方法进行阐释。参见图1,该图像处理方法包括:

S110、获取第一图像数据;第一图像数据包括目标对象和背景。

目标对象是指最终希望呈现在待展示图像中的对象,也即虚拟场景所模拟的真实场景的活动参与者。示例性地,目标对象可以为人物。示例性地,若希望模拟线下上课的场景,在虚拟世界中营造学生与老师在教室上课的场景,老师和学生均为目标对象。

在一个实施例中,目标对象为执行本申请提供的图像处理方法的终端的使用者。

本步骤的实现方法有多种,本申请对此不作限制。示例性地,若本步骤的执行主体为服务器,可选地,本步骤的实现方法包括:从终端接收第一图像数据,终端用于在真实世界对目标对象进行图像采集。若本步骤的执行主体为终端,可选地,本步骤的实现方法包括:利用图像采集设备在真实世界对目标对象进行图像采集,得到第一图像数据。其中,图像采集设备可以内置于终端中,或者设置为图像采集设备与终端通信连接。

可选地,使用实时引擎Unity3D编辑器调用摄像头功能,对真实世界目标对象进行图像采集。其具体采集过程可以借助Application.RequestUserAuthorization、WebCamTexture、WebCamDevice等API(Application Programming Interface,应用程序编程接口)实现。

需要说明的是,实际中,在线上上课的场景下,在真实世界中老师和学生分散在不同的地理位置,需要多个终端分别对老师和学生进行图像采集,得到多个第一图像数据,后续需对多个第一图像数据均进行处理(如抠图处理、合成处理)。

S120、对第一图像数据进行抠图,得到目标对象的影像。

本步骤的实现方法有多种,本申请对此不作限制。在一个实施例中,第一图像数据中背景为纯色背景;本步骤的具体实现方法包括:对第一图像数据中的像素点进行聚类,得到第一聚类结果和第二聚类结果,第一聚类结果中像素点的颜色与背景的颜色一致,第二聚类结果中像素点的颜色与背景的颜色不一致;从第一图像数据中剔除第一聚类结果中的像素点,得到目标对象的影像。这样设置可以降低抠图的难度,进而提高图像处理的效率。

进一步地,可以设置对第一图像数据中的像素点进行聚类,得到第一聚类结果和第二聚类结果,包括:确定背景的颜色;基于背景的颜色,确定颜色判断条件;将第一图像数据中满足颜色判断条件的像素点的透明通道置为第一数值;将第一图像数据中不满足颜色判断条件的像素点的透明通道置为第二数值;将透明通道置为第一数值的像素点聚为一类,将透明通道置为第二数值的像素点聚为一类。

颜色判断条件用于判断该像素点的颜色是否与背景颜色一致,是否可确定为构成背景的像素点。如果某像素点满足颜色判断条件,意味着该像素点可以视作为构成背景的像素点。

“将第一图像数据中满足颜色判断条件的像素点的透明通道置为第一数值”的目的是对满足颜色判断条件的像素点进行标记。“将第一图像数据中不满足颜色判断条件的像素点的透明通道置为第二数值”的目的是对不满足颜色判断条件的像素点进行标记。第一数值与第二数值不同。由此,透明通道为第一数值的像素点为构成背景的像素点。透明通道为第二数值的像素点为构成目标对象的像素点。后续需要从第一图像数据中剔除透明通道为第一数值的像素点。可选地,将透明通道为第一数值的像素点进行透明化处理,得到仅包括有透明通道为第二数值的像素点,如此得到目标对象的影像。

示例性地,在图像采集之前,可以提示用户布置拍摄场地,形成纯色背景(如蓝色、红色或绿色)。在纯色背景布置完毕后,在目标对象走入布置完毕的拍摄场地后,进行图像采集,得到背景为纯色背景的第一图像数据。

假设背景颜色为绿色,确定颜色判断条件时,可以设置RGB值中的G值大于第一设定阈值,R值小于第二设定阈值,B值小于第三设定阈值。后续在判断第一图像数据各像素点是否满足颜色判断条件时,直接将各像素点的RGB值与颜色判断条件比较即可。

可选地,可以借助ChromaKey Shader着色器关键代码实现抠图。

考虑到如果直接根据第一图像数据中各像素点的透明通道数值,对第一图像数据进行透明化处理,得到的第二图像数据的边缘锯齿感较重。为此,可选地,在第一图像数据中各像素点的透明通道值设置第一数值或第二数值后,第一步,获取调整透明通道后的第一图像数据;第二步,对调整透明通道后的第一图像数据进行归一化处理,将调整透明通道后的第一图像数据的灰度值的最大值和最小值调整至(0,1)区间;第三步,确定调整透明通道后的第一图像数据中的非羽化区域;第四步,在着色器中对非羽化区域进行羽化操作,以使调整透明通道后的第一图像数据中目标对象的边缘被模糊化处理。在羽化操作的过程中,可以利用插值化处理方法,解决边缘锯齿感问题。并且在羽化操作的过程中,通过合理地对参数进行设置,使得最终得到的第二图像数据呈现的效果与真实情况接近,视觉上和谐;第五步,根据第一图像数据中各像素点的透明通道数值,对羽化后的第一图像数据进行透明化处理,得到仅包括目标对象的第二图像数据。

其中,在着色器中进行羽化操作的过程中,可以对下述参数中的至少一个进行设置:KeyColor、TintColor、Cutoff、ColorFeatering、Sharpening、DespillStrength、DespillLuminanceAdd、以及RenderQueue。

其中,KeyColor为目标颜色值,即目标被抠图颜色值。TintColor为原始颜色值,即非抠图颜色值。Cutoff为设置透明度,具体取值为0或1,0代表不透明,1代表透明。ColorFeatering为彩色羽化,用于使得选定范围的边缘达到朦胧的效果,彩色羽化越大,朦胧越大。Sharpening为锐利度,默认取0.5。DespillStrength为色彩强度,默认取0.5。DespillLuminanceAdd代表除雾亮度增加,默认取0。RenderQueue代表渲染队列,默认取3000+(透明)。

本步骤中,目标对象的影像为一个二维的图像。

S130、获取虚拟场景。

虚拟场景是虚拟世界的一部分,用于模拟真实的线下活动的环境。虚拟场景为三维的场景。虚拟场景中可以包括虚拟事物。虚拟物体可以是物体或人等。

本步骤的具体实现方法有多种,本申请对此不作限制。示例性地,本步骤的实现方法可以包括:响应于对虚拟场景的选择操作,加载被选择的虚拟场景。

或者,本步骤的实现方法还可以包括:响应于对虚拟场景配置素材的选择操作,基于被选择的虚拟场景配置素材,生成虚拟场景。示例性地,在用户选择虚拟场景配置素材后,使用实时引擎Unity3D编辑器导入虚拟场景配置素材,搭建虚拟世界,进而得到虚拟场景。

S140、确定目标对象的影像在虚拟场景中的展示数据,展示数据包括目标对象的影像在虚拟场景中的位置、朝向以及尺寸中的至少一个。

目标对象的影像在虚拟场景中的位置是指,用于描述应当将目标对象摆放在虚拟场景中何处的信息。目标对象的影像在虚拟场景中的朝向是指用于描述在虚拟场景中,目标对象应当面向何处的信息。目标对象的影像在虚拟场景中的尺寸是指用于描述在虚拟场景中,目标对象应当呈现的尺寸的信息。

本步骤的具体实现方法有多种,本申请对此不作限制。在一个实施例中,本步骤的实现方法包括:获取目标对象的位姿数据;基于目标对象的位姿数据,确定目标对象的影像在虚拟场景中的展示数据。目标对象的位姿数据是指对在真实世界中目标对象的位置和/或姿数进行描述的数据。

本领域技术人员可以理解,在实际中,为了使得虚拟场景能够模拟真实的线下活动场景,需要确保目标对象的影像与虚拟场景的合成结果是合理的、与真实情况一致的。示例性地,如果一虚拟场景模拟老师在操场上体育课的场景,在操场上学生位置固定,老师由远处向学生跑过来,老师为目标对象。在真实世界中,随着时间的推移,老师的位置会越来越靠近学生,在学生眼中,老师的尺寸会越来越大。获取目标对象的位姿数据,即是在每次执行本申请时均重新确定目标对象的影像在虚拟场景中的展示数据,以确保得到的最终合成结果是合理的、与真实情况一致的,且能够体现用户(即目标对象)意图。

进一步地,可以设置获取目标对象的位姿数据,包括:获取位姿检测设备所采集的位姿数据,位姿检测设备佩戴于目标对象身上;基于检测设备所采集的位姿数据,得到目标对象的位姿数据。位姿检测设备包括不限于手柄、头戴设备、智能手表、智能眼镜等具有位姿数据检测功能的电子设备。这样设置是利用现有的检测设备得到目标对象的位姿数据,降低获取目标对象的位姿数据的难度。

进一步地,若展示数据包括目标对象的影像在虚拟场景中的位置,确定目标对象的影像在虚拟场景中的展示数据,包括:获取目标对象在真实场景的位置信息;获取虚拟场景和真实场景的尺寸换算关系:基于目标对象在真实场景的位置信息以及虚拟场景和真实场景的尺寸换算关系,确定目标对象的影像在虚拟场景中的位置信息。这样设置的目的是,将真实世界中的位置与虚拟世界中的位置进行对应,有利于实现用户通过在真实世界移动,控制其影像在虚拟环境中移动,使用户有身临其境的感觉。

进一步地,基于目标对象在真实场景的位置信息以及虚拟场景和真实场景的尺寸换算关系,确定目标对象的影像在虚拟场景中的位置信息,包括:获取虚拟场景的原点以及真实场景的标定点;标定点与原点对应;基于目标对象在真实场景的位置信息,确定目标对象与标定点的相对位置关系;基于目标对象与标定点的相对位置关系,以及虚拟场景和真实场景的尺寸换算关系,确定目标对象的影像与原点的相对位置关系;基于目标对象的影像与原点的相对位置关系,确定目标对象的影像在虚拟场景中的位置信息。虚拟世界坐标系原点即为虚拟世界的原点。真实世界的坐标系原点即为真实世界的标定点。真实世界和虚拟世界的尺寸换算关系,即为虚拟世界坐标系与真实世界的坐标系的换算关系。如此可以实现在真实世界中的点与虚拟世界中的点一一对应,进而使得目标对象在真实世界中的位置与虚拟场景的位置一一对应,有利于提高用户和与其对应的影像联动的合理性,使用户有身临其境的感觉。

S150、基于展示数据,将目标对象的影像与虚拟场景进行合成。

可选地,本步骤的具体实现方法包括:将目标对象的影像摆放在虚拟场景中,以使目标对象在虚拟场景中所呈现的效果与展示数据一致。这样可以使得最终形成的包括目标对象的影像的虚拟场景合情、合理,提高用户体验。

进一步地,展示数据包括目标对象的影像在虚拟场景中的位置、朝向以及尺寸;本步骤的具体实现方法包括:将目标对象的影像的尺寸进行调整,使得尺寸调整后目标对象的影像的尺寸与展示数据中的尺寸一致;将尺寸调整后的目标对象的影像摆放在虚拟场景中,使得摆放后目标对象的影像在虚拟场景中的位置与展示数据中的位置一致,摆放后目标对象的影像在虚拟场景中的朝向与展示数据中的朝向一致。如此,可以使得目标对象在虚拟场景中所呈现的效果与展示数据一致,确保得到的最终合成结果是合理的、与真实情况一致的。

S160、对合成后的虚拟场景进行图像采集,得到待展示图像。

可选地,可以由虚拟摄像头对合成后的虚拟场景进行图像采集,得到待展示图像。

虚拟摄像头用于模拟观察者。虚拟摄像头的位置相当于观察者的位置。虚拟摄像头所拍摄的图像,相当于观察者眼睛所看到的内容。虚拟摄像头可以放置在虚拟环境的任何角落,可以呈现任意姿态。改变虚拟摄像头的位置、旋转角度、俯仰角度等参数,可以改变观察者的视野。

上述技术方案通过设置获取第一图像数据;第一图像数据包括目标对象和背景;对第一图像数据进行抠图,得到目标对象的影像;获取虚拟场景;虚拟场景用于描绘虚拟世界;确定目标对象的影像在虚拟场景中的展示数据,展示数据包括目标对象的影像在虚拟场景中的位置、朝向以及尺寸中的至少一个;基于展示数据,将目标对象的影像与虚拟场景进行合成;对合成后的虚拟场景进行图像采集,得到待展示图像。上述技术方案的实质是通过构造虚拟环境来模拟线下活动场景,并且使得虚拟环境中存在与真实用户对应的且逻辑合理的影像,并且用户和与其对应的影像可以实现联动,可以提高用户的参与感。

在上述技术方案的基础上,可选地,虚拟场景关联有合成条件;S140还包括:若目标对象的位姿数据满足与虚拟场景关联的合成条件,确定目标对象的影像在虚拟场景中的展示数据。合成条件用于限定在什么条件下,允许将目标对象的影像与虚拟场景进行合成。设置合成条件的目的是,确保最终得到的合成结果合理。本申请对合成条件的具体内容不作限制。

可选地,在一个实施例中,设置虚拟摄像头仅可以在指定范围内改变虚拟摄像头的位置、旋转角度、俯仰角度等参数。针对此种情况,可选地,设置合成条件包括目标对象的影像的拍摄角度。目标对象的影像的拍摄角度是指,目标对象的正面与采集第一图像数据的图像采集设备的相对位置关系。示例性地,目标对象的影像的拍摄角度为0°,表示在采集第一图像数据时,目标对象正面朝向采集第一图像数据的图像采集设备。目标对象的影像的拍摄角度为180°,表示在采集第一图像数据时,目标对象背面朝向采集第一图像数据的图像采集设备。

示例性地,如果某个虚拟场景用于模拟足球守门员站在球门口,等待球飞过来的情况,该虚拟场景中,守门员应当背对球门,面对球站立。限定虚拟摄像头仅可以从正对球门的方向进行图形采集,以使得待展示图像包括守门员正面图像。为此,设置与该虚拟场景关联的合成条件为拍摄角度为0°。如果目标对象的影像的拍摄角度为0°,满足与该虚拟场景关联的合成条件,为该目标对象的影像确定在虚拟场景中的展示数据,后续将该目标对象的影像与虚拟场景合成。如果目标对象的影像的拍摄角度为90°,不满足与该虚拟场景关联的合成条件,不为该目标对象的影像确定在虚拟场景中的展示数据,后续也不会将该目标对象的影像与虚拟场景合成。

进一步地,可以设置一个虚拟场景关联一个或多个合成条件。

进一步地,在一个虚拟场景关联多个合成条件的情况下,可选地,不同合成条件对应不同的身份限制条件,确定目标对象的影像在虚拟场景中的展示数据之前,还包括:确定目标对象的身份信息;基于目标对象的身份信息,在虚拟场景关联的多个合成条件中,确定目标合成条件,目标对象的身份信息满足目标合成条件的身份限制条件;若目标对象的位姿数据满足目标合成条件,确定目标对象的影像在虚拟场景中的展示数据。

例如如,与虚拟场景A关联的合成条件包括拍摄角度为0°和拍摄角度为180°,其中拍摄角度为0°对应的身份限制条件为教师,拍摄角度为180°对应的身份限制条件为学生。即允许将学生的反面影像与虚拟场景A合成,将教师的正面影像与虚拟场景A合成。若一目标对象的影像中目标对象身份信息为学生,则将拍摄角度为180°作为目标合成条件。判断目标对象的影像的拍摄角度是否为180°。若是,满足目标合成条件,为目标对象的影像确定在虚拟场景中的展示数据。否则,不为目标对象的影像确定在虚拟场景中的展示数据。

图2为本公开实施例提供的一种第一图像数据的示意图。图3为本公开实施例提供的一种虚拟场景的图像的示意图。图4为本公开实施例提供的一种待展示图像的示意图。在体育课上,老师在做示范动作。对老师做示范动作进行图像采集,结果如图2所示,得到第一图像数据。对第一图像数据进行抠图,得到老师的影像。获取与体育课对应的虚拟场景。对该虚拟场景进行图像采集,结果如图3所示。为老师的影像确定在虚拟场景中的展示数据。将老师的影像摆放在虚拟场景中,以使老师在虚拟场景中所呈现的效果与展示数据一致。对合成后的虚拟场景进行图层采集,得到待展示图像。待展示图像如图4所示。

需要说明的是,在一些情况下,虚拟场景还可能包括虚拟物体。对于合成后的虚拟场景,在任意时刻,虚拟物体在虚拟场景的位置、尺寸是固定的,目标对象的影像在虚拟场景的位置、尺寸是固定的,通过对合成后的虚拟场景进行图像采集,所得到待展示图像能够反映虚拟物体与目标对象的影像的前后位置关系。即采用本申请提供的技术方案,能够正确地呈现虚拟物体与目标对象的遮挡关系。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。

图5为本公开实施例提供的一种图像处理装置的结构示意图。参见图5,该图像处理装置包括:

第一采集模块310,用于获取第一图像数据;所述第一图像数据包括目标对象和背景;

抠图模块320,用于对所述第一图像数据进行抠图,得到所述目标对象的影像;

获取模块330,用于获取虚拟场景;

确定模块340,用于确定所述目标对象的影像在所述虚拟场景中的展示数据,所述展示数据包括所述目标对象的影像在所述虚拟场景中的位置、朝向以及尺寸中的至少一个;

合成模块350,用于基于所述展示数据,将所述目标对象的影像与所述虚拟场景进行合成;

第二采集模块360,用于对合成后的所述虚拟场景进行图像采集,得到待展示图像。

进一步地,确定模块,用于:

获取所述目标对象的位姿数据;

基于所述目标对象的位姿数据,确定所述目标对象的影像在所述虚拟场景中的展示数据。

进一步地,确定模块,用于:

获取位姿检测设备所采集的位姿数据,所述位姿检测设备佩戴于所述目标对象身上;

基于所述检测设备所采集的位姿数据,得到所述目标对象的位姿数据。

进一步地,所述虚拟场景关联有合成条件;确定模块,用于:

若所述目标对象的位姿数据满足与所述虚拟场景关联的合成条件,确定所述目标对象的影像在所述虚拟场景中的展示数据。

进一步地,所述虚拟场景关联有多个所述合成条件,且不同所述合成条件对应不同的身份限制条件,确定模块,用于:

确定所述目标对象的身份信息;

基于所述目标对象的身份信息,在所述虚拟场景关联的多个合成条件中,确定目标合成条件,所述目标对象的身份信息满足所述目标合成条件的身份限制条件;

若所述目标对象的位姿数据满足所述目标合成条件,确定所述目标对象的影像在所述虚拟场景中的展示数据。

进一步地,合成模块,用于:

所述将所述目标对象的影像摆放在所述虚拟场景中,以使所述目标对象在所述虚拟场景中所呈现的效果与所述展示数据一致。

进一步地,所述展示数据包括所述目标对象的影像在所述虚拟场景中的位置、朝向以及尺寸;合成模块,用于:

将所述目标对象的影像的尺寸进行调整,使得尺寸调整后所述目标对象的影像的尺寸与所述展示数据中的尺寸一致;

将尺寸调整后的所述目标对象的影像摆放在所述虚拟场景中,使得摆放后所述目标对象的影像在所述虚拟场景中的位置与所述展示数据中的位置一致,摆放后所述目标对象的影像在所述虚拟场景中的朝向与所述展示数据中的朝向一致。

进一步地,所述展示数据包括所述目标对象的影像在所述虚拟场景中的位置,确定模块,用于:

获取所述目标对象在真实场景的位置信息;

获取所述虚拟场景和所述真实场景的尺寸换算关系:

基于所述目标对象在真实场景的位置信息以及所述虚拟场景和所述真实场景的尺寸换算关系,确定所述目标对象的影像在所述虚拟场景中的位置信息。

进一步地,确定模块,用于:

获取所述虚拟场景的原点以及所述真实场景的标定点;所述标定点与所述原点对应;

基于所述目标对象在真实场景的位置信息,确定所述目标对象与所述标定点的相对位置关系;

基于所述目标对象与所述标定点的相对位置关系,以及所述虚拟场景和所述真实场景的尺寸换算关系,确定所述目标对象的影像与所述原点的相对位置关系;

基于目标对象的影像与所述原点的相对位置关系,确定所述目标对象的影像在所述虚拟场景中的位置信息。

进一步地,抠图模块,用于:

对所述第一图像数据中的像素点进行聚类,得到第一聚类结果和第二聚类结果,所述第一聚类结果中所述像素点的颜色与所述背景的颜色一致,所述第二聚类结果中所述像素点的颜色与所述背景的颜色不一致;

从所述第一图像数据中剔除所述第一聚类结果中所述像素点,得到所述目标对象的影像。

进一步地,抠图模块,用于:

确定所述背景的颜色;

基于所述背景的颜色,确定颜色判断条件;

将所述第一图像数据中满足所述颜色判断条件的像素点的透明通道置为第一数值;将所述第一图像数据中不满足所述颜色判断条件的像素点的透明通道置为第二数值;

将透明通道置为第一数值的像素点聚为一类,将透明通道置为第二数值的像素点聚为一类。

以上实施例公开的装置能够实现以上各方法实施例公开的方法的流程,具有相同或相应的有益效果。为避免重复,在此不再赘述。

本公开示例性实施例还提供一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序,所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。

本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

本公开示例性实施例还提供一种计算机程序产品,包括计算机程序,其中,所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。

参考图6,现将描述可以作为本公开的服务器或客户端的电子设备800的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805,包括:输入单元806、输出单元807、存储单元808以及通信单元809。输入单元806可以是能向电子设备800输入信息的任何类型的设备,输入单元806可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元807可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元804可以包括但不限于磁盘、光盘。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理。例如,在一些实施例中,图像处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到电子设备800上。在一些实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像处理。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

如本公开使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

相关技术
  • 夜景图像处理方法、装置、电子设备及存储介质
  • 人脸图像的处理方法及装置、电子设备和存储介质
  • 图像处理方法和装置、电子设备、计算机可读存储介质
  • 图像处理方法、装置、电子设备及计算机可读存储介质
  • 图像处理方法、装置、存储介质及电子设备
  • 图像处理方法、图像处理装置、电子设备和存储介质
  • 图像处理方法、图像处理装置、电子设备和可读存储介质
技术分类

06120116024008