一种基于混合现实的虚拟装修方法、系统、设备和介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于混合现实的虚拟装修方法、系统、设备和介质。

背景技术

随着我国经济的不断发展，人民生活水平逐渐提高，越来越多的人购房或自建房，因为每家每户的装修理念不同，虽然装修设计公司可以提供三维设计图给到用户，但不少装修公司装修交付成果与用户期望中的设计图相差甚远，往往不能达到客户需求。而不少虚拟装修模型，因为每一用户的房型不同，因为尺寸偏差或者视觉偏差造成并不能真实反映出装修效果。

其次，用户在买房时多数都是以毛坯房或样板房出售，用户在看房时并不能真实体验出此房型的居住效果，以此造成用户的看房体验并不好。

因此亟待提出一种可以使装修设计能够真实还原装修效果的方法。

发明内容

基于此，有必要针对上述问题，提出一种基于混合现实的虚拟装修方法、系统、设备和介质，以改善现有技术中存在的如何使装修三维模型能够真实还原装修效果的技术问题。

第一方面，提供了一种基于混合现实的虚拟装修方法，包括：

通过球幕相机获取目标场景不同位置的视频流，根据所述视频流获取目标场景的多个图像信息；

利用所述多个图像信息计算对应不同位置的深度信息，根据所述深度信息计算对应位置的点云信息，根据所述点云信息追踪当前位置的视频流以实现目标场景的测距；

基于所述测距得到目标场景的距离信息，根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型；

获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型；

将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记；

通过混合现实将所述装修三维模型实时叠加到真实的目标场景中。

作为优选的，利用所述多个图像信息计算对应不同位置的深度信息、点云信息和视频流以实现目标场景的测距，包括：

所述多个图像信息具有重叠的特征区域，根据所述特征区域获取至少第一位置、第二位置，计算不同图像信息中所述第一位置和第二位置的坐标，通过所述坐标标记所述第一位置、第二位置的像素坐标信息，并结合所述特征区域的灰度信息、视差信息计算图像信息中不同位置的深度信息；

根据所述深度信息获取对应位置的点云信息，根据所述点云信息追踪当前位置的视频流，并提取目标场景中特定区域的点云信息和视频流，根据特定区域的点云信息和视频流进行目标场景的测距。

作为优选的，所述基于所述测距得到目标场景的距离信息，根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型，包括：

根据所述距离信息建立数字化模型，并对所述数字化模型进行回环检测，利用所述图像信息贴图到所述数化字模型上，得到所述目标场景的虚拟三维模型。

作为优选的，所述获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型，包括：

所述装修数据包括二维装修设计图，将所述二维装修设计图与所述目标场景的虚拟三维模型根据所述特定区域进行匹配标记，以实时调整所述二维装修设计图的参数与所述目标场景的虚拟三维模型的参数相对应；

识别二维装修设计图中的特征物体，将所述二维装修设计图及所述特征物体按照所述目标场景的虚拟三维模型的参数进行数字化建模；

对经过数字化建模的二维装修设计图及特征物体根据装修风格实时渲染以得到装修三维模型。

作为优选的，所述获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型，包括：

所述装修数据包括各类装修模型，用户自定义选取所述装修模型放置到所述目标场景的虚拟三维模型中；

识别所述装修模型的参数，对所述装修模型与所述目标场景的虚拟三维模型进行匹配标记，根据匹配标记将所述装修模型进行定位放置在所述目标场景的虚拟三维模型中；

对所述装修模型及放置有所述装修模型的目标场景的虚拟三维模型进行实时渲染以得到装修三维模型。

作为优选的，将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记，包括：

检测所述装修三维模型中多个特定区域的位置信息与所述目标场景的虚拟三维模型的特定区域的位置信息是否匹配；

若匹配，则基于所述装修三维模型与所述目标场景的虚拟三维模型的多个特定区域的位置信息进行方向标记绑定；

若不匹配，则对所述装修三维模型及所述目标场景的虚拟三维模型进行局部回环检测并实时调整所述装修三维模型的参数，直至所述装修三维模型与所述目标场景的虚拟三维模型的多个特定区域的位置信息匹配，并进行方向标记绑定。

作为优选的，通过混合现实将所述装修三维模型实时叠加到真实的目标场景中，包括：

采集真实场景中对应所述多个特定区域的定位信息，并获取所述球幕相机拍摄目标场景的拍摄轨迹，根据所述定位信息和所述拍摄轨迹叠加所述装修三维模型。

第二方面，提供了一种基于混合现实的虚拟装修系统，包括：

数据获取单元，用于获取目标场景不同位置的视频流，根据所述视频流获取目标场景的多个图像信息；并利用所述多个图像信息计算对应不同位置的深度信息、点云信息和视频流以实现目标场景的测距；

第一模型单元，基于所述测距得到目标场景的距离信息，并根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型；

第二模型单元，获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型；

数据输出单元，用于将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记；并通过混合现实将所述装修三维模型实时叠加到真实的目标场景中。

第三方面，提供了一种基于混合现实的虚拟装修设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的基于混合现实的虚拟装修方法的步骤。

第四方面，提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于混合现实的虚拟装修方法的步骤。

实施本发明实施例，将具有如下有益效果：

本发明提出了一种基于混合现实的虚拟装修方法、系统、设备和介质，通过球幕相机获取目标场景不同位置的视频流，根据视频流获取目标场景的多个图像信息；利用多个图像信息计算对应不同位置的深度信息、点云信息和视频流以实现目标场景的测距；基于测距得到目标场景的距离信息，根据距离信息及图像信息构建目标场景的虚拟三维模型；获取装修数据，根据目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型；将装修三维模型与目标场景的虚拟三维模型匹配标记；通过混合现实将装修三维模型实时叠加到真实的目标场景中。本发明通过获取目标场景的视频流，得到目标场景的虚拟三维模型，并结合装修数据，以得到装修三维模型，进而将装修三维模型实时叠加到真实的目标场景中，以让真实的目标场景获得用户需要的装修效果，通过混合现实的叠加方式使得装修效果更为真实，能够帮助用户更好的进行看房及装修。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为一个实施例中基于混合现实的虚拟装修方法的实现流程示意图；

图2为一个实施例中基于混合现实的虚拟装修系统的结构框图；

图3为一个实施例中基于混合现实的虚拟装修设备的内部结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一个实施例中，提供了一种基于混合现实的虚拟装修方法，本发明实施例所述的基于混合现实的虚拟装修方法的执行主体为能够实现本发明实施例所述的基于混合现实的虚拟装修方法的设备，该设备可以包括服务器和终端，所述终端包括移动终端，例如，手机和平板电脑。

如图1所示，本发明实施例所述的基于混合现实的虚拟装修方法，具体包括：

步骤101，通过球幕相机获取目标场景不同位置的视频流，根据所述视频流获取目标场景的多个图像信息；

其中，球幕相机具体为多目球幕相机，包括但不限于是双目、三目或者八目，使用多目球幕相机，可以使拍摄的视频流反映目标场景的真实空间场景，使用时保持多目球幕相机的拍摄轴线在一条水平线上进行拍摄。并且在拍摄时记录球幕相机在拍摄时的当前位置信息，当移动至下一位置时记录下一位置信息，并记录球幕相机的移动轨迹。

进一步的，根据拍摄的目标场景的视频流截取目标场景中的关键帧的多个图像信息，通过对图像信息的处理进而对目标场景进行测距，进而减少处理器的运算量，以更快的速度实现测距和数字化建模。

在其他的实施例中，也可以根据多目相机拍摄的视频流信息，对视频流中的特征点进行识别，并进行空间拼接处理以得到目标场景的三维模型。

步骤102，利用所述多个图像信息计算对应不同位置的深度信息，根据所述深度信息计算对应位置的点云信息，根据所述点云信息追踪当前位置的视频流以实现目标场景的测距；具体包括：

多个图像信息具有重叠的特征区域，根据所述特征区域获取至少第一位置、第二位置，计算不同图像信息中所述第一位置和第二位置的坐标，通过所述坐标标记所述第一位置、第二位置的像素坐标信息，并结合所述特征区域的灰度信息、视差信息计算图像信息中不同位置的深度信息；根据识别的重叠的特征区域，并根据多个位置的坐标信息，以完整的定位特征区域中不同特征点所处位置，以此找到不同特征点之间的位置信息，进而标记像素坐标信息，而通过像素坐标信息结合特征区域的灰度信息、视差信息等多个信息分析计算得到深度信息，可以保证深度信息的计算更为准确，不会因深度信息计算误差而造成后期数字化建模的偏差。

在该实施例中视差图是以多个图像对中任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。

进一步的，根据所述深度信息获取对应位置的点云信息，根据所述点云信息追踪当前位置的视频流，并提取目标场景中特定区域的点云信息和视频流，根据特定区域的点云信息和视频流进行目标场景的测距，具体是追踪特定区域的点云信息和视频流对应位置之间的映射关系进行目标场景的测距。

将点云信息和视频流利用机器学习深度训练以得到相互之间的映射关系，并提取目标场景中特定区域的点云信息和视频流，特定区域是指墙角、窗户、门等特殊位置。通过这些特定区域的识别作为定位基准点，以点云信息和视频流的映射关系中提取出目标场景的距离尺寸信息，以实现测距。通过此方法能够直接通过视频流截取图像获取环境的深度信息，算法简单，计算成本小，并且通过点云信息和视频流信息来训练机器学习模型，通过追踪点云信息与视频流之间的映射关系进行测距，能够适应较大场景的自动测距，提高运算量。

步骤103，基于所述测距得到目标场景的距离信息，根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型；

根据所述距离信息建立数字化模型，并对所述数字化模型进行回环检测，利用所述图像信息贴图到所述数化字模型上，得到所述目标场景的虚拟三维模型。

在多个图像或者视频流中，对单张图像用SIFT描述符进行特征点(图片上的像素点)提取，同时分析每一个特征点及特征点邻域的位置信息，并根据邻域控制特征点。

并用当前记录的球幕相机位置与过去球幕相机位置进行比较，检测有无距离相近；若检测到两者距离在一定阈值范围内，就认为球幕相机又回到原来走过的地方，此时启动闭环检测。

对图像信息进行贴图时根据特征点及特征点邻域进行相邻图像的检测已完成对数字化模型的贴图，从而得到目标场景的虚拟三维模型。

步骤104，获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型；具体包括：

所述装修数据包括二维装修设计图，将所述二维装修设计图与所述目标场景的虚拟三维模型根据所述特定区域进行匹配标记，以实时调整所述二维装修设计图的参数与所述目标场景的虚拟三维模型的参数相对应；

识别二维装修设计图中的特征物体，将所述二维装修设计图及所述特征物体按照所述目标场景的虚拟三维模型的参数进行数字化建模；

对经过数字化建模的二维装修设计图及特征物体根据装修风格实时渲染以得到装修三维模型。

根据特定区域进行匹配标记具体指将二维装修设计图中标记的墙角、窗户、门等特殊位置处于目标场景中的虚拟三维模型相互对应标记，比如尺寸存在偏差时，自动启用偏差校正，在二者尺寸参数不一致的情况下，目标场景的虚拟三维模型与视频流进行校正，目标场景的虚拟三维模型的尺寸存在偏差则自动进行纠偏，具体可以检测特定区域或者特征点的位置信息，从而可以快速进行校正。若目标场景的虚拟三维模型与视频流的校正无误，则自动调整二维装修设计图的尺寸等参数信息，以保持装修三维模型与目标场景的虚拟三维模型一致。

特征物体是指二维装修设计图中的标示的沙发、茶几、床等装修设计的家具产品，通过对特征物体的识别使其适应性的匹配目标场景的虚拟三维模型的距离尺寸等参数进行数字化建模。

在其他的实施例中，所述装修数据还可以包括各类装修模型，用户自定义选取所述装修模型放置到所述目标场景的虚拟三维模型中；例如已经建立好模型的沙发、茶几、桌子、椅子等，该装修模型存储于数据库中，用户可以根据需要选入目标场景的虚拟三维模型中，以达到用户需要的效果。

识别所述装修模型的参数，对所述装修模型与所述目标场景的虚拟三维模型进行匹配标记，根据匹配标记将所述装修模型进行定位放置在所述目标场景的虚拟三维模型中；为保证用户选入的装修模型可以更好的与目标场景的虚拟三维模型匹配，会识别装修模型的参数，并识别用户将装修模型放置的空间位置，例如当选择入沙发放置在目标场景的虚拟三维模型中，通过判断该装修模型为沙发，应当置于地面，则识别该沙发的放置基准点为地面的相应位置。若识别到是窗帘，则应该靠近窗户的上端进行固定放置，则获取目标场景中的窗户的特定区域作为基准点固定放置此窗帘。

对所述装修模型及放置有所述装修模型的目标场景的虚拟三维模型进行实时渲染以得到装修三维模型。

步骤105，将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记；

在本实施例中，检测所述装修三维模型中多个特定区域的位置信息与所述目标场景的虚拟三维模型的特定区域的位置信息是否匹配；

若匹配，则基于所述装修三维模型与所述目标场景的虚拟三维模型的多个特定区域的位置信息进行方向标记绑定；以保证装修三维模型与目标场景的虚拟三维模型保持方向和尺寸上的一致。

若不匹配，则对所述装修三维模型及所述目标场景的虚拟三维模型进行局部回环检测并实时调整所述装修三维模型的参数，直至所述装修三维模型与所述目标场景的虚拟三维模型的多个特定区域的位置信息匹配，并进行方向标记绑定。利用局部回环检测对装修三维模型匹配不上的位置进行调整，具体可以重点对特定区域及特征点的位置信息进行校正，以保证可以使装修三维模型与目标场景的虚拟三维模型匹配，通过特定区域及特征点的校正可以大大减少校正的匹配数量，从而提高匹配标记效率。

步骤106，通过混合现实将所述装修三维模型实时叠加到真实的目标场景中。

采集真实场景中对应所述多个特定区域的定位信息，并获取所述球幕相机拍摄目标场景的拍摄轨迹，根据所述定位信息和所述拍摄轨迹叠加所述装修三维模型。通过投影单元将装修三维模型投影到真实的目标场景中，使得装修三维模型在真实的房型中呈现出装修效果，使得用户能够真实体验到装修效果。投影单元与球幕相机可以集成于同一设备中，置于目标场景的房型中，在同步拍摄目标场景后，即可快速的对当前的目标场景进行建模，用户可同步在手机或电脑等智能设备中可一键选择自己的装修风格或选择不同的装修模型，得到对应的装修三维模型，即可通过球幕相机拍摄采集真实场景中多个特定区域的定位信息的同时，结合拍摄轨迹通过混合现实技术将装修三维模型实时叠加到对应的房型中。

用户可借助于MR眼镜观看装修三维模型叠加到真实房型中的效果，也可在改房型中设置多个投影单元进行空间立体投影，以使用户实现裸眼观看混合现实的叠加效果。

更进一步的，用户在观看虚拟装修时，在画面中同步呈现可供用户自定义选择的装修模型，定位并采集用户的动作手势，以实现通过用户的动作指示控制插入或删除不同的装修模型到对应的通过混合现实呈现的装修三维模型中，后台通过获取用户的动作指示，实时更新并渲染装修三维模型，使用户可以在混合现实的场景中真实体验房屋装修效果，并且可以实时根据自己的喜好调整装修效果，使用户体验感更好。

上述方法也可以基于手机或电脑等安装的APP实现，用户在APP上实现控制球幕相机采集目标场景的视频流等方法步骤。需要进一步说明的是，用户在APP上也可以邀请其他用户进入画面，使得不同用户之间可以共享装修三维模型叠加到真实房型中的通过混合现实得到的画面，以实现家人朋友一起看房，讨论装修的事宜。

本发明通过获取目标场景的视频流，得到目标场景的虚拟三维模型，并结合装修数据，以得到装修三维模型，进而将装修三维模型实时叠加到真实的目标场景中，以让真实的目标场景获得用户需要的装修效果，通过混合现实的叠加方式使得装修效果更为真实，能够帮助用户更好的进行看房及装修。

如图2，提供了一种基于混合现实的虚拟装修系统，包括：

数据获取单元201，用于获取目标场景不同位置的视频流，根据所述视频流获取目标场景的多个图像信息；并利用所述多个图像信息计算对应不同位置的深度信息、点云信息和视频流以实现目标场景的测距；

第一模型单元202，基于所述测距得到目标场景的距离信息，并根据所述距离信息及所述图像信息构建目标场景的虚拟三维模型；

第二模型单元203，获取装修数据，根据所述目标场景的虚拟三维模型及装修数据实时渲染得到装修三维模型；

数据输出单元204，用于将所述装修三维模型与所述目标场景的虚拟三维模型匹配标记；并通过混合现实将所述装修三维模型实时叠加到真实的目标场景中。

上述基于混合现实的虚拟装修系统，用以实现上述的基于混合现实的虚拟装修方法，相同的部分不再进行赘述。

图3示出了一个实施例中基于混合现实的虚拟装修设备的内部结构图。如图3所示，该基于混合现实的虚拟装修设备包括通过系统总线连接的处理器、存储器和通信接口。其中，存储器包括非易失性存储介质和内存储器。该基于混合现实的虚拟装修设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现基于混合现实的虚拟装修方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行基于混合现实的虚拟装修方法。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的基于混合现实的虚拟装修设备的限定，具体的基于混合现实的虚拟装修设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的基于混合现实的虚拟装修方法可以实现为一种计算机程序的形式，计算机程序可在如图3所示的基于混合现实的虚拟装修设备上运行。基于混合现实的虚拟装修设备的存储器中可存储组成基于混合现实的虚拟装修系统的各个程序模板。比如，数据获取单元201、第一模型单元202、第二模型单元203和数据输出单元204。

一种基于混合现实的虚拟装修设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行基于混合现实的虚拟装修方法。

在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述的基于混合现实的虚拟装修方法步骤。

需要说明的是，上述基于混合现实的虚拟装修方法、基于混合现实的虚拟装修系统、基于混合现实的虚拟装修设备及计算机可读存储介质属于一个总的发明构思，基于混合现实的虚拟装修方法、基于混合现实的虚拟装修系统、基于混合现实的虚拟装修设备及计算机可读存储介质实施例中的内容可相互适用。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。