一种基于增强现实的交互式三维布景系统

技术领域

本发明涉及增强现实技术领域，尤其涉及一种基于增强现实的交互式三维布景系统。

背景技术

AR技术即增强现实技术，通过AR眼镜进行展现。AR眼镜是将虚拟数据进行处理并叠加到摄像头采集的实时图像中，通过内部的显示设备在人眼前显示，但功能运用方面有限。

现在AR技术在娱乐、教育、工业应用越来越广泛，对于家装设计、仿真教育以及工业三维设计中，往往需要较为快捷和直观的方式展现，而且受限于用户需求，虚拟模型种类也要尽可能的多，交互式仿真布局方法能够有效的解决用户该需求。但由于AR眼镜在实际应用中往往受成本和定位技术的约束，采用现有手势、或红外定位技术虽能够解决三维空间中的控制操作的一定问题，但并不精准，成本也高，并且不够便携性。

同时现有AR技术在对虚拟图像进行控制处理时，其他用户没有办法实时看到处理过程，其在教学领域使用就会受限。

发明内容

针对现有技术中存在的问题，本发明提供一种基于增强现实的交互式三维布景系统，具体包括：

云服务器，用于保存预先生成的若干三维虚拟模型；

增强现实设备，使用者通过所述增强现实设备查看预先放置的实物模型并获取所述实物模型的三维空间位置；

交互端，分别与所述云服务器和所述增强现实设备通信连接，所述使用者通过所述交互端由所述云服务器中下载至少一所述三维虚拟模型，根据所述三维空间位置对所述三维虚拟模型进行编辑控制，并将所述三维虚拟模型投射至所述增强现实设备；

所述使用者通过所述增强现实设备同步查看所述三维虚拟模型的编辑控制过程，以实现交互式三维布景。

优选的，所述增强现实设备包括一位置采集单元，用于获取所述实物模型的所述三维空间位置，所述三维空间位置包括预设的初始化点的第一空间位置；

所述使用者通过所述交互端将所述三维虚拟模型放置于所述第一空间位置，并在所述第一空间位置对所述三维虚拟模型进行所述编辑控制。

优选的，所述初始化点为所述实物模型的圆心，或几何中心，或几何边缘线，或角点，或任一线段的端点，或任一线段的1/2点，或任一线段的1/3点，或任一线段的1/4点。

优选的，所述实物模型上预设有一标记；

所述增强现实设备包括一位置采集单元，用于获取所述实物模型的所述三维空间位置，所述三维空间位置包括所述标记的第二空间位置；

所述使用者通过所述交互端将所述三维虚拟模型放置于所述第二空间位置，并在所述第二空间位置对所述三维虚拟模型进行所述编辑控制。

优选的，所述增强现实设备为增强现实眼镜。

优选的，所述交互端为手机或平板。

优选的，还包括一设计端，与所述云服务器建立网络连接，所述使用者通过所述设计端设计所述三维虚拟模型并上传至所述云服务器进行保存。

优选的，所述交互端与所述增强现实设备通过wifi或蓝牙建立通信连接。

优选的，所述交互端通过以太网与所述云服务器建立通信连接。

优选的，所述编辑控制包括对所述三维虚拟模型进行放大操作，和/或缩小操作，和/或移动操作，和/或旋转操作，和/或添加操作，和/或删除操作。

优选的，所述交互端还包括工程文件生成单元，供所述使用者在所述交互式三维布景完成后，生成包含各所述三维虚拟模型的模型数据的工程库文件，并将所述工程库文件保存至本地和/或上传至所述云服务器。

优选的，所述模型数据包括每个所述三维虚拟模型的虚拟位置，和/或尺寸数据，和/或角度数据，和/或所述使用者进行所述交互式三维布景的时间，和/或所述使用者进行所述交互式三维布景的地点。

优选的，还包括一前端管理单元，连接所述云服务器，所述使用者通过所述前端管理单元对所述云服务器中的所述三维虚拟模型和所述工程库文件进行删除或保存管理。

优选的，所述交互端为多个，且其中一个所述交互端配置有交互操作权限；

则所述交互式三维布景系统还包括一同步服务器，分别连接各所述交互端以及所述交互端对应的所述增强现实设备，所述同步服务器包括：

位置获取单元，用于获取各所述增强现实设备的实时空间位置；

权限监听单元，连接所述位置获取单元，用于监听具有所述交互操作权限的所述交互端，并在接收到所述交互端的编辑控制指令时将所述三维虚拟模型以各所述实时空间位置对应的视角分别投射至各所述增强现实设备，实现多人共享同一所述三维虚拟模型的编辑控制过程。

优选的，具有所述交互操作权限的所述交互端为主机交互端，其余所述交互端为从属交互端；

则所述同步服务器还包括：

权利转移单元，用于供所述从属交互端的所述使用者向所述主机交互端的所述使用者发送操作权限请求，所述主机交互端的所述使用者根据所述操作权限请求将所述交互操作权限转移至所述从属交互端。

优选的，所述增强现实设备上设有一环境感知装置，所述增强现实设备通过所述环境感知装置获取外部环境数据，根据所述外部环境数据处理得到所述增强现实设备的所述实时空间位置并发送至所述同步服务器。

优选的，所述环境感知装置为TOF摄像头，或鱼眼摄像头，或结构光摄像头，或激光雷达。

上述技术方案具有如下优点或有益效果：

1)采用交互端与增强现实设备连接的方式，交互端具有便携性，且能够方便的进行使用者的意图交互，同时增强现实设备作为画面呈现能够较好的体现出三维画面，为使用者提供一种便携且低成本的增强现实产品体验方式；

2)多个使用者可以通过同步服务器配置交互操作权限并实时共享查看三维虚拟模型的编辑控制过程。

附图说明

图1为本发明的较佳的实施例中，一种基于增强现实的交互式三维布景系统的结构示意图；

图2为本发明的较佳的实施例中，交互式三维布景系统的使用场景示意图；

图3为本发明的较佳的实施例中，交互式三维布景系统的架构图；

图4为本发明的较佳的实施例中，交互端和增强现实设备的显示画面示意图；

图5为本发明的较佳的实施例中，交互式三维布景系统的数据流程示意图；

图6为本发明的较佳的实施例中，交互式三维布景系统中多人共享的架构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种基于增强现实的交互式三维布景系统，从多个设计方面逐步解决相关问题，如图1所示，具体包括：

云服务器1，用于保存预先生成的若干三维虚拟模型；

增强现实设备2，使用者通过增强现实设备2查看预先放置的实物模型并获取实物模型的三维空间位置；

交互端3，分别与云服务器1和增强现实设备2通信连接，使用者通过交互端由云服务器中下载至少一三维虚拟模型，根据三维空间位置对三维虚拟模型进行编辑控制，并将三维虚拟模型投射至增强现实设备2；

使用者通过增强现实设备2同步查看三维虚拟模型的编辑控制过程，以实现交互式三维布景。

具体地，本实施例中，本发明的基于增强现实的交互式三维布景系统能够应用在针对工业、家装、展览等场景中，以对场景进行三维布局，快速建模。

该交互式三维布景系统具体包括云服务器1、增强现实设备2和交互端3，上述增强现实设备2优选的AR眼镜，上述交互端3优选为手持移动平板或手机，该手持移动平板或手机搭载有应用程序，通过使用者带上AR眼镜，以手持移动平板或手机作为智能遥控设备并与AR眼镜软件结合，从而形成了通过手持移动平板或手机上的应用程序进行选型、移动或调整虚拟物体大小，AR眼镜同步显示编辑过程的三维交互的一种增强现实的交互式三维布景系统。

如图2所示，使用者通过佩戴增强现实设备2能够看到实物模型200及虚拟模型100，通过交互端3上搭载的应用程序连接增强现实设备2能够对虚拟模型100做出选型，放大，缩小以及旋转平移等编辑控制动作。用户通过佩戴AR眼镜能够看到虚拟机真实的物体的叠加效果，通过平板/手机APP能够对虚拟模型100进行遥控设置，从而能够提供使用者一套在真实世界中进行虚实交互搭建的体验效果。

进一步地，平板/手机APP端作为交互端3，AR智能眼镜作为投影端，其中平板/手机APP通过wifi或者蓝牙与AR智能眼镜无线通讯连接，通过以太网连接云服务器1，云服务器1作为储存设备能够存储有三维模型库以及工程文件库，其三维模型库由三维模型的设计端4上传而来，而工程文件库文件由使用者自己搭建，通过工程文件生成单元31建立生成。

本发明的较佳的实施例中，增强现实设备2包括一位置采集单元21，用于获取实物模型的三维空间位置，三维空间位置包括预设的初始化点的第一空间位置；

使用者通过交互端3将三维虚拟模型放置于第一空间位置，并在第一空间位置对三维虚拟模型进行编辑控制。

具体地，本实施例中，通过以实物模型上的点作为初始化点，无需预先设置标记，进一步地，使用APP的平板/手机，可以控制该APP中预存的虚拟模型，并能在三维空间中显示和编辑控制，AR眼镜自身优选设置6DOF自由度，其光学传感器元件用于获取三维空间中的数据，尤其是实物模型的数据，反馈给该APP空间数据，尤其是其中关键的初始化点位置(相对于某实物模型的某个位置——圆心、几何中心、几何边缘线或角点、某线端的2端点、1/2点、1/3点、1/4点)，虚拟模型就在该初始化点位置初次展现，并在该位置上被平板或手机逻辑控制，包括上下左右前后移动、放大缩小、水平旋转或绕某轴角度调节。

本发明的较佳的实施例中，初始化点为实物模型的圆心，或几何中心，或几何边缘线，或角点，或任一线段的端点，或任一线段的1/2点，或任一线段的1/3点，或任一线段的1/4点。

本发明的较佳的实施例中，实物模型上预设有一标记；

增强现实设备2包括一位置采集单元21，用于获取实物模型的三维空间位置，三维空间位置包括标记的第二空间位置；

使用者通过交互端3将三维虚拟模型放置于第二空间位置，并在第二空间位置对三维虚拟模型进行编辑控制。

具体地，本实施例中，通过在空间中的实物模型上的任意空间位置做标记，AR眼镜识别该标记与实物模型的三维位置关系，反馈给平板或手机，平板或手机即在该标记处初始化生成虚拟物。该标记相当于一个触发标记物。

本发明的较佳的实施例中，增强现实设备2为增强现实眼镜。

本发明的较佳的实施例中，交互端3为手机或平板。

本发明的较佳的实施例中，还包括一设计端4，与云服务器1建立网络连接，使用者通过设计端4设计多种类多用途的三维虚拟模型并上传至云服务器1进行保存。

具体地，本实施例中，设计端只用于设计三维虚拟模型，然后上传至云服务器1，该云服务器1用于存储各种模型，进一步供平板/手机中的APP链接云服务器1后，进行更新、选择下载。优选的，本发明的云服务器1可以从设计端4获取各种设计类型的虚拟模型，适应性极强可满足众多需求。如图3所示，通过三维虚拟模型的设计端4能够设计模型素材，并通过网络传输将三维虚拟模型存储在云服务器1之中，由AR眼镜端及APP交互端构成了用户本地使用端设备，通过平板/手机APP和AR眼镜能够下载模型库，并由APP交互端通过WIFI本地通讯与AR眼镜端交互，给予使用者在实际场景中使用后台模型库创建虚实混合的工程库体验。

如图4所示，在本地端建立虚实交互的工程体验过程为按照图中的箭头指示依次为在手机/平板查看得到的各个虚拟模型，包括但不限于图中的模型1、模型2、模型3、模型4、模型5和模型6，随后通过手机/平板选择一个虚拟模型放置，并可以在手机/平板上进行旋转和移动操作，最后为通过增强现实设备2使用者能够看到的画面。手机/平板通过APP能够从云服务器1中下载和选择对应的模型文件，添加到真实的场景中，手机/平板通过APP通过WIFI或者蓝牙与AR智能眼镜通讯，建立1:1的互动体验，能够进行模型的位移、旋转、放大缩小，其中AR眼镜则作为3D的呈现画面端；其中平板或手机端非1:1且非虚实结合的互动画面；AR眼镜端为1：1大小且虚实结合的互动画面。AR端相当于模拟量；平板或手机端相当于数字量，在平板或手机端的显示屏的一侧显示2D/3D模型，另一侧显示该模型(立体几何物名称)的几何参数信息：起始位置、长宽高度、大小尺寸、角度；进一步显示各个几何面(被选定)的具体参数信息。

进一步地，如图5所示，该系统的数据流程为：设计端4通过三维模型设计软件提供多种类多用途的三维素材模型，形成了云服务器1中的模型库设计文件；提供前端管理单元11能够对模型库、工程库进行删除和保存管理；手机或平板APP及AR眼镜端进行混合现实显示的设计端，能够将模型库设计为工程库，并上传保存至云服务器1之中；工程库文件为包含了多个三维虚拟模型的虚拟位置，大小，角度数据及用户建立工程的时间与地点数据的整合信息文件。工程库文件由手机或平板APP在手机或平板中配合AR眼镜交互设计完成，并可上传至云服务器1或保存至本地。

本发明的较佳的实施例中，交互端3与增强现实设备2通过wifi或蓝牙建立通信连接。

本发明的较佳的实施例中，交互端3通过以太网与云服务器1建立通信连接。

本发明的较佳的实施例中，编辑控制包括对三维虚拟模型进行放大操作，和/或缩小操作，和/或移动操作，和/或旋转操作，和/或添加操作，和/或删除操作。

本发明的较佳的实施例中，交互端3还包括工程文件生成单元31，供使用者在交互式三维布景完成后，生成包含各三维虚拟模型的模型数据的工程库文件，并将工程库文件保存至本地和/或上传至云服务器。

本发明的较佳的实施例中，模型数据包括每个三维虚拟模型的虚拟位置，和/或尺寸数据，和/或角度数据，和/或使用者进行交互式三维布景的时间，和/或使用者进行交互式三维布景的地点。

本发明的较佳的实施例中，还包括一前端管理单元6，连接云服务器1，使用者通过前端管理单元6对云服务器1中的三维虚拟模型和工程库文件进行删除或保存管理。

本发明的较佳的实施例中，交互端3为多个，且其中一个交互端3配置有交互操作权限；

则交互式三维布景系统还包括一同步服务器5，分别连接各交互端3以及交互端3对应的增强现实设备2，同步服务器5包括：

位置获取单元51，用于获取各增强现实设备的实时空间位置；

权限监听单元52，连接位置获取单元51，用于监听具有交互操作权限的交互端3，并在接收到交互端3的编辑控制指令时将三维虚拟模型以各实时空间位置对应的视角分别投射至各增强现实设备2，实现多人共享同一三维虚拟模型的编辑控制过程。

具体地，本实施例中，通过一个使用者设置为主机，以以太网为无线传输，能够将虚拟模型分享至多人，使得多人共享同一个三维模型数据场景，从而满足多人共享的功能需求。如图6所示，多人共享的时候，一般设置同步服务器5，各AR眼镜的光学定位系统，如TOF摄像头、鱼眼摄像头、结构光摄像头、激光雷达，用于给定自己(AR眼镜)的相对空间位置。一般主控平板或手机负责操作虚拟模型的变化，所有AR眼镜在各自视角下显示虚拟模型的相应变化，用户通过AR眼镜看到虚拟模型相对与实物模型的相应变化。同步服务器5负责计算各AR眼镜的空间位置，以及虚拟模型的变化在不同眼镜中的显示变化。图中，位于图中同步服务器上方的使用者为主机，位于同步服务器下方的三个使用者为从机，同步服务器仅接受主机的操控指令，当主控平板或手机切换时，即原来从属平板或手机获得操作权，同步服务器即根据该平板或手机的操控指令进行对虚拟模型的相应变化。

进一步地，首先，通过设立一个主机在局域网或广域网当中，主机持有者采用平板电脑作为场景设计端，即交互端，能够将虚拟模型投射到AR眼镜(显示端)之中，当建立主机之后，其它使用者通过局域网WIFI连接至主机实现画面的共享。为解决多人使用时候对虚拟模型操作时候的权限冲突，其从机使用者可通过手机APP或者PAD向主机发送请求命令，主机收到后给与权限，从机获得后方能够进行模型的操作，一套工程场景中有且仅有一个使用者能够在同一时间获得操作权限。

本发明的较佳的实施例中，具有交互操作权限的交互端3为主机交互端，其余交互端3为从属交互端；

则同步服务器5还包括：

权利转移单元53，用于供从属交互端的使用者向主机交互端的使用者发送操作权限请求，主机交互端的使用者根据操作权限请求将交互操作权限转移至从属交互端。

本发明的较佳的实施例中，增强现实设备2上设有一环境感知装置22，增强现实设备2通过环境感知装置22获取外部环境数据，根据外部环境数据处理得到增强现实设备2的实时空间位置并发送至同步服务器5。

本发明的较佳的实施例中，环境感知装置22为TOF摄像头，或鱼眼摄像头，或结构光摄像头，或激光雷达。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。