一种基于AR的远程沉浸式仿真教室及其控制方法

技术领域

本发明一种基于AR的远程沉浸式仿真教室及其控制方法，属于基于AR的远程沉浸式仿真教室技术领域。

背景技术

教育行业中现有的电教室、多媒体教室比起传统教室，加入了电子屏、投影机等设备，并在线联网，可以快速搜集资源，老师可以用视频和PPT等方式更为直观和方便地演示与教学，同时随着科技的发展，现在也有的地方实现了远程教学，通过直播的形式实现，但是仅仅通过直播虽然能实现远程教学，但是对于远程的学生来说，无法与老师和学生互动，仅能看到老师讲解的内容，缺乏互动性，并且由于是传统的教学模式，对于现在的沉浸式教学的体验感较差，容易造成课堂教学的枯燥，因此，提出了一种基于AR的远程沉浸式仿真教室及其控制方法。

发明内容

本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于AR的远程沉浸式仿真教室硬件结构的改进。

为了解决上述技术问题，本发明采用的技术方案为：一种基于AR的远程沉浸式仿真教室，包括本地教室和远程教室，所述本地教室中设置有高清直播设备、高清录像设备、4K显示屏、红外动态捕捉设备、第一AR设备、教室讲解控制台，所述远程教室设置有接收本地教室直播视频的数据接收模块和高清显示屏、第二AR设备，所述数据接收模块、高清显示屏、第二AR设备分别通过导线与处理器相连，所述处理器设置在控制台内；

所述高清直播设备、高清录像设备、4K显示屏、红外动态捕捉设备、第一AR设备分别通过导线与教室讲解控制台内的控制器相连，所述教室讲解控制台内还设置有存储模块和无线通信模块；

所述本地教室与远程教室之间通过无线通信模块进行通讯，远程教室接收本地教室的高清直播的视频数据、第一AR设备采集的本地教室中老师的讲解动作图像及学生的课堂互动图像，并在远程教室的高清显示屏上进行三维显示；

所述远程教室通过第二AR设备采集远程听课学生的互动场景信息，并发送至本地教室，实现远程教室与本地教室学生、老师之间的课堂互动。

所述高清直播设备、高清录像设备具体固定在本地教室讲台上，对准老师及4K显示屏及课堂学生全景，将老师讲课的内容进行高清直播并录像，所述4K显示屏具体设置在教室的智能黑板的一侧，其中高清直播的内容通过5G网络传输至远程教室的控制台内设置的处理器上，并通过远程教室的高清显示屏进行显示，其中高清录像的内容存储在存储模块中。

所述红外动态捕捉设备通过设置的高清红外摄像头采集第一AR设备的第一跟踪摄像机的参数，实现多台AR机位的切换；

所述第一AR设备具体设置在本地教室内的房顶及四周墙壁上，并固定在墙壁上，所述第一AR设备包括跟第一踪摄像机、目标识别单元，所述目标识别单元通过第一跟踪摄像机采集的4K显示屏上的文字及图片进行文字识别。

所述第二AR设备具体设置在远程教室的内的房顶及四周墙壁上，并固定在墙壁上，所述第二AR设备包括第二跟踪摄像机。

所述4K显示屏具体采用像素点间距为1.53-1.86mm的LED模组，所述4K显示屏具体采用多通道屏幕空间的立体显示。

所述4K显示屏上的LED模组分别通过导线与视频拼接处理模块相连，所述视频拼接处理模块通过导线与多通道渲染服务器、教室讲解控制台内的控制器相连。

一种基于AR的远程沉浸式仿真教室的控制方法，包括如下步骤：

步骤一：将本地教室与远程教室内的通讯设备通过5G网络进行通信连接；

步骤二：启动本地教室与远程教室的设备，开始进行老师讲课的视频图像采集及AR图像数据，并发送至远程教室，在高清显示屏进行进显示，本地学生与远程学生同时进行上课；

步骤三：本地教室的4K显示屏上通过分屏器进行本地教室与远程教室内学生的互动视频显示，第一AR设备通过第一跟踪摄像机采集老师的肢体动作，红外动态捕捉设备通过高清红外摄像头采集第一AR设备的第一跟踪摄像机的参数，实现多台AR机位的切换；

步骤四：红外动态捕捉设备根据老师在讲课中的对智能黑板的划动进行动态捕捉；

步骤五：远程教室的学生的动态通过第二跟踪摄像机进行捕捉，并将学生的动态发送至本地教室的4K高清显示屏进行显示，老师通过4K高清显示屏实时获知远程学生的动态，实现与远程学生的互动教学。

所述步骤三中的第一AR设备还可以设置为头戴式AR设备，所述头戴式AR设备上设置有相机，通过相机将4K显示屏上的平面物体或图像显示为空间三维图像，并将该虚拟的空间三维图像发送至第二AR设备，使远程教室的学生进行观看。

本发明相对于现有技术具备的有益效果为：本发明提供的基于AR的远程沉浸式仿真教室通过5G通信模块实现本地教室与远程教室的远程实时通信，同时在本地教室和远程教室设置AR设备实现学生在课堂上的沉浸式互动学习，不仅本地教室的学生可以体验到沉浸式的学习，同时远程教室的学生也可以体验到在现场的听课，并且实现与本地教室中老师与学生的互动，课堂教学效率高且充满乐趣。

附图说明

下面结合附图对本发明做进一步说明：

图1为本发明的系统结构示意图。

具体实施方式

如图1所示，本发明一种基于AR的远程沉浸式仿真教室，包括本地教室和远程教室，所述本地教室中设置有高清直播设备、高清录像设备、4K显示屏、红外动态捕捉设备、第一AR设备、教室讲解控制台，所述远程教室设置有接收本地教室直播视频的数据接收模块和高清显示屏、第二AR设备，所述数据接收模块、高清显示屏、第二AR设备分别通过导线与处理器相连，所述处理器设置在控制台内；

所述高清直播设备、高清录像设备、4K显示屏、红外动态捕捉设备、第一AR设备分别通过导线与教室讲解控制台内的控制器相连，所述教室讲解控制台内还设置有存储模块和无线通信模块；

所述本地教室与远程教室之间通过无线通信模块进行通讯，远程教室接收本地教室的高清直播的视频数据、第一AR设备采集的本地教室中老师的讲解动作图像及学生的课堂互动图像，并在远程教室的高清显示屏上进行三维显示；

所述远程教室通过第二AR设备采集远程听课学生的互动场景信息，并发送至本地教室，实现远程教室与本地教室学生、老师之间的课堂互动。

所述高清直播设备、高清录像设备具体固定在本地教室讲台上，对准老师及4K显示屏及课堂学生全景，将老师讲课的内容进行高清直播并录像，所述4K显示屏具体设置在教室的智能黑板的一侧，其中高清直播的内容通过5G网络传输至远程教室的控制台内设置的处理器上，并通过远程教室的高清显示屏进行显示，其中高清录像的内容存储在存储模块中。

所述红外动态捕捉设备通过设置的高清红外摄像头采集第一AR设备的第一跟踪摄像机的参数，实现多台AR机位的切换；

所述第一AR设备具体设置在本地教室内的房顶及四周墙壁上，并固定在墙壁上，所述第一AR设备包括跟第一踪摄像机、目标识别单元，所述目标识别单元通过第一跟踪摄像机采集的4K显示屏上的文字及图片进行文字识别。

所述第二AR设备具体设置在远程教室的内的房顶及四周墙壁上，并固定在墙壁上，所述第二AR设备包括第二跟踪摄像机。

所述4K显示屏具体采用像素点间距为1.53-1.86mm的LED模组，所述4K显示屏具体采用多通道屏幕空间的立体显示。

所述4K显示屏上的LED模组分别通过导线与视频拼接处理模块相连，所述视频拼接处理模块通过导线与多通道渲染服务器、教室讲解控制台内的控制器相连。

一种基于AR的远程沉浸式仿真教室的控制方法，包括如下步骤：

步骤一：将本地教室与远程教室内的通讯设备通过5G网络进行通信连接；

步骤二：启动本地教室与远程教室的设备，开始进行老师讲课的视频图像采集及AR图像数据，并发送至远程教室，在高清显示屏进行进显示，本地学生与远程学生同时进行上课；

步骤三：本地教室的4K显示屏上通过分屏器进行本地教室与远程教室内学生的互动视频显示，第一AR设备通过第一跟踪摄像机采集老师的肢体动作，红外动态捕捉设备通过高清红外摄像头采集第一AR设备的第一跟踪摄像机的参数，实现多台AR机位的切换；

步骤四：红外动态捕捉设备根据老师在讲课中的对智能黑板的划动进行动态捕捉；

步骤五：远程教室的学生的动态通过第二跟踪摄像机进行捕捉，并将学生的动态发送至本地教室的4K高清显示屏进行显示，老师通过4K高清显示屏实时获知远程学生的动态，实现与远程学生的互动教学。

所述步骤三中的第一AR设备还可以设置为头戴式AR设备，所述头戴式AR设备上设置有相机，通过相机将4K显示屏上的平面物体或图像显示为空间三维图像，并将该虚拟的空间三维图像发送至第二AR设备，使远程教室的学生进行观看。

本发明提供的基于AR的远程沉浸式仿真教室通过在本地教室和远程教室分别设置第一AR设备、第二AR设备，通过5G模块进行远程无线通信，能够实时地将老师在本地教室的讲课内容在远程教室的高清显示屏上进行显示，同时设置有红外动态捕捉设备，通过多个高清红外摄像头来采集第一跟踪摄像机的参数信息，可以保证在不同位置与多个干扰物品情况下系统稳定工作，高达0.01mm 精准位置保证系统高灵敏度，实现多台AR机位的切换以及第一跟踪摄像机的动态拍摄效果，支持老师进行体感控制，如讲解动作、空中比划等。

本发明的红外动态捕捉设备具有捕捉预览功能，可以实时对标记物品进行“预演”快速查找相关的定位信息，实时数据捕捉：实时预览动作捕捉数据，配备全身数据处理功能；内置数据编辑器：高级编辑工具，可对捕获数据进行编辑。

本发明的工作过程为：将本地教室与远程教室的AR设备打开，通过高清直播设备对老师的上课内容及上课课件、上课的互动进行高清直播，传输至远程教室，并在高清显示屏上进行显示，其中高清显示屏中通过分屏器可将显示屏划分为多个显示部分，将本地教室中老师、课件、学生、及AR设备采集的图像数据进行分屏显示，同时高清直播设备不仅可将老师及课件进行实时直播，同时还可以将本地教室中学生上课全景直播视频进行直播，同时高清直播设备还可以采集老师讲课的声音及与学生互动的学生回答及提问声音，以及课件中关于声音及视频的声音，并通过教室讲解控制台内的控制器对采集的声音数据进行数据处理，包括对回声的抑制、对噪音的消除及对教室中杂音的剔除；远程教室通过5G通信模块将直播的视频及音频数据进行接收，同时本地教室也能将远程教室的全景进行显示，同时在直播中对远程学生进行提问，将远程回答问题的学生的特写画面与声音传回至本地教室进行显示，实现实时互动。

本发明的高清录像设备能录制本地教室上课的电子课件及声音，同时能够录制本地教室内的老师的上课视频、板书、学生全景、特写场景和声音以及将远程教室中学生的提问发言特写场景和声音进行录像；高清录像的回放模式可以是互动模式，将老师提问和学生回答进行分屏显示，或者是将录像按照时间顺序直接显示在一个显示屏上；录像视频采用高清16:9、分辨率为1080P、码率小于等于5Mbps。

本发明在本地教室和远程教室分别设置第一AR设备和第二AR设备，将传输的高清视频通过AR设备进行三维显示，学生通过佩戴头戴式AR设备对跟踪摄像机采集的视频图像进行数据处理后形成可视的三维图像；通过把虚拟的三维空间映射到4K显示屏上，通过不同方向的屏幕输出显示，通过软件对显示屏的拼合夹角进行透视差异关系的调整，达到每一块屏中内容的完美过渡，组成一个完整立体的显示效果；可以对屏幕显示的颜色的独立调整，包括它的RGB 、灰度、对比度、亮度等，保证每一块屏幕拍摄到的效果统一无色差。

本发明的4K显示屏具体由多个小间距LED模组组成，在进行图像显示之前需要将每个LED模组采集的图像通过视频拼接处理模块进行拼接后再进行显示，同时本发明的高清红外摄像头采集老师及第一AR跟踪摄像机的图像，将高清红外摄像头采集的图像数据发送至多通渲染服务器进行3D图像渲染，然后将渲染后的图像在单个LED模组显示，最后通过视频拼接处理模块将多个LED模组的图像进行拼接完成后在4K显示屏上进行显示，学生佩戴头戴式AR设备即可看到三维的图像视频。

本发明的第一AR设备上设置有目标识别单元，目标识别单元用于对老师的板书及课件上的文字进行显示。

本发明的第二AR设备还可以设置在课桌上，每个学生对应设置有一个显示屏，远程端学生可佩戴AR眼镜进行上课，显示屏显示回传的本地教室内的高清视频及进过渲染的视频图像，通过AR眼镜可实现对三维视频的观看，能够达到与本地教室中学生的上课状态，即实现沉浸式的上课，同时通过AR眼镜还能体验到对课堂上讲解内容的三维观看。

关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。