一种应用于VR或AR或MR多摄像头联合成像技术

技术领域

本发明涉及成像技术领域，具体涉及一种应用于VR或AR或MR多摄像头联合成像技术。

背景技术

随着科学技术的发展，增强现实(Augmented Reality，AR)、虚拟现实(VirtualReality，VR)等虚拟设备进入大众生活，近年来，混合现实(Mixed Reality，MR)发展起来，MR能够将现实物体三维重构并虚拟化，并将虚拟化的效果呈现给多人，实现多人交互。然而，目前不同的虚拟设备，具有不同的特点，VR把虚拟的世界通过显示器呈现给用户，具有给人一种沉浸感的特点。AR是对真实世界的更多维度的扩展或增强，如基于标记的增强现实、基于位置或速度的增强现实、基于投影的增强现实、基于场景理解的增强现实，用于识别、翻译、辅助驾驶等方面。MR则是把真实的东西叠加到虚拟世界里，通过算法把摄像头拍摄的二维的视频进行三维重建，生成虚拟的三维物体，同时呈现给多人，实现多人交互。

在实际使用过程中，不同虚拟设备各具优点，然而也各自有限制之处。VR需要较大的头戴式显示设备，AR多为平面显示，缺少物体的三维信息，MR则能将现实生活中的物体在虚拟世界中重建出来，多应用于教育培训等行业，应用范围窄。现实社会是一个复杂的大环境，将现实社会虚拟化后，单独的虚拟设备较难完整展现真实的社会环境，且影像在1：1展示时质量形变严重。结合多种虚拟设备的优点，将不同设备处理后的虚拟设计再次整合，真实展现现实环境，且具有速度、位置、深度、灰度等信息，1：1还原真实社会，实现多人交互，有利于虚拟设备的发展和应用领域的拓展。为此，发展一种VR或AR或MR多摄像头联合成像技术具有极大的价值和深远的应用需求。

发明内容

本发明的目的是提供一种应用于VR或AR或MR多摄像头联合成像技术，通过多摄像头代替视野感官，三维重构，计算现实环境的使用因素，虚拟化展示真实环境，辅助设备代替人眼进行环境的确认和避让。

为了达到上述目的，本发明提供如下技术方案：

一种应用于VR或AR或MR多摄像头联合成像技术，包括：

摄像单元，所述摄像单元为多个；

辅助信号输入单元，所述辅助信号输入单元设置有定位器、速度传感器、麦克风；

数据处理单元，所述数据处理单元的输入端分别与摄像单元输出端、辅助信号输入单元输出端电性相连；

数据传输单元，所述数据传输单元的输入端与数据处理单元的输出端电性连接；

二次处理单元，所述二次处理单元的输入端与数据传输单元的输出端电性连接；

成像单元，所述成像单元与二次处理单元的输出端电性连接；

所述数据处理单元接收摄像单元、辅助信号输入单元的信息进行处理；所述数据处理单元处理后的信息经过数据传输单元输送到二次处理单元，二次处理单元进行处理，处理后的信息于成像单元成像。

所述摄像单元设置有多个投影发生器、多个信号采集器；所述多个投影发生器、多个信号采集器分别位于VR或AR或MR的不同位置；投影发生器向多个方向投影信号，位于不同位置的信号采集器同时接收多个投影信号。

所述辅助信号输入单元还包括用户输入端；所述用户输入端设置有语音输入端、触控屏输入端。

所述数据处理单元设置有固态内存卡、AI智能芯片、中央处理器、图形处理器；所述固态内存卡分别与AI智能芯片、中央处理器、图形处理器电性连接。

所述二次处理单元为三维图像处理器，可闪存。

所述成像单元设置有3D显示屏、立体环绕音响；3D显示屏、立体环绕音响分别与二次处理单元电性连接；3D显示屏真实还原外部视野，1：1比例显示外部视野，立体环绕音响播放外部环境所处声音，播放计算模拟出现的变化情况。

所述数据处理单元对不同摄像单元的影像、辅助信号输入单元接收到的信号综合处理，初步模拟所处环境信息，依据多个信号采集器对投影信号接收的光程差和灰度信息，判断设备移动的速度和方位，并重构出的三维实物场景。

所述二次处理单元将数据处理单元给出的外部环境信息模拟出虚拟场景，并结合使用者信息，模拟出人与物与环境的三维立体信息，并给出速度、位置信息；此外，计算周边环境变化情况，模拟出变化结果。

成像过程：多个摄像单元中，多个投影发生器向多个方向投影信号，位于不同位置的信号采集器同时接收多个投影信号，采集同一个标记的光程差；辅助信号输入单元采集定位、速度及声音等信息；数据处理单元对来自摄像单元和辅助信号输入单元的信息综合处理，进行分析和计算，识别区分同一个标记的光程差、灰度信息、相对位置等变化情况，初步模拟所处环境信息，判断设备移动的速度和方位，并重构出的三维实物场景；二次处理单元为三维图像处理器，对数据处理单元处理的信息进行二次处理，将外部环境信息、三维实物场景、模拟的虚拟场景结合起来，模拟出人与物与环境的三维立体信息，计算周边环境变化情况，模拟出变化结果；成像单元接收二次处理单元信息进行成像，还原真人视野。

本发明的优点：

1、用户输入端的设置，包括触屏输入、语音输入，能够对外部环境进行人工干预调整，或者依据人工指令，针对性识别某一部分的环境特征，使得对外部环境的成像更加符合实际需要。

2、成像单元设置有3D显示屏和立体环绕音响，按照1:1还原真人视野，使得使用设备时，更能真实展示真实的环境信息，环境信息不失真，且1:1的比例更加符合常规认知，便于人对环境信息的识别。

3、通过多摄像头代替人眼的视野感官、结合位置、速度等信息，经过复杂的算法，对外部实物进行三维重构，虚拟化展示真实环境，实现真人视野1:1还原，进而达到该设备在使用过程中能与现实及时互动和确认各种复杂状况的信息；通过传输的视野感官和图像的对比，计算现实环境的使用因素，给出可能的环境变化情况，通过计算得出的因素，辅助设备代替人眼进行环境的确认和避让。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的结构示意图；

图2是本发明的系统流程图；

1、摄像单元，101、投影发生器，102、信号采集器，2、辅助信号输入单元，201、定位器，202、速度传感器，203、麦克风，204、用户输入端，2041、语音输入端，2042、触控屏输入端，3、数据处理单元，301、固态内存卡，302、AI智能芯片，303、中央处理器，304、图形处理器，4、数据传输单元，5、二次处理单元，6、成像单元，601、3D显示屏，602、立体环绕音响。

具体实施方式

下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

根据图1、图2所示，应用于VR或AR或MR多摄像头联合成像技术，包括：

摄像单元1，所述摄像单元1为多个；

辅助信号输入单元2，所述辅助信号输入单元2设置有定位器201、速度传感器202、麦克风203；

数据处理单元3，所述数据处理单元3的输入端分别与摄像单元1输出端、辅助信号输入单元2输出端电性相连；

数据传输单元4，所述数据传输单元4的输入端与数据处理单元3的输出端电性连接；

二次处理单元5，所述二次处理单元5的输入端与数据传输单元4的输出端电性连接；

成像单元6，所述成像单元6与二次处理单元5的输出端电性连接；

所述数据处理单元3接收摄像单元1、辅助信号输入单元2的信息进行处理；所述数据处理单元3处理后的信息经过数据传输单元4输送到二次处理单元5，二次处理单元5进行处理，处理后的信息于成像单元6成像。

上述设置中，通过多摄像单元代替人眼的视野感官、结合位置、速度等信息，经过复杂的算法，虚拟化展示真实环境，实现真人视野1:1还原，进而达到该设备在使用过程中能与现实及时互动和确认各种复杂状况的信息；通过传输的视野感官和图像的对比，计算现实环境的使用因素，给出可能的环境变化情况，通过计算得出的因素，辅助设备代替人眼进行环境的确认和避让。

实施例2

根据图1所示，所述摄像单元1设置有多个投影发生器101、多个信号采集器102；所述多个投影发生器101、多个信号采集器102分别位于VR或AR或MR的不同位置；投影发生器101向多个方向投影信号，位于不同位置的信号采集器102同时接收多个投影信号。

上述设置中，多个信号采集器对同一个标记采集的光程差，经过数据处理单元处理可以给出物体的深度信息，光亮信号差别给出物体的灰度信息，有利于对外部环境的精确识别，且有利于对外部环境识别的三维重建。

实施例3

根据图1所示，所述辅助信号输入单元2还包括用户输入端204；所述用户输入端204设置有语音输入端2041、触控屏输入端2042。

上述设置中，用户输入端的设置，包括触屏输入、语音输入，能够对外部环境进行人工干预调整，或者依据人工指令，针对性识别某一部分的环境特征，使得对外部环境的成像更加符合实际需要。

实施例4

根据图1所示，所述数据处理单元3设置有固态内存卡301、AI智能芯片302、中央处理器303、图形处理器304；所述固态内存卡301分别与AI智能芯片302、中央处理器303、图形处理器304电性连接。

上述设置中，固态内存卡储存接收到的或者处理好的信息，AI智能芯片深度学习和模仿用芯片；中央处理器主要的计算用或逻辑运算芯片；图形处理器为主要的图形、三维图像处理用芯片。数据处理单元快速对来自摄像单元和辅助信号输入单元进行分析和计算，识别区分多个摄像头对同一个标记的光程差、灰度信息、相对位置变化情况，对外部实物进行三维重建，处理速度快，重建效果真实，使得最终模拟出的外部环境真实，准确。

实施例5

根据图1所示，所述二次处理单元5为三维图像处理器，可闪存。

上述设置中，二次处理单元为三维图像处理器，对信息的二次处理，三维重构外部环境，辅助以速度、位置、声音等信息，真实模拟外部环境，使得在远距离交互时，更加的身临其境；依据外部环境的变化，对变化情况进行预判，能够及时有效的判断变化外部环境的变化情况，提高安全性。

实施例6

根据图1所示，所述成像单元6设置有3D显示屏601、立体环绕音响602；3D显示屏601、立体环绕音响602分别与二次处理单元5电性连接。

上述设置中，成像单元设置有3D显示屏和立体环绕音响，按照1:1还原真人视野，使得使用设备时，更能真实展示真实的环境信息，环境信息不失真，且1:1的比例更加符合常规认知，便于人对环境信息的识别。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。