一种基于混合现实的多机联合交互头戴式智能装备

技术领域

本发明涉及混合现实技术(MR)的头戴式智能装备，具体涉及一种基于混合现实的多机联合交互头戴式智能装备。

背景技术

增强现实技术(AR)通过电脑技术，将虚拟的信息映射到真实世界，真实的环境和虚拟物体实时地叠加到了同一个空间同时展示出来。它不仅还原了真实世界的内容，并在此基础上叠加、补充了增强的信息，给人们以更强的内容获取能力。

混合现实技术(MR)是增强现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。目前由于技术限制，混合现实技术还只停留在增强现实技术的基础上添加虚拟信息的定位技术，也即看到的虚拟辅助信息是固定在现实空间中的某处，而不会随智能装备的移动和旋转而移动。

混合现实技术(MR)的两大核心要素为交互性和沉浸感。现阶段主要通过九轴IMU传感器追踪用户头部运动的方式来定位用户的视野，用户可通过不断扭动头部和调整姿态来获取不同的视野和信息。但是，单纯的头部跟踪定位会使得使用者易于疲劳，从而降低用户体验。基于此问题，在智能装备内部设置摄像头，可通过采集眼部图像并结合深度学习图像识别技术来追踪用户眼球位置，从而实现头部运动与眼动跟踪相结合的效果完善MR视野定位系统，并提升用户体验。

混合现实在各个领域内的应用已成为目前发展的热点话题，尤其在自动化集装箱码头中，应用该技术可为大型港口巡检管理人员、货物管理人员以及设备维修人员等提供有力的数据支持和辅助决策手段。目前由于技术限制，无法实现类似全息投影并对虚拟物体进行多人实时交互，混合现实目前作为一种过渡技术，实现了单机交互的功能，为单一工程人员提供了一种更直观、立体的交互手段，但是仍然存在着无法对多人的交互进行实时感知并映射在同一空间。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种基于混合现实的多机联合交互头戴式智能装备，实现对本机人员及其他人员的交互识别，并实现多机联合交互功能；结合强光照明，实现随视野定位的多角度照明，为夜间工作的巡检人员提供了方便。

为了达到上述目的，本发明采取的技术方案为：

一种基于混合现实的多机联合交互头戴式智能装备，包括和眼镜相似的装备本体1，装备本体1的腿部连接有耳机7，装备本体1正中央朝向人脸的后方一侧内嵌有内置摄像头5，装备本体1朝外的前方一侧左、中、右内嵌有三个外置高清摄像头4，装备本体1右侧壳体内部设置处理器3，装备本体1左侧壳体内嵌锂离子电池9，装备本体1左侧壳体朝上设置有Type-C充电数据接口10，处理器3以及锂离子电池9的下方装备本体1壳体设置了对称的麦克风6以及混合现实组件2；放置锂离子电池9的装备本体1的壳体上方设有电量指示灯11；

所述的装备本体1的壳体上端右侧设有智能照明模块，智能照明模块包括照明外壳15，照明外壳15连接在装备本体1的壳体上端右侧，照明外壳15内连接有万向节13，万向节13外侧连接有照明灯12，照明灯12通过两个微型超声电机14与平面连杆机构自适应地调整照射方向，FOV 90°，照明灯12的照射方向由内置摄像头5对眼球视线的跟踪反馈结果所确定；

所述的装备本体1的壳体内设有WiFi模块、GPS模块、九轴IMU传感器8和对讲机模组；

所述的WiFi模块、GPS模块、九轴IMU传感器8、对讲机模组、麦克风6、耳机7、混合现实组件2、微型超声电机14均与处理器3电连接。

所述的处理器3为树莓派微型主机，采用瑞芯微RK3288。

所述的耳机7设置在装备本体1位于人耳位置的一侧，由弹性材料与装备本体1固定连接。

所述装备本体1壳体后方一侧设有通过螺钉装配而成的后盖，且后盖由四个螺钉拧紧。

工作时，首先通过GPS模块和眼动追踪技术定位视野所捕捉到的设备，并应用机器视觉对设备及其型号进行识别；在多机同时操作的情况下，多机之间首先通过WiFi模块确认所识别的设备是否一致，当确认一致后，位于中间部位的高清摄像头4对本机交互手势进行识别，同时左、右两侧的高清摄像头4对周围人员的交互手势进行识别，实时更新至处理器3中，并通过混合现实组件2显示在工程人员的视野范围内，同时多机之间或通过对讲机模组进行语音上的交流。

所述的手势识别包括单目视觉法手势分割+指关节跟踪法手势分析+基于神经网络的手势识别。

在夜间工作时，工程人员通过内置摄像头5对双目的图像进行采集，然后将图像传送至处理器3，处理器3对图像进行裁剪、去噪初步处理后发送到图像识别工作站，图像识别工作站将得到的图像输入到深度学习图像识别模型中，从而追踪得到眼球视野位置，并通过控制两个微型超声电机14以及与其相连的平面连杆机构，改变万向节13末端照明灯12的姿态，从而达到照明位置与眼球视野所至位置匹配的功能。

本发明的有益效果是：本发明通过混合现实技术实现工程人员对港口各功能区数据的获取和沉浸式体验，并可通过头部姿态、手势、眼动、语音对虚拟空间进行交互并优化，增强了使用者的感官体验和交互性，大大提升了对港口设备故障的维修以及货物进出港信息的管理效率。同时，为了迎合超大型集装箱码头日益增长的量的需求，通过三外置高清摄像头4以及对讲机模组、WiFi模块实现了多机联合交互的功能，对港口各功能区的多人合作优化提供了相应的技术支持。并且针对港口的应用场景，由于夜间工作量较大，为保证相应人员对部分位置的强光照明需求，设计了随视野定位的智能照明模块，以帮助工程人员更好地在晚间工作。

本发明可用于大型集装箱码头辅助巡检管理人员、货物管理人员以及设备维修人员等，无论在白天还是黑夜对设备状态、货物进出港状况、故障维修等提供实时数据支持，并在虚拟空间实现多机联合交互并优化。

附图说明

图1是本发明的整体细节图。

图2是本发明的后视图。

图3是本发明随动照明机构示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细描述。

参照图1和图2，一种基于混合现实的多机联合交互头戴式智能装备，包括和眼镜相似的装备本体1，装备本体1的腿部连接有耳机7，所述的耳机7设置在装备本体1位于人耳位置的一侧，由弹性材料与装备本体1固定连接；装备本体1正中央朝向人脸的后方一侧内嵌有内置摄像头5，装备本体1朝外的前方一侧左、中、右内嵌有三个外置高清摄像头4，装备本体1右侧壳体内部设置树莓派微型主机，采用了瑞芯微RK3288的处理器3，装备本体1左侧壳体内嵌锂离子电池9，装备本体1左侧壳体朝上设置有Type-C充电数据接口10，处理器3以及锂离子电池9的下方装备本体1壳体设置了对称的麦克风6以及混合现实组件2；所述装备本体1壳体后方一侧设有通过螺钉装配而成的后盖，且后盖由四个螺钉拧紧，当必要时可通过拆卸后盖对锂离子电池9进行更换或增加其他模块，放置锂离子电池9的装备本体1的壳体上方设有长条状的电量指示灯11；

所述的装备本体1的壳体上端右侧设有智能照明模块，参照图3，智能照明模块包括照明外壳15，照明外壳15连接在装备本体1的壳体上端右侧，照明外壳15内连接有万向节13，万向节13外侧连接有照明灯12，照明灯12通过两个微型超声电机14与平面连杆机构自适应地调整照射方向，FOV 90°，照明灯12的照射方向由内置摄像头5对眼球视线的跟踪反馈结果所确定；

所述的装备本体1的壳体内设有WiFi模块、GPS模块、九轴IMU传感器8和对讲机模组；

所述的WiFi模块、GPS模块、九轴IMU传感器8、对讲机模组、麦克风6、耳机7、混合现实组件2、微型超声电机14均与处理器3电连接。

本发明的工作原理为：

本发明实现了多机联合交互功能以及随视野定位多角度照明功能。

多机联合交互功能也即针对相同设备，本发明可将多人的手势进行识别，并综合处理至本发明处理器3中。工作时，首先通过GPS模块和眼动追踪技术定位视野所捕捉到的设备，并应用机器视觉对设备及其型号进行识别；在多机同时操作的情况下，多机之间首先通过WiFi模块确认所识别的设备是否一致，当确认一致后，位于中间部位的高清摄像头4对本机交互手势进行识别，同时左、右两侧的高清摄像头4对周围人员的交互手势进行识别，实时更新至处理器3中，并通过混合现实组件2显示在工程人员的视野范围内，同时多机之间或通过对讲机模组进行语音上的交流。手势识别包括单目视觉法手势分割+指关节跟踪法手势分析+基于神经网络的手势识别。并选用采用了瑞芯微RK3288处理器的树莓派微型主机，该微型主机支持双频WiFi、多路摄像头采集、安卓系统，并且提供了丰富的音频、摄像头接口，为本发明提供了硬件支持。

随视野定位多角度照明功能为夜间的工程人员提供了更为方便的照明。在夜间工作时，针对某些较为黑暗的设备角落，工程人员可通过调用内置摄像头5权限，对双目的图像进行采集，然后将图像传送至处理器3，处理器3可以对图像进行裁剪、去噪等初步处理后发送到图像识别工作站，工作站将得到的图像输入到深度学习图像识别模型中，从而追踪得到眼球视野位置，并通过控制两个微型超声电机14以及与其相连的平面连杆机构，改变万向节13末端照明灯12的姿态，从而达到照明位置与眼球视野所至位置匹配的功能。