基于混合现实的互动式仿生机器鱼系统

技术领域

本发明涉及仿生机器人技术领域，具体涉及一种基于混合现实的互动式仿生机器鱼系统。

背景技术

增强现实(Augmented Reality，AR)是近年来发展起来的新兴技术，它借助于光电技术、交互技术、多传感技术和计算机图像与多媒体技术，将计算机生成的虚拟环境与用户周围的真实场景相融合，使用户从感官效果上确信虚拟环境是其周围真实场景的组成部分，从而增强和扩展用户对周围环境的感知能力。而混合现实(Mixed Reality，MR)则是介于虚拟场景和真实场景之间的一种形态，包含了增强现实与虚拟现实。

仿生机器鱼作为一个水下高技术仪器设备的集成体，在军事、民用、科研等领域体现出广阔的应用前景和巨大的潜在价值。目前，国内外的科研机构研制出的多种水下仿生机器鱼已经可以模拟水下生物的启动、转弯等多种运动模式，但是在推进速度、推进效率等方面难以与生物媲美。因此，现阶段仿生机器鱼的相关技术研究大多数都集中在推进机理、机构设计与优化、运动控制、水下仿生材料等方面。

以混合现实技术为仿生机器鱼提供虚拟交互环境，混合现实技术主要用于示教系统中，用于指导操作人员对某些设备进行操作和学习，而仿生机器鱼专利多是在机械、控制、性能等专注于本体设计方面，将两者相结合从而形成一个特有互动系统的技术方案尚未发现。本发明基于上述两项技术，创新的将两者结合应用，。

发明内容

基于现有技术的不足，本发明提供一种基于混合现实的互动式仿生机器鱼系统，本发明可应用于学校、游乐场、科技馆等场所。

本发明所采用的技术方案是基于混合现实的互动式仿生机器鱼系统，包括仿生机器鱼、无线手柄和混合现实头戴式显示设备，所述的仿生机器鱼通过底端支架固定于桌面，仿生机器鱼的嘴部、胸鳍、腰部、尾鳍均可运动，所述的无线手柄用于对仿生机器鱼的无线控制，通过手柄摇杆与按键可分别控制仿生机器鱼的可动关节，所述的混合现实头戴式显示设备包括计算机主机、全息投影系统、视觉传感器、惯性传感器，所述的全息投影系统、视觉传感器、惯性传感器与计算机主机采用有线连接进行数据通信。

进一步地，所述的视觉传感器采集仿生机器鱼位姿信息，传输给计算机主机中央处理系统计算出仿生机器鱼及周围环境的三维模型，生成图像信息，并控制全息投影系统透过全息透视镜在仿生机器鱼四周投影出一个区域，该区域包括虚拟动画和控制菜单。

进一步地，所述的无线手柄通过手柄按键来选择虚拟菜单选项。

进一步地，所述的仿生机器鱼底部设置有电源开关和指示灯。

本发明的有益效果是：本发明将仿生机器鱼与混合现实技术相结合，打破了仿生机器鱼的应用环境苛刻的限制，并且在一定程度上也节省了水资源。仿生机器鱼在空气中动作，结合虚拟环境空间的合理布置，让用户操控仿生机器鱼实现如同在水下的前进、转弯、上浮和下潜等多种仿生动作，为传统的机器人相关产品带来了新的变革。

附图说明

图1为本发明仿生机器鱼主视图。

图2为本发明仿生机器鱼仰视图。

图3为本发明无线手柄示意图。

图4为本发明操作演示示意图。

图中标记：1-头壳、2-指示灯、3-下颚、4-咬合机构、5-右胸鳍、6-右胸鳍舵机、7-左胸鳍、8-左胸鳍舵机、9-能源控制舱、10-无线模块、11-主控板、12-电池、13-舱盖、14-腰关节支架、15-腰关节、16-腰关节舵机、17-尾柄舵机、18-尾鳍、19-尾柄、20-充电口、21-电源开关。

具体实施方式

现结合附图1至附图4对发明做进一步的说明，本发明所采用的技术包括：仿生机器鱼总体设计技术、仿生控制技术、多传感器融合技术、图像处理技术等。

如图1和图2所示，仿生机器鱼包括：头壳1、指示灯2、下颚3、咬合机构4、右胸鳍5、右胸鳍舵机6、左胸鳍7、左胸鳍舵机8、能源控制舱9、无线模块10、主控板11、电池12、舱盖13、腰关节支架14、腰关节15、腰关节舵机16、尾柄舵机17、尾鳍18、尾柄19、充电口20、电源开关21。

无线手柄外观与市场上的游戏手柄类似，一般可具有两组摇杆、一组十字方向按键、以及X、Y、A、B、RB、LB、RT、LT、BACK、TUBRO、SHIFT、START按键，内置无线通信模块。

混合现实头戴式显示设备由计算机主机、全息投影系统、视觉传感器、惯性传感器集成在一起，其中全息投影系统、视觉传感器、惯性传感器与计算机主机采用有线连接进行数据通信。

如图4所示，其中三个硬件部分为，1)混合现实头戴式显示设备、2)无线手柄和3)仿生机器鱼。

①将仿生机器鱼(含底座)放置在桌面上，桌面保持整洁无杂物，环境背景以单色为宜，仿生机器鱼开启底部电源开关后，指示灯亮；

②混合现实头戴式显示设备需要佩戴在操作人员头上，视觉传感器采集仿生机器鱼位姿信息，这些摄像头能够获取不同角度的深度图，再对不同的深度图进行累积，从而借助立体视觉等技术由计算机主机中央处理系统计算出仿生机器鱼及周围环境的精确三维模型；

③获取了仿生机器鱼及周围的三维场景模型后，计算机中央处理系统生成图像信息，并控制全息投影系统透过全息透视镜在仿生机器鱼四周投影出一个区域，内容包括虚拟动画和控制菜单等信息，而惯性传感器可实时获取位姿信息，当操作人员视线移动时投影的虚拟环境可能超出了视野范围，可移动头部位置转换视角使得投影区重新进入视野范围；

④当投影区与仿生机器鱼匹配成功后，操作人员可通过无线手柄对仿生机器鱼和混合现实头戴式显示设备进行操作，无线手柄可实现对仿生机器鱼的指示灯2、下颚3、右胸鳍5、左胸鳍7、腰关节15、尾柄19的运动控制。无线手柄也可通过手柄按键来选择虚拟菜单选项。

仿生机器鱼，模仿水下真实生物——江豚，尺寸为0.5m小型化量级，其嘴部、胸鳍、腰部、尾鳍均可运动，可通过底端支架固定于桌面。无线手柄可实现对仿生机器鱼的无线控制，通过手柄摇杆与按键可分别控制仿生机器鱼的各个可动关节。混合现实头戴式显示设备可提供一种可视化的模拟环境，在该环境里仿生机器鱼和模拟对象共存且实时互动。操作人员可通过模拟环境了解仿生机器鱼的内部构造、组成部件及装卸过程等信息，以及通过无线手柄来控制仿生机器鱼在模拟环境中游动，与模拟对象实时交互，在较小的使用空间中提高了互动性、科教性以及娱乐性。本发明可应用于学校、游乐场、科技馆等场所。