一种宇航用人机交互平台

技术领域

本申请涉及人机交互技术领域，具体而言，涉及一种宇航用人机交互平台。

背景技术

宇航用人机交互平台作为航天器的一个重要人机接口，负责将采集到的图像、航天器本体位姿参数、目标位姿参数、环境参数等信息以文字、声音、图像等多种表达形式传递给航天员，航天员根据任务工况，在及时了解航天器状态的情况下依据流程完成相应操作。是航天器任务的发起端与状态监测端。

目前已成功发射并应用在载人探测器上的人机交互系统多采用分立式设计，由多个部组件搭建而成，冗余设计欠佳；未进行系统容错，系统的应急处理能力欠佳；集成性不足，割裂感太强，一体化设计不足；交互方式单一，仅能通过手部操作发起任务，不能通过语音、图像等交互方式实现与航天器的交互，单一的交互通道影响了航天器执行任务的效率和安全性。

发明内容

本申请的主要目的在于提供一种宇航用人机交互平台，采用冗余设计、多交互方式、系统容错技术，可实现航天员对航天器的高效、可靠、舒适性操作。

为了实现上述目的，本申请提供了一种宇航用人机交互平台，包括中央显控单元、操作显示单元、语音交互终端以及手控终端，其中：操作显示单元、语音交互终端以及手控终端均与中央显控单元电连接；中央显控单元为双机冷备份，用于交互数据的处理、显示界面的绘制与容错处理以及多种交互方式的管理。

进一步的，操作显示单元包括第一操作显示单元和第二操作显示单元。

进一步的，语音交互终端包括扬声器、麦克风阵列以及驱动模块。

进一步的，手控终端包括第一手控终端和第二手控终端。

进一步的，第一操作显示单元和第二操作显示单元均通过HDMI接口与中央显控单元连接。

进一步的，语音交互终端通过内总线与中央显控单元连接。

进一步的，第一手控终端和第二手控终端均通过内总线与中央显控单元连接，并进行信息交互。

本发明提供的一种宇航用人机交互平台，具有以下有益效果：

(1)本申请集成度高，通过一个结构件将中央控制器、操作显示单元、语音交互终端、手控终端集成到一个平台上，提升集成度，同时，进行了资源整合，大幅压缩重量、功耗。

(2)本申请可靠性高，从供配电、设备功能划分、操作显示等方面进行了设备间和设备内部的冗余设计，其多方式的指令输入方式可较好的满足了单一模块失效下其功能的健全性，同时，其具有较高的故障隔离度及在轨维护能力，可满足载人深空探测的高可靠要求。

(3)本申请具有智能交互功能，首次将离线式语音识别技术引入宇航用人机交互平台中，可解决操作者在束缚态下的操作难题；同时，语音交互的方式可提高飞行器的操作效率；另外，语音合成技术可解放操作者的双手，在航天器操作或任务执行中，将任务的流程、手册以语音的形式播放出来，让人耳也参入到人机交互中，丰富交互方式的同时，进一步提升操作者的效率。

(4)本申请具有较小的时延，将时间触发以太网作为飞行器的主总线，将人机交互系统接入飞行器主系统中，优化了系统总线拓扑，提升系统带宽，优化系统时延，让总线延时可控。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的宇航用人机交互平台的示意图；

图2是根据本申请实施例提供的宇航用人机交互平台的中央显控单元的架构示意图；

图3是根据本申请实施例提供的宇航用人机交互平台的中央显控单元的功能示意图；

图4是根据本申请实施例提供的宇航用人机交互平台的语音交互终端的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

如图1所示，本申请提供了一种宇航用人机交互平台，包括中央显控单元、操作显示单元、语音交互终端以及手控终端，其中：操作显示单元、语音交互终端以及手控终端均与中央显控单元电连接；中央显控单元为双机冷备份，用于交互数据的处理、显示界面的绘制与容错处理以及多种交互方式的管理。

具体的，本申请实施提供的宇航用人机交互平台采用视觉交互、语音交互、触控交互等多种手段实现航天员与航天器的人机交互，以便能更加友好、舒适、智能的完成航天器的操作。中央显控单元主要用于实现接收飞行器总线给宇航用人机交互平台的数据，包括图像、音频、总线指令、飞行器本体位姿参数、目标位姿参数、环境参数等，以及将数据解析、提取、并执行，同时向飞行器总线回传整个人机交互平台的状态数据，向内总线发送指令数据，接收并管理飞行器的部分遥测数据，并将数据解包，提取重要状态信息并可向语音交互终端做出不同级别的报警信息反馈，可驱动操作显示单元的图形图像显示，且支持操作显示单元的功能复用及容错功能，可接收来自总线或语音交互终端的语音数据，完成语音识别，实现人与机器的语音交互，并且还能将平台产生的、或外部输入的文字信息转变为可以听得懂的、流利的口语以音频的形式输出给语音交互终端；操作显示单元主要用于飞行器控制指令的输入以及飞行器状态的显示，同时形成容错显示系统，互为备份；语音交互终端主要用于实现语音播报及语音采集；手控终端主要用于飞行器紧急状态与恢复，及关键指令的发送。所有设备安装在仪表板上，且位于同一平面，满足航天器的任务特点和人因工程设计。

更具体的，如图2-3所示，中央显控单元采用CPU+双FPGA的系统架构，其外围电路包括CPU系统工作必须的最小电路及存储芯片、内存芯片，FPGA工作所需的最小电路及存储芯片，与系统总线通讯的总线接口芯片1、总线接口芯片2、内总线驱动芯片，以及电容触摸屏、OLED显示屏。其中CPU采用操作系统软件与应用软件一体化设计，共同固化在程序区，设备加电或重启时，系统软件首先完成硬件初始化，然后启动操作系统软件内核，创建一个多任务环境，最后利用操作系统软件与应用软件之间的接口，进入到应用软件的初始化任务中，应用软件在系统软件的支持下，完成特定的功能，应用软件中根据中央显控单元的工作模式和时机需完成多种算法的处理，主要包括图像采集、图像编解码、指令识别、语音助手、语音合成等，同时还负责不同总线上传入的数据处理及向不同总线组包发送数据，同时还完成与两个FPGA的数据交互与任务管理，FPGA1主要完成TTE端系统的接口数据管理，可兼容以太网数据流、AFDX数据流和时间触发数据流的收发，FPGA2主要完成显示驱动功能及接口管理，接收CPU写入的命令，生成图形、图像等显存数据，输出EDP显示驱动信号，驱动OLED屏显示，完成HDMI驱动接口逻辑，实现2路HDMI显示接口输出。此外，为提高中央显控单元的可靠性，硬件方面，采用双机冗余冷备份设计，双机的硬件结构完全一致，其对外接口采取合并隔离设计，可通过程控开关机指令，实现对双机的开关机控制。借助嵌入式硬件电路，配合软件开发，可完成载人航天器的控制指令输入及航天器状态、参数的显示，实现与多台设备、多种总线的数据交互，同时为航天员提供多种人机交互方式，提升航天员的便捷操作和智能交互。

进一步的，操作显示单元包括第一操作显示单元和第二操作显示单元。操作显示单元包括OLED屏、电容屏、及驱动模块，两个操作显示单元采用相同设计，可独立显示，互为备份。第一操作显示单元和第二操作显示单元的显示屏大小根据实际任务情况进行调整，显示页面根据2名航天员的任务分工自行调节。

进一步的，如图4所示，语音交互终端包括扬声器、麦克风阵列以及驱动模块。语音交互终端主要用于实现航天员的音频采集及语音播报、报警等，语音交互终端由2个扬声器、4通道麦克风阵列、驱动模块及部分按键构成。其中，扬声器具备语音播放功能，并且在扬声器上采用回声消除技术为即时通讯提供全双工语音的标准方法，驱动模块可实现音频信号的转换外，还可实现麦克风阵列的输入与扬声器过去的值相比较，从而消除延长延迟的多次反射的声学回声。

进一步的，手控终端包括第一手控终端和第二手控终端。第一手控终端主要用于在轨环境控制及故障处理；第二手控终端主要用于在轨交会对接、在轨调节及返回、着落处理。第一手控终端和第二手控终端按航天员的任务角色布置硬按键和应急处理按键，具体的按键个数可以根据实际任务情况进行调整。

进一步的，第一操作显示单元和第二操作显示单元均通过HDMI接口与中央显控单元连接。中央显控单元会输出EDP显示驱动信号，驱动OLED屏显示，完成HDMI驱动接口逻辑，实现2路HDMI显示接口的输出。

进一步的，语音交互终端通过内总线与中央显控单元连接。语音交互终端通过内总线与中央显控单元连接，用于接收中央显控单元需要播报的语音信息，同时将麦克风阵列采集的语音数字化后送给中央显控单元。语音交互终端具有扬声器、音频采集、回声消除、音频降噪、数字音频传输的功能，通过4路麦克风采集外部语音，可通过内总线对扬声器音量进行调节，且扬声器具备回声消除功能。

进一步的，第一手控终端和第二手控终端均通过内总线与中央显控单元连接，并进行信息交互。手控终端具备支持辅助、干预自控/程控进行手控的指令输入，支持航天员进行人工故障处置的指令输入，具备通过内总线回传状态数据的功能，包括回传常规操作外的指令发送操作信息和本机工作状态，并且具备信息提示功能。

此外，本申请实施例提供的宇航用人机交互平台，为了提高可靠性，从供配电、设备功能划分等方面进行了设备间和设备内部的冗余设计，冗余措施主要包括：设备供电电源母线采取冗余冷备份；人机交互的处理核心采用冗余设计；对指令的输入方式采取了多方式(机械式按键、显示屏软按键和触摸屏操控)的冗余措施。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。