基于三维模型的船舶培训方法、装置、存储介质及系统

技术领域

本发明涉及船舶运维技术领域，特别是涉及一种基于三维模型的船舶培训方法、装置、存储介质及系统。

背景技术

当前国内大型国有船舶制造企业均涉足了多种高附加值船型，这类船舶往往具有零件数量多、系统复杂的特点，例如大型双燃料液化石油气船，其使用双燃料主机，且新增液化石油气双燃料供给系统，在操作指导和实际使用上较普通船舶的难度系数都更高，因此，前期的船舶培训尤为重要。

现有技术中的船舶培训方法主要采用文档资料结合上船实操进行，这种培训方法，首先，文档资料中的设备资料及系统原理图等并不直观，学习效率低；其次，从实操培训的两种模式上看，一种是搭建1:1实体样板舱供船员进行操作学习，一种是在船舶交付前跟船厂、设备商在安装调试过程中学习；前者建造周期长、成本高，后者培训时间偏晚，在交船伊始仍会存在船员操作不熟练的问题；再次，实操培训无法进行火灾、破舱等应急场景的针对性培训；最后，虽然近期出现了增强现实培训，在应用中可以模拟多种应急事故场景，但没有实物参与，逼真度有限，体验感差。

因此，如何高效、充分且低成本地进行船舶培训是一个亟待解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于三维模型的船舶培训方法、装置、存储介质及系统，用于解决现有技术中未能高效、充分且低成本地进行船舶培训的问题。

为实现上述目的及其他相关目的，本发明提供一种基于三维模型的船舶培训方法，包括以下步骤：接收增强现实终端的位姿信息和第一操作信息；所述第一操作信息基于预设的虚拟场景模型中的第一提示信息操作实体操作件确定；基于所述位置信息和所述第一操作信息，确定第二提示信息，并将所述第二提示信息发送给所述增强现实终端，以使所述增强现实终端的佩戴者根据所述增强现实终端显示的所述第二提示信息对所述实体操作件进行操作。

于本发明的一实施例中，所述接收增强现实终端的位姿信息和第一操作信息之前，还包括：搭建培训所需的软硬件环境；所述软硬件环境的搭建包括基于培训内容选取培训场地；在所述培训场地上方架设钢制轨道，所述钢制轨道用于机械臂的移动；将培训所需的实体操作件通过定位块和所述机械臂连接，所述实体操作件内安装有传感器；并在所述培训场地的每个角点放置激光定位发射装置。

于本发明的一实施例中，所述搭建培训所需的软硬件环境之后，还包括：将激光定位反射装置固定在所述增强现实终端上，所述激光定位反射装置用于与所述激光定位发射装置结合，确定所述增强现实终端的位姿信息；基于所述激光定位发射装置和所述定位块，确定所述实体操作件的位姿信息；所述定位块用于反射激光信息；当所述增强现实终端加载所述虚拟场景模型，且所述佩戴者和所述虚拟场景模型无重叠时，基于所述实体操作件的位姿信息，应用所述机械臂将所述实体操作件移动至所述虚拟场景模型中对应的位置；基于所述虚拟场景模型、移动后的所述实体操作件、所述增强现实终端以及所述培训内容，对所述佩戴者进行船舶培训。

于本发明的一实施例中，当应用所述机械臂移动所述实体操作件时，所述机械臂和所述实体操作件所在的位置高度都大于预设高度值。

于本发明的一实施例中，所述虚拟场景模型为船舶的三维模型。

对应地，本发明提供一种基于三维模型的船舶培训装置，其特征在于，包括：第一处理模块，用于接收增强现实终端的位姿信息和第一操作信息；所述第一操作信息基于预设的虚拟场景模型中的第一提示信息操作实体操作件确定；第二处理模块，用于基于所述位置信息和所述第一操作信息，确定第二提示信息，并将所述第二提示信息发送给所述增强现实终端，以使所述增强现实终端的佩戴者根据所述增强现实终端显示的所述第二提示信息对所述实体操作件进行操作。

于本发明的一实施例中，所述第一处理模块，还用于：搭建培训所需的软硬件环境；所述软硬件环境的搭建包括基于培训内容选取培训场地；在所述培训场地上方架设钢制轨道，所述钢制轨道用于机械臂的移动；将培训所需的实体操作件通过定位块和所述机械臂连接，所述实体操作件内安装有传感器；并在所述培训场地的每个角点放置激光定位发射装置。

于本发明的一实施例中，所述第一处理模块，还用于：将激光定位反射装置固定在所述增强现实终端上，所述激光定位反射装置用于与所述激光定位发射装置结合，确定所述增强现实终端的位姿信息；基于所述激光定位发射装置和所述定位块，确定所述实体操作件的位姿信息；所述定位块用于反射激光信息；当所述增强现实终端加载所述虚拟场景模型，且所述佩戴者和所述虚拟场景模型无重叠时，基于所述实体操作件的位姿信息，应用所述机械臂将所述实体操作件移动至所述虚拟场景模型中对应的位置；基于所述虚拟场景模型、移动后的所述实体操作件、所述增强现实终端以及所述培训内容，对所述佩戴者进行船舶培训。

本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于三维模型的船舶培训方法。

本发明提供一种船舶培训系统，包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现上述的基于三维模型的船舶培训方法。

如上所述，本发明的基于三维模型的船舶培训方法、装置、存储介质及系统，具有以下有益效果：

(1)兼具增强现实终端的沉浸感和实体操作的真实触感，且操作结果能够实时反馈。

(2)模拟的培训环境逼真，且不需要大量的实物操作件，提高培训效率的同时降低搭建培训场景的成本。

附图说明

图1显示为本发明的基于三维模型的船舶培训方法于一实施例中的流程图。

图2显示为本发明的基于三维模型的船舶培训方法于一实施例中的整体流程示意图。

图3显示为本发明的基于三维模型的船舶培训装置于一实施例中的结构示意图。

图4显示为本发明的基于三维模型的船舶培训装置于一实施例中的船舶培训系统。

元件标号说明

31 第一处理模块

32 第二处理模块

41 处理器

42 存储器

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明的基于三维模型的船舶培训方法、装置、存储介质及系统兼具增强现实终端的沉浸感和实体操作的真实触感，且操作结果能够实时反馈；同时不需要大量的实物操作件，既提高培训效率又降低搭建培训场景的成本。

如图1所示，于本实施例中，本发明的基于三维模型的船舶培训方法包括以下步骤：

步骤S1、接收增强现实终端的位姿信息和第一操作信息；所述第一操作信息基于预设的虚拟场景模型中的第一提示信息操作实体操作件确定。

具体地，增强现实终端和服务器连接，服务器接收增强现实终端的位姿信息和第一操作信息，其中的虚拟场景模型为船舶的三维模型。

进一步具体地，所述接收增强现实终端的位姿信息和第一操作信息之前，还包括：搭建培训所需的软硬件环境；所述软硬件环境的搭建包括基于培训内容选取培训场地；在所述培训场地上方架设钢制轨道，所述钢制轨道用于机械臂的移动；将培训所需的实体操作件通过定位块和所述机械臂连接，所述实体操作件内安装有传感器；并在所述培训场地的每个角点放置激光定位发射装置。

其中，基于培训内容选取的培训场地为开阔无遮挡空间，场地的空间尺寸略大于培训场景的最大范围，空间上方架设有纵横交错、同向间隔为预设长度的网状钢制轨道，机械臂悬挂在钢制轨道上，可沿轨道自由移动，并且可伸缩、旋转；实体操作件通过内部的传感器和服务器连接，传感器具备无线传输信息的能力，比如，实体操作件包括：阀门、按钮以及闸门；阀门中预装的传感器可感知阀门旋转的角度，按钮中预装的传感器可感知按压状态，闸门中预装的传感器可感知闸门的开合程度。这里的培训内容可以是一组培训内容，也可以是多组培训内容，当培训内容为多组时，根据多组培训内容对应的场景环境在垂直方向投影的最大面积选取培训场地。

进一步具体地，所述搭建培训所需的软硬件环境之后，还包括：将激光定位反射装置固定在所述增强现实终端上，所述激光定位反射装置用于与所述激光定位发射装置结合，确定所述增强现实终端的位姿信息；基于所述激光定位发射装置和所述定位块，确定所述实体操作件的位姿信息；所述定位块用于反射激光信息；当所述增强现实终端加载所述虚拟场景模型，且所述佩戴者和所述虚拟场景模型无重叠时，基于所述实体操作件的位姿信息，应用所述机械臂将所述实体操作件移动至所述虚拟场景模型中对应的位置；基于所述虚拟场景模型、移动后的所述实体操作件、所述增强现实终端以及所述培训内容，对所述佩戴者进行船舶培训。

其中，定位块为分布有不均匀激光反光点的立方体，激光定位发射装置通过接收定位块反射回的激光信息判断当前实体操作件的位姿信息；在应用机械臂将实体操作件移动至虚拟场景模型中对应的位置后，可将机械臂在轨道上锁死不移动，并限制机械臂的伸缩、旋转功能，使其处于固定状态。

进一步具体地，当应用所述机械臂移动所述实体操作件时，所述机械臂和所述实体操作件所在的位置高度都大于预设高度值。

步骤S2、基于所述位置信息和所述第一操作信息，确定第二提示信息，并将所述第二提示信息发送给所述增强现实终端，以使所述增强现实终端的佩戴者根据所述增强现实终端显示的所述第二提示信息对所述实体操作件进行操作。

具体地，服务器基于第一操作信息计算确定实体操作件操作后的状态信息，结合增强现实终端的位姿信息，确定对实体操作件进一步操作的第二提示信息；将第二提示信息发送给增强现实终端，增强现实终端的佩戴者通过增强现实终端显示的第二提示信息对实体操作件做进一步操作。

进一步具体地，佩戴者按提示信息完成所有操作后可选择进入考核模式，考核模式下无提示信息，根据佩戴者实际操作时长、线路、操作正确性综合判断培训效果，量化评估佩戴者的考核表现。

如图2所示，于本实施例中，本发明的基于三维模型的船舶培训方法的整体流程图，对应上述的步骤，举例来说，培训内容为机舱发电机开启培训，实体操作件包括分油机间的燃油日用柜阀门、压缩空气瓶阀门、按钮及空气开关；根据发电机需要操作查看的范围确定培训场景在垂直方向投影的最大面积作为培训场地，场地空间上方架设纵横交错、同向间隔1.5m的网状钢制轨道，在场地空间立方体的各角点各放置1台激光定位发射装置并开启；将扭矩传感器放置于燃油日用柜阀门及压缩空气瓶阀门中与阀门转轴连接，将压力传感器放置于按钮后；将各阀门、按钮、开关与定位块刚性固接，将实体操作件中传感器的电源线穿过定位块后连接至机械臂内部的插头上，再将定位块与机械臂末端连接。查看并确认所有机械臂及其固接的实体操作件均处于培训空间2m以上的高度位置，且培训场地的地面无任何遮挡物；将激光定位反射装置固定在增强现实终端上，再放置于培训场地内，通过激光定位反射装置和激光定位发射装置的结合进行激光定位校准增强现实终端的位姿信息，其中，位置信息是以场地各角点放置的激光定位发射装置构建的定位坐标系为基础的三维坐标信息。培训人员进入培训场地，佩戴增强现实终端，增强现实终端加载显示虚拟场景模型，基于激光定位确认培训人员佩戴增强现实终端时周围的一定空间内与虚拟场景模型无重叠干涉时，基于实体操作件当前所在的实物位置信息以及实体操作件在虚拟场景模型中的位置，应用机械臂的移动、伸缩及旋转功能，将包含阀门、按钮及空气开关的实体操作间移动并固定至虚拟场景模型中对应的位置，再将机械臂固定锁死；其中，在机械臂的移动过程中为避免与培训人员发生碰撞，设定移动时的机械臂、实体操作件的位置高度都大于2m，这种高度的设定在系统宕机的情况下同样存在。

在按照上述步骤设置好培训准备工作后，即可以开始培训，增强现实终端显示提示信息开启燃油日用柜阀门，培训人员根据该提示信息，移动前往分油机间，在移动行走过程中，视野中的虚拟场景会有箭头指引分油机间的对应位置，当到达分油机附近时，该部分模型高亮显示，并提示旋转方向及角度；培训人员按提示转动阀门，阀门中的传感器将感知的转动角度传送给服务器，服务器根据转动角度和虚拟终端的位姿信息，确定下一步的提示信息，比如，转动角度还未达到可开启状态时，会发送还未开启，仍需转动多少角度的信息给增强现实终端，以显示给培训人员对应操作阀门；当转动角度达到可开启状态时，服务器发送给增强现实终端显示的信息为阀门已完全开启，继续前往压缩空气瓶位置，根据该提示信息，培训人员继续移动至压缩空气瓶位置，到达后根据进一步提示信息转动空气瓶阀门，在操作完成后，再根据提示信息前往空气开关所在的控制面板旁，按压按钮后增强现实终端显示空气流出效果，即完成主机开启前的准备。此外，在此基础上可以进一步进行无提示情况下的考核，培训人员重复上述操作，服务器记录操作的详细信息，并进行综合判断、量化评估培训人员的考核表现。

如图3所示，于本实施例中，本发明的基于三维模型的船舶培训装置包括：

第一处理模块31，用于接收增强现实终端的位姿信息和第一操作信息；所述第一操作信息基于预设的虚拟场景模型中的第一提示信息操作实体操作件确定；

第二处理模块32，用于基于所述位置信息和所述第一操作信息，确定第二提示信息，并将所述第二提示信息发送给所述增强现实终端，以使所述增强现实终端的佩戴者根据所述增强现实终端显示的所述第二提示信息对所述实体操作件进行操作。

其中，所述第一处理模块31，还用于：

搭建培训所需的软硬件环境；所述软硬件环境的搭建包括基于培训内容选取培训场地；在所述培训场地上方架设钢制轨道，所述钢制轨道用于机械臂的移动；将培训所需的实体操作件通过定位块和所述机械臂连接，所述实体操作件内安装有传感器；并在所述培训场地的每个角点放置激光定位发射装置。

所述第一处理模块31，还用于：

将激光定位反射装置固定在所述增强现实终端上，所述激光定位反射装置用于与所述激光定位发射装置结合，确定所述增强现实终端的位姿信息；基于所述激光定位发射装置和所述定位块，确定所述实体操作件的位姿信息；所述定位块用于反射激光信息；当所述增强现实终端加载所述虚拟场景模型，且所述佩戴者和所述虚拟场景模型无重叠时，基于所述实体操作件的位姿信息，应用所述机械臂将所述实体操作件移动至所述虚拟场景模型中对应的位置；基于所述虚拟场景模型、移动后的所述实体操作件、所述增强现实终端以及所述培训内容，对所述佩戴者进行船舶培训。

本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于三维模型的船舶培训方法。

如图4所示，于本实施例中，本发明的船舶培训系统包括：处理器41及存储器42。

所述存储器42用于存储计算机程序。

所述存储器42包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器41与所述存储器42相连，用于执行所述存储器42存储的计算机程序，以使所述船舶培训系统执行上述的基于三维模型的船舶培训方法。

优选地，上述的处理器41可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明的基于三维模型的船舶培训方法、装置、存储介质及系统兼具增强现实终端的沉浸感和实体操作的真实触感，且操作结果能够实时反馈；同时不需要大量的实物操作件，既提高培训效率又降低搭建培训场景的成本。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。