一种增强现实船舶辅助航行系统

技术领域

本发明属于船舶辅助航行领域，具体涉及一种增强现实船舶辅助航行系统。

背景技术

信息叠加技术：即虚实视觉融合技术，是指虚拟物体和真实环境按照一定规则叠加后，在周围环境发生变化时，仍然能够实现正确的效果的功能。在增强现实系统中，渲染虚拟对象需要快速响应真实场景和视野中的变化，感应相关信息，实时地生成逼真的图像，实现自然的虚实视觉融合。除此之外，还要考虑图形生成的效率，在保证用户舒适交互所需帧率的前提下，尽可能地提高绘制的质量。虚实融合的效果直接影响了系统的真实性，同时，考虑到增强现实系统对于实时性的要求，虚拟物体的所占用的空间应该尽可能的减少，否则会出现真实环境和虚拟物体之间融合延迟的情况。

现有技术CN110009731A一种船舶辅助驾驶的三维场景构建方法，是将环境信息构建成三维模型并与前AR头戴设备视频采集图像相结合图像进行融合，将航行要素数据投放至AR头戴设备中。该方案在高海况的航行环境下会由于船舶颠簸导致视野严重摇晃，容易导致驾驶人员晕眩；同时，头戴式设备在使用时会隔绝自身周边的信息，导致只能获取系统中的视野，对驾驶人员的个人安全存在隐患，也不利于与周边人员的交流交互，同时由于信息仅能依靠前端AR设备展示，不利于多人共用，同步研判；同时现有缺少对海上目标的视觉识别能力，通过船舶AIS(船舶自动识别系统)和导航雷达只能获取周边开启了AIS的船舶的相关信息，针对一些非法船只或特种船只，均无法发现目标，导航雷达获取的船舶信息也局限性较高，无法知悉船舶类型、船舶型号的等信息。

发明内容

本发明的目的在于针对解决背景技术中提出的问题，提出一种增强现实船舶辅助航行系统。

为实现上述目的，本发明所采取的技术方案为：

本发明提出的一种增强现实船舶辅助航行系统，包括部署在自身船舶上的测距云台摄像机、全景摄像机、导航雷达、AIS、综合处理单元和客户端，以及部署在客户端的船舶实景增强现实单元和船舶三维GIS辅助导航单元，以及部署在综合处理单元的业务单元和电子海图，其中：

船舶实景增强现实单元，包括：

可视化监控模块，用于将各摄像机的视频接入至客户端进行图像显示；

航海要素视频叠加模块，用于将电子海图信息的空间坐标转换为视频坐标，并叠加至客户端的图像中；

目标视频信息叠加模块，用于将目标船只融合后的经纬度坐标转换为视频坐标，并叠加至客户端的图像中；

船舶三维GIS辅助导航单元，包括：

停泊保障模块，用于实时更新船舶位置并做出碰撞预警；

装备控制模块，用于对各摄像机进行云台控制、调焦调频操作；

航海要素三维态势叠加模块，用于将船舶自身三维模型与电子海图的二维环境进行叠加，形成三维电子海图系统；

业务单元，包括：

态势服务模块，包括态势融合模块和威胁评估模块，态势融合模块用于将导航雷达、测距云台摄像机和全景摄像机采集的信息融合成综合航迹，威胁评估模块用于根据态势要素、导航雷达及AIS提供的周边环境，得到目标船只相对船舶自身威胁指标，超过预设的告警值的则进行预示告警；

航行数据处理模块，用于根据态势要素，得到目标船只融合后的航向、经纬度坐标和俯仰值，并上传至客户端显示。

优选地，电子海图信息包括各类航道线、锚泊点和浅水区域。

优选地，增强现实船舶辅助航行系统还包括部署在船舶自身的船舷上的激光测距仪，停泊保障模块通过激光测距仪检测船舶自身与岸边的距离，当距离达到预设的值时，做出碰撞预警。

优选地，态势融合模块用于将导航雷达、测距云台摄像机和全景摄像机采集的信息融合成综合航迹，包括：

态势融合模块将导航雷达、测距云台摄像机和全景摄像机采集的信息，通过依次进行时空对准、数据过滤和特征关联匹配处理，融合呈准确的综合航迹。

优选地，威胁评估模块用于根据态势要素和周边环境，得到目标船只相对船舶自身威胁指标，超过预设的告警值的则进行预示告警，包括：

威胁评估模块包括态势要素提取、行为意图识别和威胁评估；

态势要素包括目标船只的速度、与船舶自身的距离和方位，以及类型，船舶自身的航向、航速、经纬度坐标和俯仰值，周边环境包括等深线、障碍区、作业区和助航标记物；

行为意图识别采用基于GRU网络的目标行为意图识别建模进行目标船只的行为威胁度的判断划分，最终形成量化的威胁指标；

威胁评估时当威胁指标超过设定阈值时上报告警。

优选地，航行数据处理模块，用于根据态势要素，得到目标船只融合后的航向、经纬度坐标和俯仰值，并上报至威胁评估模块进行存储，包括：

航行数据处理模块将目标船只的速度、与船舶自身的距离和方位，以及类型，船舶自身的航向、航速、经纬度坐标和俯仰值依次进行时间对准、空间对准、同一性判定和扩展卡尔曼滤波算法处理，得到目标船只融合后的航向、经纬度坐标和俯仰值。

优选地，业务单元还包括视频管理模块，视频管理模块将各摄像机的视频进行接入、转发和存储管理。

优选地，业务单元还包括物联接入模块，物联接入模块用于将测距云台摄像机、全景摄像机、导航雷达、AIS和激光测距仪的统一管理。

与现有技术相比，本发明的有益效果为：

本增强现实船舶辅助航行系统通过将各摄像机拍摄的视频接入至客户端进行图像显示，并得到的目标船只融合后的航向、经纬度坐标和俯仰值上传至客户端图像显示，并形成三维电子海图系统，进而通过客户端可以直观展现航行信息，解决了现有技术中通过航行要素数据投放至AR头戴设备中，导致各种隐患的问题；通过目标识别算法对目标船只进行类型和舷号识别，使得在关闭AIS的情况下也能对目标船只的类型、舷号特征进行获取，提高获取目标船只信息的准确性。

附图说明

图1为本发明增强现实船舶辅助航行系统的示意图；

图2为本发明增强现实船舶辅助航行系统的模块框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，当组件被称为与另一个组件“连接”时，它可以直接与另一个组件连接或者也可以存在居中的组件。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。

如图1-2所示，一种增强现实船舶辅助航行系统，包括部署在自身船舶上的测距云台摄像机、全景摄像机、导航雷达、AIS、综合处理单元和客户端，以及部署在客户端的船舶实景增强现实单元和船舶三维GIS辅助导航单元，以及部署在综合处理单元的业务单元和电子海图。

需要说明的是，测距云台摄像机部署在自身船舶的船艏，全景摄像机、导航雷达、AIS、综合处理单元和客户端均部署在自身船舶的侧舷。船舶实景增强现实单元和船舶三维GIS辅助导航单元为客户端的两个

船舶实景增强现实单元，包括：

可视化监控模块，用于将各摄像机的视频接入至客户端进行图像显示；

需要说明的是，可视化监控模块可以进行视频预览、视频回放和视频接入。

航海要素视频叠加模块，用于将电子海图信息的空间坐标转换为视频坐标，并叠加至客户端的图像中；

具体为，电子海图信息包括各类航道线、锚泊点和浅水区域，基于坐标转化算法属于现有技术将各类航道线、锚泊点和浅水区域的空间坐标转化为视频坐标，并叠加至客户端的图像中。

目标视频信息叠加模块，用于将目标船只融合后的经纬度坐标转换为视频坐标，并叠加至客户端的图像中；

具体为，目标船只融合后的经纬度坐标是根据目标船只的速度、与船舶自身的距离和方位，以及类型，船舶自身的航向、航速、经纬度坐标和俯仰值依次进行时间对准、空间对准、同一性判定和扩展卡尔曼滤波算法处理，得到目标船只融合后的航向、经纬度坐标和俯仰值，即得到目标船只融合后的经纬度坐标。

船舶三维GIS辅助导航单元，包括：

停泊保障模块，用于实时更新船舶位置并做出碰撞预警；

具体为，增强现实船舶辅助航行系统还包括部署在船舶自身的船舷上的激光测距仪，停泊保障模块通过激光测距仪检测船舶自身与岸边的距离，当距离达到预设的值时，做出碰撞预警。

装备控制模块，用于对各摄像机进行云台控制、调焦调频操作；

航海要素三维态势叠加模块，用于将船舶自身三维模型与电子海图的二维环境进行叠加，形成三维电子海图系统；

具体为，通过将船舶自身三维模型与电子海图的二维环境进行叠加，形成可鸟瞰、俯视的三维电子海图系统。

业务单元，包括：

态势服务模块，包括态势融合模块和威胁评估模块，态势融合模块用于将导航雷达、测距云台摄像机和全景摄像机采集的信息融合成综合航迹，威胁评估模块用于根据态势要素、导航雷达及AIS提供的周边环境，得到目标船只相对船舶自身威胁指标，超过预设的告警值的则进行预示告警；

具体为，态势融合模块将导航雷达、测距云台摄像机和全景摄像机采集的信息，通过依次进行时空对准、数据过滤和特征关联匹配处理，融合呈准确的综合航迹。本过程属于现有专利CN114202025A一种多传感器数据融合方法的内容，此处不再详细描。

威胁评估模块包括态势要素提取、行为意图识别和威胁评估；

态势要素包括目标船只的速度、与船舶自身的距离和方位(目标船只的速度、与船舶自身的距离和方位均可以通过传感器获取得到)，以及类型(目标船只的类型是基于R-CNN，Fast R-CNN，YoloV3，YoloV4等目标检测算法对视频中的目标船只进行类型，舷号识别)，船舶自身的航向、航速、经纬度坐标和俯仰值(船舶自身的航向、航速、经纬度坐标和俯仰值均可以通过传感器获取得到)，周边环境包括等深线、障碍区、作业区和助航标记物；

行为意图识别采用基于GRU网络的目标行为意图识别建模进行目标船只的行为威胁度的判断划分，最终形成量化的威胁指标(本过程属于现有技术，如参考文献：杨童瑶，杨风暴，吉琳娜.基于行为意图的海上目标动态威胁评估[A].中北大学信息与通信工程学院，2021)，本专利中不再作详细描述；

威胁评估时当威胁指标超过设定阈值时上报告警。

航行数据处理模块，用于根据态势要素，得到目标船只融合后的航向、经纬度坐标和俯仰值，并上传至客户端显示。

具体为，航行数据处理模块将目标船只的速度、与船舶自身的距离和方位，以及类型，船舶自身的航向、航速、经纬度坐标和俯仰值依次进行时间对准、空间对准、同一性判定和扩展卡尔曼滤波算法处理(本过程属于现有专利CN114202025A一种多传感器数据融合方法的内容，此处不再详细描述)，得到目标船只融合后的航向、经纬度坐标和俯仰值，最后将目标船只融合后的航向、经纬度坐标和俯仰值在客户端图像显示，即叠加到客户端显示的视频图像中。

在一个实施例中，业务单元还包括视频管理模块，视频管理模块将各摄像机的视频进行接入、转发和存储管理。

具体为，视频管理模块将各摄像机的视频接入、转发至客户端、并对视频进行存储。

在一个实施例中，业务单元还包括物联接入模块，物联接入模块用于将测距云台摄像机、全景摄像机、导航雷达、AIS和激光测距仪的统一管理。

本增强现实船舶辅助航行系统通过将各摄像机拍摄的视频接入至客户端进行图像显示，并得到的目标船只融合后的航向、经纬度坐标和俯仰值上传至客户端图像显示，并形成三维电子海图系统，进而通过客户端可以直观展现航行信息，解决了现有技术中通过航行要素数据投放至AR头戴设备中，导致各种隐患的问题；通过目标识别算法对目标船只进行类型和舷号识别，使得在关闭AIS的情况下也能对目标船只的类型、舷号特征进行获取，提高获取目标船只信息的准确性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。