船舶周边异常物体监测系统及其存储介质、电子设备

技术领域

本发明涉及计算机视觉监控技术领域，更具体地，涉及一种船舶周边异常物体监测系统及其存储介质、电子设备。

背景技术

行驶的船舶周边若出现异常小型物体，对船舶航行的风险是不确定的，因此需要迅速识别出异常物体的危害程度，从而有针对性的进行决策。传统监测方式采用人力观察结合雷达监控相结合的方式。传统方式存在的问题：1.人力观察很容易区水面上的小物体，但是人力成本较高，并且容易因为观察者疲劳而出现误判；2.雷达和声呐监控方式是水上主要的检测手段，但是雷达和声呐在面对水面上的小物体时候，很难对其进行识别，并且很难与水浪及噪声区进行区分，易导致对小物体造成误判。

因此，开发一种船舶周边异常物体智能监测系统是一个亟待解决的技术问题。

发明内容

由于现有技术存在上述缺陷，本发明提供了一种船舶周边异常物体监测系统及其存储介质、电子设备，以解决现有技术对水面上较小漂浮物的监测手段成本高和智能化低的问题。

为实现上述目的，一方面，本发明提供一种船舶周边异常物体监测系统，其特征在于，对船舶头部左右两侧的监控摄像头对船舶航行前方拍摄的图像进行自动化处理，包括构造的包含水面异常物体的图像数据集合、图像去噪模块、目标检测模块、图像去水模块、目标识别模块、区域图像放大模块、结果整合输出模块；所述摄像头视轴方向的延长线无交叉；所述图像去噪模块将摄像头采集到的图像进行去噪，并将去噪后的图像数据传递给所述目标检测模块；所述目标检测模块，对接收到图像去噪模块传递来的图像数据进行目标检测，检测当前视频区域内是否有异常物体：若有，则提取当前区域信息，并传递给所述图像去水模块，若无，则当前帧不进行处理；所述图像去水模块，对接收到目标检测模块传递来的疑似异常物体的区域图像进行图像去水处理，降低水面的水浪和雨水对后续识别的影响，并将处理后的图像数据和区域信息传递给目标识别模块；所述目标识别模块，对接收到图像去水模块传递来的区域图像进行识别，识别结果表示为危险等级；若识别结果为无风险，则丢弃当前区域图像，若为低风险、中风险、高风险中的某一类，将识别结果和区域信息作为异常物体区域信息传递给区域图像放大模块；所述区域图像放大模块，对接收到目标识别模块传递来的区域图像进行图像超分辨率放大，并将超分辨率放大的图像传递给结果整合输出模块；所述结果整合输出模块，接收到区域图像放大模块传递过来的放大图像，结合摄像头所摄的原始图像信息，在显示器中显示出来，也可以接受安防监控人员的操作，将选定的区域传送给区域图像放大模块。

进一步地，船舶两侧所述摄像头的视轴方向与船舶航行方向所呈的角度小于30度且大于等于0度。

进一步地，所述包含水面异常物体的图像数据集合，包括白天和夜晚拍摄的场景；对于每一个场景中的异常物体，分别拍摄2张照片，一张照片为异常物体被水浪部分遮挡的照片，另一张为水浪落下后异常物体未被遮挡的照片，两张照片的拍摄时间小于10秒钟；对于每一张照片中的异常物体，使用矩形方框坐标进行标记，并对于每一个被标定的物体区域，按照对航行的危险程度，由人工标定其危险等级。

进一步地，所述图像去噪模块在初始化过程不工作；在检测过程中，还保存摄像头所摄的原始图像，留作调查取证。

进一步地，所述目标检测模块在初始化过程中，首先构造基于Mask-RCNN框架的目标检测模型，并使用带有已标定的异常物体区域的水面上图像对目标检测模型进行参数初始化，得到训练好的目标检测模型；在检测过程中，接收到图像去噪模块传递来的图像，然后对当前图像使用所构造的目标检测模型进行目标检测，得到当前图像的异常物体区域信息。若该区域内的目标检测结果存在异常物体，则对于每一个异常物体，将<当前图像对应的帧信息、该区域坐标，该区域对应的图像信息>作为一条异常物体区域信息，将所有异常物体区域信息传递给图像去水模块。

进一步地，所述目标检测模型的整体框架基于公开的Mask-RCNN框架结构中的ResNet-50-C4结构，其头部网络结构中，像素分割分支或Mask分支为不工作状态；分类分支或Classifer分支的最后一层的输出节点数设为2类。

进一步地，所述图像去水模块，在初始化过程中，第一步，构造水面上被水浪遮挡和无遮挡的物体的数据集合，第二步，构造图像去水处理模型；第三步，使用第一步构造的数据集对第二步所构造的图像去水处理模型进行训练，从而得到训练好的图像去水模型。在检测过程中，对接收到的目标检测模块传递来的异常物体区域信息，读取其中的“该区域对应的图像信息”，然后将“该区域对应的图像信息”作为图像去水模型的输入，从而得到图像去水模型的输出图像，该图像即为“去除水面水浪影响的图像”，第四步，将当前正在处理的目标检测模块传递来的异常物体区域信息中的“该区域对应的图像信息”替换成当前“去除水面水浪影响的图像”，将替换后的当前异常物体区域信息传递给目标识别模块。

进一步地，所述的目标识别模块，在初始化过程中，第一步，构造包含水面上异常物体的危险程度的图像数据集合；第二步，构造目标识别网络模型，第三步；使用第一步构造的数据集对第二步所构造的目标识别网络模型进行参数学习，从而得到训练好的目标识别模型；在检测过程中，对接收到的图像去水模块传递来的异常物体区域信息，读取其中的“该区域对应的图像信息”，然后将该图像信息作为输入，输入到初始化阶段训练好的目标识别模块，得到识别结果，识别结果为四种危险等级中的一种，更新当前处理的异常物体区域信息为<当前图像对应的帧信息、该区域坐标，该区域对应的图像信息，识别的危险等级>，并将该更新后的异常物体区域信息传递给区域图像放大模块。

进一步地，所述区域图像放大模块，在初始化阶段，第一步，构造包含标准图像和海面图像的图像数据集；第二步，构造区域图像放大网络模型；第三步，使用第一步所构造的数据集对第二步所构造的区域图像放大网络模型进行训练，从而得到训练好的区域图像放大网络模型；在检测阶段，对接收到的图像去水模块传递来的异常物体区域信息，读取其中的“识别的危险等级”和“该区域对应的图像信息”，若识别的危险等级为无风险，则不做处理；否则，使用所构造的区域图像放大网络模型对该区域对应的图像信息进行处理，得到放大后的图像，将该异常物体区域信息中的“该区域对应的图像信息”更新为放大后的图像，并将该异常物体区域信息传递给结果整合输出模块；在监测过程中，区域图像放大模块也能够接收来自于结果整合输出模块传递来的图像信息以及指定放大的倍率，使用所构造的区域图像放大网络模型对该区域对应的图像信息进行处理，得到放大后的图像，并将放大后的图像传递给结果整合输出模块。

进一步地，所述结果整合输出模块，在初始化过程中，由监控人员设定区域图像放大模块中的默认放大倍率和当前图像放大倍率，当前图像放大倍率为由监控人员选定的任何大于1的值；在检测过程中，接收图像去噪模块传递来的经过去噪的原始图像信息，并显示在监控屏幕上；接收区域图像放大模块传递来的异常物体区域信息并显示在监控屏幕上；接收监控人员的操作输入，将监控人员选定的帧的区域图像传递给区域图像放大模块，并将区域图像放大模块返回的放大图像显示在监控屏幕上；监控人员可以实时调整默认放大倍率和当前图像放大倍率。

进一步地，所述结果整合输出模块支持安防监控人员启动双目定位功能，此时需要初始化双目定位参数，并设定安全距离：由人工在船舶正前方放置红色灯，所述红色灯离船舶的距离为安全距离时，左右两侧监控摄像头同时拍摄，确保红灯在两侧摄像头中均出现。

另一方面，本发明提供一种存储介质，其特征在于，所述存储介质存储有上述的船舶周边异常物体监测系统，可被一个或者多个处理器执行。

再一方面，本发明提供一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器调用所述存储器存储和执行上述的船舶周边异常物体监测系统的计算机程序。

与现有技术相比，上述发明的有益效果是，使用视觉算法对海面上异常小型物体进行监控，弥补雷达和声呐监控方式在面对海面小物体时候的不足；通过使用智能化的算法，弥补人力观察的不足。本发明涉及到的系统作为一套独立的监控系统，不会干扰船舶自身的系统的运行，避免了对老旧船只改造的风险，从而在实际应用中有着较高的通用性和灵活性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未可以按照比例绘制附图，重点在于示出本发明的主旨。

图1为本发明一实施例中船舶周边异常物体监测系统的功能流程图；

图2为本发明一实施例中船舶周边异常物体监测系统的功能模块关系框图。

具体实施方式

下面结合附图和具体的实施例对本发明中的结构作进一步的说明，但是不作为本发明的限定。

实施例1

参见图1和图2，一种船舶周边异常物体监测系统，对船舶头部左右两侧的监控摄像头对船舶航行前方拍摄的图像进行处理，包括构造的包含水面异常物体的图像数据集合、图像去噪模块、目标检测模块、图像去水模块、目标识别模块、区域图像放大模块、结果整合输出模块；所述摄像头视轴方向的延长线无交叉；

所述图像去噪模块将摄像头采集到的图像进行去噪，并将去噪后的图像数据传递给所述目标检测模块；

所述目标检测模块，对接收到图像去噪模块传递来的图像数据进行目标检测，检测当前视频区域内是否有异常物体：若有，则提取当前区域信息，并传递给所述图像去水模块，若无，则当前帧不进行处理；

所述图像去水模块，对接收到目标检测模块传递来的疑似异常物体的区域图像进行图像去水处理，降低水面的水浪和雨水对后续识别的影响，并将处理后的图像数据和区域信息传递给目标识别模块；

所述目标识别模块，对接收到图像去水模块传递来的区域图像进行识别，识别结果表示为危险等级；若识别结果为无风险，则丢弃当前区域图像，若为低风险、中风险、高风险中的某一类，将识别结果和区域信息作为异常物体区域信息传递给区域图像放大模块；

所述区域图像放大模块，对接收到目标识别模块传递来的区域图像进行图像超分辨率放大，并将超分辨率放大的图像传递给结果整合输出模块；

所述结果整合输出模块，接收到区域图像放大模块传递过来的放大图像，结合摄像头所摄的原始图像信息，在显示器中显示出来，也可以接受安防监控人员的操作，将选定的区域传送给区域图像放大模块。

所述的构造包含水面异常物体的数据集合，其方法为：首先，按照本发明所述的摄像头的安装方法，将摄像头安装好；然后在船舶正常航行时，选取500个包含水面异常物体的场景，其中350个场景为白天拍摄，150张场景为夜晚拍摄，对于每一个场景中的异常物体，分别拍摄2张照片，一张照片为异常物体被水浪部分遮挡的照片，另一张为水浪落下后异常物体未被遮挡的照片，为了避免船舶运行导致视角变化，两张照片拍摄时间小于10秒钟，从而得到共1000张包含异常物体的照片。第二步，对于每一张照片中的异常物体，使用矩形方框将异常物体包围，若该矩形的左上角坐标为(LUx,LUy)，右下角坐标为(RDx,RDy)，则该矩形框表示为(LUx,LUy,RDx,RDy)形式，第三步，对于每一个被标定的物体区域，按照对航行危险程度，由人工标定其危险等级(无风险，低风险，中风险，高风险)。

所述图像去噪模块将摄像头采集到的图像进行去噪，其方法是：设监控摄像头所摄的监控图像为X

所述目标检测模块在初始化过程中，首先构造基于Mask-RCNN框架的目标检测模型，并使用带有已标定的异常物体区域的水面上图像对目标检测模型进行参数初始化，从而得到了训练好的目标检测模型；在检测过程中，接收到图像去噪模块传递来的图像，然后对当前图像使用所构造的目标检测模型进行目标检测，得到当前图像的异常物体区域信息。若该区域内的目标检测结果存在异常物体，则对于每一个异常物体，将[当前图像对应的帧信息、该区域坐标，该区域对应的图像信息]作为一条异常物体区域信息，将所有异常物体区域信息传递给图像去水模块。

所述构造基于Mask-RCNN框架的目标检测模型，该模型的特征为：该目标检测模型的整体框架基于公开的Mask-RCNN框架结构中的ResNet-50-C4结构，与标准ResNet-50-C4结构的不同之处为：本模型的头部网络结构中，像素分割分支(Mask分支)为不工作状态；分类分支(Classifer分支)的最后一层的输出节点数设为2类。

所述的使用带有已标定的异常物体区域的水面上图像对目标检测模型进行参数初始化，其步骤为：第一步，构造带有已标定的异常物体区域的水面上图像的数据集合；第二步，对目标检测模型进行参数初始化；第三步，使用第一步所构造的数据集，对第二步中已经参数初始化的目标检测模型进行二次训练。

所述的构造带有已标定的异常物体区域的水面上图像的数据集合，其步骤为：第一步，从所述的构造包含水面异常物体的数据集合中，提取所有照片作为带有已标定的异常物体区域的水面上图像的数据集合，第二步，从所述的构造包含水面异常物体的数据集合中，提取所有区域信息作为带有已标定的异常物体的区域的水面上图像的数据集合的异常物体的区域信息。

所述的对目标检测模型进行参数初始化，其步骤为：第一步，下载已经使用COCO2017数据集合训练的标准ResNet-50-C4的网络模型，由于标准ResNet-50-C4的网络模型与本实施例所构造基于Mask-RCNN框架的目标检测模型的网络结构基本相同(除Mask分支和Classifer分支的最后一层)，因此将标准ResNet-50-C4的网络模型对应的每一层的参数赋值给本发明所构造的目标检测模型对应的每一层的参数；第二步，对于网络结构的不同的部分：1.由于目标检测模型的Mask分支为不工作状态，因此该部分不需要赋值；2.将目标检测模型的Classifer分支的最后一层，使用Kaiming初始化方法对该层进行初始化。

所述的使用第一步所构造的数据集，对第二步中已经参数初始化的目标检测模型进行二次训练，其特征为：训练模型的输入数据集为所述的构造带有已标定的异常物体区域的水面上图像的数据集合；训练模型的参数初始值为所述的对目标检测模型进行参数初始化后所得到的模型；训练过程的参数设为：使用GPU加速训练，学习速率(LR)初始值为0.0025，迭代次数为500轮，每经过150轮迭代学习速率降为当前的一半，ROI层的每一张图像的总样本数量设为125个。

所述的对当前图像使用所构造的目标检测模型进行目标检测，得到当前图像的异常物体区域信息，其方法为：第一步，将输入图像分割成224×224维度的子图，得到子图集合；第二步，将子图集合中的每一个子图作为目标检测模型的输入，得到该子图的输出；第三步，对于每一个子图的输出，若存在异常物体，则转换该异常物体的坐标为输入图像的坐标；第四步，将该输入图像的所有被检测出来的异常物体，根据每两个区域的重合率进行合并，从而得到最终的检测结果。

所述的将输入图像分割成224×224维度的子图，其步骤为：设输入图像X

当a

b

当b

选定的区域为[(a

b

a

循环结束。

所述的对于每一个子图的输出，若存在异常物体，则转换该异常物体的坐标为输入图像的坐标，其方法为：设输入图像为m行n列，当前子图的左上角坐标为(a′

所述的将该输入图像的所有被检测出来的异常物体，根据每两个区域的重合率进行合并，其步骤为：构造候选集合，该集合的元素为输入图像被检测到的所有异常物体区域的坐标，构造结果集合，初始时结果集合为空：

随机从候选集合中取一个异常物体区域的坐标，从候选集合删除该区域的坐标，设该坐标为(LU′

随机从候选区域中读取一个异常物体区域的坐标，设该坐标为(LU″

计算(LU′

则首先从候选集合中删除坐标(LU″

然后将两个区域合并得到合并后的坐标；

最后将坐标(LU′

待候选区域中的所有区域的坐标都判断结束后，将当前坐标(LU′

直到候选集合为空时，算法结束。

所述的计算(LU′

所述的将两个区域合并得到合并后的坐标，其方法为：对于两个(LU′

所述的图像去水模块，在初始化过程中，第一步，构造水面上被水浪遮挡和无遮挡的物体的数据集合，第二步，构造图像去水处理模型；第三步，使用第一步构造的数据集对第二步所构造的图像去水处理模型进行训练，从而得到训练好的图像去水模型。在检测过程中，对接收到的目标检测模块传递来的异常物体区域信息，读取其中的“该区域对应的图像信息”，然后将“该区域对应的图像信息”作为图像去水模型的输入，从而得到图像去水模型的输出图像，该图像即为“去除水面水浪影响的图像”，第四步，将当前正在处理的目标检测模块传递来的异常物体区域信息中的“该区域对应的图像信息”替换成当前“去除水面水浪影响的图像”，将替换后的当前异常物体区域信息传递给目标识别模块。

所述图像去水模块，在初始化过程中，第一步，构造水面上被水浪遮挡和无遮挡的物体的数据集合，第二步，构造图像去水处理模型；第三步，使用第一步构造的数据集对第二步所构造的图像去水处理模型进行训练，从而得到训练好的图像去水模型。在检测过程中，对接收到的目标检测模块传递来的异常物体区域信息，读取其中的“该区域对应的图像信息”，然后将“该区域对应的图像信息”作为图像去水模型的输入，从而得到图像去水模型的输出图像，该图像即为“去除水面水浪影响的图像”，第四步，将当前正在处理的目标检测模块传递来的异常物体区域信息中的“该区域对应的图像信息”替换成当前“去除水面水浪影响的图像”，将替换后的当前异常物体区域信息传递给目标识别模块。

所述的构造水面上被水浪遮挡和无遮挡的物体的数据集合，其方法为：从所述的构造包含水面异常物体的数据集合中，提取被水浪遮挡和无遮挡的物体的图像，由于在拍摄时每一个场景均拍摄2张照片，一张照片为异常物体被水浪部分遮挡的照片，另一张为水浪落下后异常物体未被遮挡的照片，则对于每个场景对应的2张照片，提取被部分遮挡的异常物体区域的图像信息，表示为I

所述的构造图像去水处理模型，该模型的特征为，所有层未指定激活函数的默认为PReLU：

输入层InLayer：第一层为卷积层，输入通道为3，输出通道为256，内核大小为3，步长为1；第二层为卷积层，输入通道为256，输出通道为64，内核大小为3，步长为1；数据传送按照从第一层到第二层传递。

迭代层FBLayer：第一层FB1为卷积层，输入通道为64，输出通道为64，第二层FB2为反卷积层，输入通道为64，输出通道为64，第三层FB3为卷积层，输入通道为64，输出通道为64，第四层FB4为反卷积层，输入通道为64，输出通道为64，第五层FB5为卷积层，输入通道为64，输出通道为64，第六层FB6为反卷积层，输入通道为64，输出通道为64，第七层FB7为卷积层，输入通道为192，输出通道为64。所有层的内核大小为3，步长为1。设输入为x

输出层OutLayer：第一层为卷积层，输入通道为256，输出通道为64，内核大小为3，步长为1；第二层为卷积层，输入通道为64，输出通道为64，内核大小为3，步长为1；第三层为卷积层，输入通道为32，输出通道为3，内核大小为3，步长为1，无激活函数。数据传送按照层数从小到大传递。

所述的使用第一步构造的数据集对第二步所构造的图像去水处理模型进行训练，从而得到训练好的图像去水模型，其步骤为：第一步，对图像去水模型进行参数初始化；第二步，将所构造水面上被水浪遮挡和无遮挡的物体的数据集合作为训练的数据集，其中的每一组图像对表示为

所述的对图像去水模型进行参数初始化，其方法为：由于区域图像放大模块中的8倍模型的输入层InLayer和迭代层FBLayer层的结构与图像去水模型的结构相同，因此，将区域图像放大模块中的8倍模型训练得到的网络结构参数中的输入层InLayer和迭代层FBLayer层的值，作为图像去水模型的输入层InLayer和迭代层FBLayer层的初始值，将图像去水模型的输出层OutLayer使用Kaiming初始化方法对该层进行初始化。

所述的目标识别模块，在初始化过程中，第一步，构造包含水面上异常物体的危险程度的图像数据集合；第二步，构造目标识别网络模型，第三步；使用第一步构造的数据集对第二步所构造的目标识别网络模型进行参数学习，从而得到训练好的目标识别模型。在检测过程中，对接收到的图像去水模块传递来的异常物体区域信息，读取其中的“该区域对应的图像信息”，然后将该图像信息作为输入，输入到初始化阶段训练好的目标识别模块，得到识别结果，识别结果为四种危险等级(无风险，低风险，中风险，高风险)中的一种，更新当前处理的异常物体区域信息为<当前图像对应的帧信息、该区域坐标，该区域对应的图像信息，识别的危险等级>，并将该更新后的异常物体区域信息传递给区域图像放大模块。

所述的构造包含水面上异常物体的危险程度的图像数据集合，其方法为：从所构造包含水面异常物体的数据集合中，对于每一个被标定的区域，首先提取当前图像中对应区域内的图像信息，再提取当前区域对应的由人工标定为危险等级(无风险，低风险，中风险，高风险)，作为当前区域的分类信息。

所述的构造目标识别网络模型，该网络模型的特点为，所有层未指定激活函数的默认为PReLU：

输入层InLayer：第一层为卷积层，输入通道为3，输出通道为256，内核大小为3，步长为1；第二层为卷积层，输入通道为256，输出通道为64，内核大小为3，步长为1；数据传送按照从第一层到第二层传递。

迭代层FBLayer：第一层CBAM1为CBAM模块，输入通道为64，输出通道为64；第二层CBAM2为CBAM模块，输入通道为64，输出通道为64；第三层Conv3为卷积层，输入通道为128，输出通道为64。所有层的内核大小为3，步长为1。设输入为x

输出层OutLayer：第一层为卷积层，输入通道为256，输出通道为64，内核大小为3，步长为1；第二层为最大池化层，将64维度的特征输入，转化成64维度的向量特征作为输出，该层对应的激活函数为ReLU；第三层为全连接层，输入通道为64，输出通道为4，激活函数为softmax。

所述的使用第一步构造的数据集对第二步所构造的目标识别网络模型进行参数学习，从而得到训练好的目标识别模型，其步骤为：第一步，对目标识别网络模型进行参数初始化；第二步，将构造包含水面上异常物体的危险程度的图像数据集合作为训练的数据集，其中的每一组数据表示为<图像，类别>对：

所述的对目标识别网络模型进行参数初始化，其步骤为：第一步，使用标准分类数据库CIFAR-100，对所构造目标识别网络模型进行学习，其中CIFAR-100数据库采用大类分类，共20类，每一组表示为<图像，类别>对：

所述的区域图像放大模块，在初始化阶段，第一步，构造包含标准图像和水面图像的图像数据集；第二步，构造区域图像放大网络模型；第三步，使用第一步所构造的数据集对第二步所构造的区域图像放大网络模型进行训练，从而得到训练好的区域图像放大网络模型。在检测过程中，对接收到的图像去水模块传递来的异常物体区域信息，读取其中的“识别的危险等级”和“该区域对应的图像信息”，若识别的危险等级为无风险，则不做处理；否则，使用所构造的区域图像放大网络模型对该区域对应的图像信息进行处理，得到放大后的图像，将该异常物体区域信息中的“该区域对应的图像信息”更新为放大后的图像，并将该异常物体区域信息传递给结果整合输出模块；在监测过程中，区域图像放大模块也能够接收来自于结果整合输出模块传递来的图像信息以及指定放大的倍率，使用所构造的区域图像放大网络模型对该区域对应的图像信息进行处理，得到放大后的图像，并将放大后的图像传递给结果整合输出模块。

所述的构造包含标准图像和水面图像的图像数据集，其方法为：第一步，获取标准超分辨率图像集合DIV2K，第二步，将所构造包含水面异常物体的数据集合中的所有照片，与DIV2K图像集合中的照片放在一起，构成新的数据集合。

所述的构造区域图像放大网络模型，共需构建3组模型，分别2倍模型、4倍模型和8倍模型，其网络结构包括输入层，迭代层，输出层，所有层未指定激活函数的默认为PReLU，对于2倍模型、4倍模型和8倍模型，其输入层、迭代层均相同，输出层不同。其构造方法为：

输入层InLayer：第一层为卷积层，输入通道为3，输出通道为256，内核大小为3，步长为1；第二层为卷积层，输入通道为256，输出通道为64，内核大小为3，步长为1；数据传送按照从第一层到第二层传递。

迭代层FBLayer：第一层FB1为卷积层，输入通道为64，输出通道为64，第二层FB2为反卷积层，输入通道为64，输出通道为64，第三层FB3为卷积层，输入通道为64，输出通道为64，第四层FB4为反卷积层，输入通道为64，输出通道为64，第五层FB5为卷积层，输入通道为64，输出通道为64，第六层FB6为反卷积层，输入通道为64，输出通道为64，第七层FB7为卷积层，输入通道为192，输出通道为64。所有层的内核大小为3，步长为1。设输入为x

输出层OutLayer：对于2倍模型输出层OutLayer

对于任意输入X

所述的使用第一步所构造的数据集对第二步所构造的区域图像放大网络模型进行训练，其方法为：对于2倍模型、4倍模型和8倍模型，训练步骤为：第一步，将2倍模型的所有节点使用Kaiming初始化方法对该层进行初始化，并训练2倍模型；第二步，将2倍模型的输入层和迭代层的网络参数赋值给4倍模型，4倍模型的输出层使用Kaiming初始化方法对该层进行初始化，并训练4倍模型；第三步，将4倍模型的输入层和迭代层的网络参数赋值给8倍模型，8倍模型的输出层使用Kaiming初始化方法对该层进行初始化，并训练8倍模型。最终得到了训练好的2倍模型、4倍模型和8倍模型。

所述的训练2倍模型，其步骤为：共进行10000轮迭代，学习速率(LR)初始值为0.0025，每经过200轮迭代，学习速率减半，每一轮迭代中：

从所构造的包含标准图像和水面图像的图像数据集中提取一幅图像并进行如下处理：

第一步，从所构造的包含标准图像和水面图像的图像数据集中提取一幅图像，处理得到2倍高低分辨率图像对；

第二步：对2倍模型进行参数训练。

直到图像数据集中的所有图像均处理，当前一轮迭代结束。

所述的处理得到2倍高低分辨率图像对，其方法是，对于当前待处理的图像，设该图片为Ori，长度为OriX像素，宽度为OriY像素，生成随机整数(xrand，yrand)，其中0≤xrand≤OriX-63，0≤yrand≤OriY-63，则Ori图像的左上角坐标(xrand，yrand)和右下角坐标(xrand+63，yrand+63)所围成的64×64矩形区域为所构造的高分辨率图像区域HR

所述的对2倍模型进行参数训练，对于2倍高低分辨率图像对

所述的训练4倍模型，其步骤为：共进行10000轮迭代，学习速率(LR)初始值为0.00025，经过5000轮迭代，学习速率减半，每一轮迭代中：

从所构造的包含标准图像和水面图像的图像数据集中提取一幅图像并进行如下处理：

第一步，从所构造的包含标准图像和水面图像的图像数据集中提取一幅图像，处理得到4倍高低分辨率图像对；

第二步：对4倍模型进行参数训练。

直到图像数据集中的所有图像均处理，当前一轮迭代结束。

所述的处理得到4倍高低分辨率图像对，对于所构造的构造数据集合，从中依次取出一张图片，设该图片为Ori，长度为OriX像素，宽度为OriY像素，生成随机整数(xrand，yrand)，其中0≤xrand≤OriX-127，0≤yrand≤OriY-127，则Ori图像的左上角坐标(xrand，yrand)和右下角坐标(xrand+127，yrand+127)所围成的128×128矩形区域为所构造的高分辨率图像区域HR

所述的对4倍模型进行参数训练，对于4倍高低分辨率图像对

所述的训练8倍模型，其步骤为：共进行10000轮迭代，学习速率(LR)初始值为0.00025，经过5000轮迭代，学习速率减半，每一轮迭代中：

从所构造的包含标准图像和水面图像的图像数据集中提取一幅图像并进行如下处理：

第一步，从所构造的包含标准图像和水面图像的图像数据集中提取一幅图像，处理得到8倍高低分辨率图像对；

第二步：对8倍模型进行参数训练。

直到图像数据集中的所有图像均处理，当前一轮迭代结束。

所述的整理8倍高低分辨率图像对，对于所构造的构造数据集合，从中依次取出一张图片，设该图片为Ori，长度为OriX像素，宽度为OriY像素，生成随机整数(xrand，yrand)，其中0≤xrand≤OriX-255，0≤yrand≤OriY-255，则Ori图像的左上角坐标(xrand，yrand)和右下角坐标(xrand+255，yrand+255)所围成的256×256矩形区域为所构造的高分辨率图像区域HR

所述的对8倍模型进行参数训练，对于4倍高低分辨率图像对

所述的使用所构造的区域图像放大网络模型对该区域对应的图像信息进行处理，得到放大后的图像，若该图像信息来自于图像去水模块传递来的异常物体区域信息，其方法为：第一步，根据结果整合输出模块设定的默认放大倍率，选择合适的区域图像放大网络模型，若默认放大倍率为2倍，则选择区域图像放大网络模型中的2倍模型，若默认放大倍率为4倍，则选择区域图像放大网络模型中的4倍模型，若默认放大倍率为8倍，则选择区域图像放大网络模型中的8倍模型；第二步，将该图像信息，作为第一步选定的放大模型的输入，得到输出图像，即为该图像信息放大后的图像。

所述的使用所构造的区域图像放大网络模型对该区域对应的图像信息进行处理，得到放大后的图像，若该图像信息来自于结果整合输出模块，其方法为：第一步，选择合适的区域放大网络模型。根据结果整合输出模块传递过来的当前图像放大倍率Upr进行选择，若1＜Upraw≤3，选择2倍模型；若3＜Upraw≤6，选择4倍模型；若Upraw＞6，选择8倍模型；第二步，将该图像信息，作为第一步选定的放大模型的输入，得到输出图像；第三步，把第二步得到的输出图像，使用三次样条插值算法进行第二次放大，输出的分辨率为原始图像的Upr倍分辨率，从而得到该图像信息放大后的图像。

所述的结果整合输出模块，在初始化过程中，由监控人员设定区域图像放大模块中的默认放大倍率和当前图像放大倍率，其中默认放大倍率为2倍，4倍和8倍中的一种，由监控人员选定，当前图像放大倍率为由监控人员选定的任何大于1的值，若安防监控人员启动双目定位功能，则需要初始化双目定位参数，并设定安全距离；在检测过程中，接收图像去噪模块传递来的经过去噪的原始图像信息，并显示在监控屏幕上；接收区域图像放大模块传递来的异常物体区域信息并显示在监控屏幕上；接收监控人员的操作输入，将监控人员选定的帧的区域图像传递给区域图像放大模块，并将区域图像放大模块返回的放大图像显示在监控屏幕上；监控人员可以实时调整默认放大倍率和当前图像放大倍率。

若所述的安防监控人员启动双目定位功能，则需要初始化双目定位参数，其方法为：第一步，待船舶两侧的监控摄像头安装好后，由人工在船舶正前方放置红色灯，距离船舶为安全距离时，左右两侧监控摄像头同时拍摄，确保红灯在两侧摄像头中均出现，设左侧监控图像为

所述的将左右两个图像显示为两个图像的像素差，其方法为：左侧图像表示为

所述的监控人员每点击键盘的上下左右键时，右侧图像按照键盘操作进行上下左右移动，其步骤为：第一步，由于键盘操作的上下左右移动移动图像为右侧图像表示为

所述的接收图像去噪模块传递来的经过去噪的原始图像信息，并显示在监控屏幕上；接收区域图像放大模块传递来的异常物体区域信息并显示在监控屏幕上。屏幕按照十字划分为4个区域，左上区域显示的是船舶左侧摄像头通过图像去噪模块传递来的去噪后的图像信息，右上区域显示的是船舶右侧摄像头通过图像去噪模块传递来的去噪后的图像信息，左下区域显示的是区域图像放大模块传递来的船舶左侧摄像头的放大图像，右下区域显示的是区域图像放大模块传递来的船舶右侧摄像头的放大图像。其方法为：对于区域图像放大模块传递来的每一个异常物体区域信息，第一步，若双目定位功能为启动，则根据左右两侧摄像头在同一帧的坐标区域进行双目定位，得到估计的距离，若估计的距离小于设定的安全距离，则提升风险等级，若“识别的危险等级”为低风险，则不提升风险等级，若“识别的危险等级”为中风险，则提升风险等级为高风险，若“识别的危险等级”为高风险，则提升为超高风险；第二步，对于每一个异常物体区域信息，首先根据其“当前图像对应的帧信息”确定是左侧摄像头还是右侧摄像头，然后根据“该区域坐标”信息，在摄像头的对应区域上绘制矩形，矩形的左上角坐标为该区域坐标的左上角坐标，矩形的右下角坐标为该区域坐标的右下角坐标，矩形的颜色根据“识别的危险等级”进行选择，若识别为低风险，矩形颜色为蓝色，若识别为中风险，矩形颜色为黄色，若识别为高风险，矩形颜色为橙色，若识别为超高风险，矩形颜色为红色。第三步，将异常物体区域信息的“该区域对应的图像信息”显示在左下区域或者右下区域，左下区域显示的是区域图像放大模块传递来的船舶左侧摄像头的放大图像，右下区域显示的是区域图像放大模块传递来的船舶右侧摄像头的放大图像，其中，显示的顺序为，首先显示所有超高风险的放大图像，然后显示高风险的放大图像，最后显示中风险的放大图像。

所述的根据左右两侧摄像头在同一帧的坐标区域进行双目定位，得到估计的距离，其方法为：第一步，对接收到的异常物体区域信息按照帧信息进行重新组合，设当前时间为T

从set

对set

判断|x2set

精确匹配区域框(x1set

待set

所述的精确匹配区域框(x1set

若xStep＞＝0并且yStep＞＝0：

若与ORB(Ir

若xStep＜0并且yStep＞＝0：

若与ORB(Ir

若xStep＞＝0并且yStep＜0：

若与ORB(Ir

若xStep＜0并且yStep＜0：

若与ORB(Ir

所述的计算该点的ORB特征值，其方法为：对于计算图像Ir在(xr

所述的接收监控人员的操作输入，将监控人员选定的帧的区域图像传递给区域图像放大模块，其方法是，监控人员可以选择是连续放大或者单张放大，安防监控人员使用鼠标在屏幕上左上区域或者右上区域绘制一个正方形区域，若当前安防监控人员选择连续放大，则从当前帧开始的每一帧对应摄像头的正方形区域内的图像传递给区域图像放大模块，并接收区域图像放大模块返回的放大图像，直到安防监控人员选择取消后，停止发送给区域图像放大模块，并将当前绘制的区域删除；若当前监控人员选择单张放大，则从当前帧对应的正方形区域内的图像传递给区域图像放大模块，并接收区域图像放大模块返回的放大图像，直到安防监控人员选择取消后，从监控屏幕删掉放大图像。

本实施例使用视觉算法对水面上异常小型物体进行监控，弥补雷达和声呐监控方式在面对水面小物体时候的不足；通过使用智能化的算法，弥补人力观察的不足。本实施例涉及到的系统作为一套独立的监控系统，不会干扰船舶自身的系统的运行，避免了对老旧船只改造的风险，从而在实际应用中有着较高的通用性和灵活性。

实施例2

一种实施例1中船舶周边异常物体监测系统的实施方法，包括构造的包含水面异常物体的图像数据集合、目标检测模块、图像去水模块、目标识别模块、区域图像放大模块、结果整合输出模块的参数初始化过程，以及构造的包含水面异常物体的图像数据集合、图像去噪模块、目标检测模块、图像去水模块、目标识别模块、区域图像放大模块、结果整合输出模块的监测过程。

实施例3

一种存储介质，所述存储介质存储有实施例1中的船舶周边异常物体监测系统，可被一个或者多个处理器执行。

实施例4

一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器调用所述存储器存储和执行实施例1中的船舶周边异常物体监测系统的计算机程序。

综上，本发明提供了一种船舶周边异常物体监测系统及其存储介质、电子设备。所述系统基于监控摄像头所摄的船周边的视频，通过智能化的图像处理和分析，将异常区域显示给监控人员，使监控人员有针对性的进行监控，降低了监控的工作强度，提高了监控的效率。本发明使用目标检测算法自动化地检测出水面上的异常物体，使用智能化的图像去雨去水算法，降低了水面的浪对物体遮挡的影响，使用目标识别算法对目标异常物体进行识别，最后将识别结果展示给监控人员。所述系统作为一套独立的监控系统，不会干扰船舶自身的系统的运行，避免了对老旧船只改造的风险，从而在实际应用中有着较高的通用性和灵活性。

本实施例中未进行详细说明的方法、理论或过程为现有技术，在此不做赘述。本领域技术人员应该理解，本领域技术人员在结合现有技术以及上述实施例可以实现变化例，在此不做赘述。这样的变化例并不影响本发明的实质内容，在此不予赘述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个其存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络其存储介质等)执行本发明各个实施例所述的方法。

以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的其存储介质和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。