基于多视角融合的岸桥海侧安全监控方法、系统、介质

技术领域

本发明涉及水域安全监控领域，尤其是涉及一种基于多视角融合的岸桥海侧安全监控方法、系统、介质。

背景技术

现有技术中，面对如港口海域高速小艇入侵等威胁，传统的港口监控方法主要依靠固定摄像头，由于港口岸线较长而存在不可避免的监控盲区，摄像头的视野受限，无法完全覆盖整个港口海域区域，且存在效率低下和依赖性强等问题。因此，传统的港口监控方法已经无法满足如今大型无人码头对于高速小艇入侵等安防需求。

同时，由于在大面积港口海域大尺度下的例如小艇等弱小目标信息特征较少，无法通过现有方法进行弱小目标的特征提取与识别。因此，如何利用神经网络来对弱小目标进行特征提取，以解决弱小目标识别精确度低、误报率高等问题，是本领域亟需解决的技术难题。

对于小目标的轨迹跟踪存在多目标时无法提取多目标特征进而导致ID分配难、识别跟踪效果精度过差等问题，无法通过现有方法对小目标进行精确定位。因此，多高速移动的弱小目标的特征匹配及世界坐标系精确定位本领域亟需解决的技术难题。

因此，需要一种多视角融合岸桥海侧固定式港口安全监控方法，以解决或部分解决传统的港口监控方法存在的监控盲区，摄像头的视野受限，无法完全覆盖整个港口海面区域，且效率低下和依赖性强等问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多视角融合的岸桥海侧安全监控方法、系统、介质，以实现岸桥海侧运动目标的准确定位和监控。

本发明的目的可以通过以下技术方案来实现：

本发明的一个方面，提供了一种基于多视角融合的岸桥海侧安全监控方法，包括如下步骤：

多个不同视角的岸桥海侧固定式摄像头通过帧间差分方法判断各自拍摄范围内是否出现运动目标；

当运动目标出现后，获取各个岸桥海侧固定式摄像头的视频数据，利用基于RFLA策略的神经网络得到各自的目标识别结果；

基于所述目标识别结果，通过特征提取和特征匹配为每个运动目标分配唯一的标签，基于预先获取的各个岸桥海侧固定式摄像头的坐标，以两个或两个以上的岸桥海侧固定式摄像头为一组，通过视觉定位分别计算各组下运动目标的坐标，通过计算置信度得到运动目标的最终坐标，实现运动目标的监控。

作为优选的技术方案，所述的神经网络为基于HRNet的FasterRCNN两阶段式神经网络。

作为优选的技术方案，判断拍摄范围内是否出现运动目标的过程包括如下步骤：

将相邻两帧图像对应像素点的灰度值相减并取绝对值得到差分图像，并针对所述差分图像内的像素点进行二值化处理，基于处理后的差分图像判断是否出现运动目标。

作为优选的技术方案，每个运动目标分配唯一的标签的过程具体包括：

基于所述目标识别结果，利用SIFT算法进行特征提取，利用BF匹配算法进行特征匹配，为每个运动目标分配唯一的标签。

作为优选的技术方案，所述的特征提取过程中，特征点梯度方向采用下式计算：

，

其中，

作为优选的技术方案，所述的运动目标的最终坐标采用下式计算：

，

其中，

作为优选的技术方案，各个岸桥海侧固定式摄像头在本地进行是否出现运动目标的判断。

作为优选的技术方案，所述的目标识别结果包括目标类别信息、目标识别框信息和目标置信度信息。

本发明的另一个方面，提供了一种基于多视角融合的岸桥海侧安全监控系统，包括：

多视角监控集群，包括多台岸桥海侧固定式摄像头；

运动目标监测模块，用于通过帧间差分方法判断各个岸桥海侧固定式摄像头的拍摄范围内是否出现运动目标；

摄像头监控管理模块，用于当运动目标出现后，采集各个岸桥海侧固定式摄像头的视频数据；

弱小运动目标识别及跟踪模块，用于根据采集到的视频数据，利用基于RFLA策略的神经网络得到各自的目标识别结果；

多视角特征匹配模块，用于基于所述目标识别结果，通过特征提取和特征匹配为每个运动目标分配唯一的标签；

基于置信度的多目视觉目标定位模块，用于基于预先获取的各个岸桥海侧固定式摄像头的坐标，以两个或两个以上的岸桥海侧固定式摄像头为一组，通过视觉定位分别计算各组下运动目标的坐标，通过计算置信度得到运动目标的最终坐标，实现运动目标的监控。

本发明的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述基于多视角融合的岸桥海侧安全监控方法的指令。

与现有技术相比，本发明具有以下有益效果：

（1）实现岸桥海侧运动目标的准确定位和监控：本方法主要包括目标发现-目标定位两个阶段，在目标发现阶段，各个岸桥海侧固定式摄像头利用帧间差分方法在本地监测其拍摄区域内是否有运动目标，当发现运动目标后进入目标定位阶段，基于各个岸桥海侧固定式摄像头的图像，利用基于RFLA策略的神经网络得到识别结果，通过特征提取和融合为每个不同的运动目标分配唯一的标签，最后通过视觉定位分别计算各组下运动目标的坐标并基于置信度计算最终的坐标，实现监控。结合小目标检测的基于高斯感受野的标签分配算法，加以多角度特征融合后通过岸桥多目视觉定位基于置信度对目标进行精准定位，有效提高港口全方位监控应对高速小艇入侵威胁时的及时发现、及时响应能力，提高港口的安全性和应急响应能力。

（2）节能环保：在目标发现阶段，运动目标判断过程在各个岸桥海侧固定式摄像头本地进行，在检测到运动目标后再综合各摄像头视频数据进行定位，进而实现节省能耗。

附图说明

图1为实施例中基于多视角融合的岸桥海侧安全监控系统的示意图；

图2为实施例中基于多视角融合的岸桥海侧安全监控系统的示意图，

其中，1-岸桥海侧固定式摄像头；2-岸桥；3-固定式摄像头监控范围；4-港口水域弱小移动目标；5-弱小移动目标轨迹；6-弱小运动目标识别及跟踪模块；7-多视角特征匹配模块；8-基于置信度的多目视觉目标定位模块，9、运动目标监测模块，10、摄像头监控管理模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例1

针对前述现有技术存在的问题，本实施例提供了一种基于多视角融合的岸桥海侧安全监控系统，参见图1和图2，系统包括：

多视角监控集群，包括多个设置在岸桥2上的岸桥海侧固定式摄像头1。

低能耗岸桥海侧固定式摄像头自动部署子系统，该子系统包括运动目标监测模块9和摄像头监控管理模块10，运动目标监测模块9用于识别港口宽阔水域场景下选定区域的动态目标，摄像头监控管理模块10用于统一调配控制岸桥海侧固定式摄像头的运行和停止，进而节省能耗。

多视角特征匹配危险目标识别跟踪子系统，该子系统包括弱小运动目标识别及跟踪模块6、多视角特征匹配模块7和基于置信度的多目视觉目标定位模块8，其中弱小运动目标识别及跟踪模块6用于识别岸桥海侧固定式摄像头实时监控视频流中港口安全相关的船舶入侵，多视角特征匹配模块7用于将岸桥海侧固定式摄像头实时监控视频流中不同角度的识别目标做特征匹配，基于置信度的多目视觉目标定位模块8用于对已识别目标进行世界坐标系高精度定位，并生成监控报告和预警信息以调动港口水上安保人员及时采取相应的安全措施。

具体的，运动目标监测模块9使用帧间差分法，将两帧图像对应像素点的灰度值进行相减取其绝对值得到差分图像

，

其中，

摄像头监控管理模块10对运动目标出现的岸桥海侧摄像头画面唤醒，反之则处于休眠状态，唤醒的安桥海侧摄像头实时视频流数据传入多视角特征匹配危险目标识别跟踪子系统。

多视角特征匹配危险目标识别跟踪子系统包括弱小运动目标识别及跟踪模块6，该模块使用两段式检测神经网络FasterRCNN，所述FasterRCNN的骨干网络部分使用高分辨率网络HRNet，该网络的标签分配策略采用针对弱小目标改进的RFLA策略，其使用瓦尔斯坦距离更直观反应弱小目标gt框的重合程度：

，

其中，

，

其中，

将gt框（

，

，

公式中，高斯有效感受野：

随后将输出的港口水域弱小移动目标识别结果（目标类别、目标识别框、目标置信度）传入多视角特征匹配模块7。

多视角特征匹配模块7对港口水域弱小移动目标识别结果进行SIFT（Scale-invariant feature transform）算法特征提取，特征点梯度方向如下：

，

其中，

基于置信度的多目视觉目标定位模块8通过使用岸桥海侧固定式多目视觉中的每两个摄像头的港口弱小移动目标识别结果和特征匹配分配的目标标签，根据岸桥的GPS定位对该目标进行世界坐标系定位，随后根据岸桥海侧固定式多视角计算置信度确定该目标的精确世界坐标：

，

其中

上式中，通过双目视觉定位确定世界坐标的实现原理是利用视差原理通过测量同一物体在两个不同位置的成像之间的差异，计算出物体与相机之间的距离及三维坐标。

双目视觉确定目标坐标的过程如下：

Step1，标定相机：首先需要标定两个相机，以确定它们的位置和方向。这可以通过使用标定板或其它已知特征来实现。标定时需要采集多个不同角度和位置的标定板图像，并计算出每个相机的内参（如焦距、主点位置等）和外参（如旋转矩阵和平移矩阵）。

相机内参标定公式：

K = [f s 0; 0 f 0; 0 0 1]，

其中 f 为焦距，s 为相机的偏移量，主点位置为 (0, 0)。

相机外参标定公式：

R = [r1 r2 r3]，

T = [t1 t2 t3]，

Xc = R Xw + T，

其中 R 为旋转矩阵，T 为平移矩阵，r1、r2、r3 和 t1、t2、t3 分别为相应的元素。

Step2，计算三维坐标：根据目标物体在左右相机坐标系下的位置，计算出其三维坐标。根据三角形相似原理：

，

其中，

，

其中，B为两个视觉摄像头的中心距，

基线在世界坐标系下斜率

，

由此计算PH斜率：

，

计算H点坐标

，

，

最终可以获得目标物P点坐标X3，Y3：

，

。

实施例2

在实施例1的基础上，本实施例提供了一种基于多视角融合的岸桥海侧安全监控方法，包括如下步骤：

S1，目标发现阶段，岸桥海侧固定式摄像头完成部署，通过运动目标监测模块9自动识别港口水域动态目标，休眠状态自动触发岸桥海侧固定式摄像头唤醒采集实时视频流数据，反之则处于休眠状态节省能耗。

S2，目标定位阶段，实时视频流数据处理步骤，接收来自岸桥海侧固定式摄像头的实时视频流数据，通过弱小运动目标识别及跟踪模块6识别港口水域安全相关弱小目标，随后通过视角特征匹配模块7对多视角目标进行特征匹配并分配唯一的检测目标标签，最后通过基于置信度的多目视觉目标定位模块8，根据岸桥的GPS定位对该目标进行世界坐标系定位，根据岸桥海侧多视角计算置信度确定该目标的精确世界坐标并生成监控报告。

本发明提供了一种基于多视角融合的岸桥海侧安全监控方法，能够解决或部分解决港口面对高速小艇入侵威胁时传统监控方法存在的监控盲区、效率低下和依赖性强等问题，通过低能耗岸桥海侧固定式摄像头自动部署实现港口水域无死角无遮挡监控，同时通过对小目标特殊改进的目标识别算法加以多角度特征融合后通过岸桥多目视觉定位基于置信度对目标进行精准定位，有效提高港口全方位监控应对高速小艇等入侵威胁时的及时发现、及时响应能力，提高港口的安全性和应急响应能力。

实施例3

在前述实施例的基础上，本实施例提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如实施例2所述基于多视角融合的岸桥海侧安全监控方法的指令。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。