一种船只进出港的检测方法及装置

技术领域

本发明涉及船只检测技术领域，特别是指一种船只进出港的检测方法及装置。

背景技术

船舶在海上航行时，常用定位方法包括卫星定位、天文定位、雷达定位、物标定位、航迹推算定位等，根据其定位位置来确定船舶的位置。每隔一段时间，其定位位置会进行更新，结合其位置的经纬度信息及港口位置，即可判断出船舶进出港状态。

上述定位方法至少存在以下问题：

1.当出现极端天气或者雷达无法覆盖的区域时，依靠雷达技术对船只位置分析得出进出港判断的方法就会失效。定位会出现较大偏差，对进出港口的航向判断会造成影响。在这种情况下，需要人工干预。

2.高密集场景下，港口船只进出频繁，且部分船只在港口附近徘徊，单纯依靠位置信息进行进出港判断，具有延迟性。

发明内容

本发明要解决的技术问题是提供一种船只进出港的检测方法及装置，提升了高密集港岙口船只进出港状态判断的准确性和稳定性。

为解决上述技术问题，本发明的技术方案如下：

一种船只进出港的检测方法，所述方法包括：

获取港口监控图像的海面区域；

根据所述港口监控图像以及所述海面区域，通过深度检测网络，识别所述港口监控图像中的船只；

获取所述船只的特征向量和船只进出港状态之间的映射关系；

根据所述映射关系，对船只进出港进行检测，获得检测结果。

可选的，获取港口监控图像的海面区域，包括：

获取港口监控图像；

提取所述港口监控图像中的海面区域和非海面区域；

对所述非海面区域进行灰度化处理，得到海面区域。

可选的，根据所述港口监控图像以及所述海面区域，通过深度检测网络，识别所述港口监控图像中的船只，包括：

将所述港口监控图像的红、绿、蓝三个通道分别作为所述深度检测网络的第一维特征、第二维特征和第三维特征，将所述海面区域作为所述深度检测网络的第四维特征，通过所述深度检测网络，识别所述港口监控图像中的船只。

可选的，通过所述深度检测网络，识别所述港口监控图像中的船只，包括：

通过所述深度检测网络，获得所述港口监控图像中的目标船只的检测位置框；

通过第一预设位置预测算法预测所述目标船只在所述港口监控图像下一视频帧出现的位置，得到预测位置框；

通过第二预设匹配算法对所述预测位置框和所述检测位置框进行判断，确定两帧之间的船只是否为同一船只。

可选的，对所述预测位置框和所述检测位置框进行判断，确定两帧之间的船只是否为同一船只，包括：

对所述预测位置框和所述检测位置框的面积进行交并比判断，如果交并比超过一设定阈值，确认两帧之间的船只为同一船只。

可选的，获取所述船只的特征向量和船只进出港状态之间的映射关系，包括：对所述船只进行跟踪，获得所述船只在所述港口监控图像中的轨迹；

在所述港口监控图像中确定第一线段、第二线段以及第三线段；所述第一线段在港口位置，其方向和海水流向成切向，两端为港口两侧海岸线在入口处的交界点；所述第二线段在港口内部，方向和所述第一线段平行，两端取港口内部距离所述第一线段多个像素与海岸线的交界点；所述第三线段在港口外部，方向和所述第一线段平行，两端取港口外部距离所述第一线段多个像素与海岸线的交界点；

获取所述轨迹和第一线段相交时船舶的第一位置、轨迹和第二线段相交时船舶的第二位置、轨迹和第三线段相交时船舶的第三位置；

根据所述船舶的ID值、船舶在港口监控图像中首次被检测的位置、所述这第一位置、第二位置以及第三位置，和标记的船只的进出港状态，生成所述映射关系。

可选的，根据所述映射关系，对船只进出港进行检测，获得检测结果，包括：

根据所述映射关系，对船只进出港进行检测，获得船只的进出港的航向信息。

本发明的实施例还提供一种船只进出港的检测装置，包括：

第一获取模块，用于获取港口监控图像的海面区域；

识别模块，用于根据所述港口监控图像以及所述海面区域，通过深度检测网络，识别所述港口监控图像中的船只；

第二获取模块，用于获取所述船只的特征向量和船只进出港状态之间的映射关系；

检测模块，用于根据所述映射关系，对船只进出港进行检测，获得检测结果。

可选的，所述第一获取模块具体用于：获取港口监控图像；提取所述港口监控图像中的海面区域和非海面区域；对所述非海面区域进行灰度化处理，得到海面区域。

本发明的实施例还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。

本发明的上述方案至少包括以下有益效果：

通过获取港口监控图像的海面区域；根据所述港口监控图像以及所述海面区域，通过深度检测网络，识别所述港口监控图像中的船只；获取所述船只的特征向量和船只进出港状态之间的映射关系；根据所述映射关系，对船只进出港进行检测，获得检测结果；依靠视觉传感器，在监控画面中，实时检测并跟踪船只目标，并且采用四维特征作为深度网络的输入，增加了其检测的稳定性。此外，采用构建多维特征向量和船只进出港状态的映射关系，极大地提升了高密集港岙口船只进出港状态判断的准确性和稳定性。

附图说明

图1是本发明实施例的船只进出港的检测方法的流程示意图；

图2是本发明实施例的船只进出港的检测方法的具体流程示意图；

图3是本发明实施例的船只进出港的检测装置的模块框示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明的实施例提供一种船只进出港的检测方法，所述方法包括：

步骤11，获取港口监控图像的海面区域；

步骤12，根据所述港口监控图像以及所述海面区域，通过深度检测网络，识别所述港口监控图像中的船只；

步骤13，获取所述船只的特征向量和船只进出港状态之间的映射关系；

步骤14，根据所述映射关系，对船只进出港进行检测，获得检测结果。

该实施例中，依靠视觉传感器，在监控画面中，实时检测并跟踪船只目标，并且采用四维特征作为深度网络的输入，增加了其检测的稳定性。此外，采用构建多维特征向量和船只进出港状态的映射关系，极大地提升了高密集港岙口船只进出港状态判断的准确性和稳定性。

本发明的一可选的实施例中，步骤11可以包括：

步骤111，获取港口监控图像；

步骤112，提取所述港口监控图像中的海面区域和非海面区域；

步骤113，对所述非海面区域进行灰度化处理，得到海面区域。

该实施例中，采集港口监控图像中，可以使用手工标定方法，将海面区域和非海面区域区分开，即将非海面区域图像像素置为0，并对其进行灰度化处理，输出处理后的图像。

本发明的一可选的实施例中，步骤12可以包括：

将所述港口监控图像的红、绿、蓝三个通道分别作为所述深度检测网络的第一维特征、第二维特征和第三维特征，将所述海面区域作为所述深度检测网络的第四维特征，通过所述深度检测网络，识别所述港口监控图像中的船只。

将港口监控图像的红、绿、蓝三个通道作为前三维特征，将所述海面区域作为所述深度检测网络的第四维特征。这里，深度检测网络可以使用类YOLOV4的深度检测网络，对输入进行特征学习。通过提取海面区域作为图像的第四维，可避免监控画面中出现的海岸线或者建筑等对船只检测造成的影响，另外可以丰富深度卷积网络的输入信息，从而使得深度卷积网络可以更好的学习船只特征。

本发明的一可选的实施例中，上述步骤12中，通过所述深度检测网络，识别所述港口监控图像中的船只，包括：

步骤121，通过所述深度检测网络，获得所述港口监控图像中的目标船只的检测位置框；

步骤122，通过第一预设位置预测算法预测所述目标船只在所述港口监控图像下一视频帧出现的位置，得到预测位置框；

步骤123，通过第二预设匹配算法对所述预测位置框和所述检测位置框进行判断，确定两帧之间的船只是否为同一船只。

本发明的一可选的实施例中，步骤123中，对所述预测位置框和所述检测位置框进行判断，确定两帧之间的船只是否为同一船只，可以包括：

对所述预测位置框和所述检测位置框的面积进行交并比判断，如果交并比超过一设定阈值，确认两帧之间的船只为同一船只。

该实施例中，深度检测网络采用深层的卷积网络提取输入图像中的目标船只，对不同尺度大小的船只进行适应性的训练，最终可覆盖港口附近出现的多尺度的船只目标检测，深度检测网络的输出为目标船只的检测位置框。

然后，使用第一预设位置预测算法(如卡尔曼滤波算法)预测船只在下一视频帧中的位置，然后使用第二预设匹配算法(如匈牙利匹配算法)，对预测位置框和检测位置框面积进行交并比判断，如果超过一设定阈值，就认为两帧之间船舶关联成功，即两帧之间的船只为同一船只。

本发明的一可选的实施例中，上述步骤13可以包括：

步骤131，对所述船只进行跟踪，获得所述船只在所述港口监控图像中的轨迹；

步骤132，在所述港口监控图像中确定第一线段、第二线段以及第三线段；所述第一线段在港口位置，其方向和海水流向成切向，两端为港口两侧海岸线在入口处的交界点；所述第二线段在港口内部，方向和所述第一线段平行，两端取港口内部距离所述第一线段多个像素与海岸线的交界点；所述第三线段在港口外部，方向和所述第一线段平行，两端取港口外部距离所述第一线段多个像素与海岸线的交界点；

步骤133，获取所述轨迹和第一线段相交时船舶的第一位置、轨迹和第二线段相交时船舶的第二位置、轨迹和第三线段相交时船舶的第三位置；

步骤134，根据所述船舶的ID值、船舶在港口监控图像中首次被检测的位置、所述这第一位置、第二位置以及第三位置，和标记的船只的进出港状态，生成所述映射关系。

该实施例中，映射关系是通过上述的步骤11和12中的相关模型进行训练得到的，在进行训练时，步骤11中，港口监控图像为港口监控图像样本库。

该实施例中，对跟踪的船只，赋值ID，通过连续帧的跟踪，即可得到船舶在监控画面中的轨迹，最终可以达到对监控画面中多个船只目标进行跟踪的目的。在港口监控图像中指定三条线段，第一条线段在港口位置，标记为A，其方向和海水流向成切向，两端为港口两侧海岸线在入口处的交界点。第二条线段在港口内部，标记为B，方向和A平行，两端取港口内部距离A若干像素与海岸线的交界点。第三条线段在港口外部，标记为C，方向和A平行，两端取港口外部距离A若干像素与海岸线的交界点。

构建多维特征和船舶进出港状态的映射关系：取船舶的ID值、船舶在监控画面中首次被检测的位置、和A线段相交时船舶的位置、和B线段相交时船舶的位置、和C线段相交时船舶的位置作为特征向量，船舶的进出港状态作为标签。使用机器学习对其映射关系进行学习。

本发明的一可选的实施例中，步骤14可以包括：根据所述映射关系，对船只进出港进行检测，获得船只的进出港的航向信息。

该实施例中，根据上述映射关系以及上述船只的特征向量，可以获得船只的进出港的航向信息，即进港还是出港。

如图2所示，为上述方法的具体实现流程：

通过视频传感器采集港口监控图像；样本采集得到港口监控图像样本库；提取图像中海面区域作为图像的第四维；构建深度检测网络，学习图像样本库中目标船只；构建目标船只特征向量和船只进出港标签之间的映射关系。最后可以根据映射关系，判断船只进出港状态。

本发明的上述实施例，通过构建映射关系，以及检测船只的特征向量，可以实时判断船舶进出港的状态信息，且减少人工成本；提升了高密集港岙口船只航向判断的稳定性。

如图3所示，本发明的实施例还提供一种船只进出港的检测装置30，包括：第一获取模块31，用于获取港口监控图像的海面区域；

识别模块32，用于根据所述港口监控图像以及所述海面区域，通过深度检测网络，识别所述港口监控图像中的船只；

第二获取模块33，用于获取所述船只的特征向量和船只进出港状态之间的映射关系；

检测模块34，用于根据所述映射关系，对船只进出港进行检测，获得检测结果。

可选的，所述第一获取模块31具体用于：获取港口监控图像；提取所述港口监控图像中的海面区域和非海面区域；对所述非海面区域进行灰度化处理，得到海面区域。

可选的，根据所述港口监控图像以及所述海面区域，通过深度检测网络，识别所述港口监控图像中的船只，包括：

将所述港口监控图像的红、绿、蓝三个通道分别作为所述深度检测网络的第一维特征、第二维特征和第三维特征，将所述海面区域作为所述深度检测网络的第四维特征，通过所述深度检测网络，识别所述港口监控图像中的船只。

可选的，通过所述深度检测网络，识别所述港口监控图像中的船只，包括：

通过所述深度检测网络，确定所述港口监控图像中的目标船只的检测位置框；

通过第一预设位置预测算法预测所述目标船只在所述港口监控图像下一视频帧出现的位置，得到预测位置框；

通过第二预设匹配算法对所述预测位置框和所述检测位置框进行判断，确定两帧之间的船只是否为同一船只。

可选的，对所述预测位置框和所述检测位置框进行判断，确定两帧之间的船只是否为同一船只，包括：

对所述预测位置框和所述检测位置框的面积进行交并比判断，如果交并比超过一设定阈值，确认两帧之间的船只为同一船只。

可选的，获取所述船只的特征向量和船只进出港状态之间的映射关系，包括：对所述船只进行跟踪，获得所述船只在所述港口监控图像中的轨迹；

在所述港口监控图像中确定第一线段、第二线段以及第三线段；所述第一线段在港口位置，其方向和海水流向成切向，两端为港口两侧海岸线在入口处的交界点；所述第二线段在港口内部，方向和所述第一线段平行，两端取港口内部距离所述第一线段多个像素与海岸线的交界点；所述第三线段在港口外部，方向和所述第一线段平行，两端取港口外部距离所述第一线段多个像素与海岸线的交界点；

获取所述轨迹和第一线段相交时船舶的第一位置、轨迹和第二线段相交时船舶的第二位置、轨迹和第三线段相交时船舶的第三位置；

根据所述船舶的ID值、船舶在港口监控图像中首次被检测的位置、所述这第一位置、第二位置以及第三位置，和标记的船只的进出港状态，生成所述映射关系。

可选的，根据所述映射关系，对船只进出港进行检测，获得检测结果，包括：

根据所述映射关系，对船只进出港进行检测，获得船只的进出港的航向信息。

需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。

本发明的实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。

本发明针对以上缺点，依靠视觉传感器，在监控画面中，实时检测并跟踪船只目标，并且采用四维特征作为深度网络的输入，增加了其检测的稳定性。此外，采用构建多维特征向量和船只进出港状态的映射关系，极大地提升了高密集港岙口船只进出港状态判断的准确性和稳定性。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。