一种基于智能手机的海况实时估算方法及系统

技术领域

本发明属于海况实时估算技术领域，更具体地，涉及一种基于智能手机的海况实时估算方法及系统。

背景技术

波浪对人类的海上活动有着巨大的影响，准确的海况信息对于规划海洋中的经济航行非常重要，因为可以根据相关海域的海况等级优化船舶航线，避免恶劣的海洋条件，从而降低风险、减少航行时间和燃料费用，提高经济效益。因此，基于海况实时估算的有效航向选择是节约航行燃油费用的有效策略。

在实际航行中，不可能实时测量有效波高，因为这需要昂贵的设备来收集相关数据。由于气象数据和海洋图像比波浪数据本身更便宜，因此可以从它们间接获得波浪的相关信息。波浪高度估计主要有数值方法和计算方法。

然而，数值方法涉及到一定程度的不确定性，因为它们的估计来自于微分方程的解，而微分方程是基于可用的风信息中波能的近似。此外，它们还涉及到大范围海洋波浪预报的数学问题，复杂程度较高。

人工神经网络、支持向量机、贝叶斯网络等机器学习技术在回归和分类中有广泛的应用。上述计算方法在波高估计方面有较好的表现，但它们通常需要提供大量特征，如风条件、波浪数据和雷达图像，还没有机器学习模型能仅根据原始海洋图像估计有效波高。

从数据源的角度来说，在数值方法和计算方法中很难利用实时气象数据和雷达图像数据。一般来说，因为沿海地区的卫星图像可靠性较低，而且较少的浮标和船舶报告导致风测量的分辨率不够，所以很难收集到精确的风数据。此外，昂贵的设备导致收集雷达图像有较高的经济成本。

因此，如何简易、准确、低成本地实现海况的实时估算，成为本领域的技术难题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于智能手机的海况实时估算方法及系统，其目的在于，利用智能手机上配置的相机实时采集原始海洋图像，并进行三维波面重构，基于卷积神经网络搭建深度学习分类模型，以重构的三维波面图像作为输入，学习训练后完成对海况等级的实时准确估算。由此解决现有技术利用实时气象数据和雷达图像数据估算海况准确率低且成本较高的技术问题。

为实现上述目的，按照本发明的一个方面，提供了以下技术方案：

一种基于智能手机的海况实时估算方法，包括如下步骤：

(S1)通过两台智能手机的相机以第一设定频率实时拍摄海面的视频，两个相机拍摄的视频分别记为第一视频和第二视频；该两个相机型号相同，放置位置要求：尽量使得两相机的成像平面中重叠区域大、高度与倾斜角度一致、水平位置相差小；

(S2)对所述第一视频和所述第二视频进行帧同步后，结合相机标定得到的相机外部参数，进行波面的三维重构，得到三维波面图像；

(S3)将所述三维波面图像输入训练好的深度学习分类模型中，输出实时海况等级；

其中，所述深度学习分类模型采用卷积神经网络搭建，其训练方法为：通过步骤(S1)-(S2)的方法获取的多组三维波面图像作为训练集，三维波面图像的有效波高对应的实时海况等级作为标签，对所述卷积神经网络进行训练，得到所述训练好的深度学习分类模型。

优选地，步骤(S2)包括如下子步骤：

(S21)根据背景噪声对所述第一视频和所述第二视频进行帧同步；

(S22)对帧同步后的所述第一视频和所述第二视频以第二设定频率进行图像采样，第一视频对应的采样图像记为第一采样图像，第二视频对应的采样图像记为第二采样图像；对所述第一采样图像和所述第二采样图像进行帧同步；所述第一设定频率大于所述第二设定频率；

(S23)分别提取帧同步后的所述第一采样图像和所述第二采样图像上的特征点，对特征点进行匹配，得到匹配成功的特征点在所述第一采样图像和所述第二采样图像上的像素坐标，进而通过三角测量的方式计算特征点对应空间点在相机坐标系中的三维空间坐标；

(S24)将所述特征点对应空间点在相机坐标系中的三维空间坐标投射到地面坐标系中，得到特征点在地面坐标系中的离散三维坐标，在地面坐标系中对所述离散三维坐标进行拟合，完成波面的三维重构，得到三维波面图像。

优选地，步骤(S24)中，利用预先标定得到的相机外部参数，建立相机坐标系与地面坐标系之间的关系，进而将所述特征点对应空间点在相机坐标系中的三维空间坐标投射到地面坐标系中；所述相机外部参数包括两台相机之间的相对位置。

优选地，步骤(S21)中，使用基于音频信号时间滞后互相关的立体视频帧同步方法即TLCC方法，对所述第一视频和所述第二视频进行帧同步；步骤(S22)中，采用所述TLCC方法对所述第一采样图像和所述第二采样图像进行帧同步。

优选地，所述TLCC方法具体为：设两个视频中的音频信号分别为u(t)和v(t)，用互相关表示该两个音频信号的相似性如下：

其中，t表示时间，τ是时间滞后，

互相关函数取得最大值时，即为两个信号u(t)和v(t)之间的滞后时间τ

根据滞后时间τ

按照本发明的另一方面，还提供了以下技术方案：

一种基于智能手机的海况实时估算系统，包括：

视频采集模块，用于通过两台智能手机的相机以第一设定频率实时拍摄海面的视频，两个相机拍摄的视频分别记为第一视频和第二视频；该两个相机型号相同，放置位置要求：尽量使得两相机的成像平面中重叠区域大、高度与倾斜角度一致、水平位置相差小；

三维重构模块，用于对所述第一视频和所述第二视频进行同步后，结合相机标定得到的相机外部参数，进行波面的三维重构，得到三维波面图像；

海况实时估算模块，用于将所述三维波面图像输入训练好的深度学习分类模型中，输出实时海况等级；

训练模块，用于采用卷积神经网络搭建深度学习分类模型，并对所述卷积神经网络进行训练，训练方法如下：通过调用所述视频采集模块、所述三维重构模块获取多组三维波面图像作为训练集，三维波面图像的有效波高对应的实时海况等级作为标签，对所述卷积神经网络进行训练，得到所述训练好的深度学习分类模型。

优选地，所述三维重构模块包括：

第一子模块，用于根据背景噪声对所述第一视频和所述第二视频进行帧同步；

第二子模块，用于对帧同步后的所述第一视频和所述第二视频以第二设定频率进行图像采样，第一视频对应的采样图像记为第一采样图像，第二视频对应的采样图像记为第二采样图像；对所述第一采样图像和所述第二采样图像进行帧同步；所述第一设定频率大于所述第二设定频率；

第三子模块，用于分别提取所述第一采样图像和所述第二采样图像上的特征点，对特征点进行匹配，得到匹配成功的特征点在所述第一采样图像和所述第二采样图像上的像素坐标，进而通过三角测量的方式计算特征点对应空间点在相机坐标系中的三维空间坐标；

第四子模块，用于将所述特征点对应空间点在相机坐标系中的三维空间坐标投射到地面坐标系中，得到特征点在地面坐标系中的离散三维坐标，在地面坐标系中对所述离散三维坐标进行拟合，完成波面的三维重构，得到三维波面图像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明提供的海况实时估算方法及系统，通过两台智能手机上配置的相机实时采集原始海洋图像，两个智能手机相机型号相同，位置布置上尽量使得成像平面中重叠区域大、高度与倾斜角度一致、水平位置相差小，如此设计使得两个相机内部参数相同，位置上尽量采集同一区域海面图像，以便于后续进行三维波面重构；由于手机视频录制功能启动时刻存在差异，因此两台手机相机视频之间有时间延迟和变化的帧速率，进行三维波面重构时先对视频进行帧同步处理，以确保海况实时估算精度；基于卷积神经网络搭建深度学习分类模型，以重构的三维波面图像作为输入，学习训练后完成对海况等级的准确估算。相比传统的利用气象数据和雷达图像数据实现海况的实时估计，该方法采用传统且廉价的传统智能手机相机，经济高效地完成对原始海洋图像的实时采集，较好地解决了数据源的问题；另一方面，采用卷积神经网络搭建深度学习分类模型，利用三维波面图像数据集对深度学习分类模型进行训练，训练好后输入实时的三维波面图像即可输出实时海况等级，有效地提高了海况等级的估算准确性，实时海况估算方法简易、准确、经济成本低。对于船舶航行中，根据相关海域的海况优化船舶航线，避免恶劣的海洋条件，降低风险、减少航行时间和燃料费用，提高经济效益等都具有重要的意义。

2、本发明提供的海况实时估算方法及系统，三维波面重构时先对两个相机视频进行帧同步处理，对同步处理后的视频进行图像采样，对两相机采样图像再次进行帧同步；两次帧同步处理确保得到的两相机采样图像为帧同步图像，提升对同一海域、同一时间的波面三维重构的数据准确性，确保海况实时估算精度。

3、本发明提供的海况实时估算方法及系统，在波面三维重构时先进行相机内外参数标定，利用标定得到的相机外部参数，建立相机坐标系与地面坐标系之间的关系，进而将采样图像中特征点对应空间点在相机坐标系中的三维空间坐标投射到地面坐标系中，进行波面三维重构。

4、本发明提供的海况实时估算方法及系统，利用基于音频信号时间滞后互相关的立体视频帧同步方法(TLCC方法)对两相机视频进行帧同步，对两相机采样图像进行帧同步，以确保海况实时估算精度。

5、本发明提供的海况实时估算方法及系统，使用卷积神经网络通过不断加深网络结构来提升性能，对特征的学习能力强，学习训练好后输入三维波面图像，即可实时输出实时海况等级，实时性好，准确度高。

附图说明

图1是本发明较佳实施例中一种基于智能手机的海况实时估算方法流程示意图；

图2是本发明较佳实施例中VGGNet卷积神经网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供一种基于智能手机的海况实时估算方法，能够在没有气象数据和雷达图像数据的情况下，利用传统的智能手机相机搭建低成本的立体视觉系统，实时采集原始海洋图像，并基于卷积神经网络实现对海况高准确度、低成本的实时估算。

如图1所示，本发明基于智能手机的海况实时估算方法包括如下步骤：

(1)首先，搭建立体视觉系统，通过两台相同型号智能手机上的相机，实时拍摄海面的视频。理论上需要两台手机同步录制视频，然而由于实际上手机视频录制功能启动时刻存在差异，两手机拍摄的视频存在一定时间间隔。

本实施例中，两台相同型号的智能手机统一通过三脚架安置在拖车平台上，镜头视角朝下并朝向波浪传播的方向。左右相机的放置位置并没有严格的限制，在实验操作过程中，对相机的放置要求主要为：尽量使得左右相机的成像平面中重叠区域大、相机的高度与倾斜角度一致、相机的水平位置相差小。在实验中，通过不断调整相机的位置和朝向状态来获得一个较为理想的放置位置。

(2)要实现对相机拍摄的视频数据进行准确的三维表面重建，关键一步是相机标定，计算相机的内外参数。相机内部参数标定获得焦距向量、数字传感器主点坐标和失真向量。外部参数标定可以获得两个相机之间的相对位置。

本实施例中，采用张正友标定法，利用1m×1m的黑白二维棋盘格组成的标定板进行标定：将同一标定板放置在拍摄区域中的各个位置，采集标定板在不同位姿时的图片，提取所有图片像上的角点(方格相交点)像素坐标，通过对应矩阵计算出相机的内外参数初始值。该方法在实验操作上较为简单，并且结果精度高，可以满足大部分场合的需求，在得到拍摄图像后，在Matlab中调用相机标定工具包对立体视觉系统进行标定。

(3)由于手机视频录制功能启动时刻存在差异，因此两手机相机拍摄的视频之间有时间延迟和变化的帧速率。使用基于音频信号时间滞后互相关(TLCC)的立体视频帧同步方法，根据背景噪声实现两个独立视频的同步。

TLCC方法识别两个音频信号u(t)和v(t)之间的相似性，并用互相关表示：

其中，t表示时间，τ是时间滞后，

在计算了两个信号之间的互相关之后，互相关函数取得最大值时，即为两个信号u(t)和v(t)之间的滞后时间：

根据滞后时间τ

(4)对两手机视频以30Hz的频率进行采样，采用TLCC方法对采样视频进行同步，从同步后的采样视频中以10Hz的频率进行左右相机图像采样，然后对采样图像再次帧同步。本步骤中，对原始视频帧同步后，为了获得较高的原始图像质量，在图像采样过程中，对每个采样图像采用TLCC方法再次进行同步，以确保帧速率保持不变；对存在时间差异的视频/图像进行两次同步以保证海况实时估算精度。图像采样的频率相比视频拍摄的频率从30Hz降低至10Hz以减少计算时间。

(5)得到帧同步的采样图像后，分别提取左右相机所得采样图像上的特征点，对特征点进行匹配，得到匹配成功的特征点在左右图像上的像素坐标，利用相机标定得到的相机的内外参数，通过三角测量的方式计算特征点对应空间点在相机坐标系中的三维空间坐标。

本实施例中，本步骤通过免费的开源系统WASS来完成。首先利用wass_match模块对每一对图像提取并匹配特征点，通过极化过滤去除错误的匹配点，初步得到相机外参；接着利用wass_autocalibrate模块对所有图像进行评估，得到最优相机外参，完成自动校准。最终利用校准后的内外参数计算得到特征点对应空间点在相机坐标系中的三维坐标。

(6)利用相机标定得到的相机外部参数，建立相机坐标系与地面坐标系之间的关系，将相机坐标系中的特征点对应的三维空间坐标投射到地面坐标系中，得到特征点在地面坐标系中的离散三维坐标，在地面坐标系中对特征点的离散三维坐标进行拟合，得到波面数据完成三维重构，得到三维波面图像。

本实施例中，利用wass_stereo模块对所有得到的特征点做进一步的优化处理：首先通过密集立体算法得到的未过滤的视差图，对于视差图边界上的差异值、环境噪声及错点，利用膨胀形态学处理和侵蚀滤镜去除；接着进行立体校正和密集三维重构，对特征点的离散三维坐标进行拟合，生成波面。

(7)通过步骤(1)-(6)获取多组重构后的三维波面图像作为神经网络的数据集，按照8:2的比例划分训练集与测试集。采用VGGNet卷积神经网络搭建深度学习分类模型，将连续变化的有效波高转化为分类变量：参照相关国际标准，对有效波高进行分类，将连续变化的波高转化为实时海况等级，三维波面图像的有效波高对应的实时海况等级作为标签，对VGGNet卷积神经网络进行训练，得到训练好的深度学习分类模型。

本实施例中，VGGNet卷积神经网络的结构如图2所示。VGGNet全部使用3×3的卷积核和2×2的池化核，通过不断加深网络结构来提升性能。网络层数的增长不会带来参数量上的爆炸，因为参数量主要集中在最后三个全连接层中。两个3×3卷积层的串联相当于1个5×5的卷积层，3个3×3的卷积层串联相当于1个7×7的卷积层。但是3个3×3的卷积层参数量只有7×7的一半左右，且前者可以有3个非线性操作，而后者只有1个非线性操作，这样使得前者对特征的学习能力更强。

在上述获取了训练好的深度学习分类模型的基础上，实际应用时，通过上述步骤(1)-(6)实时获取三维波面图像，输入训练好的深度学习分类模型，即可输出实时海况等级。

本发明实施例还提供一种基于智能手机的海况实时估算系统，包括：

视频采集模块，用于通过两台智能手机的相机以第一设定频率实时拍摄海面的视频，两个相机拍摄的视频分别记为第一视频和第二视频；该两个相机型号相同，放置位置要求：尽量使得两相机的成像平面中重叠区域大、高度与倾斜角度一致、水平位置相差小；

三维重构模块，用于对所述第一视频和所述第二视频进行同步后，结合相机标定得到的相机外部参数，进行波面的三维重构，得到三维波面图像；

海况实时估算模块，用于将所述三维波面图像输入训练好的深度学习分类模型中，输出实时海况等级；

训练模块，用于采用卷积神经网络搭建深度学习分类模型，并对所述卷积神经网络进行训练，训练方法如下：通过调用所述视频采集模块、所述三维重构模块获取多组三维波面图像作为训练集，三维波面图像的有效波高对应的实时海况等级作为标签，对所述卷积神经网络进行训练，得到所述训练好的深度学习分类模型。

所述三维重构模块包括：

第一子模块，用于根据背景噪声对所述第一视频和所述第二视频进行帧同步；

第二子模块，用于对帧同步后的所述第一视频和所述第二视频以第二设定频率进行图像采样，第一视频对应的采样图像记为第一采样图像，第二视频对应的采样图像记为第二采样图像；对所述第一采样图像和所述第二采样图像进行帧同步；所述第一设定频率大于所述第二设定频率；

第三子模块，用于分别提取所述第一采样图像和所述第二采样图像上的特征点，对特征点进行匹配，得到匹配成功的特征点在所述第一采样图像和所述第二采样图像上的像素坐标，进而通过三角测量的方式计算特征点对应空间点在相机坐标系中的三维空间坐标；

第四子模块，用于将所述特征点对应空间点在相机坐标系中的三维空间坐标投射到地面坐标系中，得到特征点在地面坐标系中的离散三维坐标，在地面坐标系中对所述离散三维坐标进行拟合，完成波面的三维重构，得到三维波面图像。

其中，各模块的具体实施方式可以参考方法实施例中的描述，本发明实施例将不再复述。

本发明利用智能手机上配置的光学相机，搭建低成本的立体视觉系统，实时采集原始海洋图像，实现三维波面重构，并基于卷积神经网络搭建深度学习分类模型，以重构的三维波面图像作为输入，学习训练后完成对海况等级的准确估算。相比传统的利用气象数据和雷达图像数据实现海况的实时估计，该方法采用传统且廉价的传统智能手机相机，经济高效地完成对原始海洋图像的实时采集，较好地解决了数据源的问题；另一方面，相较传统模型，采用卷积神经网络搭建分类模型有效地提高了海况等级的估算准确性。这对于船舶航行中，根据相关海域的海况优化船舶航线，避免恶劣的海洋条件，降低风险、减少航行时间和燃料费用，提高经济效益等都具有重要的意义。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。