一种基于图像处理的计算干滩长度的方法及系统

技术领域

本发明涉及智能检测与控制处理技术领域，尤其涉及一种基于图像处理的计算干滩长度的方法及系统。

背景技术

干滩长度测量目前存在几种方法，都会存在一些大大小小的弊端:采用人工在坝体巡视目测估算，准确与否取决于工人的经验，其准确度差、时性差，特别在暴风骤雨等恶劣天气条件下会严重威胁到巡检人员的生命安全；采用硬件采集设备成本较高，尾矿库大部分是依山而建，设备安装和维护比较困难,随着尾矿坝的干滩延长，这些设备都需要后期改变，费时费力；采用标志物测量方法在测量过程中采用人为安放标志物的方法作为水线坐标参考物，不仅存在安全隐患，还增加了误差来源。至少存在两种误差:第一，在人为安放标志物过程中产生的误差，导致参照系不合理，并影响后续测量的真实值；第二，由于标志物在全图中所占比例小，标志物坐标需要人为提取，会产生像素坐标误差，影响测量值。因此，为了满足实际需要，采用深度学习算法计算干滩长度，但是Mask R-cnn算法大目标尺寸物体识别并非最优，进而影响测算精度。

虽然近年来提出了大量的图像处理方法，还出现了通过深度学习和神经网络进行图像处理的方案，但适用于识别干滩水面分界线的方法却很少，如何将干滩长度计算和深度学习、神经网络结合，训练出适合多种不同形式识别干滩水面分界线的神经网络是目前急需解决的问题。

发明内容

本发明提供一种基于图像处理的计算干滩长度的方法及系统，用以解决现有技术中识别干滩水面的分界线的位置的精确度低，进一步解决计算干滩长度精度低的问题。

一方面，为了实现上述目的，本发明提供一种基于图像处理的计算干滩长度的方法，包括：

获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；

基于所述感兴趣区域进行目标类别判定，输出处理后的图像；

在处理后的图像中选取参考点，提取所述参考点的像素坐标，根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。

可选地，对所述干滩图像进行处理包括：将所述干滩图像经过基础ResNet-101网络、特征金字塔FPN网络，得到特征图像；

将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。

可选地，基于所述感兴趣区域ROI进行目标类别判定，输出处理后的图像包括：将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；

将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；

基于目标类别、目标位置生成目标掩膜，输出识别图像。

可选地，所述ResNet-101网络、特征金字塔FPN网络、区域建议RPN网络均统一使用同一损失函数进行训练。

可选地，训练时，将训练好的ResNet-50的学习率权值转移到ResNet-101的训练中；

对图像进行卷积和池化处理，使其特征图的大小不断减小；

进行反卷积操作；

对每一个像素值进行分类。

另一方面，为了实现上述目的，本发明还提供了一种基于图像处理的计算干滩长度的系统，包括：

数据获取模块，用于获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；

数据处理模块，基于所述感兴趣区域进行目标类别判定，输出处理后的图像；

计算模块，用于在处理后的图像中选取参考点，根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。

可选地，数据获取模块包括：

特征图像获取模块，用于将所述干滩图像经过基础ResNet-101网络、特征金字塔FPN网络，得到特征图像；

感兴趣区域ROI生成模块，用于将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。

可选地，数据处理模块包括：

第一处理模块，用于将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；

第二处理模块，用于将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；

第三处理模块，基于目标类别、目标位置生成目标掩膜，输出识别图像。

本发明提供的基于图像处理的计算干滩长度的方法及系统具有以下有益效果：采用本技术方案提高识别干滩水面的分界线的位置的精确度，进一步计算干滩长度，从而提高测算精度。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的识别干滩水面分界线的流程示意图；

图2是本发明实施例提供的网络改进模型图；

图3是本发明实施例提供的干滩水面分界线的识别生成图像；

图4是本发明实施例提供的改进前和改进后的神经网络损失函数的对比曲线图；

图5是本发明实施例提供的中干滩长度计算模型图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1至图5描述本发明的一种基于图像处理的计算干滩长度的方法及系统。

如图1所示，本实施例提供一种用于集中供热热力的热泵冷热联供系统，包括以下步骤：

S10、获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；

S20、基于所述感兴趣区域和特征图像进行目标类别判定，输出处理后的图像；输出处理后的图像如图3所示；

S30、在处理后的图像中选取参考点，提取所述参考点的像素坐标，如图5所示，根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。

坐标转换具体包括：以目标建立实际的坐标系-相机坐标系，相机坐标系-图像坐标系，图像坐标系-像素坐标系，即可得到干滩长度测算值L，L的表达式如下：

其中，α是是俯仰角，H是相机高度，fx、fy分别为像素在x轴，y轴上的归一化焦距，(u,v)是参考点坐标，(u

在本实施例中，干滩图像数据集中的数据采用配备的是高清摄像头采集的图像结果，采集了2000幅清晰的干滩图像，并随机选取其中的10％构建一个用于测试的清晰图像集，这些图像没有参与训练；从剩下的90％的图像中，通过10次随机裁剪操作进行数据增强，获得了大约14000张图像，用于构建清晰图像数据集，图像数据集可以用于进行训练。

进一步的，对所述干滩图像进行处理的过程如图2所示，具体包括：将所述干滩图像经过基础ResNet-101网络、特征金字塔FPN网络，得到特征图像；

将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。

进一步的，基于所述感兴趣区域和特征图像进行目标类别判定，输出处理后的图像包括：将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；

将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；

基于目标类别、目标位置生成目标掩膜，输出识别图像。

进一步的，ResNet-101网络、FPN网络、区域建议网络RPN均统一使用同一损失函数进行训练。例如：可以使用L

进一步的，训练时，将训练好的ResNet-50的学习率权值转移到ResNet-101的训练中，然后进行“端到端”的精调，主要的操作包括：对图像进行卷积和池化处理，使其特征图的大小不断减小；然后进行反卷积操作，不断的增大其特征图，最后对每一个像素值进行分类。从而实现对输入图像的准确分割。

在精调过程中，保持其他参数不变，只更新学习率权值。

ResNet-101网络都是从头开始训练的。但是，本方法不是从头开始训练ResNet-101，而是将训练好的ResNet-50权值转移到ResNet-101的训练中，然后进行“端到端”的精调。在精调过程中，保持其他参数不变，只更新学习率权值。这种方法节省了大量的训练时间，使训练只在1200个周期后收敛。采用P

通过实验跟踪整个训练过程中网络性能的变化。如表1本发明中各类神经网络对目标的识别率和图4，可以看出，随着训练周期数的增加，损失变化逐渐趋于平缓，说明网络趋于收敛，同时网络性能也有所提高。经过1200个周期的训练，网络的性能趋于稳定。由于采用反向侧边连接的方法生成特征映射图，包含了低层准确的定位信息和高层语义信息﹐避免了由于MaskR-CNN中FPN只有一条自上而下的侧边连接路径导致的高层特征映射图无法有效包含低层定位信息的问题﹐所提方法对改进FPN的中间层融合了更多的信息，该方法在PAPl上提升了4.3％。在这些数据上获得的令人满意的结果，说明训练良好的网络具有很强的泛化能力，输出的干滩识别图像边缘清晰，可以满足测量要求。

表1

进一步的，由于干滩水面分界线并不是一条直线，只以一个点的像素坐标作为参考不合理。经过分析，取最大值与最小值得中点作为测量的参数，来进一步对干滩进行测量。

对传统的基于几何关系的单目测距模型进行分析，推导目标到相机的距离公式。在实际生活中很难保证相机光轴是平行于水平面的，因此对传统模型做了进一步优化，在其中引入了相机的俯仰角，降低了对相机的安装要求，加入了相机俯仰角的几何关系模型。通过对模型俯仰角，相机高度测试后，确定两者最佳参数。为了保证测量结果的客观有效性，使参考点像素变化区间为±50，每10个像素单位变化计算一次干滩长度，将10个点的平均干滩长度作为最终测量干滩长度。

在一个实施例中，还提供了一种基于图像处理的计算干滩长度的系统，包括：

数据获取模块，用于获取干滩图像数据集，对干滩图像进行处理，得到特征图像和特征图像的感兴趣区域；

数据处理模块，基于所述感兴趣区域进行目标类别判定，输出处理后的图像；

计算模块，用于在处理后的图像中选取参考点。根据单目测距模型，将以目标建立实际的坐标系转换为像素坐标系，推导出转换公式，带入参考点，得到干滩长度测算值。

进一步的，数据获取模块包括：

特征图像获取模块，用于将所述干滩图像经过基础ResNet-101网络、FPN网络，得到特征图像；

感兴趣区域ROI生成模块，用于将所述特征图像输入区域建议网络RPN，生成感兴趣区域ROI。

进一步的，数据处理模块包括：

第一处理模块，用于将特征图像输入全连接网络中进行目标分类，每类图像对应唯一的识别标签，根据识别标签判断分类结果是否准确；

第二处理模块，用于将特征图像输入到全卷积网络中进行目标位置的判定，然后标定出识别对象所在区域，并输出识别区域的坐标；

第三处理模块，基于目标类别、目标位置生成目标掩膜，输出识别图像。

在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。