一种基于多粒度注意力分层网络的边缘检测系统和方法

技术领域

本发明涉及一种图片处理技术领域，具体涉及一种基于多粒度注意力分层网络的边缘检测系统和方法。

背景技术

数据指数性爆发增长是互联网时代的一个重要特征，而图像数据是人类从客观世界获取信息的一个高效来源。图像边缘检测是图像处理和计算机视觉中的基本任务之一，尤其是特征提取中的一个研究领域。其目标是从自然图像中获取亮度变化剧烈的像素点构成的集合，边缘是图像最基础也最重要的基本特征之一,广泛应用于运动检测、图像分割、模式识别、人脸识别等数字图像技术领域。传统的边缘检测方法侧重于图像的纹理梯度，计算量小，但是需要人工提取图像特征，且检测效果受到噪声的干扰严重，在检测图片的边缘时经常会发生误检或漏检的情况。随着半导体行业、计算机硬件的发展，算力瓶颈已被打破，推动了深度学习的发展，基于深度学习的边缘检测方法推动了边缘检测的新一轮潮流，许多基于深度学习的边缘检测方法取得了令人印象深刻的效果。

发明《CN106097306A-获取图像边缘检测算子的方法、图像边缘检测方法及装置》提供了一种获取图像边缘检测算子的方法，该方法通过目标划分模块在目标图像中划分出第一目标像素点的四邻域，然后进行预设插值倍率进行双线性插值处理：从四邻域中任选一个像素点作为第二目标像素点，建立第一目标像素点和第二目标像素点的位置关系，根据位置关系以及双线性插值公式确定图像边缘检测函数关系式。此方法比传统的图像边缘检测算子(如Sobel算子、Canny算子等)具有更好的抗噪性能，但存在一个问题，即插值倍率需要人为预先设定。如何设定合适的插值倍率，针对不同类型的图像是否需要适当调整插值倍率，这一参数对边缘检测的效果有一定程度的影响。

发明《CN109255794A-一种标准件深度全卷积特征边缘检测方法》提供一种标准件全卷积特征边缘检测方法，该方法基于全卷积特征(RCF)技术，在卷积神经网络(CNN)构架下，从数据集中训练出全卷积特征卷积神经网络作为初始边缘检测模型，生成标准件边缘图，。然后由专家标注出标准件边缘图的关键边缘、非关键边缘和错误边缘，将所有关键边缘作为正样本、所有非关键边缘和错误边缘作为负样本从而得到专家辅助标准件边缘图。建立损失函数，量化正样本与边缘检测模型生成的边缘图之间的“误差”，通过梯度下降算法，强化学习，缩小“误差”，得到新的边缘检测模型。该方法采用深度学习模型，可以自动地学习到图像中的边缘特征，不需要人工设计特征提取算法，相对传统边缘检测方法有较大提升。尽管基于CNN的方法擅长产生具有语义的轮廓，且无需手工提取边缘特征，但与专家标注图相比，预测边缘相对较厚。

发明内容

本发明所要解决的技术问题是：现有的边缘检测方法需要人为预先设定插值倍率，手工提取边缘特征，预测边缘较厚，本发明提供了解决上述问题的一种基于多粒度注意力分层网络的边缘检测系统和方法。

本发明通过下述技术方案实现：

基于多粒度注意力分层网络的边缘检测系统，包括特征图融合模块、多个多粒度特征分层模块、多个通道注意力模块和多个空间注意力模块；

所述空间注意力模块用于对分层网络前两层卷积输出的的特征图进行筛选，获得底层特征细节丰富的特征图，并将所述底层特征细节丰富的特征图发送给所述特征图融合模块；

所述多粒度特征分层模块用于对分层网络后三层卷积输出的特征图进行膨胀卷积，并将膨胀卷积后的特征图与普通卷积的特征图做残差，获得充分提取和融合了多粒度的特征图，并将所述充分提取和融合了多粒度的特征图发送给所述通道注意力模块；

所述通道注意力模块对所述充分提取和融合了多粒度的特征图进行加权处理，提取出特征图中的关键边缘信息，并将具有关键边缘信息的特征图发送给所述特征图融合模块；

所述特征图融合模块将所述底层特征细节丰富的特征图和具有关键边缘信息的特征图进行融合，得到最终的边缘检测图。

现有边缘检测技术需要人工设计特征提取算法，对图像边缘部分的处理不够细致，得到的边缘检测图的边缘较厚。由于直接使用池化层将信息融合可能会丢失关键信息，导致关键信息无法被直接识别出来，所以本发明通过所述空间注意力模块，将图像中的空间域信息做对应的空间变换，从而将关键的信息提取出来并剔除噪声，分层网络前两层卷积输出的的特征图具有低级特征，低级特征通常包含丰富的细节前景和复杂的背景，这是干扰边缘检测效果的一个重要因素，通过所述空间注意力模块去帅选包含丰富细节的底层特征的空间信息，而不是平等的考虑所有的空间位置，这有助于生成更加清晰的边缘；分层网络后三层卷积输出的特征图具有高级特征，所述多粒度特征分层模块采用不同扩张系数的膨胀卷积去获取高级特征的多粒度特征，得到不同粒度的特征图，将所述不同粒度的特征图与后三层输出的特征图做残差，防止过拟合及梯度消失，增加信息流的流动，通过这种方式，所述多粒度特征分层模块的输出充分提取和融合了多粒度特征，膨胀卷积与普通卷积的相同点在于，卷积核的大小是一样的，故分层网络的参数数量不变，但是膨胀卷积具有更大的感受野，因此膨胀卷积能更好的提取图像相邻像素点之间的关系。分层网络中不同的特征通道对不同的语义产生响应，所述通道注意力模块对每个通道上的特征图像都赋予一个权重，以此加权关联性较高的边缘特征图，权重越大表示该通道与关键信息的相关度越高，通过所述通道注意力模块，更高效地提取出特征图中的关键边缘信息，本发明使用通道注意力模块、空间注意力模块和多粒度特征分层模块结合的方法去解决深度神经网络预测边界过厚和背景干扰的问题，能从自然图像中提取清晰的边缘，无需手工提取边缘特征，并且取得良好的视觉效果，提升边缘检测评价指标的性能。

具体的，所述多粒度特征分层模块用公式表示为：

其中，f表示输入，f∈R

采用扩张系数分别为1，2，3的膨胀卷积去获取高级特征的多粒度特征，然后将卷积后的特征图与具有不同粒度的特征图做残差，以此防止过拟合以及梯度消失，增加信息流的流动。通过这种方式，该模块的输出充分的提取和融合了多粒度特征。

优选的，当K设置为3时，所述多粒度特征分层模块的输出为：

MFM(f)＝([x

具体的，令f∈R

w＝F(v，W)＝Sigmoid(fc

其中w表示各个通道的权重，σ表示Relu激活函数，fc

CA(f)＝w*f+f。

CNN中不同的特征通道对不同的语义产生响应。使用通道注意力机制，为不同特征通道增加通道注意力，以此加权那些关联性较高的特征图。

具体的，令f

S

S2＝conv

其中CA(f)表示通道注意力，conv

SA(f

一种基于多粒度注意力分层网络的边缘检测方法，包括以下步骤：

训练阶段：

网络模型参数初始化；

将数据集输入参数初始化后的网络模型中，所述网络模型对所述数据集进行多层卷积处理，输出特征图；

对第二层卷积输出的特征图进行上采样，将上采样后的特征图与第一层卷积输出的特征图进行拼接，对拼接后的特征图进行卷积、筛选，得到底层特征细节丰富的第一特征图；

对第三层卷积输出的特征图、第四层卷积输出的特征图和第五层卷积输出的特征图分别进行膨胀卷积；

将膨胀卷积后的第三层卷积输出的特征图与第三层卷积输出的特征图做残差，再依次加权、卷积和上采样后，得到第二特征图；

将膨胀卷积后的第四层卷积输出的特征图与第四层卷积输出的特征图做残差，再依次加权、卷积和上采样后，得到第三特征图；

将膨胀卷积后的第五层卷积输出的特征图与第五层卷积输出的特征图做残差，再依次加权、卷积和上采样后，得到第四特征图；

所述第一特征图分别与所述第二特征图、第三特征图和第四特征图进行拼接后，得到三个初次拼接特征图；再将所述三个初次拼接特征图进行相互拼接，并合成为一张特征图；通过损失函数对合成后的特征图进行监督训练，输出最终边缘检测图，得到训练好的网络模型；

预测阶段：

使用训练好的网络模型对待检测的图像进行边缘检测。

每次经过所述网络模型骨干网络的卷积层采样后，特征图的尺寸都会变小，因此需要通过上采样将特征图统一到相同尺寸；通过所述空间注意力模块对特征图进行筛选，得到底层特征细节丰富的第一特征图；通过所述多粒度特征分层模块对第三层卷积输出的特征图、第四层卷积输出的特征图和第五层卷积输出的特征图分别进行膨胀卷积和残差处理，得到充分提取和融合了多粒度的特征图；所述多粒度特征分层模块将处理后的特征图输入到所述通道注意力模块，所述通道注意力模块对输入的特征图进行加权处理，得到具有关键边缘信息的特征图；对所述通道注意力模块输出的特征图进行卷积、上采样，得到第二特征图、第三特征图和第四特征图，最后将获得的特征图进行两次拼接，再合成为一张特征图，通过损失函数对合成的一张特征图进行优化，网络模型输出最终的边缘检测图。本发明方法克服了现有技术中需要人工设计特征提取算法的问题，可以自动地学习到图像中的边缘特征，而且本发明发放对图像边缘部分处理地更加细致，预测出来的边缘图像能产生更好的视觉效果。

具体的，所述损失函数定义为：

L(W)＝L

其中λ是平衡L

其中I是一个输出图像，T是模型的输出预测图像，E表示图像中所有的像素点，E

优选的，所述网络模型参数初始化时，BatchSize设置为8，初始学习率设置为0.01，权重衰减设置为1e-4，训练epoch设置为20，λ设置为0.01。

优选的，通过梯度下降算法和反向传播算法，不断优化损失函数，拟合出清晰的特征图边缘。

优选的，所述网络模型以VGG网络为骨干网络，移除三个全连接层和最后的池化层。

本发明具有如下的优点和有益效果：

本发明一种基于多粒度注意力分层网络的边缘检测系统和方法，提出了一种新颖的边缘检测网络模型，该网络模型使用通道注意力模块、空间注意力模块和多粒度特征分层模块融合的方法去解决深度神经网络预测边界过厚和背景干扰的问题。可以从自然图像中提取清晰的边缘，无需手工提取边缘特征，并且取得良好的视觉效果，提升边缘检测评价指标的性能。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的系统结构图。

图2为本发明方法的网络框架示意图。

图3为本发明实施实验结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

现有的边缘检测方法需要人为预先设定插值倍率，手工提取边缘特征，预测边缘较厚，本实施例一种基于多粒度注意力分层网络的边缘检测系统和方法，提出一种新颖的边缘检测网络模型，该网络模型使用通道注意力模块、空间注意力模块和多粒度特征分层模块结合的方法去解决深度神经网络预测边界过厚和背景干扰的问题，可以从自然图像中提取清晰的边缘，无需手工提取边缘特征，并且取得良好的视觉效果，提升边缘检测评价指标的性能。

如图1和图2所示，基于多粒度注意力分层网络的边缘检测系统，包括特征图融合模块、多个多粒度特征分层模块、多个通道注意力模块和多个空间注意力模块；

空间注意力模块用于对分层网络前两层卷积输出的的特征图进行筛选，获得底层特征细节丰富的特征图，并将底层特征细节丰富的特征图发送给特征图融合模块；

多粒度特征分层模块用于对分层网络后三层卷积输出的特征图进行膨胀卷积，并将膨胀卷积后的特征图与普通卷积的特征图做残差，获得充分提取和融合了多粒度的特征图，并将充分提取和融合了多粒度的特征图发送给通道注意力模块；

通道注意力模块对充分提取和融合了多粒度的特征图进行加权处理，提取出特征图中的关键边缘信息，并将具有关键边缘信息的特征图发送给特征图融合模块；

特征图融合模块将底层特征细节丰富的特征图和具有关键边缘信息的特征图进行融合，得到最终的边缘检测图。

现有边缘检测技术需要人工设计特征提取算法，对图像边缘部分的处理不够细致，得到的边缘检测图的边缘较厚。由于直接使用池化层将信息融合可能会丢失关键信息，导致关键信息无法被直接识别出来，所以本实施例通过空间注意力模块，将图像中的空间域信息做对应的空间变换，从而将关键的信息提取出来并剔除噪声，分层网络前两层卷积输出的的特征图具有低级特征，低级特征通常包含丰富的细节前景和复杂的背景，这是干扰边缘检测效果的一个重要因素，通过空间注意力模块去帅选包含丰富细节的底层特征的空间信息，而不是平等的考虑所有的空间位置，这有助于生成更加清晰的边缘；分层网络后三层卷积输出的特征图具有高级特征，多粒度特征分层模块采用不同扩张系数的膨胀卷积去获取高级特征的多粒度特征，得到不同粒度的特征图，将不同粒度的特征图与后三层输出的特征图做残差，防止过拟合及梯度消失，增加信息流的流动，通过这种方式，多粒度特征分层模块的输出充分提取和融合了多粒度特征，膨胀卷积与普通卷积的相同点在于，卷积核的大小是一样的，故分层网络的参数数量不变，但是膨胀卷积具有更大的感受野，因此膨胀卷积能更好的提取图像相邻像素点之间的关系。分层网络中不同的特征通道对不同的语义产生响应，通道注意力模块对每个通道上的特征图像都赋予一个权重，以此加权关联性较高的边缘特征图，权重越大表示该通道与关键信息的相关度越高，通过通道注意力模块，更高效地提取出特征图中的关键边缘信息，本实施例使用通道注意力模块、空间注意力模块和多粒度特征分层模块结合的方法去解决深度神经网络预测边界过厚和背景干扰的问题，能从自然图像中提取清晰的边缘，无需手工提取边缘特征，并且取得良好的视觉效果，提升边缘检测评价指标的性能。

多粒度特征分层模块用公式表示为：

其中，f表示输入，f∈R

采用扩张系数分别为1，2，3的膨胀卷积去获取高级特征的多粒度特征，然后将卷积后的特征图与具有不同粒度的特征图做残差，以此防止过拟合以及梯度消失，增加信息流的流动。通过这种方式，该模块的输出充分的提取和融合了多粒度特征。

本实施例中K设置为3，当K设置为3时，多粒度特征分层模块的输出为：

MFM(f)＝([x

具体的，令f∈R

w＝F(v，W)＝Sigmoid(fc

其中w表示各个通道的权重，σ表示Relu激活函数，fc

CA(f)＝w*f+f。

CNN中不同的特征通道对不同的语义产生响应。使用通道注意力机制，为不同特征通道增加通道注意力，以此加权那些关联性较高的特征图。

令f

S

S

其中CA(f)表示通道注意力，conv

SA(f

如图2所示，一种基于多粒度注意力分层网络的边缘检测方法，包括以下步骤：

训练阶段：

网络模型参数初始化；

将数据集输入参数初始化后的网络模型中，网络模型对所述数据集进行多层卷积处理，输出特征图；

对第二层卷积输出的特征图进行上采样，将上采样后的特征图与第一层卷积输出的特征图进行拼接，对拼接后的特征图进行卷积、筛选，得到底层特征细节丰富的第一特征图；

对第三层卷积输出的特征图、第四层卷积输出的特征图和第五层卷积输出的特征图分别进行膨胀卷积；

将膨胀卷积后的第三层卷积输出的特征图与第三层卷积输出的特征图做残差，再依次加权、卷积和上采样后，得到第二特征图；

将膨胀卷积后的第四层卷积输出的特征图与第四层卷积输出的特征图做残差，再依次加权、卷积和上采样后，得到第三特征图；

将膨胀卷积后的第五层卷积输出的特征图与第五层卷积输出的特征图做残差，再依次加权、卷积和上采样后，得到第四特征图；

第一特征图分别与第二特征图、第三特征图和第四特征图进行拼接后，得到三个初次拼接特征图；再将三个初次拼接特征图进行相互拼接，并合成为一张特征图；通过损失函数对合成后的特征图进行监督训练，输出最终边缘检测图，得到训练好的网络模型；

预测阶段：

使用训练好的网络模型对待检测的图像进行边缘检测。

每次经过网络模型骨干网络的卷积层采样后，特征图的尺寸都会变小，因此需要通过上采样将特征图统一到相同尺寸；通过空间注意力模块对特征图进行筛选，得到底层特征细节丰富的第一特征图；通过多粒度特征分层模块对第三层卷积输出的特征图、第四层卷积输出的特征图和第五层卷积输出的特征图分别进行膨胀卷积和残差处理，得到充分提取和融合了多粒度的特征图；多粒度特征分层模块将处理后的特征图输入到通道注意力模块，通道注意力模块对输入的特征图进行加权处理，得到具有关键边缘信息的特征图；对通道注意力模块输出的特征图进行卷积、上采样，得到第二特征图、第三特征图和第四特征图，最后将获得的特征图进行两次拼接，再合成为一张特征图，通过损失函数对合成的一张特征图进行优化，网络模型输出最终的边缘检测图。本实施例方法克服了现有技术中需要人工设计特征提取算法的问题，可以自动地学习到图像中的边缘特征，而且本发明发放对图像边缘部分处理地更加细致，预测出来的边缘图像能产生更好的视觉效果。

结合类平衡交叉熵损失函数来训练网络，函数定义为：

其中I是一个输出图像，T是模型的输出预测图像，E表示图像中所有的像素点，E

其中p

L(W)＝L

其中λ是平衡L

本实施例中，网络模型参数初始化时，BatchSize设置为8，初始学习率设置为0.01，权重衰减设置为1e-4，训练epoch设置为20，λ设置为0.01。通过梯度下降算法和反向传播算法，不断优化损失函数，拟合出清晰的特征图边缘。网络模型以VGG网络为骨干网络，移除三个全连接层和最后的池化层。数据集为320×320尺寸。

如图3所述，通过本实施例的边缘检测系统和方法，输出的边缘检测图像的边界较细，受背景干扰较少，能提取清晰的边缘，无需手工提取边缘特征，取得良好的视觉效果，提升了边缘检测评价指标的性能。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。