基于双向特征监督的边缘检测方法和装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像处理中的基于双向特征监督的边缘检测方法和装置。

背景技术

边缘检测是图像处理方面的一个重要应用，边缘是不同区域的分界线，是周围(局部)灰度值有显著变化的像素点的集合，有幅值和方向两个属性。

其中G

传统图像处理检测边缘主要包括几个步骤：(1)对图像进行梯度计算；(2)根据梯度赋值进行阈值判断或者非极大值抑制；(3)获取物体的边缘信息，进行轮廓跟踪、形态学运算等。基于传统的阈值进行判断，对于低对比度、灰度分布不均匀等场景下，很容易造成边缘的误检测。

对于边缘检测而言，当前都是采用基于标注的监督模式，但是基于标注的监督模式对于不同尺度的位置精度影响较大，到边缘检测网络训练时网络收敛速度慢，且检测的精度不高。

发明内容

本申请提供一种基于双向特征监督的边缘检测方法和装置，具有有助于提高边缘检测精度，且边缘检测网络训练时网络收敛速度快的特点。

根据第一方面，一种实施例中提供基于双向特征监督的边缘检测方法，包括：

获取待检测图像；

对所述待检测图像依次进行多级的边缘特征抽取处理，每一级的边缘特征抽取处理包括：对于输入本级的输入图像，进行第一边缘特征抽取处理后得到第一边缘特征图，进行第二边缘特征抽取处理后得到第二边缘特征图；对于非最后一级其他每一级的输入图像，进行第三边缘特征抽取处理后得到第三边缘特征图；其中，将相邻两级的边缘特征抽取处理中，前一级边缘特征抽取处理所得到的第三边缘特征图作为后一级的边缘特征抽取处理的输入图像；

对于非第一级的其他每一级的边缘特征抽取处理所输出的第一边缘特征图：将本级的第一边缘特征图与前一级的第一边缘特征图融合后得到本级的第一融合特征图，并对本级的第一融合特征图进行第一边缘置信度映射处理后得到本级的第一映射特征图；

对于第一级的边缘特征抽取处理所输出的第一边缘特征图，进行第一边缘置信度映射处理后得到第一级的第一映射特征图；

对于非最后一级的其他每一级的边缘特征抽取处理所输出的第二边缘特征图：将本级的第二边缘特征图与后一级的第二边缘特征图融合后得到本级的第二融合特征图，并对本级的第二融合特征图进行第二边缘置信度映射处理后得到本级的第二映射特征图；

对于最后一级的边缘特征抽取处理所输出的第二边缘特征图，进行第二边缘置信度映射处理后得到最后一级的第二映射特征图；

将各级的第一映射特征图和第二映射特征图经通道拼接融合处理后再进行1×1卷积运算，得到边缘检测结果。

一个实施例中，所述将相邻两级的边缘特征抽取处理中，前一级边缘特征抽取处理所得到的第三边缘特征图作为后一级的边缘特征抽取处理的输入图像，包括：将相邻两级的边缘特征抽取处理中，前一级边缘特征抽取处理所得到的第三边缘特征图进行池化处理后作为后一级的边缘特征抽取处理的输入图像。

一个实施例中，所述对于输入本级的输入图像，进行第一边缘特征抽取处理后得到第一边缘特征图，进行第二边缘特征抽取处理后得到第二边缘特征图，包括：

对于第一边缘特征抽取处理：将输入本级的输入图像依次经第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到的第一特征图；将输入本级的输入图像依次经第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到的第二特征图；将所述第一特征图和第二特征图进行特征融合处理后再进行1×1卷积处理，得到第一边缘特征图；

对于第二边缘特征抽取处理：将输入本级的输入图像依次经所述的第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到第二特征图；将输入本级的输入图像依次经所述的第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到的第一特征图；将所述第二特征图和第一特征图进行特征融合处理后再进行1×1卷积处理，得到第二边缘特征图；

所述对于非最后一级其他每一级的输入图像，进行第三边缘特征抽取处理后得到第三边缘特征图，包括：所述对于非最后一级其他每一级的输入图像，将所述第一特征图作为第三边缘特征图，或，将所述第二特征图作为第三边缘特征图，或，将第一特征图和第二特征图进行特征融合处理后作为第三边缘特征图。

一个实施例中，所述对于输入本级的输入图像，进行第一边缘特征抽取处理后得到第一边缘特征图，进行第二边缘特征抽取处理后得到第二边缘特征图，包括：

对于第一边缘特征抽取处理：将输入本级的输入图像依次经第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第一特征图；将输入本级的输入图像依次经第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第二特征图；将输入本级的输入图像依次经至少两次3×3卷积处理和至少一次多尺度特征融合处理后，得到第三特征图；将所述第一特征图、第二特征图和第三特征图进行特征融合处理后再进行1×1卷积处理，得到第一边缘特征图；

对于第二边缘特征抽取处理：将输入本级的输入图像依次经所述的第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第二特征图；将输入本级的输入图像依次经所述的至少两次3×3卷积处理和至少一次多尺度特征融合处理后，得到第三特征图；将输入本级的输入图像依次经所述的第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第一特征图；将所述第一特征图、第二特征图和第三特征图进行特征融合处理后再进行1×1卷积处理，得到第二边缘特征图；

所述对于非最后一级其他每一级的输入图像，进行第三边缘特征抽取处理后得到第三边缘特征图，包括：所述对于非最后一级其他每一级的输入图像，将所述第一特征图、第二特征图或第三特征图中的任意一个作为第三边缘特征图，或，将所述第一特征图、第二特征图和第三特征图中的任意两个进行特征融合处理后作为第三边缘特征图，或，将第一特征图、第二特征图和第三特征图进行特征融合处理后作为第三边缘特征图。

一个实施例中，所述对于输入本级的输入图像，进行第一边缘特征抽取处理后得到第一边缘特征图，进行第二边缘特征抽取处理后得到第二边缘特征图，包括：

对于非最后一级边缘特征抽取处理，

对于第一边缘特征抽取处理：将输入本级的输入图像依次经第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到的第一特征图；将输入本级的输入图像依次经第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到的第二特征图；将所述第一特征图和第二特征图进行特征融合处理后再进行1×1卷积处理，得到第一边缘特征图；

对于第二边缘特征抽取处理：将输入本级的输入图像依次经所述的第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到第二特征图；将输入本级的输入图像依次经所述的第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到的第一特征图；将所述第二特征图和第一特征图进行特征融合处理后再进行1×1卷积处理，得到第二边缘特征图；

所述对于非最后一级其他每一级的输入图像，进行第三边缘特征抽取处理后得到第三边缘特征图，包括：将所述第一特征图作为第三边缘特征图，或，将所述第二特征图作为第三边缘特征图，或，将第一特征图和第二特征图进行特征融合处理后作为第三边缘特征图；

对于最后一级边缘特征处理，

对于第一边缘特征抽取处理：将输入本级的输入图像依次经第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第一特征图；将输入本级的输入图像依次经第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第二特征图；将输入本级的输入图像依次经至少两次3×3卷积处理和至少一次多尺度特征融合处理后，得到第三特征图；将所述第一特征图、第二特征图和第三特征图进行特征融合处理后再进行1×1卷积处理，得到第一边缘特征图；

对于第二边缘特征抽取处理：将输入本级的输入图像依次经第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第二特征图；将输入本级的输入图像依次经至少两次3×3卷积处理和至少一次多尺度特征融合处理后，得到第三特征图；将输入本级的输入图像依次经第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第一特征图；将所述第一特征图、第二特征图和第三特征图进行特征融合处理后再进行1×1卷积处理，得到第二边缘特征图。

一个实施例中，所述第一多角度方向的梯度差分卷积处理，包括：将5×5图像滤波核范围内的对应的像素点分为左上角2×2、右上角2×2、左下角2×2、右下角2×2、上中1×2、下中1×2、左中2×1、右中2×1和中间点共9个部分，将所述左上角2×2的135度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的45度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的45度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的135度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到一个3×3特征图；

所述第二多角度方向的梯度差分卷积处理，包括：将5×5图像滤波核范围内的对应的像素点分为左上角2×2、右上角2×2、左下角2×2、右下角2×2、上中1×2、下中1×2、左中2×1、右中2×1和中间点共9个部分，将所述左上角2×2的45度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，将所述右上角2×2的135度方向上的两个像素点的灰度值作差形成该右上角2×2作为一个右上角像素点的灰度值，将所述左下角2×2的135度方向上的两个像素点的灰度值作差形成该左下角2×2作为一个左下角像素点的灰度值，将所述右下角2×2的45度方向上的两个像素点的灰度值作差形成该右下角2×2作为一个右下角像素点的灰度值，将所述上中1×2的两个像素点的灰度值作差形成该上中1×2作为一个上中像素点的灰度值，将所述下中1×2的两个像素点的灰度值作差形成该下中1×2作为一个下中像素点的灰度值，将左中2×1的两个像素点的灰度值作差形成该左中2×1作为一个左中像素点的灰度值，将所述右中2×1的两个像素点的灰度值作差形成该右中2×1作为一个右中像素点的灰度值，将所述中间点像素点的灰度值与自身作差形成该中间点作为一个中间点像素点的灰度值，从而得到一个3×3特征图。

一个实施例中，所述多尺度特征融合处理包括，将特征图经卷积运算后获得预设通道的特征图，再将所获得的预设通道的特征图分别经过两个以上不同膨胀率的空洞卷积运算，然后将对应的两个以上的空洞卷积运算的结果进行求和；所述膨胀率根据边缘检测模型网络结构的需求进行设定。

一个实施例中，所述边缘检测方法实现所基于的边缘检测网络是基于包括边缘特征抽取处理和边缘置信度映射处理所组成的网络架构，结合损失函数进行训练得到；所述损失函数的可以表示为：

其中，N表示边缘特征抽取处理的级数，

一个实施例中，所述边缘检测方法还包括，对于获得的检测结果，通过开运算、闭运算和细化形态学操作中的一种或几种的形态学操作，对检测结果中的多个轮廓进行连接处理。

根据第二方面，一种实施例中提供一种边缘检测方法，包括，基于上述方法中所得到的边缘检测结果进行亚像素边缘提取，包括：

获取像素点中心点处沿图像X轴的灰度梯度值n

计算偏移参数t：

其中g

其中

则像素点中心点的亚像素坐标为(x

获取各个像素点中心点的亚像素坐标，以实现对图像的亚像素边缘提取。

一个实施例中，预设的卷积核可按如下设置：

根据第三方面，一种实施例中提供一种基于双向特征监督的边缘检测装置，包括，

图像获取模块，用于获取待检测图像；

特征抽取模块，包括多级，用于对所述待检测图像依次进行多级的边缘特征抽取处理；每一级的边缘特征抽取处理包括：对于输入本级的输入图像，进行第一边缘特征抽取处理后得到第一边缘特征图，进行第二边缘特征抽取处理后得到第二边缘特征图；对于非最后一级的其他级边缘特征处理进行第三边缘特征抽取处理后得到第三边缘特征图；其中，将相邻两级的边缘特征抽取处理中，前一级边缘特征抽取处理所得到的第三边缘特征图作为后一级的边缘特征抽取处理的输入图像；

第一边缘映射模块，包括多级，与多级的特征抽取模块一一对应，用于对输入的输入图像做第一边缘置信度映射处理；

第二边缘映射模块，包括多级，与多级的特征抽取模块一一对应，用于对输入的输入图像做第二边缘置信度映射处理；

其中，

对于非第一级的其他每一级的特征抽取模块所输出的第一边缘特征图：将本级的第一边缘特征图与前一级的第一边缘特征图融合后得到本级对应的第一融合特征图，并对本级的第一融合特征图输入对应的第一边缘映射模块进行第一边缘置信度映射处理后得到本级的第一映射特征图；

对于第一级的特征抽取模块，将输入的输入图像经边缘特征抽取处理所输出的第一边缘特征图，输入对应的第一边缘映射模块进行第一边缘置信度映射处理后得到第一级的第一映射特征图；

对于非最后一级的其他每一级的特征抽取模块所输出的第二边缘特征图：将本级的第二边缘特征图与后一级的第二边缘特征图融合后得到本级对应的第二融合特征图，并对本级的第二融合特征图输入对应的第二边缘映射模块进行第二边缘置信度映射处理后得到本级的第二映射特征图；

对于最后一级的特征抽取处理模块，将输入的输入图像经边缘特征抽取处理所输出的第二边缘特征图，输入对应的第二边缘映射模块进行第二边缘置信度映射处理后得到最后一级的第二映射特征图；

通道拼接模块，用于将各级的第一映射特征图和第二映射特征图进行通道拼接融合处理；

1×1卷积模块，用于对通道拼接融合处理后的特征图进行1×1卷积运算后得到边缘检测结果。

根据第四方面，一种实施例中提供一种计算机存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现上述任意所述的基于双向特征监督的边缘检测方法，和/或上述任意所述的边缘检测方法。

本申请的有益效果是：对待检测图像进行多级边缘特征抽取处理，且每一级都进行第一边缘特征抽取处理和第二边缘特征抽取处理，采用层级监督的方式实现对不同尺度的监督，并且对于每一级的第一边缘特征抽取处理得到的第一边缘特征图通过低层级到高层级的监督，低层级可以预测细节，高层级可以预测全局，对于每一级的第二边缘特征抽取处理得到的第二边缘特征图通过高层级到低层级的监督，高层级可以预测细节，低层级可以预测全局，通过上述由低到高及由高到低两个方向的监督模式，提升了边缘检测网络训练过程中的网络收敛速度，且也提升了训练的边缘检测网络边缘检测的精度。

附图说明

图1为本申请一种实施例中的边缘检测方法流程示意图；

图2为本申请一种实施例中的边缘检测方法原理示意图；

图3为本申请一种实施例中的第一边缘特征抽取处理和第二边缘特征抽取处理的原理示意图；

图4为本申请一种实施例中的第一边缘特征抽取处理和第二边缘特征抽取处理的原理示意图；

图5为本申请一种实施例中的5×5卷积灰度范围示意图；

图6为本申请一种实施例中的5×5卷积区域划分示意图；

图7为本申请一种实施例中的Roberts梯度差分卷积处理中进行一个方向的差分得到一个3×3特征图的处理过程示意图；

图8为本申请一种实施例中的Roberts梯度差分卷积处理中进行另一个方向的差分得到另一个3×3特征图的处理过程示意图；

图9为本申请一种实施例中的多尺度特征融合处理流程示意图；

图10为本申请一种实施例中的多尺度特征融合处理原理示意图；

图11为本申请一种实施例中的损失函数构建原理示意图。

图12为本申请一种实施例中的边缘检测装置结构框图。

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。

对于边缘检测而言，当前都是采用基于标注的监督模式，即对边缘检测网络进行训练构建损失函数时，要基于训练集的输入图像的标注信息来构建损失函数，这种监督模式对于不同尺度的位置精度影响较大，从而导致，一方面，边缘检测网络训练时网络收敛速度慢，另一方面也使得训练好的边缘检测网络实现的边缘检测精度不高。

为降低传统的监督模式对于不同尺度的位置精度的影响，本申请提供一种基于双向特征监督的边缘检测方法，请参考图1和图2，该边缘检测方法包括：

步骤101、获取待检测图像。

可以理解地，对于待检测图像，进行边缘检测之前，本领域技术人员可以根据需求决定是否进行预处理和如何进行预处理。

步骤102、将待检测图像进行多级边缘特征抽取处理和双向边缘置信度映射处理获取各个映射特征图。具体包括：

对待检测图像依次进行多级的边缘特征抽取处理，每一级的边缘特征抽取处理包括：对于输入本级的输入图像，进行第一边缘特征抽取处理后得到第一边缘特征图，进行第二边缘特征抽取处理后得到第二边缘特征图；对于非最后一级其他每一级的输入图像，进行第三边缘特征抽取处理后得到第三边缘特征图；其中，将相邻两级的边缘特征抽取处理中，前一级边缘特征抽取处理所得到的第三边缘特征图作为后一级的边缘特征抽取处理的输入图像；

对于非第一级的其他每一级的边缘特征抽取处理所输出的第一边缘特征图：将本级的第一边缘特征图与前一级的第一边缘特征图融合后得到本级的第一融合特征图，并对本级的第一融合特征图进行第一边缘置信度映射处理后得到本级的第一映射特征图；对于第一级的边缘特征抽取处理所输出的第一边缘特征图，进行第一边缘置信度映射处理后得到第一级的第一映射特征图；

对于非最后一级的其他每一级的边缘特征抽取处理所输出的第二边缘特征图：将本级的第二边缘特征图与后一级的第二边缘特征图融合后得到本级的第二融合特征图，并对本级的第二融合特征图进行第二边缘置信度映射处理后得到本级的第二映射特征图；对于最后一级的边缘特征抽取处理所输出的第二边缘特征图，进行第二边缘置信度映射处理后得到最后一级的第二映射特征图。

在置信度映射处理中，为了得到认为是边缘的置信度，希望映射到一个0到1范围内的分数，可以采用全连接和sigmoid运算实现，也可以是其他的映射方法，例如全连接和tanh运算。

利用多尺度表示对于提高不同尺度对象的边缘检测至关重要。本申请中，对待检测图像进行多级边缘特征抽取处理，且每一级都进行第一边缘特征抽取处理和第二边缘特征抽取处理，采用层级监督的方式实现对不同尺度的监督，并且对于每一级的第一边缘特征抽取处理得到的第一边缘特征图通过低层级下采样到高层级的监督，低层级可以预测细节，高层级可以预测全局，对于每一级的第二边缘特征抽取处理得到的第二边缘特征图通过高层级上采样到低层级的监督，高层级可以预测细节，低层级可以预测全局，通过上述由低到高及由高到低两个方向的监督模式，提升了边缘检测网络训练过程中的网络收敛速度，且也提升了训练的边缘检测网络边缘检测的精度。

步骤103、将各个映射特征图进行通道拼接处理得到通道融合的特征图；即，将各级的第一映射特征图和第二映射特征图经通道拼接融合处理后得到通道融合的特征图。

步骤104、将通道融合的特征图进行1×1卷积运算(附图中用Conv表示卷积)，得到边缘检测结果。

因此，本申请采用的多尺度的边缘检测方法，结合上述由低到高及由高到低两个方向的全向级联网络的监督模式，不仅有助于提升边缘检测网络训练过程中的网络收敛速度，也有助于提升对物体的边缘和轮廓进行检测分析所能达到的精度。可以理解地，虽然图2所示实施例中，采用了四级的边缘特征抽取处理及与其对应的全向级联网络，但本领域技术人员可以在本方案的基础上进行等同变换，一切基于其上的等同变换都在本申请的保护范围之内。

为增加感受野，一个实施例中，前述的将相邻两级的边缘特征抽取处理中，前一级边缘特征抽取处理所得到的第三边缘特征图作为后一级的边缘特征抽取处理的输入图像，包括，将相邻两级的边缘特征抽取处理中，前一级边缘特征抽取处理所得到的第三边缘特征图进行池化处理后作为后一级的边缘特征抽取处理的输入图像。

为了丰富全向级联网络的监督模式，多尺度特征生成方法可以采用现有的方法，本申请还另外提供了以下三种新的方法，下面对其进行说明。可以理解地，本领域技术人员可以根据以下三种新的方法的基础上进行等同变换，一切基于其上的等同变换都在本申请的保护范围之内。

上述的对于输入本级的输入图像，进行第一边缘特征抽取处理后得到第一边缘特征图，进行第二边缘特征抽取处理后得到第二边缘特征图，可以包括：

方法一，请参考图3。

对于第一边缘特征抽取处理：将输入本级的输入图像依次经第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到的第一特征图；将输入本级的输入图像依次经第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后得到的第二特征图；将第一特征图和第二特征图进行特征融合处理后再进行1×1卷积处理，得到第一边缘特征图。

对于第二边缘特征抽取处理：将第一边缘特抽取处理中得到的第二特征图和第一特征图进行特征融合处理后再进行1×1卷积处理，得到第二边缘特征图。

方法二，请参考图4。

对于第一边缘特征抽取处理：将输入本级的输入图像依次经第一多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第一特征图；将输入本级的输入图像依次经第二多角度方向的梯度差分卷积处理、3×3卷积处理和多尺度特征融合处理后，得到第二特征图；将输入本级的输入图像依次经至少两次3×3卷积处理和至少一次多尺度特征融合处理后，得到第三特征图；将第一特征图、第二特征图和第三特征图进行特征融合处理后再进行1×1卷积处理，得到第一边缘特征图。

对于第二边缘特征抽取处理：将上述第一边缘特征抽取处理中得到的第一特征图、第二特征图和第三特征图进行特征融合处理后再进行1×1卷积处理，得到第二边缘特征图。

方法三，结合图3和图4。

非最后一级的第一边缘特征抽取处理和第二边缘特征抽取处理按照方法一的方案，最后一级的第一边缘特征抽取处理和第二边缘特征抽取处理按照方法二的方案。

其中，在方法三种，非最后一级的第一边缘特征抽取处理和第二边缘特征抽取处理按照方法一的方案，保证足够的特征抽取能力的基础上，提升训练中网络的收敛速度及边缘检测的精度；最后一级的第一边缘特征抽取处理和第二边缘特征抽取处理按照方法二的方案，增强最后一级的特征抽取能力。

基于上述三种方法，对于第三边缘特征图，在方法一中，对于非最后一级其他每一级的输入图像，进行第三边缘特征抽取处理后得到第三边缘特征图，包括：对于非最后一级其他每一级的输入图像，将第一特征图作为第三边缘特征图，或，将第二特征图作为第三边缘特征图，或，将第一特征图和第二特征图进行特征融合处理后作为第三边缘特征图。

其中，将第一特征图和第二特征图进行特征融合处理后的第三边缘特征图，特征表达能力更强，检测的稳定性和精度更高，融合也增加了不同方向的边缘的特征抽取和表达能力。

在方法二中，对于非最后一级其他每一级的输入图像，进行第三边缘特征抽取处理后得到第三边缘特征图，包括：对于非最后一级其他每一级的输入图像，将第一特征图、第二特征图或第三特征图中的任意一个作为第三边缘特征图，或，将所述第一特征图、第二特征图和第三特征图中的任意两个进行特征融合处理后作为第三边缘特征图，或，将第一特征图、第二特征图和第三特征图进行特征融合处理后作为第三边缘特征图。

同样地，融合处理后的第三边缘特征图，特征表达能力更强，检测的稳定性和精度更高，融合也增加了不同方向的边缘的特征抽取和表达能力。

在方法三中，对于第三边缘特征图，对于非最后一级其他每一级的输入图像，则按照在方法一中同样的处理方法进行第三边缘特征抽取处理后得到第三边缘特征图。

采用以上三种方法的任意一种以生成多尺度特征，丰富全向级联网络，而不是使用更深的卷积神经网络。这种方法鼓励学习不同层级中的多尺度表示，并检测其边缘，按照多尺度描绘边缘。另外，还可以生成具有分数参数的紧凑网络。

下面对以上三种方法中的第一多角度方向的梯度差分卷积处理和第二多角度方向的梯度差分卷积处理；需要说明的是，本领域技术人员可以采用现有的方法，本申请还另外提供了以下新的方法，下面对其进行说明。可以理解地，本领域技术人员可以根据以下的方法的基础上进行等同变换，一切基于其上的等同变换都在本申请的保护范围之内。

对于第一种多角度方向的梯度差分卷积处理，请参考图5，可以为，将5×5图像滤波核范围内的对应的像素点分为左上角2×2(即图5中x

请参考图7，将左上角2×2的135度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，即把x

对于第二种多角度方向的梯度差分卷积处理，与上述一个方向的多角度方向梯度差分卷积同样地，参考图5，将5×5图像滤波核范围内的对应的像素点分为9个部分，该9个部分一一对应图6所示的A、C、G、I、B、H、D、F、E共9个对应像素点区域范围。请参考图8，将左上角2×2的45度方向上的两个像素点的灰度值作差形成该左上角2×2作为一个左上角像素点的灰度值，即把x

需要说明的是，对于上述两种多角度方向梯度差分卷积，第一多角度方向的梯度差分卷积处理可以任选一种，第二多角度方向的梯度差分卷积处理可以选另外一种，对于每一级的边缘特征抽取处理均是如此，即不需要每一级的边缘特征抽取的第一多角度方向的梯度差分卷积处理均采用同一种多角度方向的梯度差分卷积处理，也不需要每一级的边缘特征抽取的第二角度方向的梯度差分卷积处理均采用同一种多角度方向的梯度差分卷积处理。

在传统图像处理中，边缘检测采用的滤波核通过寻找较亮和较暗的区域边界像素点的方式提取边缘，滤波核寻找图像中梯度变化明显的部分，当前比较标准的滤波器有考虑水平垂直方向的Sobel滤波核：

考虑水平垂直方向的Prewitt滤波核：

考虑对角线方向的Laplace滤波核：

检测两个对角线方向的边缘信息的Roberts滤波核：

以上滤波核只是考虑了水平垂直方向或对角线方向，考虑的边缘检测方向相对单一，只利用了边缘的梯度特征，缺乏全局特征表达能力，检测边缘的能力相对较弱。而在本申请中，采用上述两种多角度方向的梯度差分卷积处理，可以融入多个角度方向的差分运算，提升对各个角度的边缘的检测能力。另外，考虑了5×5的灰度范围，再将5×5的灰度范围转换为3×3的特征值，可以考虑更大的灰度范围，降低噪声的影响，同时增加感受野。

一个实施例中，多尺度特征融合处理可以使用现有的方法，本申请还另外提供一种新的多尺度特征融合处理方法，请参考图9和图10，包括；

步骤201、将输入图像经卷积运算后获得预设通道的特征图。

步骤202、将所获得的预设通道的特征图分别经过两个以上不同膨胀率的空洞卷积运算，膨胀率根据边缘检测网络的需求进行设定。

在图10的实施例中，对所获得的预设通道的特征图分别经过4个不同膨胀率的空洞卷积运算，4个不同膨胀率分别为3、5、7和9，需说明的是，该4个膨胀率只是一个举例说明，在别的应用和/或实例中，膨胀率可根据边缘检测模型网络的需求进行具体设定。

步骤203、将上述两个以上不同膨胀率的空洞卷积运算的结果进行求和得到第一特征图或第二特征图。

一个实施例中，边缘检测方法实现所基于的边缘检测网络是基于包括边缘特征抽取处理和边缘置信度映射处理所组成的网络架构，结合损失函数进行训练得到；损失函数的构建方法可以使用现有的损失函数的构建方法，本申请还另外提供一种新的损失函数的构建方法，请参考图11，可以表示为：

其中，N表示边缘特征抽取处理的级数，

一个实施例中，为提升边缘检测的准确性和连续性，边缘检测方法还包括，对于获得的检测结果，通过开运算、闭运算和细化形态学操作中的一种或几种的形态学操作，对检测结果中的多个轮廓进行连接处理。

在人体关键点提取、车辆跟踪、实例分割等场景下，也需要获取物体的轮廓形貌信息，以便进行后续的位子估计、VR游戏等场景落地应用。当前边缘检测获取的边缘，基本都是像素级边缘，边缘点的精度无法满足在高精度测量、位姿估计等场景下的应用。

为了提升边缘检测精度，本申请一些实施例中采用二阶曲面拟合，获取边缘的亚像素级别精度，采用亚像素的方法，可以进一步提升边缘检测的精度，在一些半导体、面板显示等高精度应用的场景，具有特殊的意义。

像素中心点的亚像素坐标可以使用现有的亚像素坐标计算方法获取。本申请还另外提供一种新的亚像素坐标计算方法，下面对其进行说明。

对于图像中任意一点的灰度值，对其进行二阶近似估计，可以表示为：

其中(x

因此亚像素的灰度值的二阶近似估计可以表示为：

其中t为偏移参数，n

令其偏导数等于0可得：

可得：

因此对于图像坐标为(x

其中g

其中

那么像素中心点(x

获取各个像素点中心点的亚像素坐标，以实现对图像的亚像素边缘提取。

一个实施例中，预设的卷积核可按如下设置：

本申请一种实施例中提供一种基于双向特征监督的边缘检测装置，请参考图2，本申请实施例仅以图12为例进行说明，并不表示本申请仅限于此。如图12所示，该实施例的边缘检测装置包括图像获取模块01、特征抽取模块02、第一边缘映射模块03、第二边缘映射模块04、通道拼接模块05和1×1卷积模块06。

其中，图像获取模块01用于获取待检测图像；特征抽取模块02有多级，除最后一级特征抽取模块外，每一级特征抽取模块都用于对输入图像进行边缘特征抽取处理，进行第一边缘特征抽取出处理后得到第一边缘特征图，进行第二边缘特征处理后得到第二边缘特征图，进行第三边缘特征处理后得到第三边缘特征图，且第三边缘特征图作为下一级特征抽取模块的输入。对于最后一级特征抽取模块对输入图像进行第一边缘特征抽取出处理后得到第一边缘特征图，进行第二边缘特征处理后得到第二边缘特征图。

第一边缘映射模块03包括多级，与多级的特征抽取模块一一对应，用于对输入图像做第一边缘映射度映射处理。第二边缘映射模块同样包括多级，用于对输入图像做第二边缘映射执行度处理。

其中，对于非第一级的其他每一级的特征抽取模块所输出的第一边缘特征图：将本级的第一边缘特征图与前一级的第一边缘特征图融合后得到本级对应的第一融合特征图，并对本级的第一融合特征图输入对应的第一边缘映射模块进行第一边缘置信度映射处理后得到本级的第一映射特征图；对于第一级的特征抽取模块，将输入的输入图像经边缘特征抽取处理所输出的第一边缘特征图，输入对应的第一边缘映射模块进行第一边缘置信度映射处理后得到第一级的第一映射特征图。

对于非最后一级的其他每一级的特征抽取模块所输出的第二边缘特征图：将本级的第二边缘特征图与后一级的第二边缘特征图融合后得到本级对应的第二融合特征图，并对本级的第二融合特征图输入对应的第二边缘映射模块进行第二边缘置信度映射处理后得到本级的第二映射特征图；对于最后一级的特征抽取处理模块，将输入的输入图像经边缘特征抽取处理所输出的第二边缘特征图，输入对应的第二边缘映射模块进行第二边缘置信度映射处理后得到最后一级的第二映射特征图。

通道拼接模块05用于将各级的第一映射特征图和第二映射特征图进行通道拼接融合处理；1×1卷积模块06用于对通道拼接融合处理后的特征图进行1×1卷积运算后得到边缘检测结果。

基于上述边缘检测装置，对待检测图像进行多级边缘特征抽取处理，且每一级都进行第一边缘特征抽取处理和第二边缘特征抽取处理，采用层级监督的方式实现对不同尺度的监督，并且对于每一级的第一边缘特征抽取处理得到的第一边缘特征图通过低层级到高层级的监督，低层级可以预测细节，高层级可以预测全局，对于每一级的第二边缘特征抽取处理得到的第二边缘特征图通过高层级到低层级的监督，高层级可以预测细节，低层级可以预测全局，通过上述由低到高及由高到低两个方向的监督模式，提升了边缘检测网络训练过程中的网络收敛速度，且也提升了训练的边缘检测网络边缘检测的精度。

为了增加感受野，一个实施例中，还包括池化模块，用于将上述的非最后一级的特征抽取处理模块得到的第三边缘特征图进行处理后作为下一级特征抽取模块的输入。

本申请一个实施例中提供一种计算机存储介质，介质上存储有程序，该程序能够被处理器执行以实现上述任意的基于双向特征监督的边缘检测方法，和/或上述任意的边缘检测方法。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本申请进行阐述，只是用于帮助理解本申请技术方案，并不用以限制本申请。对于所属技术领域的技术人员，依据本申请的思想，还可以做出若干简单推演、变形或替换。