一种基于素描标记的中层次特征提取快速边缘检测方法

技术领域

本发明属于图像处理技术领域，涉及一种基于素描标记的中层次水特征提取快速边缘检测方法。

背景技术

在计算机机器视觉中，对图像而言，低层特征一般指的是边缘、轮廓、颜色、纹理和形状等特征，该层特征可以反映出图像的内容。很多的计算机视觉问题都可以通过可靠的边缘提取来解决。图像的低层次特征信息虽然目标明确且位置准确，但是该层的信息比较少，只能作为某个部分单独看待，并不能做出整体性的评价。然而，高层次的特征指的是整体且复杂的结构，例如一张人脸就是高层次特征，而脸上的鼻子、眼睛和嘴巴都属于低层次特征。与低层次特征恰好相反，高层次特征提供的信息相当丰富，但是目标位置却十分粗略。所以形象的来说，中层次特征就相当于低层和高层特征之间的“桥梁”。有效的中层特征表示既能抽象出有用的像素信息，也可以过滤有噪声和不相关的信号。

在众多中层次特征的提取方法中，边缘信息的利用是早期的一种较为流行的方法。因为在某种程度上，人类可以很轻松地解释线条图和素描图像，即局部位置图像。从局部边缘结构中提取出来的中层特征，称为素描标记。素描标记的种类从简单的形状(如直线或点)到丰富的结构(如立方体或球)不等。对于给定大量潜在的边缘结构，为了简化计算量和缩短操作周期，就必须指定一个信息子集来表示素描标记类。以前的方法有使用手工定义的类、无监督的信息来表示，不过要在人工标记的自然图像的边缘中，来提取有监督的中层次信息，这十分困难，因为这些收集来的数据会泛化，不会特定地存在。以轮廓为中心的素描提取方法可以从图像中抽取并聚集成一组标记的类，这会产生有代表性及多样的素描标记集，但是该方法会模糊甚至忽略一些特定的结构，或区域的细节，而且计算量较大。对于边缘检测的方法来说，传统的方法有微分算子法、最优算子法和神经网络法等等。不管是基于Canny算子还是LOG算子的微分方法，漏检率和误检率都比较高，而且对噪声还很敏感；与微分算子法相似的最优算子法对图像中的某些细节处理不到位；最近兴起的神经网络方法虽然检测的效果不错，但是检测的结果直接受样本质量的影响，如果样本不好，效果肯定也不会好。

针对上述问题，采用基于中层次特征的提取方法可以有效地预测出给定输入彩色图像的素描标记，还可以过滤噪声和不相关的信号，与此同时，检测效率也比同类或其他类的检测器高出200倍以上。基于中层次特征提取的素描标记方法除了可以用在边缘检测上，还可以根据自下而上的方式用来完成行人检测和目标检测，用途广，泛化能力强。

发明内容

本发明的目的是提供一种基于素描标记的中层次特征提取快速边缘检测方法，解决了在现有技术中提取有监督中层次信息数据的时候，会受到噪声和不相关信号干扰的问题，提升了边缘检测的速度，精度和稳定性。

本发明所采用的技术方案是，

一种基于素描标记的中层次特征提取快速边缘检测方法，具体按照以下步骤实施：

步骤1，定义素描标记。使用简单且直接的一组素描来抽象表示图像中可能存在的各种边缘结构，提取素描图像中固定大小的补丁，借用K-means方法聚集补丁，创建标记类的集合。

步骤2，检测素描标记：对于标记类的集合，使用一个学习分类器来从输入的训练图像中提取补丁，计算出特征向量。

步骤3，抽取每个标记类的轮廓补丁，每个图像的无轮廓补丁，以训练随机森林分类器；随机选取特征向量的一个子集来进行分类。

步骤4，轮廓检测：根据检测出来的中层素描标记所提供的局部边缘结构估计，使用自上而下的策略对像素轮廓进行二值化标记；进行非极大值抑制处理；得出轮廓的峰值响应。

步骤1具体按照以下步骤实施：

步骤1.1，给定一组训练图像I，它们对应的二值图像为S。

步骤1.2，通过聚类的方法提取二值图像S的补丁s，定义为素描标记的集合；其中每个补丁s

步骤1.3，略去包含有标记轮廓且处在图像边缘位置的补丁，换句话说，也就是只考虑中心像素位置且有标记轮廓的补丁。

步骤2具体按照以下步骤实施：

步骤2.1，特征提取：采用多特征通道的方法对每幅图像进行计算，这些通道的特征有两种类型：直接索引通道特征和自相似性特征。

步骤2.2，分类：选用一个有效的随机森林分类器来对图像中的素描标记进行分类。

步骤2.3，按照每个标记类上千个轮廓补丁，每个训练图像几百个无轮廓补丁，在BSDS数据集中训练每棵随机森林决策树。

步骤2.4，利用基尼不纯度随机选取特征向量的一个子集，再对每一个分支节点进行特征决策。

步骤2.1中的特征提取具体为：

步骤2.1.1，第一类特征的定义：基于CIE-LUV颜色空间，对颜色、梯度和定向梯度信息的彩色图像而言，计算出三个颜色通道，并将通道结果中的像素视为分类器的第一类特征。

步骤2.1.2，第二类特征的定义和计算：根据颜色或梯度信息去捕获图像中每个补丁相似度高的且有纹理的部分，对于通道k和网格单元i，j，自相似性特征f

f

其中，s

通过

步骤2.2，分类的具体步骤为：选取了一个满足两个必要条件且高效的随机森林分类器，解决了多类别范畴领域的问题。随机森林分类器的具体操作步骤为：

步骤2.2.1，对于一个决策树的集合，从图像中抽取13-15万个轮廓补丁，其中每个标记类1000-2000个左右，15万-16万个无轮廓补丁(每个训练的图像700-800个)，以训练每棵决策树。

步骤2.2.2，利用基尼不纯度从步骤2.1.2计算的特征向量中随机地选取其中的一个子集，来为决策树的每个分支节点选择特征，并同时决定图像的边界。最后将所有的决策树的结果取平均值得到最终的值。

步骤3，轮廓检测，使用中层素描标记来预测轮廓的步骤为：

步骤3.1，使用随机森林分类器预测图像中属于每个素描标记类的补丁的概率。

步骤3.2，求和每个素描标记的概率，来计算位于中心像素的轮廓概率，如公式(1)所示。

e

其中，t

步骤3.3，根据每个像素处的轮廓概率，用非极大值抑制方案找出轮廓的峰值响应。

本发明的有益效果是：

(1)定义了一种新型的素描标记类，解决了有监督中层次信息数据的提取会泛化的问题，噪声和不相关信号干扰的问题，传统边缘检测方法准确度不高的问题，提升了边缘检测的速度，精度和稳定性。

(2)在特征提取的过程中，由于采用的是多特征通道的方法来对每幅图像进行计算，所以可以实现利用多个图像通道来增强检测器的性能，检测出各种场景或图像中更复杂特殊的边缘结构。

(3)因为随机森林分类器高效的存在，以及选取所有特征数据集中的小子集的缘故，这种边缘检测器可以在1秒之内处理分辨率为480×320的图像，比全局策略的方法快240-280倍。然而，方法的大部分计算都花在素描标记的检测过程阶段，所以只需要将定义素描标记和素描标记的检测并行化，就可以加速方法的计算速度，进一步提升检测速率。

(4)应用局部结构估计的中层次水平特征提取的素描标记方法在分割集和Benchmark测试集上取得了最先进的结果。与所有的局部方法比较，发现本发明方法的精度十分接近全局方法，并且精度还可以随着标记的增多而不断提升。

附图说明

图1是本发明一种基于素描标记的中层次特征提取快速边缘检测方法的流程图；

图2(a)是本发明一种基于素描标记的中层次特征提取快速边缘检测方法的原图及其对应的素描图，图2(b)是各种补丁及其素描图；

图3是本发明一种基于素描标记的中层次特征提取快速边缘检测方法的LUV颜色通道的分解图，梯度图和方向图；

图4是本发明的边缘检测方法与其他三个方法的结果比较图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

一种基于素描标记的中层次特征提取快速边缘检测方法，具体按照以下步骤实施：

步骤1，定义素描标记。使用简单且直接的一组素描来抽象表示图像中可能存在的各种边缘结构，提取素描图像中固定大小的补丁，借用K-means方法聚集补丁，创建标记类的集合。

步骤2，检测素描标记：对于标记类的集合，使用一个学习分类器来从输入的训练图像中提取补丁，计算出特征向量。

步骤3，抽取每个标记类的轮廓补丁，每个图像的无轮廓补丁，以训练随机森林分类器；随机选取特征向量的一个子集来进行分类。

步骤4，轮廓检测：根据检测出来的中层素描标记所提供的局部边缘结构估计，使用自上而下的策略对像素轮廓进行二值化标记；进行非极大值抑制处理；得出轮廓的峰值响应。

步骤1具体按照以下步骤实施：

步骤1.1，给定一组训练图像I，它们对应的二值图像为S。

步骤1.2，通过聚类的方法提取二值图像S的补丁s，定义为素描标记的集合；其中每个补丁s

步骤1.3，略去包含有标记轮廓且处在图像边缘位置的补丁，换句话说，也就是只考虑中心像素位置且有标记轮廓的补丁。

步骤2具体按照以下步骤实施：

步骤2.1，特征提取：采用多特征通道的方法对每幅图像进行计算，这些通道的特征有两种类型：直接索引通道特征和自相似性特征。

步骤2.2，分类：选用一个有效的随机森林分类器来对图像中的素描标记进行分类。

步骤2.3，按照每个标记类上千个轮廓补丁，每个训练图像几百个无轮廓补丁，在BSDS数据集中训练每棵随机森林决策树。

步骤2.4，利用基尼不纯度随机选取特征向量的一个子集，再对每一个分支节点进行特征决策。

步骤2.1中的特征提取具体为：

步骤2.1.1，第一类特征的定义：基于CIE-LUV颜色空间，对颜色、梯度和定向梯度信息的彩色图像而言，计算出三个颜色通道，并将通道结果中的像素视为分类器的第一类特征。

步骤2.1.2，第二类特征的定义和计算：根据颜色或梯度信息去捕获图像中每个补丁相似度高的且有纹理的部分，对于通道k和网格单元i，j，自相似性特征f

f

其中，s

通过

步骤2.2，分类的具体步骤为：选取了一个满足两个必要条件且高效的随机森林分类器，解决了多类别范畴领域的问题。随机森林分类器的具体操作步骤为：

步骤2.2.1，对于一个决策树的集合，从图像中抽取13-15万个轮廓补丁，其中每个标记类1000-2000个左右，15万-16万个无轮廓补丁(每个训练的图像700-800个)，以训练每棵决策树。

步骤2.2.2，利用基尼不纯度从步骤2.1.2计算的特征向量中随机地选取其中的一个子集，来为决策树的每个分支节点选择特征，并同时决定图像的边界。最后将所有的决策树的结果取平均值得到最终的值。

步骤3，轮廓检测，使用中层素描标记来预测轮廓的步骤为：

步骤3.1，使用随机森林分类器预测图像中属于每个素描标记类的补丁的概率。

步骤3.2，求和每个素描标记的概率，来计算位于中心像素的轮廓概率，如公式(1)所示。

e

其中，t

步骤3.3，根据每个像素处的轮廓概率，用非极大值抑制方案找出轮廓的峰值响应。

本发明一种基于素描标记的中层次特征提取快速边缘检测方法，流程图如图1所示，具体按照以下步骤实施：

步骤1，素描标记的定义。使用素描图像来抽象出可以表示各种局部边缘结构的标记，这些边缘结构有形如角、曲线和线段等等；从素描图像(如图2(a)右侧所示)中提取固定大小的补丁，提取的补丁样例如图2(b)所示；利用K-means聚类方法来聚集补丁，构成标记类的集合。

步骤2，素描标记的检测。根据标记类的集合，采用一个已经学习过了的分类器从训练图像中提取补丁块并计算特征向量；有规则的抽取特征向量中与模型匹配的一个小子集。

步骤3，抽取几乎涵盖所有结构特征的轮廓补丁和无轮廓补丁来训练随机森林分类器；标记训练图像的每一个像素补丁并分类。

步骤4，根据公式(1)计算训练图像中每个标记类的概率，提取出属于轮廓的概率补丁；进行非极大值抑制处理；得出轮廓的峰值响应。

e

上式的t

其中步骤1中，定义素描标记的具体步骤为：

步骤1.1，给定一组训练图像I，它们对应的二值图像为S。

步骤1.2，通过聚类的方法提取二值图像S的补丁s，并将提取的补丁定义为素描标记的集合，图像的补丁样例如图2(b)所示。其中每个补丁s

步骤1.3，略去含有轮廓标记且处在图像边缘位置的补丁，换句话说，也就是只考虑中心像素位置且有轮廓标记的补丁。

步骤2，检测素描标记的方法为：

步骤2.1，计算一组训练图像的多个特征通道，捕捉各个不同方面的变化信息，其中特征通道分为两种类型，一种是直接索引通道类型，另一种是自相似性特征类型，并且每个通道与输入的图像大小一致。

步骤2.1.1，首先是第一类特征通道的计算。对于一个训练图像的补丁x

步骤2.1.2，其次是第二类特征通道的计算。因为轮廓既可以是强度边缘，也可以是纹理边界，所以在发明中采用基于自相似性的计算方法。在一个m×m的网格上定义自相似性特征f

f

其中，k为通道，i和j为网格单元。s

当m＝5时，由

第一类特征通道计算了三个颜色通道，三个梯度通道和八个定向梯度通道，一共14个通道。那么，对于一个35×35大小的补丁来说，有35×35×14＝17150个通道特征和300×14＝4200个自相似特征，得到17150+4200＝21350维的特征向量。

步骤2.2，按照每个标记类1000个轮廓补丁，每个训练图像800个无轮廓补丁，在BSDS数据集中训练每棵随机森林决策树。

步骤2.3，利用基尼不纯度随机选取特征向量的一个子集，再对决策树的每一个分支节点进行特征决策。

在本发明一种基于素描标记的中层次特征提取快速边缘检测方法中：

步骤1的作用为定义，使用素描标记来编码局部图像的结构。

采用的是二值图像的标记类，其原理是：通过K-means聚类方法对二值图像中提取的补丁进行聚类。

采用局部结构估计的中层次水平特征提取的方法，其优点在于：比所有的局部方法精度高，而且精度接近全局方法的精度。

步骤3的作用是利用分类器来进行轮廓检测。

采用的是随机森林分类器，其原理是：使用一个由25棵树组成决策树的集合，树上每个叶子的节点少于5个，树的深度是20，依据随机抽取的特征值来决定每个叶子的最优切分点，最后进行切分得到结果。

采用随机森林分类器进行分类和检测的方法，其优点在于：可以在1秒之内高效地处理分辨率为480×320的图像，并且检测精度比同等的方法高出200-250倍。

为了验证本发明的边缘检测效果，选用Benchmark(BSDS500)数据集中的200张训练图和100张真实图进行实验，并从中选取六张效果最好的图片与Canny方法、gpb(全局化边界概率)方法和超像素分割方法比较，如图4所示。从图中可看出，Canny方法能够检测出绝大部分边缘，但是一些没必要的边缘也检测出来了；gpb方法可以描绘出整幅图像的轮廓，但是缺失了大部分细节，然而，超像素分割方法效果不错，但是相比于本发明的方法来说，没有本发明的边缘检测效果好。

表1是本发明方法与其他三个方法在检测速度以及各项指标(最优数据集的品质因数ODS、最优图像的品质因数OIS和平均准确度AP)之间的比较。从表中可以看出本发明的方法在品质因数和准确度方面处于领跑的位置，然而，相比于最优方法——Canny方法来说，在速度方面稍逊一点，但是本方法准确度高，泛化能力强。

表1素描标记方法与其他方法在各种指标和速度上的对比