基于FPGA形态学算子的自适应轮廓提取系统及方法

技术领域

本发明属于图像处理技术领域，更进一步涉及彩色图像处理技术领域中的一种基于现场可编程门阵列FPGA(Field Programmable Gate Array)自适应形态学算子的彩色图像轮廓提取系统及方法。本发明可以对遥感、军事、工业、医学等领域中获得的彩色图像进行噪声抑制、图像分割、边缘检测、特征提取等处理。

背景技术

随着信息技术的不断发展，数字图像已成为人类获取信息的一种重要手段，广泛应用于通信、军事、医学等领域。利用数学形态学来处理数字图像能够获得很好的效果，可以有效地解决数字图像处理领域中的抑制噪声、图像分割、边缘检测、特征提取等问题。FPGA采用并行计算方式，对于规则固定的运算可以达到很快的处理速度，因此研究FPGA和数学形态学的结合可以很好地应用于数字图像处理。

山东理工大学在其拥有的专利技术“基于综合形态学的图像混合滤波装置及方法”(申请日：2016年05月10日，申请号：201610305134.3，公开号：106023095B)中提出了一种基于综合形态学的图像混合滤波装置及方法。该装置包括基本模型构建模块，约束条件构建模块，混合模型构建模块，噪声图像处理模块。基本模型构建模块，用于构建基本形态学滤波模型，其中，所述基本形态学滤波模型包括基础形态学滤波的开、闭滤波计算模型、根据所述开、闭滤波计算模型构建的级联形态学滤波计算模型、以及根据所述级联形态学滤波计算模型构建的广义形态学滤波计算模型。约束条件构建模块，用于构建滤波计算模型的约束条件，该约束条件包括结构元素个数以及权值约束条件。混合模型构建模块，用于依据上述构建的基本形态学滤波模型以及约束条件构建用于图形滤波的综合形态学混合滤波计算模型。噪声图像处理模块，用于使用上述构建的混合滤波计算模型对输入的待处理噪声图像进行滤波处理。该系统存在的不足之处是：基本模型构建模块中采用基本形态学构建的滤波模型处理精度低，会导致在混合模型构建模块中与约束条件进行混合所构建的综合形态学混合滤波计算模型计算效率不高，处理精度低。该方法的实现过程为：步骤1、构建基本形态学滤波模型；步骤2、构建滤波计算模型的约束条件，该约束条件包括结构元素个数以及权值约束条件；步骤3、构建用于图形滤波的综合形态学混合滤波计算模型。以对输入的待处理噪声图像进行滤波处理；步骤4、使用上述构建的混合滤波计算模型对输入的待处理噪声图像进行滤波处理；该方法存在的不足之处是：在基本的形态学滤波模型中，使用了固定的结构元素进行滤波，会导致图像处理时灵活性低、鲁棒性不高、处理精度一般等问题，对于最终处理结果有一定影响。

华南理工大学在其申请的专利文献“基于FPGA和Kirsch的自适应阈值彩色图像边缘检测方法”(申请日：2017年4月24日，申请号：201710269426.0，公开号：107169977A)中提出了一种基于FPGA和Kirsch的自适应阈值彩色图像边缘检测方法。该方法的实现过程为：步骤1、对待检测的彩色图像进行采集，得到YUV格式的图像数据，并将其转换成YCbCr，将亮度分量Y提取出来进行后续处理；步骤2、采用高斯滤波和中值滤波对图像中的亮度分量Y进行去噪处理；步骤3、对去噪处理后的图像进行边缘检测，计算梯度值和改进的自适应阈值；将梯度值和改进的自适应阈值进行比较，实现边沿的提取和图像二值化，若梯度值大于改进的自适应阈值，则判断当前像素点为边缘点，取值为1，否则取值为0；步骤4、对边缘图像进行形态学处理，得到经过形态学处理后的分量Y'；步骤5、将步骤1中未经过处理的颜色分量Cb和Cr经过延时操作后与步骤4中的分量Y'合成Y'Cb'Cr'，然后利用YCbCr转RGB888算法合成RGB888格式数据。该方法存在的不足之处是：得到Y分量时采用二值形态学进行处理，就彩色图像而言，使用二值形态学会导致精度偏低，鲁棒性一般。

发明内容

本发明的目的是针对上述现有技术的不足，提出一种基于FPGA自适应形态学算子的彩色图像轮廓提取系统及方法，用于快速高效灵活的获取彩色图像的轮廓图像，有效解决了数字图像处理领域中的抑制噪声、图像分割、边缘检测、特征提取等技术处理速度慢、效率偏低、实时性不足、鲁棒性低的问题。

实现本发明目的的思路是：使用基于现场可编程门阵列FPGA进行轮廓提取，可以有效提高数字图像处理领域中图像分割的速度和效率，采用自适应法优化亮度分量，可以根据输入图像的不同变换处理结构中元素的值，以生成对应的形态学算子，在数字图像处理领域的边缘检测，特性提取等技术中，弥补了鲁棒性低、灵活性低的问题。

本发明的系统包括控制模块、搜索结构生成模块、自适应优化模块、膨胀算子生成模块、腐蚀算子生成模块、轮廓提取模块，其中：

所述的控制模块，用于将待处理彩色图像通过色彩空间转换法，转换成YCbCr格式的图像，提取其中的亮度分量Y；

所述的搜索结构生成模块，用于将亮度分量Y经过FPGA中移位寄存器缓存两行数据，同时和当前输入的一行数据构成3行阵列，对阵列中每行数据利用D触发器进行延迟后得到3×3的像素搜索结构；

所述的自适应优化模块，用于对像素搜索结构中每个元素的亮度分量与像素搜索结构中心位置元素的亮度分量的差取绝对值操作，得到像素搜索结构中的该元素亮度分量与像素搜索结构中心位置元素亮度分量的距离，用像素搜索结构中心位置元素的亮度分量值替换距离大于30的所有元素的亮度分量，得到自适应变换后的像素搜索结构中所有元素的亮度分量；

所述的膨胀算子生成模块，用于将自适应变换后像素搜索结构中所有元素的亮度分量，输入到树状流水线比较器中，采用迭代比较法，得到自适应变换后像素搜索结构中所有元素亮度分量中的最大值，用该最大值替换像素搜索结构中心位置元素的亮度分量，将替换后像素搜索结构中心位置元素的亮度分量值作为膨胀算子；

所述的腐蚀算子生成模块，用于将自适应变换后像素搜索结构中所有元素的亮度分量，输入到树状流水线比较器中，采用迭代比较法，得到自适应变换后像素搜索结构中所有元素亮度分量中的最小值，用该最小值替换像素搜索结构中心位置元素的亮度分量，将替换后像素搜索结构中心位置元素的亮度分量值作为腐蚀算；

所述的轮廓信息生成模块，用于将膨胀算子减去腐蚀算子，得到经过自适应变换后像素搜索结构中心位置元素亮度分量的梯度值，然后将转换成YCbCr格式的图像中的蓝色色度分量和红色色度分量，经过延时操作后与像素搜索结构中心位置元素亮度分量的梯度值合并，得到合并后的YCbCr值，利用YCbCr转RGB888算法将合并后的YCbCr值合成RGB888格式数据。

本发明方法的步骤包括如下：

(1)提取待处理彩色图像的亮度分量：

控制模块采用色彩空间转换法，将待处理彩色图像转换成YCbCr格式的图像，提取其中的亮度分量Y；

(2)生成像素搜索结构：

搜索结构生成模块将亮度分量Y经过FPGA中移位寄存器缓存两行数据，同时和当前输入的一行数据构成3行阵列，对阵列中每行数据利用D触发器进行延迟后得到3×3的像素搜索结构；

(3)采用自适应法优化亮度分量：

(3a)自适应优化模块对像素搜索结构中每个元素的亮度分量与像素搜索结构中心位置元素的亮度分量的差取绝对值操作，得到像素搜索结构中的该元素亮度分量与像素搜索结构中心位置元素亮度分量的距离；

(3b)自适应优化模块用像素搜索结构中心位置元素的亮度分量值替换距离大于30的所有元素的亮度分量，得到自适应变换后的像素搜索结构中所有元素的亮度分量；

(4)生成膨胀算子：

膨胀算子生成模块将自适应变换后像素搜索结构中所有元素的亮度分量，输入到树状流水线比较器中，采用迭代比较法，得到自适应变换后像素搜索结构中所有元素亮度分量中的最大值，用该最大值替换像素搜索结构中心位置元素的亮度分量，将替换后像素搜索结构中心位置元素的亮度分量值作为膨胀算子；

(5)生成腐蚀算子：

腐蚀算子生成模块将自适应变换后像素搜索结构中所有元素的亮度分量，输入到树状流水线比较器中，采用迭代比较法，得到自适应变换后像素搜索结构中所有元素亮度分量中的最小值，用该最小值替换像素搜索结构中心位置元素的亮度分量，将替换后像素搜索结构中心位置元素的亮度分量值作为腐蚀算子；

(6)得到中心位置元素亮度分量的梯度值：

轮廓信息生成模块用膨胀算子减去腐蚀算子，得到经过自适应变换后像素搜索结构中心位置元素亮度分量的梯度值；

(7)生成轮廓数据：

轮廓信息生成模块将转换成YCbCr格式的图像中的蓝色色度分量和红色色度分量，经过延时操作后与像素搜索结构中心位置元素亮度分量的梯度值合并，得到合并后的YCbCr值，利用YCbCr转RGB888算法将合并后的YCbCr值合成RGB888格式数据。

本发明与现有的技术相比具有以下优点：

第一，由于本发明系统中的自适应优化模块，可以根据输入图像的不同不断优化优化搜索结构，在构建形态学算子前会根据像素搜索结构中的所有元素亮度分量与像素搜索结构中心位置元素亮度分量的距离，用像素搜索结构中心位置元素的亮度分量值替换距离满足条件的所有元素的亮度分量，使得形态学滤波时的搜索结构可以对自身做出调整，克服了现有技术中使用基本的形态学滤波模型对彩色图像进行轮廓提取时，不能根据图像自身特点做出调整而导致轮廓提取效果差的缺点，使得本发明的系统能够实现对彩色图像的轮廓提取，使得轮廓提取效果的鲁棒性、灵活性更高，更加符合人眼的视觉特性。

第二，由于本发明的方法采用了自适应优化搜索结构亮度分量，进而对搜索结构中心元素的亮度分量进行膨胀和腐蚀操作，克服了现有技术中用固定的结构元素，对彩色图像进行轮廓提取时原图像细节等局部特征信息丢失严重的问题，使得本发明的方法在对彩色图像进行轮廓提取时能够较好地保留原图像的局部特征信息，得到的图像轮廓细节更加细腻、真实。

第三，由于本发明的方法是在现场可编程门阵列FPGA上实现彩色图像的轮廓提取，可编程门阵列FPGA实现轮廓提取时，调用的物理存储运算单元相比于计算机软件实现轮廓提取时会更少，能耗也会更低，克服了现有技术中只在软件上实现彩色图像的轮廓提取速度较慢的缺点，使得本发明的方法具有对对彩色图像进行轮廓提取速度快、效率高的优点。

附图说明

图1是本发明系统的结构示意图；

图2是本发明方法的流程图；

图3是本发明仿真实验的结果图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1对本发明的系统结构做进一步的描述。

本发明的系统包括控制模块、搜索结构生成模块、自适应优化模块、膨胀算子生成模块、腐蚀算子生成模块、轮廓提取模块。

所述的控制模块，用于将待处理彩色图像通过色彩空间转换法，转换成YCbCr格式的图像，提取其中的亮度分量Y。

所述的搜索结构生成模块，用于将亮度分量Y经过FPGA中移位寄存器缓存两行数据，同时和当前输入的一行数据构成3行阵列，对阵列中每行数据利用D触发器进行延迟后得到3×3的像素搜索结构。

所述的自适应优化模块，用于对像素搜索结构中每个元素的亮度分量与像素搜索结构中心位置元素的亮度分量的差取绝对值操作，得到像素搜索结构中的该元素亮度分量与像素搜索结构中心位置元素亮度分量的距离，用像素搜索结构中心位置元素的亮度分量值替换距离大于30的所有元素的亮度分量，得到自适应变换后的像素搜索结构中所有元素的亮度分量。

所述的膨胀算子生成模块，用于将自适应变换后像素搜索结构中所有元素的亮度分量，输入到树状流水线比较器中，采用迭代比较法，得到自适应变换后像素搜索结构中所有元素亮度分量中的最大值，用该最大值替换像素搜索结构中心位置元素的亮度分量，将替换后像素搜索结构中心位置元素的亮度分量值作为膨胀算子。

所述的腐蚀算子生成模块，用于将自适应变换后像素搜索结构中所有元素的亮度分量，输入到树状流水线比较器中，采用迭代比较法，得到自适应变换后像素搜索结构中所有元素亮度分量中的最小值，用该最小值替换像素搜索结构中心位置元素的亮度分量，将替换后像素搜索结构中心位置元素的亮度分量值作为腐蚀算。

所述的轮廓信息生成模块，用于将膨胀算子减去腐蚀算子，得到经过自适应变换后像素搜索结构中心位置元素亮度分量的梯度值，然后将转换成YCbCr格式的图像中的蓝色色度分量和红色色度分量，经过延时操作后与像素搜索结构中心位置元素亮度分量的梯度值合并，得到合并后的YCbCr值，利用YCbCr转RGB888算法将合并后的YCbCr值合成RGB888格式数据。

参照图2对本发明的方法的具体步骤做进一步的描述。

步骤1，提取待处理彩色图像的亮度分量。

控制模块采用色彩空间转换法，将待处理彩色图像转换成YCbCr格式的图像，提取其中的亮度分量Y。

步骤2，生成像素搜索结构。

搜索结构生成模块将亮度分量Y经过FPGA中移位寄存器缓存两行数据，同时和当前输入的一行数据构成3行阵列，对阵列中每行数据利用D触发器进行延迟后得到3×3的像素搜索结构。

步骤3，采用自适应法优化亮度分量。

自适应优化模块对像素搜索结构中每个元素的亮度分量与像素搜索结构中心位置元素的亮度分量的差取绝对值操作，得到像素搜索结构中的该元素亮度分量与像素搜索结构中心位置元素亮度分量的距离。

自适应优化模块用像素搜索结构中心位置元素的亮度分量值替换距离大于30的所有元素的亮度分量，得到自适应变换后的像素搜索结构中所有元素的亮度分量。

步骤4，生成膨胀算子。

膨胀算子生成模块将自适应变换后像素搜索结构中所有元素的亮度分量，输入到树状流水线比较器中，采用迭代比较法，得到自适应变换后像素搜索结构中所有元素亮度分量中的最大值，用该最大值替换像素搜索结构中心位置元素的亮度分量，将替换后像素搜索结构中心位置元素的亮度分量值作为膨胀算子。

所述树状流水线比较器是由4层组成，其结构依次为，第1层设置有四个并联的比较器，第2层设置有两个并联的比较器，第3层设置有一个比较器，第4层设置有一个比较器，每个比较器后均连接1个寄存器。

所述的迭代比较法的步骤如下。

第1步，将搜索模板中除中心像素亮度分量值之外的8个像素的亮度分量值按顺序相邻的两两组成一组，共分为4组后输入到树状流水线比较器的第1层的四个比较器中，输出每组中最大值，共4个。

第2步，将4个最大值按输出顺序两两一组分为2组后输入到树状流水线比较器第2层的两个比较器中，输出每组中最大值，共2个。

第3步，将2个最大值输入到树状流水线比较器第3层的一个比较器中，经过比较获得搜索模板中除中心像素亮度分量值之外的8个像素的亮度分量值的最大值。

第4步，将搜索模板中除中心像素亮度分量值之外的8个像素的亮度分量值的最大值与搜索模板中中心像素亮度分量值两两一组共1组输入到第4层的1个比较器中，得到搜索模板中的所有亮度分量值的最大值。

步骤5，生成腐蚀算子。

腐蚀算子生成模块将自适应变换后像素搜索结构中所有元素的亮度分量，输入到树状流水线比较器中，采用迭代比较法，得到自适应变换后像素搜索结构中所有元素亮度分量中的最小值，用该最小值替换像素搜索结构中心位置元素的亮度分量，将替换后像素搜索结构中心位置元素的亮度分量值作为腐蚀算子。

所述树状流水线比较器是由四层组成，其结构依次为，第1层设置有四个并联的比较器，第2层设置有两个并联的比较器，第3层设置有一个比较器，第4层设置有一个比较器，每个比较器后均连接1个寄存器。

所述的迭代比较法的步骤如下。

第1步，将搜索模板中除中心像素亮度分量值之外的8个像素的亮度分量值按顺序相邻的两两组成一组，共分为4组后输入到树状流水线比较器的第1层的四个比较器中，输出每组中最小值，共4个。

第2步，将4个最小值按输出顺序两两一组分为2组后输入到树状流水线比较器第2层的两个比较器中，输出每组中最小值，共2个。

第3步，将2个最小值输入到树状流水线比较器第3层的一个比较器中，经过比较获得搜索模板中除中心像素亮度分量值之外的8个像素的亮度分量值的最小值。

第4步，将搜索模板中除中心像素亮度分量值之外的8个像素的亮度分量值的最小值与搜索模板中中心像素亮度分量值两两一组共1组输入到第4层的1个比较器中，得到搜索模板中的所有亮度分量值的最小值。

步骤6，得到中心位置元素亮度分量的梯度值。

轮廓信息生成模块用膨胀算子减去腐蚀算子，得到经过自适应变换后像素搜索结构中心位置元素亮度分量的梯度值。

步骤7，生成轮廓数据。

轮廓信息生成模块将转换成YCbCr格式的图像中的蓝色色度分量和红色色度分量，经过延时操作后与像素搜索结构中心位置元素亮度分量的梯度值合并，得到合并后的YCbCr值，利用YCbCr转RGB888算法将合并后的YCbCr值合成RGB888格式数据。

下面结合仿真实验对本发明的效果做进一步的描述。

1.仿真条件：

本发明的仿真实验是在MATLAB R2018a软件和ModelSim SE-6410.5软件中编程实现的。本发明的仿真实验所使用的输入图像是大小为512×512像素，格式为JPEG的彩色图像。

2.仿真内容与结果分析：

本发明的仿真实验1是分别采用本发明的方法与现有技术中常用的基于Sobel算子的彩色图像轮廓提取方法，分别对输入图像是大小为512×512的彩色图像进行轮廓提取。得到表1中所列的本发明方法与现有技术方法得到一幅彩色图像的轮廓所用时间对比表。

表1得到一幅彩色图像的轮廓所用时间对比表(单位:ms)

由表1可见，本发明所提出的基于现场可编程门阵列FPGA的自适应形态学算子的彩色图像轮廓提取方法，相比基于Sobel算子的彩色图像轮廓提取方法，提取一幅彩色图片的轮廓所用时间明显减少。

本发明的仿真实验2是分别采用本发明的基于自适应形态学算子的轮廓提取方法与现有技术中常用的基于固定结构元素的轮廓提取方法，分别对输入512×512的彩色图像进行轮廓提取，得到处理后的结果图像，如图3所示。

图3为本发明仿真实验2的结果图。其中，图3(a)是输入512×512的彩色图像原图，图3(b)是采用现有技术对输入512×512的彩色图像进行轮廓提取后的结果图。图3(c)是采用本发明方法对输入512×512的彩色图像进行轮廓提取后的结果图。

对比现有技术和本发明的方法，分别对输入512×512的彩色图像进行轮廓提取后的图像3(b)与图像3(c)可见，用本发明的方法得到的图像更清晰，细节处理得更好，图像更明亮，更好地保留了图像的局部特征信息。