一种易扩展的高精度靶心坐标提取方法

技术领域：

本发明属于图像处理技术领域，具体涉及一种易扩展的高精度靶心坐标提取方法。

背景技术：

在计算机视觉领域，一项重要的任务是基于2D相机确定三维目标的空间位置及结构信息，一般借助具有特定形状及尺寸的标准靶标，根据靶心在2D图像中的位置，解算出目标的空间信息。因此，二维图像中靶标提取的精确性，直接影响到空间信息解算的准确性。

靶标提取主要使用的技术包括检测器学习、模板匹配、连通域分析等，典型的定位算法往往会使用这些方法中的一种或几种，由粗到细逐步确定靶心坐标，一般能够得到较准确的结果，但主要存在以下两个问题：

1.扩展难度大。在算法扩展到新类型的目标时，为了适配靶标的角度及背景的变化，需要离线采集大量样本建模及调参，一方面，该过程比较耗时；另一方面，在样本不足时，该扩展过程将难以完成。

2.拟合精度差。为了获取精确的靶心坐标，一般根据边缘对靶标图形进行拟合，一方面，靶标往往是由多个亮区及暗区组成，两种区域的边缘都会影响拟合的精度，但如果所有边缘都参与拟合，区域之间邻接部分的双边缘会影响数据权重，导致拟合精度的下降；另一方面，亚像素边缘计算方法的边界鉴别能力也会影响边缘的精度。

发明内容：

本发明要解决的技术问题是传统的靶心坐标提取方法扩展难度大、拟合精度差的问题。

为解决上述问题，本发明提供了一种易扩展的高精度靶心坐标提取方法，基于支持向量机实现亚像素级靶心坐标提取，该方法可以通过单靶标及单目标图像，在线自动生成靶标数据集并提取特征及训练靶标检测器，检测靶标后，采用带有惟一性约束的边缘提取算法确定靶标区域的像素边缘，再优化具有鉴别能力的激活函数解算亚像素边缘，实现了一种易扩展、高精度的快速靶心提取方法。

为达到上述目的，本发明具体通过以下技术方案实现，一种易扩展的高精度靶心坐标提取方法，包括以下步骤：

(1)靶标数据集生成：离线采集单幅靶标图像，提取前景并进行仿射变换，在线采集单幅目标图像作为背景，将靶标图像前景叠加在目标图像上，剪裁生成靶标正样本图像，再根据目标图像上随机选择的区域，剪裁生成负样本图像；

(2)靶标检测：对于靶标样本图像，提取梯度方向直方图特征，采用支持向量机训练分类器，通过滑动窗口对靶标进行粗定位，得到靶标候选区域；

(3)亚像素边缘提取：在粗定位得到的靶标候选区域内二值化，提取亮区及暗区的像素边缘，再采用基于激活函数的边缘模型提取亚像素边缘。在区域像素边缘提取时，引入惟一性约束，将下边缘点和右边缘点分别向下和向右移动一个像素，以便与邻接区域的边缘相重合，保证邻接部分共享单边缘；

(4)靶心计算：根据边缘点拟合椭圆，求得靶标靶心坐标。

进一步的，步骤(1)靶标数据集生成步骤包括以下部分：

(1-1)靶标前景提取：离线准备时，按照系统需求设计及制作靶标；将靶标至于平板物体上，保持平板与相机成像平面平行，采集图像；根据工业相机的参数对采集到的含有靶标的图像进行畸变矫正；然后裁切靶标区域，去除背景，得到靶标的有效像素点；

(1-2)靶标样本生成：在线扩展目标类型时，根据工业相机的参数对采集到的含有目标的图像进行畸变矫正；令靶标中心与目标图像中心重合，对靶标的有效像素点进行仿射变换、与目标图像叠加及剪裁，生成以靶标不同角度、尺度的有效像素点为前景、以目标不同区域为背景的靶标正样本图像；对应的，在目标图像中随机采样，生成与正样本等尺寸的负样本图像。

进一步的，步骤(1-1)中靶标的设计尺寸为外圆半径为35mm，内圆半径为20mm，靶心点的半径为1mm。按照5米-7米的视野距离进行拍摄。

进一步的，步骤(1-2)按照以下公式进行仿射变换：

参数t

a

选取θ的范围为-10°到10°，步长为0.1°，X轴上平移量为-300到+300像素点，步长为20个像素点，Y轴上平移量为-400到+400像素，步长为20个像素点。其中，靶标有效像素点的旋转操作也可以在离线准备时完成。

进一步的，步骤(2)靶标检测步骤包括以下部分：

(2-1)样本特征提取：通过计算和统计图像区域内的梯度方向直方图来构建特征，对直方图进行对比度归一化处理，归一化后的一维向量即为HOG特征；

其中，每个像素点计算的梯度、包括像素的方向和大小：

G

G

上述公式中G

(2-2)分类器训练：经过拉格朗日公式和KKT条件等数学运算求解得到：

其中，d(X

其中，ω为一组超平面的法向量，b为一组超平面的截距。

(2-3)滑窗靶标检测：在线检测时，以靶标样本图像尺寸构建窗口，在目标图像上滑动、提取特征及分类，检测到靶标候选区域。

进一步的，步骤(2-1)将靶标数据集中的训练数据归一化成为64*64尺寸的图像，在图像中分成8像素*8像素的联通区域，即细胞单元；采集细胞单元中各像素点的梯度和边缘方向，然后在每个细胞单元中累加出一个一维梯度方向直方图。

进一步的，步骤(2-1)得到像素点(x，y)处的梯度幅度值和梯度方向后，将2*2个细胞单元合成一个区块；先计算细胞单元的梯度直方图，按照梯度方向分为0-10°，10-20°，20-40°，40-90°，90-110°，110-130°，130-150°，150-170°，170-180°，共九个角度，得到9个直方图通道；对于每一个区块，特征向量的长度为2*2*9＝36；最后使用二维欧几里得范数对特征向量归一化。

进一步的，步骤(2-3)的滑动窗口以目标图像为中心，X轴上平移量为-300到+300像素点，步长为20个像素点，Y轴上平移量为-400到+400像素，步长为20个像素点。

进一步的，步骤(3)亚像素边缘提取和计算包括以下部分：

(3-1)区域边缘列表获取：使用阈值T对靶标候选区域图像进行二值化，候选区域将被分割为多个亮区及暗区，获取各个区域的边缘列表；

其中，阈值T取值为128。

(3-2)单边缘提取：对于每个区域，从该区域与其他区域的第一个边界点出发，按照带有惟一性约束的拓展边缘跟踪算法规则，跟踪区域边缘，如果到达该区域与另一区域的边界，则得到了该区域的第一条边缘线段，再从此交点出发进行类似操作，直到跟踪到该区域的第一个交点，跟踪算法结束，从而得到该区域的所有边缘线段。对所有区域按该方法提取边缘后，去除未进行扩展的边缘点，得到所有区域交界的单边缘点；

(3-3)亚像素边缘计算：对于获取的单边缘，使用具有鉴别能力的激活函数模型计算亚像素坐标，如下所示：

其中：a为边缘的最大灰度值和最小灰度值的差值；b为激活函数在x轴上的偏移，即待拟合点的坐标和最后一个点的坐标差值。c表示边缘的倾斜程度，一般取值为0.4-0.6。d为激活函数在Y轴上的偏移，即边缘最小灰度值。利用最小二乘法，将边缘点左右边的灰度值和x坐标值作为拟合函数，即可求解边缘的亚像素值。

进一步的，步骤(4)包括以下部分：

设平面任意位置的椭圆方程为

x

根据最小二乘原理，所拟合的目标函数为

利用步骤3中获取的边缘点，构造线性方程组，对A,B,C,D,E进行求解。再根据椭圆的基本性质，求得

这里面x

进一步的，步骤(4)计算前，如果存在2组以上边缘，需要对边缘进行进一步筛选，按照闭合的最大边缘原则筛选。

本发明的有益效果为：

针对靶标提取算法涉及的扩展难度大、拟合精度差的问题。本本发明提供了一种易扩展的高精度靶心坐标提取方法，基于支持向量机实现亚像素级靶心坐标提取，该方法可以通过单靶标及单目标图像，在线自动生成靶标数据集并提取特征及训练靶标检测器，检测靶标后，采用带有惟一性约束的边缘提取算法确定靶标区域的像素边缘，再优化具有鉴别能力的激活函数解算亚像素边缘，实现了一种易扩展、高精度的快速靶心提取方法。

附图说明

图1是本发明的算法流程图；

图2是标靶的示意图；

图3是靶心定位提取结果示意图(其中方框和十字代表提取结果)；

图4是模拟场景图；

图5是真实场景图。

具体实施方式：

为使本发明实施例的目的、技术方案和优点更加清楚，下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，首先我们将设计好的靶标模型转化成位图图像并打印后，用工业相机拍摄靶标样板图片，提取出有效像素点作为前景；为了扩展到目标，拍摄目标图片，作为靶标背景，将前景放置到目标图像中心，进行缩放、旋转、平移变换，剪裁出以目标为背景的新的靶标图像，形成靶标数据集。在数据集的基础上，提取HOG特征，并使用支持向量机训练获得靶标检测的模型。基于模型，可以在整张图上对靶标进行粗定位。然后对定位区域进行二值化，得到亮区及暗区，通过设定条件判断区域是否为椭圆，通过带有惟一性约束的边缘跟踪算法获取椭圆区域之间的单边缘，并通过激活函数求解亚像素边缘，进一步的解算椭圆参数方程，计算出椭圆圆心，即靶心。具体为：

(1)靶标数据集生成

靶标的数据集生成主要是生成靶标正负样本，正样本是以靶标为前景、目标为背景的新的靶标图像，负样本是在目标图像上随机选择的区域。对于正样本的生成，需要先制作靶标、拍摄靶标图像、提取靶标前景，然后拍摄目标图像作为背景，最后通过仿射变换生成新的靶标图像；对于负样本的生成，按照正样本的尺寸在目标图像上随机采样。

该步骤实现过程分以下几个步骤：

(1-2)靶标前景提取：离线准备时，按照系统需求设计及制作靶标；靶标的设计尺寸为外圆半径为35mm，内圆半径为20mm，靶心点的半径为1mm，如图2所示。将靶标至于平板物体上，保持平板与相机成像平面平行，考虑的实际工况，可按照5米-7米的视野距离进行拍摄采集图像；根据工业相机的参数对采集到的含有靶标的图像进行畸变矫正；然后裁切靶标区域，去除背景，得到靶标的有效像素点；

(1-2)靶标样本生成：在线扩展目标类型时，根据工业相机的参数对采集到的含有目标的图像进行畸变矫正；令靶标中心与目标图像中心重合，对靶标的有效像素点按照以下公式进行仿射变换：

参数t

a

选取θ的范围为-10°到10°，步长为0.1°，X轴上平移量为-300到+300像素点，步长为20个像素点，Y轴上平移量为-400到+400像素，步长为20个像素点。其中，靶标有效像素点的旋转操作也可以在离线准备时完成。

变换后的靶标图像与目标图像叠加及剪裁，生成以靶标不同角度、尺度的有效像素点为前景、以目标不同区域为背景的靶标正样本图像；对应的，在目标图像中随机采样，生成与正样本等尺寸的负样本图像。图像的尺寸为2064乘以1544，大约可生成30000个靶标正样本，同理，生成60000个靶标负样本。

(2)靶标检测器

靶标检测器基于HOG特征及支持向量机分类器。在步骤1中已经生成了正负样本，在样本上提取HOG特征，训练二分类支持向量机模型。在目标图像上滑动窗口，判断窗口区域是否为正样本模型，即可达到检测该类靶标的目的。该流程主要由以下子步骤构成：

(2-1)样本的HOG特征提取：HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。该方案主要是通过计算和统计图像区域内的梯度在方向直方图来构建特征。本发明的主要的实施方法是将靶标数据集中的训练数据归一化成为64*64尺寸的图像，在图像中分成8像素*8像素的联通区域，称其为细胞单元。采集细胞单元中各像素点的梯度和边缘方向，然后在每个细胞单元中累加出一个一维梯度方向直方图。为了对光照和阴影有更好的不变性，对直方图进行对比度归一化处理。归一化后的一维向量即为HOG特征。

每个像素点计算的梯度、包括像素的方向和大小：

G

G

上述公式中G

最后，将2*2个细胞单元合成一个区块。先计算细胞单元的梯度直方图，按照梯度方向分为0-10°，10-20°，20-40°，40-90°，90-110°，110-130°，130-150°，150-170°，170-180°，共九个角度，得到9个直方图通道。对于每一个区块，特征向量的长度为2*2*9＝36。最后使用二维欧几里得范数对特征向量归一化。对于64*64像素图片，能够得到7*7*36＝1764个特征值构成一个数据集单个样本的特征向量。

(2-2)分类器的训练：分类器的训练是要找到一组参数ω和b，使得

其中，ω为一组超平面的法向量，b为一组超平面的截距。

这是一个优化问题。在经过拉格朗日公式和KKT条件等数学运算求解得到：

其中，d(X

(2-3)滑窗靶标检测：在线检测时，以靶标样本图像尺寸构建窗口，在目标图像上滑动、提取特征及分类，检测到靶标候选区域。

(3)亚像素边缘提取

亚像素边缘提取技术主要采用的是基于激活函数的拟合边缘模型。在粗定位得到的靶标候选区域内二值化提取亮区及暗区的像素边缘，再采用基于指数型激活函数的边缘模型提取亚像素边缘。在区域像素边缘提取时，引入惟一性约束，将下边缘点和右边缘点分别向下和向右移动一个像素，以便与邻接区域的边缘相重合，保证邻接部分的单边缘。具体过程如下：

(3-1)区域边缘列表获取：使用阈值T对靶标候选区域图像进行二值化，候选区域将被分割为多个亮区及暗区，获取各个区域的边缘列表；

其中，阈值T取值为128。

(3-2)单边缘获取：对于每个区域，从该区域与其他区域的第一个边界点出发，按照带有惟一性约束的拓展边缘跟踪算法规则，跟踪区域边缘，如果到达该区域与另一区域的边界，则得到了该区域的第一条边缘线段，再从此交点出发进行类似操作，直到跟踪到该区域的第一个交点，跟踪算法结束，从而得到该区域的所有边缘线段。对所有区域按该方法提取边缘后，去除未进行扩展的边缘点，得到所有区域交界的单边缘点。

(3-3)亚像素边缘计算。对于获取的单边缘，使用具有鉴别能力的激活函数模型计算亚像素坐标，如下所示：

其中：a为边缘的最大灰度值和最小灰度值的差值；b为激活函数在x轴上的偏移，即待拟合点的坐标和最后一个点的坐标差值。c表示边缘的倾斜程度，一般取值为0.4-0.6。d为激活函数在Y轴上的偏移，即边缘最小灰度值。利用最小二乘法，将边缘点左右边的灰度值和x坐标值作为拟合函数，即可求解边缘的亚像素值。

(4)靶心计算：根据边缘点拟合椭圆，求得靶标靶心坐标。

上一步骤中获取了靶标区域的边缘，如果存在2组以上边缘，则需要对边缘进行进一步筛选，一般按照闭合的最大边缘原则筛选。

设平面任意位置的椭圆方程为

x

根据最小二乘原理，所拟合的目标函数为

利用步骤3中获取的边缘点，构造线性方程组，对A,B,C,D,E进行求解。再根据椭圆的基本性质，求得

这里面x

本实施例的一个具体应用为：

本文算法在Intel Xeon 3.31GHz的CPU、8G内存、64位Windows 10操作系统的PC机上进行了实现。算法在模拟及真实场景中进行了应用。在模拟场景中，对图2形式的同心圆靶标进行仿射变换生成5幅白色背景图像，每幅图像中有两个靶标，共有10个靶标，根据圆心坐标值仿射变换计算得到靶标中心的精确位置作为真值，因此可以定量地比较算法精度。在真实场景中，采集了4幅图像，每幅图像中有1个靶标，通过观察定位到的靶心坐标，定性的比较算法精度。

采用本文提出的算法，通过单靶标及场景中采集的单目标背景图像，在线自动生成靶标数据集；在靶标样本上提取梯度方向直方图特征，采用支持向量机训练分类器，通过滑动窗口对场景图像中的靶标进行粗定位，得到靶标候选区域；然后在候选区域内二值化，使用惟一性约束提取亮区及暗区的像素边缘，再采用基于激活函数的边缘模型提取亚像素边缘；最后根据边缘点拟合椭圆，求得靶标靶心坐标。

模拟场景如图4所示。对本文算法与传统的基于连通域边界拟合圆的算法进行了比较，实验结果如下表所示：

从上表可见，本文算法比传统算法具有更高的精度。传统算法误差不稳定，在0.55～4.86像素之间(平均值1.769，标准差1.212)，而本文算法的误差控制在0.1像素以下(平均值0.020，标准差0.011)。

真实场景如图5所示。对本文算法与传统的基于连通域边界拟合圆的算法进行了比较，在图5中对定位结果分别进行了标记，较大的红色十字标记表示传统算法，较小的绿色十字标记表示本文算法，从图显然可见，本文算法更靠近靶心，具有更高的精度。

因此，本文算法在考虑扩展性的同时，也具有高精度的特性。