一种基于视觉检测的靶纸弹孔识别及报靶方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于视觉检测的靶纸弹孔识别及报靶方法。

背景技术

近年来，信息科技的高速发展推动着各种领域朝着自动化、智能化发展。在如今的打靶训练中，打靶成绩的播报与统计，需要利用人工报靶的方式统计成绩，其存在耗时长、安全性低以及存在人为误差的问题。随着计算机视觉技术的不断发展，将其应用到弹孔的自动识别中进行自动报靶以替代人工报靶的缺点，这是一种必然的趋势。

目前国内自动报靶系统按其实现原理有以下几种类型：双层电极短路采样系统、光电自动报靶系统、声电定位自动报靶系统、光纤编码自动报靶系统和电极埋入式自动报靶系统等，但是这些系统存在配置严苛且后期维护成本过高的问题。现有技术中的基于视觉检测的自动报靶系统，主要有图像预处理、靶环提取、弹孔识别、环值判定四个部分组成，其中弹孔识别与最后报靶的准确度有直接的联系，是整个自动报靶的核心。基于模板匹配识别弹孔的方法是计算弹孔和其他非弹孔地方各自的特征向量，与待检测的图像中每个像素点的特征向量进行比较，这种方法需要准确大量的弹孔模板，计算量相对较大；基于模糊理论识别弹孔是根据弹孔灰度值与背景灰度值之间存在的差异性来识别弹孔，这种方法虽然简单快速但是没用考虑到靶面畸变的问题；基于时间序列图像的减影技术识别弹孔是将前后两帧图像进行对比，把差值不为零的位置认为是弹孔，该方法简单但是受环境影响较大；基于小波变换的图像信息融合技术识别弹孔，分别对两幅图像进行小波分解，主要改变存在着新弹点图像的小波变换系数，以此来突出新弹点的边缘和位置，这种方法的抗干扰能力增强，但是算法复杂时间成本高；基于弹孔灰度特征识别弹孔是利用弹孔区域与背景的灰度特性的差异，统计弹孔的灰度特征通过分割来提取弹孔，算法简单但受光照影响较大。

因此，现需要一种能够有效检测出靶面上弹孔位置、可以在室外环境下使用的基于视觉检测的靶纸弹孔识别及报靶方法。

发明内容

本发明的主要目的在于提供一种基于视觉检测的靶纸弹孔识别及报靶方法，以解决现有技术中不能有效检测出靶面上弹孔位置、受光照影响大的问题。

为实现上述目的，本发明提供了一种基于视觉检测的靶纸弹孔识别及报靶方法，具体包括如下步骤：

S1，在相机前添加滤光片，通过相机获取靶面原始图像，对原始图像进行图形预处理，并对图像进行几何校正。

S2，对图像做进一步预处理，依次进行：灰度化、二值分割以及形态学操作。

S3，图像经过校正和预处理后，得到包含弹孔靶面的二值图像，对靶面进行轮廓提取和拟合，以获取靶心坐标和靶心半径；通过面积筛选出有效靶面生成掩膜，然后按照掩膜的区域将原图像进行分割以留下最后的目标区域进行弹孔检测。

S4，先用欧式距离计算每个弹孔和靶心之间的欧式距离，再根据计算的欧式距离与每个环值所在的圆环半径进行对比，对于在靶线上的弹孔，通常按照环值大的一边计算，即环值高的为有效成绩。

进一步地，步骤S1中的图像几何校正利用透视变换，将二维图片投影到一个三维平面上，然后再转换到二维平面上，具体过程为：

设原坐标点为(x,y)，变换后的坐标为(X,Y,Z)，则透视变换矩阵方程表示如公式(1)所示：

其中A为透视变换矩阵，可以将其拆分为四个部分：第一部分

经过变换后的坐标(X,Y,Z)为三维坐标，需要将其除以Z轴转换到二维平面得到新的二维坐标(X′,Y′)，结果如公式(2)和公式(3)所示：

令a

进一步地，步骤S2中对图像进行灰度化预处理具体为：

按公式(5)对RGB三分量进行加权平均能得到灰度图像

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j) (5)；

其中R(i,j)、G(i,j)、B(i,j)分别代表了红色、绿色和蓝色通道的像素值，Gray(i,j)代表灰度后的单通道像素值。

进一步地，步骤S2中对灰度化后的图像进行二值分割，二值分割的过程如下：

设一张灰度图像的像素值为f(x,y)，分割的阈值为T，则进行分割后的图像g(x,y)定义如公式(6)所示：

进一步地，步骤S2中对二值分割后的图像进行形态学操作，具体为：

在灰度形态学中用图像函数f(x,y)和b(x,y)分别表示目标图像和结构元素，(x,y)表示图像中的像素点的坐标，则形态学操作的数学表达式如公式(7)、(8)所示，式中，g

进一步地，步骤S3中对靶面进行轮廓提取和拟合的过程如下：

S3.1，假设输入图像为

S3.2，找到边界跟踪起始点后，执行边界跟踪，找到完整边界。

S3.3，得到完整边界后，设连通域为D，取D边界像素中心点，连接起来，成为一个近似圆形轮廓，使用格林公式计算轮廓面积。

S3.4，将得到的轮廓面积进行筛选，留下最中间的一环目标轮廓，然后将其轮廓拟合成圆，并获取靶心坐标及其半径。

进一步地，步骤S3中对弹孔检测的步骤为：

S3.5，对经步骤S2处理后的二值图像进行轮廓提取，通过面积筛选出有效靶面，剔除脱靶的弹孔对检测的影响，然后按照掩膜的区域将原图像进行分割以剔除靶面以外的背景，对分割后的图像进行弹孔检测；

S3.6，对分割后的图像先进行灰度化获取到灰度图像，再对灰度图像进行中值滤波以消除环线和背景褶皱噪点，然后进行二值化处理；

S3.7，对二值化图像进行轮廓检测和形态学闭运算，即对图像进行先膨胀后腐蚀，最后将检测的弹孔轮廓进行最小圆的拟合，同时获取每个弹孔的质心坐标。

进一步地，步骤S4具体为：

S4.1，利用欧式距离公式如(9)所示，计算每个弹孔到靶心之间的欧式距离d

S4.2，根据欧式距离与每个环值所在的圆环半径进行对比，对于在靶线上的弹孔，通常按照环值大的一边计算，即环值高的为有效成绩，判定公式如公式(10)所示：

式中，(x,y)表示图像中的像素点的坐标，i代表弹孔的个数，S代表环值。

本发明具有如下有益效果：

利用本发明进行的弹孔检测方法，因弹孔与其所在区域的灰度值之差大，进而使得本发明提供的方法具有较高的弹孔识别准确度，并且可以在室外环境下使用。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了本发明的一种基于视觉检测的靶纸弹孔识别及报靶方法的流程图。

图2示出了利用本发明步骤S2进行灰度化后的图像。

图3示出了利用本发明步骤S2进行二值分割后的图像。

图4示出了利用本发明步骤S2进行形态学操作后的图像。

图5示出了利用本发明步骤S3进行靶心提取的结果图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示的一种基于视觉检测的靶纸弹孔识别及报靶方法，具体包括如下步骤：

S1，在相机前添加滤光片，通过相机获取靶面原始图像，对原始图像进行图形预处理，并对图像进行几何校正。首先通过相机获取靶面原始图像，相机所获取的图像需要进行一定的处理才可以用于后续的检测，图像预处理的主要目的是消除图像中无关的信息，增强有关信息的可检测性，最大限度地简化数据，从而改进特征提取和识别的可靠性。为了避免打靶时对相机的损坏，相机摆放的位置在靶纸的下方并以一定的角度仰视，所以需要对图像进行几何校正

S2，对图像做进一步预处理，依次进行：灰度化、二值分割以及形态学操作。原始图像经过几何矫正后，得到了大致的靶面区域图像，为了进一步得到图像中感兴趣的靶面区域，需要对矫正后的图像做进一步预处理：灰度化、二值分割以及形态学操作。

S3，图像经过校正和预处理后，得到包含弹孔靶面的二值图像，对靶面进行轮廓提取和拟合，以获取靶心坐标和靶心半径；通过面积筛选出有效靶面生成掩膜，然后按照掩膜的区域将原图像进行分割以留下最后的目标区域进行弹孔检测。

S4，先用欧式距离计算每个弹孔和靶心之间的欧式距离，再根据计算的欧式距离与每个环值所在的圆环半径进行对比，对于在靶线上的弹孔，通常按照环值大的一边计算，即环值高的为有效成绩。

具体地，步骤S1中的图像几何校正利用透视变换，将二维图片投影到一个三维平面上，然后再转换到二维平面上，具体过程为：

设原坐标点为(x,y)，变换后的坐标为(X,Y,Z)，则透视变换矩阵方程表示如公式(1)所示：

其中A为透视变换矩阵，可以将其拆分为四个部分：第一部分

经过变换后的坐标(X,Y,Z)为三维坐标，需要将其除以Z轴转换到二维平面得到新的二维坐标(X′,Y′)，结果如公式(2)和公式(3)所示：

令a

所以需要4组点对求解出参数即可解出透视变换矩阵A。透视变换相对于线性变换和仿射变换来说更加灵活，将其放在了三维空间中提升了维度，且透视变换能够保持“直线性”，即原图中的直线，在经透视变换后仍为直线。

原始图像经过几何矫正后，得到了大致的靶面区域图像，为了进一步得到图像中感兴趣的靶面区域，需要对矫正后的图像做进一步预处理：灰度化、二值分割以及形态学操作。

具体地，步骤S2中对图像进行灰度化预处理具体为：

图像灰度化是将一幅彩色图像转换为灰度图像的过程。灰度图像只包含一个通道，通道值表示灰度值。在灰度化过程中，每个像素的RGB值被组合成一个单一的灰度值。根据重要性及其它指标，将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按公式(5)对RGB三分量进行加权平均能得到如图2所示的灰度图像

Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)(5)；

其中R(i,j)、G(i,j)、B(i,j)分别代表了红色、绿色和蓝色通道的像素值，Gray(i,j)代表灰度后的单通道像素值，其中，0.299、0.587、0.114是根据人眼对不同颜色的敏感度进行的加权。这种算法得到的灰度图像更加真实，也更符合人眼的感知。

在图像经过灰度化后是一个256级灰度的图像，再使用二值分割处理，将256个亮度等级的灰度图像通过适当的阀值选取获得仍然可以反映图像整体和局部特征的二值化图像，如图3所示。这样有利于再对图像做进一步处理时，图像的集合性质只与像素值为0或255的点的位置有关，不再涉及像素的多级值，使处理变得简单，而且数据的处理和压缩量小。

具体地，步骤S2中对灰度化后的图像进行二值分割，二值分割的过程如下：

设一张灰度图像的像素值为f(x,y)，分割的阈值为T，则进行分割后的图像g(x,y)定义如公式(6)所示：

图像经过二值化处理后，得到的二值图像会有很多的噪点，目标区域的边界信息比较模糊，使用形态学操作处理二值图像进行图像增强，形态学的核心操作是形态学运算，它是通过结构元素与图像进行特定运算的方式来改变图像的形态和特征。结构元素是一种小型和预定义形状的图像矩阵，可以与图像中的像素进行逻辑运算。常见的形态学运算有：腐蚀和膨胀两种。

具体地，步骤S2中对二值分割后的图像进行形态学操作，具体为：

在灰度形态学中用图像函数f(x,y)和b(x,y)分别表示目标图像和结构元素，(x,y)表示图像中的像素点的坐标，则形态学操作的数学表达式如公式(7)、(8)所示，式中，g

通常会将腐蚀和膨胀搭配一起使用，先腐蚀后膨胀称为开运算，主要用来删除一些小的目标、分离一些较细的连接处、使一些较大物体的边界变光滑；先膨胀后腐蚀称为闭运算，主要用来填充一些细小的孔洞、连接附近的目标、并使目标边界变得光滑。闭运算前对二值图进行取反操作，将靶面区域的值设置为“1”，目的是突出要处理的目标区域。然后运用闭运算将二值图中的靶面区域的缺失部分连接起来，形成较为完整的靶面区域，如图4所示。

在对原始图像经过前面的图像校正和预处理后，得到了包含弹孔靶面的二值图像。在此基础上先对靶面进行轮廓提取，对于检测出的轮廓按轮廓面积进行剔除以留下最中间的一环，进而将其轮廓拟合为圆，以获取靶心坐标和靶心半径，结果如图5所示。

具体地，步骤S3中对靶面进行轮廓提取和拟合的过程如下：

S3.1，假设输入图像为

S3.2，找到边界跟踪起始点后，执行边界跟踪，找到完整边界。

S3.3，得到完整边界后，设连通域为D，取D边界像素中心点，连接起来，成为一个近似圆形轮廓，使用格林公式计算轮廓面积。

S3.4，将得到的轮廓面积进行筛选，留下最中间的一环目标轮廓，然后将其轮廓拟合成圆，并获取靶心坐标及其半径。

具体地，步骤S3中对弹孔检测的步骤为：

S3.5，对经步骤S2处理后的二值图像进行轮廓提取，通过面积筛选出有效靶面，剔除脱靶的弹孔对检测的影响，然后按照掩膜的区域将原图像进行分割以剔除靶面以外的背景，对分割后的图像进行弹孔检测；这里的有效靶面指的是剔除其他无关背景只剩下包含环值的人型靶面。

S3.6，对分割后的图像先进行灰度化获取到灰度图像，再对灰度图像进行中值滤波以消除环线和背景褶皱噪点，然后进行二值化处理；

S3.7，对二值化图像进行轮廓检测和形态学闭运算，即对图像进行先膨胀后腐蚀，最后将检测的弹孔轮廓进行最小圆的拟合，同时获取每个弹孔的质心坐标。

具体地，步骤S4具体为：

S4.1，利用欧式距离公式如(9)所示，计算每个弹孔到靶心之间的欧式距离d

S4.2，根据欧式距离与每个环值所在的圆环半径进行对比，对于在靶线上的弹孔，通常按照环值大的一边计算，即环值高的为有效成绩，判定公式如公式(10)所示：

式中，(x,y)表示图像中的像素点的坐标，i代表弹孔的个数，S代表环值。

弹孔检测的精度直接决定了自动报靶系统的可靠性，本文设计的基于视觉检测的弹孔检测算法的精度主要有两部分决定：一是对有效靶面的提取；二是对有效靶面提取后的弹孔识别精度。影响弹孔识别精度的因素主要有相机的拍摄质量、光照以及弹孔的密集程度。为了更好的统计成绩，本方面将弹孔做了颜色标记以区分它们所在的环值，颜色和环值设置关系如下表1，在测试中，采用裁剪成功的10个靶面图像进行成绩统计，将每个靶面的所有弹孔的环值进行求和，作为该靶面的成绩，如表2所示。

表1弹孔与颜色标记

表2成绩统计情况

本发明提供的弹孔识别方法中，弹孔与所在区域的灰度值之差较大，灰度值之差越大，识别准确度越高。在测试过程中发现，当靶纸在白天受太阳光的直射时，靶面会出现过度的曝光现象，中间部分之前可以识别到的弹孔，由于光照的影响没有检测到，这对识别的结果造成了很大的影响。对于此问题，本发明在图像采集设备前加入了滤光片，波段在532nm±10nm以消除其余波段可见光的影响，以此来提高识别的精度。

通过本发明提供的方法可以有效检测出靶环的弹孔并计算出成绩，并可以在室外环境下使用。本发明利用胸环靶中圆环的同心特征和圆环之间的半径相差的原理，计算出靶心和弹孔之间的欧氏距离与环值半径作对比进行判定。此外，为了降低室外光照对识别的影响，本发明在图像采集设备前添加了滤光片以滤除一定波长的可见光。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。