基于羽毛球场边线检测的相机自标定方法及系统

技术领域

本发明属于图像数据处理技术领域，具体来说，涉及一种基于羽毛球场边线检测的相机自标定方法及系统。

背景技术

现有技术中出现了许多利用摄像机获取运动员数据并进行分析和策略推荐的羽毛球赛情分析系统，基于这些系统，比赛前，运动员能够对自己和对手以往的比赛情况进行查询和分析，找出自己的优势和劣势，制定合适的训练计划和比赛应对方案；在赛后，运动员可以对比赛过程进行有效复盘，通过每一球的击球类型以及所属区域等具体信息总结得分与失分的原因和规律，并在之后的比赛中做出针对性调整。而在这样一套系统中，一个关键的步骤为羽毛球的识别以及所处位置判断，而此步骤的核心前提是进行羽毛球场的识别以及搭建三维坐标系，以此实现羽毛球的二维坐标到三维坐标的转化。

然而，许多现有的边线检测与相机标定方案并不是在面对任意视角的羽毛球场时都能适用并展现出较好性能，不少现存技术仅能够在面对体育馆转播视角的羽毛球场时有所发挥，在角点检测(边线检测)的基础上进行相机标定，这种视角虽常见，但并不适用于普通业余爱好者。对于普通业余爱好者而言，受到可实现的相机架设位置的限制，往往只能做到一些低角度视角甚至局部视角下的图像采集，这类视角下的球场和羽毛球能够近距离且清晰地呈现在使用者面前，极大增强了便利性，但其局部视角也给边线检测和相机标定带来了难题。

发明内容

针对现有羽毛球场局部视角不便于给边线检测和相机标定的问题，本发明提供了基于羽毛球场边线检测的相机自标定方法，可以在面对任意视角的羽毛球场时进行边线检测与相机标定，进而对羽毛球的实时世界坐标进行计算。

为实现上述技术目的，本发明采用的技术方案如下：

一种基于羽毛球场边线检测的相机自标定方法，包括步骤：

S1、通过深度相机采集球场图像；

S2、对球场图像中的场地边线进行检测，获取每段边线的起始点与终止点的像素坐标以及部分关键点的像素坐标，并在图像中标出球场边线；

S3、通过每段边线的相关坐标以及球场图像中部分关键点的像素坐标，再结合标准球场上边线的实际距离，确定空间物体表面某点的三维几何位置与其在图像中对应点之间相互关系。

进一步地，步骤S2的详细步骤包括：

S201、对图像的每一个像素点进行遍历，设置像素阈值，若该像素点的BGR数值高于此阈值，则将其设为白色，反之则将其设为黑色，以此获得图像的二值化结果；

S202、利用概率霍夫变换对高于阈值条件的像素点进行连点成线；

S203、根据所检测的图像中球场所处点位的具体情况，利用角度或者位置信息对集合中的边线进行初步筛选，得到初步筛选后的二值图；

S204、在获得经过筛选后的有效边线的坐标集合后，计算其两边线之间的交点坐标并且由每四个交点组成一个矩形；

S205、将获得的矩形与从组成标准球场的多个矩形中指定的一个还原基准矩形相对应，逐一对步骤S204中得到的矩形进行透视变换和球场还原，并将还原后的球场图像与初步筛选后的二值图进行比较打分，选取其中重合度最高的一球场图像作为球场还原图像，进而获取每段边线的起始点与终止点的像素坐标以及部分关键点的像素坐标，并在图像中标出球场边线；

进一步的，S203中，初筛的方式包括人为框选图像上一个或多个区域内的线条，还可以通过角度或者位置参数设定来初选。

进一步的，S205中，逐一对得到的矩形进行透视变换和球场还原的过程包括，

基于每一矩形对应于还原基准矩形，利用getPerspectiveTransform函数得到初步筛选后的二值图与还原基准矩形所在的基准平面的透视关系；再利用PerspectiveTransform函数基于得到的透视关系，对还原基准矩形所在的球场整体图像进行透视变换，将球场整体映射到二值图所在的平面中，得到一个球场图像；

进一步的，S205中，进行比较打分，并选取其中重合度最高的一球场图像作为球场还原图像过程如下：

遍历每个复现出的球场，对变换后的球场的每一条边线每隔一定步长取一个像素点，并取得所选像素点在图中的坐标；

取得初筛后的二值图中的前述各坐标处的像素点的RGB值并求和；

若当前所求RGB和值的大于当前最大得分值，则令当前最大得分值等于当前所求RGB和值，同时令当前球场为选定球场；

计算下一复现出的球场，直至遍历完所有复现出的球场。

进一步的，所述步骤3中，若当前视角下的羽毛球场中可以找到两组互相正交的平行线，则采用构件消失点的方法，结合从标准球场数据中可知的线段长度，计算世界坐标信息、相机的内参矩阵K，进而对旋转矩阵R和平移向量进行求解；

若当前视角下的羽毛球场中无法找到两组互相正交的平行线以构成两个消失点；则通过世界中的N个特征点与图像成像中的N个像素点；

将球场视为标定板，通过边线检测的结果计算获得部分关键点的像素坐标信息，并通过羽毛球场的具体尺寸确定这些关键点所对应的世界坐标信息，且这些关键点可以包括位于球网和网杆上的点；通过相机的焦距信息和图像分辨率信息近似确定相机的内参矩阵K，进而利用solvePnP算法对相机的旋转矩阵R和平移向量T进行求解。

进一步地，通过构建误差损失函数的方式对上述的相机标定结果进行检验，包括：

通过相机的内参矩阵和外参矩阵获得关键点的投影像素坐标，并基于此投影像素坐标和事先确定的图像像素坐标构建误差损失函数，以误差损失函数最小为目标采用优化算法进行迭代，进而获得更准确的相机参数信息。

本发明的另一目的是提供一种基于羽毛球场边线检测的相机自标定系统，包括球场图像采集模块、边线检测模块和相机标定模块；

边线检测模块包括图像二值化模块、球场边线检测初步筛选模块、透视变换模块；

图像二值化模块，被配置为对图像的每一个像素点进行遍历，设置像素阈值，若该像素点的RGB数值高于此阈值，则将其设为白色，反之则将其设为黑色，获取图像的二值化结果；

球场边线检测初步筛选模块，被设置为，首先利用HoughLinesP函数对高于此阈值条件的像素点进行连点成线，获得一个有关所有边线坐标的集合；

其次，根据所检测的图像中球场所处位置的具体情况，利用角度或者位置信息等对集合中的边线进行初步筛选；

透视变换模块，被设置为，在获得经过筛选后的有效边线的坐标集合后，计算其两边线之间的交点坐标并且由每四个交点组成一个矩形；

以及，逐一对得到的矩形进行透视变化和球场还原，包括：

基于每一矩形对应于还原基准矩形，利用getPerspectiveTransform函数得到初步筛选后的二值图与还原基准矩形所在的基准平面的透视关系；再利用PerspectiveTransform函数基于得到的透视关系，对还原基准矩形所在的球场整体图像进行透视变换，将球场整体映射到二值图所在的平面中，得到一个球场图像；

以及，将还原后的球场与初步筛选后的二值图进行比较打分，选取一球场图像作为球场还原图像；

相机标定模块，被设置为，通过每段边线的相关坐标以及球场图像中部分关键点的像素坐标，再结合标准球场上每段边线的实际距离，确定空间物体表面某点的三维几何位置与其在图像中对应点之间相互关系。

进一步的，相机标定模块被配置为，若当前视角下的羽毛球场中可以找到两组互相正交的平行线，则采用构件消失点的方法，结合从标准球场数据中可知的线段长度，计算世界坐标信息、相机的内参矩阵K，进而对旋转矩阵R和平移向量T进行求解；

若当前视角下的羽毛球场中无法找到两组互相正交的平行线以构成两个消失点；则通过世界中的N个特征点与图像成像中的N个像素点；

将球场视为标定板，通过边线检测的结果计算获得部分关键点的像素坐标信息，并通过羽毛球场的具体尺寸确定这些关键点所对应的世界坐标信息，且这些关键点可以包括位于球网和网杆上的点；通过相机的焦距信息和图像分辨率信息近似确定相机的内参矩阵K，进而利用solvePnP算法对相机的旋转矩阵R和平移向量T进行求解。

进一步的，透视变换模块中还耦合有打分对比模块，该模块被设置为，

遍历每个复现出的球场，对变换后的球场的每一条边线每隔一定步长取一个像素点，并取得所选像素点在图中的坐标；

取得初筛后的二值图中的前述各坐标处的像素点的RGB值并求和；

若当前所求RGB和值的大于当前最大得分值，则令当前最大得分值等于当前所求RGB和值，同时令当前球场为选定球场；

计算下一复现出的球场，直至遍历完所有复现出的球场。

遍历每个复现出的球场，对变换后的球场的每一条边线每隔一定步长取一个像素点，并取得所选像素点在图中的坐标；

取得初筛后的二值图中的前述各坐标处的像素点的RGB值并求和；

若当前所求RGB和值的大于当前最大得分值，则令当前最大得分值等于当前所求RGB和值，同时令当前球场为选定球场；

本发明相比现有技术，具有如下有益效果：

将球场的边线检测和相机自标定结合在一起，利用边线检测的结果结合标准羽毛球场的诸多已知信息来定位球场坐标以及构建世界坐标系。

得益于从球场的边线检测结果中能够较容易的得到多组相互正交的平行线，理论上能够对任意视角的羽毛球场边线进行检测，无需局限于某一特定角度，能看出球场的一部分即可实现边线检测以及后续的相机标定。

附图说明

图1为本发明实施例中的基于羽毛球场边线检测的相机自标定方法的整体流程图；

图2为本发明实施例中的基于羽毛球场边线检测的相机自标定方法的过程示意图；

图3为本发明实施例中相机中间放置侧向朝向和正向朝向的视角示意图；

图4为本发明实施例中相机四角放置时的视角示意图；

图5为本发明实施例中投影透视变换的实现过程示意图；

图6为本发明实施例中求解内参矩阵示意图；

图7为本发明实施例中边线检测结果的示意图；

图8为本发明实施例中相机标定结果的示意图；

图9为本发明实施例中的基于羽毛球场边线检测的相机自标定系统的整体结构框图。

具体实施方式

为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。

如图1所示，本实施例提供了一种基于羽毛球场边线检测的相机自标定方法，包括步骤：

S1、通过深度相机采集球场图像；根据使用者对球场捕捉视野的需要，确定采集球场图像相机的采集点位和朝向；考虑到日常投入使用的羽毛球赛情分析系统中的相机通常只能部署在较低的拍摄角度，而不是体育馆转播视角的天花板部署位置，因此，本例中示例性的给出了两种摆放方案：中间放置和四角放置。

对于中间放置方案，即相机部署在网杆附近，还可分为两种角度——如图3中(a)部分所示的侧向朝向以及如图3中(b)部分所示的正向朝向。其中侧向朝向只能观察一个半场，而正向朝向能够勉强观察完整球场，但部分位置存在一定的死角遮挡情况。

对于四角放置方案，即相机部署在球场四角，如图4所示，此种部署方案能够观察整个球场的全貌，但较远半场的图像较为模糊，会在一定程度上影响检测的效果。

另外，半场检测能够输出8段边线，如图3中(a)部分所示，编号1-3的线条为平行线，编号4-8的线条为竖直线；而全场检测能输出12段边线，如图3中(a)部分以及图4中所示，编号1-6的线条为平行线，编号7-12的线条为竖直线。

S2、对球场的场地边线进行检测，获取每段边线的起始点与终止点的像素坐标以及部分关键点的像素坐标，并在图像中标出球场边线，该步骤可由一边线检测模块来完成；

如图2中所示，步骤S2的详细步骤包括：

S201、对图像的每一个像素点进行遍历，设置像素阈值，若该像素点的RGB数值高于此阈值，则将其设为白色，反之则将其设为黑色，以此获得图像的二值化结果；

S202、利用OpenCV库中的HoughLinesP函数对高于阈值条件的像素点进行连点成线，获得一个有关所有边线坐标的集合，该函数利用概率霍夫曼变换从二值图中找到直线；

S203、根据所检测的图像中球场所处点位的具体情况，利用角度或者位置信息对集合中的边线进行初步筛选，得到初步筛选后的二值图；初筛的方式包括人为框选图像上一个或多个区域内的线条，还可以通过角度或者位置参数设定来初选，初选的目的是尽可能少的包含图像中不对应于球场边线的直线，从图2中可以直观的看到，利用概率霍夫曼变换所找到的直线中有不少的并不对应于球场边线的直线，通过初步筛选的方式尽可能多的去掉这些直线，可以降低后续步骤的工作量，提供计算效率；

S204、在获得经过筛选后的有效边线的坐标集合后，计算其两边线之间的交点坐标并且由每四个交点组成一个矩形；

S205、逐一对步骤S204中得到的矩形进行透视变化和球场还原，并将还原后的球场与初步筛选后的二值图进行比较打分，选取一球场图像作为球场还原图像，具体如下：

由于标准球场上各个矩形的实际尺寸，特别是各边线的长度以及边线间的相对位置已知；于是，如图5所示，事先指定图中红框所标识的矩形为还原基准矩形，但可用的还原基准矩形并不限于，此于是如图5右侧部分所示，完整球场中的各条边相对于该矩形的各边的位置是为已知；基于此，如图5左侧部分所示，首先将步骤S204中得到的矩形与还原基准矩形对应起来，基于这个对应关系，利用getPerspectiveTransform函数得到二值图与还原基准矩形所在的基准平面的透视关系函数；再利用PerspectiveTransform函数，基于得到的透视关系函数，通过透视变换将该球场从基准平面映射到各矩形原本所在的二值图所对应的平面中，完成球场在二值图所对应的平面中的还原；getPerspectiveTransform和PerspectiveTransform函数同样出自OpenCV库。

一个矩形对应一个球场，则可以获得多个球场坐标，不难发现，若用于透视关系函数计算的矩形并不真实对应于如图5左侧所示的那个还原基准矩形，那么所还原出的球场也必定不是正确的球场；于是，再将透视变换得到的球场与初步筛选后的二值图进行比较打分，以筛选出所需的球场，具体的打分筛选方法如下：

遍历每个复现出的球场，对变换后的球场的每一条边线每隔一定步长取一个像素点，并取得所选像素点在图中的坐标；

取得初筛后的二值图中的前述各坐标处的像素点的RGB值并求和；

若当前所求RGB和值的大于当前最大得分值，则令当前最大得分值等于当前所求RGB和值，同时令当前球场为选定球场；

计算下一复现出的球场，直至遍历完所有复现出的球场。

上述方法的原理在于：考虑到黑色的RGB像素点值为0，而白色为255，且经过初步筛选后的二值图中已经具备完整球场的大部分信息；因此，若复现出球场与二值图的重合度较高，则从复现出的球场中所选的像素点在二值图中同样的位置处的RGB值应依然为255，因而累加总得分更高就表示有更多的点依然为255，也即重合度越高。值得注意的是所求RGB和值具有最高值，即二值图中所有坐标点处的RGB值皆为255，同时二值图内它有多条直线对应同一条球场边线，进而存在有多个矩形其所还原的球场均能在打分筛选中得到相同的RGB和值，甚至均为最RGB和值，上述方法确保仅有一个球场被输出。

由于二值图来源于原始图像，随着球场的选定，自然可以获取每段边线的起始点与终止点的像素坐标，并能在原始图像中标出球场边线；

S3、通过每段边线的相关坐标以及球场部分关键点的像素坐标，再结合球场上每段边线的实际距离，确定空间物体表面某点的三维几何位置与其在图像中对应点之间相互关系；该步骤可简称为相机的自标定，可通过一相机标定模块来完成。

本例中基于图像中的消失点(即灭点)来实现相机的自标定，所谓消失点，指的是原本在现实世界中平行的两条线会在经过透视变换后的图像中相交于远处，而形成的一个点。消失点具有许多有用的属性，往往可以利用这些性质对相机的相关参数进行求解，具体包括：

(1)计算焦距f和内参矩阵K

在根据在原始图像中标出球场边线，寻找如图6所示的两组相互正交的平行线，以此形成的两个消失点u和v的相关单位向量作为世界坐标系的两轴，再通过两两正交的坐标轴关系，则求出第三轴；在图6中，设主点为图像平面的中心Oi，并与两消失点u和v之间的连线L

其中W和H分别为图像的宽与高。

(2)计算旋转矩阵R

首先同样在图像中寻找两组相互正交的平行线，以此形成的两个消失点u和v的相关单位向量可作为世界坐标系的两轴，通过两两正交的坐标轴关系则可求出第三轴。这样，可以分别获得潜在的三个消失点在相机坐标系下的相关单位向量，又由消失点的性质可知，消失点的坐标变换与平移向量无关，仅与旋转矩阵有关。因此，已知三个消失点在世界坐标系下的单位向量分别对应X轴，Y轴与Z轴，分别为(1,0,0),(0,1,0),(0,0,1)，则可计算获得相机的旋转矩阵R.

(3)计算平移向量T：

假设场景中已知长度的一小段线段ab，ab为形成某一消失点的平行线中的一员，且端点a位于世界坐标系的原点，形成的消失点为v。在不失概括性的情况下，世界的中心可以在场景中的任何一点上选择。由于旋转矩阵R已知，因此可以将线段ab与其在相机坐标系中的图像对齐。假设O为相机光心，易知向量Oa即为相机坐标系变换到世界坐标系的平移向量，因此T＝-Oa。利用消失点的性质可知，相机光心与消失点的连线与形成该消失点的空间平行线平行，即Ov//ab。在此基础上，则可构建相似三角形对向量Oa的长度进行求解，进而获得平移向量T。

以如图7所示场景为例，该场景可以获得半场的8段边线的起始点和终止点的坐标，分别是：

L1:(88.9851，1625.68)，(2299.79，1299.7)，

L2:(167.401，1703.86)，(2477.88，1324.32)，

L3:(i179.81，2713.16)，(3910.02，1522.34)，

L4:(88.9851，1625.68)，(1491.6，3024)，

L5:(355.426，1586.39)，(2430.92，3024)，

L6:(1477.95，1420.88)，(3174.77，1843.03)，

L7:(2198.58，1314.62)，(4032，1586.76)，

L8:(2299.79，1299.7)，(4032，1539.21)；

相机标定所用到的两个消失点VP1和VP2的坐标分别是：

VP1:(5503.57，827.295)，

VP2:(-646.656，892.294)；

两个根据标准球场尺寸已知实际距离长度的关键点a和b的坐标，分别是：

a:(3174.77，1843.03)，

b:(3830.8，1556.89)。

于是可构建如图8所示的世界坐标系，在不使用标定板的情况下，利用球场边线信息估计获得相机的焦距focal、旋转矩阵R和平移向量T，本场景中分别为：

focal＝2976.8915649028936，

T＝[1.612394350.46061854.142257]。

另外，如果在某一视角下的羽毛球场中较难找到两组互相正交的平行线以构成两个消失点，比如相机中间放置方案的正向朝向角度，则可以将其转化为PnP(PerspecTive-n-PoinT)问题进行求解，即通过世界中的N个特征点与图像成像中的N个像素点，计算出其投影关系，从而获得相机或物体位姿，具体步骤为：

(1)将羽毛球场视为标定板，通过边线检测的结果计算获得部分关键点的像素坐标信息，并通过羽毛球场的具体尺寸确定这些关键点所对应的世界坐标信息，且这些关键点可以包括位于球网和网杆上的点。

(2)通过相机的焦距信息和图像分辨率信息近似确定相机的内参矩阵K。

(3)根据上述步骤已经确定的关键点的图像像素坐标信息和世界坐标信息以及相机的内参矩阵K，利用OpenCV库中的solvePnP算法对相机的旋转矩阵R和平移向量T进行求解。

另外，还可以通过构建误差损失函数的方式对上述的相机标定结果进行检验。具体做法为：通过相机的内参矩阵和旋转矩阵获得关键点的投影像素坐标，并基于此投影像素坐标和事先确定的图像像素坐标构建误差损失函数，以误差损失函数最小为目标采用优化算法，如牛顿法BFGS等，进行迭代，进而获得更准确的相机参数信息。

上述的自标定方法及其优化均为领域技术人员较为熟知现有的，

本实施例中还公开了一种基于羽毛球场边线检测的相机自标定系统，基本如图9所示，包括球场图像采集模块、边线检测模块和相机标定模块；

本实施例中图像采集模块为深度相机。

边线检测模块包括图像二值化模块、球场边线检测初步筛选模块、透视变换模块和球场输出模块；

图像二值化模块，被配置为对图像的每一个像素点进行遍历，设置像素阈值，若该像素点的RGB数值高于此阈值，则将其设为白色，反之则将其设为黑色，获取图像的二值化结果；

球场边线检测初步筛选模块，被设置为，首先利用HoughLinesP函数对高于此阈值条件的像素点进行连点成线，获得一个有关所有边线坐标的集合；

其次，根据所检测的图像中球场所处位置的具体情况，利用角度或者位置信息等对集合中的边线进行初步筛选；去除周边环境的影响。再依据所处位置对剩余的边线进行分类，为后续的边线之间的矩形构建步骤做好准备。

实际中，在运用霍夫变换进行直线检测时需要根据实际情况调整参数，以获得更好的检测效果，同时也可以加入降噪、滤波等操作辅助检测与筛选。还可以引入手段框选功能，供使用者借助显示设备查看集合中的边线，再通过手段选取保留或去掉图像上一个或多个区域内的线条。

透视变换模块，被设置为，在获得经过筛选后的有效边线的坐标集合后，计算其两边线之间的交点坐标并且由每四个交点组成一个矩形；

以及，逐一对得到的矩形进行透视变化和球场还原，本实施例中具体如下：

基于每一矩形对应于还原基准矩形，利用getPerspectiveTransform函数得到初步筛选后的二值图与还原基准矩形所在的基准平面的透视关系；再利用PerspectiveTransform函数基于得到的透视关系，对还原基准矩形所在的球场整体图像进行透视变换，将球场整体映射到二值图所在的平面中，得到一个球场图像；

透视变换模块中还耦合有打分对比模块，该模块将还原后的球场与初步筛选后的二值图进行比较打分，选取一球场图像作为球场还原图像；本实施例中具体如下：

遍历每个复现出的球场，对变换后的球场的每一条边线每隔一定步长取一个像素点，并取得所选像素点在图中的坐标；

取得初筛后的二值图中的前述各坐标处的像素点的RGB值并求和；

若当前所求RGB和值的大于当前最大得分值，则令当前最大得分值等于当前所求RGB和值，同时令当前球场为选定球场；

计算下一复现出的球场，直至遍历完所有复现出的球场。

球场输出模块，被配置为用于将选定的球场在显示终端中叠加于原始图像上显示。

相机标定模块被配置为通过每段边线的相关坐标以及球场部分关键点的像素坐标，再结合球场上边线的实际距离，确定空间物体表面某点的三维几何位置与其在图像中对应点之间相互关系；

本实施例中，该模块被配置为，若当前视角下的羽毛球场中可以找到两组互相正交的平行线，则采用构件消失点的方法，结合从标准球场数据中可知的线段长度，计算世界坐标信息、相机的内参矩阵K，进而对旋转矩阵R和平移向量进行求解；

若当前视角下的羽毛球场中无法找到两组互相正交的平行线以构成两个消失点；则通过世界中的N个特征点与图像成像中的N个像素点；

将球场视为标定板，通过边线检测的结果计算获得部分关键点的像素坐标信息，并通过羽毛球场的具体尺寸确定这些关键点所对应的世界坐标信息，且这些关键点可以包括位于球网和网杆上的点；通过相机的焦距信息和图像分辨率信息近似确定相机的内参矩阵K，进而利用solvePnP算法对相机的旋转矩阵R和平移向量T进行求解。

相机标定结果检验模块，该模块被配置为通过构建误差损失函数的方式对相机标定结果进行检验。

本实施例中，该模块被具体的配置为：通过相机的内参矩阵和旋转矩阵获得关键点的投影像素坐标，并基于此投影像素坐标和事先确定的图像像素坐标构建误差损失函数，以误差损失函数最小为目标采用优化算法，如牛顿法BFGS等，进行迭代，进而获得更准确的相机参数信息。

以上对本申请提供的一种基于羽毛球场边线检测的相机自标定系统进行了详细介绍。具体实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。