球类运动跟踪摄像方法及系统

技术领域

本发明涉及图像处理技术领域，尤其是一种球类运动跟踪摄像方法及系统。

背景技术

目前，以校园足球为代表的校园体育活动和赛事越来越多，赛事录像和直播也成为宣传和分享这些赛事的途径之一，然而，目前大部分学校没有专业的设备和人员拍摄、录制、直播这些活动，球类赛事转换节奏变化十分快速，仅仅是使用普通的DV拍摄，基本无法跟上转换节奏，难以满足用户的需求，这成为了球类体育活动拍摄痛点、难点问题。

发明内容

本发明的目的是提供一种球类运动跟踪摄像方法及系统，以克服现有校园球赛拍摄效果不佳的缺陷。

第一方面，提供了一种球类运动跟踪摄像方法，包括以下步骤：

对场地不同位置进行拍摄，获得不同角度拍摄的实拍图像并拼接为实时的广角图像；

识别广角图像中的球体，根据球体的图像坐标截取广角图像以得到视频图像，使球体始终处于所述视频图像内；

按每个视频图像产生时间排序，提取两相邻视频图像的边缘位置的旋转平移矩阵并计算其角度信息和位移信息，以前一幅视频图像的边缘位置的旋转平移矩阵以及视频图像内球体的相对位置为参照，对后一幅视频图像的截取位置进行修正。

可选地，还包括以下步骤：

在广角图像中对拍摄图像进行畸变校正，选取相邻两幅实拍图像中的重合像素点作为求解单应性矩阵的参考点；

在广角图像中建立统一的坐标系，通过透视变换消除部分重合像素点后再次将实拍图像映射至广角图像的对应区域中。

可选地，还包括以下步骤：

利用RANSAC算法剔除所选重合像素点中的误匹配点，并计算剔除后剩余重合像素点的单应性矩阵的初始值，使用Levenberg-Marquardt非线性迭代最小逼近法进行求精剔除。

可选地，还包括以下步骤：

在视频图像中部定义球体区域，使初次截取的视频图像的球体处于所述球体区域内；

提取球体区域的特征信息，采用自适应特征点配准算法来获得两相邻视频图像的边缘像素点的旋转平移矩阵；

对比前后两视频图像的球体区域的特征信息变化，若特征信息变化在预置阈值内，以前一幅视频图像的截取范围为基准，重新截取后一幅视频图像，使后一幅视频图像的截取范围与一致，若特征信息变化超出预置阈值，以前一幅视频图像为基准生成若干幅中间图像，使前一幅视频图像、中间图像和后一幅视频图像各自的边缘像素点的旋转平移矩阵呈线性关系。

第二方面，提供了一种球类运动跟踪摄像系统，包括：

多个摄像模块，用于对场地不同位置进行拍摄，形成实拍图像；

图像处理模块，拼接实拍图像以获得实时的广角图像；

识别模块，用于识别广角图像中的球体；

所述图像处理模块还用于根据球体的图像坐标截取广角图像以得到视频图像，使球体始终处于所述视频图像内，以及按每个视频图像产生时间排序，提取两相邻视频图像的边缘位置的旋转平移矩阵并计算其角度信息和位移信息，以前一幅视频图像的边缘位置的旋转平移矩阵以及视频图像内球体的相对位置为参照，对后一幅视频图像的截取位置进行修正。

可选地，所述图像处理模块还用于在广角图像中对拍摄图像进行畸变校正，选取相邻两幅实拍图像中的重合像素点作为求解单应性矩阵的参考点；在广角图像中建立统一的坐标系，通过透视变换消除部分重合像素点后再次将实拍图像映射至广角图像的对应区域中。

可选地，所述图像处理模块还用于利用RANSAC算法剔除所选重合像素点中的误匹配点，并计算剔除后剩余重合像素点的单应性矩阵的初始值，使用Levenberg-Marquardt非线性迭代最小逼近法进行求精剔除。

可选地，还包括判断模块；

所述判断模块用于对比前后两视频图像的球体区域的特征信息变化；

所述图像处理模块还用于在视频图像中部定义球体区域，使初次截取的视频图像的球体处于所述球体区域内；

提取球体区域的特征信息，采用自适应特征点配准算法来获得两相邻视频图像的边缘像素点的旋转平移矩阵；

根据判断模块的判断结果，以前一幅视频图像的截取范围为基准，重新截取后一幅视频图像，使后一幅视频图像的截取范围与一致，或者以前一幅视频图像为基准生成若干幅中间图像，使前一幅视频图像、中间图像和后一幅视频图像各自的边缘像素点的旋转平移矩阵呈线性关系。

本发明的有益效果：通过无畸变拼接处理图像，进而针对性地进行截取和前后图像截取区域修正，实现无人操作拍摄录制比赛视频，并且能保证视频图像变换平稳，防止出现因球体快速移动、场外干扰等情况而导致丢失。

附图说明

图1是用于实施本申请的球类运动跟踪摄像方法的示例性系统架构。

图2是根据第一个实施例的一种球类运动跟踪摄像方法的流程图。

图3是根据第二个实施例的一种球类运动跟踪摄像方法的流程图。

图4是根据第三个实施例的一种球类运动跟踪摄像方法的流程图。

图5是根据一实施例示出的一种球类运动跟踪摄像系统的框图。

图6是根据另一实施例示出的一种球类运动跟踪摄像系统的框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清晰，下面将结合实施例和附图，对本发明作进一步的描述。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1示出了可以应用本申请的球类运动跟踪摄像方法和系统的实施例的示例性系统架构。

如图1所示，系统架构可以包括摄像机101、102、103，连接介质104和处理终端105。连接介质104用以在摄像机101、102、103和处理终端105之间提供传输链路的介质。连接介质104可以包括各种连接类型，例如有线、无线传输链路或者光纤电缆等。

应当理解，图1中的摄像机、连接介质和处理终端的数目仅仅是示意性的，根据实现需要，可以具有任意数目的摄像机、连接介质和处理终端。

根据本发明的第一方面，提供一种球类运动跟踪摄像方法。

图2是根据第一个实施例示出的一种球类运动跟踪摄像方法的流程图，在本实施例中，本申请实施例的球类运动跟踪摄像方法由摄像机、连接介质和处理终端执行。参见图2，所述方法包括以下步骤：

步骤S21，对场地不同位置进行拍摄，获得不同角度拍摄的实拍图像并拼接为实时的广角图像。

在步骤S21中，通过四个摄像机对场地一侧的不同角度和位置进行拍摄，以足球比赛为例，四个摄像机主要捕捉的场地位置分别为左后场、左中场、右中场和右后场，四个摄像机拍摄得到的实拍图像发送至处理终端，由处理终端通过图像拼接算法作图像拼接处理，以获得广角图像。

步骤S22，识别广角图像中的球体，根据球体的图像坐标截取广角图像以得到视频图像，使球体始终处于所述视频图像内。

在步骤S22中，处理终端通过图像识别算法识别广角图像中的球体，所述的图像识别算法可以是Sift算法或Surf算法等，在Sift算法中，主要步骤为：提取关键点；对关键点附加详细的信息(局部特征)也就是所谓的描述器；通过两方特征点(附带上特征向量的关键点)的两两比较找出相互匹配的若干对特征点；在SURF算法，主要步骤为：构建Hessian矩阵；构建尺度空间；精确定位特征点；主方向确定。识别球体后在广角图像中通过截图的方式获得用于制作录制比赛视频的视频图像，使球体始终处于视频图像内，同时对视频图像作适当的放大调整，以获得更近距离观看胶着区域的效果。

步骤S23，按每个视频图像产生时间排序，提取两相邻视频图像的边缘位置的旋转平移矩阵并计算其角度信息和位移信息，以前一幅视频图像的边缘位置的旋转平移矩阵以及视频图像内球体的相对位置为参照，对后一幅视频图像的截取位置进行修正。

在步骤S23中，获取视频图像后，根据所述旋转平移矩阵的角度信息和位移信息重新确定后一幅视频图像的截取位置和截取范围，以应对球场上快速攻防转换时球体的大范围转移导致视频画面不够缓和和均匀。其中，根据球体的位置初次确定视频图像后，通过旋转平移矩阵判断前后两视频图像的相同位置比例，当前后两视频图像的相同位置比例大于阈值时，即球体没有快速大范围转移，将后一幅视频图像的截取位置修正为与前一幅视频图像的截取位置一致，当前后两视频图像的相同位置比例小于阈值时，即球体出现快速大范围转移，前后视频图像由于截取位置相差较大而可能出现不缓和的情况，则通过沿产生位置偏差的方向“补帧”的方式使视频图像变换变得缓和。

图3是根据第二个实施例示出的一种球类运动跟踪摄像方法的流程图，如图3所示，提供一种获得广角图像方法，包括以下步骤：

步骤S31，在广角图像中对拍摄图像进行畸变校正，选取相邻两幅实拍图像中的重合像素点作为求解单应性矩阵的参考点。

步骤S32，在广角图像中建立统一的坐标系，通过透视变换消除部分重合像素点后再次将实拍图像映射至广角图像的对应区域中。

在本实施例中，还包括利用RANSAC算法剔除所选重合像素点中的误匹配点，并计算剔除后剩余重合像素点的单应性矩阵的初始值，使用Levenberg-Marquardt非线性迭代最小逼近法进行求精剔除。

图4是根据第三个实施例示出的一种球类运动跟踪摄像方法的流程图，如图4所示，提供一种对视频图像截取范围的修正方法，包括以下步骤：

步骤S41，在视频图像中部定义球体区域，使初次截取的视频图像的球体处于所述球体区域内。

在本实施例中，在确定广角图像中球体位置后，可以基于球体确定球体区域，例如以球体为中心一定范围内的圆形区域，基于球体区域再向外确定视频图像的截取范围，完成初次截取视频图像。

步骤S42，提取球体区域的特征信息，采用自适应特征点配准算法来获得两相邻视频图像的边缘像素点的旋转平移矩阵。

需要说明的是，提取球体区域的特征信息前，剔除非球体特征的像素点，例如场上运动员和裁判。

步骤S43，对比前后两视频图像的球体区域的特征信息变化，若特征信息变化在预置阈值内，以前一幅视频图像的截取范围为基准，重新截取后一幅视频图像，使后一幅视频图像的截取范围与一致，若特征信息变化超出预置阈值，以前一幅视频图像为基准生成若干幅中间图像，使前一幅视频图像、中间图像和后一幅视频图像各自的边缘像素点的旋转平移矩阵呈线性关系。

截取图像的修正原理是基于视频图像边缘位置的旋转平移矩阵以及视频图像内运动员的图像坐标。其中，旋转平移矩阵是包含视频图像边缘像素点在整张修复图像中的位置坐标，通过获取视频图像四侧或四个角上像素点的旋转平移矩阵，即可确定视频图像的截取范围和截取位置，从而对视频图像进行截取范围修正。

在本实施例中，根据前后两幅视频图像的旋转平移矩阵并参考广角图像判断后一幅视频图像相对于前一幅视频图像的方位，当球体区域的特征信息变化超出预置阈值，处理终端以前一幅视频图像为起始，沿后一幅视频图像的方向实时截取若干张中间图像，实现“补帧”效果。例如，在前后两幅视频图像之间，球体沿水平方向大范围转移，致使前后两幅视频图像直接画面跳转，此时，处理终端在实时的广角图像中沿水平方向进行多次截图，并补入到前后两幅视频图像中，使视频图像切换效果缓和。形成视频后，按视频图像的产生时刻编排以形成摄像视频，摄像视频的播放速度为25帧每秒。

在本实施例中，当球体不在广角图像内，例如球体出界，则维持对球体最后时刻出现的场地区域进行截取图像，直至球体再次出现。

根据本申请的第二方面，提供了一种球类运动跟踪摄像系统。

图5是根据一实施例示出的一种球类运动跟踪摄像系统的框图，参见图5，该系统包括：

多个摄像模块51，用于对场地不同位置进行拍摄，形成实拍图像；

图像处理模块52，拼接实拍图像以获得实时的广角图像；

识别模块53，用于识别广角图像中的球体；

所述图像处理模块52还用于根据球体的图像坐标截取广角图像以得到视频图像，使球体始终处于所述视频图像内，以及按每个视频图像产生时间排序，提取两相邻视频图像的边缘位置的旋转平移矩阵并计算其角度信息和位移信息，以前一幅视频图像的边缘位置的旋转平移矩阵以及视频图像内球体的相对位置为参照，对后一幅视频图像的截取位置进行修正。

需要说明的是，摄像模块51、图像处理模块52和识别模块53可以是一体设置，也可以是分开设置。

可选地，所述图像处理模块52还用于在广角图像中对拍摄图像进行畸变校正，选取相邻两幅实拍图像中的重合像素点作为求解单应性矩阵的参考点；在广角图像中建立统一的坐标系，通过透视变换消除部分重合像素点后再次将实拍图像映射至广角图像的对应区域中。

可选地，所述图像处理模块52还用于利用RANSAC算法剔除所选重合像素点中的误匹配点，并计算剔除后剩余重合像素点的单应性矩阵的初始值，使用Levenberg-Marquardt非线性迭代最小逼近法进行求精剔除。

可选地，如图6所示，该系统还包括判断模块54；

所述判断模块54用于对比前后两视频图像的球体区域的特征信息变化；

所述图像处理模块52还用于在视频图像中部定义球体区域，使初次截取的视频图像的球体处于所述球体区域内；

提取球体区域的特征信息，采用自适应特征点配准算法来获得两相邻视频图像的边缘像素点的旋转平移矩阵；

根据判断模块54的判断结果，以前一幅视频图像的截取范围为基准，重新截取后一幅视频图像，使后一幅视频图像的截取范围与一致，或者以前一幅视频图像为基准生成若干幅中间图像，使前一幅视频图像、中间图像和后一幅视频图像各自的边缘像素点的旋转平移矩阵呈线性关系。

关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。

以上所述仅为本发明的优选实施例，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细说明，对于本领域技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。