台球球杆实时识别与投影方法、系统、终端及存储介质

【技术领域】

本发明涉及台球辅助技术领域，尤其涉及一种台球球杆实时识别与投影方法、系统、终端及存储介质。

【背景技术】

台球是一项很有趣的室内运动，但是对于新手来说进球很难，容易打击新手练习的积极性。因此可以在击球的时候在球台上显示击球后的运动轨迹，这个轨迹随着球杆的瞄准方向实时更新，也就是打球的时候有了动态辅助线，可以很大的提高新手的进球率。目前已有的台球辅助系统是先用预选设置好的摄像头，捕捉球和杆的位置，在通过内部计算机进行数据分析，再用投影的方法，把球的运动轨迹展示到桌面上。然而，上述的现有技术通常是使用工业相机以及红外相机来完成，成本高昂且使用场景受限。

鉴于此，实有必要提供一种台球球杆实时识别与投影方法、系统、终端及存储介质以克服上述缺陷。

【发明内容】

本发明的目的是提供一种台球球杆实时识别与投影方法、系统、终端及存储介质，旨在改善现有的台球辅助系统成本高昂且使用场景受限的问题。

为了实现上述目的，本发明第一方面提供一种台球球杆实时识别与投影方法，包括以下步骤：

通过台球桌正上方的摄像头实时捕获球台面的实时画面；

根据预设的识别网络模型对所述实时画面中的台球与球杆进行识别；

确定所述球杆的杆尖与杆尾在预设的基于球台面坐标系中的坐标点；

将所述杆尖的坐标点与所述杆尾的坐标点连接，得到所述球杆的运动轨迹；

通过投影组件将所述球杆的运动轨迹投影在所述球台面的预定位置。

在一个优选实施方式中，在所述通过台球桌正上方的摄像头实时捕获球台面的实时画面步骤之后包括步骤：

对所述实时画面进行高斯滤波去噪处理。

在一个优选实施方式中，在对所述实时画面进行高斯滤波去噪处理之后还包括步骤：

将所述实时画面进行RGB通道分离，然后根据预设的特征阈值进行阈值化分割，生成新的实时画面。

在一个优选实施方式中，在生成新的实时画面之后还包括步骤：

通过形态学闭运算对所述新的实时画面中的断杆进行连接。

在一个优选实施方式中，所述确定所述球杆的杆尖与杆尾在预设的基于球台面坐标系中的坐标点步骤包括以下步骤：

将所述实时画面的RGB彩色空间转换为HSV空间，并对所述HSV空间进行颜色通道分离，得到H通道、S通道与V通道；

在所述H通道上计算图像的直方图；

获取所述直方图中绿色台泥的色度值；其中，所述绿色台泥的色度值为所述直方图中最大值；

对所述实时画面中的球台面的绿色的台泥区域进行绿色消除；

通过形态学操作过滤掉非球杆的连通区域；

统计所述连通区域，计算最小外接矩形，并寻找宽高比最大的连通区域，即为球杆区域；

通过所述球杆区域确认所述球杆的杆尖坐标与杆尾坐标。

在一个优选实施方式中，在对所述实时画面中的球台面的绿色区域进行绿色消除之后还包括步骤：

通过预设的梯度幅值阈值对球台面的台泥区域进行边缘检测，过滤掉台泥桌面边缘干扰。

在一个优选实施方式中，在统计所述连通区域，计算最小外接矩形，并寻找宽高比最大的连通区域，即为球杆区域之后还包括步骤：

通过绘制球杆线条过滤与所述球杆粘合的连通区域，再次提取完整球杆区域；

计算所述完整球杆区域的最小外接矩形，设定球杆长度的最小阈值。

本发明第二方面提供了一种台球球杆实时识别与投影系统，包括：

摄像头，设于台球桌正上方，用于实时捕获球台面的实时画面；

球杆识别模型，用于根据预设的识别网络模型对所述实时画面中的台球与球杆进行识别；

坐标确定模块，用于确定所述球杆的杆尖与杆尾在预设的基于球台面坐标系中的坐标点；

轨迹生成模块，用于将所述杆尖的坐标点与所述杆尾的坐标点连接，得到所述球杆的运动轨迹；

投影组件，用于将所述球杆的运动轨迹投影在所述球台面的预定位置。

本发明第三方面提供了一种终端，所述终端包括存储器、处理器以及存储在所述存储器并可在所述处理器上运行的台球球杆实时识别与投影程序，所述台球球杆实时识别与投影程序被所述处理器执行时实现如上述实施方式中任一项所述的台球球杆实时识别与投影方法的各个步骤。

本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有台球球杆实时识别与投影程序，所述台球球杆实时识别与投影程序被处理器执行时实现如上述实施方式任一项所述的台球球杆实时识别与投影方法的各个步骤。

本发明提供的台球球杆实时识别与投影方法，采用摄像头捕获台面上的每一帧画面，然后在识别网络模型中进行台球与球杆的识别，通过确定杆尖和杆尾的两个坐标点，将这两个坐标点投影到台面上换算成台面上的坐标点，然后将两个坐标点连接成的一条线就是运动轨迹，最后将该运动轨迹通过投影组件投影在球台面上，并且当用户移动杆的方向的时候运动轨迹也在实时更新。本发明提供的方法中的设备成本较低，并且对台球和球杆的识别精度更精准、速度更快，辅助线的动态生成基本无延迟。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明提供的台球球杆实时识别与投影方法的流程图；

图2为图1所示台球球杆实时识别与投影方法中步骤S13的子步骤流程图；

图3为本发明提供的台球球杆实时识别与投影系统的框架图。

【具体实施方式】

为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本发明的实施例中，第一方面提供一种台球球杆实时识别与投影方法，用于当用户在球台上击球时，实时投影出球杆的运动轨迹，实现辅助瞄准的效果。

如图1所示，台球球杆实时识别与投影方法包括以下步骤S11-S15。

步骤S11，通过台球桌正上方的摄像头实时捕获球台面的实时画面。

在本步骤中，摄像头设于台球桌的正上方，从而可以从台球桌的桌面的法向垂直角度捕获球台面(即台球桌背离地面的一侧)的每一帧的实时画面信息。摄像头需要提前做好标定以矫正图片。在该实时画面信息中，包括球洞(即袋口)的位置、台球的分布情况以及球杆的摆放情况。

具体的，在对摄像头捕获的实时画面进行后续的识别步骤之前，还包括以下的预处理步骤：对实时画面进行高斯滤波去噪处理。即对整幅实时画面进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到，从而对图像信息进行平滑处理，消除噪声，从而得到信噪比较高的图像。

进一步的，将高斯滤波处理后的实时画面进行RGB通道分离，然后根据预设的特征阈值进行阈值化分割，生成新的实时画面。具体的，对实时画面进行RBG通道分离后，生成三张图片，一张红色，一张绿色，一张蓝色。然后，特征阈值可进行预先设定，从而对每张颜色通道的实时图像根据相似性度量进行分割，分别产生二值分割图像(即新的实时画面)，从而便于后续的识别以及处理。

进一步的，很多时候球杆都是握在用户的手上的，由于球杆与手的颜色不同，当进行颜色通道分离后，球杆可能显示为断杆状态(空洞处处即为手握处)。因此，可通过通过形态学闭运算对新的实时画面中的断杆进行连接。具体的，数学形态学操作可以分为二值形态学和灰度形态学，包括两个基本的运算，即腐蚀和膨胀，其中闭运算就是先膨胀再腐蚀。膨胀会使目标区域范围“变大”，将于目标区域接触的背景点合并到该目标物中，使目标边界向外部扩张，作用就是可以用来填补目标区域中某些空洞以及消除包含在目标区域中的小颗粒噪声，即实现对球杆空洞处的填补。腐蚀可以使目标区域范围“变小”，其实质造成图像的边界收缩，可以用来消除小且无意义的目标物。

继续执行步骤S12，根据预设的识别网络模型对实时画面中的台球与球杆进行识别。其中，识别网络模型基于深度神经网络进行构建，并预先通过包含有多个台球与球杆图片的训练集进行训练，得到训练完成的识别网络模型。通过识别网络模型对实时画面中的台球与球杆进行识别，识别精度更精准，速度更快。

步骤S13，确定球杆的杆尖与杆尾在预设的基于球台面坐标系中的坐标点。

具体的，如图2所示，步骤S13包括以下步骤S131-S137。

步骤S131，将实时画面的RGB彩色空间转换为HSV空间，并对HSV空间进行颜色通道分离，得到H通道、S通道与V通道。其中，H值代表色调、S值代表饱和度、V值代表亮度。

步骤S132，在H通道上计算图像的直方图。其中，表现在在圆锥的直方图上，角度代表色调H，饱和度S表示为点到中心竖线的距离，而亮度值V用中心竖线表示。

步骤S133，获取直方图中绿色台泥的色度值；其中，绿色台泥的色度值为所述直方图中最大值。其中，由于球台面基本都是绿色的，因此，绿色台泥一定是统计数目直方图中的最大值。

步骤S134，对实时画面中的球台面的绿色的台泥区域进行绿色消除。即消除球杆的背景色，便于后续的图像处理。需要说明的是，在过滤绿色台泥的过程中，容易造成断杆，因此可再次使用形态学闭运算连接断杆。

步骤S135，通过形态学操作过滤掉非球杆的连通区域。其中，对于二值分割图像中的连通区域的提取步骤与过滤步骤可参考现有技术，本实施例在此不作限定。

进一步的，如图2所示，在步骤S135之后还包括步骤S130，通过预设的梯度幅值阈值对球台面的台泥区域进行边缘检测，过滤掉台泥桌面边缘干扰。能够理解的是，球台面包括绿色台泥部分以及围设绿色台泥部分的桌面边框部分。通过对球台面的台泥区域进行边缘检测，大幅度地减少了数据量，并且剔除了可认为不相关的信息，保留了图像重要的结构属性。

步骤S136，统计连通区域，计算最小外接矩形，并寻找宽高比最大的连通区域，即为球杆区域。

进一步的，如图2所示，步骤S136之后还包括步骤S138-S139。

步骤S138，通过绘制球杆线条过滤与球杆粘合的连通区域，再次提取完整球杆区域；步骤S139，计算完整球杆区域的最小外接矩形，设定球杆长度的最小阈值。

继续执行步骤S137，通过球杆区域确认球杆的杆尖坐标与杆尾坐标。

步骤S14，将杆尖的坐标点与所述杆尾的坐标点连接，得到球杆的运动轨迹。即将这两个坐标点投影到球台面上换算成球台面上的坐标点然后连接成的一条线就是运动轨迹。能够理解的是，球杆都是通过前后运动来击球的，因此，球杆的运动方向必是沿着球杆本身的方向运动的。

步骤S15，通过投影组件将球杆的运动轨迹投影在球台面的预定位置。

具体的，可使用两个投影仪放在球台的正中央上部，再用预设的投影融合程序融合成一个投影的效果，做到了正向投影并校正了画面，从而完全适配球房的真实场景。其中，对于球杆的识别在系统开启后就一直工作中，所以当用户移动球杆的方向的时候运动轨迹也在实时更新。

需要说明的是，在一个可实现方式中，由于一般台球桌的顶上是有灯具的，在放灯具的这个位置替换成台球动态辅助系统，该系统主要部件包括：两边的两个大灯，中间安装摄像头，还有两个投影仪，加上一台计算机，电源和遥控器等相关设备。其中，遥控器上面有相应的按钮可以控制计算机、灯具和投影的开关等。

综上所述，本发明提供的台球球杆实时识别与投影方法，采用摄像头捕获台面上的每一帧画面，然后在识别网络模型中进行台球与球杆的识别，通过确定杆尖和杆尾的两个坐标点，将这两个坐标点投影到台面上换算成台面上的坐标点，然后将两个坐标点连接成的一条线就是运动轨迹，最后将该运动轨迹通过投影组件投影在球台面上，并且当用户移动杆的方向的时候运动轨迹也在实时更新。本发明提供的方法中的设备成本较低，并且对台球和球杆的识别精度更精准、速度更快，辅助线的动态生成基本无延迟。

本发明第二方面提供了一种台球球杆实时识别与投影系统100，用于当用户在球台上击球时，实时投影出球杆的运动轨迹，实现辅助瞄准的效果。需要说明的是，台球球杆实时识别与投影系统100的实现原理及实施方式与上述的台球球杆实时识别与投影方法相一致，故以下不再赘述。

如图3所示，台球球杆实时识别与投影系统100包括：

摄像头10，设于台球桌正上方，用于实时捕获球台面的实时画面；

球杆识别模型20，用于根据预设的识别网络模型对实时画面中的台球与球杆进行识别；

坐标确定模块30，用于确定球杆的杆尖与杆尾在预设的基于球台面坐标系中的坐标点；

轨迹生成模块40，用于将杆尖的坐标点与杆尾的坐标点连接，得到球杆的运动轨迹；

投影组件50，用于将球杆的运动轨迹投影在球台面的预定位置。

本发明第三方面提供了一种终端(图中未示出)，终端包括存储器、处理器以及存储在存储器并可在处理器上运行的台球球杆实时识别与投影程序，台球球杆实时识别与投影程序被处理器执行时实现如上述实施方式中任一项所述的台球球杆实时识别与投影方法的各个步骤。

本发明第四方面提供了一种计算机可读存储介质(图中未示出)，计算机可读存储介质存储有台球球杆实时识别与投影程序，台球球杆实时识别与投影程序被处理器执行时实现如上述实施方式任一项所述的台球球杆实时识别与投影方法的各个步骤。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的系统或装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统或装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。