用于体育分析中的队伍分类的方法和装置
文献发布时间:2024-04-18 20:00:50
技术领域
本公开总体上涉及基于机器的数据处理,并且更具体地,涉及体育分析中的队伍分类。
背景技术
体育在许多级别上进行,这些级别从青少年体育到国家和国际职业级别的体育而变化。在许多级别的竞赛中,通常收集运动员和队伍标识,以将统计信息与运动员/队伍相关联并且纪念过去的运动员和队伍表现。许多粉丝在体育比赛期间使用队伍标签来跟踪远动员和队伍在比赛期间的进展。
附图说明
图1是可在其中实现本公开的教导的示例环境的示意性图示。
图2图示根据本公开的教导构建的、并且包括示例(一个或多个)外部设备和示例队伍分析电路系统以用于对从相机收集的图像数据进行队伍分类的示例系统。
图3是图2的示例队伍分析电路系统中包括的示例队伍分类电路系统的框图。
图4是图3的示例队伍分类电路系统中包括的示例姿势引导迭代注意力网络电路系统的框图。
图5是图4的示例姿势引导迭代注意力网络电路系统中包括的示例自注意力模块电路系统的流程图。
图6图示图2和/或图3的示例队伍分类电路系统的示例输入和输出特征向量的图解。
图7是根据本公开的教导的、三个示例类别的比较的示例图表的示意图。
图8是根据本公开的教导的、类别对之间的示例相关性系数的示例表。
图9是图2和/或图3的示例队伍分类电路系统的示例输入和输出分类的框图。
图10A、图10B图示来自图2和/或图3的示例队伍分类电路系统的分类结果的示例图形。
图11是表示可由处理器电路系统执行和/或实例化以实现图2的示例队伍分析电路系统、以及图2和/或图3的示例队伍分类电路系统的示例机器可读指令的流程图。
图12是表示可由处理器电路系统执行和/或实例化以实现图2、图3和/或图4的示例队伍分类电路系统中包括的示例姿势引导迭代注意力网络电路系统的示例机器可读指令的流程图。
图13是表示可由示例处理器电路系统执行以实现图4和/或图5的示例姿势引导迭代注意力网络电路系统中包括的示例第一神经网络层、示例第二神经网络层、示例第三神经网络层、示例第四神经网络层、以及示例自注意力模块电路系统的示例机器可读指令的流程图。
图14是表示可由示例处理器电路系统执行以实现图3的示例多相机队伍特征融合电路系统中包括的示例类别分数计算电路系统和示例成对相关性计算电路系统的示例机器可读指令的流程图。
图15是表示可由示例处理器电路系统执行以实现图3的示例多相机队伍特征融合电路系统中包括的示例多相机投票分数计算电路系统的示例机器可读指令的流程图。
图16是包括被构造成用于执行图11-图15的示例机器可读指令以实现图2和/或图3的示例队伍分类电路系统210的处理器电路系统的示例处理平台的框图。
图17是图16的处理器电路系统的示例实现方式的框图。
图18是图16的处理器电路系统的另一示例实现方式的框图。
图19是示例软件分发平台(例如,一个或多个服务器)的框图,该示例软件分发平台用于将软件(例如,与图11-图15的示例机器可读指令相对应的软件)分发给与终端用户和/或消费者(例如,用于许可、销售和/或使用)、零售商(例如,用于销售、转售、许可和/或分许可)、和/或原始装备制造商(original equipment manufacturer,OEM)(例如,用于包括在要分发给例如零售商和/或分发给诸如直接购买客户之类的其他终端用户的产品中)相关联的客户端设备。
附图并未按比例绘制。一般来说,贯穿(一个或多个)附图和所附书面描述,相同的附图标记将用于指代相同或类似的部分。如本文中所使用,除非另有指示,否则连接参考(例如,附接的、耦合的、连接的和接合的)可包括由连接参考所参考的元件之间的中间构件和/或那些元件之间的相对移动。由此,连接参考不一定暗示两个元件直接地连接和/或彼此处于固定的关系。如本文中所使用,记载任何部件与另一部件“接触”被定义成意指在这两个部件之间没有中间部件。
除非另有特别说明,否则诸如“第一”、“第二”、“第三”等的描述符在本文中使用而不以任何方式强加或以其他方式指示优先级、物理顺序、列表中的布置和/或按任何方式的排序的任何含义,但仅用作标签和/或任意名称来区分要素,以易于理解所公开的示例。在一些示例中,描述符“第一”可以被用于指代具体实施方式中的要素,而在权利要求中可以使用诸如“第二”或“第三”之类的不同描述符来指代同一要素。在此类实例中,应当理解的是,此类描述符仅用于清楚地标识那些可能例如以其他方式共享相同名称的要素。如本文中所使用,短语“进行通信”(包括其变体)包含直接通信和/或通过一个或多个中间部件的间接通信,并且不要求直接的物理(例如,有线)通信和/或持续不断的通信,而是附加地包括以周期性间隔、预定间隔、非周期性间隔、和/或一次性事件来进行的选择性通信。
如本文中所使用,“处理器电路系统”被定义为包括(i)一个或多个专用电路,该一个或多个专用电路被构造成用于执行(一个或多个)特定操作并且包括一个或多个基于半导体的逻辑器件(例如,由一个或多个晶体管实现的电硬件),和/或(ii)一个或多个基于半导体的通用电路,该一个或多个基于半导体的通用电路用指令编程以执行特定操作并且包括一个或多个基于半导体的逻辑器件(例如,由一个或多个晶体管实现的电硬件)。处理器电路系统的示例包括经编程微处理器、可实例化指令的现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、中央处理器单元(Central Processor Unit,CPU)、图形处理器单元(Graphics Processor Unit,GPU)、数字信号处理器(Digital SignalProcessor,DSP)、XPU或微控制器以及诸如专用集成电路(Application SpecificIntegrated Circuit,ASIC)之类的集成电路。例如,XPU可以由异构计算系统实现,该异构计算系统包括多种类型的处理器电路系统(例如,一个或多个FPGA、一个或多个CPU、一个或多个GPU、一个或多个DSP等,和/或其组合)和(一个或多个)应用编程接口(applicationprogramming interface,API),该应用编程接口可以将(一个或多个)计算任务分派给多种类型的处理电路系统中最适于执行该(一个或多个)计算任务的无论哪个(哪些)处理电路系统。
具体实施方式
在许多级别的体育竞赛中,通常收集运动员和队伍标识以帮助观看者在比赛期间标识特定的运动员和队伍、将统计信息与运动员/队伍相关联、以及纪念过去的运动员和队伍表现。许多粉丝在体育比赛期间使用队伍标签来跟踪远动员和队伍在比赛期间的进展。在本文中公开的示例中,体育竞赛的位置(例如,体育场、竞技场等)包括位于该位置的周边的周围的多个相机。本文中公开的示例基于来自相机的数据来标识运动员和队伍,以允许在体育竞赛期间使用队伍标识、队服编号、运动员位置等进行运动员追踪。
然而,在体育竞赛/比赛中向运动员指派队伍标签存在若干挑战,特别是在没有可用的先前知识(例如,每个队伍的视觉外观)的情况下。例如,体育比赛中存在来自跨州、国家等多个俱乐部的数十支队伍。在一些示例中,每个队伍通常具有用于每个赛季的3至4套队服/制服,并且还可以针对新赛季而设计新队服。比赛中的两个队伍将仅选择两种具有外观可辨性的队服。然而,此类信息通常在比赛开始前是未知的。此外,动态天气、光照变化和运动员遮挡也使得向运动员指派队伍标签更加困难。这些约束使得在没有任何先前数据或人工干预的情况下准确的队伍分类非常具有挑战性。
在一些示例中,可以根据对将图像块(image patch)映射到队伍标签(例如,队伍A、队伍B等)的逻辑回归分类器进行训练来获得队伍分类,其中图像块由RGB颜色直方图表示。然而,颜色直方图不包含空间位置信息,因此当运动员具有类似的颜色直方图时,正确地区分两个队伍是困难的。在一些示例中,可以使用基于直方图的匹配方法来获得队伍分类,以标识给定运动员的队伍。然而,此类示例依赖于先验信息(例如,用于每个比赛的队服模板快照的样式),这些先验信息需要在体育比赛开始之前手动标记。由此,当运动员图像块由于照明变化而与队服模板不同时,此类示例会失败。
在一些示例中,可以使用深度学习多类别方法来获得队伍分类,其中每个队服样式与网络设计中的类别标签相对应,并且在预测期间将顶级类别作为相对应的队伍标签。然而,如果每个队伍具有多于一套队服(例如,用于国家橄榄球联盟(national footballleague,NFL)中的每个队伍的4套队服),则这种方法很容易在比赛开始之前收集所有队服时出错,并且会导致劳动密集型过程。附加地,如果跨队伍的制服非常类似,再加上照明/身体姿势的变化,则以这种方法训练分类器来准确地区分运动员的队伍是困难的。此外,以这种方法被分类的两个队伍可能会被指派到不同的类别,但将它们合并到正确的集合中对于这种方法而言也会是具有挑战性的。
先前的方法包括无监督方法,这些无监督方法依赖于对照明状况非常敏感的颜色特征,这导致低准确性。附加地,使用队服模板的先前的解决方案是非自动的,并且要求先验信息,而这些先验信息信息在大多数体育比赛中也是很难收集的。此外,因为模型类别数量由于队服的多样性而非常高,所以使用多类别模型的深度学习方法具有低分类准确性以及差的泛化性能。在此类示例中,模型无法区分具有类似颜色/图案的队服,并且方法倾向于将检测到的队服分类到多个类别中。先前的方法也没有处置运动员之间的遮挡和/或用于融合来自多个相机的队伍分类结果的解决方案。
本文中公开的示例包括在不要求实况比赛信息或手动操作的情况下针对体育竞赛/比赛实现队伍分类。本文中公开的示例对于队服变化、光照、遮挡等、以及运动员之间的遮挡也是稳健的。例如,当若干运动员位置接近或挤在一起时,会存在高度遮挡。在此类示例中,被遮挡的运动员仅在相机视图中部分地被看到。在其他示例中,虽然一个队伍中的运动员穿着相同的制服,但对四肢不存在限制,这允许一些运动员在他们的臂部或腿部佩戴一些个人配饰(例如,头巾、臂带、具有随机颜色的袜子、等等)。在此类示例中,个人配饰的这些变化可能会导致针对队伍分类的模糊性。本文中公开的示例包括多头迭代注意力网络结构(被称为姿势引导迭代注意力网络(pose-guided iterative attention network,PIANet)结构),其利用上身热图来突出显示处于通道维度和空间维度两者的相关区域,并且迭代地从图像数据的低级细节到高级语义提取特征。在本文中公开的示例中,PIANet使用自注意力机制来迭代地从图像数据中的低级细节到高级语义突出显示运动员躯干区域。在本文中公开的示例中,PIANet使用姿势来估计上部躯干热图以引导特征聚焦于运动员的上身,由此消除运动员遮挡和背景的影响。此外,PIANet还包括复合损失函数以增加不同类别之间的距离并减少同一类别内的距离,由此改进模型泛化能力。在本文中公开的示例中,复合损失函数包括逐像素损失、分类损失和三元组损失。在本文中公开的示例中,PIANet结构显著地改进了对图像数据中的照明变化或遮挡的抵抗力。
本文中公开的示例进一步包括多相机融合模块,其通过计算预设计的类别之间的相关性权重来自动地将多类别模型抽象化成用于特定比赛的两类别域。直接使用多分类模型而不使用两类别变换器会不正确地将一些运动员指派到错误的类别。为了解决在体育比赛场景中将多类别模型应用于二元分类的维度间隙,本文中所公开的示例包括多相机融合模块,以用于通过利用预设计的多类别模型的特征向量之间的相关性权重来自动选择两个最重要的类别。因此,本文中所公开的示例能够将多类别分类问题变换到两个分类域中。
本文中公开的示例进一步包括多维融合模块,以用于基于针对特定比赛确定的两类别域来产生高精度队伍标签。为了解决单个相机下的相机角度和运动员比例的影响(例如,来自侧视图的两个队伍的运动员之间的外观差异并不显著),本文中所公开的示例有效地融合了每个单个视图的输出以实现更高的准确性。
本文中所公开的示例提供了实况广播和分析的新方式。实时、稳定和高准确性的队伍分类在体积视频生成、虚拟相机选择、BTP(成为运动员)、战术分析以及与运动员身份相关的所有其他场景中发挥着关键作用。本文中所公开的示例可以自动且准确地将运动员分类到分开的队伍中。本文中所公开的示例不要求手动操作或实况比赛数据来训练用于PIANet的模型、多相机融合模块和多维融合模块。
尽管本文中公开的示例尤其是在运动场景的上下文中被描述的,但是此类示例也可以附加地或替代地用于其他场景和/或上下文中。例如,图像可以被分析以确定穿制服的人员的存在,并且可能确定他们代表的组织的存在。作为示例,城市监控系统可以利用本文中公开的示例技术来确定穿制服的人员是否存在于事故现场。更具体地,此类示例技术可用于确定穿制服的人员(例如,第一响应者)是否是警察、消防员、护理人员等。然后此类信息可用于更好地引导第一响应者和/或请求来自各个组织的附加协助。
图1是可在其中实现本公开的教导的示例环境100的示意性图示。在图1所图示的示例中,环境100被图示为体育场。然而,本文中公开的示例可以在其他环境(诸如例如,竞技场)中被实现。图1的示例环境100包括示例场地102、示例(一个或多个)相机104和示例视图106。在所图示的示例中,环境100包括围绕环境100的圆周设置的示例(一个或多个)相机104。示例(一个或多个)相机104被校准以在体育赛事/比赛(例如,橄榄球比赛、足球比赛、篮球比赛等)期间记录示例场地102的视频。在所图示的示例中,环境100包括38个示例(一个或多个)相机104。然而,示例环境100可包括任何数量的示例(一个或多个)相机104。
在图1所图示的示例中,示例(一个或多个)相机104捕获示例场地102的高分辨率图像数据。示例(一个或多个)相机104使得能够创建示例场地102的不同视图106。在所图示的示例中,与(一个或多个)相机104相关联的视图106中的每个视图是场地102的独特视角。在所图示的示例中,视图106中的每个视图包括示例场地102的不同视觉信息。在图1所图示的示例中,示例(一个或多个)相机104采用示例场地102的分割和3D重建来创建3D体积模型。在本文中公开的示例中,虚拟相机被放置在3D空间中以对场地102的3D场景导航从而在体育比赛期间跟踪运动员或球。本文中公开的示例在体育比赛期间使用来自示例(一个或多个)相机104的图像数据来确定运动员分类和队伍分类。
图2图示根据本公开的教导构建的、并且包括示例(一个或多个)外部设备216和示例队伍分析电路系统206以用于对从相机收集的图像数据进行队伍分类的示例系统200。示例系统200包括图1的示例(一个或多个)相机104和示例网络204、示例队伍分析电路系统206、以及示例外部设备216。在所图示的示例中,队伍分析电路系统206包括示例(一个或多个)相机接口208、示例队伍分类电路系统210、示例结果生成器电路系统212、以及示例队伍分类结果214。在所图示的示例中,(一个或多个)外部设备216包括示例通信接口218和示例显示器220。
示例网络204是用于将视频/图像数据从示例(一个或多个)相机104传送到队伍分析电路系统206的网络。在所图示的示例中,网络204将来自示例(一个或多个)相机104的图像/视频数据和来自示例队伍分析电路系统206的示例队伍分类结果214传送到示例(一个或多个)外部设备216。在一些示例中,网络204可以是互联网或任何其他合适的外部网络。在其他示例中,将来自示例(一个或多个)相机104的视频/图像数据传送到队伍分析电路系统206、和/或将来自示例(一个或多个)相机104的图像/视频数据和来自示例队伍分析电路系统206的示例队伍分类结果214传送到示例(一个或多个)外部设备216的任何其他合适的装置可以被使用。
在图2所图示的示例中,示例队伍分析电路系统206处理来自示例(一个或多个)相机104的视频/图像数据。在所图示的示例中,队伍分析电路系统206包括用于从示例(一个或多个)相机104获得视频/图像数据的示例(一个或多个)相机接口208。在一些示例中,(一个或多个)相机104中仅包括一个相机,并且(一个或多个)相机接口208中仅包括一个相机接口经由示例网络204接收由示例(一个或多个)相机104收集的图像/视频数据。在一些示例中,(一个或多个)相机接口208分别从示例(一个或多个)相机104中的每个相机收集视频/图像数据。在一些示例中,(一个或多个)相机接口208将示例视频/图像数据提供到示例队伍分类电路系统210。
在所图示的示例中,示例队伍分析电路系统206包括用于分析来自(一个或多个)相机接口208的视频/图像数据以标识体育比赛中的运动员并将所标识的运动员分类到分开的队伍中的示例队伍分类电路系统210。示例队伍分类电路系统210包括迭代注意力网络结构,其确定上身热图以突出显示图像数据的相关区域并且从图像数据的细节中迭代地提取特征。示例队伍分类电路系统210包括多相机融合模块,其通过计算预设计的类别之间的相关性权重来在图像数据中生成用于特定比赛的两类别域模型。示例队伍分类电路系统210进一步包括多维融合模块,其基于针对比赛确定的两类别域模型、针对图像数据来确定队伍标签。下文结合图3描述了示例队伍分类电路系统210的示例实现方式。
在图2所图示的示例中,示例队伍分析电路系统206包括用于输出示例队伍分类电路系统210的结果的示例结果生成器电路系统212。在一些示例中,结果生成器电路系统212获得由示例队伍分类电路系统210确定的队伍和运动员分类。在一些示例中,结果生成器电路系统212根据队伍和运动员分类来生成示例队伍分类结果214。在一些示例中,结果生成器电路系统212利用来自示例(一个或多个)相机104的图像数据生成队伍和运动员分类的标识符。下文结合图10A、图10B图示出来自示例结果生成器电路系统212的队伍分类结果214的示例。在一些示例中,结果生成器电路系统212经由示例网络204将示例队伍分类结果214输出到示例外部设备216。
在所图示的示例中,示例外部设备216是经由示例网络204从示例(一个或多个)相机104接收视频/图像数据的其他用户设备和/或媒体设备。在一些示例中,外部设备216可以包括智能电话、电视、流媒体设备等。在图2所图示的示例中,外部设备216包括用于接收来自示例(一个或多个)相机104的视频/图像数据和来自示例队伍分析电路系统206的示例队伍分类结果214的示例通信接口218。在一些示例中,示例通信接口218将视频/图像数据和示例队伍分类结果214进行组合。示例外部设备216还包括用于输出视频/图像数据和示例队伍分类结果214的组合的示例显示器220。下文结合图10A、图10B图示出示例显示器220的输出的示例。
图3是图2的示例队伍分析电路系统206中包括的示例队伍分类电路系统210的框图。图3的示例队伍分类电路系统210包括示例运动员检测电路302、示例姿势引导迭代注意力网络(pose-guided iterative attention network,PIANet)电路系统304、示例运动员关联电路系统306、以及示例多相机队伍特征融合电路系统308。在所图示的示例中,示例多相机队伍特征融合电路系统308包括示例类别分数计算电路系统310、示例成对相关性计算电路系统312以及示例多相机投票分数计算电路系统314。
在所图示的示例中,示例运动员检测电路系统302标识来自示例(一个或多个)相机接口208的示例图像数据300中的运动员。示例运动员检测电路系统302使用预定义的球场掩码从示例图像数据300中移除任何非体育场地区域。如本文中所使用,非体育场地包括示例图像数据300中的来自会场(例如,礼堂、体育场、竞技场等)和/或来自其他人和支持工作人员(例如,教练工作人员、会场工作人员等)的区域。在所图示的示例中,运动员检测电路系统302检测示例图像数据300的运动场地中的所有运动员。在一些示例中,运动员检测电路系统302使用人物检测算法来检测运动员,人物检测算法诸如例如你只需看一次(YouOnly Look Once,YOLO)、单步多框目标检测(Single Shot MultiBox Detector,SSD)、基于快速区域的卷积神经网络(Fast Region Based Convolutional Neural Network,Fast-RCNN)等。示例运动员检测电路系统302针对检测到的运动员确定边界框。在一些示例中,示例运动员检测电路系统302用标识每个运动员边界框的标识符(例如,数字、字母等)来标记边界框。示例运动员检测电路系统302将示例图像数据300中的检测到的运动员信息传送到示例PIANet电路系统304。
示例PIANet电路系统304针对由示例运动员检测电路系统302标识的检测到的运动员从示例图像数据300提取特征。在所图示的示例中,PIANet电路系统304使用按顺序的神经网络层从示例图像数据300提取特征。示例PIANet电路系统304使用与按顺序的神经网络层中的每个神经网络层并行的自注意力模块来标识检测到的运动员的上部躯干区域中的所提取的特征。示例PIANet电路系统304基于示例图像数据300来确定与按顺序的神经网络层并行的上部热图掩码,以将特征定位在运动员上部躯干的相关区域上。示例PIANet电路系统304基于根据聚焦的所提取的特征和所生成的热图掩码确定的不同损失、针对示例图像数据300来计算损失函数。示例PIANet电路系统304将从图像数据300提取的特征与不同的预定类别(例如,队伍分类)进行比较。在本文中公开的示例中,不同的类别表示不同的队伍队服特性。例如,在NFL中,跨联盟可能存在64套队伍队服。在本文中公开的示例中,具有类似颜色和样式的队服可以合并到相同的类别中,以增强类别之间的辨别性并改进PIANet电路系统304的泛化能力。示例PIANet电路系统304使用不同的类别来确定类别与从图像数据300提取的特征之间的类似性分数。下文结合图4图示出示例PIANet电路系统304的示例实现方式。
在一些示例中,队伍分类电路系统210包括用于提取特征的装置。例如,用于提取的装置可由PIANet电路系统304实现。在一些示例中,PIANet电路系统304可以由诸如至少由图11-图13的框1106、1202、1204、1206、1208、1210、1212、1214、1216、1218、1220、1302、1304、1306、1308、1310、1312、1314实现的机器可执行指令之类的机器可执行指令来实现,机器可执行指令由处理器电路系统执行,处理器电路系统可由图16的示例处理器电路系统1612、图17的示例处理器电路系统1700和/或图18的示例现场可编程门阵列(FPGA)电路系统1800实现。在其他示例中,PIANet电路系统304由其他硬件逻辑电路系统、硬件实现的状态机、和/或硬件、软件和/或固件的任何其他组合来实现。例如,PIANet电路系统304可以由被构造成用于在不执行软件或固件的情况下执行相对应的操作的至少一个或多个硬件电路(例如,处理器电路系统、分立的和/或集成的模拟和/或数字电路系统、FPGA、专用集成电路(ASIC)、比较器、运算放大器(operational-amplifier,op-amp)、逻辑电路等)来实现,但其他结构也同样适用。
示例运动员关联电路系统306匹配图1的示例(一个或多个)相机104中的每个相机中的帧之间的成对的运动员。在所图示的示例中,示例运动员检测电路系统302针对来自示例(一个或多个)相机104中的每个相机的示例图像数据300利用检测到的边界框来跟踪运动员。在所图示的示例中,示例PIANet电路系统304从运动员检测电路系统302的检测结果提取特征。示例运动员关联电路系统306从示例PIANet电路系统304获得特征,并且使用所提取的特征、匹配来自示例(一个或多个)相机104中的每个相机的示例图像数据300的帧之间的成对的运动员。在所图示的示例中,运动员关联电路系统306使用由示例运动员检测电路系统302检测到的边界框来计算每个运动员的3D位置。示例运动员关联电路系统306关联所有示例(一个或多个)相机104的运动员边界框以计算运动员的3D位置。示例运动员关联电路系统306执行用于人物边界框关联的基于线的对应关系方法。在所图示的示例中,运动员关联电路系统306将示例图像数据300的地平面中的运动员分组,并且使用基于线的对应关系方法确定来自多个相机(例如,示例相机104)的运动员对应关系。在所图示的示例中,在示例运动员关联电路系统306跨示例(一个或多个)相机104关联运动员边界框之后,示例运动员关联电路系统306在3D空间中生成每个运动员的位置,位置被映射到来自示例(一个或多个)相机104的每个相机视图(例如,图1的示例视图106)的示例图像数据300中的2D运动员。
在一些示例中,队伍分类电路系统210包括用于对运动员进行分组的装置。例如,用于分组的装置可由运动员关联电路系统306实现。在一些示例中,运动员关联电路系统306可以由诸如至少由图11的框1108、1100实现的机器可执行指令之类的机器可执行指令来实现,机器可执行指令由处理器电路系统执行,该处理器电路系统可由图16的示例处理器电路系统1612、图17的示例处理器电路系统1700和/或图18的示例现场可编程门阵列(FPGA)电路系统1800实现。在其他示例中,运动员关联电路系统306由其他硬件逻辑电路系统、硬件实现的状态机和/或硬件、软件和/或固件的任何其他组合来实现。例如,运动员关联电路系统306可以由被构造成用于在不执行软件或固件的情况下执行相对应的操作的至少一个或多个硬件电路(例如,处理器电路系统、分立的和/或集成的模拟和/或数字电路系统、FPGA、专用集成电路(ASIC)、比较器、运算放大器(op-amp)、逻辑电路等)来实现,但其他结构也同样适用。
在图2所图示的示例中,示例多相机队伍特征融合电路系统308针对示例图像数据300中的运动员中的每个运动员来确定队伍分类和运动员分类。示例多相机队伍特征融合电路系统308将多类别网络调整成两类别网络以在每个比赛的两个队伍之间进行区分。示例多相机队伍特征融合电路系统308包括示例类别分数计算电路系统310、示例成对相关性计算电路系统312和示例多相机投票分数计算电路系统314,以针对来自示例(一个或多个)相机104的示例图像数据300中的每个运动员确定队伍分类和运动员分类。
示例类别分数计算电路系统310根据示例PIANet电路系统304的输出来确定示例类别。在本文中公开的示例中,示例类别是基于队伍的队服外观的队伍分类。示例类别分数计算电路系统310基于PIANet电路系统304的损失函数输出、针对示例图像数据300来确定示例类别中的每个类别的分数。在所图示的示例中,示例多相机队伍特征融合电路系统308将多类别模型抽象成用于比赛的两类别域。在一些示例中,在队服外观分组之后,存在在已知比赛中出现的若干种队服样式(类别)。然而,针对每个比赛仅应当存在两套不同的队服(类别)。因此,为了在比赛期间在两个队伍之间进行区分,示例多相机队伍特征融合电路系统308从PIANet电路系统304的输出中选择具有最小相关性分数的两个类别。示例类别分数计算电路系统310根据示例PIANet电路系统304的输出来确定分数,以确定两个类别来选择。在本文中公开的示例中,基于两个准则为游戏选择两个类别:所选择的类别在特征类似性方面应接近队伍队服,并且这两个所选择的类别应是最不相关的类别以具有更好的辨别特性。
示例成对相关性计算电路系统312针对类别对计算相关性系数,以从PIANet电路系统304的输出中选择具有最小相关性分数的两个类别。示例成对相关性计算电路系统312使用来自示例运动员关联电路系统306的相关联的运动员边界框信息以及由示例类别分数计算电路系统310根据示例PIANet电路系统304的输出确定的类别分数。示例成对相关性计算电路系统312使用下文的示例等式1来计算每个类别对之间的相关性系数。
在上文的示例等式1中,ρ
在一些示例中,队伍分类电路系统210包括用于选择最低相关的类别的装置。例如,用于选择的装置可由成对相关性计算电路系统312实现。在一些示例中,成对相关性计算电路系统312可以通过由处理器电路系统执行机器可执行指令来实现,该机器可执行指令诸如至少由图14的框1406、1408实现的机器可执行指令,该处理器电路系统可由图16的示例处理器电路系统1612、图17的示例处理器电路系统1700和/或图18的示例现场可编程门阵列(FPGA)电路系统1800来实现。在其他示例中,成对相关性计算电路系统312由其他硬件逻辑电路系统、硬件实现的状态机和/或硬件、软件和/或固件的任何其他组合来实现。例如,成对相关性计算电路系统312可以由被构造成用于在不执行软件或固件的情况下实行相对应的操作的至少一个或多个硬件电路(例如,处理器电路系统、分立的和/或集成的模拟和/或数字电路系统、FPGA、专用集成电路(ASIC)、比较器、运算放大器(op-amp)、逻辑电路等)来实现,但其他结构也同样适用。
在所图示的示例中,示例多相机投票分数计算电路系统314基于由示例成对相关性计算电路系统312选择的两个类别、针对示例图像数据300中的运动员来确定队伍标签。在一些示例中,由于环境(例如,示例环境100)周围的示例(一个或多个)相机104的相机视图(例如,图1的示例视图106)的不同角度,一些运动员边界框可能看起来非常小和/或运动员仅可以从一个视图(例如侧视图)而不是另一个视图(例如,前视图)可见。在此类示例中,大小较小的边界框将比大小较大的边界框具有更弱的特征,并且来自侧视图的两个运动员之间的队伍特征将比来自前视图的两个运动员之间的队伍特征的辨别性小得多。示例多相机投票分数计算电路系统314组合来自示例(一个或多个)相机104的不同视图的队伍分类结果,从而相比于仅依赖于来自示例(一个或多个)相机104的一个相机的一个视图输出更准确的用于运动员的队伍标签。示例多相机投票分数计算电路系统314收集由示例运动员关联电路系统306确定的所有运动员边界框,并且针对与每个运动员相关联的每个边界框,示例多相机投票分数计算电路系统314将边界框划分成与两个所选类别相关联的两个组。对于边界框的每个组,示例多相机投票分数计算电路系统314使用下文的示例等式2来计算投票分数。
在上文的示例等式2中,conf
在一些示例中,队伍分类电路系统210包括用于针对组来计算投票分数的装置。例如,用于计算的装置可由多相机投票分数计算电路系统314实现。在一些示例中,多相机投票分数计算电路系统314可以由诸如至少由图15的框1502、1504、1506、1508、1510实现的机器可执行指令之类的机器可执行指令来实现,机器可执行指令由处理器电路系统执行,该处理器电路系统可由图16的示例处理器电路系统1612、图17的示例处理器电路系统1700和/或图18的示例现场可编程门阵列(FPGA)电路系统1800实现。在其他示例中,多相机投票分数计算电路系统314由其他硬件逻辑电路系统、硬件实现的状态机和/或硬件、软件和/或固件的任何其他组合来实现。例如,多相机投票分数计算电路系统314可以由被构造成用于在不执行软件或固件的情况下实行相对应的操作的至少一个或多个硬件电路(例如,处理器电路系统、分立的和/或集成的模拟和/或数字电路系统、FPGA、专用集成电路(ASIC)、比较器、运算放大器(op-amp)、逻辑电路等)来实现,但其他结构也同样适用。
图4是图3的示例队伍分类电路系统210中包括的示例姿势引导迭代注意力网络电路系统304的框图。图4的示例PIANet电路系统304包括:示例输入图像数据402;示例第一神经网络层404;示例第二神经网络层406;示例第三神经网络层408;示例第四神经网络层410;示例自注意力模块电路系统412A、412B、412C;示例高分辨率网络(high-resolutionnet,HRNet)电路系统414;示例热图掩码生成器电路系统418;示例逐像素计算器电路系统422;示例分类损失计算器电路系统424;示例三元组损失计算电路系统426;以及示例损失计算器电路系统428。在所图示的示例中,示例PIANet电路系统304包括四个神经网络层(例如,示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408、以及示例第四神经网络层410)和三个自注意力模块(例如,示例自注意力模块电路系统412A、412B、412C)。然而,示例PIANet电路系统304可以包括任意数量的神经网络层和/或自注意力模块。
在图4所图示的示例中,示例PIANet电路系统304包括用于从图像数据(例如,示例输入图像数据402)提取特征的两种方法。示例PIANet电路系统304中的第一方法是迭代自注意力方法,其包括示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408、示例第四神经网络层410、以及示例自注意力模块电路系统412A、412B、412C。示例PIANet电路系统304中的第二方法是姿势引导注意力方法,其包括示例HRNet电路系统414和示例热图掩码生成器电路系统418。在所图示的示例中,示例PIANet电路系统304的自注意力方法(例如,示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408、示例第四神经网络层410、以及示例自注意力模块电路系统412A、412B、412C)和示例PIANet电路系统304的姿势引导注意力方法(例如,示例HRNet电路系统414和示例热图掩码生成器电路系统418)并行运行。
在图4所图示的示例中,示例PIANet电路系统304接收示例输入图像数据402。在一些示例中,输入图像数据402是被包括在由图3的示例运动员检测电路系统302检测到的运动员边界框中的图像数据。示例PIANet电路系统304包括用于迭代地从示例输入图像数据402中提取和聚焦特征的四个按顺序的神经网络层(例如,示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408、以及示例第四神经网络层410)。在所图示的示例中,以下各项中的每一项都包括可以是任何类型的卷积神经网络(convolutionalneural network,CNN)结构(诸如例如,BottleNeck(瓶颈)Resnet(残差神经网络(residualneural network,ResNet))等等)的基本神经网络层:示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408和示例第四神经网络层410。
在所图示的示例中,示例第一神经网络层404接收示例输入图像数据402。示例第一神经网络层404从示例输入图像数据402提取特征。示例第一神经网络层404将输入图像数据402和所提取的特征传送到第二神经网络层406以进行更深级别的特征提取。示例第一神经网络层404还将输入图像数据402和所提取的特征传送到自注意力模块电路系统412A,以允许特征聚焦在示例输入图像数据402中所包括的运动员的躯干区域上。示例第二神经网络层406进一步从示例输入图像数据402提取特征。示例第二神经网络层406将输入图像数据402和所提取的特征传送到第三神经网络层408以进行更深级别的特征提取。示例第二神经网络层406还将输入图像数据402和所提取的特征传送到自注意力模块电路系统412A,以允许特征聚焦在示例输入图像数据402中所包括的运动员的躯干区域上。示例第三神经网络层408进一步从示例输入图像数据402提取特征。示例第三神经网络层408将输入图像数据402和所提取的特征传送到第四神经网络层410以进行更深级别的特征提取。示例第三神经网络层408还将输入图像数据402和所提取的特征传送到自注意力模块电路系统412B,以允许进一步将特征聚焦在示例输入图像数据402中所包括的运动员的躯干区域上。示例第四神经网络层410进一步从示例输入图像数据402提取特征。示例第四神经网络层410还将输入图像数据402和所提取的特征传送到自注意力模块电路系统412C,以允许进一步将特征聚焦在示例输入图像数据402中所包括的运动员的躯干区域上。
在图4所图示的示例中,以下各项中的每一项将输入图像数据402和所提取的特征发送到下一级别的神经网络层以进行更深级别的特征提取:示例第一神经网络层404、示例第二神经网络层406和示例第三神经网络层408。附加地,示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408和示例第四神经网络层410中的每一个将输入图像数据402和所提取的特征发送到相应的自注意力模块电路系统(例如,自注意力模块电路系统412A、412B、412C)以允许特征聚焦在运动员躯干区域上。在所图示的示例中,自注意力模块电路系统412A、412B、412C中的每一个迭代地标识示例输入图像数据402中的运动员躯干区域并且将从相应的神经网络层(例如,示例第一神经网络404、示例第二神经网络层406、示例第三神经网络层408、以及示例第四神经网络层410)中提取的特征聚焦在经标识的区域中。示例自注意力模块电路系统412A、412B、412C中的每一个串接来自相应的神经网络层(例如,示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408、以及示例第四神经网络层410)的原始特征、以及在通道维度中运行自注意力模块电路系统412A、412B、412C之后的特征。示例自注意力模块电路系统412A、412B、412C中的每一个都在通道维度和空间维度两者中确定经标识的运动员躯干区域中的特征。下文结合图5更详细地描述示例自注意力模块电路系统412A、412B、412C。
在一些示例中,体育比赛中的队服是多样化的,并且背景环境(例如,图1的示例环境100)可以(例如,由于光照、天气等)在不同比赛之间动态地改变。在此类示例中,示例PIANet电路系统304的迭代自注意力方法(例如,示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408、示例第四神经网络层410、以及示例自注意力模块电路系统412A、412B、412C)可能无法涵盖根据队服和背景环境的变化的特征的每种情况。在所图示的示例中,示例PIANet电路系统304(例如,示例HRNet电路系统414和示例热图掩码生成器电路系统418)的姿势引导注意力方法通过引导特征聚焦于输入图像数据402的相关区域(例如,上部躯干区域)来进一步增强迭代自注意力方法。
在图4所图示的示例中,当示例PIANet电路系统304接收示例输入图像数据402时,示例PIANet电路系统304将输入图像数据402传送到示例HRNet电路系统414。示例HRNet电路系统414分析示例输入图像数据402并估计被包括在输入图像数据402中的运动员的不同的身体标志以生成示例输入图像数据402的上部姿势416。示例HRNet电路系统414定位示例输入图像数据402中的人体解剖关键点/部分以估计示例上部姿势416中的运动员的身体标志。在一些示例中,HRNet电路系统414可以估计14个身体标志。然而,示例HRNet电路系统414可以根据示例输入图像数据402估计任意数量的身体标志。在所图示的示例中,HRNet电路系统414定位上部躯干区域/区(例如,被称为S
示例热图掩码生成器电路系统418生成针对示例输入图像数据402的热图掩码420。示例热图掩码生成器电路系统418生成热图掩码420以符合高斯分布,其中几何中心和上部躯干区域相等(例如,C=S
在图4所图示的示例中,示例逐像素计算器电路系统422计算由示例PIANet电路系统304的示例迭代自注意力方法(例如,示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408、示例第四神经网络层410、以及示例自注意力模块电路系统412A、412B、412C)估计的特征与从示例热图掩码生成器电路系统418生成的热图掩码420之间的逐像素L2损失。示例逐像素计算器电路系统422计算逐像素L2损失以用有监督方式引导示例PIANet电路系统304的迭代自注意力方法。示例分类损失计算器电路系统424基于由示例PIANet电路系统304的示例迭代自注意力方法估计的特征来计算交叉熵损失。示例分类损失计算器电路系统424计算交叉熵损失以引导特征与所确定的类别之间的分类性能。示例三元组损失计算器电路系统426基于由示例PIANet电路系统304的示例迭代自注意力方法估计的特征来计算三元组损失。示例三元组损失计算电路系统426计算三元组损失以减少PIANet电路系统304的类别之间的类别内距离并增加类别之间的辨别性。示例逐像素计算器电路系统422、示例分类损失计算器电路系统424和示例三元组损失计算电路系统426计算不同种类的损失以允许示例PIANet电路系统304基于由示例PIANet电路系统304的示例迭代自注意力方法中的示例自注意力模块电路系统412C输出的特征、以及由示例热图掩码生成器电路系统418生成的热图掩码420来执行对聚焦的特征的分类。
示例损失计算器电路系统428基于由示例逐像素计算器电路系统422、示例分类损失计算器电路系统424和示例三元组损失计算电路系统426确定的损失来确定最终损失函数。示例损失计算器电路系统428使用下面的示例等式3来确定最终损失函数。
loss
在上文的示例等式3中,loss
图5是图4的示例姿势引导迭代注意力网络(PIANet)电路系统304中所包括的示例自注意力模块电路系统412A、412B、412C的流程图。在所图示的示例中,自注意力模块电路系统412A、412B、412C从示例PIANet电路系统304中所包括的相应神经网络层和自注意力模块电路系统接收输入502。例如,示例自注意力模块电路系统412A从示例第一神经网络层404和示例第二神经网络层406接收输入的同时还共享来自示例自注意力模块电路系统412B的输入,示例自注意力模块电路系统412B从示例第三神经网络层408接收输入的同时还共享来自示例自注意力模块电路系统412A和412C的输入,并且示例自注意力模块电路系统412C从示例第四神经网络层410接收输入的同时还共享来自示例自注意力模块电路系统412B的输入。
示例自注意力模块电路系统412A、412B、412C包括第一分支504(例如,标记为“C”),第一分支504在通道维度中分析示例输入502。在所图示的示例中,自注意力模块电路系统412A、412B、412C还包括第二分支506(例如,标记为“QK”)和第三分支508(例如,标记为“V”),这些分支在空间维度中分析示例输入502。
在示例第一分支504中,示例自注意力模块电路系统412A、412B、412C对来自示例输入502的输入特征执行全局最大池化510。示例自注意力模块电路系统412A、412B、412C执行1×1卷积512以将输入特征压缩到1/r的缩放,其中r是缩放的数值。示例自注意力模块电路系统412A、412B、412C将泄漏修正的线性单元(Leaky ReLU)函数514应用于输入特征以非线性地激活输出。示例自注意力模块电路系统412A、412B、412C执行1×1卷积516以将特征通道恢复到等于输入502的数量。最后,在示例第一分支504中,示例自注意力模块电路系统412A、412B、412C应用Sigmoid函数518来对与每个通道的权重相对应的1×1卷积516的输出进行归一化。
在图5所图示的示例中,示例第二分支506和示例第三分支508是自然语言处理(natural language processing,NLP)域中的变换器机制。在所图示的示例中,查询和密钥在第二分支506中被压缩,这实现了与具有相对较少参数的单独查询和密钥相同的效果。在示例第二分支506中,示例自注意力模块电路系统412A、412B、412C对输入502执行1×1卷积520,以将特征缩放到输入502的1/4大小。然而,示例自注意力模块电路系统412A、412B、412C可以执行1×1卷积520以将特征缩放到等于输入502的大小的任意分数。示例自注意力模块电路系统412A、412B、412C对1×1卷积520的输出进行转置(522)。示例自注意力模块电路系统412A、412B、412C将1×1卷积520的输出与经转置的输出522相乘(524)以获得自相关性因子,从而突出显示信息性区域。
在示例第三分支508中,示例自注意力模块电路系统412A、412B、412C还对输入502执行1×1卷积526。示例自注意力模块电路系统412A、412B、412C将示例第二分支506的输出自相关性因子与示例第三分支508的输出相乘(528)。在所图示的示例中,示例自注意力模块电路系统412A、412B、412C执行1×1卷积530以将来自乘法528的输出重塑成与示例输入502的通道数量相匹配的高度乘宽度乘通道(H×W×C)。然后,示例自注意力模块电路系统412A、412B、412C在通道维度中将示例第一分支504的输出与从1×1卷积530重塑的输出相乘(532)。示例自注意力模块电路系统412A、412B、412C使用乘法532来组合通道维度的特征(来自示例第一分支504)和空间维度的特征(来自示例第二分支506和示例第三分支508)。
在图5所图示的示例中,示例自注意力模块电路系统412A、412B、412C中的每一个经由示例第一分支504、通过以下操作来确定通道维度中的所提取的特征:对所提取的特征执行全局最大池化;经由卷积来压缩所提取的特征;执行泄漏ReLU函数;恢复特征通道以匹配输入中的通道数量;以及使用Sigmoid函数对所提取的特征进行归一化。附加地,示例自注意力模块电路系统412A、412B、412C中的每一个经由示例第二分支506和示例第三分支508、通过以下操作来确定空间维度中的所提取的特征:将所提取的特征缩放至示例输入502的第四大小、对所提取的特征进行转置、通过将经缩放的所提取的特征乘以经转置的所提取的特征来确定自相关性因子、将自相关性因子乘以所提取的特征的卷积、以及执行卷积以将所提取的特征的通道数量与示例输入502的通道数量相匹配。在所图示的示例中,示例自注意力模块电路系统412A、412B、412C通过组合通道维度中的所提取的特征和空间维度中的所提取的特征来将所提取的特征聚焦在上部躯干区域中。
图6图示图2和/或图3的示例队伍分类电路系统210的示例输入和输出特征向量的图解。图6所图示的示例包括由图1的示例(一个或多个)相机104在体育比赛开始时收集的输入批次图像602。PIANet电路系统304从图2的示例(一个或多个)相机接口208接收示例输入批次图像602。在所图示的示例中,PIANet电路系统304从输入批次图像602提取特征以确定所提取的特征与预定的类别列表604之间的类似性。PIANet电路系统304比较从输入批次图像602中的每个图像提取的特征,并将它们与来自类别列表604的类别中的每个类别的特征进行比较,以确定特征之间的类似性的示例分数606。在所图示的示例中,类别列表604中的每个类别与分数向量606相关联。在所图示的示例中,PIANet电路系统304针对类别和输入批次图像602的每个组合来确定分数。在图3所图示的示例中,类别列表604中的每个类别的输出分数606由图3的示例类别分数计算电路系统310使用,以生成被填充有每个输入批次图像602的分数606的特征向量608(例如,V
图7是根据本公开的教导的三个示例类别的比较的示例图表702、704、706的示意图。在所图示的示例中,图表702图示出用于第一类别(例如,类别A)的示例特征向量,图表704图示出用于第二类别(例如,类别B)的示例特征向量,并且图表706图示出用于第三类别(例如,类别C)的示例特征向量。在一些示例中,图3的示例类别分数计算电路系统310生成图表702、704、706中所图示的特征向量。在所图示的示例中,图表702、704、706的水平轴线表示由图3的示例运动员关联电路系统306确定的输入运动员边界框标识符。图表702、704、706的垂直轴线图示出如由图3的示例PIANet电路系统304确定的类别与各个输入运动员边界框之间的特征的类似性的输出分数。在所图示的示例中,每个类别对(例如,类别对A和B、类别对A和C、以及类别对B和C)的相关性系数由图3的示例成对相关性计算电路系统312使用示例等式1来确定,如上文所描述的。在所图示的示例中,成对相关性计算电路系统312确定图表702中的类别A与图表706中的类别C之间存在高类似性708。在所图示的示例中,成对相关性计算电路系统312确定图表704中的类别B与图表706中的类别C之间存在低类似性710。用于每个类别的特征向量(例如,图表702、704、706中所图示的特征向量)由示例成对相关性计算电路系统312比较,以确定针对每个类别对的相关性系数。
图8是根据本公开的教导的、类别对之间的示例相关性系数的示例表800。在所图示的示例中,图3的成对相关性计算电路系统312生成具有针对类别对所计算的相关性系数的表800。示例表800包括垂直轴线802和水平轴线804,这些轴线包括用于生成相关性系数矩阵的类别列表(例如,在示例表800中被标识为0-6)。在所图示的示例中,表800包括示例矩阵键806,其图示出表示相关性系数的值的范围的颜色变化的范围。在所图示的示例中,矩阵键806包括相关性系数的值的1.0至-0.6的范围。在一些示例中,矩阵键806可以基于由成对相关性计算电路系统312确定的相关性系数而改变。在表800中,矩阵键806指示:表800中较深的颜色表示两个类别之间较高的相关性系数,并且表800中较浅的颜色表示两个类别之间较低的相关性系数。在所图示的示例中,成对相关性计算电路系统312标识表800中的最低相关性系数,最低相关性系数是示例相关性系数808和示例相关性系数810。在表800中,相关性系数808和相关性系数810表示表800中的类别0与类别2之间的关系。在所图示的示例中,成对相关性计算电路系统312选择用于特定体育比赛的类别0和类别2作为由图3的示例多相机投票分数计算电路系统314将运动员分类到其中的两个队伍。
图9是图2和/或图3的示例队伍分类电路系统210的示例输入和输出分类的框图。图9所图示的示例包括由图1的示例(一个或多个)相机104在体育比赛开始时收集的示例输入批次图像602。PIANet电路系统304从图2的示例(一个或多个)相机接口208接收示例输入批次图像602,并且PIANet电路系统304将从输入批次图像602提取的特征与预定类别的特征进行比较,以针对输入批次图像602与类别中的每个类别之间的类似性确定分数。在所图示的示例中,图3的成对相关性计算电路系统312使用由图3的示例类别分数计算电路系统310根据PIANet电路系统304的输出分数确定的特征向量来确定类别对之间的相关性系数。成对相关性计算电路系统312将具有最低相关性系数的第一类别(例如,类别1)和第二类别(例如,类别2)选择为表示体育比赛中的两个队伍。在所图示的示例中,示例表902包括与第一所选类别(例如,类别1)相关联的第一列904和与第二所选类别(例如,类别2)相关联的第二列906。在所图示的示例中,图3的多相机投票分数计算电路系统314使用示例等式3针对输入批次图像602中的每个图像来确定第一所选类别和第二所选类别的投票分数,如上文结合图3所描述的。多相机投票分数计算电路系统314用所确定的投票分数填充第一列904和第二列906。在图9所图示的示例中,多相机投票分数计算电路系统314针对每个输入批次图像602来比较第一列904中的分数和第二列906中的分数以做出比较确定908(例如,大于或小于)。基于比较确定908,多相机投票分数计算电路系统314针对输入批次图像602中的每个图像确定输出标签910。在所图示的示例中,输出标签910是分别与第一所选类别和第二所选类别相关联的两个队伍。
图10A、图10B图示来自图2和/或图3的示例队伍分类电路系统210的分类结果的示例图形1000、1010。在所图示的示例中,图10的图形1000图示出针对橄榄球比赛(例如,NFL比赛)的分类结果,并且图10B的图形1010图示出针对足球比赛(例如,FIFA比赛)的分类结果(例如,图2的示例队伍分类结果214)。在图10A和图10B所图示的示例中,图形1000和图形1010包括在图形1000、1010中所包括的运动员中的每个运动员上的队伍标签。例如,在图形1000中图示出示例第一队伍标签1002和示例第二队伍标签1004,并且在图形1010中图示出示例第三队伍标签1012和示例第四队伍标签1014。在图10A所图示的示例中,第一队伍标签1002与橄榄球比赛中的第一队伍相关联,并且第二队伍标签1004与橄榄球比赛中的第二队伍相关联。在图10B所图示的示例中,第三队伍标签1012与足球比赛中的第一队伍相关联,并且第四队伍标签1014与足球比赛中的第二队伍相关联。在所图示的示例中,图形1000和图形1010中的运动员包括与相应的体育比赛(例如,橄榄球比赛和足球比赛)的第一队伍或第二队伍相关联的队伍标签。在图10A、图10B所图示的示例中,图形1000和图形1010图示出由图3的示例多相机投票分数计算电路系统314确定的分类的输出。队伍标签(例如,示例第一队伍标签1002、示例第二队伍标签1004、示例第三队伍标签1012和示例第四队伍标签1014)由示例结果生成器电路系统212基于根据示例多相机投票分数计算电路系统314确定运动员中的每个运动员属于相应的体育比赛的哪个队伍(例如,第一队伍或第二队伍)的结果而生成。
尽管图3中图示了实现图2的示例队伍分类电路系统210的示例方式,但图3中所图示的元件、过程和/或设备中的一个或多个可以被组合、被拆分、被重新布置、被省略、被消除和/或以任何其他方式被实现。进一步地,示例运动员检测电路系统302、示例姿势引导迭代注意力网络电路系统304、示例运动员关联电路系统306、示例多相机队伍特征融合电路系统308、示例类别分数计算电路系统310、示例成对相关性计算电路系统312、示例多相机投票分数计算电路系统314、和/或(更一般地)图2和图3的示例队伍分类电路系统210可以由单独的硬件实现,或者可以由硬件与软件和/或固件结合实现。由此,例如,示例运动员检测电路系统302、示例姿势引导迭代注意力网络电路系统304、示例运动员关联电路系统306、示例多相机队伍特征融合电路系统308、示例类别分数计算电路系统310、示例成对相关性计算电路系统312、示例多相机投票分数计算电路系统314、和/或(更一般地)示例队伍分类电路系统210中的任一者可由处理器电路系统、(一个或多个)模拟电路、(一个或多个)数字电路、(一个或多个)逻辑电路、(一个或多个)可编程处理器、(一个或多个)可编程微控制器、(一个或多个)图形处理单元((一个或多个)GPU)、(一个或多个)数字信号处理器((一个或多个)DSP)、(一个或多个)专用集成电路((一个或多个)ASIC)、(一个或多个)可编程逻辑器件((一个或多个)PLD)和/或(一个或多个)现场可编程逻辑器件((一个或多个)FPLD)(诸如现场可编程门阵列((一个或多个)FPGA))来实现。更进一步地,图2和图3的示例队伍分类电路系统210可以包括附加于或替代图3中所图示的那些元件、过程和/或设备的一个或多个元件、过程和/或设备,和/或可以包括所图示的元件、过程和设备中的任何或所有元件、过程和设备中的多于一个的元件、过程和设备。
在图11-图15中示出了表示用于实现图3的队伍分类电路系统210的示例硬件逻辑电路系统、机器可读指令、硬件实现的状态机和/或其任何组合的流程图。机器可读指令可以是用于由处理器电路系统执行的一个或多个可执行程序或可执行程序的(一个或多个)部分,该处理器电路系统诸如下文结合图16所讨论的示例处理器平台1600中示出的处理器电路系统1612和/或下文结合图17和/或图6所讨论的示例处理器电路系统。程序可以被具体化在存储在与位于一个或多个硬件设备中的处理器电路系统相关联的一个或多个非暂态计算机可读存储介质(诸如CD、软盘、硬盘驱动器(hard disk drive,HDD)、DVD、蓝光盘、易失性存储器(例如,任何类型的随机存取存储器(Random Access Memory,RAM)等)或非易失性存储器(例如,闪存、HDD等))上的软件中,但完整的程序和/或其部分可以替代地由除处理器电路系统外的一个或多个硬件设备执行,和/或被具体化在固件或专用硬件中。机器可读指令可跨多个硬件设备被分发和/或由两个或更多个硬件设备(例如,服务器和客户端硬件设备)执行。例如,客户端硬件设备可以由端点客户端硬件设备(例如,与用户相关联的硬件设备)或中间客户端硬件设备(例如,可促进服务器与端点客户端硬件设备之间通信的无线电接入网络(radio access network,RAN)网关)来实现。类似地,非暂态计算机可读存储介质可包括位于一个或多个硬件设备中的一个或多个介质。进一步地,虽然参考图11-图15中所图示的流程图描述了示例程序,但是可替代地使用实现示例队伍分类电路系统210的许多其他方法。例如,框的执行次序可以被改变,和/或所描述的框中的一些框可以被改变、被消除或被组合。附加地或替代地,框中的任何框或所有框可以由被构造成用于在不执行软件或固件的情况下执行相对应的操作的一个或多个硬件电路(例如,处理器电路系统、分立的和/或集成的模拟和/或数字电路系统、FPGA、ASIC、比较器、运算放大器(op-amp)、逻辑电路等)来实现。处理器电路系统可以分布在不同的网络位置中和/或分布在单个机器中的一个或多个硬件设备(例如,单核心处理器(例如,单核心中央处理器单元(CPU))、多核心处理器(例如,多核心CPU)、等等)、跨服务器机架的多个服务器分布的多个处理器、跨一个或多个服务器机架分布的多个处理器、位于相同封装中的CPU和/或FPGA(例如,位于相同的集成电路(IC)封装中的CPU和/或FPGA、或位于两个或更多个独立的壳体中的CPU和/或FPGA、等等)的本地。
本文中描述的机器可读指令可以以压缩格式、加密格式、分段格式、编译格式、可执行格式、封装格式等中的一种或多种格式来存储。如本文中描述的机器可读指令可以作为可用于创建、制造和/或产生机器可执行指令的数据或数据结构(例如,作为指令的部分、代码、代码表示等)来存储。例如,机器可读指令可以被分段并被存储在位于网络或网络集合中的相同或不同位置处(例如,在云中、在边缘设备中等)的一个或多个存储设备和/或计算设备(例如,服务器)上。机器可读指令可能要求安装、修改、适配、更新、组合、补充、配置、解密、解压缩、拆包、分发、重新分配、编译等中的一项或多项,以使得它们由计算设备和/或其他机器直接可读取、可解释、和/或可执行。例如,机器可读指令可以被存储在多个部分中,这些部分单独地被压缩、被加密和/或被存储在分开的计算设备上,其中,这些部分在被解密、解压缩和/或被组合时形成机器可执行指令的集合,机器可执行指令实现可以一起形成诸如本文中描述的程序之类的程序的一个或多个操作。
在另一示例中,机器可读指令可以在它们可被处理器电路系统读取所处于的状态下被存储,但是要求添加库(例如,动态链接库(dynamic link library,DLL))、软件开发工具包(software development kit,SDK)、应用编程接口(API)等,以便在特定的计算设备或其他设备上执行机器可读指令。在另一示例中,在可整体或部分地执行机器可读指令和/或相对应的(一个或多个)程序之前,机器可读指令可能需要被配置(例如,所存储的设置、所输入的数据、所记录的网络地址等)。由此,如本文中所使用,机器可读介质可包括机器可读指令和/或(一个或多个)程序,而不管机器可读指令和/或(一个或多个)程序在被存储时或以其他方式处于静态或在途中时的特定格式或状态如何。
本文中所描述的机器可读指令可以由任何过去、现在或未来的指令语言、脚本语言、编程语言等表示。例如,机器可读指令可以使用以下语言中的任何语言来表示:C、C++、Java、C#、Perl、Python、JavaScript、超文本标记语言(HyperText Markup Language,HTML)、结构化查询语言(Structured Query Language,SQL)、Swift等。
如上文所提及的,可以使用存储在一个或多个非暂态计算机和/或机器可读介质上的可执行指令(例如,计算机和/或机器可读指令)实现图11-图15的示例操作,非暂态计算机和/或机器可读介质诸如光学存储设备、磁存储设备、HDD、闪存、只读存储器(read-only memory,ROM)、CD、DVD、缓存、任何类型的RAM、寄存器和/或信息被存储于其中达任何时长(例如,达扩展的时间段、永久地、用于简短的实例、用于临时缓冲和/或用于信息的缓存)的任何其他存储设备或存储盘。如本文中所使用,术语非暂态计算机可读介质和非暂态计算机可读存储介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘,并且被定义为排除传播信号且排除传输介质。
“包含”和“包括”(及其所有形式和时态)在本文中被用作开放式术语。由此,每当权利要求将任何形式的“包含”和“包括”(例如,包括、包含、包括有、包含有、具有等)用作前序部分或用于任何种类的权利要求记载内容之中时,应当理解的是,附加的要素、项等可以存在,而不落在相对应的权利要求或记载的范围之外。如本文中所使用,当短语“至少”被用作例如权利要求的前序部分中的过渡术语时,它以与术语“包括有”和“包含有”是开放式的相同的方式是开放式的。术语“和/或”当例如以诸如A、B和/或C之类的形式被使用时指代A、B、C的任何组合或子集,诸如(1)单独的A、(2)单独的B、(3)单独的C、(4)A与B、(5)A与C、(6)B与C、或(7)A与B与C。如本文中在描述结构、组件、项、对象和/或事物的上下文中所使用,短语“A和B中的至少一者”旨在指代包括以下各项中的任一项的实现方式:(1)至少一个A、(2)至少一个B、或(3)至少一个A和至少一个B。类似地,如本文中在描述结构、组件、项、对象和/或事物的上下文中所使用,短语“A或B中的至少一者”旨在指代包括以下各项中的任一项的实现方式:(1)至少一个A、(2)至少一个B、或(3)至少一个A和至少一个B。如本文中在描述过程、指令、动作、活动和/或步骤的实行或执行的上下文中所使用,短语“A和B中的至少一者”旨在指代包括以下各项中的任一项的实现方式:(1)至少一个A、(2)至少一个B、或(3)至少一个A和至少一个B。类似地,如本文中在描述过程、指令、动作、活动和/或步骤的实行或执行的上下文中所使用,短语“A或B中的至少一者”旨在指代包括以下各项中的任一项的实现:(1)至少一个A、(2)至少一个B、或(3)至少一个A和至少一个B。
如本文中所使用,单数引用(例如,“一(“a”、“an”)”、“第一”、“第二”等)不排除复数。如本文中所使用的术语“一(“a”或“an”)”对象是指该对象中的一个或多个对象。”术语“一(“a”(或“an”))”、“一个或多个”和“至少一个”在本文中可互换地使用。此外,虽然单独列出,但多个装置、元件或方法动作可由例如相同实体或对象来实现。附加地,虽然单独的特征可以被包括在不同的示例或权利要求中,但是这些特征可以可能被组合,并且在不同的示例或权利要求中的包含并不暗示特征的组合不可行和/或不是有利的。
图11是表示可由处理器电路系统执行和/或实例化以实现图2的示例队伍分析电路系统206、以及图2和/或图3的示例队伍分类电路系统210的示例机器可读指令和/或示例操作1100的流程图。图11的机器可读指令和/或操作1100开始于框1102,在框1102处,示例(一个或多个)相机接口208从示例(一个或多个)相机104获得图像数据(例如,图3的示例图像数据300)。在一些示例中,(一个或多个)相机接口208经由图2的示例网络204接收由示例(一个或多个)相机104收集的图像/视频数据(例如,示例图像数据300)。在一些示例中,(一个或多个)相机接口208分别从示例(一个或多个)相机104中的每个相机收集视频/图像数据(例如,示例图像数据300)。
在框1104处,示例运动员检测电路系统302针对示例(一个或多个)相机104中的每个相机从图像数据中检测运动员。在一些示例中,示例运动员检测电路系统302使用预定义的球场掩码从示例图像数据300中移除任何非体育场地区域。在一些示例中,运动员检测电路系统302检测示例图像数据的运动场中的所有运动员。在一些示例中,运动员检测电路系统302使用人物检测算法来检测运动员,人物检测算法诸如例如你只需看一次(YOLO)、单步多框目标检测(SSD)、基于快速区域的卷积神经网络(Fast-RCNN)等。示例运动员检测电路系统302针对检测到的运动员确定边界框。在一些示例中,示例运动员检测电路系统302用标识每个运动员边界框的标识符(例如,数字、字母等)来标记边界框。示例运动员检测电路系统302将示例图像数据中检测到的运动员信息传送到示例PIANet电路系统304。
在框1106处,示例PIANet电路系统304针对示例(一个或多个)相机104中的每个相机执行队伍特征提取。在一些示例中,示例PIANet电路系统304针对由示例运动员检测电路系统302标识的检测到的运动员从示例图像数据提取特征。在一些示例中,PIANet电路系统304使用按顺序的神经网络层从示例图像数据提取特征。示例PIANet电路系统304使用与按顺序的神经网络层中的每个按顺序的神经网络层并行的自注意力模块来标识检测到的运动员的上部躯干区域中的所提取的特征。示例PIANet电路系统304基于示例图像数据确定与按顺序的神经网络层并行的上部热图掩码,以将特征定位在运动员的上部躯干的相关区域上。示例PIANet电路系统304基于根据聚焦的所提取的特征和所生成的热图掩码确定的不同损失、针对示例图像数据300来计算损失函数。如下文进一步详细描述的,图12的示例流程图1106表示可以被实现以针对(一个或多个)相机104中的每个相机执行队伍特征提取的示例指令。
在框1108处,示例运动员关联电路系统306针对示例(一个或多个)相机104中的每个相机跟踪图像数据中的运动员以确定边界框。在一些示例中,示例运动员关联电路系统306匹配示例(一个或多个)相机104中的每个相机中的帧之间的成对的运动员。在一些示例中,示例运动员检测电路系统302针对来自示例(一个或多个)相机104中的每个相机的示例图像数据利用检测到的边界框来跟踪运动员。示例运动员关联电路系统306从示例PIANet电路系统304获得特征,并且使用所提取的特征来匹配来自示例(一个或多个)相机104中的每个相机的示例图像数据的帧之间的成对的运动员。在一些示例中,运动员关联电路系统306使用由示例运动员检测电路系统302检测到的边界框来计算每个运动员的3D位置。
在框1110处,示例运动员关联电路系统306执行多相机运动员关联。在一些示例中,示例运动员关联电路系统306关联所有示例(一个或多个)相机104的运动员边界框以计算运动员的3D位置。示例运动员关联电路系统306执行用于人物边界框关联的基于线的对应关系方法。在一些示例中,运动员关联电路系统306将示例图像数据300的地平面中的运动员分组,并且使用基于线的对应关系方法确定来自多个相机(例如,示例相机104)的运动员对应关系。在一些示例中,在示例运动员关联电路系统306跨示例(一个或多个)相机104关联运动员边界框之后,示例运动员关联电路系统306在3D空间中生成每个运动员的位置,位置被映射到来自示例(一个或多个)相机104的每个相机视图(例如,图1的示例视图106)的示例图像数据300中的2D运动员。
在框1112处,示例多相机队伍特征融合电路系统308执行显著的类别选择。在一些示例中,示例多相机队伍特征融合电路系统308通过确定显著的类别选择、针对示例图像数据中的运动员中的每个运动员来确定队伍分类和运动员分类。如下文进一步详细描述的,图14的示例流程图1112表示可以被实现以执行显著的类别选择的示例指令。
在框1114处,示例多相机队伍特征融合电路系统308执行多相机队伍特征融合。在一些示例中,示例多相机队伍特征融合电路系统308将多类别网络调整成两类别网络以在每个比赛的两个队伍之间进行区分。如下文进一步详细描述的,图15的示例流程图1114表示可以被实现以执行多相机队伍特征融合的示例指令。在框1116处,示例多相机队伍特征融合电路系统308输出最终运动员队伍标签。在框1116完成之后,过程1100结束。
图12是表示可由处理器电路系统执行和/或实例化以实现图2、图3和/或图4的示例队伍分类电路系统210中所包括的示例PIANet电路系统304的示例机器可读指令和/或示例操作1106的流程图。图12的机器可读指令和/或操作1106在框1202处开始,在框1202处,示例PIANet电路系统304获得输入图像。在框1204处,示例PIANet电路系统304运行注意力模块。在一些示例中,示例PIANet电路系统304迭代地运行注意力模块以从图像数据提取特征。如下文进一步详细描述的,图13的示例流程图1204表示可以被实现以运行注意力模块的示例指令。
在框1206处,示例HRNet电路系统414根据输入图像估计身体标志。在一些示例中,示例HRNet电路系统414分析输入图像数据并估计被包括在输入图像中的运动员的不同的身体标志以生成示例输入图像的上部姿势。在框1208处,示例HRNet电路系统414定位上部躯干区域。在一些示例中,示例HRNet电路系统414定位示例输入图像中的人体解剖关键点/部分以估计以示例上部姿势的运动员的身体标志。在一些示例中,HRNet电路系统414可以估计14个身体标志。然而,示例HRNet电路系统414可以根据示例输入图像估计任意数量的身体标志。在所图示的示例中,HRNet电路系统414定位上部躯干区域/区(例如,被称为S
在框1210处,示例HRNet电路系统414计算几何中心。在一些示例中,示例HRNet电路系统414计算示例输入图像中的上部躯干区域(S
在框1212处,示例热图掩码生成器电路系统418生成热图掩码。在一些示例中,示例热图掩码生成器电路系统418生成用于示例输入图像的热图掩码。示例热图掩码生成器电路系统418生成热图掩码420以符合高斯分布,其中几何中心和上部躯干区域相等(例如,C=S
在框1214处,示例分类损失计算器电路系统424计算交叉熵损失。在一些示例中,示例分类损失计算器电路系统424基于由示例PIANet电路系统304的示例注意力模块估计的特征来计算交叉熵损失。示例分类损失计算器电路系统424计算交叉熵损失以引导特征与所确定的类别之间的分类性能。
在框1216处,示例逐像素计算器电路系统422计算逐像素损失。在一些示例中,示例逐像素计算器电路系统422计算由示例PIANet电路系统304的示例注意力模块估计的特征与从示例热图掩码生成器电路系统418生成的热图掩码之间的逐像素L2损失。示例逐像素计算器电路系统422计算逐像素L2损失以用有监督方式引导示例PIANet电路系统304的注意力模块。
在框1218处,示例三元组损失计算电路系统426计算三元组损失。在一些示例中,示例三元组损失计算电路系统426基于由示例PIANet电路系统304的示例注意力模块估计的特征来计算三元组损失。示例三元组损失计算电路系统426计算三元组损失以减少PIANet电路系统304的类别之间的类别内距离并增加类别之间的辨别性。
在框1220处,示例损失计算器电路系统428计算最终损失。在一些示例中,示例损失计算器电路系统428基于由示例逐像素计算器电路系统422、示例分类损失计算器电路系统424和示例三元组损失计算电路系统426确定的损失来确定最终损失函数。示例损失计算器电路系统428使用上文关于图4描述的示例等式3来确定最终损失函数。在一些示例中,损失计算器电路系统428使用最终损失函数、针对来自示例输入图像的特征与PIANet电路系统304的类别之间的分类来确定分数。在框1220之后,过程1106完成并返回到图11的过程1100。
图13是表示可由处理器电路系统执行和/或实例化以实现图4和/或图5的示例PIANet电路系统304中包括的示例第一神经网络层404、示例第二神经网络层406、示例第三神经网络层408、示例第四神经网络层410、以及示例自注意力模块电路系统412A、412B、412C的示例机器可读指令和/或示例操作1204的流程图。在图13所图示的示例中,示例操作1204被串行地图示。然而,示例操作可以并行地被执行。图13的机器可读指令和/或操作1204开始于框1302,在框1302处,示例第一神经网络层404在第一层中提取特征。示例第一神经网络层404接收示例输入图像数据402。示例第一神经网络层404从示例输入图像数据402提取特征。示例第一神经网络层404将输入图像数据402和所提取的特征传送到第二神经网络层406以进行更深级别的特征提取。示例第一神经网络层404还将输入图像数据402和所提取的特征传送到自注意力模块电路系统412A,以允许特征聚焦在示例输入图像数据402中所包括的运动员的躯干区域上。
在框1304处,示例第二神经网络层406在第二层中提取特征。示例第二神经网络层406进一步从示例输入图像数据402提取特征。示例第二神经网络层406将输入图像数据402和所提取的特征传送到第三神经网络层408以进行更深级别的特征提取。示例第二神经网络层406还将输入图像数据402和所提取的特征传送到自注意力模块电路系统412A,以允许特征聚焦在示例输入图像数据402中所包括的运动员的躯干区域上。
在框1306处,示例自注意力模块电路系统412A利用第一层特征和第二层特征来运行第一自注意力模块。在一些示例中,示例自注意力模块电路系统412A迭代地标识示例输入图像中的运动员躯干区域,并且将从示例第一神经网络层404和示例第二神经网络层406提取的特征聚焦在所标识的区域中。示例自注意力模块电路系统412A串接来自示例第一神经网络层404和示例第二神经网络层406的原始特征、以及在通道维度中运行自注意力模块电路系统412A之后的特征。示例自注意力模块电路系统412A在通道维度和空间维度两者中确定经标识的运动员躯干区域中的特征。上文结合图5描述了示例自注意力模块电路系统412A的示例流程图。
在框1308处,示例第三神经网络层408在第三层中提取特征。示例第三神经网络层408进一步从示例输入图像数据402提取特征。示例第三神经网络层408将输入图像数据402和所提取的特征传送到第四神经网络层410以进行更深级别的特征提取。示例第三神经网络层408还将输入图像数据402和所提取的特征传送到自注意力模块电路系统412B,以允许进一步将特征聚焦在示例输入图像数据402中所包括的运动员的躯干区域上。
在框1312处,示例自注意力模块电路系统412B利用第三层特征和第一自注意力模块结果来运行第二自注意力模块。在一些示例中,示例自注意力模块电路系统412B迭代地标识示例输入图像中的运动员躯干区域,并且将从示例第三神经网络层408提取的特征和来自示例自注意力模块电路系统412A的结果聚焦在所标识的区域中。示例自注意力模块电路系统412B串接来自第三神经网络层408的原始特征和来自示例自注意力模块电路系统412A的结果、以及在通道维度中运行自注意力模块电路系统412B之后的特征。示例自注意力模块电路系统412B在通道维度和空间维度两者中确定经标识的运动员躯干区域中的特征。上文结合图5描述了示例自注意力模块电路系统412B的示例流程图。
在框1312处,示例第四神经网络层410在第四层中提取特征。示例第四神经网络层410进一步从示例输入图像数据402提取特征。示例第四神经网络层410还将输入图像数据402和所提取的特征传送到自注意力模块电路系统412C,以允许进一步将特征聚焦在示例输入图像数据402中所包括的运动员的躯干区域上。
在框1314处,示例自注意力模块电路系统412C利用第四层特征和第二自注意力模块结果来运行第三自注意力模块。在一些示例中,示例自注意力模块电路系统412C迭代地标识示例输入图像中的运动员躯干区域,并且将从示例第四神经网络层410提取的特征和来自示例自注意力模块电路系统412B的结果聚焦在所标识的区域中。示例自注意力模块电路系统412C串接来自示例第四神经网络层410的原始特征和来自示例自注意力模块电路系统412B的结果、以及在通道维度中运行自注意力模块电路系统412C之后的特征。示例自注意力模块电路系统412C在通道维度和空间维度两者中确定经标识的运动员躯干区域中的特征。上文结合图5描述了示例自注意力模块电路系统412C的示例流程图。在框1314之后,过程1204完成并返回到图12的过程1106。
图14是表示可由处理器电路系统执行和/或实例化以实现在图3的示例多相机队伍特征融合电路系统308中包括的示例类别分数计算电路系统310和示例成对相关性计算电路系统312的示例机器可读指令和/或示例操作1112的流程图。图14的机器可读指令和/或操作1112在框1402处开始,在框1402处,示例类别分数计算电路系统310获得运动员边界框。在一些示例中,类别分数计算电路系统310从示例运动员关联电路系统306获得运动员边界框。在框1404处,示例类别分数计算电路系统310从注意力模块电路系统获得分数。示例类别分数计算电路系统310根据示例PIANet电路系统304的输出来确定示例类别。在本文中公开的示例中,示例类别是基于队伍的队服外观的队伍分类。示例类别分数计算电路系统310基于PIANet电路系统304的损失函数输出、针对示例图像数据来确定示例类别中的每个类别的分数。
在框1406处,示例成对相关性计算电路系统312计算针对每个类别对的相关性系数。示例成对相关性计算电路系统312计算针对类别对的相关性系数,以从PIANet电路系统304的输出中选择具有最小相关性分数的两个类别。示例成对相关性计算电路系统312使用来自示例运动员关联电路系统306的相关联的运动员边界框信息以及由示例类别分数计算电路系统310基于示例PIANet电路系统304的输出确定的类别分数。示例成对相关性计算电路系统312使用上文结合图3描述的示例等式1来计算每个类别对之间的相关性系数。
在框1408处,示例成对相关性计算电路系统312选择具有最低相关性系数的两个类别。在本文中公开的示例中,由于类似的类别可能共享类似的数据分布,因此这些类别将具有较高的相关性系数。示例成对相关性计算电路系统312生成矩阵以记录所有类别对之间的成对相关性。在一些示例中,如果两个类别的数据分布类似,则示例成对相关性计算电路系统312从候选类别集合中排除这两个类别。示例成对相关性计算电路系统312比较类别对之间的相关性系数,并且选择具有最小相关性系数的两个类别(例如,最低相关的类别)来对比赛中的运动员进行分类。在框1408之后,过程1112完成并返回到图11的过程1100。
图15是表示可由处理器电路系统执行和/或实例化以实现在图3的示例多相机队伍特征融合电路系统308中所包括的示例多相机投票分数计算电路系统314的示例机器可读指令和/或示例操作1114的流程图。图15的机器可读指令和/或操作1114在框1502处开始,在框1502处,示例多相机投票分数计算电路系统314针对示例(一个或多个)相机104收集所有运动员边界框。在一些示例中,由于环境(例如,示例环境100)周围的示例(一个或多个)相机104的相机视图(例如,图1的示例视图106)的不同角度,一些运动员边界框可能看起来非常小和/或运动员仅可以从一个视图(例如侧视图)而不是另一个视图(例如,前视图)可见。在此类示例中,大小较小的边界框将比大小较大的边界框具有更弱的特征,并且来自侧视图的两个运动员之间的队伍特征将比来自前视图的两个运动员之间的队伍特征的辨别性小得多。示例多相机投票分数计算电路系统314组合来自示例(一个或多个)相机104的不同视图的队伍分类结果,从而相比于仅依赖于来自示例(一个或多个)相机104中的一个相机的一个视图输出更准确的用于运动员的队伍标签。示例多相机投票分数计算电路系统314收集由示例运动员关联电路系统306确定的所有运动员边界框。在框1504处,示例多相机投票分数计算电路系统314跨所有相机视图关联运动员。
在框1506处,示例多相机投票分数计算电路系统314将相关联的边界框划分成组。对于与每个运动员相关联的每个边界框,示例多相机投票分数计算电路系统314将边界框划分成与来自示例成对相关性计算电路系统312的两个所选类别相关联的两个组。在框1508处,示例多相机投票分数计算电路系统314针对每个组计算投票分数。对于边界框的每个组,示例多相机投票分数计算电路系统314使用上文结合图3描述的示例等式2来计算投票分数。在上文的示例等式2中,投票分数受到置信度输出的影响,因为置信度越大,标签越可靠。上文的示例等式2包括当前边界框的面积,因为边界框的面积越大,来自边界框的特征就越可靠且越有用。在示例等式2中,对于当来自相机的图像数据从侧视图观看运动员从而导致边界框与从正视图观看运动员相比相对较窄的情况,投票分数基于当前边界框的宽度和高度。在示例等式2中,边界框的宽度和高度表示运动员身体相对于相机偏转的程度。示例多相机投票分数计算电路系统314使用示例等式2针对边界框的两个组都确定投票分数,并且确定哪组具有更高的投票分数。
在框1510处,示例多相机投票分数计算电路系统314为运动员贴上最高分数的队伍标签。示例多相机投票分数计算电路系统314基于具有较高投票分数的组、针对边界框中所标识的运动员来确定队伍分类标签。示例多相机投票分数计算电路系统314基于投票分数结果、针对边界框中的所有运动员来确定最终队伍标签,并将最终队伍标签输出到图2的示例结果生成器电路系统212。在框1510之后,过程1114完成并返回到图11的过程1100。
图16是被构造成用于执行和/或实例化图11-图15的机器可读指令和/或操作以实现图2和/或图3的示例队伍分类电路系统210的示例处理器平台1600的框图。处理器平台1600可以是例如,服务器、个人计算机、工作站、自学习机(例如,神经网络)、移动设备(例如,蜂窝电话、智能电话、诸如iPad
所图示示例的处理器平台1600包括处理器电路系统1612。所图示示例的处理器电路系统1612是硬件。例如,处理器电路系统1612可由来自任何所期望的系列或制造商的一个或多个集成电路、逻辑电路、FPGA、微处理器、CPU、GPU、DSP和/或微控制器来实现。处理器电路系统1612可由一个或多个基于半导体的(例如,基于硅的)器件来实现。在该示例中,处理器电路系统1612实现示例运动员检测电路系统302、示例姿势引导迭代注意力网络电路系统304、示例运动员关联电路系统306、示例多相机队伍特征融合电路系统308、示例类别分数计算电路系统310、示例成对相关性计算电路系统312、以及示例多相机投票分数计算电路系统314。
所图示示例的处理器电路系统1612包括本地存储器1613(例如,缓存、寄存器等)。所图示示例的处理器电路系统1612通过总线1618与包括易失性存储器1614和非易失性存储器1616的主存储器进行通信。易失性存储器1614可以由同步动态随机存取存储器(Synchronous Dynamic Random Access Memory,SDRAM)、动态随机存取存储器(DynamicRandom Access Memory,DRAM)、
所图示示例的处理器平台1600还包括接口电路系统1620。接口电路系统1620可以由硬件根据任何类型的接口标准来实现,接口标准诸如以太网接口、通用串行总线(universal serial bus,USB)接口、
在所图示的示例中,一个或多个输入设备1622被连接至接口电路系统1620。(一个或多个)输入设备1622准许用户将数据和/或命令输入到处理器电路系统1612中。(一个或多个)输入设备1622可以由例如音频传感器、麦克风、相机(静止的或视频)、键盘、按钮、鼠标、触摸屏、轨迹板、轨迹球、等点鼠标设备和/或语音识别系统实现。
一个或多个输出设备1624也被连接至所图示示例的接口电路系统1620。输出设备1624可以例如由显示设备(例如,发光二极管(light emitting diode,LED)、有机发光二极管(organic light emitting diode,OLED)、液晶显示器(liquid crystal display,LCD)、阴极射线管(cathode ray tube,CRT)显示器、面内切换(in-place switching,IPS)显示器、触摸屏等)、触觉输出设备、打印机和/或扬声器实现。由此,所图示示例的接口电路系统1620典型地包括图形驱动器卡、图形驱动器芯片和/或诸如GPU之类的图形处理器电路系统。
所图示示例的接口电路系统1620还包括诸如发射器、接收器、收发器、调制解调器、住宅网关、无线接入点、和/或网络接口之类的通信设备,以促进通过网络1626与外部机器(例如,任何种类的计算设备)的数据交换。通信可以通过例如以太网连接、数字订户线路(digital subscriber line,DSL)连接、电话线连接、同轴电缆系统、卫星系统、直线对传式无线系统、蜂窝电话系统、光学连接等。
所图示示例的处理器平台1600还包括用于存储软件和/或数据的一个或多个大容量存储设备1628。此类大容量存储设备1628的示例包括磁存储设备、光存储设备、软盘驱动器、HDD、CD、蓝光盘驱动器、独立盘的冗余阵列(redundant array of independent disk,RAID)系统、固态存储设备(诸如闪存设备)、以及DVD驱动器。
可以由图11-图15的机器可读指令实现的机器可执行指令1632可以被存储在大容量存储设备1628中,被存储在易失性存储器1614中,被存储在非易失性存储器1616中,和/或被存储在诸如CD或DVD之类的可移除非暂态计算机可读存储介质上。
图17是图16的处理器电路系统1612的示例实现方式的框图。在该示例中,图16的处理器电路系统1612由微处理器1700来实现。例如,微处理器1700可以实现多核心硬件电路系统,诸如,CPU、DSP、GPU、XPU等。虽然其可包括任何数量的示例核心1702(例如,1个核心),但该示例的微处理器1700是包括N个核心的多核心半导体器件。微处理器1700的核心1702可以独立地操作,或者可以协作以执行机器可读指令。例如,与固件程序、嵌入式软件程序或软件程序相对应的机器代码可以由核心1702中的一个核心执行,或者可以由核心1702中的多个核心在相同或不同的时间执行。在一些示例中,与固件程序、嵌入式软件程序或软件程序相对应的机器代码被分割成线程,并由核心1702中的两个或更多个核心并行地执行。软件程序可以与由图11-图15的流程图表示的机器可读指令和/或操作的部分或全部相对应。
核心1702可通过示例总线1704进行通信。在一些示例中,总线1704可实现通信总线,以实行与核心1702中的一个(或多个)核心1702相关联的通信。例如,总线1704可以实现集成电路间(I2C)总线、串行外围接口(SPI)总线、PCI总线或PCIe总线中的至少一者。附加地或替代地,总线1704可实现任何其他类型的计算或电气总线。核心1702可以通过示例接口电路系统1706从一个或多个外部设备获得数据、指令和/或信号。核心1702可以通过接口电路系统1706向一个或多个外部设备输出数据、指令和/或信号。尽管该示例的核心1702包括示例本地存储器1720(例如,第一级(Level 1,L1)缓存,其可被拆分成L1数据缓存和L1指令缓存),但微处理器1700还包括可由核心共享的示例共享存储器1710(例如,第二级(Level 2,L2_缓存)),以用于对数据和/或指令的高速访问。数据和/或指令可以通过向共享存储器1710写入和/或从共享存储器1710读取来传输(例如,共享)。核心1702中的每个核心的本地存储器1720、以及共享存储器1710可以是包括多个级别的缓存存储器和主存储器(例如,图16的主存储器1614、1616)的存储设备的层次体系的部分。典型地,相比于较低级别的存储器,层次体系中的较高级别的存储器表现出较低的访问时间并且具有较小的存储容量。缓存层次体系的各级别的改变由缓存一致性策略来管理(例如,协调)。
每个核心1702可以被称为CPU、DSP、GPU等、或任何其他类型的硬件电路系统。每个核心1702包括控制单元电路系统1714、算术和逻辑(arithmetic and logic,AL)电路系统(有时被称为ALU)1716、多个寄存器1718、L1高速缓存1720、以及示例总线1722。可以存在其他结构。例如,每个核心1702可以包括向量单元电路系统、单指令多数据(singleinstruction multipledata,SIMD)单元电路系统、加载/存储单元(load/store unit,LSU)电路系统、分支/跳转单元电路系统、浮点单元(floating-point unit,FPU)电路系统等。控制单元电路系统1714包括被构造成用于控制(例如,协调)相对应的核心1702内的数据移动的基于半导体的电路。AL电路系统1716包括被构造成用于在相对应的核心1702内对数据执行一个或多个数学和/或逻辑操作的基于半导体的电路。一些示例的AL电路系统1716执行基于整数的操作。在其他示例中,AL电路系统1716还执行浮点操作。在另外的其他示例中,AL电路系统1716可包括执行基于整数的操作的第一AL电路系统和执行浮点操作的第二AL电路系统。在一些示例中,AL电路系统1716可以被称为算术逻辑单元(Arithmetic LogicUnit,ALU)。寄存器1718是用于存储数据和/或指令(诸如,由相对应的核心1702的AL电路系统1716执行的操作中的一个或多个操作的结果)的基于半导体的结构。例如,寄存器1718可以包括(一个或多个)向量寄存器、(一个或多个)SIMD寄存器、(一个或多个)通用寄存器、(一个或多个)标志寄存器、(一个或多个)段寄存器、(一个或多个)机器特定寄存器、(一个或多个)指令指针寄存器、(一个或多个)控制寄存器、(一个或多个)调试寄存器、(一个或多个)存储器管理寄存器、(一个或多个)机器检查寄存器等。寄存器1718可按如图17中所示的区块来布置。替代地,寄存器1718可以按任何其他布置、格式或结构来组织(包括贯穿核心1702被分布)以缩短访问时间。总线1720可以实现I2C总线、SPI总线、PCI总线或PCIe总线中的至少一者。
每个核心1702、和/或(更一般地)微处理器1700可以包括上文示出和描述的那些结构的附加和/或替代结构。例如,可以存在一个或多个时钟电路、一个或多个电源、一个或多个功率门、一个或多个缓存归属地代理(cache home agent,CHA)、一个或多个聚合/公共网格站点(converged/common mesh stop,CMS)、一个或多个移位器(例如,(一个或多个)桶形移位器)和/或其他电路系统。微处理器1700是半导体器件,该半导体器件被制造成包括经互连接的许多晶体管,以在被包含在一个或多个封装中的一个或多个集成电路(IC)中实现上文所描述的结构。处理器电路系统可包括一个或多个加速器,和/或与一个或多个加速器协作。在一些示例中,加速器由逻辑电路系统来实现,从而相比于由通用处理器可以进行的更快和/或更高效地执行某些任务。加速器的示例包括ASIC和FPGA,诸如本文中所讨论的那些。GPU或其他可编程器件也可以是加速器。加速器可以板载于处理器电路系统,与处理器电路系统处于同一芯片封装中,和/或处于与处理器电路系统分离的一个或多个封装中。
图18是图16的处理器电路系统1612的另一示例实现方式的框图。在该示例中,处理器电路系统1612由FPGA电路系统1700实现。例如,FPGA电路系统1700可用于执行原本可通过图17的示例微处理器1700执行对应的机器可读指令来执行的操作。然而,一旦被配置,FPGA电路系统1700就在硬件中实例化机器可读指令,并且由此通常能够以相比这些操作能够通过通用微处理器执行对应的软件而被执行的情况更快地执行这些操作。
更具体而言,与上文描述的图17的微处理器1700(微处理器1700是这样的通用设备:该通用设备可编程成用于执行由图11-图15的流程图表示的机器可读指令的一些或全部,但该通用设备一旦被制造则其互连和逻辑电路系统就是固定的)形成对照,图18的示例的FPGA电路系统1700包括这样的互连和逻辑电路系统:这些互连和逻辑电路系统可以在制造之后以不同的方式配置和/或互连,以实例化例如由图11-图15的流程图表示的机器可读指令的一些或全部。具体而言,FPGA 1700可以被认为是逻辑门、互连和开关的阵列。可以对开关进行编程,以改变逻辑门如何通过互连被互连,从而有效地形成一个或多个专用逻辑电路(除非并且直到FPGA电路系统1700被重新编程)。经配置的逻辑电路使逻辑门能够以不同的方式协作,从而对由输入电路系统接收到的数据执行不同的操作。这些操作可与由图11-图15的流程图表示的软件的一些或全部相对应。由此,FPGA电路系统1700可以被构造成用于将图11-图15的流程图的机器可读指令的一些或全部有效地实例化为专用逻辑电路,以便以类似于ASIC的专用方式执行与这些软件指令相对应的操作。因此,FPGA电路系统1700可执行与图11-图15的机器可读指令的一些或全部相对应的操作的速度快于通用微处理器执行相同的操作的速度。
在图18的示例中,FPGA电路系统1800被构造成用于由终端用户通过诸如Verilog之类的硬件描述语言(hardware description language,HDL)编程(和/或重新编程一次或多次)。图18的FPGA电路系统1800包括示例输入/输出(input/output,I/O)电路系统1802,该示例输入/输出(I/O)电路系统1802用于从示例配置电路系统1804和/或外部硬件(例如,外部硬件电路系统)1806获得数据和/或向示例配置电路系统1804和/或外部硬件(例如,外部硬件电路系统)1806输出数据。例如,配置电路系统1804可以实现接口电路系统,该接口电路系统可获得用于配置FPGA电路系统1800或其(一个或多个)部分的机器可读指令。在一些此类示例中,配置电路系统1804可以从用户、机器(例如,可以实现人工智能/机器学习(Artificial Intelligence/Machine Learning,AI/ML)模型以生成指令的硬件电路系统(例如,经编程的或专用电路系统)等获得机器可读指令。在一些示例中,外部硬件1806可实现图17的微处理器1700。FPGA电路系统1800还包括示例逻辑门电路系统1808、多个示例可配置的互连1810、以及示例存储电路系统1812的阵列。逻辑门电路系统1808和互连1810可配置用于实例化一个或多个操作,这些操作可与图11-图15的至少一些机器可读指令和/或其他期望操作相对应。图18所示的逻辑门电路系统1808是按组或按块制造的。每个块包括可以被配置成逻辑电路的基于半导体的电气结构。在一些示例中,电气结构包括提供用于逻辑电路的基本构建块的逻辑门(例如,与(“AND”)门、或(“OR”)门、或非(“Nor”)门等)。电可控开关(例如,晶体管)存在于逻辑门电路系统1808中的每个逻辑门电路系统1808内,以使得能够将电气结构和/或逻辑门配置成形成电路来执行期望的操作。逻辑门电路系统1808可包括其他电气结构(诸如,查找表(look-up table,LUT)、寄存器(例如,触发器或锁存器)、复用器等)。
所图示示例的互连1810是导电路径、迹线、通孔等,该导电路径、迹线、通孔等可以包括电可控开关(例如,晶体管),该电可控开关(例如,晶体管)的状态可以通过编程(例如,使用HDL指令语言)来改变以对逻辑门电路系统1808中的一个或多个逻辑门电路系统1808之间的一个或多个连接进行激活或停用,从而对期望的逻辑电路进行编程。
所图示示例的存储电路系统1812被构造成用于存储由相对应的逻辑门执行的操作中的一个或多个操作的(一个或多个)结果。存储电路系统1812可以由寄存器等来实现。在所图示的示例中,存储电路系统1812分布在逻辑门电路系统1808之间,以促进访问并提高执行速度。
图18的示例FPGA电路系统1800还包括示例专用操作电路系统1814。在该示例中,专用操作电路系统1814包括专用电路系统1816,该专用电路系统1816可以被调用以实现常用功能,从而避免在现场对那些功能编程的需求。此类专用电路系统1816的示例包括存储器(例如,DRAM)控制器电路系统、PCIe控制器电路系统、时钟电路系统、收发器电路系统、存储器、以及乘法器-累加器电路系统。可以存在其他类型的专用电路系统。在一些示例中,FPGA电路系统1800还可以包括示例通用可编程电路系统1818,诸如,示例CPU 1820和/或示例DSP 1822。可以附加地或替代地存在可以被编程为用于执行其他操作的其他通用可编程电路系统1818,诸如,GPU、XPU等。
尽管图17和图18图示出图16的处理器电路系统1612的两种示例实现方式,但构想了许多其他方式。例如,如上文所提及的,现代FPGA电路系统可以包括板载CPU(诸如图18的示例CPU 1820中的一个或多个)。因此,图16的处理器电路系统1612可附加地通过组合图17的示例微处理器1700和图18的示例FPGA电路系统1800来实现。在一些此类混合示例中,由图11-图15的流程图表示的机器可读指令的第一部分可由图17的核心1702中的一个或多个执行,并且由图11-图15的流程图表示的机器可读指令的第二部分可由图18的FPGA电路系统1800执行。
在一些示例中,图16的处理器电路系统1612可以在一个或多个封装中。例如,图17的处理器电路系统1700和/或图17的FPGA电路系统1700可以在一个或多个封装中。在一些示例中,XPU可由图16的处理器电路系统1612实现,该处理器电路系统1612可以在一个或多个封装中。例如,XPU可包括一个封装中的CPU、另一封装中的DSP、又一封装中的GPU和再另一封装中的FPGA。
在图19中图示了图示示例软件分发平台1905的框图,该示例软件分发平台1905用于将诸如图16的示例机器可读指令1632之类的软件分发至由第三方拥有和/或操作的硬件设备。示例软件分发平台1905可以由能够存储软件并将软件传送到其他计算设备的任何计算机服务器、数据设施、云服务等来实现。第三方可以是拥有和/或操作软件分发平台1905的实体的客户。例如,拥有和/或操作软件分发平台1905的实体可以是软件(诸如,图16的示例机器可读指令1632)的开发方、销售方和/或许可方。第三方可以是购买和/或许可软件以用于使用和/或转售和/或分许可的消费者、用户、零售商、OEM等。在所图示的示例中,软件分发平台1905包括一个或多个服务器和一个或多个存储设备。存储设备存储机器可读指令1632,该机器可读指令1632可与如上文所描述的图11-图15的示例机器可读指令1100、1106、1204、1112和1114相对应。示例软件分发平台1905的一个或多个服务器与网络1910通信,该网络1910可以与互联网和/或上文所描述的示例网络1626中的任一个中的任何一个或多个相对应。在一些示例中,作为商业事务的一部分,一个或多个服务器响应于请求而将软件传送到请求方。可以由软件分发平台的一个或多个服务器和/或由第三方支付实体来处置针对软件的交付、销售、和/或许可的支付。服务器使购买方和/或许可方能够从软件分发平台1905下载机器可读指令1632。例如,软件(该软件可与图11-图15的示例机器可读指令1100、1106、1204、1112和1114相对应)可被下载到示例处理器平台1600,该示例处理器平台1600用于执行机器可读指令1632以实现示例队伍分类电路系统210。在一些示例中,软件分发平台1905的一个或多个服务器周期性地提供、传送和/或强制进行对软件(例如,图16的示例机器可读指令1632)的更新以确保改善、补丁、更新等被分发并应用于终端用户设备处的软件。
从前述内容将要领会的是,已经公开了基于图像数据自动且准确地将体育比赛中的运动员分类到分开的队伍中的示例系统、方法、装置和制品。所公开的系统、方法、装置和制品不要求手动操作或实况比赛数据来训练用于队伍分类的模型。所公开的系统、方法、装置和制品包括多头迭代注意力网络结构,其利用上身热图来突出显示处于通道维度和空间维度两者的相关区域,并且迭代地从图像数据的低级细节到高级语义提取特征。所公开的系统、方法、装置和制品通过包括多头迭代注意力网络结构来改进使用计算设备的效率,多头迭代注意力网络结构在使用较少数量的类别来实现特征可辨性的同时维持队伍分类的可靠性并改进队伍分类的稳定性和泛化能力。所公开的系统、方法、装置和制品相应地针对诸如计算机或其他电子和/或机械设备之类的机器的操作的一个或多个改进。
本文中公开了用于体育分析中的队伍分类的示例方法、装置、系统和制品。进一步的示例及其组合包括以下内容:示例1包括一种装置,该装置包括:至少一个存储器;装置中的指令;以及处理器电路系统,该处理器电路系统用于执行指令以进行以下操作:从自多个相机获得的图像数据提取特征,特征的提取使用多个按顺序的神经网络层来执行;响应于多个按顺序的神经网络层中的每个神经网络层提取特征而经由与多个按顺序的神经网络层中的每个神经网络层并行的多个注意力模块来标识图像数据的躯干区域中的所提取的特征;从图像数据估计身体标志以定位区域;基于图像数据的几何中心来生成上部热图掩码;基于根据所提取的特征和所生成的热图掩码确定的交叉熵损失、逐像素损失和三元组损失、针对图像数据来计算损失函数;基于多个类别对之间的所计算的相关性来选择最低相关的类别;以及基于图像数据和损失函数、针对与最低相关的类别相关联的组来计算投票分数。
示例2包括如示例1的装置,其中,多个按顺序的神经网络层包括至少四个按顺序的神经网络层,并且多个注意力模块包括至少三个注意力模块。
示例3包括如示例1的装置,其中,为了确定通道维度中的所提取的特征,处理器电路系统用于:对所提取的特征执行全局最大池化;经由卷积来压缩所提取的特征;执行泄漏修正的线性单元函数;恢复特征通道以匹配图像数据的数量;以及使用Sigmoid函数对所提取的特征进行归一化。
示例4包括如示例3的装置,其中,为了确定空间维度中的所提取的特征,处理器电路系统用于:将所提取的特征缩放至图像数据的第四大小;对所提取的特征进行转置;通过将经缩放的所提取的特征乘以经转置的所提取的特征来确定自相关性因子;将自相关性因子乘以所提取的特征的卷积;以及执行卷积以将所提取的特征的通道数量与图像数据的通道数量相匹配。
示例5包括如示例4的装置,其中,处理器电路系统用于:通过组合通道维度中的所提取的特征和空间维度中的所提取的特征来标识躯干区域中的所提取的特征。
示例6包括如示例1的装置,其中,处理器电路系统用于估计身体标志并生成与多个按顺序的神经网络层并行的上部热图掩码。
示例7包括如示例1的装置,其中,区域是上部躯干区域。
示例8包括如示例1的装置,其中,处理器电路系统用于针对类别对计算相关性系数,其中每个类别是队伍分类。
示例9包括如示例1的装置,其中,处理器电路系统用于基于投票分数将标签与图像数据相关联。
示例10包括如示例9的装置,其中,标签用于标识穿制服的人员的存在。
示例11包括如示例1的装置,其中,处理器电路系统用于对地平面中的运动员进行分组,并且确定来自多个相机的运动员对应关系,指令用于关联来自多个相机的图像数据的运动员的边界框。
示例12包括如示例11的装置,其中,处理器电路系统用于基于当前边界框的面积、图像数据中的最大边界框的面积、当前边界框的宽度和当前边界框的高度来计算投票分数。
示例13包括如示例12的装置,其中,处理器电路系统用于针对当前边界框中的运动员将队伍标签与图像数据相关联。
示例14包括一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质包括指令,指令当被执行时,使得至少一个处理器用于:从自多个相机获得的图像数据提取特征,特征的提取使用多个按顺序的神经网络层来执行;响应于多个按顺序的神经网络层中的每个神经网络层提取特征、经由与多个按顺序的神经网络层中的每个神经网络层并行的多个注意力模块来标识图像数据的躯干区域中的所提取的特征;从图像数据估计身体标志以定位区域;基于图像数据的几何中心来生成上部热图掩码;基于根据所提取的特征和所生成的热图掩码确定的交叉熵损失、逐像素损失和三元组损失、针对图像数据来计算损失函数;基于多个类别对之间的所计算的相关性来选择最低相关的类别;以及基于图像数据和损失函数、针对与最低相关的类别相关联的组来计算投票分数。
示例15包括如示例14的非暂态计算机可读存储介质,其中,多个按顺序的神经网络层包括至少四个按顺序的神经网络层,并且多个注意力模块包括至少三个注意力模块。
示例16包括如示例14的非暂态计算机可读存储介质,其中,为了确定通道维度中的所提取的特征,指令当被执行时,使得至少一个处理器用于:对所提取的特征执行全局最大池化;经由卷积来压缩所提取的特征;执行泄漏修正的线性单元函数;恢复特征通道以匹配图像数据的数量;以及使用Sigmoid函数对所提取的特征进行归一化。
示例17包括如示例16的非暂态计算机可读存储介质,其中,为了确定空间维度中的所提取的特征,指令当被执行时,使得至少一个处理器用于:将所提取的特征缩放至图像数据的第四大小;对所提取的特征进行转置;通过将经缩放的所提取的特征乘以经转置的所提取的特征来确定自相关性因子;将自相关性因子乘以所提取的特征的卷积;以及执行卷积以将所提取的特征的通道数量与图像数据的通道数量相匹配。
示例18包括如示例17的非暂态计算机可读存储介质,其中,指令当被执行时,使得至少一个处理器用于:通过组合通道维度中的所提取的特征和空间维度中的所提取的特征来标识躯干区域中的所提取的特征。
示例19包括如示例14的非暂态计算机可读存储介质,其中,指令当被执行时,使得至少一个处理器用于:估计身体标志并生成与多个按顺序的神经网络层并行的上部热图掩码。
示例20包括如示例14的非暂态计算机可读存储介质,其中,区域是上部躯干区域。
示例21包括如示例14的非暂态计算机可读存储介质,其中,指令当被执行时,使得至少一个处理器用于:针对类别对来计算相关性系数,其中每个类别是队伍分类。
示例22包括如示例14的非暂态计算机可读存储介质,其中,指令当被执行时,使得至少一个处理器用于:基于投票分数将标签与图像数据相关联。
示例23包括如示例22的非暂态计算机可读存储介质,其中,标签用于标识穿制服的人员的存在。
示例24包括如示例14的非暂态计算机可读存储介质,其中,指令当被执行时,使得至少一个处理器用于:对地平面中的运动员进行分组,并且确定来自多个相机的运动员对应关系,指令用于关联来自多个相机的图像数据的运动员的边界框。
示例25包括如示例24的非暂态计算机可读存储介质,其中,指令当被执行时,使得至少一个处理器用于:基于当前边界框的面积、图像数据中的最大边界框的面积、当前边界框的宽度和当前边界框的高度来计算投票分数。
示例26包括如示例25的非暂态计算机可读存储介质,其中,指令当被执行时,使得至少一个处理器用于:针对当前边界框中的运动员将队伍标签与图像数据相关联。
示例27包括一种方法,该方法包括:从自多个相机获得的图像数据提取特征,特征的提取使用多个按顺序的神经网络层来执行;响应于多个按顺序的神经网络层中的每个神经网络层提取特征、经由与多个按顺序的神经网络层中的每个神经网络层并行的多个注意力模块来标识图像数据的躯干区域中的所提取的特征;从图像数据估计身体标志以定位区域;基于图像数据的几何中心来生成上部热图掩码;基于根据所提取的特征和所生成的热图掩码确定的交叉熵损失、逐像素损失和三元组损失、针对图像数据来计算损失函数;基于多个类别对之间的所计算的相关性来选择最低相关的类别;以及基于图像数据和损失函数、针对与最低相关的类别相关联的组来计算投票分数。
示例28包括如示例27的方法,其中,多个按顺序的神经网络层包括至少四个按顺序的神经网络层,并且多个注意力模块包括至少三个注意力模块。
示例29包括如示例27的方法,其中,确定通道维度中的所提取的特征进一步包括:对所提取的特征执行全局最大池化;经由卷积来压缩所提取的特征;执行泄漏修正的线性单元函数;恢复特征通道以匹配图像数据的数量;以及使用Sigmoid函数对所提取的特征进行归一化。
示例30包括如示例29的方法,其中,确定空间维度中的所提取的特征进一步包括:将所提取的特征缩放至图像数据的第四大小;对所提取的特征进行转置;通过将经缩放的所提取的特征乘以经转置的所提取的特征来确定自相关性因子;将自相关性因子乘以所提取的特征的卷积;以及执行卷积以将所提取的特征的通道数量与图像数据的通道数量相匹配。
示例31包括如示例30的方法,进一步包括:通过组合通道维度中的所提取的特征和在空间维度中的所提取的特征来标识躯干区域中的所提取的特征。
示例32包括如示例27的方法,进一步包括:估计身体标志并生成与多个按顺序的神经网络层并行的上部热图掩码。
示例33包括如示例27的方法,其中,区域是上部躯干区域。
示例34包括如示例27的方法,进一步包括:针对类别对计算相关性系数,其中每个类别是队伍分类。
示例35包括如示例27的方法,进一步包括:基于投票分数将标签与图像数据相关联。
示例36包括如示例35的方法,其中,标签用于标识穿制服的人员的存在。
示例37包括如示例27的方法,进一步包括:对地平面中的运动员进行分组,并且确定来自多个相机的运动员对应关系;以及关联来自多个相机的图像数据的运动员的边界框。
示例38包括如示例37的方法,进一步包括:基于当前边界框的面积、图像数据中的最大边界框的面积、当前边界框的宽度和当前边界框的高度来计算投票分数。
示例39包括如示例38的方法,进一步包括:针对当前边界框中的运动员将队伍标签与图像数据相关联。
示例40包括一种装置,该装置包括姿势引导迭代注意力网络电路系统,该姿势引导迭代注意力网络电路系统用于:从自多个相机获得的图像数据提取特征,特征的提取使用多个按顺序的神经网络层来执行;响应于多个按顺序的神经网络层中的每个神经网络层提取特征、经由与多个按顺序的神经网络层中的每个神经网络层并行的多个注意力模块来标识图像数据的躯干区域中的所提取的特征;从图像数据估计身体标志以定位区域;基于图像数据的几何中心来生成上部热图掩码;基于根据所提取的特征和所生成的热图掩码确定的交叉熵损失、逐像素损失和三元组损失、针对图像数据来计算损失函数;成对相关性计算电路系统,该成对相关性计算电路系统用于基于多个类别对之间的所计算的相关性来选择最低相关的类别;以及多相机投票分数计算电路系统,该多相机投票分数计算电路系统用于基于图像数据和损失函数、针对与最低相关的类别相关联的组来计算投票分数。
示例41包括如示例40的装置,其中,多个按顺序的神经网络层包括至少四个按顺序的神经网络层,并且多个注意力模块包括至少三个注意力模块。
示例42包括如示例40的装置,其中,为了确定通道维度中的所提取的特征,姿势引导迭代注意力网络电路系统用于:对所提取的特征执行全局最大池化;经由卷积来压缩所提取的特征;执行泄漏修正的线性单元函数;恢复特征通道以匹配图像数据的数量;以及使用Sigmoid函数对所提取的特征进行归一化。
示例43包括如示例42的装置,其中,为了确定空间维度中的所提取的特征,姿势引导迭代注意力网络电路系统用于:将所提取的特征缩放至图像数据的第四大小;对所提取的特征进行转置;通过将经缩放的所提取的特征乘以经转置的所提取的特征来确定自相关性因子;将自相关性因子乘以所提取的特征的卷积;以及执行卷积以将所提取的特征的通道数量与图像数据的通道数量相匹配。
示例44包括如示例43的装置,其中,姿势引导迭代注意力网络电路系统用于通过组合通道维度中的所提取的特征和空间维度中的所提取的特征来标识躯干区域中的所提取的特征。
示例45包括如示例40的装置,其中,姿势引导迭代注意力网络电路系统用于估计身体标志并生成与多个按顺序的神经网络层并行的上部热图掩码。
示例46包括如示例40的装置,其中,区域是上部躯干区域。
示例47包括如示例40的装置,其中,成对相关性计算电路系统用于针对类别对计算相关性系数,其中每个类别是队伍分类。
示例48包括如示例40的装置,其中,多相机投票分数计算电路系统用于基于投票分数将标签与图像数据相关联。
示例49包括如示例48的装置,其中,标签用于标识穿制服的人员的存在。
示例50包括如示例40的装置,进一步包括运动员关联电路系统,该运动员关联电路系统用于对地平面中的运动员进行分组,并且确定来自多个相机的运动员对应关系,运动员关联电路系统用于关联来自多个相机的图像数据的运动员的边界框。
示例51包括如示例50的装置,其中,多相机投票分数计算电路系统用于基于当前边界框的面积、图像数据中的最大边界框的面积、当前边界框的宽度和当前边界框的高度来计算投票分数。
示例52包括如示例51的装置,其中,多相机投票分数计算电路系统用于针对当前边界框中的运动员将队伍标签与图像数据相关联。
示例53包括一种设备,该设备包括:用于提取的装置,用于提取的装置提取特征,用于提取的装置用于:从自多个相机获得的图像数据提取特征,特征的提取使用多个按顺序的神经网络层来执行;响应于多个按顺序的神经网络层中的每个神经网络层提取特征、经由与多个按顺序的神经网络层中的每个神经网络层并行的多个注意力模块来标识图像数据的躯干区域中的所提取的特征;从图像数据估计身体标志以定位区域;基于图像数据的几何中心来生成上部热图掩码;基于根据所提取的特征和所生成的热图掩码确定的交叉熵损失、逐像素损失和三元组损失、针对图像数据来计算损失函数;用于选择的装置,用于选择的装置基于多个类别对之间的所计算的相关性来选择最低相关的类别;以及用于计算的装置,用于计算的装置基于图像数据和损失函数、针对与最低相关的类别相关联的组来计算投票分数。
示例54包括如示例53的设备,其中,多个按顺序的神经网络层包括至少四个按顺序的神经网络层,并且多个注意力模块包括至少三个注意力模块。
示例55包括如示例53的设备,其中,为了确定通道维度中的所提取的特征,用于提取的装置用于:对所提取的特征执行全局最大池化;经由卷积来压缩所提取的特征;执行泄漏修正的线性单元函数;恢复特征通道来匹配图像数据的数量;以及使用Sigmoid函数对所提取的特征进行归一化。
示例56包括如示例55的设备,其中,为了确定空间维度中的所提取的特征,用于提取的装置用于:将所提取的特征缩放至图像数据的第四大小;对所提取的特征进行转置;通过将经缩放的所提取的特征乘以经转置的所提取的特征来确定自相关性因子;将自相关性因子乘以所提取的特征的卷积;以及执行卷积以将所提取的特征的通道数量与图像数据的通道数量相匹配。
示例57包括如示例56的设备,其中,用于提取的装置用于:通过组合通道维度中的所提取的特征和空间维度中的所提取的特征来标识躯干区域中的所提取的特征。
示例58包括如示例53的设备,其中,用于提取的装置用于:估计身体标志并生成与多个按顺序的神经网络层并行的上部热图掩码。
示例59包括如示例53的设备,其中,区域是上部躯干区域。
示例60包括如示例53的设备,其中,用于选择的装置用于针对类别对计算相关性系数,其中每个类别是队伍分类。
示例61包括如示例53的设备,其中,用于计算的装置用于:基于投票分数将标签与图像数据相关联。
示例62包括如示例61的设备,其中,标签用于标识穿制服的人员的存在。
示例63包括如示例53的设备,进一步包括用于分组的装置,用于分组的装置对地平面中的运动员进行分组并且确定来自多个相机的运动员对应关系;用于分组的装置用于关联来自多个相机的图像数据的运动员的边界框。
示例64包括如示例63的设备,其中,用于计算的装置用于:基于当前边界框的面积、图像数据中的最大边界框的面积、当前边界框的宽度和当前边界框的高度来计算投票分数。
示例65包括如示例64的设备,其中,用于计算的装置用于:针对当前边界框中的运动员将队伍标签与图像数据相关联。
示例66包括一种装置,该装置包括:至少一个存储器;以及处理器电路系统,该处理器电路系统包括中央处理单元、图形处理单元或数字信号处理器中的至少一个中的一个或多个,该中央处理单元、图形处理单元或数字信号处理器中的至少一个具有:控制电路系统,该控制电路系统用于控制处理器电路系统内的数据移动;算术和逻辑电路系统,该算术和逻辑电路系统用于执行与指令相对应的一个或多个第一操作;以及一个或多个寄存器,该一个或多个寄存器用于存储一个或多个第一操作的结果;装置中的指令;现场可编程门阵列(FPGA),该FPGA包括逻辑门电路系统、多个可配置的互连和存储电路系统,逻辑门电路系统和互连用于执行一个或多个第二操作,存储电路系统用于存储一个或多个第二操作的结果;或专用集成电路系统,该专用集成电路系统包括用于执行一个或多个第三操作的逻辑门电路系统;处理器电路系统用于至少执行第一操作、第二操作或第三操作中的至少一个以进行以下步骤:从自多个相机获得的图像数据提取特征,特征的提取使用多个按顺序的神经网络层来执行;响应于多个按顺序的神经网络层中的每个神经网络层提取特征、经由与多个按顺序的神经网络层中的每个神经网络层并行的多个注意力模块标识图像数据的躯干区域中的所提取的特征;从图像数据估计身体标志以定位区域;基于图像数据的几何中心来生成上部热图掩码;基于根据所提取的特征和所生成的热图掩码确定的交叉熵损失、逐像素损失和三元组损失、针对图像数据来计算损失函数;基于多个类别对之间的所计算的相关性来选择最低相关的类别;以及基于图像数据和损失函数、针对与最低相关的类别相关联的组来计算投票分数。
虽然本文中已公开了某些示例系统、方法、装置和制品,但本专利涵盖的范围并不限于此。相反,本专利涵盖完全落入本专利的权利要求的范围内的全部系统、方法、装置和制品。
所附的权利要求由此通过本参考被并入到本具体实施方式中,其中每一项权利要求其本身作为本公开的单独的实施例。
- 一种复合双注胶功能的幕墙智能注胶单元
- 一种建筑幕墙智能注胶单元