图像分析方法及应用其的图像分析装置

技术领域

本发明有关于一种图像分析方法及应用其的图像分析装置。

背景技术

无线网络的发展或其它环境因素(如，新冠病毒疫情)等不断地在改变了人们参与运动赛事的方式，大部分的人转往在线观赛，实体球赛从满场加油声转变成少数观众甚至无观众进场。因此，为了因应此变化趋势，提出一种赛事图像串流的图像分析方法是本技术领域业者面临的重要课题之一。

发明内容

本发明有关于一种图像分析方法及应用其的图像分析装置。

根据本发明的一实施例，提出一种棒球赛事的图像串流的图像分析方法。图像分析方法包括以下步骤：接收图像串流；分析图像串流的待分析画面，以取得待分析画面的场景类型；判断待分析画面的场景类型是否为需姿态分析类型；当待分析画面的场景类型为需姿态分析类型，取得待分析画面的人体图像的人体姿态；以及，依据场景类型及人体姿态，决定待分析画面的事件类型。

根据本发明的另一实施例，提出一种棒球赛事的图像串流的图像分析装置。图像分析装置包括场景分析单元、姿态分析单元及事件分析单元。场景分析单元用以接收图像串流及分析图像串流的待分析画面，以取得待分析画面的场景类型，以及判断待分析画面的场景类型是否为需姿态分析类型。姿态分析单元用以当待分析画面的场景类型为需姿态分析类型，取得待分析画面的人体图像的人体姿态。事件分析单元用以依据场景类型及人体姿态，决定待分析画面的事件类型。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1绘示依照本发明一实施例的图像分析装置的功能方块图。

图2绘示图1的图像分析装置的图像分析方法的流程图。

图3A～图3D绘示依照本发明一实施例的图像串流的数张待分析画面的示意图。

其中，附图标记：

100:图像分析装置

110:场景分析单元

120:姿态分析单元

130:事件分析单元

140:处理单元

AD1,AD2:虚拟广告

C1:场景类型

E1:事件类型

F1:待分析画面

H1,H11～H14:人体图像

P1:人体姿态

R1,R2:广告区域

S1:图像串流

S110～S160:步骤

W1:事件操作

H11a:全身骨架特征

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

请参照图1，其绘示依照本发明一实施例的图像分析装置100的功能方块图。图像分析装置100例如是云端服务器、笔记型计算机、桌上型计算机、平板计算机、通讯装置(如，手机)等。

图像分析装置100包括场景分析单元110、姿态分析单元120、事件分析单元130及处理单元140。场景分析单元110用以：接收一图像串流S1以及分析图像串流S1的待分析画面F1，以取得待分析画面F1的场景类型C1，以及判断待分析画面F1的场景类型C1是否为「需姿态分析类型」。姿态分析单元120用以：当待分析画面F1的场景类型C1为「需姿态分析类型」，取得待分析画面F1的人体图像H1的人体姿态P1。事件分析单元130用以：依据场景类型C1及人体姿态P1，决定待分析画面F1的事件类型E1。如此，图像分析装置100可自动分析待分析画面F1以决定(或输出)事件类型E1，不需人工另外判断处理。此外，在取得事件类型E1后，图像分析装置100可据以执行对应的步骤，如插入虚拟广告及/或储存画面(或录像)，其中处理单元140可进一步将储存画面后制成特定动作短片(如：投球、挥棒、接球)及/或赛事集锦等且/或依据储存画面执行球赛数据分析(如，球速分析)等。

在一实施例中，场景分析单元110用以：依据场景类型C1与姿态分析的对应关系，判断待分析画面F1的场景类型C1是否为「需姿态分析类型」。

在一实施例中，姿态分析单元120更用以：取得人体图像H1的全身骨架特征；分析数个待分析画面F1，以取得全身骨架特征的骨架运动；以及，依据骨架运动，取得人体图像H1的人体姿态P1。在一实施例中，人体姿态P1例如是人体图像H1的全身整体姿态。

在一实施例中，处理单元140用以依据事件类型E1与事件操作W1的对应关系，执行对应此事件类型E1的事件操作W1。此述对应关系例如是预先储存于一储存单元(未绘示)，此储存单元可配置在处理单元140内部或外部。

本发明实施例的图像分析装置100可应用于棒球赛事图像串流的分析。在棒球赛事中，场景类型C1例如是包含「需姿态分析类型」及「不需姿态分析类型」，其中「需姿态分析类型」例如是包含观看者关注度高(如，精彩度高的画面)的场景，如「外野」、「投打对决」、「内野」…等，而「不需姿态分析类型」例如是观看者关注度低(如，精彩度低的画面)的场景，如「内外野全景」(攻守交换)…等。人体图像H1例如是包含「投手」、「打者」、「外野手」、「跑者」…等。人体姿态P1例如是包含人体图像H1所做的动作，例如站立、合掌、跨步、投掷、跑步、双手举起、挥击、接球等任何在棒球场上球员会做出的动作。事件类型E1例如是包含「投手准备」、「投球」、「打者准备」、「打击」、「全垒打」、「接杀」、「攻守交换」…等。事件操作W1例如是包含「插入虚拟广告」及/或「储存画面」(或录像)…等。

以棒球赛事来说，场景类型C1、人体图像H1、人体姿态P1、事件类型E1及事件操作W1的对应关系如下表一，此对应关系可预先设定并预先储存于储存单元。然而，本发明实施例的场景类型C1、人体图像H1、人体姿态P1、事件类型E1及事件操作W1的对应关系不受表一所限制，其可以是其它形式的对应关系，且对应关系的组数不限于表一的8组，实际组数可以视实际应用而增减。

表一

以下进一步以第2及3A～3D图举例说明图像分析装置100的图像分析方法。图2绘示图1的图像分析装置100的图像分析方法的流程图，而第3A～3D图绘示依照本发明一实施例的图像串流S1的数张待分析画面F1的示意图。第3A～3D图的数张待分析画面F1分别对应至表一的对应关系#1、#2、#5及#7。

以下系以图3A的待分析画面F1举例说明。

在步骤S110中，场景分析单元110接收图像串流S1。图像串流S1包括图3A所示的待分析画面F1。

在步骤S120中，场景分析单元110分析图像串流S1的至少一待分析画面F1(图3A只绘示出一张)，以取得待分析画面F1的场景类型C1。例如，场景分析单元110采用图像分析技术，分析图3A的待分析画面F1的场景类型C1属于「投打对决」。

在步骤S130中，场景分析单元110判断待分析画面F1的场景类型C1是否为「需姿态分析类型」。若是，流程进入步骤S140；若否，不需分析人体图像H1的人体姿态P1，流程直接进入步骤S150。例如，场景分析单元110判断图3A的待分析画面F1的场景类型C1(「投打对决」)属于「需姿态分析类型」，流程进入步骤S140。

场景分析单元110可依据场景类型C1与姿态分析的对应关系，判断待分析画面F1的场景类型C1是否为「需姿态分析类型」。例如，如表一的对应关系#1所示，「投打对决」属于「需姿态分析类型」，而如表一的对应关系#7所示，若待分析画面F1的场景类型C1为「内外野全景」(攻守交换)，则属于「不需姿态分析类型」。

在步骤S140中，姿态分析单元120取得待分析画面F1的人体图像H1的人体姿态P1。

人体姿态P1例如是人体图像H1的全身整体姿态。详言之，姿态分析单元120可采用图像分析技术，取得各待分析画面F1的人体图像H1，例如是图3A所示的人体图像H11～H13。姿态分析单元120采用图像分析技术，依据待分析画面F1中人体图像H11～H13的相对位置关系及/或图像特征，决定人体图像H11为投手、人体图像H12为捕手，而人体图像H13为打者。然后，姿态分析单元120取得人体图像H11的全身骨架特征H11a。姿态分析单元120分析待分析画面F1的人体图像H1的全身骨架特征H11a，以取得人体图像H11的骨架运动，并据以决定人体图像H11的人体姿态P1。如图3A所示，姿态分析单元120透过分析人体图像H11(如，投手)的全身骨架特征H11a，得知人体图像H11为「走路」姿态。

如图3A所示，全身骨架特征H11a例如是包含数个特征点，如人体关节点等。姿态分析单元120分析人体图像的特征点的相对位置关系，可决定人体图像的骨架运动(姿态)。

在步骤S150中，事件分析单元130依据场景类型C1及人体姿态P1，决定待分析画面F1的事件类型E1。例如，事件分析单元130依据「投打对决」(场景类型C1)及「走路」(人体姿态P1)，决定待分析画面F1的事件类型E1。事件分析单元130可依据表一的对应关系#1，取得此待分析画面F1的事件类型E1为「投手准备」。

在一实施例中，在产生事件类型E1后，处理单元140可依据表一，执行对应事件类型E1的事件操作W1。例如，如图3A所示，处理单元140依据表一的对应关系#1「投手准备」的事件类型，如图3A所示，于待分析画面F1中的广告区域R1的至少一部位插入一虚拟广告AD1。广告区域R1例如是人体图像H1以外的空旷区域。虚拟广告AD1例如是动态图像或静态图像，其可以包含符号、文字、标记或其它由直线、曲线或其组合所构成的图形。此外，虚拟广告AD1可以包含至少一色彩。

以下系以图3B的待分析画面F1举例说明。

场景分析单元110分析至少一待分析画面F1(图3B只绘示出一张)的场景类型C1属于「投打对决」(步骤S120)。场景分析单元110判断「投打对决」(场景类型C1)属于「需姿态分析类型」(步骤S130)。姿态分析单元120取得待分析画面F1的人体图像H1的人体姿态P1为「站立、合掌、跨步、投掷」(步骤S140)。事件分析单元130依据「投打对决」(场景类型C1)及「站立、合掌、跨步、投掷」(人体姿态P1)，决定待分析画面F1的事件类型E1。例如，事件分析单元130依据表一的对应关系#2，取得此待分析画面F1的事件类型E1为「投球」。相似地，如图3B所示，姿态分析单元120可透过分析图3B的待分析画面F1的人体图像H11的全身骨架特征，得知人体图像H11为「站立、合掌、跨步、投掷」姿态。当产生(或输出)事件类型E1后，处理单元140依据表一对应关系#2，执行对应「投球」的事件操作W1，即「储存画面」。

以下系以图3C的待分析画面F1举例说明。

场景分析单元110分析至少一待分析画面F1(图3C只绘示出一张)的场景类型C1属于「外野」(步骤S120)。场景分析单元110判断「外野」(场景类型C1)属于「需姿态分析类型」(步骤S130)。姿态分析单元120取得待分析画面F1的人体图像H14的人体姿态P1为「跑、站立」(步骤S140)。事件分析单元130依据「外野」(场景类型C1)及「跑、站立」(人体姿态P1)，决定待分析画面F1的事件类型E1。例如，事件分析单元130依据表一的对应关系#5，取得此待分析画面F1的事件类型E1为「全垒打」。相似地，如图3C所示，姿态分析单元120可透过分析图3C的待分析画面F1的人体图像H14的全身骨架特征(未绘示)，得知人体图像H14为「跑、站立」姿态。当产生(或输出)事件类型E1后，处理单元140依据表一对应关系#5，执行对应「全垒打」的事件操作W1，即「储存画面」及/或「插入虚拟广告」。连续的数张待分析画面F1可另外成一动态图像档(如同摄像档)。

以下系以图3D的待分析画面F1举例说明。

场景分析单元110分析至少一待分析画面F1(图3D只绘示出一张)的场景类型C1属于「内外野全景」(步骤S120)。场景分析单元110判断「内外野全景」(场景类型C1)属于「不需姿态分析类型」(步骤S130)。在此情况下，姿态分析单元120不需分析待分析画面F1的人体图像的人体姿态。事件分析单元130依据「内外野全景」(场景类型C1)，决定待分析画面F1的事件类型E1。例如，事件分析单元130依据表一的对应关系#7，取得此待分析画面F1的事件类型E1为「攻守交换」。相似地，如图3D所示，当产生(或输出)事件类型E1后，处理单元140依据表一对应关系#7，执行对应「攻守交换」的事件操作W1，即「插入虚拟广告」。例如，如图3D所示，处理单元140依据表一的对应关系#7「攻守交换」的事件类型，于待分析画面F1中的广告区域R1、R2的至少一部位插入虚拟广告AD1、AD2。广告区域R1、R2例如是空旷区域、上方区域及/或下方区域等。虚拟广告AD1、AD2例如是动态图像或静态图像，其可以包含符号、文字、标记或其它由直线、曲线或其组合所构成的图形。此外，虚拟广告AD1、AD2可以包含至少一色彩。

在实施例中，图像串流S1包括数张待分析画面F1。图像分析装置100可依序分析各待分析画面F1，产生或输出此些待分析画面F1的一者或数者所对应的事件类型E1。此外，图像分析装置100可采用例如是图像插入/处理技术，于各待分析画面F1的广告区域及/或转角区域，标记(或插入)对应的事件类型E1、人体姿态P1与场景类型C1的至少一者的分析/判断结果(如，文字)。例如，以图3A来说，可于待分析画面F1的广告区域R1插入「场景类型:投打对决」、「人体姿态:走路」及/或「事件类型:投手准备」等文字。此外，图2的分析流程可于图像串流S1播放或直播时同时进行，对应的事件操作W1可实时执行于播放或直播的待分析画面F1中。

综上，本发明实施例提出一种图像分析装置，可依据图像串流的至少一待分析画面的场景类型及人体姿态，决定待分析画面的事件类型。在取得事件类型后，图像分析装置可据以执行对应的步骤，如插入虚拟广告及/或储存画面(或录像)等。如此，图像分析装置可自动分析图像串流的至少一待分析画面，不需人工额外处理。且，透过本发明实施例的图像分析方法，即使观众在在线观赛，对于精彩度低的待分析画面，图像分析装置可插入虚拟广告在此待分析画面的适当区域，不影响画面观看，且/或对于精彩度高的待分析画面，图像分析装置可储存此待分析画面，以后制成短片及/或进行赛事数据分析。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。