检测视频卡顿的方法及装置、存储介质及电子设备

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种检测视频卡顿的方法、检测视频卡顿的装置、计算机可读存储介质及电子设备。

背景技术

视频卡顿影响用户的体验，对视频卡顿进行检测，可以根据检测结果对视频进行优化，以提升用户的体验。

以游戏视频卡顿检测为例，相关技术中，是测试人员从游戏录像数据中人工用肉眼判断是否出现卡顿情况，同时会记录出现卡顿的时刻以及持续时间。

然而，这种方式浪费了大量的人力物力，效率低下且准确性不足。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种检测视频卡顿的方法及装置、计算机可读存储介质及电子设备，进而至少在一定程度上改善视频卡顿检测效率低，且准确性不足的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供了一种检测视频卡顿的方法，包括：获取待检测视频序列，在所述待检测视频序列中确定出目标物体；预测所述目标物体在所述待检测视频序列的视频帧中的状态；根据所述目标物体在相邻视频帧中的状态，确定出所述目标物体在相邻视频帧中的位移；基于所述位移，确定出所述待检测视频序列的卡顿情况。

在本公开的一种示例性实施例中，基于前述方案，所述视频序列包括游戏视频序列，所述目标物体包括所述游戏视频序列中的匀速运动物体。

在本公开的一种示例性实施例中，基于前述方案，其特征在于，所述预测所述目标物体在所述待检测视频序列的视频帧中的状态，包括：确定所述目标物体在所述待检测视频序列的初始视频帧中的初始状态；基于所述初始状态，在所述待检测视频序列中对所述目标物体进行视频目标跟踪，以预测所述目标物体在所述待检测视频序列的视频帧中的状态。

在本公开的一种示例性实施例中，基于前述方案，所述在所述待检测视频序列中对所述目标物体进行视频目标跟踪，包括：根据深度学习目标跟踪算法和卡尔曼滤波算法对所述目标物体进行视频目标跟踪。

在本公开的一种示例性实施例中，基于前述方案，所述基于所述位移，确定出所述待检测视频序列的卡顿情况，包括：基于所述位移，确定出当前视频帧的实时卡顿分值，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧；对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值；根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

在本公开的一种示例性实施例中，基于前述方案，所述基于所述位移，确定出所述待检测视频序列的卡顿情况，包括：基于所述位移和相邻视频帧的时间间隔，确定出所述目标物体的实时运动速度；根据所述实时运动速度，确定出当前视频帧的实时卡顿分值，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧；对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值；根据全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

在本公开的一种示例性实施例中，基于前述方案，所述根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况，包括：在所述全局卡顿分值大于预设值的情况下，确定待检测视频序列为卡顿视频序列。

根据本公开的第二方面，提供了一种检测视频卡顿的装置，包括：目标物体确定模块，被配置为获取待检测视频序列，在所述待检测视频序列中确定出目标物体；状态预测模块，被配置为预测所述目标物体在所述待检测视频序列的视频帧中的状态；位移确定模块，被配置为根据所述目标物体在相邻视频帧中的状态，确定出所述目标物体在相邻视频帧中的位移；卡顿分析模块，被配置为基于所述位移，确定出所述待检测视频序列的卡顿情况。

根据本公开的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的检测视频卡顿的方法。

根据本公开实施例的第四方面，提供了一种电子设备，包括：处理器；以及，存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的检测视频卡顿的方法。

由上述技术方案可知，本公开示例性实施例中的检测视频卡顿的方法、检测视频卡顿的装置，以及实现所述检测视频卡顿的方法的计算机可读存储介质及电子设备，至少具备以下优点和积极效果：

在本公开的一些实施例所提供的技术方案中，通过预测待检测视频序列中的目标物体在待检测视频序列的视频帧中的状态，可以得到目标物体在相邻视频帧中的位移，从而基于位移，可以直接确定出待检测视频序列卡顿情况。与相关技术相比，一方面，本公开通过对待检测视频序列中的目标物体进行状态预测，从而基于目标物体在相邻视频帧中的位移，可以自动的确定出待检测视频序列的卡顿情况，从而可以提高视频卡顿的检测效率；另一方面，本公开是基于目标物体在相邻视频帧中的位移，可以对视频序列的卡顿情况进行量化，从而可以提高卡顿检测的准确性。

本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开一示例性实施例中的检测视频卡顿的方法的流程示意图；

图2示出本公开一示例性实施例中的预测目标物体的状态的方法的流程示意图；

图3示出本公开一示例性实施例中的确定待检测视频序列卡顿情况的方法的流程示意图；

图4示出本公开一示例性实施例中的另一种确定待检测视频序列卡顿情况的方法的流程示意图；

图5示出本公开一示例性实施例中的一种确定视频序列的全局卡顿分值的方法的流程示意图；

图6示出本公开一示例性实施例中的另一种检测视频卡顿的方法的流程示意图；

图7示出本公开一示例性实施例中检测视频卡顿的装置的结构示意图；

图8示出本公开示例性实施例中电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

视频卡顿影响用户的体验，对视频卡顿进行检测，可以根据检测结果对视频进行优化，以提升用户的体验。

以游戏视频卡顿检测为例，相关技术中，是测试人员从游戏录像数据中人工用肉眼判断是否出现卡顿情况，同时会记录出现卡顿的时刻以及持续时间。

然而，这种方式浪费了大量的人力物力，效率低下，且这种方式的卡顿检测结果难以进行量化，因此检测的准确性不足。。

在本公开的实施例中，首先提供了一种检测视频卡顿的方法，至少在一定程度上克服上述相关技术中存在的缺陷。

图1示出本公开一示例性实施例中检测视频卡顿的方法的流程示意图。参考图1，该方法包括：

步骤S110，获取待检测视频序列，在所述待检测视频序列中确定出目标物体；

步骤S120，预测所述目标物体在所述待检测视频序列的视频帧中的状态；

步骤S130，根据所述目标物体在相邻视频帧中的状态，确定出所述目标物体在相邻视频帧中的位移；

步骤S140，基于所述位移，确定出所述待检测视频序列的卡顿情况。

在图1所示实施例所提供的技术方案中，通过预测待检测视频序列中的目标物体在待检测视频序列的视频帧中的状态，可以得到目标物体在相邻视频帧中的位移，从而基于位移，可以直接确定出待检测视频序列卡顿情况。与相关技术相比，一方面，本公开通过对待检测视频序列中的目标物体进行状态预测，从而基于目标物体在相邻视频帧中的位移，可以自动的确定出待检测视频序列的卡顿情况，从而可以提高视频卡顿的检测效率；另一方面，本公开是基于目标物体在相邻视频帧中的位移，可以对视频序列的卡顿情况进行量化，从而可以提高卡顿检测的准确性。

以下对图1所示实施例中各个步骤的具体实施方式进行详细阐述：

在步骤S110中，获取待检测视频序列，在所述待检测视频序列中确定出目标物体。

在一种示例性的实施方式中，所述待检测视频序包括游戏视频序列，所述目标物体包括所述游戏视频序列中的匀速运动物体。

当然，待检测视频序列也可以包括其它的需要进行视频卡顿检测的视频序列，如某个应用程序客户端中的舞蹈视频序列，电影视频序列等，本示例性实施方式对此不做特殊限定。

以待检测视频序列是游戏视频序列为例，可以在游戏玩家进行游戏的过程中，对游戏视频进行录像，以得到待检测游戏视频序列。目标物体可以为游戏视频序列中匀速运动的物体，如可以为第一人称视角下的其它游戏角色，比如枪击类游戏中队友或者敌方游戏角色，也可以为游戏中的NPC(Non-Player Character，非玩家角色)等，本示例性实施方式对此不做特殊限定。

在一种示例性的实施方式中，在所述待检测视频序列中确定出目标物体可以包括：根据在所述待检测视频序列的初始视频帧中标注的矩形框，确定出待检测视频序列中的目标物体。

举例而言，可以通过手动框选ROI(region of interest，感兴趣区域)的方式，在待检测视频序列的初始帧中标注出选定的目标物体的状态。其中，目标物体的状态就可以包括目标物体的尺寸与位置。例如，可以用边界框的尺寸和边界框的中心点表征目标物体的尺寸与位置。获取到待检测视频序列后，可以根据待检测视频序列的初始视频帧中标注的边界框确定出目标物体。

接下来，在步骤S120中，预测所述目标物体在所述待检测视频序列的视频帧中的状态。

示例性的，图2示出本公开一示例性实施例中的预测目标物体的状态的方法的流程示意图。参考图2，该方法可包括步骤S210至步骤S220。

其中：

在步骤S210中，确定所述目标物体在所述待检测视频序列的初始视频帧中的初始状态。

如前所述，可以根据在待检测视频序列的初始视频帧中框选的边界框，确定出目标物体在待检测视频序列的初始视频帧中的初始状态。其中初始状态包括初始位置和初始尺寸，

接下来，在步骤S220中，基于所述初始状态，在所述待检测视频序列中对所述目标物体进行视频目标跟踪，以预测所述目标物体在所述待检测视频序列的视频帧中的状态。

在一种示例性的实施方式中，所述在所述待检测视频序列中对所述目标物体进行视频目标跟踪，包括：根据深度学习目标跟踪算法和卡尔曼滤波算法对所述目标物体进行视频目标跟踪。

视频目标跟踪任务是根据初始视频帧中给定的目标物体的初始状态，如位置和尺寸，预测目标物体在后续的视频帧中的状态。

在本公开中，可以根据深度学习目标跟踪算法检测目标物体的位置和尺寸，同时基于卡尔曼滤波算法对目标物体的运动轨迹进行平滑，二者结合，对目标物体进行跟踪，以提高对目标物体的状态预测的准确性。

深度学习目标跟踪算法可以包括任意的能够进行目标跟踪的深度学习算法，如CNN(Convolutional Neural Networks，卷积神经网络)、SiamRPN(Siamese and RegionProposal Network，孪生网络和区域选取网络)算法、SiamRPN++算法等。

其中，SiamRPN++为SiamRPN的改进版算法，SiamRPN++是一项鲁棒性极强的单目标跟踪算法，其利用空间感知采样算法解决了填充影响平移不变性的问题，使得Siamese能够采样层数更深的网络，且有效减少参数量，提升计算速度。

卡尔曼滤波是一种状态估计算法，估计目标在当前时刻下的位姿。在任何不确定信息存在的动态系统中，能够对下一步走向做出有效预测，同时存在路径平滑的作用。

以基于SiamRPN++模型和卡尔曼滤波算法对目标物体进行视频目标跟踪为例，在一种示例性的实施方式中，SiamRPN++模型和卡尔曼滤波算法同时进行目标物体的跟踪，SiamRPN++模型首先利用深度学习网络对模板帧和检测帧进行特征提取，然后通过RPN(Region Proposal Network，区域选取网络)回归得到跟踪目标在检测帧中的的位置坐标和尺度。卡尔曼滤波模型也同时基于状态估计的方式对检测帧的目标进行状态预测，最后通过置信度加权融合SiamRPN++模型和卡尔曼滤波模型的预测结果，得到最优跟踪框，根据最优跟踪框确定出目标物体在检测帧中的位置。

在另一种示例性的实施方式中，对于每一个视频帧而言，可以先使用SiamRPN++模型预测目标物体在当前帧中的位置和尺寸，得到置信度得分，在该置信度得分大于预设阈值的情况下，根据SiamRPN++模型的预测结果确定出目标物体在当前帧中的位置和尺寸，并继续使用SiamRPN++模型在下一帧中进行目标物体的状态预测；在置信度得分小于预设阈值的情况下，使用卡尔曼滤波对目标物体重新进行位置预测，将卡尔曼滤波的预测结果确定为当前帧的跟踪结果。将该跟踪结果作为下一帧搜索区域，继续使用SiamRPN++模型对下一帧进行跟踪。

在再一种示例性的实施方式中，可以通过SiamRPN++模型得到目标物体在当前帧中的第一跟踪结果，同时，根据跟踪轨迹通过卡尔曼滤波算法预测目标物体在当前帧中的第二跟踪结果，基于匈牙利算法将第一跟踪结果和第二跟踪结果进行匹配，然后再将第一跟踪结果作为卡尔曼滤波中的预测值，第二跟踪结果作为卡尔曼滤波中的测量值，来更新卡尔曼滤波中的状态值，以得到目标物体的最优位置估计值，从而得到当前帧的跟踪结果。

SiamRPN++模型中的RPN可以快速准确地计算出跟踪狂的位置和尺度。当目标受到严重干扰或遮挡时，卡尔曼滤波模型凭借其优秀的位置预测能力，可以平滑物体的运动轨迹，以相对准确的跟踪到目标的位置，二者结合，可以快速准确的得到目标物体的状态预测结果。

当然，也可以根据其它的视频目标跟踪算法对视频序列中的目标物体进行跟踪，以预测目标物体在视频序列的各视频帧中的状态，如基于相关滤波的视频目标跟踪算法等，本示例性实施方式对此不做特殊限定。

接下来，继续参考图1，在步骤S130中，根据所述目标物体在相邻视频帧中的状态，确定出所述目标物体在相邻视频帧中的位移。

如前所述，在一种示例性的实施方式中，目标物体在待检测视频序列的视频帧中的状态可以包括目标物体的位置和尺寸。可以通过目标物体的边界框来表征目标物体的位置和尺寸，在目标跟踪通常可以通过矩形框表征目标物体的位置和尺寸，以通过矩形框在不同的视频帧中显示对目标物体的跟踪结果。

基于此，可以基于相邻视频帧中目标物体的边界框的中心点坐标，计算相邻视频帧中边界框的中心点坐标之间的欧式距离，从而得到目标物体在相邻视频帧中的位移。

在步骤S140中，基于所述位移，确定出所述待检测视频序列的卡顿情况。

示例性的，图3示出本公开一示例性实施例中的基于位移，确定待检测视频序列卡顿情况的方法的流程示意图。参考图3，该方法可以包括步骤S310至步骤S330。

在步骤S310中，基于目标物体在相邻视频帧中的位移，确定出当前视频帧的实时卡顿分值。

在一种示例性的实施方式中，相邻视频帧可以包括上一视频帧和当前视频帧，其中，上一视频帧为相邻视频帧中时序靠前的视频帧，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧。

举例而言，计算出目标物体在相邻视频帧中的位移后，可以直接将该位移作为当前视频帧对应的实时卡顿分值。

需要说明的是，由于视频的卡顿可能就发生在某两帧或者某几帧之间，所以在本公开中基于相邻视频帧的位移进行卡顿检测，可以保证卡顿检测的准确性，避免遗漏。另，如果物体在相邻视频帧之间的位移过大，则表明中间可能出现了掉帧，即出现了卡顿，所以可以直接将位移确定为卡顿分值，如位移为5米，则卡顿分值为5。

接下来，在步骤S320中，对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值。

举例而言，得到待检测视频序列中的每个视频帧(除去初始帧)的实时卡顿分值后，可以对实时卡顿分值进行归一化处理，将归一化的结果作为待检测视频序列的全局卡顿分值。如待检测视频序列有500帧，则可以根据第2帧到第500帧对目标物体的跟踪结果，得到499个实时卡顿分值，然后对这499个卡顿分值进行归一化处理，以得到待检测视频序列的全局卡顿分值。

其中，归一化处理可以包括：确定各实时卡顿分值的算术平均值，以得到待检测视频序列的全局卡顿分值。

归一化处理还可以包括将待检测视频序列的位移映射在区间[0，1]中，然后求取映射之后的位移的算术平均值，以得到待检测视频序列的全局卡顿分值。或者对映射之后的位移求和，以得到待检测视频序列的全局卡顿分值。其中，全局卡顿分值越大，代表视频序列越卡顿。

当然，也可以通过其它的方式对实时卡顿分值进行归一化处理，以使得实时卡顿分值和后续的预设值处于同一数量级，从而便于后续的根据卡顿分值可以准确的确定出待检测视频序列的卡顿情况。

继续参考图3，在步骤S330中，根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

示例性的，步骤S330的具体实施方式可以包括：在所述全局卡顿分值大于预设值的情况下，确定所述待检测视频序列为卡顿视频序列。

举例而言，在得到待检测视频序列的全局卡顿分值后，可以将该全局卡顿分值与预设值进行对比，如果全局卡顿分值大于预设值，则确定待检测视频序列为卡顿视频序列，如果全局卡顿分值小于预设值，则确定待检测视频序列为非卡顿视频序列。

其中，预设值可以根据经验或需求进行自定义配置，本示例性实施方式对此不做特殊限定。

接下来，图4示出本公开一示例性实施例中的另一种基于位移，确定待检测视频序列卡顿情况的方法的流程示意图。参考图4，该方法可以包括步骤S410至步骤S440。其中：

在步骤S410中，基于目标物体在相邻视频帧中的位移和相邻视频帧的时间间隔，确定出所述目标物体的实时运动速度。

举例而言，可以利用目标物体在相邻视频帧中的位移除以相邻视频帧的时间间隔，确定出目标物体的实时运动速度。其中，相邻视频帧的时间间隔可以根据视频序列的采样频率或者采样间隔确定。

在步骤S420中，根据所述实时运动速度，确定出当前视频帧的实时卡顿分值。

如前所述，相邻视频帧可以包括上一视频帧和当前视频帧，其中，上一视频帧为相邻视频帧中时序靠前的视频帧，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧。可以直接将步骤S410中的实时运动速度，确定为当前视频帧的实时卡顿分值。

然后，在步骤S430中，对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值。

其中，步骤S430的具体实施方式可以参考上述的步骤S320，此处不再进行赘述。

在步骤S440中，根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

其中，步骤S440的具体实施方式可以参考上述的步骤S330，此处不再进行赘述。

示例性的，图5示出本公开一示例性实施例中的一种确定视频序列的全局卡顿分值的方法的流程示意图。参考图5，该方法可以包括步骤S510至步骤S580。

在步骤S510中，获取待检测视频序列；

在步骤S520中，在待检测视频序列的初始视频帧中，框选目标物体的边界框；

在步骤S530中，基于深度学习跟踪算法对和卡尔曼滤波算法，在后续视频帧中对目标物体进行跟踪；

在步骤S540中，记录每个视频帧中的边界框的中心点坐标；

在步骤S550中，基于相邻视频帧中的边界框的中心点坐标，计算目标物体在相邻帧中的位移距离；

在步骤S560中，基于目标物体的位移距离和相邻视频帧的时间间隔，确定出目标物体的实时运动速度；

在步骤S570中，根据实时运动速度，确定出当前视频帧的实时卡顿分值；

在步骤S580中，对所有视频帧的实时卡顿分值进行归一化处理，以得到待检测视频序列的全局卡顿分值。

举例而言，可以在待检测视频序列的初始视频帧中，通过手动框选ROI的方式，给出目标物体在初始视频帧中的位置和尺寸。其中，框选的ROI就可以理解为上述的边界框。然后，获取待检测视频序列和目标物体在初始视频帧中的边界框，以基于SiamRPN++算法持续进行后续帧中目标物体的尺寸与位置的预测，并结合卡尔曼滤波算法平滑物体运动轨迹，输出目标物体在每个视频帧中的位置和尺寸。该位置和尺寸可以通过边界框的中心点坐标，边界框的长度值以及宽度值确定。

接下来，以每帧的边界框的中心点为基准，计算目标物体在该视频帧内与上一视频帧物体之间位移的欧式距离，并除以两帧时长间隔得到物体实时运动速度。以物体实时运动速度代表待检测视频序列的实时卡顿分值，直到确定出视频序列末帧的实时卡顿分值，归一化所有视频帧的实时卡顿分值，以得到待检测视频序列的全局卡顿分值。

基于本公开中的检测视频卡顿的方法，可以对待检测视频序列进行批量处理，提高视频卡顿检测的效率。示例性的，图6示出本公开一示例性实施例中的另一种检测视频卡顿的方法的流程示意图。参考图6，该方法可以包括步骤S610至步骤S650。

在步骤S610中，获取N个待检测视频序列和N个待检测视频序列中的待跟踪物体在其初始视频帧中的位置；

在步骤S620中，批量分别对N个待检测视频序列中的待跟踪物体进行目标跟踪，以根据跟踪结果确定出每个待检测视频序列的卡顿分值；

在步骤S630中，针对每个待检测视频序列，判断卡顿分值是否大于预设值，如果是，则转至步骤S640，否则转至步骤S650。

在步骤S640中，确定待检测视频序列为卡顿视频序列；

在步骤S650中，确定待检测视频序列为非卡顿视频序列。

举例而言，在一种示例性的应用场景中，可以将本公开中的检测视频卡顿的方法封装为批量检测装置，即输入N个待检测视频序列和待检测视频序列中的目标物体在初始帧中的边界框，可以直接输出每个待检测视频序列的全局卡顿分值，并以预设值作为衡量卡顿的标准，对所有视频序列进行分类，然后将最终结果交付给视频卡顿的测试人员，实现完全端到端的自动化批量卡顿检测。

在本公开中，借助计算机视觉相关算法，实现了静态视角游戏场景(如哈利波特战斗视角)下的视频卡顿的自动化检测，输出视频的实时卡顿得分及全局卡顿得分，精确量化卡顿情况，作为自动化检测工具替代人工肉眼观测，提高了视频卡顿检测的准确性和效率。

在游戏视频卡顿检测场景中，本方案完全替代了人工检测游戏视频卡顿的方式，可以自动的从大量的游戏视频录像中分析游戏视频卡顿的情况，同时可以根据视频卡顿分值得到游戏视频卡顿情况的量化分析结果，为后续的分析和处理过程提供更加可靠的数据支持。

本领域技术人员可以理解实现上述实施方式的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

图7示出本公开示例性实施例中检测游戏视频卡顿的装置的结构示意图。参考图7，该装置可以包括目标物体确定模块710、状态预测模块720、位移确定模块730、卡顿分析模块740。其中：

目标物体确定模块710，被配置为获取待检测视频序列，在所述待检测视频序列中确定出目标物体；

状态预测模块720，被配置为预测所述目标物体在所述待检测视频序列的视频帧中的状态；

位移确定模块730，被配置为根据所述目标物体在相邻视频帧中的状态，确定出所述目标物体在相邻视频帧中的位移；

卡顿分析模块740，被配置为基于所述位移，确定出所述待检测视频序列的卡顿情况。

在本公开一些示例性实施例中，基于前述实施例，所述视频序列包括游戏视频序列，目标物体包括所述游戏视频序列中的匀速运动物体。

在本公开一些示例性实施例中，基于前述实施例，所述状态预测模块720可以被具体配置为：确定所述目标物体在所述待检测视频序列的初始视频帧中的初始状态；基于所述初始状态，在所述待检测视频序列中对所述目标物体进行视频目标跟踪，以预测所述目标物体在所述待检测视频序列的视频帧中的状态。

在本公开一些示例性实施例中，基于前述实施例，所述在所述待检测视频序列中对所述目标物体进行视频目标跟踪，包括：根据深度学习目标跟踪算法和卡尔曼滤波算法对所述目标物体进行视频目标跟踪。

在本公开一些示例性实施例中，基于前述实施例，所述卡顿分析模块740可以被具体配置为：基于所述位移，确定出当前视频帧的实时卡顿分值，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧；对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值；根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

在本公开一些示例性实施例中，基于前述实施例，所述卡顿分析模块740可以被具体配置为：基于所述位移和相邻视频帧的时间间隔，确定出所述目标物体的实时运动速度；根据所述实时运动速度，确定出当前视频帧的实时卡顿分值，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧；对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值；根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

在本公开一些示例性实施例中，基于前述实施例，所述根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况，包括：在所述全局卡顿分值大于预设值的情况下，确定所述待检测视频序列为卡顿视频序列。

上述检测视频卡顿的装置中各单元的具体细节已经在对应的检测视频卡顿的方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

在本公开示例性实施方式中，还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，如可以执行以下步骤：

获取待检测视频序列，在所述待检测视频序列中确定出目标物体；预测所述目标物体在所述待检测视频序列的视频帧中的状态；根据所述目标物体在相邻视频帧中的状态，确定出所述目标物体在相邻视频帧中的位移；基于所述位移，确定出所述待检测视频序列的卡顿情况。

可选的，所述视频序列包括游戏视频序列，所述目标物体包括所述游戏视频序列中的匀速运动物体。

可选的，所述预测所述目标物体在所述待检测视频序列的视频帧中的状态，包括：确定所述目标物体在所述待检测视频序列的初始视频帧中的初始状态；基于所述初始状态，在所述待检测视频序列中对所述目标物体进行视频目标跟踪，以预测所述目标物体在所述待检测视频序列的视频帧中的状态。

可选的，所述在所述待检测视频序列中对所述目标物体进行视频目标跟踪，包括:根据深度学习目标跟踪算法和卡尔曼滤波算法对所述目标物体进行视频目标跟踪。

可选的，所述基于所述位移，确定出所述待检测视频序列的卡顿情况，包括：基于所述位移，确定出当前视频帧的实时卡顿分值，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧；对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值；根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

可选的，所述基于所述位移，确定出所述待检测视频序列的卡顿情况，包括：基于所述位移和相邻视频帧的时间间隔，确定出所述目标物体的实时运动速度；根据所述实时运动速度，确定出当前视频帧的实时卡顿分值，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧；对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值；根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

可选的，所述根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况，包括：在所述全局卡顿分值大于预设值的情况下，确定所述待检测视频序列为卡顿视频序列。

基于上述实施方式，一方面，通过对待检测视频序列中的目标物体进行状态预测，从而基于目标物体在相邻视频帧中的位移，可以自动的确定出待检测视频序列的卡顿情况，从而可以提高视频卡顿的检测效率；另一方面，基于目标物体在相邻视频帧中的位移，可以对视频序列的卡顿情况进行量化，从而可以提高卡顿检测的准确性。

本公开的实施方式还可以包括一种用于实现上述方法的程序产品，该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830以及显示单元840。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元810可以执行如下所述的步骤：

获取待检测视频序列，在所述待检测视频序列中确定出目标物体；预测所述目标物体在所述待检测视频序列的视频帧中的状态；根据所述目标物体在相邻视频帧中的状态，确定出所述目标物体在相邻视频帧中的位移；基于所述位移，确定出所述待检测视频序列的卡顿情况。

可选的，所述视频序列包括游戏视频序列，所述目标物体包括所述游戏视频序列中的匀速运动物体。

可选的，所述预测所述目标物体在所述待检测视频序列的视频帧中的状态，包括：确定所述目标物体在所述待检测视频序列的初始视频帧中的初始状态；基于所述初始状态，在所述待检测视频序列中对所述目标物体进行视频目标跟踪，以预测所述目标物体在所述待检测视频序列的视频帧中的状态。

可选的，所述在所述待检测视频序列中对所述目标物体进行视频目标跟踪，包括:根据深度学习目标跟踪算法和卡尔曼滤波算法对所述目标物体进行视频目标跟踪。

可选的，所述基于所述位移，确定出所述待检测视频序列的卡顿情况，包括：基于所述位移，确定出当前视频帧的实时卡顿分值，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧；对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值；根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

可选的，所述基于所述位移，确定出所述待检测视频序列的卡顿情况，包括：基于所述位移和相邻视频帧的时间间隔，确定出所述目标物体的实时运动速度；根据所述实时运动速度，确定出当前视频帧的实时卡顿分值，所述当前视频帧为所述相邻视频帧中时序靠后的视频帧；对所述待检测视频序列中的各视频帧的实时卡顿分值进行归一化处理，以得到所述待检测视频序列的全局卡顿分值；根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况。

可选的，所述根据所述全局卡顿分值，确定出所述待检测视频序列的卡顿情况，包括：在所述全局卡顿分值大于预设值的情况下，确定所述待检测视频序列为卡顿视频序列。

基于上述实施方式，一方面，通过对待检测视频序列中的目标物体进行状态预测，从而基于目标物体在相邻视频帧中的位移，可以自动的确定出待检测视频序列的卡顿情况，从而可以提高视频卡顿的检测效率；另一方面，基于目标物体在相邻视频帧中的位移，可以对视频序列的卡顿情况进行量化，从而可以提高卡顿检测的准确性。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。

存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。