掌桥专利:专业的专利平台
掌桥专利
首页

一种音视频同步检测方法及其检测系统

文献发布时间:2023-06-19 11:39:06


一种音视频同步检测方法及其检测系统

技术领域

本发明涉及音视频同步检测技术领域,特别是涉及一种音视频同步检测方法及其检测系统。

背景技术

当终端的解码器内使用软解码方案对视频流数据和音频流数据独立进行解码渲染时,可能会因一些原因导致解码渲染过程中存在音视频不同步问题,比如,当音视频解码器软件存在缺陷时,使音频解码渲染的时间与视频解码渲染的时机不一样时,将会导致解码渲染过程中出现音视频不同步问题。

现有的音视频同步检测技术主要分两类:一类是人工观察接收端的视频,并对视频进行剪辑,听伴随的音频以做出音视频是否同步的结论,这种方式不仅耗费人力成本,且准确性也较低。另一类是采用精密仪器检测音视频的同步,利用双踪存储示波器分别存储音频和视频信号波形,并根据音视频信号的刻度读取时间差,或者采用专业毫秒计进行测量,这种方式硬件成本高且测量精度也会受仪器精度及人为引入的误差所影响。

发明内容

本申请主要解决的技术问题是提供一种音视频同步检测方法及其系统,以解决现有技术中不能准确的检测出音视频被拉长/缩短。

为解决上述问题,本申请提供了一种音视频同步检测方法,包括:使用待测编码对标准音视频进行编码,形成待检测音视频;其中,标准音视频包括沿时间轴方向进行周期性电平变换的标准跳变时间戳;对待检测音视频的音频信号和视频信号分别进行解码,以检测音频信号的跳变时间戳和视频信号的跳变时间戳;分别将音频信号的跳变时间戳以及视频信号的跳变时间戳与标准跳变时间戳进行比对,以判断音频信号与视频信号是否同步。

其中,分别将音频信号的跳变时间戳以及视频信号的跳变时间戳与标准跳变时间戳进行比对,以判断音频信号与视频信号是否同步的步骤包括:判断音频信号的跳变时间戳与标准跳变时间戳是否同步跳变,以及判断视频信号的跳变时间戳与标准跳变时间戳是否同步跳变;若音频信号的跳变时间戳与标准跳变时间戳同步跳变,且视频信号的跳变时间戳与标准跳变时间戳同步跳变,则音频信号与视频信号同步,且待检测音视频与标准音视频同步。

其中,分别将音频信号的跳变时间戳以及视频信号的跳变时间戳与标准跳变时间戳进行比对,以判断音频信号与视频信号是否同步的步骤包括:分别计算音频信号的跳变时间戳与标准跳变时间戳的差值,以及视频信号的跳变时间戳与标准跳变时间戳的差值;判断音频信号的跳变时间戳与标准跳变时间戳的差值与视频信号的跳变时间戳与标准跳变时间戳的差值是否相同,若相同,则音频信号与视频信号同步。

其中,使用待测编码对标准音视频进行编码,形成待检测音视频的步骤之前还包括:生成音视频沿时间轴方向进行周期性电平变换的标准音视频。

其中,生成音视频沿时间轴方向进行周期性电平变换的标准视频的步骤包括:构造音频PCM数据,使音频PCM数据沿时间轴方向进行周期性电平变换;构造视频YUV数据,使视频YUV数据沿时间轴方法与音频PCM数据进行同步的周期性电平变换。

其中,对待检测音视频的音频信号和视频信号分别进行解码,并检测音频信号的跳变时间戳和视频信号的跳变时间戳的步骤包括:对待检测音视频进行解复用,分离得到编码后的待检测音视频的数据,对待检测音视频的数据进行解码,得到待检测音视频的音频PCM数据和视频YUV数据;对音频PCM数据和视频YUV数据进行分析,并记录音频PCM数据的跳变时间戳和视频YUV数据的跳变时间戳;分别将音频信号的跳变时间戳以及视频信号的跳变时间戳与标准跳变时间戳进行比对,以判断音频信号与视频信号是否同步的步骤包括:计算音频PCM数据的跳变时间戳与标准跳变时间戳的差值和视频YUV数据的跳变时间戳与标准跳变时间戳的差值,以判断音频PCM数据的跳变时间戳与标准跳变时间戳的差值和视频YUV数据的跳变时间戳与标准跳变时间戳的差值是否相同;若相同,则音频信号与视频信号同步。

其中,计算音频PCM数据的跳变时间戳与标准跳变时间戳的差值和视频YUV数据的跳变时间戳与标准跳变时间戳的差值,以判断音频PCM数据的跳变时间戳与标准跳变时间戳的差值和视频YUV数据的跳变时间戳与标准跳变时间戳的差值是否相同的步骤之前还包括:对音频PCM数据进行过滤处理。

本申请还提供了一种音视频同步检测系统,包括:编码单元,使用待测编码对标准音视频进行编码,形成待检测音视频;其中,标准音视频包括沿时间轴方向进行周期性电平变换的标准跳变时间戳;获取单元,用于获取待检测音视频的音频信号和视频信号,并对音频信号和视频信号进行解码,获得解码后的音频信号的跳变时间戳和视频信号的跳变时间戳;判断单元,用于分别将音频信号的跳变时间戳以及视频信号的跳变时间戳与标准跳变时间戳进行比对,以判断音频信号与视频信号是否同步。

其中,音视频同步检测系统还包括:计算单元,用于计算音频信号的跳变时间戳与标准跳变时间戳的差值,以及计算将视频信号的跳变时间戳与标准跳变时间戳的差值;判断单元还用于将判断音频信号的跳变时间戳与标准跳变时间戳的差值和视频信号的跳变时间戳与标准跳变时间戳的差值是否相同,若相同,则音频信号与视频信号同步。

其中,音视频同步检测系统还包括:

标准音视频生成单元,用于生成音频数据和视频数据沿时间轴方向进行周期性电平变换的标准音视频。

本申请的有益效果是:使用待测编码对标准音视频进行编码后,形成待检测音视频,再对待检测音视频进行解码,分析待检测音视频的音频信号和视频信号,并检测音频信号的跳变时间戳和视频信号的跳变时间戳,从而判断待检测音视频信号的音频信号和视频信号是否同步。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请音视频同步检测方法一实施方式的流程示意图;

图2为本申请标准音视频一实施方式的结构示意图;

图3为本申请音视频同步检测方法另一实施方式的流程示意图;

图4为本申请音视频同步检测系统一实施方式的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。

应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。

应当理解,本文中使用的术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

AAC为高级音频编码的简称,是基于MPEG-2的音频编码技术。

AVC为高级视频编码的简称,也被叫做H264。

PCM(脉冲编码调制)是音频波形信号的二进制数据。

YUV是一种颜色编码方法,主要分为三个分量,其中,“Y”表示明亮度(灰度值),而“U”和“V”表示色度,作用是描述影像色彩及饱和度。

本申请提供一种音视频同步检测方法,请参阅图1,图1是本申请音视频同步检测方法一实施方式的流程示意图,如图1所示,该方法包括以下步骤:

步骤S11:使用待测编码对标准音视频进行编码,形成待检测音视频。

其中,标准音视频包括沿时间轴方向进行周期性电平变换的标准跳变时间戳。

在本实施例中,使用待测编码对标准音视频进行编码是分别对标准音视频的视频信号和音频信号进行编码,由于使用待测编码对标准音视频进行编码的过程中会出现音频信号和视频信号不同步的现象,包括:音频信号或视频信号被拉长/缩短。本申请主要是为了检测使用待测编码对标准音视频进行编码后,音视频是否同步。

为达到上述效果,可以在步骤S11之前还包括:生成音视频周期性同步改变的标准音视频。标准音视频包括进行周期性变换的标准音频信号和进行周期性变换的标准视频信号。具体的,在一优选实施例中,此步骤包括:构造音频PCM数据,使音频PCM数据沿时间轴方向进行周期性电平变换,得到标准音频数据。例如采用16bits有符号采样的音频PCM数据,音频PCM数据的取值范围为[-32768,32767],在一优选实施方式中,选取低电平值为-16383,高电平值为16383。构造视频YUV数据,使视频YUV数据沿时间轴方向与音频PCM数据进行同步的周期性变换,得到标准视频数据。在一实施方式中,视频数据根据音频PCM数据在低电位和高电位时,分别对应不同的画面。为了便于检测,视频YUV数据可采用颜色不同的纯色的画面。构造的音频PCM数据和视频YUV数据共同形成标准音视频。

其中,在一优选实施方式中,音频PCM数据的高低电平切换和视频YUV数据的画面切换周期选择为10秒。在本实施方式中,音频信号和视频信号只在上升沿或下降沿进行对比计算。需要说明的是,上升沿是指信号电平从低电平变为高电平的那一瞬间(时刻),下降沿是指信号电平从高电平变为第电平的那一瞬间(时刻)。在本实施方式中,选择播放时每隔10秒,一方面是为例便于观测;另一方面,选择10秒的周期可以避免音频数据和视频数据不同步时,由于周期过小而导致音频数据和视频数据的差值在一个周期内溢出的现象发生;再次,选择10秒较长的周期可以减小计算量。

在本实施例中,信号的跳变时间戳包括上升沿的时间戳和下降沿的时间戳,或上升沿和下降沿的时间戳的任意一种。

在本实施例中,标准音视频包括标准音频数据和标准视频数据,其中,生成的标准音视频的结构示意图如图2所示,图2为本申请中标准音视频一实施方式的结构示意图。如图2所示,标准音频信号的上升沿/下降沿和标准视频信号的上升沿/下降沿在同一时刻。

在步骤S11中,生成标准音视频后,采用待测编码对标准音视频进行编码得到待检测音视频。具体地,对标准视频中的标准音频采用AAC编码进行压缩形成音频流或待检测音频数据,对标准视频采用AVC编码进行压缩形成视频流或待检测视频数据。采用AAC编码和AVC编码对标准音视频进行编码压缩,使编码后的待检测音视频具有较高的压缩率,减小运行空间占用比。在本实施例中,AAC编码和AVC编码均具有较高的压缩率,且能较好地支持软硬件编码。

在本实施例中,将编码后的待检测音视频按照设定规则放入容器中进行传播,在一实施方式中,容器格式采用通用的mp4格式。需要说明的是,媒体的容器格式跟编码格式是不同的,通常媒体容器是作为编码格式的载体,将至少一个编码格式的数据安装特定格式组织起来,并提供一些辅助功能。mp4又称为MPEG-4Part14,是一种多媒体容器格式。

步骤S12:对待检测音视频的音频信号和视频信号分别进行解码,并检测音频信号的跳变时间戳和视频信号的跳变时间戳。

对待检测音视频进行分离的过程又称为解复用,具体地,将待检测音视频的音频信号和视频信号从mp4容器中解复用并进行解码处理,并分别对待检测音视频的音频信号和视频信号进行分析。

本步骤对待检测音视频进行解码后,提取出需要检测的音频信号和视频信号,并检测音频信号和视频信号的跳变时间戳(即上升沿对应的时间戳或下降沿对应的时间戳)。具体对mp4容器解码还包括:将视频流和音频流从mp4容器中分离出来,并分别进行解码得到待检测的音频PCM数据和待检测的视频YUV数据。需要说明的是,流是一种媒体数据信息的传输方式,一般包括音频、视频、字幕、附件以及数据5种流。

在一实施方式中,待检测音频信号和待检测视频信号可以是终端设备播放视频文件后产生的音频信号和视频信号。例如以直播视频流为例,通常采用FLV/fMP4的流媒体格式,FLV/fMP4包含AVC等编码后的视频及高级音频编码(AAC)等方式编码后的音频,从FLV/fMP4分离并解码得到待检测音频信号和待检测视频信号。在本实施例中,播放音视频文件的过程就是解码的过程。

步骤S13:分别将音频信号的跳变时间戳以及视频信号的跳变时间戳与标准跳变时间戳进行比对,以判断音频信号与视频信号是否同步。

将解码得到的待检测音频信号的跳变时间戳与步骤S11中形成的标准音视频中的标准跳变时间戳进行比较,并分析音频信号和视频信号是否同步。具体地,将待检测音频信号与标准音频进行比对,判断待检测音频信号的跳变时间戳与标准音频的标准跳变时间戳是否相同,若相同,则待检测音视频的音频信号与标准音视频中的标准音频信号同步。若不相同,则待检测音视频的音频信号与标准音视频中的标准音视频信号不同步。再将待检测音视频的视频信号与标准视频进行比对,判断视频信号的跳变时间戳与标准视频的标准跳变时间戳是否相同,若相同,则待检测音视频的视频信号与标准音视频的标准视频信号同步。若不相同,则待检测音视频的视频信号与标准音视频中的标准视频信号不同步。具体包括,将待检测音视频的音频信号的某一个跳变时间戳与下一个跳变时间戳的时间间隔与标准音视频的音频信号的某一个跳变时间戳与下一个跳变时间戳的时间间隔进行比较,若待检测音视频的音频信号的某一个跳变时间戳到下一个跳变时间戳的时间间隔与标准音视频的标准间隔时长相同,则待检测音视频的音频信号和标准音视频的音频信号同步,表明待检测音视频的音频信号正常,未被拉长/压缩。其中,标准音视频的标准间隔时长是指标准音视频的音频信号/视频信号的某一个跳变时间戳到下一个跳变时间戳的时间间隔,也是指标准音视频的半个周期。其中,跳变时间戳包括上升沿或下降沿的跳变。同样地,将待检测音视频的视频信号的某一个跳变时间戳与下一个跳变时间戳的时间间隔与标准音视频的标准间隔时长进行比较,若相同,则待检测音视频的视频信号和标准音视频的视频信号同步。

若待检测音视频的音频信号与标准视频的音频信号同步,且待检测音视频信号的视频信号与标准视频的视频信号同步,则待检测音视频的音频信号和视频信号同步,且待检测音视频的音频信号和视频信号未被拉长或缩短。若待检测音视频的视频信号和音频信号中任意一个信号与标准音视频不同步,则待检测音视频的视频信号与音频信号不同步。

在另一实施方式中,还包括:将待检测音视频的音频信号与标准音频进行比对,计算音频信号的跳变时间戳与标准音频信号的标准跳变时间戳的差值,将待检测音视频的视频信号与标准视频进行比对,计算视频信号的跳变时间戳与标准视频的标准跳变时间戳的差值,并判断音频信号的跳变时间戳与标准跳变时间戳的差值和视频信号的跳变时间戳与标准跳变时间戳的差值是否相同,若相同,则待检测音视频的音频信号和视频信号同步,且若差值不为零,还可以计算得出待检测音视频被拉长或缩短了多少秒。其中,在本实施方式中,跳变时间戳包括音视频的某一跳变时间点与下一跳变时间点的时间间隔,具体地,待检测音视频的跳变时间戳包括待检测音视频的音频信号/视频信号的某一跳变时间点(包括上升沿或下降沿)与下一跳变时间点的时间间隔;标准跳变时间戳包括标准音视频的音频信号/视频信号的某一跳变时间点与下一跳变时间点的时间间隔。

本实施例的有益效果是:通过将待检测音视频的音频信号与标准音视频的标准音频进行对比,以及将待检测音视频的视频信号与标准音视频的标准视频进行对比,从而判断待检测音视频与标准音视频是否同步,或者待检测音视频是否有被拉长或缩短,且能判断待检测音视频的音频信号和视频信号是否同步。

本申请还提供另一种音视频同步检测方法,请参阅图3,图3为本申请音视频同步检测方法另一实施方式的流程示意图。如图3所示,该方法包括:

步骤S31:使用待测编码对标准音视频进行编码,形成待检测音视频。

其中,标准音视频包括沿时间轴方向进行周期性电平变换的标准跳变时间戳。

具体地,使用待测编码对标准音视频进行编码之前还包括生成进行周期性电平变换的标准音视频。其中,标准音视频包括标准音频数据和标准视频数据,具体地,标准音频和标准视频是通过构造音频PCM数据和视频YUV数据得到的,且标准音频数据和标准视频数据均沿时间轴方向进行同步周期性电平变换。其中,生成标准音视频的方法包括:构造音频PCM数据,是音频PCM数据沿时间轴方向进行周期性电平变换,得到标准音频数据;构造视频YUV数据,使视频YUV数据沿时间轴方向与音频PCM数据进行同步的周期性电平变换,得到标准视频数据;标准音频数据和标准视频数据共同构成标准音视频的。在一实施方式中,选择10秒为一个周期进行电平变换,在其他实施方式中还可以选择20秒或30秒为一个周期,在此不作限定。在本实施例中,选择较长的周期进行电平变换,第一,便于观测;第二,避免了音视频不同步时,由于周期过小导致音视频的跳变时间戳的差值在一个周期内溢出的现象发生;第三,音视频的同步检测只在上升沿/下降沿进行对比计算,可以减小音视频是否同步的计算量。

使用待测编码对标准音视频进行编码处理包括:分别对标准音频数据采用AAC编码进行处理得到待检测音频,对标准视频数据采用AVC编码进行处理得到待检测视频,将编码处理后的待检测音视频进行复用。

在本实施例中,将标准音频数据和标准视频数据经过编码处理后按照设定规则放入容器中进行传输。在一实施方式中,采用mp4容器格式。具体包括将标准音频数据和标准视频数据经过编码后得到待检测音视频,将待检测音视频按照mp4格式的规则放入mp4容器中。

步骤S32:对待检测音视频进行解复用,分离得到编码后的待检测音视频的数据,对待检测音视频的数据进行解码,得到待检测音视频的音频PCM数据和视频YUV数据。

将待检测音视频的音频PCM数据和视频YUV数据从mp4容器中解析出来,并分别对待检测音视频的音频PCM数据和视频YUV数据进行分析。

在一实施方式中,播放音视频文件的过程就是解码的过程,在此不作限定解码方式。

步骤S33:对音频PCM数据和视频YUV数据进行分析,并记录音频PCM数据的跳变时间戳和视频YUV数据的跳变时间戳。

具体包括将待检测音视频的音频PCM数据的跳变时间戳与标准音视频的音频PCM数据的标准跳变时间戳进行比对,将待检测音视频的视频YUV数据的跳变时间戳与标准音视频的视频YUV数据的标准跳变时间戳进行比对。其中跳变时间戳包括上升沿时间戳和下降沿时间戳。

步骤S34:计算音频PCM数据的跳变时间戳与标准跳变时间戳的差值和视频YUV数据的跳变时间戳与标准跳变时间戳的差值。

步骤S35:判断音频PCM数据的跳变时间戳与标准跳变时间戳的差值和视频YUV数据的跳变时间戳与标准跳变时间戳的差值是否相同。

若音频PCM数据的跳变时间戳与标准跳变时间戳的差值相同,则待检测音视频的音频信号与标准音视频的标准音频同步,若视频YUV数据的跳变时间戳与标准跳变时间戳的差值也相同,则待检测音视频的视频信号与标准音视频的标准视频同步,且待检测音视频的音频信号和视频信号同步。具体地,判断音频PCM数据的上升沿到下降沿的时间戳间隔与标准音视频的上升沿到下降沿的时间戳间隔是否相同,若相同,则待检测音视频的音频信号与标准音视频的音频信号同步,或判断音频PCM数据的下降沿到上升沿的时间戳间隔与标准音视频的下降沿到上升沿的时间戳间隔是否相同,若相同,则待检测音视频的音频信号与标准音视频音频信号同步。同样,判断视频YUV数据的上升沿到下降沿的时间戳间隔与标准音视频的上升沿到下降沿的时间戳间隔是否相同,若相同,则待检测音视频的视频信号与标准音视频的视频信号同步,或判断视频YUV数据的下降沿到上升沿的时间戳间隔与标准音视频的下降沿到上升沿的时间戳间隔是否相同,若相同,则待检测音视频的视频信号与标准音视频的视频信号同步。若待检测音视频的音频信号和视频信号与标准音视频的音频信号和视频信号均同步,则待检测音视频与标准音视频同步,且表明待检测音视频未被压缩/拉长,待检测音视频的时长正常。

若音频PCM数据的跳变时间戳与标准跳变时间戳的差值不相同,则判断音频PCM数据的跳变时间戳与标准跳变时间戳的差值和视频YUV数据的跳变时间戳与标准跳变时间戳的差值是否相同。

步骤S36:若相同,则音频信号和视频信号同步。

步骤S37:若不相同,则音频信号和视频信号不同步。

在本实施例中,判断的是待检测音视频的音频信号和视频信号是否同步,若待检测音视频的音频PCM数据的跳变时间戳与标准跳变时间戳的差值和待检测音视频的视频YUV数据的跳变时间戳与标准跳变时间戳的差值相同,则待检测音视频的音频信号和视频信号同步,若不相同,则待检测音视频的音频信号和视频信号不同步。

具体地,将待检测音视频的音频PCM数据的跳变时间戳与标准音视频的音频PCM数据的标准跳变时间戳进行比较计算,将待检测音视频的视频YUV数据的跳变时间戳与标准音视频的视频YUV数据的标准跳变时间戳进行比较计算。

在本实施例中,计算音频PCM数据的跳变时间戳与标准跳变时间戳的差值和视频YUV数据的跳变时间戳与标准跳变时间戳的差值之前包括:对音频PCM数据进行过滤处理。具体地,将音频PCM数据因为编码引入的误差进行过滤处理,过滤掉因编码引入的小范围的突变。

在一实施方式中,将音频信号的跳变时间戳与标准跳变时间戳进行对比,分析音频信号的第一个上升沿时间戳与第二个上升沿时间戳的差值与标准音视频的第一标准上升沿时间戳和第二标准上升沿时间戳的差值是否相同,或是分析音频信号的第一个下降沿时间戳与第二个下降沿时间戳的差值与标准音视频的第一标准下降沿时间戳和第二标准下降沿时间戳的差值是否相同,若相同,则音频信号与标准音频同步。用同样的方法判断视频信号的跳变时间戳与标准跳变时间戳是否同步,若视频信号的跳变时间戳与标准跳变时间戳同步,则待检测音视频的音频信号与待检测音视频的视频信号同步,且待检测音视频的音频信号和视频信号未被拉长/压缩。

在另一实施方式中,将音频信号的跳变时间戳与标准音频的标准跳变时间戳进行对比,其中,时间戳记录有时间信息。若音频信号的跳变时间戳与标准音频的标准跳变时间戳相同,则音频信号与标准音频同步。将视频信号的跳变时间戳与标准视频的标准时间戳进行对比,若视频信号的跳变时间戳与标准视频的标准跳变时间戳相同,则视频信号与标准视频同步。则待检测音视频的音频信号和视频信号同步,且待检测音视频的音频信号和视频信号和标准音视频的标准音频和标准视频同步,待检测音视频的音频信号和视频信号未被延迟。

本实施例的有益效果是:通过将音频PCM数据的跳变时间戳与标准跳变时间戳进行对比,以及将视频YUV数据的跳变时间戳与标准跳变时间戳进行比较,从而判断待检测音视频与标准音视频是否同步,或者待检测音视频是否有被拉长或缩短,以及判断待检测音视频的音频信号和视频信号是否同步。

本申请还提供一种音视频同步检测系统,请参阅图4,图4为本申请音视频同步检测系统40一实施方式的框架示意图。如图4所示,该音视频同步检测系统40包括:

编码单元41,用于对标准音视频进行编码处理,形成待检测音视频。具体包括:使用待测编码对标准音视频的标准音频数据和标准视频数据分别进行编码处理,得到待检测音视频的待检测音频信号和待检测视频信号。

与编码单元41耦接的获取单元42,用于获取待检测音视频的音频信号和视频信号,并对音频信号和视频信号进行解码,获得解码后的音频信号的跳变时间戳和视频信号的跳变时间戳。具体包括:从特定容器中分离出需要检测的音频信号和视频信号,使用播放的形式对音频信号和视频信号进行解码,并在播放的过程中记录音频信号的跳变时间戳和视频信号的跳变时间戳。其中,获取单元42还包括获取标准音视的标准跳变时间戳。

与获取单元42耦接的判断单元43,用于将音频信号的跳变时间戳以及视频信号的跳变时间戳分别与标准跳变时间戳进行比对,以判断音频信号和视频信号是否同步。具体包括:将待检测音视频的音频信号的跳变时间戳与标准跳变时间戳进行比对,若音频信号的跳变时间戳与标准跳变时间戳相同,则待检测音视频的音频信号与标准音视频同步;将待检测音视频的视频信号的跳变时间戳与标准跳变时间戳进行比对,若视频信号的跳变时间戳与标准跳变时间戳相同,则待检测音视频的视频信号与标准音视频同步;若视频信号和音频信号均与标准音视频同步,则待检测音视频与标准音视频同步,且待检测音视频的音频信号和视频信号同步。

音视频同步检测系统40还包括:与判断单元43耦接的计算单元44,用于计算音频信号的跳变时间戳与标准跳变时间戳的差值,以及计算视频信号的跳变时间戳与标准跳变时间戳的差值。判断单元43用于判断音频信号的跳变时间戳与标准跳变时间戳的差值和视频信号的跳变时间戳与标准跳变时间戳的差值是否相同,若相同,则判断音频信号和视频信号同步,若不相同,则音频信号和视频信号不同步。

音视频同步检测系统40还包括与编码单元41耦接的标准音视频生成单元411:形成沿时间轴方向进行周期性电平变换的标准音视频。其中标准音视频包括标准跳变时间戳。具体地,将待检测音视频构造音频PCM数据和视频YUV数据,且音频PCM数据和视频YUV数据沿时间轴方向进行同步的周期性电平变换。音频PCM数据和视频YUV数据的周期性电平变换对应的时间戳为标准跳变时间戳。在一实施方式中,标准跳变时间戳的周期为10秒,在其他实施例中也可以为20秒或30秒,在此不作限定。

本实施例的有益效果是:通过将待检测音视频的音频信号与标准音视频的标准音频进行对比,以及将待检测音视频的视频信号与标准音视频的标准视频进行对比,从而判断待检测音视频与标准音视频是否同步,以及判断待检测音视频的音频信号和视频信号是否同步。

以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

相关技术
  • 一种音视频同步检测方法及其检测系统
  • 一种音视频同步检测方法及系统
技术分类

06120113003745