在视频设备和无线音频设备之间进行音视频同步的方法及设备

技术领域

本发明涉及音视频(audio and video，简称AV)同步，更具体地，涉及一种视频设备、无线音频设备以及在视频设备和无线音频设备之间执AV同步的方法。

背景技术

目前的电视(television，简称TV)通常包括内置扬声器，用于播放音频信号，以及可以在本地进行电视的相关AV同步。对于电视连接外接扬声器或回音壁等功放的情况，为了更好的用户体验，例如更好的音频质量，音频数据将被传输到外接扬声器或回音壁，由于外接扬声器或条形音箱没有向电视报告通信延迟的反馈机制，因此AV同步变得具有挑战性。因此，预定延迟被用于视频信号以预先配置显示视频内容的时序，以及需要尽快传输和处理音频内容以满足同步标准。当音频内容和视频内容不同步时，用户需要手动将延迟应用于音频内容或视频内容。此外，对于一些需要尽可能实时显示视频内容的情况(例如，电视的游戏模式)，AV同步变得更具挑战性。更具体地说，当电视通过无线通信传输音频内容时，与AV同步相关的问题可能会变得更糟。

因此，需要一种新颖的方法和相关设备，其可以在视频设备(例如，电视和智能手机)和外部扬声器之间正确执行AV同步，而不会引入任何副作用，或以不太可能引入副作用的方式来执行AV同步。

发明内容

本发明的目的在于提供一种视频设备、无线音频设备以及在视频设备与无线音频设备之间进行AV同步的方法，以解决相关技术的问题。

本发明的至少一个实施例提供了一种用于在视频设备和无线音频设备之间执行AV同步的方法。该方法包括：利用视频设备的控制器确定视频设备的视频处理路径的视频延迟；利用控制器确定视频设备的音频处理路径的音频延迟；利用控制器从无线音频设备接收无线音频设备的通信质量信息，以根据通信质量确定视频设备与无线音频设备之间的无线通信延迟；利用控制器根据视频延迟、音频延迟和无线通信延迟生成时间映射信息；以及将时间映射信息从视频设备传送到无线音频设备，以在视频设备和无线音频设备之间进行AV同步。

本发明的至少一个实施例提供了一种用于与无线音频设备进行AV同步的视频设备。视频设备包括视频处理路径、音频处理路径和控制器，其中控制器耦接于视频处理路径和音频处理路径。视频处理路径被配置为处理视频数据以供显示。音频处理路径被配置为处理音频数据以供播放。控制器用于从无线音频设备接收无线音频设备的通信质量信息，以根据通信质量确定视频设备与无线音频设备之间的无线通信延迟。此外，控制器根据视频处理路径的视频延迟、音频处理路径的音频延迟和无线通信延迟生成时间映射信息，以允许视频设备将时间映射信息传送给无线音频设备，用于视频设备和无线音频设备之间的AV同步。

本发明的至少一个实施例提供了一种用于与视频设备执行AV同步的无线音频设备。无线音频设备包括无线通信电路、控制器及音频输出设备，其中控制器耦接无线通信电路，以及音频输出设备耦接控制器。无线通信电路被配置为从视频设备接收数据包。控制器用于生成无线音频设备的通信质量信息，将通信质量信息报告给视频设备，以使视频设备根据通信质量确定视频设备与无线音频设备之间的无线通信延迟。音频输出设备被配置为播放从视频设备接收到的音频数据。此外，视频设备将根据无线通信延迟生成的时间映射信息连同音频数据一起发送给无线音频设备，以使音频输出设备播放的音频数据与视频设备播放的音频数据或视频设备上借助时间映射信息显示的视频数据同步。

本发明实施例可以根据本地时延和无线通信时延进行同步。更具体地说，根据本地延迟和无线通信延迟生成的时间映射信息可被传输到外部音频设备以进行AV同步。另外，本发明实施例不会大幅增加整体成本。因此，本发明可以解决相关技术的问题而不引入任何副作用，或者以不太可能引入副作用的方式解决相关技术的问题。

在阅读了在各种附图和附图中示出的优选实施例的以下详细描述之后，本发明的这些和其他目的对于本领域普通技术人员无疑将变得显而易见。

附图说明

图1示出根据本发明实施例的视频设备与无线音频设备进行时间同步的示意图。

图2示出根据本发明实施例的图1所示的视频设备和无线音频设备的时序同步功能和系统时钟的图。

图3示出根据本发明实施例的与无线音频设备执行音频和视频(audio andvideo，简称AV)同步的视频设备的图。

图4示出根据本发明实施例的与AV同步相关的一些细节的图。

图5示出根据本发明实施例的在视频设备和无线音频设备之间进行AV同步的方法的工作流程图。

具体实施方式

在以下描述和权利要求中使用了特定术语，它们指代特定的元件。如本领域技术人员将理解的，电子设备制造商可以用不同的名称来指代相同元件。本文档无意区分名称不同但功能不同的元件。在以下描述和权利要求中，术语“包括”和“包含”以开放式方式使用，因此应解释为意味着“包括但不限于……”。此外，术语“耦接”旨在表示间接或直接电连接。因此，如果一个设备耦接于另一个设备，则该连接可以是通过直接电连接，或通过经由其他设备和连接的间接电连接。

图1示出根据本发明实施例的诸如电视(TV)100的视频设备的图，该视频设备执行与诸如无线扬声器200的无线音频设备之间的时间同步。如图1所示，TV 100可以包括内置扬声器的控制器，例如扬声器控制器110、无线保真(Wireless Fidelity，简称WiFI)中间件120(为简洁起见，在图1中标记为“Wi-Fi MW”)、Wi-Fi驱动器130(为简洁起见，在图1中标记为“Wi-Fi DRV”)、定时器140和Wi-Fi硬件150(为简洁起见，在图1中标记为“Wi-Fi HW”)。此外，无线扬声器可以包括客户端控制器，例如扬声器客户端210、Wi-Fi中间件220(为简洁起见，在图1中标记为“Wi-Fi MW”)、Wi-Fi驱动器230(为简洁起见，在图1中标记为“Wi-FiDRV”)、定时器240和Wi-Fi硬件250(为简洁起见，在图1中标记为“Wi-Fi HW”)。详细地，扬声器控制器110可以向Wi-Fi中间件120发送请求，Wi-Fi中间件120可以通过Wi-Fi驱动器130存取来自定时器140或Wi-Fi硬件150的数据或信息，为了响应该请求，将该数据或信息发送到扬声器控制器110。类似地，扬声器客户端210可以向Wi-Fi中间件220发送请求，以及Wi-Fi中间件220可以通过Wi-Fi驱动130存取来自定时器240或Wi-Fi硬件250的数据或信息，为了响应该请求，将该数据或信息发送到扬声器客户端210。

在本实施例中，Wi-Fi硬件150和Wi-Fi硬件250可以被配置为在TV100和无线设备之间进行时间同步时相互接收信标信号(为简洁起见，在图1中标记为“信标”)。任何(例如，每个)信标信号可以携带用于同步Wi-Fi硬件150和Wi-Fi硬件250的定时同步功能(timingsynchronization function，简称TSF)的计数器值。定时器140可以用作TV100的系统时钟，定时器240可以用作无线扬声器200的系统时钟。

为了更好的理解，请结合图1来参考图2。图2示出根据本发明的实施例的TSF和系统时钟的图，比如系统时钟是图1所示的TV 100和无线扬声器200的定时器140和240。图2中标记为“TV系统时钟”的时间条可以表示定时器140的时域，图2中标记为“TV TSF”的时间条可以表示Wi-Fi硬件150的时域，图2中标记为“扬声器TSF”的时间条可以表示Wi-Fi硬件250的时域，以及图2中标记为“扬声器系统时钟”的时间条可以表示定时器240的时域。

在本实施例中，当电视100与无线扬声器200进行时间同步时(为简洁起见，图2中标记为“时间同步”)，TV 100的TSF T0可以与无线扬声器200的TSF T0'相同，以及扬声器控制器110可以请求TSF T0。在TSF T0与TSF T0'同步的时刻，由计时器140指示的时间信息(可称为系统时钟T1)被记录并传送到扬声器控制器110。因此，扬声器控制器110可以得到TSF T0和系统时钟T1，其中扬声器控制器110可以将系统时钟T1映射到TSF T0(为了更好理解，在图2中标记为“GetTsf”)。类似地，扬声器客户端210可以获得TSF T0'和定时器140指示的时间信息，例如系统时钟T1'，其中扬声器客户端210可以将系统时钟T1'映射到TSFT0'(为了更好理解，在图2中标记为“GetTsf”)。当扬声器控制器100在定时器140的时域的时间点T将音频数据发送到无线扬声器200时，时间映射信息Ts可以连同音频数据一起被发送到无线扬声器。假设要在定时器140的时域的时间点T播放音频数据，时间映射信息Ts＝T-T1+T0。为了使音频数据同时在电视100和无线扬声器200上播放，时间偏移值OFFSET可用于无线扬声器200上的音频数据。假设扬声器客户端200在计时器240的时域的时间点T'接收到来自扬声器控制器100的音频数据，时间偏移值OFFSET＝Ts-(T'-T1'+T0')。

需要说明的是，由于TV 100中的晶振等参考时钟的频率与无线扬声器200的频率并不完全相同，因此可能需要重复进行TV 100与无线扬声器200之间的时间同步。例如，时间同步可以每秒进行一次，但本发明不限于此。

图3示出根据本发明实施例的视频设备300与无线音频设备400执行AV同步的图。如图3所示，视频设备300可以包括视频处理路径(例如，图3所示的视频路径)、音频处理路径(例如，图3所示的音频路径)和诸如微控制器单元(microcontroller unit，简称MCU)310，其中MCU 310耦接于视频处理路径和音频处理路径。在本实施例中，当MCU 310获得AV数据时，MCU 310可以将AV数据的视频部分(例如，视频数据)发送到视频处理路径，并发送AV数据的音频部分(例如，音频数据)到音频处理路径。视频处理路径用于处理视频数据以供显示，其中视频处理路径可以包括视频解码器320(为简洁起见，在图3中标记为“VDEC”)、至少一个视频处理电路例如视频混合电路330(为简洁起见，在图3中标记为“视频混合”)和视频输出设备340(为简洁起见，在图3中标记为“视频输出”)。音频处理路径用于处理音频数据以供播放，其中音频处理路径可以包括音频解码器350(为简洁起见，在图3中标记为“ADEC”)、至少一个音频处理电路，例如音频混合电路360(为简洁起见，在图3中标记为“音频混合”)和音频输出设备370(为简洁起见，在图3中标记为“音频输出”)。如图3所示，视频设备300还可以包括总线380和无线通信电路，例如Wi-Fi电路390(为了简洁起见，在图3中标记为“Wi-Fi”)，以便通过Wi-Fi通信传输音频数据到无线音频设备400。另外，无线通信设备400可以包括控制器，例如MCU 410、音频输出设备470(为简洁起见，在图3中标记为“音频输出”)、总线(BUS)480、以及无线通信电路，例如Wi-Fi电路490，其中MCU 410通过总线480耦接于Wi-Fi电路490，以执行与视频设备300的无线通信。

在本实施例中，Wi-Fi电路490可接收来自视频设备300(例如，来自其中的W-Fi电路390)的封包，而MCU 410可产生无线音频设备400的通信质量信息，其中可以将通信质量信息报告给视频设备300，以使视频设备300根据通信质量确定视频设备300和无线音频设备400之间的无线通信延迟(例如，图3所示的Wi-Fi路径的无线通信延迟)。例如，无线音频设备的不同通信质量分别对应不同的无线通信延迟值。具体地，MCU 310可以从无线音频设备400接收无线音频设备400的通信质量信息，以根据通信质量确定Wi-Fi路径的无线通信延迟。MCU 310可以根据视频处理路径的视频延迟、音频处理路径的音频延迟和无线通信延迟生成时间映射信息，以允许视频设备300将时间映射信息传送到无线音频设备400用于视频设备300和无线音频设备400之间的AV同步。当无线音频设备400接收到连同音频数据一起的时间映射信息时，MCU 410可以借助时间映射信息来控制播放音频数据的时序，以使音频输出设备470播放的音频数据与视频设备上播放的音频数据(例如，由音频输出设备370播放)和/或视频设备上显示的视频数据(例如，由视频输出设备340播放)。

在该实施例中，视频延迟可以包括由视频解码器320、视频混合电路330和视频输出设备340中的一个或多个引入的延迟。音频延迟可以包括由音频解码器350、音频混合电路360和音频输出设备370中的一个或多个引入的延迟。

图4示出根据本发明实施例的与AV同步相关的一些细节的图。在本实施例中，采样率转换器(sampling rate converter，简称SRC)41可以将音频数据例如在时间点T<0>输出到音频处理路径，该音频处理路径包括解码器42、杜比音频处理(Dolby audioprocessing，简称DAP)电路43(为简洁起见，在图4中标记为“DAP”)、音量控制电路44(为简洁起见，在图4中标记为“音量”)、延迟调整电路45(为简洁起见，在图4中标记为“调整延迟”)、存储设备，例如双倍数据速率(double data rate，简称DDR)同步动态随机存取存储器(SDRAM)46(为简洁起见标记为“DDR 46”)和数字信号处理(digital signalprocessing，简称DSP)电路47(为简洁起见，在图4中标记为“DSP”)。解码器42可以是脉冲编码调制(pulse code modulation，简称PCM)渲染解码器，其可以是图3中所示的音频解码器350的示例，但本发明不限于此。DAP电路43、音量控制电路44和延迟调整电路45的整体可以是音频混合电路360的示例，以及DDR46和DSP电路47的整体可以是音频输出设备370的示例。参照图4，视频路径延迟D1可以在时间点T<0>设置并报告给控制器40C(例如，图1所示的扬声器控制器110和图3所示的MCU 310)，以及处理解码器42、DAP电路43和音量44的延迟在时间点T完成，在此可以得到由解码器42、DAP电路43和音量44引入的延迟并报告给控制器40C。

在本实施例中，延迟调整电路45被配置为将时间戳映射到音频数据。DDR46耦接延迟调整电路45，用以存储音频数据连同时间戳。DSP电路47耦接于DDR 46，用以存取来自DDR46的音频数据，并处理音频数据以供视频设备(例如，图3所示的视频设备300)的内置扬声器在对应于时间戳的目标时间点T播放。在一个实施例中，音频路径延迟D2可以通过T-T<0>来计算。在一些实施例中，音频路径延迟D2还可以包括延迟调整电路45、DDR 46和DSP电路47中的一个或多个引入的延迟。例如，从延迟调整电路45到DPS电路47的路径引入的总延迟可被预先估计，以及估计的结果在时间点T被添加到音频路径延迟D2，但是本发明不限于此。另外，无线扬声器延迟D3可以如前述实施例中说明的那样确定，其中无线扬声器延迟D3可以是图3所示的Wi-Fi路径的延迟的一个示例。

需要注意的是，当视频设备300的Wi-Fi电路390的TSF与无线音频设备400的Wi-Fi电路490的TSF同步时(例如，如图1的实施例，使T0＝T0')，MCU 310(例如控制器40C)可以根据视频设备300的Wi-Fi电路390的TSF产生时间映射信息。具体而言，MCU 310(例如，控制器40C)可以根据视频延迟、音频延迟和无线通信延迟确定目标时间点T(可以是图1实施例中提到的T的一个例子)。例如，MCU 310(例如，控制器40C)可以确定视频路径延迟D1、音频路径延迟D2(例如，从解码器42到DSP电路47的路径引入的延迟)，以及无线扬声器延迟D3加上本地音频延迟(例如，由从解码器42到延迟调整电路45的路径引入的延迟)中的最大延迟作为流延迟，其中MCU 310(例如，控制器40C)可以根据流延迟产生目标时间点T对应的时间戳，使音频数据在目标时间点T播放，视频数据在目标时间点T显示。此外，MCU 310(例如控制器40C)可根据目标时间点T、视频设备300的Wi-Fi电路390的TSF以及系统时钟值(例如图1实施例中提到的系统时钟T1)。详细而言，目标时间点T表示视频设备300的系统时钟域(例如，定时器140的时间域)中要显示视频数据或要播放音频数据的时间点，以及系统时钟值表示视频设备300的系统时钟域的时间点，在该时间点，视频设备300的Wi-Fi电路390的TSF与无线音频设备400的Wi-Fi电路490的TSF同步。视频设备300可以将音频数据连同时间映射信息(例如，图1的实施例中提到的时间信息Ts)发送到无线音频设备400，以借助时间映射信息，允许在无线音频设备400上播放的音频数据与视频设备300上显示的视频数据或视频设备300上播放的音频数据同步。本领域的技术人员应该可以通过参考图1和图2的实施例了解无线音频设备400如何借助时间映射信息来同步音频数据的播放，相关细节在此省略。

图5示出根据本发明的实施例的用于在视频设备(例如，图3所示的视频设备300)和无线音频设备(例如，图3所示的无线音频设备400)之间执行AV同步的方法的工作流程的图。需要说明的是，图5所示的工作流程仅用于说明目的，并不意味着对本发明的限制。如果可以得到相同的结果，在图5所示的工作流程中可以增加、删除或修改一个或多个步骤，此外，这些步骤不必按照图5所示的确切顺序执行。

在步骤S510中，视频设备可以利用其控制器来确定视频设备的视频处理路径的视频延迟。

在步骤S520中，视频设备可利用其控制器确定视频设备的音频处理路径的音频延迟。

在步骤S530中，视频设备可以利用其控制器从无线音频设备接收无线音频设备的通信质量信息，以根据该通信质量信息确定视频设备与无线音频设备之间的无线通信延迟。

在步骤S540中，视频设备可利用其控制器根据视频延迟、音频延迟和无线通信延迟产生时间映射信息。

在步骤S550中，视频设备可将时间映射信息从视频设备传送至无线音频设备，以在视频设备与无线音频设备之间进行音视频同步。

综上所述，本发明的实施例可以根据本地延迟和无线通信延迟与外部音频设备进行同步。此外，本地音频延迟可被精确估计，从而提高AV同步的精度，从而改善用户体验。另外，本发明实施例不会大幅增加整体成本。因此，本发明可以解决相关技术的问题而不引入任何副作用，或者以不太可能引入副作用的方式解决相关技术的问题。

本领域的技术人员将容易地观察到，在保留本发明的教导的同时，可以对装置和方法进行许多修改和改变。因此，上述公开应被解释为仅受所附权利要求的界限和边界的限制。