掌桥专利:专业的专利平台
掌桥专利
首页

技术领域

本申请涉及显示设备技术领域,尤其涉及一种显示设备及音画同步方法。

背景技术

显示设备支持媒资播放,在媒资播放过程中,显示设备将媒资的音画数据解析为图像数据和音频数据。显示设备将图像数据处理后通过显示器进行显示,将音频数据处理后通过音频输出设备进行播放。同时,显示设备还支持多种图像设置参数下媒资的播放,例如不同的图像分辨率设置参数、不同的图像模式设置参数(如标准模式、运动模式、游戏模式等),不同图像设置参数下,显示设备解析音画数据的耗时不同。

由于图像数据和音频数据采用不同的数据处理通路进行处理,并且,相对于对音频数据的处理耗时,显示设备对图像数据的处理耗时更长,因此,由于显示设备对图像数据和音频数据的处理时间不同,在同一图像模式设置参数或不同图像模式设置参数下,显示设备在播放媒资时,易出现音画不同步的现象。

发明内容

本申请提供一种显示设备及音画同步方法,能够通过声明完成显示设备与外部音频输出装置或显示设备的内置音频输出模块的交互,以实现显示设备与外部音频输出装置或显示设备的内置音频输出模块之间的音画同步。

在本申请的一些实施例中,提供一种显示设备,该显示设备包括:显示器;外部装置接口,用于连接外部音频输出设备;内置音频输出模块;控制器,被配置为:获取媒资的音画数据,音画数据包括图像数据和音频数据;确定图像数据的输出延时和音频数据的输出延时,图像数据的输出延时与音频数据的输出延时一致;生成包含图像数据的输出延时及音频数据输出延时的声明,以通过声明向外部音频输出设备或者内置音频输出模块声明图像数据的输出延时与音频数据的输出延时。采用该实现方式,能够通过声明完成显示设备与外部音频输出设备或显示设备的内置音频输出模块的交互,以实现显示设备与外部音频输出设备或显示设备的内置音频输出模块之间的音画同步。

在本申请的一些实施例中,控制器执行确定图像数据的输出延时和音频数据的输出延时,进一步被配置为:获取显示设备当前的图像设置参数;结合图像设置参数确定图像数据的输出延时和音频数据的输出延时,根据不同的图像设置参数确定的输出延时不同。采用该实现方式,能够根据显示设备当前的图像设置参数确定图像数据的输出延时和音频数据的输出延时,以实现显示设备与外部音频输出设备或显示设备的内置音频输出模块之间的音画同步。

在本申请的一些实施例中,控制器执行生成包含图像数据的输出延时及音频数据输出延时的声明,进一步被配置为:生成包含图像数据的输出延时以及音频数据的输出延时的CEC消息;控制器在执行通过声明向外部音频输出设备或者内置音频输出模块声明图像数据的输出延时与音频数据的输出延时,进一步被配置为,发送CEC消息至外部音频输出设备。采用该实现方式,能够通过CEC消息向外部音频输出设备实时声明图像数据的输出延时及音频数据输出延时,以使外部音频输出设备能够实时获取图像数据的输出延时及音频数据的输出延时。

在本申请的一些实施例中,控制器还被配置为:当监测到显示设备的图像设置参数发生变化时,结合新的图像设置参数重新确定图像数据的输出延时和音频数据的输出延时;根据重新确定的图像数据的输出延时和音频数据的输出延时,生成新的CEC消息;将新的CEC消息发送至外部音频输出设备。采用该实现方式,能够实现音画数据在不同图像设置参数的情况下,通过CEC消息向外部音频输出设备实时声明图像数据的输出延时及音频数据输出延时,以使外部音频输出设备能够实时获取图像数据的输出延时及音频数据的输出延时。

在本申请的一些实施例中,声明为扩展显示器识别数据声明。采用该实现方式,能够在显示设备通过内置音频输出模块或外部音频输出设备输出音频数据时,自动实现图像数据和音频数据在显示设备端输出时的音画同步。

在本申请的一些实施例中,音画数据还包括图像数据的信号格式,信号格式包括P制信号格式和I制信号格式;控制器执行确定图像数据的输出延时和音频数据的输出延时,进一步被配置为:分别确定P制信号格式的图像数据的输出延时和I制信号的图像数据的输出延时;生成包含图像数据的输出延时及音频数据输出延时的声明,包括:生成包含P制信号格式的图像数据的输出延时、I制信号格式的图像数据的输出延时及音频数据输出延时的声明。采用该实现方式,能够分别设定不同信号格式的图像数据的输出延时,以使显示设备支持多种信号格式下,与外部音频输出装置或显示设备的内置音频输出模块之间的音画同步。

在本申请的一些实施例中,控制器执行确定图像数据的输出延时和音频数据的输出延时,进一步被配置为:获取音频数据的处理耗时;利用图像数据的输出延时减去音频数据的处理耗时,得到音频数据的延时补偿;根据音频数据的处理耗时和音频数据的延时补偿,确定音频数据的输出延时,以使图像数据的输出延时与音频数据的输出延时一致。采用本实现方式,能够使音频数据的输出延时与图像数据的输出延时一致,从而实现显示设备端的音画同步。

在本申请的一些实施例中,控制器,还被配置为:将包含图像数据的输出延时及音频数据的输出延时的声明发送至内置音频输出模块,以使内置音频输出模块输出音频数据。采用本实现方式,能够通过内置音频输出模块输出音频数据,且实现显示设备端的音画同步。

在本申请的一些实施例中,控制器还被配置为:接收外部音频输出设备发送的音频数据的外部输出延时,外部输出延时由外部音频输出设备根据外部音频输出设备对音频数据的处理耗时确定;将图像数据的输出延时与音频数据的外部输出延时的加和确定为图像数据的最终输出延时。采用本实现方式,能够通过外部音频输出设备输出音频数据,且实现显示设备与外部音频输出设备之间的音画同步。

在本申请的一些实施例中,还提供一种音画同步方法,所述方法应用于显示设备,显示设备包括:用于连接外部音频输出设备的外部装置接口和内置音频输出模块;方法包括:获取媒资的音画数据,音画数据包括图像数据和音频数据;确定图像数据的输出延时和音频数据的输出延时,图像数据的输出延时与音频数据的输出延时一致;生成包含图像数据的输出延时及音频数据输出延时的声明,以通过声明向外部音频输出设备或者内置音频输出模块声明图像数据的输出延时与音频数据的输出延时。采用本实现方式,能够通过声明完成显示设备与外部音频输出装置或显示设备的内置音频输出模块的交互,以实现显示设备与外部音频输出装置或显示设备的内置音频输出模块之间的音画同步。

这样,本申请中,能够通过声明完成显示设备与外部音频输出装置或显示设备的内置音频输出模块的交互,以实现显示设备与外部音频输出装置或显示设备的内置音频输出模块之间的音画同步。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了根据一些实施例的显示设备与控制装置之间操作场景的示意图;

图2示出了根据一些实施例的控制装置100的配置框图;

图3示出了根据一些实施例的显示设备200的硬件配置框图;

图4示出了根据一些实施例的显示设备200的软件配置框图;

图5示出了根据一些实施例的显示设备200的应用图标控件界面显示示意图;

图6示出了根据一些实施例的媒资播放场景示意图;

图7示出了根据一些实施例的媒资播放原理示意图;

图8示出了根据一些实施例的画质处理过程示意图;

图9示出了根据一些实施例的显示设备配置流程图;

图10示出了根据一些实施例的显示设备配置流程图;

图11示出了根据一些实施例的EDID声明示意图;

图12示出了根据一些实施例的显示设备配置流程图;

图13示出了根据一些实施例的显示设备配置流程图;

图14示出了根据一些实施例的图像分辨率设置参数设置示意图;

图15示出了根据一些实施例的图像模式设置参数设置示意图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。

基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。

图1为根据本申请一个或多个实施例的显示设备与控制装置之间操作场景的示意图,如图1所示,用户可通过移动终端300和控制装置100操作显示设备200。控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信、蓝牙协议通信,无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。

在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。显示设备200,可以液晶显示器、OLED显示器、投影显示设备。显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。

图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。

图3示出了根据示例性实施例中显示设备200的硬件配置框图。如图3所示显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。显示器260可为液晶显示器、OLED显示器、触控显示器以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。检测器230用于采集外部环境或与外部交互的信号。控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。

在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。

在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

图4为根据本申请一个或多个实施例的显示设备200中软件配置示意图,如图4所示,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。

图5为根据本申请一个或多个实施例的显示设备200中应用程序的图标控件界面显示示意图,如图5中所示,应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。直播电视应用程序,可以通过不同的信号源提供直播电视。视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。应用程序中心,可以提供储存各种应用程序。

图6示例性示出了根据示例性实施例中媒资播放场景示意图,如图6所示,媒资播放场景可以涉及到一个或多个设备,例如控制装置100、显示设备200、智能设备300、服务器400和外部音频输出设备500。其中,显示设备200包括:显示器260;外部装置接口240,用于连接外部音频输出设备500;内置音频输出模块;控制器。用户可以通过控制装置100或者智能设备300输入用户指令控制媒资播放。媒资的音画数据包括图像数据和音频数据,显示设备200通过显示器260播放图像数据,通过内置音频输出模块或外部音频输出设备500播放音频数据。

图7示例性示出了根据示例性实施例中媒资播放原理示意图,如图7所示,当显示设备播放媒资时,显示设备将媒资的音画数据解析为图像数据和音频数据,并对图像数据和音频数据通过不同的数据处理通路分别进行处理。其中,图像数据经过显示设备的画质处理通路后输出至显示器,以使显示器播放图像数据,音频数据经过显示设备的音频处理通路后输出至内置音频输出模块或外部音频输出设备,以使内置音频输出模块或外部音频输出设备播放音频数据。

需要说明的是,画质处理通路用于对图像数据进行画质处理。画质处理通路的处理过程可以包括:降噪处理、去隔行处理、缩放处理、动态补偿处理。降噪处理用于减少图像数据中的噪声。去隔行处理用于把隔行扫描的图像转换为逐行扫描的图像,以消除或者减少隔行扫描的缺点。缩放处理用于使图像符合显示区域的大小,生成对应图像的缩略图。动态补偿处理采用动态映像系统,在传统的两帧图像之间加插一帧运动补偿帧,使得高速运动的画面也能自然清晰。本申请示出的实施例中,画质处理通路的处理过程可以在显示设备的视频处理器中具体实现。

需要补充的是,实际应用中,画质处理通路除了包含上述处理过程之外,还可以包括其他更多的处理过程,例如,亮度处理、对比度处理、色度处理、色调处理、清晰度处理、动态对比度处理、伽马校正处理、色温处理、白平衡处理、色彩校正处理、亮度动态处理等,本实施例对此不作详述。

需要说明的是,音频处理通路用于对音频数据进行音频处理,音频处理通路包括音频处理模块。音频处理模块可进行解码处理、音效处理、传输处理等处理过程,音效处理的处理过程主要包括:数字剧院音效系统(Digital Theater System,DTS)音效处理、杜比全景声(ATMOS)音效处理、图示均衡器(Graphic Equalizer,GEQ)处理、参量均衡器(Parametric Equalizer,PEQ)处理等。

其中,DTS音效处理和ATMOS音效处理都是对声音的音效进行处理,用于改善声音的播放效果。GEQ采用恒定Q值技术,在每个频点设有一个推拉电位器,无论提升或衰减某频率,滤波器的频带宽始终不变,通过面板上推拉键的分布,可以直观反映当前音频数据的均衡补偿曲以及各个频率的提升和衰减情况。PEQ对均衡调节的各种参数都可以细致调节,多附设在调音台上,但也有独立的参量均衡器,调节的参数内容包括频段、频点、增益和品质因数Q值等,可以美化和修饰声音,使声音风格更加鲜明突出,达到所需要的艺术效果。本实施例中,显示设备与外部音频输出设备中均包含音频处理器,音频处理通路的具体处理过程可以在显示设备与外部音频输出设备的音频处理器中实现。

值得注意的是,相对于音频数据的音频处理过程,图像数据的画质处理过程耗时较长,使得图像数据到达显示器所需时长大于音频数据到达内置音频输出模块或外部音频输出设备所需时长,从而易导致音画不同步的现象。

下面对图像数据的画质处理过程耗时较长的原因进行分析。画质处理通路进行一帧图像数据的处理时,不仅需要读取当前帧的图像数据,还需要读取后几帧的图像数据,进而根据当前帧以及后几帧的图像数据,对当前帧进行处理并将处理后的数据写入当前帧。由于对当前帧进行处理过程中,需要读取后几帧的图像数据,因此会产生较大的耗时。

图8示例性示出了根据示例性实施例中图像数据的画质处理过程示意图,如图8所示,在一些实施例中,图像数据读取帧数的阈值为4,即显示设备每次读取图像数据的帧时,需要读取图像数据的当前帧以及图像数据的后3帧。例如,待处理的当前帧为第n帧,则需要读取第n帧、第n+1帧、第n+2帧和第n+3帧的图像数据,对上述4帧的图像数据进行处理后,将处理结果写入第n帧中。第n+1帧、第n+2帧以及后续帧的处理过程类似,此处不作赘述。假设刷新率为60Hz,当读取帧数的阈值为4时,需读取4帧图像数据,则相当于每一帧的画质处理耗时为1/60*4=66ms。

为了解决由于图像数据的画质处理过程耗时较长导致的音画不同步问题,音频处理通路中还包括:音频延迟处理模块。当音频处理模块对音频数据进行音频处理后,还需要经过音频延迟处理模块进行音频延迟处理。音频延迟处理模块用于对音频数据进行缓存处理,当将音频数据缓存一定时长后,再输出至内置音频输出模块或外部音频输出设备,以使音频数据到达内置音频输出模块或外部音频输出设备的时间与图像数据到达显示器的时间相同,从而消除音画不同步的现象。

为了便于描述,在本申请中,将画质处理通路对图像数据的处理耗时确定为图像数据的输出延时,根据图8以及相关描述可知,图像数据的输出延时是与视频处理器读取帧数阈值相关的,当视频处理器读取帧数的阈值确定后,即可确定视频处理器对应的图像数据的输出延时。将音频处理通路中音频处理模块对音频数据的处理确定为音频数据的处理耗时,将音频延迟处理模块对音频数据的缓存时长确定为音频数据的延时补偿。将音频数据的处理耗时以及音频数据的延时补偿的加和确定为音频数据的输出延时。值得注意的是,这里的音频处理模块与音频延迟处理模块均为显示设备内部模块,音频数据的延时补偿为显示设备的音频处理器进行的延迟补偿。

需要补充的是,当显示设备的音频数据由外部音频输出设备输出时,外部音频输出设备不能直接播放显示设备的音频数据,而是需要对音频数据进行处理后进行播放。音频数据经由外部音频输出设备的音频处理器进行处理。其中,将外部音频输出设备的音频处理通路中音频处理模块对音频数据的处理确定为音频数据的外部处理耗时,将外部音频输出设备的音频处理通路中音频延迟处理模块对音频数据的延迟补偿确定为音频数据的外部延迟补偿。将外部处理耗时与外部延迟补偿的加和确定为音频数据的外部输出延时。值得注意的是,本申请实施例中外部音频输出设备的音频处理通路中音频延迟处理模块未对音频数据做出延迟补偿,因此本申请实施例中音频数据的外部输出延时实质为外部音频输出设备对音频数据的处理耗时。将音频数据的输出延时与外部输出延时的加和确定为音频数据的最终输出延时。

下面对本申请实施例适用的场景进行介绍。

场景1:显示设备通过内置音频输出模块播放音频数据。

当显示设备接收到媒资的音画数据时,显示设备将媒资的音画数据解析为图像数据和音频数据,并对图像数据和音频数据分别通过画质处理通路和音效处理通路进行处理。若显示设备通过内置音频输出模块进行输出,则根据图像数据的输出延时确定音频数据的输出延时,以使图像数据的输出延时与音频数据的输出延时一致,将音频数据以该音频数据的输出延时的时长从内置音频输出模块输出。其中,内置音频输出模块可以包括:音响组件。音响组件可以包括:功率放大器(Amplifier,AMP)及扬声器(Speaker)。通常音箱组件能够至少实现两个声道的声音的输出;当要实现全景环绕声的效果,则需要设置多个音箱组件,输出多个声道的声音,这里不再具体展开说明。

场景2:显示设备通过外部音频输出设备播放音频数据。

当显示设备接收到媒资的音画数据时,显示设备将媒资的音画数据解析为图像数据和音频数据,并对图像数据和音频数据分别通过画质处理通路和音效处理通路进行处理。若显示设备通过外部音频输出设备进行输出,则根据图像数据的输出延时确定音频数据的输出延时,以使图像数据的输出延时与音频数据的输出延时一致,将音频数据以最终输出延时从外部音频输出设备输出。显示设备可以通过音频输出接口连接外部音频输出设备,以使外部音频输出设备播放音频数据。外部音频输出设备可以包括蓝牙音箱,功率放大器等。

值得注意的是,由于显示设备与外部音频输出设备属于不同的硬件控制系统,因此,显示设备与外部音频输出设备彼此不了解对方的音频处理耗时,因此,显示设备无法做到将显示设备的图像数据输出时长与外部音频输出设备的音频数据的输出时长保持一致,因此无法做到显示设备与外部音频输出设备实时的音画同步。

需要补充的是,当显示设备通过连接外部音频输出设备播放音频时,根据音频数据的输出方向,可以将媒资播放场景涉及的设备划分为发送端设备以及接收端设备。发送端设备也可以称作source端,是指在媒资播放场景中发送音频数据的一方,例如如图6所示的显示设备;接收端设备也可以称作sink端,是指在媒资播放场景中接收音频数据的一方,例如如图6所示的外部音频输出设备。因此,在一个媒资播放场景中,发送端设备能够将其正在播放的音频数据,通过无线或有线连接发送到接收端设备上,使接收端设备能够实时播放其接收到的音频数据。媒资播放场景中发送端设备和接收端设备是根据音频的输出方向进行逻辑确定的,因此,根据音频输出方向的不同,显示设备既可以作为发送端设备也可以作为接收端设备。

示例地,对于显示设备和外部音频输出设备,当显示设备向外部音频输出设备输出音频数据时,音频数据通过外部音频输出设备播放,显示设备为发送端设备,外部音频输出设备为接收端设备。当外部音频输出设备向显示设备输出音频数据时,音频数据通过显示设备的音频处理器输出音频数据时,音频数据通过显示设备的音频处理器播放,外部音频输出设备为发送端设备,显示设备为接收端设备。

需要注意的是,如图6所示的媒资播放场景中,一个接收端设备在同一时刻只能与一个发送端设备建立连接。例如,当显示设备与外部音频输出设备建立连接,外部音频输出设备输出显示设备正在播放媒资的音频数据时,智能设备无法同时与外部音频输出设备建立连接,外部音频输出设备无法同时输出智能设备正在播放的媒资的音频数据;反之,当智能设备与外部音频输出设备建立连接,外部音频输出设备输出智能设备正在播放媒资的音频数据时,外部音频输出设备无法同时输出显示设备正在播放媒资的音频数据。

因此,本申请实施例提供了一种显示设备,能够避免上述由于图像数据画质处理过程耗时较长,使得图像数据到达显示器所需时长大于音频数据到达内置音频输出模块或外置音频输出设备所需时长,从而易导致音画不同步的现象,以及显示设备与外部音频输出设备无法进行实时的音画同步的问题。

具体实现中,本申请提供一种显示设备,用于避免上述场景1中可能出现的音画不同步问题,本申请示出的显示设备包括显示器;外部装置接口,用于连接外部音频输出设备;内置音频输出模块;控制器,用于执行图9示出的下列步骤S901-S904:

步骤S901,获取媒资的音画数据,音画数据包括图像数据和音频数据;

在一些实施例中,当用户通过控制装置或智能设备向显示设备输入用户指令时,显示设备可以与服务器进行数据通信获取媒资的音画数据。显示设备可以与服务器通过多种通信方式进行数据通信。在本申请各个实施例中,可允许显示设备通过局域网、无线局域网或其他网络与服务器进行有线通信连接或无线通信连接。服务器可以向显示设备提供各种内容和互动。

示例的,显示设备通过发送和接收信息,以及电子节目指南(EPG,ElectronicProgram Guide)互动,接收软件程序更新,或访问远程存储的数字媒体库。服务器可以是一组,也可以是多组,可以是一类或多类服务器。服务器可以向显示设备提供视频点播和广告服务等其他网络服务内容。

显示设备包括但不限于通过与服务器进行数据通信的方式获取媒资的音画数据,显示设备也可以与智能设备通过有线或无线连接的方式从智能设备获取媒资的音画数据,还可以从本地存储位置中获取媒资的音画数据。

示例的,智能设备通过投屏方式与显示设备建立连接,智能设备可以向显示设备投屏游戏(如传统街机类游戏),以增强用户游戏体验感。

示例的,显示设备内部存储有本地游戏,如体感类游戏(如打球类、拳击类、跑步类、跳舞类等等),控制装置或智能设备能够通过输入用户指令从本地存储位置打开并运行本地游戏。

在一些实施例中,音画数据还包括图像数据的信号格式,信号格式包括P制信号格式和I制信号格式。具体实现过程中,当显示设备接收到媒资的音画数据时,视频处理器被配置为能够自动获取图像数据的信号格式。

需要说明的是,P制信号格式和I制信号格式均为音画数据的有效显示格式。P制信号格式为逐行扫描的信号格式,以图像数据的信号格式为1080p为例,此时,图像数据的有效显示格式为1920×1080,1080表示图像数据的垂直方向有1080条扫描线,每一条水平扫描线都同时表现在画面上,图像能够平滑显示,适合播放运动和电影类媒资。I制信号格式为隔行扫描的信号格式,以图像数据的信号格式为1080i为例,此时,图像的有效显示格式为1920×1080,每一个奇数行图像在每一个偶数行图像后面显示出来,图像显示不平滑,适合播放纪录片和野生动物题材类媒资。

需要补充的是,P制信号格式包括但不限于1080p,还包括720p、360p等其他P制信号格式;I制信号格式包括但不限于1080i,还包括720i等其他I制信号格式。

步骤S902,确定图像数据的输出延时和音频数据的输出延时,图像数据的输出延时与音频数据的输出延时一致;

在一些实施例中,控制器用于执行图10示出的下列步骤S9021-S9023;

步骤S9021,获取音频数据的处理耗时。

音频数据的处理耗时为音频处理模块对音频数据的处理耗时,控制器通过音频处理器获取音频数据的处理耗时。

步骤S9022,利用图像数据的输出延时减去音频数据的处理耗时,得到音频数据的延时补偿。

其中,图像数据的输出延时为画质处理通路对图像数据的处理耗时,控制器通过视频处理器获取图像数据的处理耗时。为保证音画同步,图像数据的输出延时需与音频数据的输出延时保持一致,因此利用图像数据的输出延时减去音频数据的处理耗时,得到音频数据的延时补偿。

步骤S9023,根据音频数据的处理耗时和音频数据的延时补偿,确定音频数据的输出延时,以使图像数据的输出延时与音频数据的输出延时一致。

具体实现中,以图像数据的输出延时为80ms,音频数据的处理耗时为30ms为例,控制器通过音频处理器获取音频数据的处理耗时为30ms;利用图像数据的输出延时80ms减去音频数据的处理耗时30ms,得到音频数据的延时补偿为50ms;根据音频数据的处理耗时30ms和音频数据的延时补偿50ms,确定音频数据的输出延时为音频数据处理耗时30ms和音频数据的延时补偿50ms的加和为80ms。

步骤S903,生成包含图像数据的输出延时及音频数据输出延时的声明,以通过声明向内置音频输出模块声明图像数据的输出延时与音频数据的输出延时。

在一些实施例中,声明为扩展显示器识别数据声明(Extended displayidentification data,EDID),是有关显示器识别数据的标准。EDID存储在显示器中的直接数字控制(Direct Digital Control,DDC)存储器中,当电脑主机与显示器连接后,电脑主机会通道DDC通道读取显示器DDC存储器中的存储的EDID。EDID中包括:基本显示参数,(如显示器能够接收的视频显示信号类型(即视频信号格式);显示器尺寸;最大水平和垂直图像尺寸。由于EDID中能够识别视频信号格式,因此,在EDID中进行延时设定时,能够分别确定P制信号格式的图像数据的输出延时和I制信号格式的图像数据的输出延时。

图11示例性示出了本申请实施例中EDID声明示意图,以图11所示的延时设定为例,P制信号格式声明1101中的图像数据的图像输出延时和音频输出延时均设定为80ms,I制信号格式声明1102的图像数据的输出延时和音频数据的输出延时均设定为100ms,生成如图11所示的包含P制信号格式的图像数据的输出延时,I制信号格式的图像数据的输出延时以及音频数据的输出延时的EDID声明。

步骤S904,将包含图像数据的输出延时及音频数据的输出延时的声明发送至内置音频输出模块,以使内置音频输出模块输出音频数据。

采用本实现方式,能够通过EDID声明完成显示设备与内置音频输出模块之间的交互,通过EDID声明使显示设备端的图像数据的输出延时与音频数据的输出延时保持一致,使得显示设备通过内置音频输出模块播放音频时实现音画同步。

具体实现中,本申请还提供一种显示设备,用于避免上述场景2中可能出现的音画不同步问题,本申请示出的显示设备包括显示器;外部装置接口,用于连接外部音频输出设备;内置音频输出模块;控制器,用于执行图12示出的下列步骤S1201-S1204:

步骤S1201,获取媒资的音画数据,音画数据包括图像数据和音频数据;

具体实现中,获取媒资的音画数据的具体方式与上述步骤S901相同,在此不作详述。

步骤S1202,确定图像数据的输出延时和音频数据的输出延时,图像数据的输出延时与音频数据的输出延时一致;

具体实现中,确定图像数据的输出延时和音频数据的输出延时的具体方式与上述步骤S902相同,在此不作详述。

步骤S1203,生成包含图像数据的输出延时及音频数据输出延时的声明,以通过声明向外部音频输出设备声明图像数据的输出延时与音频数据的输出延时;

在一些实施例中,声明为EDID声明,通过EDID声明向外部音频输出设备声明显示设备的图像输出延时和音频输出延时已经保持一致,显示设备端已实现音画同步。

步骤S1204,接收外部音频输出设备发送的音频数据的外部输出延时,外部输出延时由外部音频输出设备根据外部音频输出设备对音频数据的处理耗时确定;将图像数据的输出延时与音频数据的外部输出延时的加和确定为图像数据的最终输出延时。

在一些实施例中,以图像数据的输出延时为80ms,音频数据的处理耗时为30ms为例,控制器通过音频处理器获取音频数据的处理耗时为30ms;利用图像数据的输出延时80ms减去音频数据的处理耗时30ms,得到音频数据的延时补偿为50ms;根据音频数据的处理耗时30ms和音频数据的延时补偿50ms,确定音频数据的输出延时为音频数据处理耗时30ms和音频数据的延时补偿50ms的加和为80ms,此时,显示设备端实现音画同步。以外部输出延时为40ms为例,当外部音频输出设备读取到EDID声明时,外部音频输出设备向显示设备发送音频数据的外部输出延时40ms,当显示设备接收到外部音频输出设备发送的音频数据的外部输出延时40ms,将图像数据的输出延时80ms与音频数据的外部输出延时40ms的加和确定为图像数据的最终输出延时120ms,同时音频数据的最终输出延时为音频数据的输出延时80ms与外部输出延时40ms的加和120ms,因此,图像数据的最终输出延时与音频数据的最终输出延时保持一致,实现显示设备与外部音频输出设备的音画同步。

具体实现中,本申请还提供一种另一种显示设备,用于避免上述场景2中可能出现的音画不同步问题,本申请示出的显示设备包括显示器;外部装置接口,用于连接外部音频输出设备;内置音频输出模块;控制器,用于执行图13示出的下列步骤S1301-S1304:

步骤S1301,获取媒资的音画数据,音画数据包括图像数据和音频数据;

具体实现中,获取媒资的音画数据的具体方式与上述步骤S901相同,在此不作详述。

步骤S1302,确定图像数据的输出延时和音频数据的输出延时,图像数据的输出延时与音频数据的输出延时一致;

在一些实施例中,获取显示设备当前图像设置参数;结合图像设置参数确定图像数据的输出延时和音频数据的输出延时,根据不同的图像设置参数确定输出延时不同。其中,图像设置参数可以包括:图像分辨率设置参数、图像模式设置参数和图像资源设置参数。

图14示例性示出了根据示例性实施例中的图像分辨率设置参数设置示意图,如图14所示,用户的整机设置界面1400中包括:开机场景控件1401、屏幕调整控件1402、分辨率调整控件1403、多屏互动控件1404以及本机名称控件1405。用户点击相应控件可以进入相应控件的设置界面。例如,当用户点击分辨率调整控件1403时,在分辨率调整界面可以设置图像数据的分辨率。示例的,分辨率调整界面包括4k(2160×4096)、2k(1152×2048)、1080p(1080×1920)、720p(720×1280)以及DV(480×720)等多种分辨率。

图15示例性示出了根据示例性实施例中的图像模式设置参数设置示意图,如图15所示,用户的图像模式设置界面1500中包括:标准模式控件1501、运动模式控件1502、游戏模式控件1503、电影院模式控件1504、音乐会模式控件1505、演播厅模式控件1506以及自定义模式控件1507。其中,用户点击游戏模式控件1503可以将显示设备设置为游戏模式。

需要说明的是,不同的图像模式设置参数下,图像数据的输出延时不同,以游戏模式为例,当显示设备处于游戏模式时,显示设备允许优化显示器的画面响应速度。

具体实现中,图像数据延迟产生的原因为:图像数据通过视频线从HDMI接口输出到显示设备的延迟为5-10ms,图像数据通过显示设备的HDMI接口传输到控制器,并通过控制器转换成视频处理器可处理的数据形式需要5-10ms,视频处理器处理图像数据需要耗时20-100ms,因此,图像数据从传输到显示器显示的延时总共为30-120ms,明显影响用户体验。由于最长的延迟时间由视频处理器产生,视频处理器中的画质处理通路包括多种视频处理效果来提高画质,当显示设备处于游戏模式时,显示设备禁用用于提高画质的多种视频处理效果,将图像数据更快显示在显示器上。

值得注意的是,游戏模式不会完全消除图像数据的输出延时,而是会明显将延迟降低2-3倍,例如,图像模式设置参数设置为标准模式时,图像数据的输出延时是80ms,当更改为游戏模式时,图像数据的输出延时是25ms。

由于游戏模式能够降低图像数据的输出延时,因此游戏模式实质上为低延时模式,显示设备中的低延时模式包括但不限于游戏模式,还有自动低延时模式等其他低延时模式,显示设备的低延时模式能够通过用户输入操作指令进行手动切换,在自动低延时模式中,还能通过显示设备播放的媒资内容自动切换。

当用户接入PC设备时,PC设备向显示设备发送媒资的音画数据,当媒资的音画数据为图片资源包时,图像资源设置参数为:图片资源格式(image/jpeg)。

需要说明的是,图像资源设置参数为媒资音画数据的内容类型(Content-Type),图像资源设置参数用于确定以何种内容类型读取媒资的音画数据,当媒资的音画数据为游戏资源包时,图像资源设置参数为:游戏资源格式(appl icat ion/json)。

在一些实施例中,当监测到显示设备的图像设置参数发生变化时,结合新的图像设置参数重新确定图像数据的输出延时和音频数据的输出延时;

具体实现中,当监测到显示设备的任意一个图像设置参数发生变化时,即结合新的图像设置参数重新确定图像数据的输出延时和音频数据的输出延时。

显示设备的图像设置参数变化包括如下场景:

场景三:显示设备的图像分辨率设置参数由2k切换至4k。

当显示设备的图像分辨率设置参数由2k切换至4k时,图像数据的处理耗时发生改变,因此需要重新确定图像数据的输出延时和音频数据的输出延时,具体实现中,HDMIvideo监视器会持续监测HDMI信号,当图像分辨率设置参数由2k切换至4k时,HDMI信号发生波动,HDMI信号稳定时,重新确定图像数据的输出延时和音频数据的输出延时。

场景四:显示设备的图像模式设置参数由标准模式切换至游戏模式。

当显示设备的图像模式设置参数由标准模式切换至游戏模式时,图像数据的处理耗时发生改变,因此需要重新确定图像数据的输出延时和音频数据的输出延时,具体实现中,用户通过控制装置或智能设备在图像模式设置界面输入用户指令,更改图像模式设置参数,此时,由于图像模式设置参数发生改变,需要重新确定图像数据的输出延时和音频数据的输出延时。

场景五:显示设备的图像资源设置参数由图片资源格式切换为游戏资源格式。

当显示设备连接PC设备时,PC设备向显示设备发送媒资的音画数据,当媒资的音画数据为图片资源包时,图像资源设置参数为:图片资源格式;当媒资的音画数据为游戏资源包时,图像资源设置参数为:游戏资源格式;当媒资的音画数据从图片资源包切换为游戏资源包时,图像资源设置参数由图片资源格式切换为游戏资源格式,此时,由于图像资源设置参数发生改变,需要重新确定图像数据的输出延时和音频数据的输出延时。

因此,在上述场景三-场景五中,以常规情况下图像数据的输出延时为80ms为例,若通过硬性声明(如EDID声明),则无论显示设备的图像设置参数是否发生变化,显示设备向外部音频输出设备声明的图像数据的输出延时均为80ms,仅能实现自动的音画同步。实际上,在低延时模式下,图像数据的输出延时小于80ms,当监测到显示设备的任意一个图像设置参数发生变化时,图像数据的输出延时都会发生改变,都需要重新确定图像数据的输出延时,此时,实时确定图像数据的输出延时并向外部音频输出设备声明实时确定的图像数据的输出延时,能够使显示设备与外部音频输出设备进行实时的音画同步。

步骤S1303,生成包含图像数据的输出延时及音频数据输出延时的CEC消息,以通过CEC消息向外部音频输出设备声明图像数据的输出延时与音频数据的输出延时;

控制器在执行通过CEC消息向外部音频输出设备声明图像数据的输出延时与音频数据的输出延时,进一步被配置为,发送CEC消息至所述外部音频输出设备。

消费电子控制(Consumer Electronics Control,CEC)是一套完整的单线总协议,显示设备可以通过CEC消息控制HDMI接口上的所有HDMI连接的装置且允许HDMI设备在没有用户干扰的情况下互相命令控制。HDMI上包括CEC总线和音频回传(Audio ReturnChannel,ARC)通道,其中CEC总线为通用控制总线,用于HDMI设备的互联。ARC通道用于电视数字音频的输出,可以连接同样支持ARC功能的外置设备,将显示设备的声音传输到外部音频输出设备上。

在一些实施例中,当监测到显示设备的图像设置参数发生变化时,结合新的图像设置参数重新确定图像数据的输出延时和音频数据的输出延时;

根据重新确定的图像数据的输出延时和音频数据的输出延时,生成新的CEC消息;

将新的CEC消息发送至外部音频输出设备。

在上述场景三-场景五中,当监测到显示设备的任意一个图像设置参数发生变化时,显示设备通过结构体设定延时补偿方案。其中,结构体包含在CEC消息中,用于向外部音频输出设备声明图像数据的输出延时和音频数据的输出延时。

在一些实施例中,以常规情况下,图像数据的输出延时和音频数据的输出延时对外声明均为80ms为例。若当前图像模式设置参数为低延时模式,当图像分辨率设置参数由2k切换至4k时,此时重新确定图像数据的输出延时和音频数据的输出延时,由于当前图像模式设置参数为低延时模式,因此,实际图像数据的输出延时小于80ms,结合当前图像设置参数能够确定图像数据的输出延时和音频数据的输出延时为60ms,同时,实时发送新的CEC消息至外部音频输出设备,向外部音频输出设备声明图像数据的输出延时与音频数据的输出延时为60ms。

在一些实施例中,以常规情况下,图像数据的输出延时和音频数据的输出延时对外声明均为80ms为例。若当前图像模式设置参数为低延时模式,当图像模式设置参数由标准模式切换至游戏模式时,此时重新确定图像数据的输出延时和音频数据的输出延时,由于游戏模式实质为低延时模式,因此,实际图像数据的输出延时小于80ms,结合当前图像设置参数能够确定图像数据的输出延时和音频数据的输出延时为60ms,同时,实时发送新的CEC消息至外部音频输出设备,向外部音频输出设备声明图像数据的输出延时与音频数据的输出延时为60ms。

在一些实施例中,以常规情况下,图像数据的输出延时和音频数据的输出延时对外声明均为80ms为例。若当前图像模式设置参数为低延时模式,当图像资源设置参数由图片资源格式切换为游戏资源格式时,此时重新确定图像数据的输出延时和音频数据的输出延时,由于游戏模式实质为低延时模式,因此,实际图像数据的输出延时小于80ms,结合当前图像设置参数能够确定图像数据的输出延时和音频数据的输出延时为60ms,同时,实时发送新的CEC消息至外部音频输出设备,向外部音频输出设备声明图像数据的输出延时与音频数据的输出延时为60ms。

因此,以上述实施例为例,当监测到显示设备的任意一个图像设置参数发生变化时,图像数据的输出延时发生改变,显示设备端实现实时的音画同步后,实时向外部音频输出设备声明图像数据的输出延时与音频数据的输出延时。

步骤S1304,接收外部音频输出设备发送的音频数据的外部输出延时,外部输出延时由外部音频输出设备根据外部音频输出设备对音频数据的处理耗时确定;

将图像数据的输出延时与音频数据的外部输出延时的加和确定为图像数据的最终输出延时。

具体实现中,步骤S1304与上述步骤804中的具体实现方式相同。

具体实现中,本申请实施例还示出一种音画同步方法,包括:

获取媒资的音画数据,所述音画数据包括图像数据和音频数据;

确定所述图像数据的输出延时和所述音频数据的输出延时,所述图像数据的输出延时与所述音频数据的输出延时一致;

生成包含所述图像数据的输出延时及所述音频数据输出延时的声明,以通过所述声明向所述外部音频输出设备或者所述内置音频输出模块声明所述图像数据的输出延时与所述音频数据的输出延时。

应当理解,上述音画同步方法中各步骤的具体实现方式可以参见前述显示设备实施例,此处不予赘述。由以上实施例可以看出,本申请示出的一种显示设备及音画同步方法,能够避免由于图像数据画质处理过程耗时较长,使得图像数据到达显示器所需时长大于音频数据到达内置音频输出模块或外置音频输出设备所需时长,从而易导致音画不同步的现象,以及显示设备与外部音频输出设备无法进行实时的音画同步的问题。提高用户体验。

最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

相关技术
  • 音画同步方法及装置
  • 一种显示设备及其制备方法
  • 一种电视机及其LCD显示设备
  • 一种显示设备及音画同步方法
  • 一种显示设备及流媒体视频音画同步方法
技术分类

06120115870405