显示装置及其控制方法

技术领域

相关申请的交叉引用

本申请基于并要求于2020年8月7日在韩国知识产权局提交的韩国专利申请No.10-2020-0099484的优先权，其全部公开内容通过引用合并于此。

某些示例实施例涉及一种显示装置及其控制方法，并且更具体地，涉及一种能够处理要一起显示的图像和图形的显示装置及其控制方法。

背景技术

具有显示器的电子装置(诸如电视(TV))从外部源接收各种内容，并将基于该内容的图像显示在显示器上。

随着最近使用网络环境的各种视频服务的普及，提供包括附加图像(诸如图形)的内容的广播服务或视频服务也逐渐增加。

电视等电子装置可以包括用于分别处理视频信号和图形信号以基于这两种已处理信号的混合来提高图像质量并显示图像的单独处理器。

在包括这种独立处理器的电子装置中，当通过不同路径处理的两个信号之一(例如，视频信号)被延迟时，视频和图形可能被混合而彼此不匹配，或者视频和图形之间的边界可能失真，使得图像不能正常地显示在屏幕上，从而给用户观看图像带来不便。

发明内容

[技术问题]

某些示例实施例提供了一种显示装置及其控制方法，其中，通过单独处理器输出的视频信号和图形信号被控制为同步的，从而防止由于不匹配或失真导致的观看不便。

[技术方案]

根据示例性实施例，可以提供一种显示装置，包括：显示器；视频处理器，被配置为处理视频信号；图形处理器，被配置为处理图形信号；混合器，被配置为将与由视频处理器处理的视频信号相对应的视频和与由图形处理器处理的图形信号相对应的图形混合以一起显示在显示器上；以及主处理器，被配置为：基于按照相应帧的顺序分配给视频信号的多个视频帧的标识信息和分配给图形信号的多个图形帧的标识信息，识别分配有匹配标识信息的视频帧和图形帧，以及控制视频处理器和图形处理器延迟并输出所识别的视频帧和所识别的图形帧中的至少一种，以使所识别的视频帧的视频和所识别的图形帧的图形一起显示在显示器上。

主处理器可以控制视频处理器和图形处理器在基于预定同步信号设置的参考时间点处同步并输出所识别的视频帧和所识别的图形帧。

主处理器可以依次将标识信息分配给多个视频帧，依次将标识信息分配给多个图形帧，并识别分配有匹配标识信息的视频帧和图形帧。

主处理器可以通过将标识信息分配给多个视频帧来控制视频帧的数据顺序地存储在第一队列中，通过将标识信息分配给多个图形帧来控制图形帧的数据顺序地存储在第二队列中，并控制分配有匹配标识信息的视频帧和图形帧的数据在基于预定同步信号设置的参考时间点处分别从第一队列和第二队列输出。

显示装置还可以包括被配置为转换视频信号的帧速率的帧速率转换器，并且主处理器可以识别在帧速率的转换期间发生的延迟时间，并在分配有所述匹配标识信息的所述视频帧和所述图形帧之间，控制所识别的图形帧的数据输出被延迟的时间比所识别的视频帧的数据的所识别的延迟时间更多。

显示装置还可以包括被配置为转换视频信号的帧速率的帧速率转换器；以及存储单元，包括缓冲器，该缓冲器被配置为存储由图形处理器基于在帧速率的转换期间发生的延迟时间所处理的图形信号。

视频处理器可以包括视频缩放器，并且主处理器可以通过执行应用来设置几何信息，以显示与视频信号相对应的视频，并且可以向视频缩放器提供所设置的几何信息。

图形处理器可以包括图形缩放器，并且主处理器可以通过执行应用来渲染与图形信号相对应的图形，设置指针以输出所渲染的图形，并且向图形缩放器提供关于所设置的指针的信息。

显示装置还可以包括存储单元，该存储单元包括被配置为存储由视频处理器处理的视频信号的第一缓冲器和被配置为存储由图形处理器处理的图形信号的第二缓冲器，并且主处理器可以控制第一缓冲器中存储的视频信号的视频帧的视频和第二缓冲器中存储的图形信号的图形帧的图形同步并输出。

同步信号可以包括用于显示器的竖直同步信号。

根据示例性实施例，可以提供一种控制显示装置的方法，其中，该方法可以包括：基于按照相应帧的顺序分配给视频信号的多个视频帧的标识信息和分配给图形信号的多个图形帧的标识信息来识别分配有匹配标识信息的视频帧和图形帧；控制所识别的视频帧和所识别的图形帧中的至少一种延迟并输出，以使所识别的视频帧的视频和所识别的图形帧的图形一起显示在显示器上；以及混合所输出的视频帧的视频和所输出的图形帧的图形。

该方法还可以包括控制所识别的视频帧和所识别的图形帧在基于预定同步信号设置的参考时间点处同步并输出。

该方法还可以包括依次将标识信息分配给多个视频帧，以及依次将标识信息分配给多个图形帧。

该方法还可以包括：通过将标识信息分配给多个视频帧来将视频帧的数据顺序地存储在第一队列中；通过将标识信息分配给多个图形帧来将图形帧的数据顺序地存储在第二队列中；以及控制分配有匹配标识信息的视频帧的数据和图形帧的数据在基于预定同步信号设置的参考时间点处分别从第一队列和第二队列输出。

该方法还可以包括：识别在视频信号的帧速率转换期间发生的延迟时间；以及在分配有匹配标识信息的视频帧和图形帧之间，控制所识别的图形帧的数据输出被延迟的时间比所识别的视频帧的数据的所识别的延迟时间更多。

该方法还可以包括：与在视频信号的帧速率转换期间发生的延迟时间相对应地将图形信号存储在缓冲器中。

该方法还可以包括：通过执行应用来设置几何信息，以显示与视频信号相对应的视频，以及向视频缩放器提供所设置的几何信息。

该方法还可以包括：通过执行应用来渲染与图形信号相对应的图形，设置指针以输出所渲染的图形，以及向图形缩放器提供关于所设置的指针的信息。

显示装置还可以包括被配置为存储由视频处理器处理的视频信号的第一缓冲器和被配置为存储由图形处理器处理的图形信号的第二缓冲器，并且该方法还可以包括控制第一缓冲器中存储的视频信号的视频帧的视频和第二缓冲器中存储的图形信号的图形帧的图形同步并输出。

根据示例实施例，可以提供一种计算机可读非易失性记录介质，在该计算机可读非易失性记录介质中记录有可由显示装置的处理器执行的方法的程序，其中，该方法可以包括：基于按照相应帧的顺序分配给视频信号的多个视频帧的标识信息和分配给图形信号的多个图形帧的标识信息来识别分配有匹配标识信息的视频帧和图形帧；以及控制所识别的视频帧和所识别的图形帧中的至少一种延迟并输出，以使所识别的视频帧的视频和所识别的图形帧的图形一起显示在显示器上；以及混合所输出的视频帧的视频和所输出的图形帧的图形。

[有益效果]

在示例显示装置及其控制方法中，与要一起显示的两个图像相对应的一对帧可以被控制为由电子装置同步并输出，使得可以正常地匹配并显示该两个图像而没有失真，从而减轻用户的视觉疲劳并解决用户观看不便的问题。

附图说明

图1示出了根据示例实施例的电子装置的示例。

图2是根据示例实施例的电子装置的框图。

图3是示出了根据示例实施例的在电子装置中处理视频信号和图形信号所通过的路径的框图。

图4是示出了根据示例实施例的用于在电子装置中显示图像的控制操作的流程图。

图5是示意性地示出了根据示例实施例的用于在电子装置中一起显示第一图像和第二图像的配置的操作的图。

图6是用于说明在相关技术中当视频和图形一起显示时发生图像失真的情况的图。

图7是示出了在相关技术中发生图像失真的示例的图。

图8是示出了根据示例实施例的用于在电子装置中同步并显示图像的控制操作的流程图。

图9是示出了在图8的实施例中的用于同步并显示图像的配置的操作的图。

图10是示出了在图8的示例实施例中的用于同步并显示经过帧速率转换的图像的操作的图。

图11是用于说明在图8的实施例中的同步并输出视频和图形的示例的图。

图12是示出了根据另一示例实施例的用于在电子装置中同步并显示图像的控制操作的流程图。

图13示出了在图12的示例实施例中的用于同步并显示图像的配置的操作。

图14是示出了在图12的示例实施例中的延迟并输出图形信号的示例的图。

具体实施方式

在下文中，将参照附图详细描述示例实施例。在附图中，相似的附图标记或符号指代具有基本相同功能的相似元件，并且为了清楚起见和便于描述，每个元件的尺寸可以被放大。然而，以下示例实施例中所示的配置和功能不应被解释为限制以及关键配置和功能。在以下描述中，如果识别出公知的功能或特征会模糊本发明构思的主旨，则将省略关于它们的细节。

在下面的示例实施例中，术语“第一”、“第二”等仅用于将一个元件与另一元件区分开来，并且除非上下文另有说明，否则单数形式旨在包括复数形式。在以下示例实施例中，将理解，术语“包括”、“包含”、“具有”等不排除存在或添加一个或多个其他特征、数字、步骤、操作、元件、组件或其组合。另外，“模块”或“部分”可以执行至少一个功能或操作，由硬件、软件或硬件和软件的组合来实现，并且集成到至少一个模块中。在本公开中，多个元件中的至少一个元件不仅指多个元件中的所有元件，而且还指多个元件中除其他元件之外的每个元件及其组合。

图1示出了根据示例实施例的电子装置的示例。

根据示例实施例，电子装置10可以实现为包括如图1所示的显示器110的显示装置。

根据示例实施例的电子装置1 0从外部信号源(例如，关于内容的数据)接收信号，并且根据预设过程来处理所接收到的内容数据，以便在显示器110上显示为图像。

根据实施例，实现为显示装置的电子装置10可以包括TV，其基于从广播站的发送器接收到的广播信号、广播信息或广播数据中的至少一种来处理广播图像。在这种情况下，电子装置10可以包括被调谐到与广播信号相对应的频道的调谐器。

然而，本公开不限于电子装置10的实施例。备选地，电子装置10可以实现为图像处理装置，诸如向通过有线或无线连接的外部显示器发送信号的机顶盒。备选地，电子装置10可以实现为具有显示器的终端装置(在下文中被称为用户终端或用户设备)，诸如智能电话、平板计算机和智能平板。备选地，电子装置10可以应用于台式或膝上型计算机(或个人计算机(PC))的监视器。

当电子装置10是TV时，电子装置10可以直接地或通过可经由电缆与电子装置10连接的附加装置(例如，通过机顶盒(STB)、单连接盒(OC盒)、媒体盒等)从广播站的发送器接收基于广播信号、广播信息或广播数据中的至少一种的广播内容。这里，电子装置10和附加装置之间的连接不限于电缆，而是可以采用各种有线/无线接口。

电子装置10例如可以无线地接收射频(RF)信号，例如，从广播站发送的广播内容。为此，电子装置10可以包括用于接收广播信号的天线。

在电子装置10中，可以通过地面波、电缆、卫星等接收广播内容，并且信号源不限于广播站。换言之，根据本公开，能够发送和接收数据的任何装置或站都可以包括在源中。

在电子装置10中接收到的信号的标准可以取决于装置的类型而变化，并且电子装置10可以根据接口120(参见图2)通过电缆基于高清多媒体接口(HDMI)、HDMI-消费电子控制(CEC)、显示端口(DP)、数字视频接口(DVI)、复合视频、分量视频、超级视频、DVI、雷电(Thunderbolt)、RGB电缆、收音机和电视机制造商联盟(SCART)、通用串行总线(USB)等标准接收信号作为图像内容。

根据实施例，电子装置10可以实现为智能TV或互联网协议(IP)TV。智能TV是指能够实时接收并显示广播信号、具有网页浏览功能以在实时显示广播信号的同时通过互联网搜索并消费各种内容并为此提供便捷用户环境的TV。此外，智能TV可以向用户提供互动服务，因为它包括开放的软件平台。因此，智能TV可以通过开放的软件平台向用户提供各种内容，例如，用于预定服务的应用的内容。这种应用程序是指用于各种服务的应用程序，例如，用于社交网络服务(SNS)、财经、新闻、天气、地图、音乐、电影、游戏、电子书等服务的应用。

电子装置10可以处理信号，以基于内部/外部存储介质中存储在的数据/信号，将运动图像、静止图像、应用、屏幕显示(OSD)、用于控制各种操作的用户界面(UI)等显示在屏幕上。

电子装置10可以使用有线或无线网络通信，从作为用于提供内容的源的包括服务器20和终端装置的各种外部装置接收内容，但对通信的种类没有限制。

具体地，电子装置10可以使用无线网络通信来接收与Wi-Fi、Wi-Fi直连、蓝牙、低功耗蓝牙、Zigbee、UWB、NFC等标准相对应的信号作为与接口120(稍后描述)的类型相对应的图像内容。此外，电子装置10可以使用以太网等有线网络通信来接收内容信号。

根据实施例，外部装置可以作为内容提供者(例如，可以通过有线或无线网络向诸如电子装置10之类的各种装置发送内容的内容服务器)提供。例如，外部装置可以通过流式传输方法实时提供基于视频点播(VOD)服务、网络内容等的媒体文件。

根据示例实施例，可以存在多个外部装置，例如，服务器。在这种情况下，电子装置10可以实现为与多个外部装置中的每个外部装置连接，并且从每个连接的外部装置接收各种内容。

电子装置10例如可以从诸如Netflix之类的能够提供过顶(OTT)服务的OTT服务器或诸如YouTube之类的网络服务器接收基于VOD服务的媒体内容或视频内容。

电子装置10可以执行用于再现内容的应用(例如，VOD应用)以从为提供内容而设置的外部装置接收内容，并处理所接收到的内容，从而通过显示器110输出(例如，显示)与该内容相对应的图像。这里，电子装置10可以基于与所执行的应用相对应的用户账户，从服务器(例如，外部装置)接收内容。

根据实施例，如图1所示，电子装置10可以将第一图像21和第二图像22一起显示在显示器110上。

具体地，电子装置10可以接收与第一图像21相对应的第一信号(在下文中被称为第一图像信号)和与第二图像22相对应的第二图像信号(在下文中被称为第二图像信号)，并处理第一信号和第二信号中的每一个。电子装置10可以混合通过如上所述的单独路径处理的第一信号和第二信号，使得两个图像21和22一起显示在显示器110上。

这里，第一信号可以对应于视频信号，并且第二信号可以对应于图形信号。

该图形信号例如可以是用于显示子图片、字幕、图文电视、屏幕显示(OSD)或显示用于向用户提供信息(例如，频道号、节目名称等)或控制各种操作的用户界面(在下文中被称为图形用户界面(GUI))的信号，但不限于此。

该图形信号可以包括在从服务器等外部装置提供的内容中，或者可以从外部装置提供作为与该内容分离的单独信号。这里，提供该内容的外部装置可以与提供图形信号的外部装置不同或相同。

此外，图形信号可能已经嵌入在电子装置10或诸如机顶盒之类的附加设备中。

根据实施例，图形信号可以具有多个层。

根据实施例，电子装置10可以将通过处理图形信号而生成的交互式图形(IG)或演示图形(PG)显示在显示器110上作为第二图像。

根据实施例，基于图形信号的第二图像(即，图形)可以在覆盖在基于视频信号的第一图像上的同时显示在显示器11 0上，或者可以显示在与基于视频信号的第一图像所在的区域分开的单独区域中。

下面，将参照附图描述根据示例实施例的电子装置的配置。

图2是根据示例实施例的电子装置的框图。

然而，图2仅示出了根据示例实施例的电子装置10的示例性元件，并且根据备选实施例的第一电子装置可以包括与图2的元件不同的元件。换言之，本公开的电子装置10还可以包括除了图2所示的元件之外的其他元件，或者可以从图2所示的元件中排除至少一个元件。此外，本公开的电子装置10可以通过改变图2所示的元件中的一些元件来实现。

如图2所示，根据示例实施例的电子装置10可以包括显示器110。

显示器110可以显示图像。

显示器110可以但不限于例如由各种显示器类型(诸如液晶、等离子、发光二极管、有机发光二极管、表面传导电子发射器、碳纳米管、纳晶等)来实现。根据实施例，显示器110可以包括用于在其上显示图像的面板，并且根据其类型还包括附加元件(例如，驱动器)。

根据实施例，显示器110可以显示从源(即，诸如服务器之类的外部装置)接收到的内容的图像。

根据实施例，显示器110可以将基于第一信号的第一图像和基于第二信号的第二图像一起显示在显示器110上。

根据实施例，第二图像可以在覆盖在第一图像上的同时显示在显示器110上，或者可以显示在与显示第一图像的区域分开的单独区域上。

电子装置10可以包括接口120。

接口120允许电子装置10与诸如服务器之类的各种外部装置进行通信。

接口120可以包括有线接口121。有线接口121可以包括用于基于诸如HDMI、HDMI-CEC、USB、分量、DP、DVI、雷电(Thunderbolt)、RGB电缆等标准发送/接收信号/数据的连接器。这里，有线接口121可以包括分别对应于这些标准的至少一个连接器、端子或端口。

有线接口121体现为包括用于从源等接收信号的输入端口，并且根据需要还包括用于交互地发送和接收信号的输出端口。

有线接口121可以包括基于视频和/或音频传输标准(诸如HDMI端口、显示端口、DVI端口、雷电(Thunderbolt)、复合视频、分量视频、超级视频和SCART)的连接器、端口等，以便与用于接收基于广播标准(诸如地面/卫星广播)的广播信号的天线或用于接收基于电缆广播标准的广播信号的电缆进行连接。备选地，电子装置10可以包括用于接收广播信号的内置天线。

当通过接口120接收到的视频/音频信号是广播信号时，电子装置10还可以包括被调谐到与所接收到的广播信号相对应的频道的调谐器。该调谐器可以包括解调器，该解调器解调特定调谐频道的广播信号并输出传输流(TS)形式的信号。换言之，调谐器和解调器可以被设计为单个集成芯片，或者可以分别被设计为分离的两个芯片。

有线接口121可以包括基于通用数据传输标准的连接器或端口，例如USB端口。有线接口121可以包括基于光传输标准的光缆可连接到的连接器或端口。有线接口121可以包括外部麦克风或具有麦克风的外部音频设备所连接到的用于接收或输入来自该麦克风或音频设备的音频信号的连接器或端口。有线接口121可以包括头戴式耳机、耳机、外部扬声器等音频设备所连接到的用于向音频设备发送或输出音频信号的连接器或端口。有线接口121可以包括基于网络传输标准(诸如以太网)的连接器或端口。例如，有线接口121可以实现为通过有线连接到路由器或网关的局域网(LAN)。

有线接口121通过连接器或端口1：1或1：N(其中，N是自然数)地连接到机顶盒、光媒体再现设备等外部装置、外部显示装置、扬声器、服务器等，从而从外部设备接收视频/音频信号或向外部设备发送视频/音频信号。有线接口121可以包括用于单独地发送视频/音频信号的连接器或端口。

有线接口121可以由包括与各种通信协议相对应的无线通信模块(例如，S/W模块、芯片等)的通信电路来实现。

根据实施例，有线接口121可以内置在电子装置10中，或者实现为加密狗或模块，并且可拆卸地连接到电子装置10的连接器。

接口120可以包括无线接口122。

无线接口122可以对应于电子装置100的实现而以不同方式实现。例如，无线接口122可以采用诸如射频、Zigbee、蓝牙、Wi-Fi、超宽带(UWB)、近场通信(NFC)等的无线通信方法。

无线接口122可以由包括与各种通信协议相对应的有线或无线通信模块(例如，S/W模块、芯片等)的通信电路来实现。

根据实施例，无线接口122包括无线局域网(WLAN)单元。WLAN单元可以在主处理器180的控制下通过接入点(AP)无线地连接到外部装置。WLAN单元包括Wi-Fi通信模块。

根据实施例，无线接口122包括支持电子装置10和外部装置之间的一对一直接无线通信而无需AP的无线通信模块。无线通信模块可以实现为支持Wi-Fi直连、BT、BLE等通信方法。当电子装置10执行与外部装置的直接通信时，存储设备140可以被配置为存储关于将执行与之通信的外部装置的标识信息(例如，媒体访问控制(MAC)地址或互联网协议(IP)地址)。

在根据示例实施例的电子装置10中，无线接口122被配置为根据其性能通过WLAN单元和无线通信模块中的至少一个执行与外部装置的无线通信。

根据备选实施例，无线接口122还可以包括基于各种通信方法(诸如长期演进(LTE)等移动通信、包括磁场的电磁(EM)通信、可见光通信(VLC)等)的通信模块。

无线接口122可以与网络上的诸如服务器之类的外部装置无线地通信，从而向外部装置发送数据分组和从外部装置接收数据分组。

无线接口122可以包括用于根据IR通信标准发送红外(IR)信号的IR发送器和/或根据IR通信标准接收红外(IR)信号的IR接收器。无线接口122可以从遥控器或其他外部装置接收或输入遥控信号，或者通过IR发送器和/或IR接收器向其他外部装置发送或输出遥控信号。备选地，电子装置10可以基于另一方法(诸如Wi-Fi、BT等)通过无线接口122与遥控器或其他外部装置交换遥控信号。

根据实施例，无线接口122可以向服务器等外部装置发送预定数据作为关于通过麦克风等语音输入端接收到的用户语音的信息。这里，对要发送的数据的格式/种类没有限制，并且该数据例如可以包括与由用户发出的语音相对应的音频信号、从音频信号中提取的语音特征等。

此外，无线接口122可以从服务器等外部装置接收基于对应的用户语音的处理结果的数据。电子装置10可以基于所接收到的数据，通过内部或外部扬声器输出与语音处理结果相对应的声音。

然而，上述实施例仅仅是示例，并且用户语音可以由电子装置10处理，而无需向服务器发送。换言之，根据备选实施例，电子装置10可以实现为用作语音到文本(STT)服务器。

电子装置10可以通过无线接口122与遥控器等输入设备进行通信，并从输入设备接收与用户语音相对应的声音信号。

在根据实施例的电子装置10中，用于与服务器等外部装置进行通信的通信模块和用于与遥控器进行通信的通信模块可以彼此不同。例如，电子装置10可以使用以太网调制解调器或Wi-Fi模块与外部装置进行通信，并且使用蓝牙模块与遥控器进行通信。

在根据备选实施例的电子装置10中，用于与服务器等外部装置进行通信的通信模块和用于与遥控器进行通信的通信模块可以彼此相同。例如，电子装置10可以使用蓝牙模块与外部装置和遥控器进行通信。

根据实施例，无线接口122可以内置在电子装置10中，或者实现为加密狗或模块，并且可拆卸地连接到电子装置10的连接器。

根据实施例，电子装置10可以通过接口120接收广播信号。电子装置10可以基于嵌入在广播信号中的数据来提取或生成与第一图像相对应的第一信号(或视频信号)和与第二图像相对应的第二信号(或图形信号)。

根据实施例，电子装置10可以通过实时流式传输方法通过接口120从服务器等外部装置接收内容信号。电子装置10可以基于内容信号来提取或生成与第一图像相对应的第一信号(或视频信号)和与第二图像相对应的第二信号(或图形信号)。

电子装置10可以包括用户输入接收器130。

用户输入接收器130响应于用户输入向主处理器180(稍后描述)发送各种预设的控制指令或不受限制的信息。

用户输入接收器130可以包括用于接收用户输入的各种输入装置。

根据实施例，用户输入接收器130可以包括小键盘(或输入面板)，该小键盘包括电子装置10中提供的电源键、数字键、菜单键等按钮。

根据实施例，用户输入接收器130包括输入设备，该输入设备生成先前设置的用于遥控电子装置10的命令/数据/信息/信号，并将其发送到电子装置10。输入设备可以例如包括遥控器、游戏控制台、键盘、鼠标等，并接收与电子装置10分离的用户输入。

遥控器可以包括用于接收用户输入的至少一个按钮。根据实施例，遥控器可以包括用于接收用户的触摸输入的触摸传感器和/或用于检测由用户引起的遥控器自身运动的运动传感器。根据实施例，输入设备包括安装有遥控应用的终端，诸如智能电话。在这种情况下，输入设备可以通过触摸屏接收用户的触摸输入。

输入设备用作执行与电子装置10的主体的无线通信的外部装置，其中，无线通信基于蓝牙、IrDA、RF通信、WLAN或Wi-Fi直连。

根据实施例，用户输入接收器130可以包括用于接收由用户发出的语音/声音的语音输入单元。语音输入单元可以实现为能够接收用户语音的麦克风，并且该麦克风可以设置在电子装置10中，与电子装置10分开设置，或设置在另一设备(例如，与电子装置10分离的遥控器)中。

根据实施例，用户输入接收器130可以包括检测用户的手部运动(例如，手部姿势(在下文中被称为“手势”))的运动检测器。电子装置10的运动检测器可以通过检测手的移动距离、移动速度、移动区域的面积等来输出数据。

电子装置10可以包括存储设备140。

存储设备140可以被配置为存储电子装置10的各种数据。

存储设备140可以由非易失性存储器(或可写只读存储器(ROM))来实现，该非易失性存储器即使在电子装置10断电的情况下也可以保留数据并镜像改变。即，存储设备140可以包括闪存、HDD、可擦除可编程ROM(EPROM)或电可擦除可编程ROM(EEPROM)中的一种。存储设备140还可以包括诸如动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM)之类的易失性存储器，在该情况下，电子装置10的读速度或写速度快于非易失性存储器的读速度或写速度。

存储设备140中存储的数据可以例如不仅包括用于驱动电子装置10的OS，而且还包括可在OS上执行的各种程序、应用、图像数据、附加数据等。

具体地，存储设备140可以被配置为存储与在主处理器180的控制下的元件的操作相对应的信号或数据输入/输出。存储设备140可以被配置为存储用于控制电子装置10的控制程序、由制造商提供的或从外部下载的应用、相关UI、用于提供UI的图形或图像、用户信息、文档、数据库或相关数据。

根据实施例，存储设备140可以被配置为存储TV应用或TV客户端作为用于将电子装置10用作TV的程序，并存储VOD应用作为用于再现从服务器等外部装置接收到的内容的程序。

根据实施例，在电子装置10中显示的图像(例如，第一图像(视频)和第二图像(图形))可以基于闪存、硬盘等非易失性存储设备140中存储的数据。存储设备140可以设置在电子装置10内部或外部，并且设置在外部的存储设备140可以经由有线接口121连接到电子装置10。

根据示例实施例，术语“存储设备”被定义为包括存储设备140、主处理器180中的ROM(未示出)、可安装到电子装置10的RAM(未示出)或存储卡(未示出，例如，微SD卡、记忆棒等)。

电子装置10可以包括第一处理器150。

第一处理器150(在下文中被称为视频处理器)可以处理第一信号(即，视频信号)，使得对应的第一图像可以显示在显示器110上。

根据示例实施例的电子装置10可以通过第一路径(例如，使用第一处理器150的视频路径)来处理视频信号。这里，第一路径区别于第二路径(例如，使用第二处理器160(稍后描述)处理图形信号的图形路径)。

图3是示出了根据示例实施例的在电子装置中处理视频信号和图形信号所通过的路径的框图。

第一处理器150被配置为针对第一图像信号(例如，视频信号)执行先前设置的各种处理，并且如图3所示，可以包括用于对图像信号进行解码以匹配电子装置10的图像格式的视频解码器151。

根据实施例，视频解码器可以例如由H.264/AVC解码器来实现，但不限于此。换言之，本实施例中的视频解码器例如可以由与各种压缩标准相对应的运动图像专家组(MPEG)解码器、高效视频编解码器(HEVC)解码器等解码器来实现。

视频解码器可以实现为硬件解码器或软件解码器。

根据实施例，电子装置10可以包括多个视频解码器。这里，电子装置10中设置的多个视频解码器可以各自实现为硬件解码器或软件解码器，或者以硬件解码器和软件解码器的组合的形式来实现。

第一处理器150可以包括视频缩放器(在下文中被称为V缩放器)152，该视频缩放器152被配置为调整第一信号(例如，视频信号)以匹配输出格式(例如，显示器110的面板规格)。

根据实施例，视频缩放器152可以响应于同步信号根据帧来处理视频信号。这里，同步信号例如可以是用于显示器110的竖直同步信号Vsync。

具体地，视频缩放器152可以基于同步信号(例如，用于显示器110的竖直同步信号)来处理(即，缩放)视频信号的多个视频帧。

根据实施例，视频缩放器152可以由硬件(例如，芯片)来实现，并输出要存储在缓冲器或帧缓冲器(在下文中被称为视频缓冲器)中的经过缩放的多个视频帧。这里，缓冲器例如可以设置在被实现为诸如DRAM之类的存储器的存储设备140中。

视频缩放器152可以基于由软件(例如，安装在电子装置10中的应用181)识别或设置的几何信息来缩放和输出视频帧。

这里，几何信息可以包括第一图像(例如，与视频信号相对应的视频)的大小信息和位置信息。换言之，几何信息例如可以包括坐标值(x，y，w，h)作为用于表示视频和图形的几何参数。

此外，几何信息可以包括关于第二图像(例如，与图形信号相对应的图形)的起点和终点的信息。可以控制图形信号的每一帧在起点和终点之间部分地输出。

根据实施例，如图3所示，可以从主处理器180(稍后描述)(例如，中央处理单元(CPU))向视频缩放器152发送几何信息。主处理器180(例如，CPU)可以执行安装在电子装置10中的应用181，从所执行的应用中获得几何信息或数据，并向视频缩放器152提供所获得的几何信息或数据。这里，应用181可以与几何信息一起生成表示图形的透明度信息的阿尔法值，并向主处理器180(例如，CPU)提供所生成的阿尔法值。

视频缩放器152可以基于从CPU 180接收到的几何信息来调整与视频信号相对应的图像(即，视频)的大小和位置，并生成输出图像(即，视频)。

根据实施例，第一处理器150可以包括帧速率转换器(FRC)153，该帧速率转换器153针对第一信号(即，从视频缩放器152输出的视频信号)执行帧速率转换(FRC)。

帧速率转换器153可以由与视频缩放器152分离的硬件芯片来实现，或者可以被设计为视频缩放器152和帧速率转换器153集成在其中的单个芯片。

通过帧速率转换(FRC)，可以转换输出到显示器110的第一图像的每秒帧数。在该过程中，视频帧延迟(其中第一信号(例如，视频信号)被延迟)可能在该过程中产生。

无论基于前述同步信号的视频信号的同步如何，都可能在FRC中产生这种视频帧延迟。

此外，由于FRC而产生的视频帧延迟可以取决于视频信号的类型。例如，由于FRC而产生的视频帧延迟可以由预定数量的帧(例如，在电影的视频模式下为三帧)来产生，但在游戏模式下可能不产生由于FRC而产生的视频帧延迟。在这种情况下，电子装置10可以根据其操作模式识别由于FRC而产生的视频帧延迟。

同时，第一处理器1 50例如可以执行各种处理(诸如用于将交织广播信号转换为渐进式广播信号的解交织、用于提高图像质量的降噪、细节增强、帧刷新速率转换、以及用于处理视频信号的线扫描)中的至少一种。然而，这仅是示例，并且可以附加地提供用于执行前述处理的配置。

电子装置10可以包括第二处理器160。

第二处理器160(在下文中被称为图形处理器)可以处理第二信号(例如，图形信号)，使得与所处理的第二信号相对应的第二图像可以显示在显示器110上。

第二处理器160通过与用于由第一处理器150处理的视频信号的第一路径不同的第二路径(例如，图形路径)来处理图形信号。

第二处理器160被配置为针对第二图像信号(例如，图形信号)执行各种处理，并且如图3所示，可以包括执行用于处理图形的计算的图形处理单元(GPU)161。

根据实施例，GPU 161可以针对从服务器等外部装置接收到的或者嵌入在电子装置10中的第二图像信号(例如，图形信号)执行各种预设处理(例如，诸如动画处理、颜色转换、伽马转换和加速处理之类的各种处理)中的至少一种。然而，本公开不限于该实施例，并且GPU 161还可以执行除了前述处理之外的各种图形处理。此外，根据需要，电子装置10还可以包括用于处理图形信号的配置。

GPU 161可以从主处理器180(例如，CPU)获得几何信息和阿尔法值，并向图形缩放器162和图形质量块163发送该几何信息和该阿尔法值。

第二处理器160可以包括图形缩放器(在下文中被称为G缩放器)162以向显示器110输出于第二信号(例如，图形信号)相对应的图形。如图3所示，图形缩放器162可以设置在由GPU 161控制的图形平面(GP)块中。

根据实施例，图形缩放器162可以响应于同步信号根据帧来处理图形信号。这里，同步信号例如可以是用于显示器110的竖直同步信号Vsync。竖直同步信号可以通过GPU161从主处理器180(例如，CPU)提供给GP块的图形缩放器162。

根据实施例，图形缩放器1 62可以通过硬件(例如，芯片)来体现，从而可以将图形帧依次存储和输出到缓冲器或帧缓冲器(在下文中被称为图形缓冲器)。这里，缓冲器例如可以设置在被实现为诸如DRAM之类的存储设备140中。

图形缩放器162可以基于由软件(例如，安装在电子装置10中的应用181)识别或设置的几何信息来缩放图形帧。

具体地，图形缩放器162可以基于预设指针(或渲染指针，例如，在应用181在缓冲器中渲染该图形之后，包括在几何信息中的起点和终点)来输出图形帧。这里，指针是可变的，并且可以例如相对于用于显示器110的竖直同步信号Vsync来设置或应用。根据实施例，应用181可以由主处理器180执行，并针对图形信号执行渲染。

根据实施例，显示器110的竖直同步信号可以通过视频缩放器152提供给图形缩放器162，使得图形缩放器162可以依次输出在缓冲器中渲染的图形帧。

第二处理器160可以包括用于处理图形的图形质量的图形质量块163。如图3所示，图形质量块163可以设置在由GPU 161控制的GP块中。

根据实施例，GP块可以响应于从视频缩放器152接收到的用于显示器110的竖直同步信号而开始操作。GPU 161可以通过主处理器180(例如，CPU)接收在应用181中生成的阿尔法值，并且向GP块发送所接收到的阿尔法值。此外，GPU 161可以向GP块发送从主处理器180(例如，CPU)获得的几何信息。

通过形成第二路径(即，图形路径)的图形缩放器162，基于几何信息，针对图形的大小和位置调整图形信号，并且还通过图形质量块163对其进行图形质量处理。

电子装置10可以包括混合器170。

混合器170可以混合第一信号和第二信号，使得与由第一处理器150处理的第一信号(例如，视频信号)相对应的第一图像(例如，视频)和与由第二处理器160处理的第二信号(例如，图形信号)相对应的第二图像(例如，图形)可以一起显示在显示器110上。

混合器1 70可以合并第一信号(例如，视频信号)和第二信号(例如，图形信号)，并向显示器110输出合并后的信号。

根据实施例，混合器170可以通过硬件(例如，芯片)来体现，并最终向显示器110输出同步的视频帧和图形帧。

如图3所示，混合器170可以接收经由GP块(例如，图形缩放器162和图形质量块163)输出的图形信号(例如，图形数据)和从视频缩放器152或FRC 153输出视频信号(例如，视频数据)。混合器170可以混合接收到的视频数据和图形数据。

根据实施例，混合器170可以执行阿尔法混合(alpha blending)，以基于关于要被叠加的图像(例如，第二图像(例如，图形))的透明度的透明度信息来合成图像。透明度信息通常被称为阿尔法值，并且阿尔法值例如可以是用于区分从‘0’至‘255’的透明度的8比特数据。

混合器170可以参考表示透明度信息的阿尔法值，基于预定算法来合并(例如，混合)视频信号和图形信号。可以通过显示器110输出包括合并(例如，在混合器170中基于阿尔法值进行阿尔法混合)的视频和图形的图像。这里，混合器170可以使用各种已知算法，但不限于特定方法。

根据实施例，混合器170可以合并与视频信号(诸如广播)相对应的下层和与图形信号(诸如子图片、字幕、图文电视和OSD)相对应的上层。

如上所述，第一信号(例如，视频信号)和第二信号(例如，图形信号)由混合器170混合并输出到显示器110，使得两个图像(换言之，第一图像(例如，视频)和第二图像(例如，图形))可以一起显示在显示器110的一个屏幕上。

电子装置10可以包括主处理器180。

主处理器180执行控制以操作电子装置10的通用组件。主处理器180可以包括用于执行这种控制操作的控制程序(或指令)、安装有控制程序的非易失性存储器、加载有所安装的控制程序的至少一部分的易失性存储器(诸如动态RAM(DRAM))、以及用于执行所加载的控制程序的至少一个处理器(例如，微处理器、应用处理器或CPU)。

主处理器180的处理器可以包括单核处理器、双核处理器、三核处理器、四核处理器等多核处理器。此外，处理器、ROM和RAM可以通过内部总线彼此连接。

根据实施例，处理器可以包括多个处理器。例如，电子装置10可以单独地包括子处理器，该子处理器在电子装置10未完全操作的休眠模式下仅利用待机电源进行操作。

根据实施例，主处理器180可以执行安装在电子装置10中的应用181，并识别用于显示与视频信号相对应的第一图像(例如，视频)和与图形信号相对应的第二图像(例如，图形)的几何信息。所识别出的几何信息(例如，关于视频的大小和位置的信息)可以提供给视频缩放器152。

此外，主处理器180可以执行应用161，以基于缓冲器中的图形信号来执行渲染。可以基于包括所识别出的几何信息(例如，关于图形的起点和终点的信息)的指针来控制图形缩放器162输出这种渲染的图形图像。

根据实施例，主处理器180可以实现为包括在主SoC中，该主SoC安装到在电子装置10内部设置的PCB。

控制程序可以包括由BIOS、设备驱动程序、OS、固件、平台或应用中的至少一种实现的程序。根据示例实施例，应用程序可以在制造电子装置10时预先安装或存储在电子装置10中，或者可以在将来需要时基于从外部接收到的应用数据安装在电子装置10中。应用数据例如可以从诸如应用市场之类的外部服务器将应用数据下载到电子装置10。这种外部服务器仅是根据本公开的计算机程序产品的示例，但不限于此。

控制程序可以记录在可由诸如计算机之类的机器读取的存储介质中。机器可读存储介质可以以非暂时性存储介质或非易失性存储介质的形式提供。这里，术语“非暂时性存储介质”是指有形设备，并且不包括信号(例如，电磁波)，并且该术语不对数据半永久地存储在存储介质中的情况和临时存储数据的情况进行区分。例如，“非暂时性存储介质”可以包括临时存储数据的缓冲器。

图4是示出了根据示例实施例的在电子装置中显示图像的控制操作的流程图。

根据实施例，电子装置10的第一处理器150和第二处理器160可以响应于同步信号来处理和输出每个帧的图像。具体地，第一处理器150可以响应于同步信号来处理第一信号(例如，视频信号)，使得可以以帧为单位输出第一图像(例如，视频)。此外，第二处理器160可以响应于同步信号来处理第二信号(例如，图形信号)，使得可以以帧为单位输出第二图像(例如，图形)。

从第一处理器150和第二处理器160输出的两个图像(例如，第一图像(例如，视频)和第二图像(例如，图形))可以被混频器170混合(例如，合并)以一起显示在显示器110上。

如图4所示，主处理器180可以针对第一信号(例如，视频信号)的多个帧和第二信号(例如，图形信号)的多个帧识别分配有匹配标识信息的视频帧和图形帧(301)。

这里，所识别出的视频帧和图形帧可以形成分别与要一起显示在显示器110上的视频和图形相对应的对。例如，视频信号的多个帧中的一个帧V1和图形信号的多个帧中的要与帧V1一起显示的一个帧G1可以被识别为一对帧。

主处理器180可以控制视频处理器150和图形处理器160将与在操作301中识别出的一对帧相对应的图像(例如，视频帧V1的图像(视频)和图形帧G1的图形)一起显示在一个屏幕上(302)。在操作302的控制过程中，可以控制所识别出的视频帧V1被延迟并从视频处理器150输出，或者可以控制图形帧G1被延迟并从图形处理器160输出，使得所识别出的视频帧V1的图像和所识别出的图形帧G1的图形可以一起显示在显示器110上。

根据实施例，主处理器180的前述操作可以通过与电子装置10分开提供的计算机程序产品(未示出)中存储的计算机程序来实现。

在这种情况下，计算机程序产品包括存储有与计算机程序相对应的指令的非暂时性或非易失性存储器、以及处理器。该指令可由处理器执行，以识别多个视频帧和多个图形帧中的分配有彼此匹配的标识号的视频帧和图形帧，并延迟和输出所识别出的视频帧和图形帧中的至少一种，使得所识别出的视频帧的图像和所识别出的图形帧的图形可以一起显示。

因此，电子装置10可以下载并执行单独计算机程序产品中存储的计算机程序，并执行主处理器180的操作。

下面，将参照附图描述在根据本公开的电子装置中同步并输出图像的实施例。

图5是示意性地示出了根据示例实施例的用于在电子装置中一起显示第一图像和第二图像的配置的操作的图。

在根据实施例的电子装置10中，如图5所示，视频驱动程序182和图形驱动程序183可以在应用181的软件层中由主处理器180执行，并且可以向视频缩放器(V缩放器)152和图形缩放器(G缩放器)162发送信息。

视频驱动程序182可以例如设置用于显示第一图像(视频)的视频几何信息，并向视频缩放器152发送所设置的几何信息。这里，几何信息可以包括关于视频的大小和位置的信息。

图形驱动程序183可以例如执行用于显示存储器184的缓冲器中的第二图像(图形)的图形渲染(或图像渲染)、设置缓冲器指针、以及向图形缩放器162发送所设置的指针信息。这里，指针信息包括关于图形的起点和终点的信息，使得所渲染的图形的每个帧可以在起点和终点之间的部分内输出。

视频缩放器152可以针对第一信号(例如，由视频解码器151基于几何信息处理的视频信号)的每个帧(视频帧)执行缩放，并向混合器170输出经过缩放的视频帧。

根据实施例，视频缩放器152中经过缩放的视频帧在帧速率转换器153中进行帧速率转换，然后输出到混合器170。换言之，从视频缩放器152输出的视频帧被发送到帧速率转换器(FRC)153，在帧速率转换器153中进行帧速率转换，并被提供给混合器170以便与图形帧进行混合。

图形缩放器162可以向混合器170输出第二信号(即，已经在缓冲器中进行图像渲染的图形信号)的每个帧(图形帧)。

混合器170可以混合从视频缩放器152或帧速率转换器153提供的视频帧和从图形缩放器162提供的图形帧，并向显示器110输出所混合的帧，使得彼此匹配的第一图像(视频)和第二图像(图形)可以一起显示在显示器110上。

即使在稍后将参考图8和图12描述的实施例中，也可以同样地执行视频和图形的前述处理和混合以及信息的前述传输。

然而，与本公开相反，在视频和图形一起显示的相关技术中可能出现图像失真。

图6是用于说明在相关技术中当视频和图形一起显示时发生图像失真的情况的图，并且图7是示出了在相关技术中发生图像失真的示例的图。

在图6所示的相关技术中，可以响应于预定的同步信号来针对每个帧处理视频信号和图形信号。这里，同步信号可以使用用于在其上显示图像的显示器110的竖直同步信号Vsync。

然而，即使当在应用程序的层中同时针对视频信号和图形信号两者设置几何信息时，两个信号中的任一个也可以被延迟。例如，视频信号的数据可以比显示器110的第一竖直同步信号晚到达视频缩放器152。

参照图6，当图形信号的数据到达时间点ta时，图形缩放器162可以控制在竖直同步信号的第一脉冲的时间点(即，定时T1)处输出第一图形帧G1。

然而，由于视频信号的数据比图形信号的数据晚到达时间点tb预定时间Δt，因此视频缩放器152控制第一视频帧V1在竖直同步信号的第二脉冲的定时T2处输出，如图6所示。此外，图形缩放器162可以控制第二图形帧G2在第二脉冲的相同定时T2处输出。

换言之，在图6的相关技术中，无法识别同时输出的视频帧和图形帧是否彼此匹配，并且因此要显示在一个屏幕上的视频帧V1和图形帧G1在不同的时间点处输出。

因此，同时输出彼此不匹配的视频帧V1和图形帧G2，并且因此两个图像未正常同步，从而导致图像失真。

例如，这种同步失败可能发生在开箱即用体验(OOBE)过程中(即，在消费者购买TV之后的初始化过程中)，或在电视中安装的YouTube应用(App)的认证过程中。

具体地，在OOBE的最后阶段中，如图7所示，在视频61和图形62同时显示在屏幕上的状态下，可能出现图像失真，使得在视频61的区域逐渐被放大的同时显示黑边部分63(即，视频61和图形62之间的黑边)。

在根据示例实施例的电子装置10中，执行同步处理以防止前述图像失真。

图8是示出了根据示例实施例的用于在电子装置中同步并显示图像的控制操作的流程图，并且图9是示出了在图8的实施例中的用于同步并显示图像的配置的操作的图。

与图4的实施例类似，图8的实施例的特征在于通过以下方式来控制视频帧和图形帧中的至少一种被延迟：操作以基于标识信息(例如，根据帧的顺序分配的序列号)来识别要一起显示的一对帧，向视频帧和图形帧分配标识号，将分配有标识号的视频帧和图形帧的数据存储在队列中，然后弹出所存储的数据。

根据实施例，电子装置10可以在用于同步视频和图形的模式下进行操作，并且控制同步处理(稍后描述)被执行。

如图8所示，电子装置10的主处理器180可以向第一信号(例如，视频信号)的帧(视频帧)和第二信号(例如，图形信号)的帧(图形帧)分配或匹配诸如编号(例如序列号)之类的信息，并且将分配有每个帧的编号的视频信号的数据和图形信号的数据存储在每个队列中(701)。这里，队列具有以先进先出(FIFO)方法存储数据的格式，使得视频帧和图形帧的数据可以顺序地存储在队列中并从队列中输出。

在操作701中，主处理器180可以基于执行(例如，同步模式的开始)向视频信号和图形信号分配用于每个帧的标识信息，使得视频帧和图形帧的数据(例如，作为几何信息的关于视频的大小和位置的信息、以及关于图形的渲染指针的信息)可以与它们分配的编号一起依次被存储(例如，入队)。

参照图9，视频驱动程序182由主处理器180来执行，向视频信号的帧(视频帧)分配序列号(诸如1、2、3、4……)作为标识信息，并将相关数据或信息存储在作为视频几何信息队列提供的第一队列801中。同样，图形驱动程序183由主处理器180来执行，向图形信号的帧(图形帧)分配序列号(诸如1、2、3、4……)作为标识信息，并将相关数据或信息存储在作为图形指针队列提供的第二队列802中。因此，分配有相同标识信息(或序列号)的视频帧和图形帧将作为一对匹配帧一起显示在显示器110上。

由主处理器180执行的视频驱动程序182和图形驱动程序183可以控制数据在预定参考时间点处同时弹出(例如，分别从队列801和802输出)(702)。这里，参考时间点可以基于预定同步信号来设置，并且例如可以是用于显示器110的竖直同步信号Vsync的第一脉冲(作为中断服务例程(IRS))的定时T1。

即，在图9所示的实施例中，例如可以控制第一队列801中存储的视频帧V1的数据和第二队列802中存储的图形帧G1的数据在参考时间点处作为分配有匹配标识信息的一对帧分别从队列801和802中一起弹出(例如，出队)。

因此，视频帧的数据和图形帧的数据在参考时间点处同时从第一队列801和第二队列802中弹出，并分别发送到视频缩放器152和图形缩放器162。

这里，视频驱动程序182可以向视频缩放器152提供针对弹出的视频帧设置的几何信息(或视频几何信息)，并且图形驱动程序183可以针对弹出的图形帧执行图形渲染，并向图形缩放器162提供关于缓冲器指针的信息作为几何信息。

根据实施例，主处理器180可以比较多条标识信息(即，分别分配给在参考时间点处弹出的视频帧和图形帧的序列号)，并基于识别到两条标识信息(编号)彼此对应(例如，匹配)来控制数据发送到视频缩放器152和图形缩放器162中的每个缩放器。

换言之，主处理器180可以控制关于缓冲器指针的信息和视频几何信息作为几何信息发送到视频缩放器152和图形缩放器162中的每个缩放器，并且当基于序列号之间的比较结果识别出从队列801和802中同时弹出的视频帧和图形帧彼此对应时进行设置。

另外，主处理器180可以控制视频处理器150和图形处理器160同步并输出分配有在操作702中发送的且彼此对应的多条标识信息(序列号)的视频帧V1的图像和图形帧G1的图像(703)。

这里，主处理器180例如可以控制视频帧V1和图形帧G1在竖直同步信号Vsync的下一脉冲的定时T2处分别被同步并从视频缩放器152和图形缩放器162输出，并提供给混频器170。

在上述实施例中，在数据存储在第一队列801和第二队列802两者中的状态下，数据同时弹出，并且因此必须控制视频帧和图形帧作为一对同步并输出。

在该过程中，可以控制视频帧V1和图形帧G1中的至少一个被延迟。例如，当形成视频路径的视频处理器150的视频解码器151延迟向视频缩放器152输出视频帧V1时，形成图形路径的图形处理器160的图形缩放器162可以延迟并输出图形帧G1。换言之，图形缩放器162可以从队列802接收几何信息(或渲染指针信息)作为图形帧G1的数据，并基于所接收到的几何信息输出可能被延迟的图形帧G1。

因此，如图6所示，即使一个帧(例如，图形帧G1)较早到达，图形帧G1也被控制为延迟，使得可以在匹配视频帧V1到达之后同步并一起输出视频帧V1和图形帧G1，从而避免在一起显示彼此不匹配的视频和图形时图像失真。

根据实施例，由视频缩放器152缩放的视频帧可以通过帧速率转换器(FRC)153输出到混合器170。

图10是示出了在图8的实施例中的用于同步并显示经过帧速率转换的图像的操作的图。

根据图10所示实施例的电子装置10可以实现为还包括用于与视频信号的帧速率转换中发生的视频帧的延迟时间(换言之，FRC延迟)相对应的附加缓冲的图形缓冲器。

在根据示例实施例的电子装置1 0中，存储器184可以包括用于顺序地存储由视频缩放器152输出的视频帧的视频缓冲器901和用于顺序地存储由图形缩放器162输出的图形帧的图形缓冲器902。

此外，如图10所示，存储器184还可以包括作为图形缓冲器的用于存储与视频帧的FRC延迟相对应的图形帧的FRC缓冲器903。

例如，当在帧速率转换器153转换视频信号的帧速率的同时延迟三个帧时，FRC缓冲器903可以被配置为具有与三个帧相对应的大小。

因此，即使从视频缩放器152输出的视频帧在帧速率转换器153的FRC期间被延迟发送到混合器170，图形帧被延迟提供给混合器170以通过FRC缓冲器903抵消FRC延迟，从而使视频帧和图形帧同步并输出。

图11是用于说明在图8的实施例中的同步并输出视频和图形的示例的图。

在图11所示的实施例中，可以响应于预定的同步信号来针对每个帧同步并输出视频信号和图形信号。这里，同步信号可以采用用于在其上显示图像的显示器110的竖直同步信号Vsync。

如图11所示，在根据示例性实施例的电子装置中，分别存储在第一队列801和第二队列802中的视频帧V1和图形帧G1的数据或信息在同步信号的定时T1处与一对帧相对应地从队列801和802中弹出，并且然后控制视频帧V1和图形帧G1在同步信号的定时T2处被视频缩放器152和图形缩放器162同步并输出。

以相同的方式，视频帧V2和图形帧G2的数据或信息在定时T2处与一对帧相对应地从队列801和802中弹出，并且然后控制视频帧V2和图形帧G2在同步信号的定时T3处被视频缩放器152和图形缩放器162同步并输出。

因此，在根据图8的实施例的电子装置10中，视频帧和图形帧的数据(其标识信息，即编号(序列号)必须彼此相对应)作为一对从队列801和802中同时弹出，并且因此即使视频信号和图形信号之一由于不同的处理路径而被延迟，也不会出现如图6的相关技术中所描述的在不同时间点处输出彼此匹配的视频帧和图形帧的问题。因此，可以防止如图7所示的由于视频和图形之间的同步失败而导致的图像不匹配或失真。

图1 2是示出了根据备选示例实施例的用于在电子装置中同步并显示图像的控制操作的流程图，图13示出了图12的实施例中的用于同步并显示图像的配置的操作，并且图14是示出了在图12的实施例中的延迟并输出图形信号的示例的图。

根据图12的实施例的电子装置识别在第一信号(例如，视频信号)的帧速率转换期间发生的延迟时间(例如，FRC延迟)，并与FRC延迟一样多地预先延迟第二信号(例如，图形信号)，从而控制第一信号和第二信号同步并输出。

与图3和图6的实施例类似，图12的实施例的特征在于：基于标识信息(例如，根据帧的顺序所分配的序列号)来识别要一起显示的一对帧，并且分配有标识号的图形帧的数据比由于FRC延迟的视频帧的数据延迟更多而弹出。

具体地，如图12所示，电子装置10的主处理器180可以将编号(例如，作为标识号的序列号)分配给第一信号(例如，视频信号)的帧和第二信号(例如，图形信号)的帧或与之匹配，并且将分配有根据帧的编号的视频信号的数据和图形信号的数据存储在队列中(1101)。这里，队列被配置为以FIFO方方法存储数据，并且因此视频帧和图形帧的数据可以顺序地存储在队列中并输出。

在操作1101中，主处理器180可以基于执行(例如，同步模式的开始)向视频信号和图形信号分配每个帧的标识信息，使得数据(例如，视频帧和图形帧的几何信息)与它们分配的编号一起顺序地存储(例如，入队)。

参照图9，视频驱动程序182可以由主处理器180来执行，以向视频信号的帧(视频帧)分配序列号(诸如1、2、3、4……)作为标识信息，并将它们存储在第一队列1201中。同样地，图形驱动程序183可以由主处理器180来执行，以向图形信号的帧(图形帧)匹配序列号(诸如1、2、3、4……)作为标识信息，并将它们存储在第二队列1202中。因此，分配有相同标识信息(例如，序列号)的视频帧和图形帧将作为一对匹配帧一起显示在显示器110上。

由主处理器180执行的图形驱动程序183可以识别在第一信号(例如，视频信号)的帧速率转换期间发生的FRC延迟(1102)。这里，主处理器180可以从帧速率转换器153获得关于由于FRC而发生的FRC延迟的信息。

图形驱动程序183可以控制第二信号(例如，图形帧)(其存储在第二队列1202中，同时在操作1101中匹配序列号)的数据从第二队列1202中弹出(例如，出队)，与在操作1102中识别的FRC延迟相对应地比第一信号(例如，视频帧)(其存储在第一队列1201中，同时在操作1101中匹配相同的序列号)延迟更多(1103)。在该过程中，图形驱动程序183的图形渲染时间点可以与FRC延迟相对应地延迟。

例如，当在操作1102中识别出FRC延迟对应于两个帧时，如图14所示，可以控制第一队列1201中存储的视频帧V1的数据在同步信号的定时T1处从第一队列1201中弹出(1301)，但可以控制存储在第二队列1202中且与视频帧V1相对应的图形帧G1的数据在延迟两个帧的定时T3处从第二队列1202中弹出(1302)。

以相同的方式，控制视频帧V2的数据在T2定时处弹出，同时控制图形帧G2的匹配数据在延迟两个帧的定时T4处弹出。

换言之，在图12的实施例中，可以控制分配有匹配标识信息的一对帧中的一个帧的数据被弹出(例如，出对)，相对于由于FRC而延迟的另一帧的数据，其延迟与FRC延迟一样多。

因此，图形帧G1的数据发送到图形缩放器162的时间点比视频帧V1的数据发送到视频缩放器152的时间点晚FRC延迟时间。

另外，主处理器180可以控制第一处理器150和第二处理器160同步并输出在操作1102中接收到的且分配有匹配标识信息(或序列号)的一对帧(例如，视频帧V1和图形帧G1)的图像(1104)。

具体地，在操作1103中，视频帧V1在视频缩放器152中基于数据(例如，在定时T1处输出的视频几何信息)缩放，发送到帧速率转换器153，以在FRC期间延迟两个帧，并且因此与图形帧G1一起输出到混合器170，基于数据(例如，在定时T3处输出的指针信息)与从图形缩放器162输出的图形帧G1同步。

在前述实施例中，要一起显示的视频帧和图形帧之一(即，图形帧)与视频的RFC延迟相对应地预先延迟并然后输出，并且因此两个图像(换言之，第一图像(视频)和第二图像(图形))被同步并一起显示在显示器110上，而无需如图10所示为存储器184中的图形帧附加地提供FRC缓冲器903。

根据实施例，根据本公开的各种实施例的方法可以被提供为涉及计算机程序产品。计算机程序产品可以作为卖方和买方之间的产品进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(CD-ROM))的形式分发，或者可以直接或通过应用商店(例如，PlayStoreTM)在两个用户装置(例如，智能电话)之间在线分发(例如，下载或上传)。在在线分发的情况下，计算机程序产品(例如，可下载的应用)的至少一部分可以暂时地存储或临时地产生在机器可读存储介质(诸如制造商服务器、应用商店服务器或中继服务器的存储器)中。

尽管已经详细描述了本公开的几个示例实施例，但在不脱离所附权利要求限定的范围的情况下，可以对这些示例实施例进行各种改变。