掌桥专利:专业的专利平台
掌桥专利
首页

多屏交互方法、装置、设备及存储介质

文献发布时间:2023-06-19 18:53:06


多屏交互方法、装置、设备及存储介质

技术领域

本申请涉及车辆技术领域,尤其涉及一种多屏交互方法、装置、设备及存储介质。

背景技术

随着汽车行业的迅猛发展,人们对车内娱乐系统的要求越来越高,车内乘客都希望有自己独立的娱乐系统,且希望娱乐系统之间可以实现交互。

相关技术中,车端单颗芯片拖动屏幕数量有限,不足以支撑车内乘客通过独立的娱乐系统进行交互的需求。因此,亟需一种足以支撑车内乘客通过独立的娱乐系统进行交互的解决方案。

发明内容

本申请实施例提供一种多屏交互方法、装置、设备及存储介质,用以实现车内乘客通过独立的娱乐系统进行交互的需求。

第一方面,本申请实施例提供一种多屏交互方法,应用于车辆,该车辆与云服务器连接,车辆上设置有多个娱乐系统,娱乐系统包含显示屏,多个娱乐系统包含的显示屏包括第一显示屏和第二显示屏,云服务器中部署的云端虚拟机中运行有虚拟屏,虚拟屏包含与第一显示屏对应的第一虚拟屏和与第二显示屏对应的第二虚拟屏;多屏交互方法包括:在第一显示屏上,接收面向第二显示屏的多屏交互操作;响应于多屏交互操作,生成包含多屏交互操作的多屏交互事件;向云服务器发送多屏交互事件,以得到多屏交互视频流,该多屏交互视频流是通过云端虚拟机响应多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作过程对应的视频流;在第一显示屏和/或第二显示屏上,显示多屏交互视频流。

一种可能的实现方式中,在第一显示屏上,接收面向第二显示屏的多屏交互操作,包括:在第一显示屏上,接收方向指向第二显示屏的多屏交互操作;和/或,在第一显示屏上,接收用于显示多个显示屏的第一交互操作;在第一显示屏上显示多个显示屏;接收选中第二显示屏的第二交互操作,确定第二显示屏,其中,多屏交互操作包括第一交互操作和第二交互操作。

一种可能的实现方式中,多个娱乐系统包含中控娱乐系统,娱乐系统还包含音频播放设备,云端虚拟机中为每个虚拟屏分配独立的音区,音区用于存储对应显示屏的音频数据,该多屏交互方法还包括:通过中控娱乐系统接收通过云端虚拟机发送的音频数据,并将音频数据推送至对应娱乐系统的音频播放设备进行播放。

一种可能的实现方式中,多个娱乐系统中不同娱乐系统与云端虚拟机进行交互的通道是相互独立的。

第二方面,本申请实施例提供一种多屏交互方法,应用于云服务器,该云服务器中部署的云端虚拟机中运行有多个虚拟屏,多个虚拟屏包含与第一显示屏对应第一虚拟屏和与第二显示屏对应第二虚拟屏;云服务器与车辆连接,车辆上设置有多个娱乐系统,娱乐系统包含显示屏,多个娱乐系统包含的显示屏包括第一显示屏和第二显示屏;该多屏交互方法包括:接收多屏交互事件,该多屏交互事件是车辆响应于在第一显示屏上接收的面向第二显示屏的多屏交互操作,生成的包含多屏交互操作的多屏交互事件;通过云端虚拟机响应多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作的过程,并向车辆发送过程对应的多屏交互视频流,以使车辆在第一显示屏和/或第二显示屏上显示多屏交互视频流。

一种可能的实现方式中,多个娱乐系统包含中控娱乐系统,娱乐系统还包含音频播放设备,云端虚拟机中为每个虚拟屏分配独立的音区,音区用于存储对应显示屏的音频数据,该多屏交互方法还包括:通过云端虚拟机向中控娱乐系统发送音频数据,该中控娱乐系统用于将音频数据推送至对应娱乐系统的音频播放设备进行播放。

一种可能的实现方式中,多个娱乐系统中不同娱乐系统与云端虚拟机进行交互的通道是相互独立的。

第三方面,本申请实施例提供一种多屏交互装置,应用于车辆,该车辆与云服务器连接,车辆上设置有多个娱乐系统,娱乐系统包含显示屏,多个娱乐系统包含的显示屏包括第一显示屏和第二显示屏,云服务器中部署的云端虚拟机中运行有虚拟屏,虚拟屏包含与第一显示屏对应的第一虚拟屏和与第二显示屏对应的第二虚拟屏;该多屏交互装置包括:接收模块,用于在第一显示屏上,接收面向第二显示屏的多屏交互操作;生成模块,用于响应于多屏交互操作,生成包含多屏交互操作的多屏交互事件;发送模块,用于向云服务器发送多屏交互事件,以得到多屏交互视频流,该多屏交互视频流是通过云端虚拟机响应多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作过程对应的视频流;显示模块,用于在第一显示屏和/或第二显示屏上,显示多屏交互视频流。

一种可能的实现方式中,接收模块具体用于:在第一显示屏上,接收方向指向第二显示屏的多屏交互操作;和/或,在第一显示屏上,接收用于显示多个显示屏的第一交互操作;在第一显示屏上显示多个显示屏;接收选中第二显示屏的第二交互操作,确定第二显示屏,其中,多屏交互操作包括第一交互操作和第二交互操作。

一种可能的实现方式中,多个娱乐系统包含中控娱乐系统,娱乐系统还包含音频播放设备,云端虚拟机中为每个虚拟屏分配独立的音区,音区用于存储对应显示屏的音频数据,接收模块还用于:通过中控娱乐系统接收通过云端虚拟机发送的音频数据,并将音频数据推送至对应娱乐系统的音频播放设备进行播放。

一种可能的实现方式中,多个娱乐系统中不同娱乐系统与云端虚拟机进行交互的通道是相互独立的。

第四方面,本申请实施例提供一种多屏交互装置,应用于云服务器,该云服务器中部署的云端虚拟机中运行有多个虚拟屏,多个虚拟屏包含与第一显示屏对应第一虚拟屏和与第二显示屏对应第二虚拟屏;云服务器与车辆连接,车辆上设置有多个娱乐系统,娱乐系统包含显示屏,多个娱乐系统包含的显示屏包括第一显示屏和第二显示屏;该多屏交互装置包括:接收模块,用于接收多屏交互事件,该多屏交互事件是车辆响应于在第一显示屏上接收的面向第二显示屏的多屏交互操作,生成的包含多屏交互操作的多屏交互事件;执行模块,用于通过云端虚拟机响应多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作的过程,并向车辆发送过程对应的多屏交互视频流,以使车辆在第一显示屏和/或第二显示屏上显示多屏交互视频流。

一种可能的实现方式中,多个娱乐系统包含中控娱乐系统,娱乐系统还包含音频播放设备,云端虚拟机中为每个虚拟屏分配独立的音区,音区用于存储对应显示屏的音频数据,该多屏交互装置还包括发送模块,该发送模块用于:通过云端虚拟机向中控娱乐系统发送音频数据,该中控娱乐系统用于将音频数据推送至对应娱乐系统的音频播放设备进行播放。

一种可能的实现方式中,多个娱乐系统中不同娱乐系统与云端虚拟机进行交互的通道是相互独立的。

第五方面,本申请提供一种电子设备,包括:至少一个处理器;以及与至少一个处理器连接的存储器;其中,存储器用于存储至少一个处理器可执行的指令,该指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面或第二方面提供的多屏交互方法。

第六方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机执行指令,计算机执行指令被执行时用于实现第一方面或第二方面提供的多屏交互方法。

第七方面,本申请提供一种程序产品,该程序产品包含计算机执行指令。当计算机执行指令被执行时,以实现第一方面或第二方面提供的多屏交互方法。

本申请提供一种多屏交互方法、装置、设备及存储介质,通过在车辆上设置的多个娱乐系统的第一显示屏上,接收面向多个娱乐系统的第二显示屏的多屏交互操作,响应于该多屏交互操作,生成包含多屏交互操作的多屏交互事件,并将该多屏交互事件发送给与车辆连接的云服务器,以得到多屏交互视频流,并进一步在第一显示屏和/或第二显示屏上,显示多屏交互视频流。本申请中,通过部署在云服务器中的云端虚拟机响应多屏交互事件,并在云端虚拟机与第一显示屏对应的第一虚拟屏,和与第二显示屏对应的第二虚拟屏执行该多屏交互操作,实现了云端虚拟机中多块虚拟屏之间的互动,进一步通过将该多屏交互操作过程对应的多屏交互视频流显示在车端多个娱乐系统对应的第一显示屏和第二显示屏上,间接的实现车端跨系统的多屏互动,实现车内乘客通过独立的娱乐系统进行交互的需求。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的应用场景的结构示意图;

图2为本申请一实施例提供的多屏交互方法的流程图;

图3为本申请另一实施例提供的多屏交互方法的流程图;

图4为本申请一实施例提供的多屏交互装置的结构示意图;

图5为本申请另一实施例提供的多屏交互装置的结构示意图;

图6为本申请一实施例提供的电子设备的结构示意图。

通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

相关技术中,一方面,车端单颗芯片拖动屏幕数量有限,不足以支撑车内乘客通过独立的娱乐系统进行交互的需求;另一方面,通过多颗芯片多系统拖动多屏时,难以实现跨硬件,跨系统的多屏互动。

基于相关技术中存在的问题,本申请通过在与车辆连接的云服务器中部署的云端虚拟机的单系统内,虚拟生成多块与车端娱乐系统中包括的显示屏对应的虚拟屏,并将车端各个显示屏之间的交互操作事件发送到云端虚拟机中对应的虚拟屏,通过云端虚拟机在对应的虚拟屏上执行对应的交互操作,实现云端虚拟机单系统内多块虚拟屏之间互动功能,进一步通过将云端虚拟机中通过执行交互操作过程对应的多屏交互视频流发送给车端对应的显示屏进行显示,从而间接实现车端跨硬件、跨系统之间的多屏互动,实现车内乘客通过独立的娱乐系统进行交互的需求。

为了便于理解,首先对本申请实施例的应用场景进行介绍。

图1为本申请实施例提供的应用场景的结构示意图。如图1所示,该应用场景包括车端娱乐系统11和云端虚拟机12,车端娱乐系统11和云端虚拟机可以通过车载以太网进行通信连接,其中,云端虚拟机12可以部署在云服务器中。具体的,车端娱乐系统11包括中控娱乐系统、副驾娱乐系统以及后排娱乐系统。其中,中控娱乐系统可以包含中控显示屏、副驾娱乐系统可以包含副驾显示屏、后排娱乐系统可以包含后排显示屏。示例性的,后排显示屏可以包含左后排显示屏、右后排显示屏以及中后排显示屏。

需要说明的是,中控娱乐系统、副驾娱乐系统以及后排娱乐系统可以为相同的系统,也可以为不同的系统。示例性的,可以为安卓(Android)系统,也可以为Linxu系统。云端虚拟机12为Android系统。

可选地,中控娱乐系统、副驾娱乐系统以及后排娱乐系统还可以包含对应的云底座应用程序(Application,简称APP)以及云底座软件开发工具包(Software DevelopmentKit,简称SDK)。具体的,云底座SDK以及云底座APP分别用于从云端虚拟机12中拉取音视频流以及对音视频流进行解码,以将对应的音视频流呈现在车端娱乐系统对应的显示屏上。可以理解的是,云底座APP中可以设置有解码器。

可选地,云端虚拟机12包含有与车端娱乐系统包含的显示屏对应的虚拟显示屏,且每个虚拟显示屏均设置有对应的独立音区。具体的,独立音区用于存储对应车端显示屏的音频数据。示例性的,虚拟显示屏可以为与中控显示屏对应的中控虚拟屏、与副驾显示屏对应的副驾虚拟屏、与左后排显示屏对应的左后排虚拟屏,以及与右后排显示屏对应的右后排虚拟屏;独立音区可以为与中控虚拟屏对应的中控音区、与副驾虚拟屏对应的副驾音区、与左后排虚拟屏对应的左后排音区,以及与右后排显示屏对应的右后排音区。

可选地,中控娱乐系统中还可以包含多音区控制单元,用于接收来自云端虚拟机12发送的音频数据,并将各显示屏对应的音频数据推送到车端各个音频播放器(AudioMPEG Player,简称AMP)。示例性的,AMP可以包括AMP1、AMP2、AMP3以及AMP4。

车端娱乐系统11通过将对应显示屏的触摸事件(Touch Event)通过车载以太网发送给云端虚拟机12在对应的虚拟屏上进行执行,云端虚拟机12将通过执行触摸事件对应的音视频流发送到车端娱乐系统以显示,通过实现云端虚拟机12单系统内多块虚拟屏之间的互动功能,从而间接实现车端娱乐系统之间的多屏互动。

基于上述应用场景,下面结合具体实施例分别以车辆和云服务器为执行主体,对本申请实施例提供的多屏交互方法进行详细说明。

首先以车辆为执行主体,对本申请实施例提供的多屏交互方法进行详细说明。

图2为本申请一实施例提供的多屏交互方法的流程图。本申请实施例提供一种应用于车辆的多屏交互方法。如图2所示,该多屏交互方法可以包括以下步骤:

S201,在第一显示屏上,接收面向第二显示屏的多屏交互操作。

可选地,第一显示屏和第二显示屏可以为上述车端娱乐系统中用于交互的显示屏。具体的,第一显示屏和第二显示屏可以为上述应用场景中的中控显示屏、副驾显示屏、左后排显示屏以及右后排显示屏中的任意一种。

可以理解的是,在该多屏交互过程中,第一显示屏为用于发起交互的显示屏,第二显示屏为用于接收第一显示屏交互内容的目标显示屏。示例性的,第一显示屏为一个显示屏,第二显示屏可以同时包含多个显示屏。

可选地,多屏交互操作可以为触摸操作。示例性的,触摸操作可以为三指滑动、三指按压以及单指点击等。

S202,响应于多屏交互操作,生成包含多屏交互操作的多屏交互事件。

可选地,多屏交互事件还可以包含多屏交互操作在第一显示屏的位置坐标。

需要说明的是,上述车端娱乐系统的显示屏均具有对应的位置坐标。且云端虚拟机中包含的与车端娱乐系统包含的显示屏对应的虚拟屏的大小,与车端娱乐系统的显示屏的大小相同。

示例性的,多屏交互操作在第一显示屏的(x1,y1)这个位置点进行触摸,则对应的多屏交互事件中包含该对应的位置坐标(x1,y1)。

S203,向云服务器发送多屏交互事件,以得到多屏交互视频流,该多屏交互视频流是通过云端虚拟机响应多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作过程对应的视频流。

一种可能的实现方式中,车端通过第一显示屏与云服务器中部署的云端虚拟机中包含的与第一显示屏对应的第一虚拟屏之间的通道,将多屏交互事件发送给云端虚拟机,云端虚拟机根据该多屏交互事件中包含的多屏交互操作对应的位置坐标在第一虚拟屏对应的位置执行该多屏交互操作,并将执行该多屏交互操作过程对应的视频流实时的发送给车端对应的第一显示屏和第二显示屏。

可以理解的是,在进行多屏交互时,可以在第一显示屏和第二显示屏上呈现出将第一显示屏中的用于交互的内容移动到第二显示屏的过程,因此,将执行多屏交互操作过程对应的内容称为视频流。

可选地,交互内容可以为第一显示屏中的应用程序,也可以为第一显示屏中当前正在播放的视频,本申请实施例对具体的交互内容不做限定。

可选地,当交互内容为第一显示屏中的应用程序时,该应用在第二显示屏中可以直接获取相应的视频资源,无需在第二显示屏进行安装。

S204,在第一显示屏和/或第二显示屏上,显示多屏交互视频流。

可以理解的是,可以将云端虚拟机中执行多屏交互操作时对应的将第一显示屏的交互内容拖动到第二显示屏的整个视频流呈现在第一显示屏和/或第二显示屏中。

需要说明的时,本申请实施例提供的多屏交互方法可以在进行多屏交互时,将其交互的过渡阶段呈现在对应的显示屏上。

本申请实施例中,通过在车辆上设置的多个娱乐系统的第一显示屏上,接收面向多个娱乐系统的第二显示屏的多屏交互操作,响应于该多屏交互操作,生成包含多屏交互操作的多屏交互事件,并将该多屏交互事件发送给与车辆连接的云服务器,以得到多屏交互视频流,并进一步在第一显示屏和/或第二显示屏上,显示多屏交互视频流。本申请中,通过部署在云服务器中的云端虚拟机响应多屏交互事件,并在云端虚拟机与第一显示屏对应的第一虚拟屏,和与第二显示屏对应的第二虚拟屏执行该多屏交互操作,实现了云端虚拟机中多块虚拟屏之间的互动,进一步通过将该多屏交互操作过程对应的多屏交互视频流显示在车端多个娱乐系统对应的第一显示屏和第二显示屏上,间接的实现车端跨系统的多屏互动,实现车内乘客通过独立的娱乐系统进行交互的需求。

基于上述实施例,可选地,步骤S201在第一显示屏上,接收面向第二显示屏的多屏交互操作还可以具体包括以下实现方式:在第一显示屏上,接收方向指向第二显示屏的多屏交互操作;和/或,在第一显示屏上,接收用于显示多个显示屏的第一交互操作;在第一显示屏上显示多个显示屏;接收选中第二显示屏的第二交互操作,确定第二显示屏,其中,多屏交互操作包括第一交互操作和第二交互操作。

可选地,方向指向第二显示屏的多屏交互操作可以为向上滑动的多屏交互操作、向下滑动的多屏交互操作、向左滑动的多屏交互操作、向右滑动的多屏交互操作,向左上滑动的多屏交互操作、向左下滑动的多屏交互操作,向右上滑动的多屏交互操作以及向右下滑动的多屏交互操作等。

可以理解的是,方向指向第二显示屏的多屏交互操作适用于相邻的显示屏,且每一个具体的多屏交互操作均包含有对应的用于确定相应交互屏的指令。

一些实施例中,当第一显示屏和第二显示屏为中控屏和副驾屏时,可以通过在中控屏上进行向左滑动的指令,进行中控屏和副驾屏之间的交互,通过在副驾屏上进行向右滑动的指令,进行副驾屏和中控屏之间的交互;当第一显示屏和第二显示屏为中控屏和右后排屏时,可以通过在中控屏上进行向右下滑动的指令,进行中控屏和右后排屏之间的交互,通过在右后排屏上进行向左上滑动的指令,进行右后排屏和中控屏之间的交互等等。具体的交互实现方法与上述类似,这里不再赘述。

可选地,第一交互操作可以为三指在显示屏上按压后快速抬起,第二交互操作可以为单指点击。示例性的,在第一显示屏上通过三指按压显示屏并快速抬起手指,即可在第一显示屏上呈现出车端娱乐系统中所包含的全部显示屏,并用单指单机用于与第一显示屏交互的第二显示屏,进行第一显示屏和第二显示屏之间的交互,其中,第二显示屏可以同时包含多个显示屏。具体的交互实现方法与上述类似,这里不再赘述。

可选地,第一显示屏和第二显示之间也可以通过上述第二交互操作即单击操作,实现第一显示屏和第二显示屏之间的交互。示例性的,当第一显示屏和第二显示屏上均存在相同的应用软件时,可以通过单击第一显示屏上对应的应用软件的图标,将该应用软件打开的对应内容呈现在第二显示屏上,实现第一显示屏和第二显示屏之间的交互。具体的交互实现方法与上述类似,这里不再赘述。

可以理解的是,基于上述多屏交互操作,本申请实施例提供的多屏交互方法对车端显示屏的个数不做限定。

可选地,车端娱乐系统中还可以包含音频播放设备。具体的,该音频播放设备可以用于播放娱乐系统包含的显示屏中对应的音频数据。示例性的,该音频播放设备可以为喇叭。

一些实施例中,基于上述音频播放设备以及应用场景中提供的云端虚拟机中为每个虚拟屏分配的独立音区,本申请实施例提供的多屏交互方法还可以包括以下步骤:通过中控娱乐系统接收通过云端虚拟机发送的音频数据,并将音频数据推送至对应娱乐系统的音频播放设备进行播放。

具体的,云端虚拟机将每个独立音区对应的音频数据发送给中控娱乐系统中的多音区控制单元,多音区控制单元进一步根据每个独立音区发送到多音区控制单元的交互通道,将该独立音区对应的音频数据推送到对应的娱乐系统处包含的音频播放设备进行播放,使音频数据实时呈现在车端娱乐系统用于交互的显示屏上。

需要说明的是,在进行多屏交互时,独立音区对应的音频数据也会进行相应的交互。示例性的,当将车端中控娱乐系统包含的中控屏中的内容交互到副驾娱乐系统对应的副驾屏时,其中控娱乐系统中的多音区控制单元接收到云端虚拟机中中控虚拟屏对应的独立音区对应的音频数据时,将把该音频数据发送给副驾屏对应的音频播放设备。

可选地,本申请实施例提供的多屏交互方法中,车端多个娱乐系统中不同娱乐系统与云端虚拟机进行交互的通道是相互独立的。示例性的,中控娱乐系统与中控虚拟屏之间的交互通道可以为Display0,副驾娱乐系统与副驾虚拟屏之间的交互通道可以为Display1等。可以理解的是,云端虚拟机中与虚拟屏对应的独立音区的音频数据也可以通过对应的交互通道发送给中控娱乐系统。

下面以云服务器为执行主体,对本申请实施例提供的多屏交互方法进行详细说明。

图3为本申请另一实施例提供的多屏交互方法的流程图。本申请实施例提供一种应用于云服务器的多屏交互方法。如图3所示,该多屏交互方法可以包括以下步骤:

S301,接收多屏交互事件,该多屏交互事件是车辆响应于在第一显示屏上接收的面向第二显示屏的多屏交互操作,生成的包含多屏交互操作的多屏交互事件。

具体的,多屏交互事件以及多屏交互操作与上述所述类似,这里不再赘述。

S302,通过云端虚拟机响应多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作的过程,并向车辆发送过程对应的多屏交互视频流,以使车辆在第一显示屏和/或第二显示屏上显示多屏交互视频流。

具体的多屏交互的实现方法与上述类似,这里不再赘述。

可选地,该多屏交互方法中还可以包括音频数据的推送。具体的,通过云端虚拟机向中控娱乐系统发送音频数据,中控娱乐系统用于将音频数据推送至对应娱乐系统的音频播放设备进行播放。其中,多个娱乐系统包含中控娱乐系统,娱乐系统还包含音频播放设备,云端虚拟机中为每个虚拟屏分配独立的音区,音区用于存储对应显示屏的音频数据。

可选地,多个娱乐系统中不同娱乐系统与云端虚拟机进行交互的通道是相互独立的。

本申请实施例中,通过接收车辆响应于在第一显示屏上接收的面向第二显示屏的多屏交互操作,生成的包含多屏交互操作的多屏交互事件,进一步通过云端虚拟机响应该多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作的过程,并向车辆发送过程对应的多屏交互视频流,以使车辆在第一显示屏和/或第二显示屏上显示多屏交互视频流,实现了云端虚拟机中多块虚拟屏之间的互动,间接的实现车端跨系统的多屏互动,实现车内乘客通过独立的娱乐系统进行交互的需求。

下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。

图4为本申请一实施例提供的多屏交互装置的结构示意图。如图4所示,该多屏交互装置应用于车辆,该车辆与云服务器连接,车辆上设置有多个娱乐系统,娱乐系统包含显示屏,多个娱乐系统包含的显示屏包括第一显示屏和第二显示屏,云服务器中部署的云端虚拟机中运行有虚拟屏,虚拟屏包含与第一显示屏对应的第一虚拟屏和与第二显示屏对应的第二虚拟屏。如图4所示,该多屏交互装置40包括:接收模块410、生成模块420、发送模块430以及显示模块440。

其中,接收模块410,用于在第一显示屏上,接收面向第二显示屏的多屏交互操作;生成模块420,用于响应于多屏交互操作,生成包含多屏交互操作的多屏交互事件;发送模块430,用于向云服务器发送多屏交互事件,以得到多屏交互视频流,该多屏交互视频流是通过云端虚拟机响应多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作过程对应的视频流;显示模块440,用于在第一显示屏和/或第二显示屏上,显示多屏交互视频流。

一种可能的实现方式中,接收模块410具体用于:在第一显示屏上,接收方向指向第二显示屏的多屏交互操作;和/或,在第一显示屏上,接收用于显示多个显示屏的第一交互操作;在第一显示屏上显示多个显示屏;接收选中第二显示屏的第二交互操作,确定第二显示屏,其中,多屏交互操作包括第一交互操作和第二交互操作。

一种可能的实现方式中,多个娱乐系统包含中控娱乐系统,娱乐系统还包含音频播放设备,云端虚拟机中为每个虚拟屏分配独立的音区,音区用于存储对应显示屏的音频数据,接收模块410还可以用于:通过中控娱乐系统接收通过云端虚拟机发送的音频数据,并将音频数据推送至对应娱乐系统的音频播放设备进行播放。

一种可能的实现方式中,多个娱乐系统中不同娱乐系统与云端虚拟机进行交互的通道是相互独立的。

本申请实施例提供的装置,可用于执行上述方法实施例提供的方法步骤,其实现原理和技术效果类似,在此不再赘述。

图5为本申请另一实施例提供的多屏交互装置的结构示意图。如图5所示,该多屏交互装置应用于云服务器,该云服务器中部署的云端虚拟机中运行有多个虚拟屏,多个虚拟屏包含与第一显示屏对应第一虚拟屏和与第二显示屏对应第二虚拟屏;云服务器与车辆连接,车辆上设置有多个娱乐系统,娱乐系统包含显示屏,多个娱乐系统包含的显示屏包括第一显示屏和第二显示屏。如图5所示,该多屏交互装置50包括:接收模块510和执行模块520。

其中,接收模块510,用于接收多屏交互事件,该多屏交互事件是车辆响应于在第一显示屏上接收的面向第二显示屏的多屏交互操作,生成的包含多屏交互操作的多屏交互事件;执行模块520,用于通过云端虚拟机响应多屏交互事件,在第一虚拟屏和第二虚拟屏执行多屏交互操作的过程,并向车辆发送过程对应的多屏交互视频流,以使车辆在第一显示屏和/或第二显示屏上显示多屏交互视频流。

一种可能的实现方式中,多个娱乐系统包含中控娱乐系统,娱乐系统还包含音频播放设备,云端虚拟机中为每个虚拟屏分配独立的音区,音区用于存储对应显示屏的音频数据,该多屏交互装置还包括发送模块(未图示),该发送模块用于:通过云端虚拟机向中控娱乐系统发送音频数据,该中控娱乐系统用于将音频数据推送至对应娱乐系统的音频播放设备进行播放。

一种可能的实现方式中,多个娱乐系统中不同娱乐系统与云端虚拟机进行交互的通道是相互独立的。

本申请实施例提供的装置,可用于执行上述方法实施例提供的方法步骤,其实现原理和技术效果类似,在此不再赘述。

需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(Digital Signal Processor,简称DSP),或,一个或者多个现场可编程逻辑门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(System-On-a-Chip,简称SOC)的形式实现。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital SubscriberLine,简称DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘,(Digital Video Disc,简称DVD))、或者半导体介质(例如固态硬盘solid state disk(SSD))等。

图6为本申请一实施例提供的电子设备的结构示意图。如图6所示,该电子设备60包括:至少一个处理器610、存储器620、通信接口630和系统总线640。其中,存储器620和通信接口630通过系统总线640与处理器610连接并完成相互间的通信,存储器620用于存储指令,通信接口630用于和其他设备进行通信,处理器610用于调用存储器中的指令以执行如上述方法实施例提供的方法步骤,具体实现方式和技术效果类似,这里不再赘述。

该图6中提到的系统总线640可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该系统总线640可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口630用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。

存储器620可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。

处理器610可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,简称NP)等;数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程逻辑门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如上述方法实施例中的方法步骤,具体实现方式和技术效果类似,这里不再赘述。

本申请实施例还提供一种程序产品,该程序产品包含计算机执行指令。当计算机执行指令被执行时,以实现如上述方法实施例中的方法步骤,具体实现方式和技术效果类似,这里不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到发明的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。

应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。

需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。

相关技术
  • 基于触摸屏的交互方法及装置、计算机可读存储介质
  • 交互方法、交互装置、电子设备及存储介质
  • 一种语音交互设备唤醒方法、装置、设备及存储介质
  • 智能语音设备间的交互方法、装置、设备及存储介质
  • 智能设备的交互方法、装置、智能设备和存储介质
  • 一种监控调看投屏方法、装置、计算机设备、可读存储介质及监控调看投屏交互系统
  • 一种云桌面投屏方法、装置、计算机设备、计算机可读存储介质及云桌面投屏交互系统
技术分类

06120115724840