基于多屏协同的显示应用界面的方法及相关装置

技术领域

本申请属于通讯技术领域，具体涉及一种基于多屏协同的显示应用界面的方法及相关装置。

背景技术

当前，终端设备之间的交互越来越频繁，而终端设备之间关联使用的场景也越来越多，例如多个终端之间相互配合实现跨设备的多屏协同场景。现有的多屏协同使用场景中，第一终端设备往往通过网络将第一终端设备显示屏中显示的内容投屏到第二终端设备，但是，这样投屏的质量往往受网络影响，导致投屏质量不稳定，且安全性低。

发明内容

本申请提供一种基于多屏协同的显示应用界面的方法及相关装置，通过设置有多个功能模块的转接器连接多个终端设备，从而实现多个终端设备之间的多屏协同，提高投屏过程的稳定性与安全性，且通过功能模块快速控制连接的终端设备内的应用，提高转接器的智能性。

第一方面，本申请提供一种基于多屏协同的显示应用界面的方法，应用于多屏协同系统的转接器，所述多屏协同系统包括至少一个第一终端设备和至少一个第二终端设备，所述至少一个第一终端设备中的每个第一终端设备与所述转接器的第一接口集合器连接，所述至少一个第二终端设备中的每个第二终端设备与所述转接器的第二接口集合器连接，所述转接器用于将所述第一终端设备的投屏显示数据实时输送到所述第二终端设备，所述转接器包括至少一个功能模块，所述至少一个功能模块表征用于控制所述第一终端设备内应用的模块，所述方法包括：

响应于所述第一终端设备的第一投屏请求，获取所述第一终端设备的第一数据，所述第一数据表征在当前时间点所述第一终端设备的界面显示数据；

将所述第一数据发送给所述第二终端设备，以使得所述第二终端设备显示所述第一终端设备在当前时间点的界面；

若检测到用户在所述至少一个功能模块中第一功能模块上进行操作，则根据所述用户在所述第一功能模块上的操作生成第一操作事件；

获取所述第一功能模块对应的第一控制指令集，并从所述第一控制指令集中查找所述第一操作事件对应的第一控制指令，所述第一控制指令集包括不同第一操作事件和不同控制指令的对应关系，控制指令表征用于控制所述第一终端设备的应用执行预设的操作的指令；

从预设的应用与模块对应关系表中查找所述第一功能模块对应的第一应用标识，所述应用与模块对应关系表包括不同功能模块与不同应用标识的对应关系；

将所述第一应用标识与所述第一控制指令发送给所述第一终端设备，以使得所述第一终端设备针对所述第一应用标识对应的第一应用执行所述第一控制指令；

接收所述第一终端设备的第二数据，所述第二数据表征所述第一终端设备根据所述第一控制指令对所述第一应用进行控制生成的界面显示数据；

将所述第二数据发送给所述第二终端设备，以使所述第二终端设备根据所述第二数据显示所述第一终端设备执行所述第一控制指令生成的界面。

第二方面，本申请提供一种基于多屏协同的显示应用界面的装置，所述装置包括转接器，所述转接器包括至少一个功能模块，功能模块用于控制与所述转接器的第一接口集合器和第二接口集合器连接的终端设备，所述转接器用于将与所述第一接口集合器连接的至少一个第一终端设备的界面实时投放到与所述第二接口集合器连接的至少一个第二终端设备的屏幕上，所述装置包括：

第一获取单元，用于响应于第一终端设备的第一投屏请求，获取所述第一终端设备的第一数据，所述第一数据表征在当前时间点所述第一终端设备的界面显示数据，所述第一终端设备为所述至少一个第一终端设备中的设备，所述第二终端设备为所述至少一个第二终端设备中的设备；

第一发送单元，用于将所述第一数据发送给所述第二终端设备，以使得所述第二终端设备显示所述第一终端设备在当前时间点的界面；

处理单元，用于若检测到用户在所述至少一个功能模块中第一功能模块上进行操作，则根据所述用户在所述第一功能模块上的操作生成第一操作事件；

第二获取单元，用于获取所述第一功能模块对应的第一控制指令集，并从所述第一控制指令集中查找所述第一操作事件对应的第一控制指令，所述第一控制指令集包括不同第一操作事件和不同控制指令的对应关系，控制指令表征用于控制所述第一终端设备的应用执行预设的操作的指令；

查找单元，用于从预设的应用与模块对应关系表中查找所述第一功能模块对应的第一应用标识，所述应用与模块对应关系表包括不同功能模块与不同应用标识的对应关系；

执行单元，用于将所述第一应用标识与所述第一控制指令发送给所述第一终端设备，以使得所述第一终端设备针对所述第一应用标识对应的第一应用执行所述第一控制指令；

接收单元，用于接收所述第一终端设备的第二数据，所述第二数据表征所述第一终端设备根据所述第一控制指令对所述第一应用进行控制生成的界面显示数据；

第二发送单元，用于将所述第二数据发送给所述第二终端设备，以使所述第二终端设备根据所述第二数据显示所述第一终端设备执行所述第一控制指令生成的界面。

第三方面，本申请提供一种转接器，所述转接器包括微控制单元，第一接口集合器、第二接口集合器、至少一个功能模块、第一转换模块和第二转换模块，所述第一接口集合器包括至少一个接口，所述第二接口集合器包括至少一个接口，所述第一接口集合器与第一转换模块连接，所述第一转换模块与所述第二转换模块连接，所述第二转换模块与所述第二接口集合器连接，所述微控制单元与所述第一转换模块、所述第二转换模块和所述至少一个功能模块中每个功能模块连接，用于控制所述第一转换模块、所述第二转换模块和所述至少一个功能模块中每个功能模块，所述转接器通过所述第一接口集合器与至少一个第一终端设备进行连接，所述第一转换模块用于将所述第一接口集合器接收到的所述至少一个第一终端设备的第一数据转化为第二数据，所述第二转换模块用于将所述第一转换模块转化获得的所述第二数据转化为第三数据，所述第二接口集合器用于将所述第三数据传输给与所述第二接口集合器连接的至少一个第二终端设备，所述转接器用于执行如本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请提供一种电子设备，包括：一个或多个处理器；

一个或多个存储器，用于存储程序，

所述一个或多个存储器和所述程序被配置为，由所述一个或多个处理器控制所述电子设备执行如本申请实施例第一方面任一方法中的步骤的指令。

第五方面，本申请提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第六方面，本申请提供一种计算机程序，其中，所述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序可以为一个软件安装包。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

可见，本申请实施例中，通过转接器连接至少一个第一终端设备和至少一个第二终端设备。响应第一终端设备的第一投屏请求，转接器获取第一终端设备的第一数据，第一数据表征在当前时间点第一终端设备的界面显示数据，将第一数据发送给第二终端设备，以使得第二终端设备显示第一终端设备在当前时间点的界面，实现投屏。若检测到用户在至少一个功能模块中第一功能模块上进行操作，则根据用户在第一功能模块上的操作生成第一操作事件，从第一控制指令集获取第一事件对应的第一控制指令，以及从应用与模块对应关系表中查找第一功能模块对应的第一应用标识，将第一应用标识与第一控制指令发送给第一终端设备，使第一终端设备可以针对该第一应用标识对应的第一应用执行第一控制指令，从而提高控制的准确性。接收第一终端设备的第二数据，并发送给第二终端设备，使得第二终端设备根据第二数据显示第一终端设备执行第一控制指令生成的界面。本申请实施例中，通过转接器实现第一终端设备与第二终端设备之间的投屏数据的传输，提高投屏的准确性与稳定性。此外，转接器包括功能模块，通过功能模块可以关联第一终端设备内的应用，提高控制第一终端设备内应用的效率，提高用户使用体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种转接器的结构示意图；

图2是本申请实施例提供的一种多屏协同系统的示意图；

图3是本申请实施例提供的一种基于多屏协同的显示应用界面的方法的流程图；

图4是本申请实施例提供的一种基于多屏协同的显示应用界面的装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一个分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

请参阅图1，图1是本申请实施例提供的一种转接器的结构示意图。

一种转接器，所述转接器包括微控制单元(microcontroller unit，MCU)，第一接口集合器、第二接口集合器、至少一个功能模块、第一转换模块和第二转换模块，所述第一接口集合器包括至少一个接口，所述第二接口集合器包括至少一个接口，所述第一接口集合器与第一转换模块连接，所述第一转换模块与所述第二转换模块连接，所述第二转换模块与所述第二接口集合器连接，所述微控制单元与所述第一转换模块、所述第二转换模块和所述至少一个功能模块中每个功能模块连接，用于控制所述第一转换模块、所述第二转换模块和所述至少一个功能模块中每个功能模块，所述转接器通过所述第一接口集合器与至少一个第一终端设备进行连接，所述第一转换模块用于将所述第一接口集合器接收到的所述至少一个第一终端设备的第一数据转化为第二数据，所述第二转换模块用于将所述第一转换模块转化获得的所述第二数据转化为第三数据，所述第二接口集合器用于将所述第三数据传输给与所述第二接口集合器连接的至少一个第二终端设备，以实现与第一接口集合器连接的终端设备和与第二接口集合器连接的终端集合器之间的投屏。如图1所示，其中，至少一个功能模块可以包括功能模块a、功能模块b、……、功能模块n。可以理解的是，微控制单元可以替换为可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，单元和电路，具体此处不作限制。

在一种可能的示例中，所述第一接口集合器为包括显示接口、通用串行总线接口和网络接口中的至少一种接口的集合器；所述第二接口集合器为包括显示接口、通用串行总线接口和网络接口中的至少一种接口的集合器。

具体的，第一接口集合器还可以包括通用串行总线集线器（universal serialbushub，USB Hub），通用串行总线集线器是一种可以将一个USB接口扩展为多个，并可以使这些接口同时使用的装置。第一接口集合器的显示接口、通用串行总线接口和网络接口可以通过串行总线集线器进行集合。同理，第二接口集合器还可以包括通用串行总线集线器，第二接口集合器的显示接口、通用串行总线接口和网络接口可以通过串行总线集线器进行集合。

在一种可能的示例中，转接器还可以包括存储器，存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electricallyEPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random access memory，RAM）可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。

为了更好地理解本申请实施例的技术方案，先对本申请实施例可能涉及的多屏协同系统进行介绍。

请参阅图2，图2是本申请实施例提供的一种多屏协同系统的示意图。

该多屏协同系统包括转接器、至少一个第一终端设备和至少一个第二终端设备。其中，至少一个第一终端设备中的每个第一终端设备与转接器的第一接口集合器连接，至少一个第二终端设备中的每个第二终端设备与转接器的第二接口集合器连接，转接器用于将第一终端设备的应用的投屏显示数据实时输送到第二终端设备，转接器包括至少一个功能模块，至少一个功能模块包括用于控制第一终端设备内应用的模块。如图2所示，具体的，至少一个第一终端设备可以包括第一终端设备a、第一终端设备b、……、第一终端设备m。至少一个第二终端设备可以包括第二终端设备a、第二终端设备b、……。

其中，该至少一个第一终端设备中的每个终端设备可以为智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、头戴设备、车载终端等终端设备，终端设备的种类具体此处不作限制。同理，该至少一个第二终端设备中的每个终端设备可以为智能手机、平板电脑、笔记本电脑、桌上型电脑、可穿戴设备、头戴设备、车载终端等终端设备，终端设备的种类具体此处不作限制。

请参阅图3，图3是本申请实施例提供的一种基于多屏协同的显示应用界面的方法的流程图。下面，将结合附图对本申请实施例涉及到的基于多屏协同的显示应用界面的方法进行详细说明。如图3所示，一种基于多屏协同的显示应用界面的方法，应用于多屏协同系统的转接器，所述多屏协同系统包括至少一个第一终端设备和至少一个第二终端设备，所述至少一个第一终端设备中的每个第一终端设备与所述转接器的第一接口集合器连接，所述至少一个第二终端设备中的每个第二终端设备与所述转接器的第二接口集合器连接，所述转接器用于将所述第一终端设备的投屏显示数据实时输送到所述第二终端设备，所述转接器包括至少一个功能模块，所述至少一个功能模块表征用于控制所述第一终端设备内应用的模块，该方法如下步骤：

步骤301、响应于所述第一终端设备的第一投屏请求，获取所述第一终端设备的第一数据。

其中，所述第一数据表征在当前时间点所述第一终端设备的界面显示数据。具体的，通过转接器将至少一个第一终端设备中的每个第一终端设备与至少一个第二终端设备中每个第二终端设备连接。转接器接收到第一终端设备内的第一投屏请求后，获取第一终端设备的第一数据，为后续的投屏提供数据支持。

步骤302、将所述第一数据发送给所述第二终端设备，以使得所述第二终端设备显示所述第一终端设备在当前时间点的界面。

其中，转接器在接收到第一数据后，将第一数据发送给第二终端设备，以使得第二终端设备显示第一终端设备在当前时间点的界面。通过转接器实现将第一终端设备的界面投屏到第二终端界面，使投屏更加稳定安全，以及提高投屏的效率。

步骤303、若检测到用户在所述至少一个功能模块中第一功能模块上进行操作，则根据所述用户在所述第一功能模块上的操作生成第一操作事件。

其中，转接器包括至少一个功能模块，功能模块可以用于控制所述第一终端设备内应用。例如，该功能模块可以为音乐输入模块，该音乐输入模块包括用于弹奏音乐的钢琴键，通过该钢琴键可以快速输入音乐，进而在该音乐输入模块与音乐类应用进行关联时，可以通过音乐输入模块快速输入乐谱，提高控制应用的效率，且提高用户的使用体验。若检测到用户在第一功能模块上进行操作，则根据该操作生成第一操作事件，从而为后续的控制对应应用提供数据支持。

步骤304、获取所述第一功能模块对应的第一控制指令集，并从所述第一控制指令集中查找所述第一操作事件对应的第一控制指令。

其中，所述第一控制指令集包括不同第一操作事件和不同控制指令的对应关系，控制指令表征用于控制所述第一终端设备的应用执行预设的操作的指令。具体的，为不同的功能模块预设有不同的控制指令集，以提高查找操作事件对应指令的效率。在生成第一操作事件后，获取第一功能模块对应的第一控制指令集，并从第一控制指令集内查找第一操作事件对应的第一控制指令，为后续控制应用提供数据支持。

步骤305、从预设的应用与模块对应关系表中查找所述第一功能模块对应的第一应用标识。

其中，所述应用与模块对应关系表包括不同功能模块与不同应用标识的对应关系。从应用与模块对应关系表中查找第一功能模块对应的第一应用标识，为后续查找对应应用提供数据支持。

步骤306、将所述第一应用标识与所述第一控制指令发送给所述第一终端设备。

其中，通过将所述第一应用标识与所述第一控制指令发送给所述第一终端设备，以使得所述第一终端设备针对所述第一应用标识对应的第一应用执行所述第一控制指令。具体的，转接器将第一应用标识与第一控制指令发送给第一终端设备，第一终端设备根据第一应用标识确定第一功能模块对应的第一应用，并执行第一控制指令，以对第一应用进行控制。

步骤307、接收所述第一终端设备的第二数据。

其中，所述第二数据表征所述第一终端设备根据所述第一控制指令对所述第一应用进行控制生成的界面显示数据。具体的，第一终端设备在执行第一控制指令后，生成界面显示数据，该界面显示数据即为第二数据，转接器获取第二数据，为投屏到第二终端设备提供数据支持。

步骤308、将所述第二数据发送给所述第二终端设备，以使所述第二终端设备根据所述第二数据显示所述第一终端设备执行所述第一控制指令生成的界面。

其中，转接器将第二数据发送给第二终端设备，第二终端设备在接收到第二数据后，进行解析，并通过显示屏显示第一终端设备执行第一控制指令生成的界面。

可见，本示例中，通过转接器连接第一终端设备与第二终端设备，并将第一终端设备的投屏数据传输给第二终端设备，提高数据传输的稳定性与安全性，进而提高投屏稳定性与安全性。且通过功能模块控制第一终端设备内的应用，进一步提高操作的效率，提高用户的使用体验。

在一种可能的示例中，所述从预设的应用与模块对应关系表中查找所述第一功能模块对应的第一应用标识，包括：当从预设的所述应用与模块对应关系表中确定所述第一功能模块对应多个参考应用标识时，获取所述多个参考应用标识中每个参考应用标识对应的应用与所述第一功能模块关联的次数的集合，以及，确定所述集合内最大的次数；将所述最大的次数对应的应用标识设置为所述第一应用标识。

具体示例中，若第一功能模块设置对应多个参考应用标识，即第一功能模块可以关联第一终端设备内多个应用，则从预设的应用与模块对应关系表中确定第一功能模块对应多个参考应用标识，获取每个参考应用标识对应的应用与该第一功能模块关联过的次数，生成参考应用标识对应的应用与第一功能模块关联的次数的集合。确定集合内数值最大的次数，并将该最大的次数对应的应用标识设置为第一应用标识。例如，若第一功能模块为输入键盘，该输入键盘可以用于控制输入文字信息，故该输入键盘可以关联第一终端设备内的文本编辑应用和需要输入文字的聊天应用等应用。若输入键盘关联第一终端设备内的文本编辑应用和聊天应用。在第一终端设备内已经同时开启文本编辑应用和聊天应用时，用户启用第一功能模块，转接器需要判断第一功能模块关联第一终端设备内的哪一应用。具体的判断过程为：确定输入键盘对应的多个参考应用标识，若发现多个参考应用标识包括文本编辑应用的应用标识和聊天应用的应用标识，则获取文本编辑应用被第一功能模块关联的第一次数，以及聊天应用被第一功能模块关联的第二次数。若第一次数的数值为3，第二次数的数值为4，则将聊天应用的应用标识设置为第一应用标识。

可见，本示例中，功能模块可以设置对应多个参考应用标识，且启用功能模块根据历史关联次数确定关联的应用，保证功能模块实用性的同时，提高智能性，以及使用的便捷性。

在一种可能的示例中，所述从预设的应用与模块对应关系表中查找所述第一功能模块对应的第一应用标识，包括：当从预设的所述应用与模块对应关系表中确定所述第一功能模块对应多个参考应用标识时，获取所述多个参考应用标识中每个参考应用标识对应的应用与所述第一功能模块关联的次数；按照所述次数由大到小的顺序，对所述多个参考应用标识内参考应用标识进行排序，获得排序表；将所述排序表与预设的选择提示消息发送给所述第一终端设备，所述选择提示消息表征提示所述用户从所述排序表中选择一个参考应用标识的消息；接收所述第一终端设备的反馈消息，所述反馈消息包括所述用户选择的参考应用标识；将所述用户选择的参考应用标识设置为所述第一应用标识。

具体示例中，若第一功能模块设置对应多个参考应用标识，则从预设的应用与模块对应关系表中确定第一功能模块对应多个参考应用标识，获取每个参考应用标识对应的应用与该第一功能模块关联过的次数，根据每个参考应用标识的次数，按照由大到小的顺序，对多个参考应用标识内参考应用标识进行排序，获得排序表。将排序表与预设的选择提示消息发送给第一终端设备，以提示用户选择关联的应用。可以理解的是，也可以将排序表发送至第二终端设备，用户可以通过第二终端设备选择与第一功能模块关联的第一终端设备的应用。

可见，本示例中，第一功能模块设置对应多个参考应用标识时，将根据每个参考应用标识的次数排列的排序表发送给第一终端设备，以便于用户选择，提高选择的自主性，进而提高用户的使用体验。

在一种可能的示例中，若检测到用户在第一功能模块上的操作，则从应用与模块对应关系表获取第一功能模块对应的应用标识。根据应用标识检测到第一终端设备内未启用该应用标识对应的应用，则向所述第一终端设备发送预设的启动指令，以启用该应用标识对应的应用，在启动应用后，根据用户在第一功能模块上的操作生成操作事件，获取操作事件对应的控制指令，将该控制指令和该应用标识发送给第一终端设备，以使第一终端设备对该应用指令对应的应用进行控制，生成的界面显示数据。提高启用应用的效率，进而提高用户使用体验。

在一种可能的示例中，所述将所述第二数据发送给所述第二终端设备之后，所述方法还包括：若检测到所述用户在所述第二终端设备的第一操作模块上进行第二操作，则根据所述第二操作生成第二操作事件；若从预设的关联关系表中查找到与所述第二操作事件相同的操作事件，则获取所述相同的操作事件对应的关联指令，所述关联关系表包括与所述关联指令对应的至少一个操作事件，所述关联指令表征将所述第二终端设备的操作模块与所述第一终端设备进行关联的关联指令；根据所述关联指令将所述第二终端设备的操作模块与所述第一终端设备进行关联；获取所述用户在所述第二终端设备的第二操作模块上进行的第三操作，并根据所述第三操作生成第三操作事件；从所述应用与模块对应关系表中查找所述第二操作模块对应的第二应用标识；获取所述第二操作模块对应的第二控制指令集，并从所述第二控制指令集中查找所述第三操作事件对应的第二控制指令，所述第二控制指令集包括不同第三操作事件和不同控制指令的对应关系；将所述第二应用标识与所述第二控制指令发送给所述第一终端设备，以使得所述第一终端设备正对所述第二应用标识对应的第二应用执行所述第二控制指令；获取所述第一终端设备的第三数据，所述第三数据表征所述第一终端设备根据所述第二控制指令对所述第二应用进行控制生成的界面显示数据；将所述第三数据发送给所述第二终端设备，以使所述第二终端设备根据所述第三数据显示所述第一终端设备执行所述第二控制指令生成的界面。

具体示例中，第二终端设备可以包括第一操作模块，若用户在第二终端设备的第一操作模块上进行第二操作，则根据第二操作生成第二操作事件。为保证控制的准确性，需判断第二操作事件对应的终端设备。首先从预设的关联关系表中查找是否存在与第二操作事件相同的操作事件，若存在，则获取相同的操作事件对应的关联指令，该关联指令表征将第二终端设备的操作模块与第一终端设备进行关联的关联指令。例如，若第二终端设备的操作模块为触屏模块，且关联关系表包括的与关联指令对应的操作事件为触屏模块上画圈。检测到用户在第一操作模块上画圈的第二操作，根据用户的第二操作生成第二操作事件，第二操作事件与关联指令对应的操作事件相同，则获取相同的操作事件对应的关联指令。根据该关联指令将第二终端设备的操作模块与第一终端设备进行关联。若检测到用户在第二操作模块上的第三操作，并根据第三操作生成第三操作事件。从应用与模块对应关系表中查找第二操作模块对应的第二应用标识，以及获取第二操作模块对应的第二控制指令集，并从第二控制指令集中查找第三操作事件对应的第二控制指令。将第二应用标识与第二控制指令发送给第一终端设备，以使得第一终端设备针对第二应用标识对应的应用执行第二控制指令，从而获取第一终端设备的第三数据。将第三数据发送给第二终端设备，以使第二终端设备根据第三数据显示第一终端设备执行第二控制指令生成的界面，实现投屏。可以理解的是，第一操作模块与第二操作模块可以为第二终端设备内同一操作模块，也可以为不同操作模块，具体此处不作限制。

可见，本示例中，检测到用户在第二终端设备的操作模块上进行操作时，会检测该操作对应的操作事件控制终端设备，无需用户手动指示关联关系，提高操作模块与终端设备关联的效率。

在一种可能的示例中，所述将所述第二数据发送给所述第二终端设备之后，所述方法还包括：若检测到所述用户在所述第二终端设备的第三操作模块上进行第四操作，则获取所述第二终端设备在当前时间点内启用的应用的第三应用标识；从预设的应用集合内查找与所述第三操作模块对应的第四应用标识，所述应用集合包括所述第二终端设备的不同操作模块与所述第二终端设备的不同应用标识的对应关系；若所述第三应用标识与所述第四应用标识不同，则将所述第二终端设备的第三操作模块与所述第一终端设备进行关联；根据所述第四操作生成第四操作事件；从所述应用与模块对应关系表中查找所述第三操作模块对应的第五应用标识；获取所述第三操作模块对应的第三控制指令集，并根据所述第四操作事件从所述第三控制指令集中查找对应的第三控制指令，所述第三控制指令集包括不同第四操作事件和不同控制指令的对应关系；将所述第五应用标识与所述第三控制指令发送给所述第一终端设备，以使得所述第一终端设备根据所述第三控制指令对所述第三应用标识对应的第三应用进行控制；获取所述第一终端设备的第四数据，所述第四数据表征所述第一终端设备根据所述第三控制指令对所述第三应用进行控制生成的界面显示数据；将所述第四数据发送给所述第二终端设备，以使所述第二终端设备根据所述第四数据显示所述第一终端设备执行所述第三控制指令生成的界面。

具体示例中，第二终端设备可以包括第三操作模块，若用户在第三操作模块上进行第四操作，则根据第四操作生成第四操作事件。为保证控制的准确性，需判断第四操作事件对应的终端设备。首先获取第二终端设备在当前时间点内启用的应用的第三应用标识，然后从应用集合获取第三操作模块对应的第四应用标识，判断第三应用标识是否与第四应用标识相同，若相同，则将第三操作模块与第二终端设备内第四应用标识对应的应用进行关联。若不相同，则将第二终端设备的第三操作模块与第一终端设备进行关联，并从应用与模块对应关系表中查找第三操作模块对应的第五应用标识，获取第三操作模块对应的第三控制指令集，并根据由第四操作生成的第四操作事件从第三控制指令集中查找对应的第三控制指令，将第五应用标识与第三控制指令发送给第一终端设备，以使得第一终端设备根据第三控制指令对第五应用标识对应的第五应用进行控制，从而获得第一终端设备的第四数据。转接器获取第四数据后，将第四数据发送给第二终端设备，以使第二终端设备根据第四数据显示第一终端设备执行第三控制指令生成的界面。

可见，本示例中，检测到用户在第二终端设备的操作模块上进行操作时，会检测该操作对应的操作事件控制终端设备，无需用户手动指示关联关系，提高操作模块与终端设备关联的效率。

在一种可能的示例中，所述将所述第一数据发送给所述第二终端设备之后，所述方法还包括：若检测到所述至少一个功能模块包括显示屏的第二功能模块，则从所述应用与模块对应关系表中查找所述第二功能模块对应的第四应用标识；将所述第六应用标识与预设的获取请求发送给所述第一终端设备，所述获取请求表征请求获取所述第六应用标识对应的第四应用的数据；接收所述第一终端设备的第五数据，所述第五数据为所述第四应用的数据；在所述第二功能模块显示所述第五数据对应的内容。

具体示例中，若转接器的第二功能模块包括显示屏，为提高显示的效率，则该第二功能模块可以直接从第一终端设备获取对应的显示的数据。具体的，若检测到第二功能模块包括显示屏，转接器从应用与模块对应关系表中查找第二功能模块对应的第六应用标识，并将第六应用标识与预设的获取请求发送给第一终端设备，以获得第六应用标识对应的第四应用的数据。转接器获取到第四应用的数据后，解析数据，并通过第二功能模块的显示屏进行显示。

可见，本示例中，若转接器的功能模块包括显示屏，可以直接获取该功能模块对应应用的需显示的数据，以提高显示的效率，进而提高用户使用体验。

在一种可能的示例中，至少一个功能模块可以包括用于剪切视频的触屏模块，可以与视频剪辑应用对应，即可以对应视频剪辑应用内视频进度条，将进度条等比例放大到触屏模块的触屏内，通过控制触屏即可控制对应的视频的进度。至少一个功能模块还可以包括用于滑动文档应用内文档页面的滑动功能模块，用于调节音量的音量调节功能模块等，故至少一个功能模块中功能模块的类型可以根据实际需求进行设置，具体此处不作限制。

本申请实施例提供一种基于多屏协同的显示应用界面的装置，该装置可以为电子设备。具体的，本申请实施例提供的基于多屏协同的显示应用界面的装置可以包括相应步骤所对应的模块。

本申请实施例可以根据上述方法示例对基于多屏协同的显示应用界面的装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，请参阅图4，图4是本申请实施例提供的一种基于多屏协同的显示应用界面的装置的功能单元组成框图，所述装置包括：

转接器，所述转接器包括至少一个功能模块，功能模块用于控制与所述转接器的第一接口集合器和第二接口集合器连接的终端设备，所述转接器用于将与所述第一接口集合器连接的至少一个第一终端设备的界面实时投放到与所述第二接口集合器连接的至少一个第二终端设备的屏幕上，所述装置包括：

第一获取单元401，用于响应于第一终端设备的第一投屏请求，获取所述第一终端设备的第一数据，所述第一数据表征在当前时间点所述第一终端设备的界面显示数据，所述第一终端设备为所述至少一个第一终端设备中的设备，所述第二终端设备为所述至少一个第二终端设备中的设备；

第一发送单元402，用于将所述第一数据发送给所述第二终端设备，以使得所述第二终端设备显示所述第一终端设备在当前时间点的界面；

处理单元403，用于若检测到用户在所述至少一个功能模块中第一功能模块上进行操作，则根据所述用户在所述第一功能模块上的操作生成第一操作事件；

第二获取单元404，用于获取所述第一功能模块对应的第一控制指令集，并从所述第一控制指令集中查找所述第一操作事件对应的第一控制指令，所述第一控制指令集包括不同第一操作事件和不同控制指令的对应关系，控制指令表征用于控制所述第一终端设备的应用执行预设的操作的指令；

查找单元405，用于从预设的应用与模块对应关系表中查找所述第一功能模块对应的第一应用标识，所述应用与模块对应关系表包括不同功能模块与不同应用标识的对应关系；

执行单元406，用于将所述第一应用标识与所述第一控制指令发送给所述第一终端设备，以使得所述第一终端设备执行所述第一控制指令；

接收单元407，用于接收所述第一终端设备的第二数据，所述第二数据表征所述第一终端设备根据所述第一控制指令对所述第一应用进行控制生成的界面显示数据；

第二发送单元408，用于将所述第二数据发送给所述第二终端设备，以使所述第二终端设备根据所述第二数据显示所述第一终端设备执行所述第一控制指令生成的界面。

在一种可能的示例中，所述查找单元405还用于：当从预设的所述应用与模块对应关系表中确定所述第一功能模块对应多个参考应用标识时，获取所述多个参考应用标识中每个参考应用标识对应的应用与所述第一功能模块关联的次数的集合，以及，确定所述集合内最大的次数；以及将所述最大的次数对应的应用标识设置为所述第一应用标识。

在一种可能的示例中，所述查找单元405还用于：当从预设的所述应用与模块对应关系表中确定所述第一功能模块对应多个参考应用标识时，获取所述多个参考应用标识中每个参考应用标识对应的应用与所述第一功能模块关联的次数；以及按照所述次数由大到小的顺序，对所述多个参考应用标识内参考应用标识进行排序，获得排序表；以及将所述排序表与预设的选择提示消息发送给所述第一终端设备，所述选择提示消息表征提示所述用户从所述排序表中选择一个参考应用标识的消息；以及接收所述第一终端设备的反馈消息，所述反馈消息包括所述用户选择的参考应用标识；以及将所述用户选择的参考应用标识设置为所述第一应用标识。

在一种可能的示例中，所述装置还包括生成单元，所述生成单元用于若检测到所述用户在所述第二终端设备的第一操作模块上进行第二操作，则根据所述第二操作生成第二操作事件；以及若从预设的关联关系表中查找到与所述第二操作事件相同的操作事件，则获取所述相同的操作事件对应的关联指令，所述关联关系表包括与所述关联指令对应的至少一个操作事件，所述关联指令表征将所述第二终端设备的操作模块与所述第一终端设备进行关联的关联指令；以及根据所述关联指令将所述第二终端设备的操作模块与所述第一终端设备进行关联；以及获取所述用户在所述第二终端设备的第二操作模块上进行的第三操作，并根据所述第三操作生成第三操作事件；以及从所述应用与模块对应关系表中查找所述第二操作模块对应的第二应用标识；以及获取所述第二操作模块对应的第二控制指令集，并从所述第二控制指令集中查找所述第三操作事件对应的第二控制指令，所述第二控制指令集包括不同第三操作事件和不同控制指令的对应关系；以及将所述第二应用标识与所述第二控制指令发送给所述第一终端设备，以使得所述第一终端设备正对所述第二应用标识对应的第二应用执行所述第二控制指令；以及获取所述第一终端设备的第三数据，所述第三数据表征所述第一终端设备根据所述第二控制指令对所述第二应用进行控制生成的界面显示数据；以及将所述第三数据发送给所述第二终端设备，以使所述第二终端设备根据所述第三数据显示所述第一终端设备执行所述第二控制指令生成的界面。

在一种可能的示例中，所述装置还包括第三获取单元，所述第三获取单元用于若检测到所述用户在所述第二终端设备的第三操作模块上进行第四操作，则获取所述第二终端设备在当前时间点内启用的应用的第三应用标识；以及从预设的应用集合内查找与所述第三操作模块对应的第四应用标识，所述应用集合包括所述第二终端设备的不同操作模块与所述第二终端设备的不同应用标识的对应关系；以及若所述第三应用标识与所述第四应用标识不同，则将所述第二终端设备的第三操作模块与所述第一终端设备进行关联；以及根据所述第四操作生成第四操作事件；以及从所述应用与模块对应关系表中查找所述第三操作模块对应的第五应用标识；以及获取所述第三操作模块对应的第三控制指令集，并根据所述第四操作事件从所述第三控制指令集中查找对应的第三控制指令，所述第三控制指令集包括不同第四操作事件和不同控制指令的对应关系；以及将所述第五应用标识与所述第三控制指令发送给所述第一终端设备，以使得所述第一终端设备根据所述第三控制指令对所述第五应用标识对应的第三应用进行控制；以及获取所述第一终端设备的第四数据，所述第四数据表征所述第一终端设备根据所述第三控制指令对所述第三应用进行控制生成的界面显示数据；以及将所述第四数据发送给所述第二终端设备，以使所述第二终端设备根据所述第四数据显示所述第一终端设备执行所述第三控制指令生成的界面。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。

该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（Random Access Memory，简称RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。