一种多屏异显与触控互操作系统

技术领域

本发明涉及视频处理技术领域，尤其涉及一种多屏异显与触控互操作系统。

背景技术

目前市场上硬件只支持主机双屏异显，多屏异显与互操作一般采用远程桌面方式来实现，需要安装软件，用户需要登录操作，费时间，视频、远程触摸操作延时较大，在教学领域教师需要使用台式电脑，笔记本，手机、触摸大屏，双屏教学，采用传统的远程桌面的方式，教师操作占用较多时间，并且系统响应时间较长。

发明内容

本发明提供了一种多屏异显与触控互操作系统，包括主控模块、视频信号交换模块、触摸信号交换模块、无线投屏模块，所述主控模块分别与所述视频信号交换模块和所述触摸信号交换模块相连，所述视频信号交换模块与所述触摸信号交换模块相连。

作为本发明的进一步改进，所述视频信号交换模块包括FPGA事务管理模块、视频采集模块、视频交换桥、视频输出模块，

所述FPGA事务管理模块负责视频交换事务控制，视频信号与控制信号时间戳同步；

所述视频采集模块负责HDMI EDID协商，采集视频信号；

所述视频交换桥负责缓冲视频帧，执行交换指令；

所述视频输出模块负责接收视频交换桥输出信号，输出至显示器。

作为本发明的进一步改进，在进行视频信号处理时，主控模块执行视频切换，主控模块通过I2C通知FPGA事务管理模块执行切换，FPGA事务管理模块通知视频采集模块将视频输入至视频交换桥，FPGA事务管理模块检查视频信号与触摸控制信号同步，FPGA事务管理模块以触摸信号同步视频信号，FPGA事务管理模块通知视频交换桥输出缓冲帧至视频输出模块。

作为本发明的进一步改进，所述触摸信号交换模块包括触摸事务管理模块、USBHOST驱动模块，USB Device驱动模块和触摸信号交换桥。

作为本发明的进一步改进，在进行触摸信号处理时，主控模块执行触摸信号切换，主控模块通过I2C通知触摸事务管理模块执行切换，触摸事务管理模块启动时钟同步定时器，触摸事务管理模块通知触摸信号交换桥启动触摸信号交换，触摸事务管理模块定时向主控模块上报交换信号时间戳。

作为本发明的进一步改进，该多屏异显与触控互操作系统还包括控制事务管理单元，所述控制事务管理单元用于保证触摸信号和视频信号的一致性，控制事务管理单元包括主控事务管理模块、FPGA控制事务管理模块、触摸事务管理模块。

作为本发明的进一步改进，控制事务事务过程由CONFIG、ACK、NACK，START、CANCEL、RELEASE、INFO五条原语构成，

CONFIG原语携带切换输入通道CI，和输出通道CO；CONFIG源语只能由主控事务管理模块发出用于配置事务，必须回应ACK同意或NACK拒绝；CONFIG发送后主控模块启动定时器T1，T1超时，主控事务管理模块按照收到NACK处理；

ACK/NACK为FPGA控制事务管理模块或触摸事务管理模块对主控事务管理器模块的回应；主控事务管理模块收到CONFIG的NACK时候，发送RELEASE关闭事务；

START原语用于主控事务管理模块起通知FPGA控制事务管理模块和触摸事务管理模块执行命令，必须回应ACK同意或NACK拒绝；主控事务管理模块只有同时收到来自视频信号交换模块和触摸信号交换模块的ACK才能发送START，否则需要发送CANCEL取消事务；

CANCEL原语用于主控事务管理模块通知FPGA控制事务管理模块和触摸事务管理模块取消命令，无需回应；

RELEASE原语用于主控事务管理模块通知FPGA控制事务管理模块和触摸事务管理模块关闭事务，无需回应；

主控事务管理模块收到视频信号交换模块和触摸信号交换模块START ACK时候，发送RELEASE终止事务，主控事务管理模块对视频信号交换模块和触摸信号交换模块同时发送CANCEL时候也可以发送RELEASE终止事务；

INFO原语用于通信实体之间通知通信，可以携带自定义参数，INFO原语如果不在事务内部发送，通信接收端自动启动事务。

作为本发明的进一步改进，通过时延估计和时钟同步，使触摸信号交换桥与视频交换桥向下游输出信号时候保证时钟同步。

作为本发明的进一步改进，时延估计包括如下步骤：

步骤a：主控事务管理模块启动事务发送INFO给触摸事务管理模块；

步骤b：触摸事务管理模块在同一事务ACK主控携带时间戳t1；

步骤c：主控事务管理模块再次发送INFO给触摸事务管理模块携带t1；

步骤d：触摸事务管理模块收到INFO时候，记录t2，计算X1＝t1-t2，在同一事务ACK主控携带时延X1；

步骤e：主控事务管理模块与FPGA控制事务管理模块按照a、b、c、d步骤同样计算时延期X2；

步骤f：主控事务管理模块将X3＝0.8*X3+0.2*(X1+X2)计算结果通过INFO通知FPGA控制事务管理模块。

作为本发明的进一步改进，时钟同步包括如下步骤：

步骤1：主控事务管理模块启动事务时候，通过INFO发送时钟给触摸事务管理管理模块和视频信号交换模块，进行时钟同步；

步骤2：触摸事务管理模块启动定时器T2，定时向主控事务管理模块发送触摸信号交换桥最后输出信号的时间戳t4；

步骤3：视频信号交换模块收到触摸事务管理模块发送的t4，按t5＝t4+T3得到得到最新的触摸信号时钟，按照丢弃视频交换桥队列中时钟小于t5的视频帧完成同步。

本发明的有益效果是：本发明采用链路层交换技术，基于硬件的方案直接分为HDMI视频信号交换，和USB触摸控制信号同步交换的机制，用户只要一键切换，实现触摸操作无延时，视频无需通过网络传输，提高系统响应效率，降低用户操作难度。

附图说明

图1是本发明的系统原理框图；

图2是视频信号交换模块原理图；

图3是触摸信号交换模块原理图。

具体实施方式

如图1所示，本发明公开了一种多屏异显与触控互操作系统，包括主控模块、视频信号交换模块、触摸信号交换模块、无线投屏模块，所述主控模块分别与所述视频信号交换模块和所述触摸信号交换模块相连，所述视频信号交换模块与所述触摸信号交换模块相连。外接输入信号可以是触摸屏电脑、笔记本电脑、台式电脑和手机，视频信号可以输出到对应的多个触摸显示大屏、以及主控模块对应的中控屏，完成多屏异显和触控互操作。

视频信号处理主要由视频信号交换模块完成，如图2所示，视频信号交换模块包括FPGA事务管理模块、视频采集模块、视频交换桥、视频输出模块，

所述FPGA事务管理模块负责视频交换事务控制，视频信号与控制信号时间戳同步；

所述视频采集模块负责HDMI EDID协商，采集视频信号；

所述视频交换桥负责缓冲视频帧，执行交换指令；

所述视频输出模块负责接收视频交换桥输出信号，输出至显示器。

在进行视频信号处理时，主控模块执行视频切换，主控模块通过I2C通知FPGA事务管理模块执行切换，FPGA事务管理模块通知视频采集模块将视频输入至视频交换桥，FPGA事务管理模块检查视频信号与触摸控制信号同步，FPGA事务管理模块以触摸信号同步视频信号，FPGA事务管理模块通知视频交换桥输出缓冲帧至视频输出模块。

触摸信号交换模块硬件由ARM控制芯片和USB芯片等组成，如图3所示，逻辑上包括触摸事务管理模块、USB HOST驱动模块，USB Device驱动模块和触摸信号交换桥。

在进行触摸信号处理时，主控模块执行触摸信号切换，主控模块通过I2C通知触摸事务管理模块执行切换，触摸事务管理模块启动时钟同步定时器，触摸事务管理模块通知触摸信号交换桥启动触摸信号交换，触摸事务管理模块定时向主控模块上报交换信号时间戳。

该多屏异显与触控互操作系统还包括控制事务管理单元，所述控制事务管理单元用于保证触摸信号和视频信号的一致性，避免视频切换过来，触摸信号没切换成功，影响系统正确性。控制事务管理单元包括主控事务管理模块、FPGA控制事务管理模块、触摸事务管理模块。

控制事务事务过程由CONFIG、ACK、NACK，START、CANCEL、RELEASE、INFO五条原语构成。

CONFIG原语携带切换输入通道CI，和输出通道CO；CONFIG源语只能由主控事务管理模块发出用于配置事务，必须回应ACK同意或NACK拒绝；CONFIG发送后主控模块启动定时器T1，T1时间间隔为1秒，T1超时，主控事务管理模块按照收到NACK处理。

ACK/NACK为FPGA控制事务管理模块或触摸事务管理模块对主控事务管理器模块的回应；主控事务管理模块收到CONFIG的NACK时候，发送RELEASE关闭事务。

START原语用于主控事务管理模块起通知FPGA控制事务管理模块和触摸事务管理模块执行命令，必须回应ACK同意或NACK拒绝；主控事务管理模块只有同时收到来自视频信号交换模块和触摸信号交换模块的ACK才能发送START，否则需要发送CANCEL取消事务。

CANCEL原语用于主控事务管理模块通知FPGA控制事务管理模块和触摸事务管理模块取消命令，无需回应。

RELEASE原语用于主控事务管理模块通知FPGA控制事务管理模块和触摸事务管理模块关闭事务，无需回应。

主控事务管理模块收到视频信号交换模块和触摸信号交换模块START ACK时候，发送RELEASE终止事务，主控事务管理模块对视频信号交换模块和触摸信号交换模块同时发送CANCEL时候也可以发送RELEASE终止事务。

INFO原语用于通信实体之间通知通信，可以携带自定义参数，INFO原语如果不在事务内部发送，通信接收端自动启动事务。

桥同步：

触摸信号交换桥与视频交换桥向下游输出信号时候必须保证时钟同步，以避免触控与视频显示不一致错误。桥同步包括时延估计和时钟同步。

1)时延估计

时延估计主要用于估计触摸信号交换桥与视频交换桥之间的信号传输时间差。估计过程与公式如下：

a)主控事务管理模块启动事务发送INFO给触摸事务管理模块

b)触摸事务管理模块在同一事务ACK主控携带时间戳t1

c)主控事务管理模块再次发送INFO给触摸事务管理模块携带t1

d)触摸事务管理模块收到INFO时候，记录t2，计算X1＝t1-t2，在同一事务ACK主控携带时延X1

e)主控事务管理模块与FPGA控制事务管理模块按照a、b、c、d步骤同样计算时延期X2

f)主控事务管理模块将X3＝0.8*X3+0.2*(X1+X2)计算结果通过INFO通知FPGA控制事务管理模块。

2)帧同步

1)主控事务管理模块启动事务时候，通过INFO发送时钟给触摸事务管理管理模块和视频信号交换模块，进行时钟同步。

2)触摸事务管理模块启动定时器T2,时间间隔为500毫秒，定时向主控事务管理模块发送触摸信号交换桥最后输出信号的时间戳t4。

3)视频信号交换模块收到触摸事务管理模块发送的t4，按t5＝t4+T3得到得到最新的触摸信号时钟，按照丢弃视频交换桥队列中时钟小于t5的视频帧完成同步。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。