一种摄像和大屏交互处理方法、装置及系统

技术领域

本申请涉及屏幕交互技术领域，尤其是涉及一种摄像和大屏交互处理方法、装置及系统。

背景技术

目前基于大屏幕显示器的操作演示已广泛应用于教育、企业、军事等领域的教室、会议室、指挥室，大屏幕展示系统得到飞速发展。

触控式投影设备等光学触控屏幕作为一种常用的大屏展示系统用具，其主要通过识别人体的肢体动作获取操作大屏显示画面的指令。但是相关设备的使用过程中，由于操作人员的肢体动作一部分为了操控大屏，但是也有一部分与大屏操控无关，使得通过识别人体肢体动作获得的指令有一部分是无效的，而系统却无法识别出这些无效的指令，导致操作人员在使用相关设备过程中经常性的发生误操作的状况。如系统识别手臂朝向大屏点击的动作为单击指令，但是当操作人员不需要单击操作却使用了手臂朝向大屏点击的动作时，系统仍会识别成接收到单击指令，并对大屏展示的内容进行操作，导致误操作的状况发生。

发明内容

为了能够降低输出到大屏的操作指令为无效操作指令状况发生的概率，提高大屏展示系统操作的便利性，本申请目的是提供一种摄像和大屏交互处理方法、装置及系统。

第一方面，本申请提供了一种摄像和大屏交互处理方法，包括：

获取实时的肢体识别图像以及大屏显示图像；

将所述肢体识别图像映射到大屏显示图像并识别操作指令；

识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；

实时获取操作人员的眼动识别图像；

将所述眼动识别图像映射到大屏显示图像；

识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；

若所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域，输出有效指令以及所述操作指令；

所述操作区域为依据实时的大屏显示图像预先划分的区域。

通过采用上述技术方案，第一特征区域与第二特征区域位于大屏显示图像中同一操作区域时，说明操作人员眼睛所关注的区域与肢体动作所对应的区域同属于大屏上的同一个操作区域，此时输出识别的操作指令，使得大屏按照操作指令进行工作。由于增加了判断人眼与肢体动作对应大屏显示图像上同一操作区域的条件，从而降低了输出到大屏的操作指令为无效操作指令的概率，进而降低了因为对操作人员肢体动作识别不准而造成的误操作状况发生的概率，提高了大屏展示系统操作的便利性。

在一较佳示例中，通过眼动仪获取所述操作人员的眼动识别图像。

在一较佳示例中，所述识别操作指令的方法为：

获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；

识别所述肢体识别图像中的特征肢体部位；

依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹；

对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。

通过采用上述技术方案，利用依据多帧在先的肢体识别图像以及当前肢体识别图像计算的特征肢体部位的移动轨迹判断操作指令的类型，降低了因为对操作人员肢体动作识别不准而造成的无效操作指令的识别发生概率，进一步的提高了大屏展示系统操作的便利性

在一较佳示例中，其特征在于：

若所述第一特征区域与所述第二特征区域不位于大屏显示图像中同一操作区域，不输出有效指令或所述操作指令

第二方面，本申请还提供一种摄像和大屏交互处理装置，包括：

数据获取模块，用于获取实时的肢体识别图像、大屏显示图像以及眼动识别图像；

第一数据处理模块，用于将所述肢体识别图像映射到大屏显示图像并识别操作指令；

第一识别模块，用于识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域；

第二数据处理模块，用于将所述眼动识别图像映射到大屏显示图像；

第二识别模块，用于识别大屏显示图像中与所述眼动识别图像的眼动识别部位对应的第二特征区域；

输出控制模块，用于在所述第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域时，输出所述有效指令以及所述操作指令；

所述操作区域为依据实时的大屏显示图像预先划分的区域。

在一较佳示例中，所述数据获取模块通过眼动仪获取所述操作人员的眼动识别图像。

在一较佳示例中，所述第一数据处理模块包括：

数据获取单元，用于获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；

特征识别单元，用于识别所述肢体识别图像中的特征肢体部位；

轨迹计算单元，用于依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹；

指令识别单元，用于对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。

在一较佳示例中，当所述第一特征区域与所述第二特征区域不位于大屏显示图像中同一操作区域，输出控制模块不输出有效指令或所述操作指令。

第三方面，本申请还提供一种摄像和大屏交互处理系统，所述系统包括：

一个或多个存储器，用于存储指令；以及

一个或多个处理器，用于从所述存储器中调用并运行所述指令，执行如权利要求1-6中任意一项所述的方法。

综上所述，本申请包括以下至少一种有益技术效果：

1.操作人员肢体动作识别准确，利用依据多帧在先的肢体识别图像以及当前肢体识别图像计算的特征肢体部位的移动轨迹判断操作指令的类型，降低了因为对操作人员肢体动作识别不准而造成的无效操作指令的识别发生概率；

2.大屏接收到的无效操作指令概率低，由于增加了判断人眼与肢体动作对应大屏显示图像上同一操作区域的条件，从而降低了输出到大屏的操作指令为无效操作指令的概率。

附图说明

图1是本申请其中摄像和大屏交互处理方法的流程图。

图2是本申请其中识别操作指令的流程示意图。

图3是本申请其中摄像和大屏交互处理装置的示意框图。

图4是本申请中第一数据处理模块的示意框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。

下面结合说明书附图对本申请实施例作进一步详细描述。

本申请实施例提供一种摄像和大屏交互处理方法，所述方法的主要流程描述如下。

如图1所示：

步骤100：获取实时的肢体识别图像以及大屏显示图像。

通过安装在大屏上的摄像头实时的识别获取操作人员的肢体识别图像。摄像头采用CCD摄像头，并固定安装在大屏上，使得摄像头的图像采集区域固定。大屏显示图像为通过大屏显示过程种通过屏幕截图获得的图像。

步骤101：将所述肢体识别图像映射到大屏显示图像并识别操作指令。

如图2所示，其中，识别操作指令的方法包括：

步骤101-1：获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像；

步骤101-2：识别肢体识别图像中的特征肢体部位。此处对特征肢体部位不做具体限定，在一个优选的示例种，特征肢体部位包括手指、手掌以及手臂。

步骤101-3：依据多帧在先的肢体识别图像以及当前肢体识别图像计算特征肢体部位的移动轨迹。将每一帧肢体识别图像分别映射到大屏显示图像中并获取每一肢体识别图像中特征肢体部位在大屏显示图像中的所在的特征位置，最后依据特征肢体部位的特征位置获取特征肢体部位的移动轨迹。需要注意的是，移动轨迹数量一般为多条，在识别特征肢体部位的特征位置时，依据不同的特征肢体部位进行属性分配，将同属性的特征肢体部位的特征位置拟合成对应属性的特征肢体部位的移动轨迹。如特征肢体部位包括手指、手掌以及手臂，则分别为特征肢体部位手指、手掌以及手臂分配属性a、b和c，在拟合移动轨迹时，将属性a、b、c的特征位置分别拟合成一条移动轨迹；再比如，特征肢体部位手臂包括腕关节、肘关节和肩关节，则分别为特征肢体部位腕关节、肘关节和肩关节分配述行b1、b2和b3，再拟合移动轨迹时，将属性为b1、b2和b3的特征位置分别拟合成一条移动轨迹。

步骤101-4：对比移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当移动轨迹与所述肢体动作数据相同时，输出对应的操作指令。

如图1所示，步骤102：识别大屏显示图像中与所述肢体识别图像的特征肢体部位对应的第一特征区域。第一特征区域为步骤101-3中逆合成的移动轨迹所覆盖的大屏显示图像中的区域。

步骤103：通过眼动仪实时获取操作人员的眼动识别图像。

步骤104：将眼动识别图像映射到大屏显示图像。

步骤105：识别大屏显示图像中与眼动识别图像的眼动识别部位对应的第二特征区域。第二特征区域为眼动仪计算出的眼动识别图像中操作人员眼睛所注视的关注部位在大屏显示图像所覆盖的区域。

步骤106：若第一特征区域与所述第二特征区域位于大屏显示图像中同一操作区域，输出有效指令和所述操作指令，大屏同时接收到有效指令以及操作指令后依据操作指令对所显示内容进行调节，或者，输出操作指令，大屏接收到操作指令后依据操作指令对所显示内容进行调节；反之，不输出有效指令或所述操作指令。

操作区域为依据实时的大屏显示图像显示内容预先划分的区域。如大屏显示图像包括作为背景的背景区域、位于背景区域中的PPT显示区域以及位于背景区域中的视频软件界面，则依据实时的大屏显示图像预先划分的操作区域有三个，并分别表示作为背景的背景区域、位于背景区域中的PPT显示区域以及位于背景区域中的视频软件界面；再比如大屏显示图像包括多个打开状态的文件夹显示区域以及位于文件夹显示区域以外的桌面区域，则依据实时的大屏显示图像预先划分的操作区域与文件夹显示区域以及桌面显示区域一一对应。

上述的摄像和大屏交互处理方法增加了人眼与肢体动作对应大屏显示图像上同一操作区域的判断条件，从而降低了输出到大屏的操作指令为无效操作指令的概率，进而降低了因为对操作人员肢体动作识别不准而造成的误操作状况发生的概率，提高了大屏展示系统操作的便利性。

参照图3，在另一方面，本申请实施例还提供一种摄像和大屏交互处理装置，该装置包括数据获取模块、第一数据处理模块、第一识别模块、第二数据处理模块、第二识别模块以及输出模块。

数据获取模块，用于获取实时的肢体识别图像以及大屏显示图像，并通过眼动仪实时获取操作人员的眼动识别图像。

第一数据处理模块，用于将肢体识别图像映射到大屏显示图像并识别操作指令。参照图4，第一数据处理模块包括：

数据获取单元，用于获取当前肢体识别图像以及与当前肢体识别图像顺序排列的多帧在先的肢体识别图像。

特征识别单元，用于识别所述肢体识别图像中的特征肢体部位。

轨迹计算单元，用于依据多帧在先的肢体识别图像以及当前肢体识别图像计算所述特征肢体部位的移动轨迹。

指令识别单元，用于对比所述移动轨迹与预先存储的肢体行为数据库存储的对应每一种操作指令的肢体动作数据，当所述移动轨迹与所述肢体动作数据相同时，输出对应的所述操作指令。

第一识别模块，用于识别大屏显示图像中与肢体识别图像的特征肢体部位对应的第一特征区域。

第二数据处理模块，用于将眼动识别图像映射到大屏显示图像。

第二识别模块，用于识别大屏显示图像中与眼动识别图像的眼动识别部位对应的第二特征区域。

参照图3，输出控制模块，用于在第一特征区域与第二特征区域位于大屏显示图像中同一操作区域时，输出有效指令以及操作指令；反之，则不输出有效指令或操作指令。

具体的，摄像和大屏交互处理装置的工作过程可参照前述摄像和大屏交互处理方法的对应过程，在此不再赘述。

本申请实施例还公开了一种摄像和大屏交互处理系统，该系统主要由一个或多个存储器和一个或多个处理器组成：

存储器用于存储指令；

处理器，用于从存储器中调用并运行指令，执行如上述内容中所述的摄像和大屏交互处理方法。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

非易失性存储器可以是ROM、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，EEPROM)或闪存。

易失性存储器可以是RAM，其用作外部高速缓存。RAM有多种不同的类型，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器。

上述任一处提到的处理器，可以是一个CPU，微处理器，ASIC，或一个或多个用于控制上述的反馈信息传输的方法的程序执行的集成电路。该处理单元和该存储单元可以解耦，分别设置在不同的物理设备上，通过有线或者无线的方式连接来实现该处理单元和该存储单元的各自的功能，以支持该系统芯片实现上述实施例中的各种功能。或者，该处理单元和该存储器也可以耦合在同一个设备上。

本具体实施方式的实施例均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。