一种显示屏的人机交互通信方法及其系统

技术领域

本发明涉及人机交互技术领域，尤其涉及一种显示屏的人机交互通信方法及其系统。

背景技术

随着科技快速发展，人机交互技术已经应用于很多方面，例如显示屏的人机交互方式，目前在显示屏的人机交互中，需要用户做出特定手势，然后由人机交互设备识别特定的手势，最后向显示屏的控制模块输入与特定手势对应的控制指令，最终完成对显示屏的手势控制。

但目前显示屏的人机交互技术由于技术高度不够，导致在人机交互时，人机交互设备的识别率低，无法准确地识别出用户做出的特定手势；同时在识别用户做出的特定手势后，无法快速地做出响应，从而降低了显示屏的人机交互速率。

因此，有必要提供一种显示屏的人机交互通信方法及其系统解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供一种显示屏的人机交互通信方法及其系统用于解决了现有显示屏的人机交互方法识别率低，无法准确地识别出用户做出的特定手势；同时在识别用户做出的特定手势后，无法快速地做出响应，从而降低了显示屏的人机交互速率的问题。

本发明提供的一种显示屏的人机交互通信方法，该通信方法包括以下操作步骤：

采集用户手势动作并生成初始手势动作信息；

对获取的手势动作信息进行预处理，得到进阶手势动作信息；

对得到的进阶手势动作信息进行特征处理，得到最终手势动作；

在指令库中搜索与最终手势动作信息相匹配的控制指令，并向显示屏输入控制指令。

优选的，在采集用户手势动作并生成初始手势动作信息的步骤中，包括：

通过摄像设备获取用户手势动作的视频流；

按照设定时序间隔Δt，从视频流中提取出k个图像帧，其中，k≥1，且为正整数；

依序提取k个图像帧中与手势有关的信息，最终生成初始手势动作信息。

优选的，在依序提取k个图像帧中与手势有关信息的步骤中，包括：

建立背景模型，生成与单个图像帧尺寸相同的掩码图像；

通过掩码图像确定k个图像帧中所对应的手势图像，然后利用背景模型去除每一图像帧的背景，以获取与k个图像帧所对应的k个手势图像。

优选的，在对获取的手势动作信息进行预处理，得到进阶手势动作信息的步骤中，包括：

对获取的所有图像帧进行去色处理，以减小手势动作信息的数据量；

对去色后的图像帧进行图像增强处理，以增强图像帧中手势有关信息的图像特征；

对图像增强处理后的图像帧进行去噪处理，以减少各种噪声的干扰，最终得到包含k个图像帧的进阶手势动作信息。

优选的，所述对获取的手势动作信息进行去色处理的方式至少包括对图像帧的灰度化或二值化处理方式中的一种或者多种组合。

优选的，所述对去色后的图像帧进行图像增强处理的方式至少包括对图像帧的灰度变换、直方图修正、图像平滑或图像锐化处理方式中的一种或者多种组合。

优选的，在对得到的进阶手势动作信息进行特征处理的步骤中，包括：

对每个图像帧进行分割，划分出若干个互不重叠的m行n列宏块；

对进阶手势信息中的k个图像帧进行特征提取，得到每个宏块的特征信息；

搜索手势模型库，匹配出与特征信息相关性最大的手势模型，确定最终手势动作信息。

优选的，所述手势模型库中包括若干个与指令库所有控制指令一一对应的手势模型。

优选的，在搜索手势模型库，匹配出与特征信息相关性最大的手势模型的步骤中，包括：

通过设定阈值的方式搜索手势模型库中符合阈值条件的所有手势模型；

对所有阈值进行比较，得出阈值最小的手势模型，最终确定最终手势动作信息。

基于上述通信方法，本发明还提供了一种显示屏的人机交互通信系统，包括采集模块、预处理模块、特征处理模块和手势匹配模块，其中，

所述采集模块，用于采集用户手势动作并生成初始手势动作信息；

所述预处理模块，用于对获取的手势动作信息进行预处理，得到进阶手势动作信息；

所述特征处理模块，用于对得到的进阶手势动作信息进行特征处理，得到最终手势动作；

所述手势匹配模块，用于在指令库中搜索与最终手势动作信息相匹配的控制指令，并向显示屏输入控制指令。

与相关技术相比较，本发明提供的一种显示屏的人机交互通信方法及其系统具有如下有益效果：

本发明通过设置的采集模块、预处理模块、特征处理模块和手势匹配模块，通过采集模块采集初始手势动作信息，并经过预处理模块和特征处理模块优化处理，利用手势匹配模块得到最终手势动作信息，最后搜索与之匹配的控制指令指示显示屏动作，解决了现有显示屏的人机交互方法识别率低，无法准确地识别出用户做出的特定手势；同时在识别用户做出的特定手势后，无法快速地做出响应，从而降低了显示屏的人机交互速率的问题。

附图说明

图1为本发明提供的一种显示屏的人机交互通信方法及其系统的方法步骤示意图；

图2为本发明提供的一种显示屏的人机交互通信方法及其系统的系统线框结构示意图；

图3为本发明提供的一种显示屏的人机交互通信方法及其系统的视频流示意图。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明。

本发明提供的一种显示屏的人机交互通信方法，该通信方法如图1所示，具体包括以下操作步骤：

第一步：采集用户手势动作并生成初始手势动作信息；

在第一步中，具体包括：

首先，通过摄像设备获取用户手势动作的视频流，该摄像设备安装在显示屏上，最佳安装位置为显示屏上边缘的中部，摄像设备可以捕获设定区域内的手势，

为了减小摄像设备的功耗，也即是减小摄像设备捕捉的时间(无手势时)，摄像设备还配备有用于检测人体是否位于设定区域内的传感器，也即是热释电红外传感器，在无手势的时间内，热释电红外传感器检测不到人体的存在，此时间内，摄像设备暂不启动；若检测到人体位于设定区域，则启动摄像设备，代表此时用户需要通过手势向显示屏输入信号，

此外，为了避免热释电红外传感器的误动作，需要设定时间参数，也即是检测人体位于设定区域的时间参数是否大于设定时间参数，若大于则输出动作信号，反之，则不输出；为了满足多样化需求，摄像设备捕捉手势可以长时间关闭；

其次，按照设定时序间隔Δt，从视频流中提取出k个图像帧，其中，k≥1，且为正整数，例如：设定时序间隔Δt为0.1s，此时，将获取的视频流的时间轴按照0.1s为间隔独立分开，从而形成多个按照时间轴排列的图像帧，若时间轴为1s，此时的k＝10，也即是从获取的视频流中提取出10个按照时间轴分布的图像帧，后续对这些个图像帧进行处理；

最后，依序提取k个图像帧中与手势有关的信息，去除与手势无关的信息，减少计算量，继而减少系统功耗，由与手势相关的信息生成初始手势动作信息，在此步骤中包括：

首先，建立背景模型，生成与单个图像帧尺寸相同的掩码图像；

其次，通过掩码图像确定k个图像帧中所对应的手势图像，然后利用背景模型去除每一图像帧的背景，以获取与k个图像帧所对应的k个手势图像。

第二步：对获取的手势动作信息进行预处理，得到进阶手势动作信息；

在第二步中，具体包括：

首先，对获取的所有图像帧进行去色处理，所述去色方式至少包括对图像帧的灰度化或二值化处理方式中的一种或者多种组合，在预处理过程中，通过去色步骤使得所有图像帧仅具有黑色和白色两种，减少图像帧中含有的色彩数量，从而减小图像帧中的数据量，有助于后续快速处理；

其次，对去色后的图像帧进行图像增强处理，以增强图像帧中手势有关信息的图像特征，有效改善图像帧的质量，提高图像帧清晰度，其中增强的方式为灰度变换、直方图修正、图像平滑或图像锐化处理方式中的一种或者多种组合；

最后，对图像增强处理后的图像帧进行去噪处理，以减少各种噪声的干扰，最终得到包含k个图像帧的进阶手势动作信息，其中去噪的方式可以是空间域滤波或频率域滤波其中一种，提高每个图像帧的画面清晰度。

第三步：对得到的进阶手势动作信息进行特征处理，得到最终手势动作；

在第三步中，具体包括：

首先，如图3所示，将视频流中的k个图像帧按照时间轴排列，并将k个图像帧进行分割，划分出k个互不重叠的m行n列宏块，需要注意的是，每个图像帧是对去除背景的区域进行分割，也即是每个图像帧中宏块面积要小于图像帧的面积，这样能够减少宏块数量，但是宏块的面积要比实际的手势区域大，足以覆盖住手势区域，保证能够更加精准地识别手势信息；

其次，对进阶手势信息中的k个图像帧进行特征提取，得到每个宏块的特征信息，在此步骤中，为了提高识别准确率，需要将每个宏块上特征信息提取出来；

接着，依照时间轴的顺序，对图像帧逐一匹配，在手势模型库中搜索，匹配出与特征信息相关性最大的手势模型，确定最终手势动作信息，

该手势模型库中包含很多手势模型，每个手势模型对应有若干个按照时间轴排列的标准图像帧，该标准图像帧是提前录入的，同时在手势模型库中每个标准图像帧也具有互不重叠的m行n列宏块。

例如：先将第一个图像帧的所有宏块特征信息提取，在手势模型库中所有手势的标准图像帧中搜索出与第一个图像帧的所有宏块特性信息匹配数量较多的标准图像帧，然后继续提取第二个图像帧中所有宏块的特征信息，在第一个图像帧搜索的基础上，继续在分离出的所有标准图像帧进行特征匹配，直至在手势模型库中匹配得出最后一个手势，此手势即为最终手势动作，

同时，在宏块的比较中，可以通过设定阈值的方式，计算手势模型库中标准图像帧和输入图像帧同一坐标点下的宏块差值，若差值小于阈值，则认为同一坐标点下的两个宏块相互匹配，对每个图像帧的所有宏块逐一比对，得出阈值最小的，最终确定最终手势动作。

此外，所述手势模型库中包括若干个与指令库所有控制指令一一对应的手势模型。

第四步：在指令库中搜索与最终手势动作信息相匹配的控制指令，并向显示屏输入控制指令，最终控制显示屏动作。

基于上述通信方法，本发明还提供了一种显示屏的人机交互通信系统，如图2所示，包括采集模块、预处理模块、特征处理模块和手势匹配模块，其中，

所述采集模块，用于采集用户手势动作并生成初始手势动作信息；

所述预处理模块，用于对获取的手势动作信息进行预处理，得到进阶手势动作信息；

所述特征处理模块，用于对得到的进阶手势动作信息进行特征处理，得到最终手势动作；

所述手势匹配模块，用于在指令库中搜索与最终手势动作信息相匹配的控制指令，并向显示屏输入控制指令。

本发明提供的一种显示屏的人机交互通信方法及其系统的工作原理如下：通过设置的采集模块、预处理模块、特征处理模块和手势匹配模块，通过采集模块采集初始手势动作信息，并经过预处理模块和特征处理模块优化处理，利用手势匹配模块得到最终手势动作信息，最后搜索与之匹配的控制指令指示显示屏动作，解决了现有显示屏的人机交互方法识别率低，无法准确地识别出用户做出的特定手势；同时在识别用户做出的特定手势后，无法快速地做出响应，从而降低了显示屏的人机交互速率的问题。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。