一种基于虚拟按键和手势交互的电梯控制方法及系统

技术领域

本发明涉及智能技术控制领域，具体涉及一种基于虚拟按键和手势交互的电梯控制方法及系统。

背景技术

电梯已然成为了当今城市写字楼和居民楼的必需品，广大群众接触电梯的频率又非常高，极易成为病毒传播的载体。因此在目前的疫情防控下，设计一款基于虚拟按键和手势交互的无接触式电梯是非常有必要的。

目前主流的无接触式电梯控制方法主要有4种：语音识别、红外触控、刷IC卡和手势交互。

语音识别依靠在电梯控制面板安装麦克风和控制主板，此方法受到环境的噪声干扰较大，并且如若碰到发音不标准或者不会说普通话的用户便无法进行相应的识别；红外触控需要用户准确将手指放到按键前方，操作相对而言略为复杂且有接触到控制装置的风险；刷IC 卡则是酒店常用的一种方式，使用范围相对较小，使用场景有限。手势交互则是由于如今人工智能的兴起而诞生的方法，通过在电梯控制面板加入手势识别模块、手势识别摄像头来达到用手势控制电梯的方法，是一种非常有效的非接触式电梯的控制方法。传统的手势交互方法是对着摄像头用手指比划出楼层数字，主控模块识别出数字之后再控制电梯去往相应楼层，比如浙江工业大学的郑水华等人公开的一种基于机器视觉的智能电梯交互控制系统，申请公布号为CN 113526279 A，申请公布日期为2021年10月22日。

本发明的手势交互主要依赖对手指各个关键点的坐标检测和显示屏上的虚拟按键，只需判断用户的手指落在哪个按键上之后再判断用户需不需要按下此按键即可完成对电梯的控制。本发明手势交互功能利用OpenCV和Media Pipe一同实现。OpenCV(OpenSource Computer Vision Library)是一个基于开源发行的跨平台计算机视觉库，它实现了图像处理和计算机视觉方面的很多通用算法，已成为计算机视觉领域最有力的研究工具；Media Pipe是一款由 Google开发并开源的多媒体机器学习模型应用框架，并且实现了一种全新的手部感知方法，该方法能够利用机器学习(ML)推断出单帧内的21个三维手部关键点，本发明只需要利用其推断二维手部关键点即可，因此选用单目摄像头作为本发明的图像采集摄像头。

发明内容

针对现有技术存在的问题，本发明的目的在于提出一种基于虚拟按键和手势交互的电梯控制方法及系统，实现对电梯的无接触控制，有效隔断病毒的传播。

本发明的技术方案如下：

一种基于虚拟按键和手势交互的电梯控制方法及系统，其系统包括虚拟按键、摄像头、主控模块、电子显示屏和电梯电气控制模块，所述主控模块与摄像头、电子显示屏、电梯电气控制模块相互电控连接。

所述虚拟按键显示在电子显示屏里，包括各个楼层的按钮和开门、关门按钮，用于给用户提供可视化的电梯按键。

所述摄像头位于电子显示屏上方并正对用户，用于采集用户操作电梯时的操作画面，之后将该画面传送至主控模块与电子显示屏，用于主控模块处理分析。

所述电子显示屏安装在电梯轿厢内壁，用于显示摄像头采集到的画面和叠加的虚拟按键。

所述主控模块用于接收摄像头传递过来的用户操作画面，在画面中建立坐标系，提取虚拟按键与手指的坐标信息，将手指位置坐标与虚拟按键的坐标进行对比，准确判断出用户想要按下的按键，并将用户选择的楼层号传递至电梯电气控制模块。

所述电梯电气控制模块用于接收主控模块传来的楼层号，启动电梯去往相应楼层。

进一步的，所述主控模块安装Python、Python-OpenCV和Media Pipe，用于创建虚拟按键，提供图像处理和手势识别功能。

进一步的，所述虚拟按键用Pycharm创建一个类和列表实现，定义按键的位置、大小、文字、颜色等属性。按键位于显示屏左方，按键中的文字按顺序定义为电梯的楼层号，大小和颜色根据实际情况定义，并且给每个按键添加一个alpha＝0.5的通道使其拥有半透明效果。利用Python-OpenCV库用于调用摄像头采集用户操作画面，并将所述虚拟按键叠加在所述用户操作画面上。当用户选中某按键后，去除所述alpha通道，半透明效果消失，该被选中的按键颜色由半透明变为加深状态，以提示用户已按下该按键。

进一步的，所述手势识别功能需要先利用OpenCV调用摄像头采集到的画面，对图像进行预处理后利用MediaPipe进行手势识别。所述预处理是对图像进行高斯滤波，滤去图像中的噪声；所述MediaPipe是由Google提出的一个开源机器视觉模型，其中的HandLandmark Model检测模块通过训练好的模型，能够检测出人手上的21个关节节点，作为底部点的0号标定点位于手腕，大拇指的四个关节坐标分别是底部手腕的标定点0、1、2、3、4，食指四个关节的坐标分别是底部手腕的标定点0、5、6、7、8，以此类推。手腕等关节的位置不是固定的，每个关节点的坐标随着手的运动而变化。最后返回它们在图像中的位置，将它们在图像中标注并用线条连起来，就能够得到完整的手势，即使手掌部分被遮挡也能标定，具有较强的鲁棒性。通过计算各点间的距离和深度就可以实现简单的手势判别。

进一步的，当主控模块识别出用户的手部之后，对手部各个关节点进行坐标的标定，并判断食指指尖停留在哪个按键上。

判断步骤为：

步骤一：在图像建立坐标系oxy，采用OpenCV的像素坐标系，原点O(0,0)位于图像左上角，坐标轴为ox和oy，ox的方向为从左向右，oy的方向为从上向下。

步骤二：获得每个虚拟按键四个顶点的坐标(x

步骤三：获得食指指尖质心的坐标，也就是模型中8号标定点的圆心的坐标(x

步骤四：将食指指尖质心坐标(x

步骤五：如果x

进一步的，系统的手势交互功能由摄像头、电子显示屏、虚拟按键和主控模块共同完成。电子显示屏上方会实时显示摄像头所拍摄的画面，并将虚拟按键叠加在该画面的左边，用户进入电梯后，找到显示屏上想要按下的按键，将显示屏中食指指尖移动到该按键，若要按下该按键，只需用大拇指轻碰食指与掌心的关节，此时该按键将会被按下，并由主控模块传递指令到电梯电气控制模块前往指定楼层。

本发明提供了一种基于虚拟按键和手势交互的电梯控制方法及系统，具有以下有益效果：

1.本发明通过虚拟键盘和手势交互实现电梯的无接触控制，操作者能对照显示屏上的画面对电梯进行控制，避免了与电梯的直接接触，减少病毒在人与人之间的间接传播。

2.本发明没有人群限制，只需要伸手就能操作，操作简单便捷，与实体按键的操作方法类似，符合人们平时的操作习惯。

3.整套装置没有高成本器件，成本相对较低。

4.本发明没有场景限制，任何建筑内都可以使用本控制系统，具有较高的普适性。

附图说明

构成本发明的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明的系统框架示意图

图2是本发明的用户选取楼层的流程图

图3是本发明的手势交互功能流程示意图

图4是本发明的电子显示屏示意图，包括用户操作画面和虚拟按键

图5是本发明主控模块建立的坐标系

图6是本发明虚拟按键四个顶点的坐标设置方法

图7是本发明用户操作画面

图8是本发明手部特征点标定方法

图9是本发明判断用户是否按下按键的方法

图10是本发明用户按下虚拟按键后按键加深的效果

具体实施方式

下面结合附图对本发明进行进一步说明：

如图1所示，一种基于虚拟按键和手势交互的电梯控制方法及系统，包括虚拟按键、摄像头、主控模块、电子显示屏和电梯电气控制模块。本实施例主控模块采用树莓派控制芯片。

如图2所示，该系统的手势交互功能由虚拟按键、摄像头、电子显示屏和主控模块共同完成。摄像头拍摄用户使用电梯时的画面，并将该画面传送到电子显示屏和主控模块，电子显示屏将叠加虚拟按键后的用户操作画面显示出来，用户只需对照显示屏找到自己要去的楼层的按键，将画面中的食指指尖移动到该按键，再用大拇指轻碰食指与掌心的关节。主控模块将判断用户选取的是哪个虚拟按键，若无法判断返回上一步，若能判断用户想要按下的按键，则将该按键代表的楼层号传送至电气控制模块去往相应楼层。

如图3所示，判断用户想要按下的按键需要先接收预处理后的摄像头采集的图像画面，在该画面中建立坐标系，计算每个按键四个角的坐标并保存。同时主控模块将提取用户手部的特征信息，将手掌分为21个特征点，食指指尖作为目标特征点，计算其坐标位置，与虚拟按键的坐标进行比对，判断用户食指指尖是否落在所述虚拟按键内，若未落在某一虚拟按键内，则继续检测；若落在某一虚拟按键内，判断用户大拇指指尖是否轻碰食指与手掌之间的关节，若未触碰，则继续检测，若触碰，主控模块则认为用户需要按下该按键，最后电子显示屏上的相应的楼层按键变成深色，以提示用户已按下该按键。

具体的，主控模块与摄像头、电子显示屏和电梯电气控制模块相互电控连接，虚拟按键位于电子显示屏里面。

如图4所示虚拟按键为一列半透明的显示楼层的按键和开关门按键，例如：每个按键大小为42×42像素，颜色是橙色，其RGB为(112,161,255)，从上到下分别为1到10楼和开、关门按键。在用户没有操作之前，这12个按键都是呈半透明状态。

进一步的，主控模块在接收到的画面内建立如图5坐标系oxy，采用OpenCV的像素坐标系，原点O(0,0)位于画面左上角，坐标轴为ox和oy，ox的方向是从左向右，oy的方向是从上向下。记录所有虚拟按键四个顶点的坐标(x

如图7所示，摄像头安装于电子显示屏上方，正对用户，用于拍摄用户操作电梯时的操作画面，并将所拍摄的图像传送至主控模块进行后续处理，同时也将其传送至电子显示屏并实时显示，所述电子显示屏模安装于电梯轿厢内壁，用于显示摄像头拍摄到的画面以及叠加在画面上的虚拟按键以供用户操作。

用户进入电梯后可以对照所述电子显示屏，将手伸出放于摄像头前方。该画面会被摄像头实时传送到主控模块，在图像处理之前一般都会有一个图像预处理的过程，如降维、降噪等操作以去除无用信息，减少后续图像处理过程的计算量。本发明利用高斯滤波对输入的每一帧图片进行预处理使图片变得光滑，滤去图像中的噪声。

其主要思想是：使用高斯核与输入图像中的每个点作卷积运算，然后对卷积结果进行求和，从而得到输出图像。高斯滤波实质上是将灰度图像I和一个高斯核G

本发明使用的摄像头是彩色摄像头，需要调用OpenCV库对彩色图片的RGB空间的R、 G、B三个通道分别做高斯滤波，将三个通道滤波后的输出叠加再进行下一步操作。

进一步的，主控模块调用MediaPipe对摄像头采集到的图像进行手势识别，当检测到用户的手掌之后，MediaPipe将对手部的21个关节点进行标定，如图8所示，以供用户对照电子显示屏进行楼层的选择。同时对食指的指尖，也就是第8号定位点进行坐标的标定，记为点(x

当用户对照电子显示屏，找到自己想要去的楼层代表的按键后，只需要对照电子显示屏，将电子显示屏中的食指指尖移动到该按键上，主控模块就能初步确定用户想要按下的按键。例如：如图9所示，用户想去6楼，用户只需将显示屏中拍摄到的食指指尖移动到印有数字6的虚拟按键上，该过程不需要将手真的放到显示屏上的按钮上，此时主控模块将会对比食指指尖坐标(x

进一步的，用户只需要将大拇指轻碰食指与手掌之间的关节则可按下电梯按键。主控模块根据第4标定点和第5标定点之间的距离是否小于设定阈值判断二者是否轻碰。第4和第5标定点的坐标分别为(x

计算两个位于二维平面的点之间的距离只需要用到v

例如：用户对照电子显示屏，将屏幕中的食指指尖放置于6号楼按键后，将大拇指轻碰食指与手掌之间的关节，该画面被摄像头拍摄后传送到主控模块，主控模块接收到图像后根据公式计算第4标定点和第5标定点之间的距离

若d≤d

进一步的，电梯电气控制模块根据主控模块传输过来的楼层号，控制电梯去往相应的楼层。

当电梯运行到用户指定的楼层后，按键颜色会由深色变回原来的半透明状态，以供下一批用户重新选择。

上述实施例只是本发明的较佳实施例，并不是对本发明技术方案的限制，只要是不经过创造性劳动即可在上述实施例的基础上实现的技术方案，均应视为落入本发明专利的权利保护范围内。