一种手势识别与控制系统及应用

技术领域

本发明属于柔性电子技术及应用领域，特别是涉及一种手势识别与控制系统及应用。

背景技术

可穿戴设备是一种可以直接穿在身上或是整合到用户的衣服或配件的一种便携式设备，近年来取得了前所未有的发展。然而，目前广泛应用的可穿戴设备采用使用者佩戴或穿戴方式，将不同功能的电子产品集成到常规行为和动作中，实现对身体特征的监测和外协设备的响应。同时，该方法虽然具有便捷性和可快速替换性，但其非贴身性也导致捕捉数据的准确性大幅降低，影响对外协设备的控制精度。

电子皮肤产品最为近年来新发展的技术，其良好的皮肤贴合性和精准的可控性，使其成为可穿戴设备重要的发展方向。伴随电子皮肤技术和产品的发展，诸多新型材料、增材制造技术和应用也展现出良好的适配性和增益性。以先进电子材料为例，包括新型导电材料(液态金属、纳米银、石墨烯等)、光敏、气敏材料。先进制造技术更是包括了微纳制造、3D打印、柔性印制技术在柔性电子领域的融合。

本发明提供了一种手势识别与控制系统，通过定制化设计的柔性电子传感仿生皮肤及其表面贴装的多模态传感芯片，可精准捕捉上肢运动过程中的动作、姿态、触感、嗅觉和外部信号变化，从而实时控制仿生机械模块的运动，满足人机交互、智能康养等领域的应用需求。该系统制备方法简便，使用的导电复合材料的柔性电子电路印制方法可以显著提升系统良好的人机贴合性、灵敏性。

发明内容

基于背景技术所述存在的技术问题，本发明的目的是提供一种手势识别与控制系统，包括：电子信号发生模块、电子信号采集及处理模块、信号控制模块、无线通信模块、以及仿生机械模块。通过定制化设计的柔性电子传感仿生皮肤及其表面贴装的多模态传感芯片，可精准捕捉上肢运动过程中的动作、姿态、触感、嗅觉和外部信号变化，从而实时控制仿生机械模块的运动，满足人机交互、智能康养等领域的应用需求。该系统制备方法简便，使用导电复合材料印制的柔性电子电路可以显著提升系统良好的人机贴合性、灵敏性。具体技术方案如下：

一种手势识别与控制系统，包括电子信号发生模块、电子信号采集及处理模块、信号控制模块、无线通信模块、以及仿生机械模块；

其中，电子信号发生模块具有良好皮肤贴合性、可拉伸性和高灵敏性，可用于提取手、手腕、前臂、手肘、上臂、肩等上肢动作、姿态、触感、嗅觉等变化信号。电子信号发生模块能够完全贴合穿戴者的皮肤，穿戴者上肢动作或者静止时都能保持与皮肤的完全贴合。同时，电子信号发生模块与电子信号采集及处理模块连接，并通过信号控制模块和无线通信模块将电子信号发生模块产生的上肢动作、姿态、触感、嗅觉等变化信号通讯给仿生机械模块的控制器，实时控制仿生机械模块的运动。仿生机械模块由机械装置和控制器组成，控制器可控制机械装置的运动。

所述系统的电子信号发生模块，包括柔性电子传感仿生皮肤及其表面贴装的多模态传感芯片，其制备方法包括以下步骤：

(1)测绘穿戴者上肢的柔性电子传感仿生皮肤外围轮廓形状，按照手指表面、指尖、指关节(包括远端指关节、近端指关节)、指掌连接处、掌面、掌背、手腕关节、前臂表面、手肘关节、上臂表面、肩关节等上肢活动位点设计多模态传感芯片电子电路；多模态传感芯片尺寸的中心点与上肢活动位点的中心点位置重合；

(2)将高黏性高分子聚合物薄膜、高弹性可拉伸薄膜、非导电薄膜在温度为50-70℃、压力为50-150kg的条件下热压为复合柔性基底；

(3)使用激光切割沿穿戴者上肢外围轮廓形状切割复合柔性基底，激光切割功率为0.5-50W；上肢外围轮廓形状的裁切线为平面投影，实际为立体圆柱形，切割时可向外延伸0.5-1cm；

(4)使用3D打印、狭缝涂布或柔性印刷等方式在复合柔性基底表面印制复合电子材料，制备柔性电子传感仿生皮肤；

(5)使用低温液态金属焊料或各向异性胶水在电子电路上肢活动位点热压贴装多模态传感芯片，完成电子信号发生模块的制作。热压温度为60-120℃、压力为10-15kg。

所述的高黏性高分子聚合物薄膜可以为自粘胶膜或热粘性膜中的任意一种；所述的高弹性可拉伸薄膜可以为柔性硅胶、Ecoflex或PDMS材料中的任意一种；所述的非导电薄膜可以为光敏树脂固化膜、PI、PET、Teslin或PVC中的任意一种。高黏性高分子聚合物薄膜具有高黏性、生物相容性，确保柔性电子传感仿生皮肤与上肢紧密贴合；高弹性可拉伸薄膜可确保电子传感仿生皮肤在上肢摆动、扭转、收缩等形变过程中保持其稳定性和可恢复性；非导电薄膜可确保复合电子材料在其表面良好的附着。非导电薄膜作为衬底薄膜，为绝缘薄膜，衬底本身不导电，以免对电路及电子信号发生干扰。

所述的复合柔性基底，厚度为0.5-5微米。复合柔性基底厚度过大，会导致上肢动作变化过程中柔性电子传感仿生皮肤脱落，导致手势识别与控制系统功能失效。

所述的3D打印，采用高频振动控制压电喷墨打印方式，可在复合柔性基底表面打印粘度为1-100,000cp的复合电子材料；所述的狭缝涂布或柔性印刷方式，可在复合柔性基底表面印制粘度为1,000-50,000cp的复合电子材料。

所述的复合电子材料，由液态金属-纳米银粉改性材料、纳米金属-液态金属-弹性体材料复合材料、改性石墨烯掺杂液态金属复合材料或改性碳纳米管修饰液态金属复合材料中至少一种组成。其中，所述的液态金属-纳米银粉改性材料采用微烧结溶液去除纳米银颗粒表面的有机配体和液态金属表面的氧化镓层后机械搅拌制备。所述的纳米金属-液态金属-弹性体材料复合材料采用液相球磨的方式制备出纳米金属-液态金属复合粉末，并通过机械搅拌的方式与弹性体混合制备高分散性导电性弹性体。所述的改性石墨烯掺杂液态金属复合材料采用改性石墨烯、液态金属和酯类溶剂混合、真空干燥后制备。改性碳纳米管修饰液态金属复合材料采用酸液浸泡、搅拌、真空干燥后制备。所述的液态金属为熔点小于30℃的Ga-In、Ga-In-Sn或Ga-In-Zn基液态合金中的一种或几种。

所述的多模态传感芯片，可以为压力、姿态、视觉、语音、触觉、嗅觉传感芯片中的至少一种。多模态传感芯片可以捕捉上肢运动过程中的动作、姿态、触感、嗅觉及外部指令的变化，从而产生电子控制信号，控制仿生机械模块的运动。

所述的电子信号采集及处理模块，可采集复合电子材料在上肢运动时产生的电阻变化值，或采集多模态传感芯片产生的电子控制信号。根据复合电子材料的电阻值变化情况，可以判断上肢运动过程中的动作、姿态、触感、嗅觉；或根据多模态传感芯片产生的动作、姿态、触感、嗅觉及外部指令的变化，通过信号控制模块和无线通信模块，通讯给仿生机械模块的控制器，实时控制仿生机械模块的运动。

所述的电子信号采集及处理模块，还包括信号调理电路、微处理器、电源模块、报警电路、按键电路和保护电路。电子信号采集过程包括：

(1)开启电子信号采集及处理模块电源开关，穿戴柔性电子传感仿生皮肤者保持上肢伸展；缓慢按动电子信号采集及处理模块开关两次，观察黄色指示灯熄灭两次后保持常亮，表示获取最小值成功；

(2)穿戴柔性电子传感仿生皮肤者按设计要求摆出不同动作，缓慢按动电子信号采集及处理模块开关两次，观察黄色指示灯熄灭两次后保持常亮，表示获取最大值成功；

(3)根据采集到的最小值和最大值确定电阻值变化范围，建立动作姿态-电阻值函数关系；以手指处的变化为例，手部穿戴柔性电子传感仿生皮肤后，手指伸直与弯曲，柔性电子传感仿生皮肤某一手指活动位点处的电阻(简称手指电阻)变化范围一般在20-40％，阻值在27-68Ω之间。

所述的手势识别与控制系统，可应用于人机交互、电子游戏、智能家居、车载系统、智能康养等领域。

本发明的有益效果是：通过设计并制备了一种手势识别与控制系统。通过定制化设计的柔性电子传感仿生皮肤及其表面贴装的多模态传感芯片，可精准捕捉上肢运动过程中的动作、姿态、触感、嗅觉和外部信号变化，从而实时控制仿生机械模块的运动，满足人机交互、智能康养等领域的应用需求。该系统制备方法简便，使用导电复合材料印制的柔性电子电路可以显著提升系统良好的人机贴合性、灵敏性。

附图说明

图1为本发明电子信号发生模块制作的流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进一步进行清楚、完整的描述，显然，所描述的内容仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

本发明提供一种手势识别与控制系统，包括：电子信号发生模块、电子信号采集及处理模块、信号控制模块、无线通信模块、以及仿生机械模块。通过定制化设计的柔性电子传感仿生皮肤及其表面贴装的多模态传感芯片，可精准捕捉上肢运动过程中的动作、姿态、触感、嗅觉和外部信号变化，从而实时控制仿生机械模块的运动，满足人机交互、智能康养等领域的应用需求。该系统制备方法简便，使用导电复合材料印制的柔性电子电路可以显著提升系统良好的人机贴合性、灵敏性。

下面结合实施例对本发明实施方式提供的一种手势识别与控制系统的制备方法及应用进行说明。

实施例1

本实施例的应用场景是提供一种手势识别与控制系统，用于控制仿生手，实现仿生手对人手势的识别。

一种手势识别与控制系统，包括电子信号发生模块、电子信号采集及处理模块、信号控制模块、无线通信模块、以及仿生机械模块；仿生机械模块为有5个手指的右手仿生机械手掌。

其中，电子信号发生模块具有良好皮肤贴合性、可拉伸性和高灵敏性，可用于提取手、手腕、前臂、手肘、上臂、肩等上肢动作、姿态、触感、嗅觉等变化信号。同时，电子信号发生模块与电子信号采集及处理模块连接，并通过信号控制模块和无线通信模块将电子信号发生模块产生的上肢动作、姿态、触感、嗅觉等变化信号通讯给仿生机械手掌的控制器，实时控制仿生机械手掌的运动。仿生机械手掌由机械手掌和控制器组成，控制器可控制机械手掌的运动。

所述系统的电子信号发生模块，包括柔性电子传感仿生皮肤及其表面贴装的多模态传感芯片，其制备方法包括以下步骤：

(1)测绘穿戴者右手的轮廓形状作为柔性电子传感仿生皮肤外围轮廓形状，按照远端指关节、近端指关节、指掌连接处的活动位点设计多模态传感芯片电子电路；多模态传感芯片尺寸的中心点与穿戴者右手5根手指的远端指关节、近端指关节、指掌连接处的活动位点的中心点位置重合；为了保证拉伸状态时仍具有良好的电学性能多模态传感芯片电子电路设计为之字形电路、蛇形电路、波浪形电路或弹簧形电路。多模态传感芯片电子电路的长度要适中，既要有效覆盖活动位点区域，又要兼顾多模态传感芯片电子电路的电阻变化率。多模态传感芯片电子电路的长度太短，无法有效覆盖活动位点；长度太长，电阻变化率会降低，影响动作信号识别的灵敏性。电子信号发生模块与穿戴者右手皮肤完全贴合，穿戴者右手动作或者静止时都能保持与皮肤的完全贴合。

(2)将高黏性高分子聚合物薄膜自粘胶膜薄膜、高弹性可拉伸薄膜柔性硅胶薄膜、非导电薄膜PVC薄膜在温度为51℃、压力为148kg的条件下热压为复合柔性基底；

在另一种实施方式中，将高黏性高分子聚合物薄膜热粘性膜薄膜、高弹性可拉伸薄膜柔性硅胶薄膜、非导电薄膜光敏树脂固化膜在温度为62℃、压力为132kg的条件下热压为复合柔性基底；

在另一种实施方式中，将高黏性高分子聚合物薄膜自粘胶膜薄膜、高弹性可拉伸薄膜Ecoflex薄膜、非导电薄膜Teslin薄膜在温度为69℃、压力为54kg的条件下热压为复合柔性基底；

在另一种实施方式中，将高黏性高分子聚合物薄膜热粘性膜薄膜、高弹性可拉伸薄膜PDMS薄膜、非导电薄膜PET薄膜在温度为57℃、压力为99kg的条件下热压为复合柔性基底；

高黏性高分子聚合物薄膜具有高黏性、生物相容性，确保柔性电子传感仿生皮肤与上肢紧密贴合；高弹性可拉伸薄膜可确保电子传感仿生皮肤在上肢摆动、扭转、收缩等形变过程中保持其稳定性和可恢复性；非导电薄膜可确保复合电子材料在其表面良好的附着。所述的复合柔性基底，厚度为5微米。复合柔性基底厚度过大，会导致上肢动作变化过程中柔性电子传感仿生皮肤脱落，导致手势识别与控制系统功能失效。

(3)使用激光切割沿穿戴者右手外围轮廓形状切割复合柔性基底，激光切割功率为50W；右手外围轮廓形状的裁切线为平面投影，实际为立体圆柱形，切割时可向外延伸1cm；

(4)使用3D打印、狭缝涂布或柔性印刷等方式在复合柔性基底表面印制复合电子材料，制备柔性电子传感仿生皮肤；

(5)使用低温液态金属焊料或各向异性胶水在电子电路上肢活动位点热压贴装多模态传感芯片，完成电子信号发生模块的制作。热压温度为120℃、压力为15kg。

所述的3D打印，采用高频振动控制压电喷墨打印方式，可在复合柔性基底表面打印粘度为80,000cp的复合电子材料。

复合电子材料为液态金属-纳米银粉改性材料。所述的液态金属-纳米银粉改性材料采用微烧结溶液去除纳米银颗粒表面的有机配体和液态金属表面的氧化镓层后机械搅拌制备。所述的微烧结溶液包括乙二醇二甲醚、二乙二醇二乙醚。纳米银粉的颗粒尺寸为100nm。

在另一种实施方式中，复合电子材料为纳米铁-液态金属-PU弹性体材料复合材料。所述的纳米金属-液态金属-弹性体材料复合材料采用液相球磨的方式制备出纳米金属-液态金属复合粉末，并通过机械搅拌的方式与弹性体混合制备高分散性导电性弹性体。弹性体材料为PU及其固化剂。

在另一种实施方式中，复合电子材料为改性石墨烯掺杂液态金属复合材料。所述的改性石墨烯掺杂液态金属复合材料采用卤族元素修饰还原氧化石墨烯、液态金属和酯类溶剂混合、真空干燥后制备。所述的酯类溶剂包括甲酸甲酯、乙酸乙酯。

在另一种实施方式中，复合电子材料为氮硫共掺杂碳纳米管修饰液态金属复合材料。氮硫共掺杂碳纳米管修饰液态金属复合材料采用酸液浸泡、搅拌、真空干燥后制备。所述酸液为稀盐酸。

其中，所述的液态金属为熔点小于30℃的Ga-In、Ga-In-Sn或Ga-In-Zn基液态合金中的一种或几种。

所述的多模态传感芯片，可以为压力、姿态、视觉、语音、触觉、嗅觉传感芯片中的至少一种。多模态传感芯片可以捕捉上肢运动过程中的动作、姿态、触感、嗅觉及外部指令的变化，从而产生电子控制信号，控制仿生机械模块的运动。

所述的电子信号采集及处理模块，可采集复合电子材料在右手手掌运动时产生的电阻变化值，或采集多模态传感芯片产生的电子控制信号。根据复合电子材料的电阻值变化情况，可以判断右手手掌运动过程中的动作和姿态；或根据多模态传感芯片产生的触感、嗅觉及外部指令的变化，通过信号控制模块和无线通信模块，通讯给仿生机械手掌的控制器，实时控制仿生机械手掌的运动。

所述的电子信号采集及处理模块，还包括信号调理电路、微处理器、电源模块、报警电路、按键电路和保护电路。电子信号采集过程包括：

(1)开启电子信号采集及处理模块电源开关，穿戴柔性电子传感仿生皮肤者保持右手手掌伸展；缓慢按动电子信号采集及处理模块开关两次，观察黄色指示灯熄灭两次后保持常亮，表示获取最小值成功；

(2)穿戴柔性电子传感仿生皮肤者保持右手握拳，缓慢按动电子信号采集及处理模块开关两次，观察黄色指示灯熄灭两次后保持常亮，表示获取最大值成功；

(3)根据采集到的最小值和最大值确定电阻值变化范围，建立动作姿态-电阻值函数关系；以手指处的变化为例，手部穿戴柔性电子传感仿生皮肤后，手指伸直与弯曲，柔性电子传感仿生皮肤某一手指活动位点处的电阻(简称手指电阻)变化范围在20-40％，阻值在27-68Ω之间。

本实施例制作的手势识别与控制系统可以用于控制仿生机械手掌实现对人手势的识别，可以识别的手势包括拳头、OK、单手比心、单手作别、点赞、数字等。

实施例2

本实施例的应用场景是提供一种手势识别与控制系统。紧贴于上肢的柔性电子传感仿生皮肤在运动过程中发生变形，产生电阻值变化，通过电子信号采集及处理模块依次传递给信号控制模块、无线通信模块、以及仿生机械臂，实现仿生机械臂的同步运动。同时，在柔性电子传感仿生皮肤表面贴装的触觉、嗅觉、姿态传感芯片，同步捕捉上肢运动过程中的环境信息，为上肢运动提供更多维度的数据信息，以提高仿生机械臂的控制精度和灵活度，实现仿生手对人手势的精准识别和控制。

一种手势识别与控制系统，包括电子信号发生模块、电子信号采集及处理模块、信号控制模块、无线通信模块、以及仿生机械模块；

其中，电子信号发生模块具有良好皮肤贴合性、可拉伸性和高灵敏性，可用于提取手、手腕、前臂、手肘、上臂、肩等上肢动作、姿态、触感、嗅觉等变化信号。同时，电子信号发生模块与电子信号采集及处理模块连接，并通过信号控制模块和无线通信模块将电子信号发生模块产生的上肢动作、姿态、触感、嗅觉等变化信号通讯给仿生机械模块的控制器，实时控制仿生机械模块的运动。

所述系统的电子信号发生模块，包括柔性电子传感仿生皮肤及其表面贴装的多模态传感芯片，其制备方法包括以下步骤：

(1)测绘穿戴者右手及前臂的轮廓形状作为柔性电子传感仿生皮肤外围轮廓形状，按照远端指关节、近端指关节、指掌连接处、手腕连接处、前臂的活动位点设计多模态传感芯片电子电路；多模态传感芯片尺寸的中心点与远端指关节、近端指关节、指掌连接处、手腕连接处、前臂的活动位点的中心点位置重合；

(2)将高黏性高分子聚合物薄膜、高弹性可拉伸薄膜、非导电薄膜在温度为50℃、压力为50kg的条件下热压为复合柔性基底；

(3)使用激光切割沿穿戴者右手及前臂外围轮廓形状切割复合柔性基底，激光切割功率为5W；右手及前臂外围轮廓形状的裁切线为平面投影，实际为立体圆柱形，切割时可向外延伸0.5cm；

(4)使用3D打印、狭缝涂布或柔性印刷等方式在复合柔性基底表面印制复合电子材料，制备柔性电子传感仿生皮肤；

(5)使用低温液态金属焊料或各向异性胶水在电子电路上肢活动位点热压贴装多模态传感芯片，完成电子信号发生模块的制作。热压温度为75℃、压力为10kg。

所述的高黏性高分子聚合物薄膜可以为自粘胶膜或热粘性膜中的任意一种；所述的高弹性可拉伸薄膜为Ecoflex；所述的非导电薄膜可以为光敏树脂固化膜。高黏性高分子聚合物薄膜具有高黏性、生物相容性，确保柔性电子传感仿生皮肤与上肢紧密贴合；高弹性可拉伸薄膜可确保电子传感仿生皮肤在上肢摆动、扭转、收缩等形变过程中保持其稳定性和可恢复性；非导电薄膜可确保复合电子材料在其表面良好的附着。

所述的复合柔性基底，厚度为0.5微米。复合柔性基底厚度过大，会导致上肢动作变化过程中柔性电子传感仿生皮肤脱落，导致手势识别与控制系统功能失效。

所述的狭缝涂布或柔性印刷方式，可在复合柔性基底表面印制粘度为5,000cp的复合电子材料。

所述的复合电子材料，由液态金属-纳米银粉改性材料、纳米金属-液态金属-弹性体材料复合材料、改性石墨烯掺杂液态金属复合材料或改性碳纳米管修饰液态金属复合材料中至少一种组成。其中，所述的液态金属-纳米银粉改性材料采用微烧结溶液去除纳米银颗粒表面的有机配体和液态金属表面的氧化镓层后机械搅拌制备。所述的纳米金属-液态金属-弹性体材料复合材料采用液相球磨的方式制备出纳米金属-液态金属复合粉末，并通过机械搅拌的方式与弹性体混合制备高分散性导电性弹性体。所述的改性石墨烯掺杂液态金属复合材料采用改性石墨烯、液态金属和酯类溶剂混合、真空干燥后制备。改性碳纳米管修饰液态金属复合材料采用酸液浸泡、搅拌、真空干燥后制备。所述的液态金属为熔点小于30℃的Ga-In、Ga-In-Sn或Ga-In-Zn基液态合金中的一种或几种。

所述的多模态传感芯片，可以为压力、姿态、视觉、语音、触觉、嗅觉传感芯片中的至少一种。多模态传感芯片可以捕捉上肢运动过程中的动作、姿态、触感、嗅觉及外部指令的变化，从而产生电子控制信号，控制仿生机械模块的运动。

所述的电子信号采集及处理模块，可采集复合电子材料在上肢运动时产生的电阻变化值，或采集多模态传感芯片产生的电子控制信号。根据复合电子材料的电阻值变化情况，可以判断上肢运动过程中的动作和姿态；或根据多模态传感芯片产生的触感、嗅觉及外部指令的变化，通过信号控制模块和无线通信模块，通讯给仿生机械模块的控制器，实时控制仿生机械模块的运动。

所述的电子信号采集及处理模块，还包括信号调理电路、微处理器、电源模块、报警电路、按键电路和保护电路。电子信号采集过程包括：

(1)开启电子信号采集及处理模块电源开关，穿戴柔性电子传感仿生皮肤者保持右手及前臂伸展；缓慢按动电子信号采集及处理模块开关两次，观察黄色指示灯熄灭两次后保持常亮，表示获取最小值成功；

(2)穿戴柔性电子传感仿生皮肤者按设计要求摆出不同动作，缓慢按动电子信号采集及处理模块开关两次，观察黄色指示灯熄灭两次后保持常亮，表示获取最大值成功；

(3)根据采集到的最小值和最大值确定电阻值变化范围，建立动作姿态-电阻值函数关系；以手指处的变化为例，手部穿戴柔性电子传感仿生皮肤后，手指伸直与弯曲，柔性电子传感仿生皮肤某一手指活动位点处的电阻(简称手指电阻)变化范围在20-40％，阻值在50-100Ω之间。

以上所述仅为本发明的较佳实施方式，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。