基于MCU的离线式人脸识别智能门锁以及控制方法

技术领域

本发明涉及智能门锁技术领域，特别涉及一种基于MCU的离线式人脸识别智能门锁及其控制方法。

背景技术

近年来，随着人工智能在不同行业和不同领域的广泛应用，越来越多的人们享受到人工智能带来的福利，其中就包括人脸识别技术。目前大多数开源的人脸识别SDK基于GPU硬核和linux操作系统，资源需求大，成本要求高，不利于在面向普通家庭或成本要求非常严格的智能门锁领域进行大规模推广和部署。同时当前市场上流行的通用的人脸识别智能门锁，几乎都采用在线式人脸特征值提取和识别方法，在遇到网络故障或其他特殊情况下网络无法使用的地方，由于人脸无法识别而导致门锁无法打开的情况。另外，当前几乎所有人脸识别的智能门锁都采用附件外挂式，也就是传统门锁和人脸识别装置分开，采用这种设计存在安装麻烦以及安全性问题，由于人脸属于人的绝对隐私，一旦泄露将造成不可挽回的损失，因此将人脸识别功能和传统门锁的功能合二为一，同时具备离线式的人脸识别提取功能和低成本的硬件属性将对基于人脸识别的智能门锁的推广起到十分重要的作用。

发明内容

针对现有技术存在以上缺陷，本发明提供一种基于MCU的离线式人脸识别智能门锁如下：

本发明的技术方案是这样实现的：

一种基于MCU的离线式人脸识别智能门锁，所述智能门锁包括双摄像头及摄像头采集模块、带触摸功能的液晶及显示驱动模块、带指纹识别功能的金属把手、中央处理器模块及配套控制电路、锂电池及配套电源模块，

所述中央处理器模块及配套控制电路包括：

基于NXP的ARM Cortex M7F的RT1060低功耗处理器，所述RT1060低功耗处理器用于人脸及指纹的输入、检测、识别和控制输出；

配套电源DCDC电路，所述配套电源DCDC电路用于将锂电池输出的电压线性转换成RT1060低功耗处理器所需的各路电压和配套控制电路所需的电压；

继电器控制电路，所述继电器控制电路主要用于控制磁性锁栓与开关量输入输出电路配合完成磁性锁栓的进出，

开关量输入和输出电路，用于与磁性锁栓配合且完成磁性锁栓的进出操作。

所述双摄像头及摄像头采集模块、带触摸功能的液晶及显示驱动模块、锂电池及配套电源模块分别与中央处理器模块及配套控制电路电性连接。

优选地，所述双摄像头及摄像头采集模块安装在智能门锁的前上侧，和智能门锁平面呈45度角，包括两个CMOS全高清摄像头，用于实时采集人脸图像，并将图像发送到中央处理器模块；所述两个CMOS全高清摄像头是鱼眼摄像头，在拍摄面20度～160度方向拍摄人脸。

优选地，所述带触摸功能的液晶及显示驱动模块包括2.6英寸、分辨率240x320的高亮OLED液晶屏、配套的一个电容触摸屏以及一个SPI串口驱动电路，所述摄像头采集的人脸图像通过所述中央处理器模块后，通过SPI接口实时呈现到OLED液晶屏上，用于用户感知人脸位置、指纹以及识别过程，识别失败会显示红色，识别成功显示绿色，所述电容触摸屏提供给用户对界面提示性的操作，用于本地提取人脸特征值和指纹特征值等，所述OLED液晶屏安装在所述智能门锁的前侧，和智能门锁主体呈一个平面。

优选地，所述带指纹识别功能的金属把手包括指纹识别模块与金属把手，所述指纹识别模块内嵌在金属把手的中间位置，用于采集和识别用户的指纹。

优选地，所述智能门锁还包括传统锁锁孔，所述传统锁锁孔用于在应急情况下的钥匙开锁。

本发明还提供了一种基于MCU人脸识别算法的门锁智能控制方法，所述控制方法包括以下步骤：

(1)所述智能门锁集成的双摄像头对进入拍摄区域的人体进行自动跟踪拍摄，其中一个摄像头用于拍摄跟踪人脸，另外一个摄像头则用于拍摄人脸景深，两个摄像头联合拍摄的视频图像实时传送到所述中央处理器模块内部，通过集成在中央处理器模块内部的图像预处理程序，构建一个立体的人脸3D图像，同时进行图像弦度变换和人脸图像边缘检测，自动锁定人脸位置；

(2)所述摄像头采集模块内置红外感应传感器，可对进入拍摄区域的并且已经锁定人脸位置的区域进行温度自动感知，和人脸景深图像联合确保当前拍摄的人脸为非照片图像；

(3)所述中央处理器模块对锁定的人脸位置区域的图像自动拍摄照片，并将结果传输到集成在内部的人脸识别推理算法；

(4)当所述推理算法识别成功后，所述中央处理器模块发送开关信号到所述继电器控制模块，将磁性锁栓吸入，房门自动打开；

优选地，所述推理算法主要包括：带CNN神经网络卷积算法的人脸初步识别、人脸活性检测过程、人脸质量分类、面部自动对齐、带CNN神经网络回归算法的人脸深度识别、人脸特征值提取和比对共6个步骤，完成人脸识别的整个过程，如果人脸识别成功，则自动更新OLED液晶屏上面部虚线外框，绿色表示识别成功，红色为识别不成功。

优选地，所述控制方法还包括人脸特征值存入，所述人脸特征值提取以及人脸特征值存入包括以下步骤：

(1)用户人脸对准双摄像头，观察所述液晶屏上的人脸位置；

(2)点击电容触摸屏的任何位置，在弹出的对话框上选择“录入人脸”；

(3)选择完成后，用户对准摄像头站1～2秒钟，此时人脸识别算法会自动检测人脸并提取特征值；

(4)提取成功后，会弹出一个对话框，让用户输入待存入人脸的用户姓名，用拼音或数字替代输入，输入完成后，点击“保存“按钮，此时该用户的人脸特征值已经存入到本地数据库中。

与现有技术相比，本发明有以下有益效果：

本发明的基于MCU的离线式人脸识别智能门锁以及控制方法，将人脸识别功能和传统门锁的功能合二为一，摒弃了传统资源需求大、成本要求高的开源的人脸识别SDK基于GPU硬核和linux操作系统，适合普通家庭或成本要求非常严格的智能门锁领域进行大规模推广和部署，本发明采用的算法大大提高了算法运行的性能，同时将量化算法精度和原始浮点数据模型基本保持一致，提高了推理的精度；本发明提出的面向MCU的硬件方案，只需要MCU(片内带一定的FLASH和SRAM内存)、DCDC电源就可以搭建最小的人脸识别硬件方案，完全可以在面积严格受限的门锁领域使用。

附图说明

图1为本发明基于MCU的离线式人脸识别智能门锁的电路原理图；

图2为本发明基于MCU的离线式人脸识别智能门锁的外观示意图；

图3为本发明基于MCU人脸识别算法的门锁智能控制方法的流程图；

图4为本发明离线式人脸识别推理算法流程图的流程图；

图5为本发明离线式人脸识别算法架构图的架构图。

图中：双摄像头1，摄像头采集模块2，带触摸功能的液晶及显示驱动模块3，带指纹识别功能的金属把手4，中央处理器模块及配套控制电路5，锂电池及配套电源模块6。

具体实施方式

下面将结合本发明实施例中的附图，对本发明进行清楚、完整地描述。

如图1至图2所示，一种基于MCU的离线式人脸识别智能门锁，所述智能门锁包括双摄像头1及摄像头采集模块2、带触摸功能的液晶及显示驱动模块3、带指纹识别功能的金属把手4、中央处理器模块及配套控制电路5、锂电池及配套电源模块6，所述中央处理器模块及配套控制电路5包括：

基于NXP的ARM Cortex M7F的RT1060低功耗处理器，所述RT1060低功耗处理器用于人脸及指纹的输入、检测、识别和控制输出；

配套电源DCDC电路，所述配套电源DCDC电路用于将锂电池输出的电压线性转换成RT1060低功耗处理器所需的各路电压和配套控制电路所需的电压；

继电器控制电路，所述继电器控制电路主要用于控制磁性锁栓与开关量输入输出电路配合完成磁性锁栓的进出，

开关量输入和输出电路，用于与磁性锁栓配合且完成磁性锁栓的进出操作。

所述双摄像头及摄像头采集模块、带触摸功能的液晶及显示驱动模块、锂电池及配套电源模块分别与中央处理器模块及配套控制电路电性连接。

所述双摄像头1及摄像头采集模块2安装在智能门锁的前上侧，和智能门锁平面呈45度角，包括两个CMOS全高清摄像头，所述CMOS全高清摄像头位于带触摸功能的液晶及显示驱动模块3的上部，用于实时采集人脸图像，并将图像发送到中央处理器模块；所述两个CMOS全高清摄像头是鱼眼摄像头，在拍摄面20度～160度方向拍摄人脸。

所述带触摸功能的液晶及显示驱动模块3包括2.6英寸、分辨率240x320的高亮OLED液晶屏、配套的一个电容触摸屏以及一个SPI串口驱动电路，所述摄像头采集的人脸图像通过所述中央处理器模块后，通过SPI接口实时呈现到OLED液晶屏上，用于用户感知人脸位置、指纹以及识别过程，识别失败会显示红色，识别成功显示绿色，另外，指示颜色可不限于红色与绿色，还可包括其他，所述电容触摸屏提供给用户对界面提示性的操作，用于本地提取人脸特征值和指纹特征值等，所述OLED液晶屏安装在所述智能门锁的前侧，和智能门锁主体呈一个平面。

所述带指纹识别功能的金属把手包括指纹识别模块与金属把手，所述指纹识别模块内嵌在金属把手的中间位置，用于采集和识别用户的指纹，所述指纹识别模块为与金属把手的正面。所述指纹识别模块与金属把手末端的距离为13cm,用户在握住金属把手的同时，可保证大拇指直接按压在指纹识别模块的指纹识别区上，方便用户开门操作。

所述智能门锁还包括传统锁锁孔，所述传统锁锁孔用于在应急情况下的钥匙开锁，或是智能门锁电池没电的情况下，可以采用钥匙开锁。

如图3、图5所示，本发明还提供了一种基于MCU人脸识别算法的门锁智能控制方法，所述控制方法包括以下步骤：

(1)所述智能门锁集成的双摄像头对进入拍摄区域的人体进行自动跟踪拍摄，其中一个摄像头用于拍摄跟踪人脸，另外一个摄像头则用于拍摄人脸景深，两个摄像头联合拍摄的视频图像实时传送到所述中央处理器模块内部，通过集成在中央处理器模块内部的图像预处理程序，构建一个立体的人脸3D图像，同时进行图像弦度变换和人脸图像边缘检测，自动锁定人脸位置；

(2)所述摄像头采集模块内置红外感应传感器，可对进入拍摄区域的并且已经锁定人脸位置的区域进行温度自动感知，和人脸景深图像联合确保当前拍摄的人脸为非照片图像；

(3)所述中央处理器模块对锁定的人脸位置区域的图像自动拍摄照片，并将结果传输到集成在内部的人脸识别推理算法；

(4)当所述推理算法识别成功后，所述中央处理器模块发送开关信号到所述继电器控制模块，将磁性锁栓吸入，房门自动打开；

所述推理算法主要包括：带CNN神经网络卷积算法的人脸初步识别、人脸活性检测过程、人脸质量分类、面部自动对齐、带CNN神经网络回归算法的人脸深度识别、人脸特征值提取和比对共6个步骤，完成人脸识别的整个过程，如果人脸识别成功，则自动更新OLED液晶屏上面部虚线外框，绿色表示识别成功，红色为识别不成功。

所述控制方法还包括人脸特征值存入，所述人脸特征值提取以及人脸特征值存入包括以下步骤：

(1)用户人脸对准双摄像头，观察所述液晶屏上的人脸位置；

(2)点击电容触摸屏的任何位置，在弹出的对话框上选择“录入人脸”；

(3)选择完成后，用户对准摄像头站1～2秒钟，此时人脸识别算法会自动检测人脸并提取特征值；

(4)提取成功后，会弹出一个对话框，让用户输入待存入人脸的用户姓名，用拼音或数字替代输入，输入完成后，点击“保存“按钮，此时该用户的人脸特征值已经存入到本地数据库中。

本发明提出了一种基于MCU的离线式人脸识别智能门锁，采用基于NXP的ARMCortex M7F的RT1060低功耗处理器，同时其硬件资源包括内存、处理器指令速度、DSP浮点指令，通过对人脸识别AI训练模型的深度优化和裁剪，得到面向资源严格受限的MCU的人脸模型的各项参数。如图4所示，在推理侧，将带有DSP浮点指令和MAC单元充分结合，加速模型算法的运行，从而大大提高了算法运行的性能。同时将量化算法精度和原始浮点数据模型基本保持一致，提高了推理的精度。

由于需要和门锁合二为一，本发明提出的面向MCU的硬件方案，只需要MCU(片内带一定的FLASH和SRAM内存)、DCDC电源就可以搭建最小的人脸识别硬件方案，完全可以在面积严格受限的门锁领域使用。

针对MCU的人脸识别方案，本发明采用了低成本、低功耗、低尺寸的MCU。同时快速启动也是MCU的一个特点。MCU所采用的RTOS能使系统启动控制在几百毫秒以内，而采用MPU的Linux内核加上GUI通常启动需要10秒以上。从这一点上，IoT人脸识别模块将带来很好的用户体验，哪怕是整个系统断电重启也能快速就绪。

综合本发明的电路结构以及控制方法可知，本发明的基于MCU的离线式人脸识别智能门锁以及控制方法，将人脸识别功能和传统门锁的功能合二为一，摒弃了传统资源需求大、成本要求高的开源的人脸识别SDK基于GPU硬核和linux操作系统，适合普通家庭或成本要求非常严格的智能门锁领域进行大规模推广和部署，本发明采用的算法大大提高了算法运行的性能，同时将量化算法精度和原始浮点数据模型基本保持一致，提高了推理的精度。