一种基于图像识别的教室节能灯控系统及其控制方法

技术领域

本发明属于智能照明控制领域，尤其涉及一种基于图像识别的教室节能灯控系统及其控制方法。

背景技术

科技在不断的创新与发展，与之相伴的是高科技技术在生活中越来越多的应用，并且为人们生活的便捷与能源的使用提供了无尽的裨益。如今，随着高校不断扩招和教室不断扩建，教室因用电管理不善而导致用电负荷不断加大，学校里还存在着很多教室没人但是灯几乎全开着的现象。这造成学校电能浪费和经济损失，这种浪费与当今的节约能源理念相违背。

从众多高校的调查结果来看，现在高校的资源设备管理都是由专门的楼管人员负责，其管理模式仍然非常传统和落后，其管理用电设备的主要方式为设定统一的用电设备通电和断电时间，并且在夜晚即将清楼时需要管理者逐层逐教室进行提醒和关灯操作，这种管理方式灵活性极低且落后，不能达到绿色环保用电的要求，也不能满足师生们在不同情况下的用电需求。

同时，现代自动化程度不断提高，计算机技术的普及，灯光的管理控制也在朝着自动化、智能化的方向发展。国内外目前有比较多的基于各类传感器的控制系统，但缺少基于图像识别的应用系统。基于传感器的系统不但存在价格昂贵，安装不便，使用寿命有限，难以维护的问题，还不易于移植或者更新开发与再应用。

专利申请201821028304.9号公开了一种教室照明节能控制系统，该系统采用光照强度检测模块与结合红外激光管的人数采集模块，来实现教室内灯光的控制。但是该方案采用传感器较多，主要以硬件来实现功能，整个系统的成本较高，教室改造难度大。

专利申请201721391343.0号公开了一种教室节能装置，包括四块节能照明系统且均设有室内照明灯、热成像摄像头和分区红外线传感器，以此来实现每块区域内的灯光控制。但是该方案功能模块构成复杂，摄像头及传感器使用多，不利更新维护且成本较高。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提出一种基于图像识别的教室节能灯控系统，通过多模式灯光控制技术将教室节能灯控系统，更加有效合理的根据时间、人员分布及临时需求来使用教室灯光；通过APP控灯技术实现对教室灯的便捷控制，可以实时收到反馈，使电器的控制更加合理与节能环保；将教室按照区域划分，避免人少灯全开，人走不关灯等电能浪费现象，并且可依托教室现有的摄像头等资源，减少了不必要的资源浪费。

一种基于图像识别的教室节能灯控系统，包括摄像头分区目标检测端、电路控制端和APP用户控制端；所述摄像头分区目标检测端通过教室内分区域布置的摄像头检测教室内情况，根据各个区域有人或无人向电路控制端发送指令，电路控制端将信息与APP控制端间进行双向传递。

所述APP用户控制端通过传输控制协议接收到电路控制端发送过来的数据流，再将数据流的信息实时显示在APP界面上；用户能够通过APP界面上的开关灯或灯光模式控制按键向电路控制端传输指令，实现远程控制教室灯的开关。

所述电路控制端包括单片机，单片机通过WIFI模块接收摄像头分区目标检测端和APP控制端传输的数据信息，单片机的IO输出口上连接三极管共射极放大电路，放大电路内部先通过上拉电阻R7，提高驱动能力，再经过输入电阻R6，当达到导通电压时，三极管导通，达到放大效果；放大后的单片机的IO输出口的输出电平接入继电器，继电器还分别与用电设备的零线、火线连接，以实现对用电设备的控制。

一种基于图像识别的教室节能灯控系统的控制方法，其特征在于：具体包括以下步骤：

步骤1：摄像头实时采集教室内图像信息；

步骤2：将视频流分帧处理后进行图像识别；

步骤3：依据图像识别结果进行人员所属区域的判断；

步骤4：将人员分布区域及人数的信息反馈给单片机；

步骤5：单片机通过继电器开关有人或无人区域用电设备；

步骤6：APP实时显示教室内的信息。

所述步骤1具体为：摄像头分区目标检测端依托教室的监控摄像头资源，采集教室内实时的视频流，并基于实时流控制协议进行视频流的传输，传输给电路控制端。

所述步骤2具体为：

(2a)首先将步骤1采集的视频流分帧处理，将取出的每帧图像传递给深度学习模型；

(2b)通过摄像头控制端调整控制摄像头在实际的教室场景中采集不同方位角度的原始图片数据，以端坐及不易识别的多种坐姿人体、站立人体为目标，采用深度学习模型，建立数据集(VOC格式)，然后使用标注工具，对背景和人图片数据集进行标注，生成txt格式的文件，再基于标注好的数据生成训练出所需要的xml格式的文件；

(2c)使用步骤(2b)中训练完成的深度学习模型对步骤(2a)接收到的每帧图像进行目标跟踪检测识别，样本类别是图像识别的结果会将人体目标用几何矩形框标注出来，并显示目标所属类别以及目标属于该类别的概率。

所述步骤3具体为：

将教室内灯光分为多个区域，并设置每个区域的坐标界限，所属区域的判定采用步骤2(2c)中目标跟踪检测目标检测所得的人体几何矩形框的右下顶点坐标作为等效人体区域坐标点即目标检测的结果坐标点。

所述步骤4具体为：

摄像头分区目标检测端将步骤3的图像识别信息通信传送给WIFI模块，WIFI模块采用传输控制协议接受远程指令，之后将信息传送给单片机，单片机滤除无效数据，并将接收到的有效数据串进行拆分，确定教室内人数和需要开关用电设备的区域号。

所述步骤5具体为：

接收到无人区域信息后单片机的IO输出口上连接三极管共射极放大电路，放大电路内部先通过上拉电阻R7，提高驱动能力，再经过输入电阻R6，当达到导通电压时，三极管导通，达到放大效果；放大后的单片机的IO输出口的输出电平接入继电器，继电器还分别与用电设备的零线、火线连接，单片机在接收到指令后输出相应的脉冲宽度调制波控制用电设备的开闭。

所述步骤6具体为：

(6a)用户在APP上输入IP地址与端口信息，通过传输控制协议来与教室节能灯控系统连接；

(6b)用户在APP上通过点击按钮触发相应事件，通过传输控制协议将指令信息发送给灯控系统的单片机；单片机通过WIFI模块接收到相应的指令信息；在控制页面，能直观观察到当前教室的灯光开关情况、教室人数及当前课程，同时，用户能够对教室节能灯控系统分设为不同的节能模式，在可下拉列表框选择当前教室的模式即有课模式、无课模式或自习模式；也可简单地通过点击LED灯样按钮来实现远程控制教室灯光的开关；

(6c)单片机根据接收到的指令信息改变IO口的输出电压，连接继电器的IO口模式为上拉输出模式，继电器连接用电设备的零线和火线，开关相应用电设备。

本发明与现有技术相比，具有如下优点：

(1)本发明采用“一变多”的分区理念，将教室按照区域划分，采用深度学习模型，通过识别人体的外形轮廓与动作行为来判定教室内的人数，描绘出人数的时间分布函数，将人员分布区域及人数的信息反馈给单片机，运用图像识别技术来控制室内灯光的自主打开与熄灭，做到每个区域有人自动开灯，无人自动灭灯，避免人少灯全开，人走不关灯等电能浪费现象，并且依托教室现有的摄像头等资源，减少了不必要的资源浪费。

(2)本发明能够对教室节能灯控系统分设为不同的节能模式，从而更加有效合理的根据时间、人员分布及临时需求来使用教室灯光，可以极大程度满足目前教室灯光的绿色节能使用需求。

(3)本发明通过自动化控制技术实现基于图像识别的自动化控制理念的智能化教室，根据深度学习模型，通过识别人体的外形轮廓与动作行为目标检测端，以及通过APP控灯技术实现对教室灯的便捷控制，可以实时收到反馈，使电器的控制更加合理与节能环保。

附图说明

图1是本发明系统组成示意图。

图2是本发明控制过程的工作流程图。

图3是本发明管控流程示意图。

图4是本发明放大电路示意图。

图5是本发明APP控制过程的工作流程图

图6是教室白天强光照测试结果图。

图7是夜晚教室远距离实地测试结果图。

图8是教室复杂环境实地测试结果图。

具体实施方式

参见图1，一种基于图像识别的教室节能灯控系统，包括摄像头分区目标检测端、电路控制端和APP用户控制端；所述摄像头分区目标检测端通过教室内分区域布置的摄像头检测教室内情况，根据各个区域有人或无人向电路控制端发送指令，电路控制端将信息与APP控制端间进行双向传递。

所述APP用户控制端通过传输控制协议接收到电路控制端发送过来的数据流，再将数据流的信息实时显示在APP界面上；用户能够通过APP界面上的开关灯或灯光模式控制按键向电路控制端传输指令，实现远程控制教室灯的开关。

所述电路控制端包括单片机，单片机采用STM32型单片机，STM32单片机通过ESP8266WIFI模块接收摄像头分区目标检测端和APP控制端传输的数据信息，STM32单片机的IO输出口上连接三极管共射极放大电路，放大电路内部先通过上拉电阻R7，提高驱动能力，再经过输入电阻R6，当达到导通电压时，三极管导通，达到放大效果；放大后的单片机的IO输出口的输出电平接入继电器，继电器还分别与用电设备的零线、火线连接，以实现对用电设备的控制。

参见图2、图3，一种基于图像识别的教室节能灯控系统的控制方法，具体包括以下的步骤：

步骤1：摄像头实时采集教室内图像信息

摄像头分区目标检测端依托教室原有的监控摄像头资源，采集教室内实时的视频流，并基于实时流控制协议进行视频流的传输，传输给电路控制端；

步骤2：将视频流分帧处理后进行图像识别

(2a)首先将视频流分帧处理，每30帧取1帧，将取出的每帧图像传递给深度学习模型；

(2b)通过摄像头控制端调整控制摄像头在实际的教室场景中采集不同方位角度的原始图片数据，以端坐及不易识别的多种坐姿人体、站立人体为目标，采用深度学习模型，建立数据集(VOC格式)，然后使用标注工具，对背景和人图片数据集进行标注，生成txt格式的文件，再基于标注好的数据生成训练出所需要的xml格式的文件；

(2c)使用步骤(2b)中训练完成的Mobilenet_SSD深度学习模型对步骤(2a)接收到的每帧图像进行目标跟踪检测识别，样本类别是图像识别的结果会将人体目标用几何矩形框标注出来，并显示目标所属类别以及目标属于该类别的概率；

步骤3：依据图像识别结果进行人员所属区域的判断

将教室内灯光分为9个区域，并设置每个区域的坐标界限，所属区域的判定采用步骤(2c)中目标跟踪检测目标检测所得的人体几何矩形框的右下顶点坐标作为等效人体区域坐标点即目标检测的结果坐标点；

步骤4：将人员分布区域及人数的信息反馈给单片机

摄像头分区目标检测端将信息通信传送给ESP8266WIFI模块，ESP8266WIFI模块采用传输控制协议接受远程指令，之后将信息传送给STM32单片机，STM32单片机滤除无效数据，并将接收到的有效数据串进行拆分，确定教室内人数和需要开关用电设备的区域号；

步骤5：STM32单片机通过继电器开关有人或无人区域用电设备

参见图4，接收到无人区域信息后，STM32单片机的IO输出口上连接三极管共射极放大电路，放大电路内部先通过上拉电阻R7，提高驱动能力，再经过输入电阻R6，当达到导通电压时，三极管导通，达到放大效果；放大后的STM32单片机的IO输出口的输出电平接入继电器，继电器还分别与用电设备的零线、火线连接，STM32单片机在接收到指令后输出相应的脉冲宽度调制波控制用电设备的开闭；

步骤6：APP实时显示教室内的信息，参见图7

(6a)用户在APP上输入IP地址与端口信息，通过传输控制协议来与教室节能灯控系统连接；

(6b)用户在APP上通过点击按钮触发相应事件，通过传输控制协议将指令信息发送给灯控系统的STM32单片机；STM32单片机通过ESP8266WIFI模块接收到相应的指令信息；在控制页面，能直观观察到当前教室的灯光开关情况、教室人数及当前课程等。同时，用户能够对教室节能灯控系统分设为有课模式、无课模式、自习模式，在可下拉列表框选择当前教室的有课模式、无课模式、自习模式；也可简单地通过点击LED灯样按钮来实现远程控制教室灯光的开关；

(6c)STM32单片机根据接收到的指令信息改变IO口的输出电压，连接继电器的IO口模式为上拉输出模式，继电器连接用电设备的零线和火线，开关相应用电设备。