基于深度学习的配电考试柜接线线序识别方法及系统

技术领域

本发明涉及配电考试柜技术领域，具体的说，涉及了一种基于深度学习的配电考试柜接线线序识别方法及系统。

背景技术

配电柜(箱)包括动力配电柜(箱)和照明配电柜(箱)、计量柜(箱)，是配电系统的末级设备；配电柜的二次接线图表示电气二次设备之间相互连接的电气图。二次线就是指电压互感器二次线、电流互感器的二次线及电压表、电流表、电度计量表的线路、开关的控制线、配电柜的信号灯线、也就是说配电柜里面的导线除了一次主电源线以外基本上都是二次线。在配电柜内的二次线非常重要，因此配电柜(箱)中的二次回路布线的基本要求为：按图施工、连线正确。

为培训及测试工作人员的接线等技能，设置配电柜安全用电管控考试；在配电柜安全用电管控考试中，实操部分接线顺序尤为重要；正确的接线顺序关系着每个考生的生命安全，也为其以后成为一个合格的电工作业人员打下坚实的基础。

目前，配电柜安全用电管控实操考试主要依赖于监考老师，接线顺序正确与否需要监考老师肉眼查看，费时费力，同时一个监考老师需要同时负责多个考生，长时间监考容易带来视觉疲劳，造成误判。

文献《基于机器视觉的电气实验教学接线评级系统设计》中，基于传统算法的线序识别将导线分割出来，再通过HSV颜色阈值确定每根导线的颜色，但是由于光照不均匀、底板颜色多样等因素，给导线的提取带来较大难度，实际应用时因导线遗漏或错误提取等原因导致算法无法使用。

因此，提出一种无论光照亮暗、无论底板何种颜色，均能正确识别接线顺序的识别方法，十分有必要。

为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。

发明内容

本发明的目的是针对现有技术的不足，从而提供一种基于深度学习的配电考试柜接线线序识别方法及系统，无论光照亮暗、何种底板颜色，都能正确识别接线顺序。

为了实现上述目的，本发明所采用的技术方案是：

本发明第一方面提供一种基于深度学习的配电考试柜接线线序识别方法，所述方法包括以下步骤：

预先构建轻量接线顺序识别网络模型；

在学员接线操作完成后，采集接线顺序识别区域对应的第一待测图片；其中，所述接线顺序识别区域指的是配电考试柜的接线区域，所述第一待测图片的高为H，所述第一待测图片的宽为W；

对所述第一待测图片进行识别区域缩放，得到第二待测图片；其中，所述第二待测图片的高为h’，所述第二待测图片的宽为w’，w’＝(h’×W)÷H；

按照从左至右顺序和步长step，从所述第二待测图片中截取N个50×50的矩形图片；其中，所述步长step＝h’÷2；

将N个50×50的矩形图片输入所述轻量接线顺序识别网络模型，得到N个1维的颜色数组；

利用argmax函数对所述轻量接线顺序识别网络模型输出的N个1维的颜色数组进行处理，预测出N个矩形图片对应的类别索引；N个矩形图片与预测出的N个类别索引一一对应设置；

将预测出的N个类别索引分别映射至对应的颜色标签，得到N个颜色标签；不同的类别索引与不同的颜色标签之间预先被配置为一对一的映射关系；

剔除N个颜色标签中相邻且相同的颜色标签，得到M个目标颜色标签；其中，M≤N；

去掉M个目标颜色标签中的负样本NG，获得所述接线顺序识别区域对应的导线颜色顺序。

本发明第二方面提供一种基于深度学习的配电考试柜接线线序识别系统，所述系统包括识别网络模型管理模块、待测图片获取模块、识别区域缩放模块、矩形图片截取模块、颜色数组预测模块、类别索引预测模块、颜色标签预测模块和导线颜色顺序确定单元，其中，

所述识别网络模型管理模块，用于预先构建轻量接线顺序识别网络模型；

所述待测图片获取模块，用于在学员接线操作完成后，采集接线顺序识别区域对应的第一待测图片；其中，所述接线顺序识别区域指的是配电考试柜的接线区域，所述第一待测图片的高为H，所述第一待测图片的宽为W；

所述识别区域缩放模块，用于对所述第一待测图片进行识别区域缩放，得到第二待测图片；其中，所述第二待测图片的高为h’，所述第二待测图片的宽为w’，w’＝(h’×W)÷H；

所述矩形图片截取模块，用于按照从左至右顺序和步长step，从所述第二待测图片中截取N个50×50的矩形图片；其中，所述步长step＝h’÷2；

所述颜色数组预测模块，用于将N个50×50的矩形图片输入所述轻量接线顺序识别网络模型，得到N个1维的颜色数组；

所述类别索引预测模块，用于利用argmax函数对所述轻量接线顺序识别网络模型输出的N个1维的颜色数组进行处理，预测出N个矩形图片对应的类别索引；N个矩形图片与预测出的N个类别索引一一对应设置；

所述颜色标签预测模块，用于将预测出的N个类别索引分别映射至对应的颜色标签，得到N个颜色标签；不同的类别索引与不同的颜色标签之间预先被配置为一对一的映射关系；

所述导线颜色顺序确定单元，用于剔除N个颜色标签中相邻且相同的颜色标签，得到M个目标颜色标签；还用于去掉M个目标颜色标签中的负样本NG，获得所述接线顺序识别区域对应的导线颜色顺序；其中，M≤N。

本发明第三方面提供一种可读存储介质，其上存储有指令，该指令被处理器执行时实现如上述的基于深度学习的配电考试柜接线线序识别方法的步骤。

本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说：

1)本发明通过预先构建轻量接线顺序识别网络模型，结合识别区域缩放操作和矩形图片截取操作对待测图片进行预处理，将预处理后的图片输入输入所述轻量接线顺序识别网络模型，得到N个1维的颜色数组；利用argmax函数对得到的颜色数组进行处理，预测出N个矩形图片对应的类别索引，根据类别索引与颜色标签之间的映射关系，确定类别索引对应的颜色标签，进而获得接线顺序识别区域对应的导线颜色顺序；

因此，本发明在光照不均匀、底板颜色多样等条件下依然可以识别出正确的线序，线序识别效率快且线序识别准确率高；

2)本发明能够有效提高考试过程的智能化程度，减少监考工作人员的负担，为配电柜实操智能化考试提供标杆；

3)本发明在工业界将接线顺序识别的准确率提升了一个台阶，而且实时性很高，具有较高的商业应用价值。

附图说明

图1是本发明的基于深度学习的配电考试柜接线线序识别方法的流程示意图一；

图2是本发明的轻量接线顺序识别网络模型的结构示意图一；

图3是本发明的轻量接线顺序识别网络模型的结构示意图二；

图4是本发明的轻量接线顺序识别网络模型的结构示意图二；

图5是本发明的基于深度学习的配电考试柜接线线序识别方法的结构示意图一；

图6是本发明的基于深度学习的配电考试柜接线线序识别系统的结构示意图二；

图7(a)和图7(b)是本发明的一种具体实施例中，不同光照条件下采集到的同一接线顺序识别区域的图片；

图8(a)、图8(b)和图8(c)是图7(a)对应的线序识别过程效果可视化示意图；

图9是图7(a)对应的网络模型的推理速度测试结果示意图；

图10是本发明的第二种具体实施例中的现场图片；

图11是图10对应的识别效果示意图；

图12是本发明的第三种具体实施例中的测试集准确率示意图；

图13是本发明的第三种具体实施例中的loss曲线示意图。

具体实施方式

下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。

BN(BatchNorm),指的是归一化层，是一种神经网络层；

AdaptiveAVqpool，指的是自适应池化层。

实施例1

如附图1所示，一种基于深度学习的配电考试柜接线线序识别方法，其包括以下步骤：

预先构建轻量接线顺序识别网络模型；

在学员接线操作完成后，采集接线顺序识别区域对应的第一待测图片；其中，所述接线顺序识别区域指的是配电考试柜的接线区域，一个第一待测图片对应一个接线顺序识别区域，所述第一待测图片的高为H，所述第一待测图片的宽为W；

对所述第一待测图片进行识别区域缩放，得到第二待测图片；其中，所述第二待测图片的高为h’，所述第二待测图片的宽为w'，w'＝(h’×W)÷H；

按照从左至右顺序和步长step，从所述第二待测图片中截取N个50×50的矩形图片；其中，所述步长step＝h’÷2；

将N个50×50的矩形图片输入所述轻量接线顺序识别网络模型，得到N个1维的颜色数组；

利用argmax函数对所述轻量接线顺序识别网络模型输出的N个1维的颜色数组进行处理，预测出N个矩形图片对应的类别索引；N个矩形图片与预测出的N个类别索引一一对应设置；

将预测出的N个类别索引分别映射至对应的颜色标签，得到N个颜色标签；不同的类别索引与不同的颜色标签之间预先被配置为一对一的映射关系；

剔除N个颜色标签中相邻且相同的颜色标签，得到M个目标颜色标签；其中，M≤N；

去掉M个目标颜色标签中的负样本NG，获得所述接线顺序识别区域对应的导线颜色顺序。

其中，所述第二待测图片的高h’＝50，单位为像素；argmax函数是求自变量最大的函数，用于获得每个1维的颜色数组中最大值，作为类别索引。

可以理解，线序识别时首先划定感兴趣区域，由于摄像机是固定的，因此可以设置固定的接线顺序识别区域。

如附图2至附图4所示，所述轻量接线顺序识别网络模型包括依次设置的第一网络结构、第二网络结构、第三网络结构、第四网络结构、第五网络结构和第六网络结构，其中，

所述第一网络结构包括依次设置的卷积层Ⅰ、BN层Ⅰ、ReLU激活函数层Ⅰ和MaxPool池化层Ⅰ，所述卷积层Ⅰ、所述BN层Ⅰ和所述ReLU激活函数层Ⅰ的网络层输出参数均被配置为64×25×25，所述MaxPool池化层Ⅰ的网络层输出参数被配置为64×13×13；

所述第二网络结构包括依次设置且网络层输出参数均被配置为32×13×13的卷积层Ⅱ、BN层Ⅱ、ReLU激活函数层Ⅱ、卷积层Ⅲ、BN层Ⅲ、卷积层Ⅳ、BN层Ⅳ、ReLU激活函数层Ⅲ和BasicBlock残差层Ⅰ；

所述第三网络结构包括依次设置且网络层输出参数均被配置为64×7×7的卷积层Ⅴ、BN层Ⅴ、ReLU激活函数层Ⅳ、卷积层Ⅵ、BN层Ⅵ、卷积层Ⅶ、BN层Ⅶ、ReLU激活函数层Ⅴ和BasicBlock残差层Ⅱ；

所述第四网络结构包括依次设置且网络层输出参数均被配置为128×4×4的卷积层Ⅷ、BN层Ⅷ、ReLU激活函数层Ⅵ、卷积层Ⅸ、BN层Ⅸ、卷积层Ⅹ、BN层Ⅹ、ReLU激活函数层Ⅶ和BasicBlock残差层Ⅲ；

所述第五网络结构包括依次设置且网络层输出参数均被配置为256×2×2的卷积层Ⅺ、BN层Ⅺ、ReLU激活函数层Ⅷ、卷积层Ⅻ、BN层Ⅻ、卷积层XIII、BN层XIII、ReLU激活函数层Ⅸ和BasicBlock残差层Ⅳ；

所述第六网络结构包括依次设置的自适应池化层和Linear线性层，所述自适应池化层的网络层输出参数均被配置为256×1×1，所述Linear线性层的网络层输出参数均被配置为5。

其中，输入所述轻量接线顺序识别网络模型的图片大小被配置为50×50×3，各网络结构内的卷积核数目和网络层数，如附图4所示；

需要说明的是，附图4中网络层输出参数中的“-1”指的是指此维度可变，(跟分割出的50×50矩形图片的个数有关，个数是几个，这个维度就是几)。

进一步的，将预测出的N个类别索引分别映射至对应的颜色标签，得到N个颜色标签时，执行：

在预测类别索引为0时，判定对应的颜色标签为负样本NG；其中，负样本NG指的是无效样本，对应导线之间的区域；

在预测类别索引为1时，判定对应的颜色标签为黄；

在预测类别索引为2时，判定对应的颜色标签为绿；

在预测类别索引为3时，判定对应的颜色标签为红；

在预测类别索引为4时，判定对应的颜色标签为黑。

需要说明的是，由图3和图4可以看出，单张50×50×3矩形图片经过所示轻量接线顺序识别网络模型前向推理得到一维长度为5的数组，这个长度为5的数组包括5个浮点数，这些浮点数代表5个概率；再经过argmax函数得到概率最大值对应的类别索引，类别索引与对应的导线颜色相映射，因此可以通过这种映射关系，预测单张50×50×3矩形图片对应的导线颜色标签。

为了去掉N个颜色标签中的冗余数据，剔除相邻且相同的颜色标签的步骤；具体的，剔除N个颜色标签中相邻且相同的颜色标签，得到M个目标颜色标签时，执行：

判断N个颜色标签中是否存在相邻且相同的颜色标签，

若是，则从相邻且相同的颜色标签中提取出其中一个作为目标颜色标签，并将除目标颜色标签外的颜色标签剔除。

进一步的，所示基于深度学习的配电考试柜接线线序识别方法还包括以下步骤：

基于获得的导线颜色顺序，判断对应学员接线操作是否正确；

若获得的导线颜色顺序与预存的导线颜色顺序一致，则判定对应学员接线操作正确；

若获得的导线颜色顺序与预存的导线颜色顺序不一致，则判定对应学员接线操作不正确。

需要说明的是，基于预测出的导线颜色顺序与预存的导线颜色顺序之间的比对结果，可以判断对应学员接线操作是否正确，基于此教师可以快速且准确地确定配电考试柜接线顺序识别结果。

实施例2

在实施例1的基础上，本实施例给出了一种基于深度学习的配电考试柜接线线序识别系统的具体实施方式，如附图5和附图6所示；

所示基于深度学习的配电考试柜接线顺序识别系统包括识别网络模型管理模块、待测图片获取模块、识别区域缩放模块、矩形图片截取模块、颜色数组预测模块、类别索引预测模块、颜色标签预测模块和导线颜色顺序确定单元，其中，

所述识别网络模型管理模块，用于预先构建轻量接线顺序识别网络模型；

所述待测图片获取模块，用于在学员接线操作完成后，采集接线顺序识别区域对应的第一待测图片；其中，所述接线顺序识别区域指的是配电考试柜的接线区域，所述第一待测图片的高为H，所述第一待测图片的宽为W；

所述识别区域缩放模块，用于对所述第一待测图片进行识别区域缩放，得到第二待测图片；其中，所述第二待测图片的高为h’，所述第二待测图片的宽为w’，w’＝(h’×W)÷H；

所述矩形图片截取模块，用于按照从左至右顺序和步长step，从所述第二待测图片中截取N个50×50的矩形图片；其中，所述步长step＝h’÷2；

所述颜色数组预测模块，用于将N个50×50的矩形图片输入所述轻量接线顺序识别网络模型，得到N个1维的颜色数组；

所述类别索引预测模块，用于利用argmax函数对所述轻量接线顺序识别网络模型输出的N个1维的颜色数组进行处理，预测出N个矩形图片对应的类别索引；N个矩形图片与预测出的N个类别索引一一对应设置；

所述颜色标签预测模块，用于将预测出的N个类别索引分别映射至对应的颜色标签，得到N个颜色标签；不同的类别索引与不同的颜色标签之间预先被配置为一对一的映射关系；

所述导线颜色顺序确定单元，用于剔除N个颜色标签中相邻且相同的颜色标签，得到M个目标颜色标签；还用于去掉M个目标颜色标签中的负样本NG，获得所述接线顺序识别区域对应的导线颜色顺序；其中，M≤N。

进一步的，所述识别网络模型管理模块，预先构建的轻量接线顺序识别网络模型包括依次设置的第一网络结构、第二网络结构、第三网络结构、第四网络结构、第五网络结构和第六网络结构，其中，

所述第一网络结构包括依次设置的卷积层Ⅰ、BN层Ⅰ、ReLU激活函数层Ⅰ和MaxPool池化层Ⅰ，所述卷积层Ⅰ、所述BN层Ⅰ和所述ReLU激活函数层Ⅰ的网络层输出参数均被配置为64×25×25，所述MaxPool池化层Ⅰ的网络层输出参数被配置为64×13×13；

所述第二网络结构包括依次设置且网络层输出参数均被配置为32×13×13的卷积层Ⅱ、BN层Ⅱ、ReLU激活函数层Ⅱ、卷积层Ⅲ、BN层Ⅲ、卷积层Ⅳ、BN层Ⅳ、ReLU激活函数层Ⅲ和BasicBlock残差层Ⅰ；

所述第三网络结构包括依次设置且网络层输出参数均被配置为64×7×7的卷积层Ⅴ、BN层Ⅴ、ReLU激活函数层Ⅳ、卷积层Ⅵ、BN层Ⅵ、卷积层Ⅶ、BN层Ⅶ、ReLU激活函数层Ⅴ和BasicBlock残差层Ⅱ；

所述第四网络结构包括依次设置且网络层输出参数均被配置为128×4×4的卷积层Ⅷ、BN层Ⅷ、ReLU激活函数层Ⅵ、卷积层Ⅸ、BN层Ⅸ、卷积层Ⅹ、BN层Ⅹ、ReLU激活函数层Ⅶ和BasicBlock残差层Ⅲ；

所述第五网络结构包括依次设置且网络层输出参数均被配置为256×2×2的卷积层Ⅺ、BN层Ⅺ、ReLU激活函数层Ⅷ、卷积层Ⅻ、BN层Ⅻ、卷积层XIII、BN层XIII、ReLU激活函数层Ⅸ和BasicBlock残差层Ⅳ；

所述第六网络结构包括依次设置的自适应池化层和Linear线性层，所述自适应池化层的网络层输出参数均被配置为256×1×1，所述Linear线性层的网络层输出参数均被配置为5。

进一步的，所述颜色标签预测模块，将预测出的N个类别索引分别映射至对应的颜色标签，得到N个颜色标签时，执行：

在预测类别索引为0时，判定对应的颜色标签为负样本NG；

在预测类别索引为1时，判定对应的颜色标签为黄；

在预测类别索引为2时，判定对应的颜色标签为绿；

在预测类别索引为3时，判定对应的颜色标签为红；

在预测类别索引为4时，判定对应的颜色标签为黑。

进一步的，所示基于深度学习的配电考试柜接线线序识别系统还包括接线结果检测模块，其用于：

基于获得的导线颜色顺序，判断对应学员接线操作是否正确；

若获得的导线颜色顺序与预存的导线颜色顺序一致，则判定对应学员接线操作正确；

若获得的导线颜色顺序与预存的导线颜色顺序不一致，则判定对应学员接线操作不正确。

需要说明的是，基于传统算法的线序识别，首先通过阈值分割将导线分割出来，再依次判断分割出的导线的HSV颜色范围，设置合适的阈值将导线颜色进行识别。但是由于光照不均匀(如图7(a)所示)、底板颜色多样(如7(b)所示)等因素，传统算法的识别准确率较低，无法实际应用；

为解决上述问题，本实施例搭建图2所示的轻量接线顺序识别网络模型，模型输入为50×50×3。

在一种具体实施例中，以图8(a)所示的接线顺序识别区域的图片，对基于深度学习的配电考试柜接线线序识别系统进行解释说明；

图7(a)中图片缩放后宽高为892×50，以步长step为25可以截取36个50×50的矩形图片，如图8(a)所示；

将36个矩形图片作为一个batch测试推理，数据维度B×H×W×C为36×50×50×3，推理后得到36个1维的颜色数组，argmax函数计算后得到预测结果如图8(b)所示；

对角线上的值即为预测的类别索引，再将类别索引映射到颜色标签得到图8(c)所示的可视化效果，最后将对角线上相同且连续的颜色标签保留一个，再去掉负样本NG，得到线序的识别结果“黄黄黄绿绿绿红红红黑”，最终跟据识别的导线颜色排列顺序判断接线是否正确；测试过程中识别线序所用时间约为3毫秒，网络模型的推理速度测试结果如图9所示；

上述分析，证明了搭建的轻量接线顺序识别网络模型和线序识别方法的准确率较高，在光照较暗的条件下依然可以识别出正确的线序。

在另一种具体实施例中，以附图10所示的配电考试柜接线现场图片为例，对基于深度学习的配电考试柜接线线序识别系统进行解释说明；

图10中箭头指向的三个红框部分，为接线顺序识别区域；截取附图10中三个接线顺序识别区域示意图，对于每个接线顺序识别区域对应的第一待测图片分别进行缩放，图片的高H缩放到h’，h’＝50，图片的宽W等比例缩放为w'＝(50×W)÷H；基于上述方法，对附图10中三个接线顺序识别区域示意图分别进行线束识别，得到如图11所示的识别结果；

上述分析，再次证明了搭建的轻量接线顺序识别网络模型和线序识别方法的准确率较高，在光照不均匀、底板颜色多样等条件下依然可以识别出正确的线序。

在另一种具体实施例中，在自建的图片数据集上进行实验，总计16000张图片，包含红色导线、黄色导线、绿色导线、黑色导线以及负样本的图片，图片大小均为50×50。其中随机划分14000张图片用来训练，2000张图片用来评估和测试，模型训练过程中准确率如图12所示，损失曲线如图13所示；

在训练模型时，使用损失函数计算轻量接线顺序识别网络模型的梯度并优化模型，通过loss曲线可以看出搭建的模型训练时收敛速度很快，迭代40次后趋于平稳，模型测试集上准确率较高；

使用的损失函数为多值交叉熵，公式如下：

M为类别的数量，y

本实施例通过大量实验，证明搭建的轻量接线顺序识别网络模型和线序识别方法的准确率较高，在光照不均匀、底板颜色多样等条件下依然可以识别出正确的线序；在工业界将接线顺序识别的准确率提升了一个台阶，而且实时性很高，具有较高的商业应用价值。

实施例3

在上述实施例的基础上，本实施例还给出了一种可读存储介质，其上存储有指令，该指令被处理器执行时实现如实施例1中的基于深度学习的配电考试柜接线线序识别方法的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

上述算法步骤如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。