一种基于轻量化网络模型的明厨亮灶系统及装置

技术领域

本发明涉及人工智能领域，具体提供一种基于轻量化网络模型的明厨亮灶系统及装置。

背景技术

伴随着深度学习网络模型的改进及国产芯片技术的崛起，人工智能技术在国产化设备上的设备及应用也就尤为至关重要。在明厨亮灶场景中，因为主要应用于餐厅及商场超市，服务器推理在部署成本及维护上要求相对较高，边缘盒子的部署及维护相对更符合要求，而进口的边缘盒子价格相对较贵，所以适配边缘盒子或者微型的服务器要以国产化的适配为主。

在边缘端进行部署主要克服以下几个问题：

1、轻量化网络的问题，传统的神经网络的主干网络部分推理速度过于慢无法满足使用要求，需要进行网络的轻量化设计；

2、国产化芯片的推理框架与常规的推理框架的接口不同，需要进行模型的转换及适配；

3、该系统主要用于视频监控监控的场景，需要在国产芯片端侧进行编解码的加速处理；

4、明厨亮灶场景有很多死角或者比较接近物体的场景，需要尽可能多角度的采集样本，以提高泛化能力和鲁棒性；

5、整个系统的测试，通过各种各样的模拟测试，来获取该系统的性能、准确率、稳定度，当性能、准确度、稳定度到达一定层次才能够充分的进行商用。

发明内容

本发明是针对上述现有技术的不足，提供一种设计合理，安全适用的。

本发明进一步的技术任务是提供一种实用性强、。

本发明解决其技术问题所采用的技术方案是：

一种基于轻量化网络模型的明厨亮灶系统，具有如下步骤：

S1、采集明厨亮灶场景下常用的图片数据；

S2、基于现有的深度学习目标检测网络进行修改，实现轻量化的网络模型设计；

S3、选取需要进行目标检测的样本；

S4、根据芯片生成量化模型提供的plugin接口使用c++代码编写步骤S1中牵扯到的修改后的算子的相关计算结构；

S5、进行模型量化压缩；

S6、生成int8数据位宽权重模型后根据国产芯片的框架的推理接口编写相关的编解码代码及推理代码，进行推理。

进一步的，在步骤S2中，通过分组卷积的方法来实现轻量化的要求；

通过对于标准卷积计算的全连接的通道维度之间将全部进行卷积计算变成分组后以小组为单位进行卷积计算，全部进行卷积计算的层每划分成G个组，所在层的计算量便仅为标准卷积计算量的1/G。

进一步的，在步骤S3中，选取需要进行目标检测的样本，使用步骤S2的网络模型进行训练，根据训练要求判断训练结果是否达标，达标后进入步骤S4。

进一步的，在步骤S4中，得到训练好的网络模型后，根据芯片生成量化模型提供的plugin接口使用c++代码编写步骤S1中牵扯到的修改后的算子的相关计算结构，为了步骤S1中网络结构的实现及自定义算子的实现。

进一步的，在步骤S5中，进行模型量化压缩，将权重文件中float32数据位宽的权重参数转为int8数据位宽的权重参数，其中转为int8位数据后，需要输入训练数据进行模型的预训练避免模型精度下降。

进一步的，输入训练数据进行模型的预训练后，当浮点数分布均匀，精度损失小；当浮点数分布不均匀时，按照最大最小值映射，则实际有效的int8动态范围就更小了，精度损失变大。

进一步的，在步骤S6中，生成int8数据位宽权重模型后根据芯片框架的推理接口编写相关的编解码代码及推理代码，进行推理；

同时对推理速度和模型精度进行测试，保障模型的实用性。

一种基于轻量化网络模型的明厨亮灶装置，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行一种基于轻量化网络模型的明厨亮灶系统。

本发明的一种基于轻量化网络模型的明厨亮灶系统及装置和现有技术相比，具有以下突出的有益效果：

(1)本发明通过轻量化网络模型架构，解决了明厨亮灶场景下模型推理的速度不够快的问题，同时也解决了对于设备算力过度依赖的问题，可以使其部署在边缘端尤其是国产芯片的边缘端侧，同样的推理场景可以使用原先设备1/3的价格实现该推理能力。

(2)本发明通过将明厨亮灶场景的模型应用在芯片的服务器及边缘计算盒子上，通过多角度、多光照条件的数据采集，避免了高低点位或者不同摄像头甚至不同像素时候推理效果的差距，确保了在精度有一定下降条件下推理的正常进行。

(3)通过二次训练的技术，保障了在推理的数据位宽由float32转变为int8时候精度的下降问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1是一种基于轻量化网络模型的明厨亮灶系统的流程示意图；

附图2是一种基于轻量化网络模型的明厨亮灶系中分组卷积示意图；

附图3是一种基于轻量化网络模型的明厨亮灶系中标准卷积示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

下面给出一个最佳实施例：

如图1-3所示，本实施例中的一种基于轻量化网络模型的明厨亮灶系统，具有如下步骤：

S1、采集明厨亮灶场景下常用的图片数据；

采集明厨亮灶场景下常用的图片数据，要求要在多个光照、角度下进行采集，满足不同的变量要求，以此来提高模型的泛化性。

S2、基于现有的深度学习目标检测网络进行修改，实现轻量化的网络模型设计；

基于现有的深度学习目标检测网络进行修改，实现一个轻量化的网络模型设计；主要通过分组卷积的方法来实现轻量化的要求；通过对于标准卷积计算的全连接的通道维度之间将全部进行卷积计算变成分组后以小组为单位进行卷积计算，全部进行卷积计算的层每划分成G个组，该层的计算量便仅为标准卷积计算量的1/G。

常见的分组卷积如：深度可分离卷积，可将标准化卷积拆分为两部分，分别为逐深度卷积逐点1x1卷积。逐个深度卷积会将单个卷积滤波应用到输入图像的每一个输入通道。之后逐点卷积用1x1卷积来组合不同深度层卷积的输出。在一个步骤，一个标准的卷积过程将输入滤波和组合成一组新的输出层。深度可分离卷积将其分成两层，一层用于滤波，一层用于组合。这种分解过程能极大减少计算量和模型大小。一个卷积核处理输入数据时的计算量为(其中，D

D

如果在某一个全卷积层使用NM个卷积核，则该卷积层的计算量为：

D

在实际应用场景中，若只考虑浮点数运算，则一组二维卷积核完成逐深度卷积的计算量可以表示为：D

N×M×D

所以，深度可分离卷积与传统全卷积的总计算量相比大大减少。

S3、选取需要进行目标检测的样本；

选取需要进行目标检测的几种样本，比如佩戴口罩、佩戴厨师帽、佩戴手套、是否玩手机等样本，使用上一步骤的网络模型进行训练，根据训练要求判断训练结果是否达标，达标后进入下一步骤。

S4、根据芯片生成量化模型提供的plugin接口使用c++代码编写步骤S1中牵扯到的修改后的算子的相关计算结构；

得到训练好的网络模型后，根据国产芯片生成量化模型提供的plugin接口使用c++代码编写步骤S1中牵扯到的修改后的算子的相关计算结构，该部分为步骤S1中网络结构的实现及自定义算子的实现。

S5、进行模型量化压缩；

进行模型量化压缩，将权重文件中float32数据位宽的权重参数转为int8数据位宽的权重参数，其中转为int8位数据后，模型精度会下降，需要输入训练数据进行模型的预训练来保障精度的稳定。

当浮点数的分布均匀时，精度损失较小。但当浮点数分布不均匀时，按照最大最小值映射，则实际有效的int8动态范围就更小了，精度损失变大。

S6、生成int8数据位宽权重模型后根据国产芯片的框架的推理接口编写相关的编解码代码及推理代码，进行推理。

该部分同时要对推理速度、模型精度进行测试，保障经过以上步骤后模型的实用性。

基于上述方法，本实施例中的一种基于轻量化网络模型的明厨亮灶装置，包括：至少一个存储器和至少一个处理器；

所述至少一个存储器，用于存储机器可读程序；

所述至少一个处理器，用于调用所述机器可读程序，执行一种基于轻量化网络模型的明厨亮灶系统。

上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种基于轻量化网络模型的明厨亮灶系统及装置权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。