一种轻量化蘑菇识别方法及装置

技术领域

本发明涉及计算机视觉处理的图像识别技术领域，具体是涉及一种轻量级蘑菇识别方法及装置。

背景技术

深度学习作为计算机视觉研究中的热门方向，现有的采摘机器人中蘑菇识别任务主流技术是通过深度学习中的Xception、ResNet等深度神经网络完成蘑菇特征提取和识别。这类神经网络需要通过多层重复叠加的方式，来提升蘑菇的视觉特征提取效果，进而优化蘑菇识别算法的性能。但是，深度神经网络的结构加深会出现程序运行中计算量和参数存储量急剧加深的问题，同时蘑菇识别装置要满足配置高性能GPU处理器的硬件要求，这样会提高采摘机器人成本。

为解决上述问题，本发明的目的在于，面对蘑菇采摘机器人，提供一种轻量级蘑菇识别方法及装置，缓解了深度神经网络结构加深导致的计算量、存储量增大的问题，满足了工业上蘑菇识别的硬件需求。

发明内容

本发明的第一个目的是提供了一种轻量化蘑菇识别方法，利用通道分流和深度卷积结合方式，缓解了卷积神经网络因深度结构增加而导致的计算量增大问题。

本发明的第二个目的是提供了一种轻量化蘑菇识别装置。

本发明公开了一种轻量化蘑菇识别方法，所述轻量化蘑菇识别方法包括如下步骤：

步骤1：使用摄像头采集实时视频，并将视频流解码得到的多张图像帧作为图像数据集；

步骤2：对步骤1中采集到的图像作作去噪预处理，

把图像局部区域的像素按照亮度值大小排序，取其中值作为中心点的亮度值，具体包括以下步骤：

设置方形滤波器边长为k，在图像的上下边界各填充

方形滤波器中值全设置为1，将方形滤波器与图像对应的局部区域像素值相乘，把相乘后的像素值排序，取中值作为图像局部区域中心点的像素值。

步骤3：设计轻量化卷积神经网络，快速地提取出图像中蘑菇的视觉特征，并得到图像标签预测值，具体包括以下内容：

轻量级卷积神经网络的输入图像大小为224×224，第一层是对输入图像每个3×3的局部区域进行卷积，得到大小为112×112的特征图。第二层是对第一层输出的特征图每个3×3的局部区域进行最大值池化，得到大小为56×56的特征图。第三层是将第二层输出的特征图输入到残差卷积模块stage2中，得到大小为28×28的特征图。第四层是将第三层输出的特征图输入到残差卷积模块 stage3中，得到大小为14×14的特征图。第五层是将第四层输出的特征图输入到残差卷积模块stage4中，得到大小为7×7的特征图。第六层是对第五层输出的特征图进行卷积，得到大小为7×7的特征图。第七层是对第六层输出的特征图进行全局池化，得到1×1的特征图。第八层将第七层输出的特征图输出到全连接层，全连接层输出经过sigmod函数预测分类类型，输出预测标签。

其中，第三层的残差卷积模块stage2是对输入特征图依次进行一次Unit2 和三次Unit1操作，再将操作后得到的特征图与原特征图进行通道拼接实现特征图升维，将拼接后的通道顺序打乱实现特征信息融合。第四层的残差卷积模块 stage3是对输入特征图依次进行一次Unit2和七次Unit1操作，再将操作后得到的特征图与原特征图进行通道拼接实现特征图升维，将拼接后的通道顺序打乱实现特征信息融合。第五层的残差卷积模块stage4是对输入特征图依次进行一次Unit2和三次Unit1操作，再将操作后得到的特征图与原特征图进行通道拼接实现特征图升维，将拼接后的通道顺序打乱实现特征信息融合，最后输出通道打乱后的特征图。

其中，Unit1操作是对输入特征图的通道数分为两部分，一半通道数的特征图依次进行1×1卷积、5×5深度分离卷积、1×1卷积，然后将卷积后的特征图与另一半通道数的特征图进行通道拼接，将拼接后的特征图通道顺序打乱，最后通道打乱后的特征图。Unit2操作是对输入特征图的通道数分为两部分，一半通道数的特征图依次进行1×1卷积、5×5深度分离卷积、1×1卷积，另一半通道数的特征图依次进行5×5深度分离卷积、1×1卷积，然后将两部分操作后的特征图通道进行拼接，将拼接后的特征图通道顺序打乱，最后通道打乱后的特征图。

步骤4：计算步骤3中得到的标签预测值与图像标签真实值的误差，通过误差变化自动调整网络参数，得到蘑菇识别模型。

步骤5：将步骤2中预处理后的训练数据集批量输入到步骤4中的蘑菇模型中，同时使用步骤2中预处理后的验证数据集进行验证，当验证结果的准确率达到精度要求时，就结束训练任务。

步骤6：将训练任务后的蘑菇识别模型代码部署在总控上。

一种轻量级蘑菇识别装置，包括摄像头1、排线2、电源3、TPYE-C接口的数据线4、主控5、micro HDMI视频线6、显示屏7、读卡器8、存储卡9。主控 5使用的是树莓派4b；摄像头1使用的是IMX477R高清摄像头，通过排线2与主控5连接；电源3通过TPYE-C接口的数据线4与主控5的USB TYPE-C接口连接；显示屏7通过micro HDMI视频线与主控5的HDMI1接口连接；存储卡9使用的是64g的microSD卡，通过读卡器8与主控连接。

当电源3通电时候，摄像头1进行采集实时视频流数据，将采集到视频流数据通过主控5控制储存到存储卡9上，主控5通过读取存储卡9中的视频流数据进行预处理和蘑菇识别，将识别结果输给显示屏7。

本发明中的优化模块，一方面通过通道分流和深度卷积计算减少标准卷积的参数量，另一方面通过残差结构，实现多层重复叠加的特征提取效果，并缓解了深度映射带来的计算成本。

附图说明

图1为本发明轻量化蘑菇识别方法的流程图；

图2为本发明装置的结构示意图。

图3为本发明轻量化卷积神经网络的参数配置表。

图4为本发明中Stage2、Stage3、Stage4中Unit2操作和Unit1操作的分配示意图；

图5是本发明中Unit2操作和Unit1操作示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。下述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效或修饰都应涵盖在本发明的保护范围之内。

如图1-5所示，本发明的一种轻量化的蘑菇识别方法，包括如下步骤：

步骤1：通过摄像头采集蘑菇图像数据集并保存到存储卡中，具体包括以下步骤：

步骤1.1：摄像头采集实时视频并保存；

步骤1.2、读取步骤1.1中采集到的视频流，将视频流解码成帧图片并保存到存储卡中。

步骤2、对步骤1中采集到的蘑菇图像集与图像内容进行预处理，具体包括以下步骤：

步骤2.1：将数据集进行随机划分，其中70％划分为训练集，30％划分为验证集。

步骤2.2：设置方形滤波器边长为k，在图像的上下边界各填充

步骤2.3：方形滤波器中值全设置为1，将方形滤波器与图像对应的局部区域像素值相乘，把相乘后的像素值排序，取中值作为图像局部区域中心点的像素值。

步骤3：设计轻量化卷积神经网络，快速地提取出图像中蘑菇的视觉特征，并得到图像标签预测值，具体包括以下内容：

轻量化卷积神经网络包括五层卷积层、两层池化层和一层全连接层，其中，五层卷积层中包含普通卷积层和优化卷积层；池化层包括最大池化和全局池化，通过多次卷积和池化得到低维的蘑菇视觉特征。

图3为轻量化卷积神经网络的参数配置表，蘑菇图像数据输入值尺寸为224 ×224，通过第一层卷积对输入蘑菇图像3×3区域进行初次提取特征，得到尺寸为112×112的特征图；为了进一步提取显著特征且降低特征维度，112×112的特征图通过第二层的最大池化操作，得到尺寸为56×56的蘑菇特征图。第三层是将第二层输出的特征图输入到残差卷积模块stage2中，得到大小为28×28 的特征图。第四层是将第三层输出的特征图输入到残差卷积模块stage3中，得到大小为14×14的特征图。第五层是将第四层输出的特征图输入到残差卷积模块stage4中，得到大小为7×7的特征图。第六层是对第五层输出的特征图进行卷积，得到大小为7×7的特征图。第七层是对第六层输出的特征图进行全局池化，得到1×1的特征图。第八层将第七层输出的特征图输出到全连接层，全连接层输出经过sigmod函数预测分类类型，输出预测标签。

其中，优化模块包括Stage2、Stage3、Stage4，Stage2中包含一次Unit2操作和三次Unit1操作，Stage3中包括一次Unit2操作和7次Unit操作，Stage4中包含一次Unit2操作和三次Unit1操作。Stage2对输入图像进行一次Unit2操作实现降维得到蘑菇特征图 map_1，再将map_1通道数平均分为两组，一组无操作得到蘑菇特征图map_11，另一组进行三次Unit1操作得到蘑菇特征图map_12，将两组得到蘑菇特征图map_11和map_12进行通道拼接，将拼接后的特征图通道顺序打乱实现蘑菇特征信息的融合。Stage3对输入图像进行一次Unit2操作实现降维得到蘑菇特征图map_2，再将map_2通道数平均分为两组，一组无操作得到蘑菇特征图map_21，另一组进行七次Unit1操作得到蘑菇特征图map_22，将两组得到蘑菇特征图map_21和map_22进行通道拼接，将拼接后的特征图通道顺序打乱实现蘑菇特征信息的融合。Stage4对输入图像进行一次Unit2操作实现降维得到蘑菇特征图map_3，再将map_3通道数平均分为两组，一组无操作得到蘑菇特征图map_31，另一组进行三次Unit1 操作得到蘑菇特征图map_32，将两组得到蘑菇特征图map_31和map_32进行通道拼接，将拼接后的特征图通道顺序打乱实现蘑菇特征信息的融合。

其中，Unit1操作是将输入图像的通道数分为两组map1_1和map1_2，先对第一组的输入图像map1_1依次进行1×1卷积、5×5深度分离卷积、1×1卷积操作提取到蘑菇特征map1_11，第二组的输入图像map1_2无操作，然后map1_11 与map1_2的通道进行拼接得到蘑菇特征图map1_3，最后将拼接后的特征图 map1_3通道顺序打乱得到新的蘑菇特征图map1_4。Unit2操作是将输入图像的通道数分为两组map2_1和map2_2，先对第一组的输入图像map2_1依次进行1×1 卷积、5×5深度分离卷积、1×1卷积操作提取到蘑菇特征map2_11，第二组的输入图像map2_2依次进行5×5深度分离卷积、1×1卷积提取到蘑菇特征map2_21，然后map2_11与map2_21的通道进行拼接得到蘑菇特征图map2_3，最后将拼接后的特征图map2_3通道顺序打乱新的蘑菇特征图map2_4。

其中，在Unit1和Unit2操作中1×1卷积层后采用LeakyReLUs作为激活函数，计算公式为：

式中，x表示卷积输出的特征图，a表示常数，且a需要在训练过程中确定。

步骤4：计算步骤3中得到的标签预测值与图像标签真实值的误差，通过误差变化自动调整网络参数，得到蘑菇识别模型，具体包括以下内容：

标签预测值与标签真实值的误差计算公式为：

式中，y是预测值，

步骤5：将步骤2中预处理后的训练数据集批量输入到步骤4中的蘑菇模型中，同时使用步骤2中预处理后的验证数据集进行验证，当验证结果的准确率达到精度要求时，就结束训练任务。

步骤6：将训练任务后的蘑菇识别模型代码部署在总控上。

本发明还公开了一种轻量级蘑菇识别装置，包括摄像头1、排线2、电源3、 TPYE-C接口的数据线4、主控5、micro HDMI视频线6、显示屏7、读卡器8、存储卡9。

如图2所示，主控5使用的是树莓派4b；摄像头1使用的是IMX477R高清摄像头，通过排线2与主控5连接；电源3通过TPYE-C接口的数据线4与主控 5的USB TYPE-C接口连接；显示屏7通过micro HDMI视频线与主控5的HDMI1 接口连接；存储卡9使用的是64g的microSD卡，通过读卡器8与主控连接。

当电源3通电时候，摄像头1进行采集实时视频流数据，将采集到视频流数据通过主控5控制储存到存储卡9上，主控5通过读取存储卡9中的视频流数据进行预处理和蘑菇识别，将识别结果输给显示屏7。