对虾加工剥壳率检测方法、装置、电子设备及存储介质

技术领域

本发明涉及智能信息处理技术领域，尤其涉及对虾加工剥壳率检测方法、装置、电子设备及存储介质。

背景技术

现在对于虾仁的需求越来越大，但虾仁加工机械化和自动化水平较低，距实现智能化加工还有明显的差距。在虾仁加工生产中，大部分生产线主要依赖人工进行处理，效率慢，且人工成本高。目前，已开始研发虾仁加工机械化装置，该类装置主要依赖机械加工代替人工处理去头、剥壳等工作，但对加工的质量和数量尚无统一评价标准。在对虾剥壳加工过程中，如何判别对虾是否完成剥壳，获得对虾剥壳率，是评价剥壳效率和质量的重要标准。

在快速运行的虾仁加工生产线中，由于虾仁个体形态多样、分布密集及传送带运输速度影响，人工无法实时的观察对虾剥壳成功与否。

因此如何更好的判断生产线中的虾仁剥壳是否成功已经成为业界亟待解决的问题。

发明内容

本发明实施例提供对虾加工剥壳率检测方法、装置、电子设备及存储介质，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。

第一方面，本发明实施例提供一种对虾加工剥壳率检测方法，包括：

将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；

其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。

更具体的，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法包括：

获取剥壳对虾原始数据集信息，对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息；

将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息。

更具体的，所述对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息的步骤，具体包括：

将所述剥壳对虾原始数据集信息分别进行数据量扩增、环境模拟和噪声模拟，得到数据扩增数据集、环境模拟数据集和噪声模拟数据集；

将所述数据扩增数据集、环境模拟数据集和噪声模拟数据集进行混合变换，得到剥壳对虾增强数据集信息。

更具体的，在所述将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息的步骤之后，所述方法还包括：

对所述剥壳对虾训练集信息进行文本语义标注，得到带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片；

将所述带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片输入初始深度学习训练模型进行训练，直至训练模型的平均精度值超过预设值，停止训练，得到预设对虾剥壳率检测模型。

更具体的，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法还包括：

根据对虾传送带的速度，确定剥壳机加工成品对虾图片的图片采集频率信息；

根据所述图片采集频率信息获取对虾传送带上的剥壳机加工成品对虾图片。

更具体的，所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息的步骤，具体包括：

将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到多个图片对应的对虾加工剥壳率；

剔除多个图片对应的对虾加工剥壳率中的最大值和最小值后，取平均值，得到对虾加工剥壳率信息。

第二方面，本发明实施例提供一种对虾加工剥壳率检测装置，其特征在于，包括：

检测模块，用于将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；

其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述对虾加工剥壳率检测方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述对虾加工剥壳率检测方法的步骤。

本发明实施例提供的对虾加工剥壳率检测方法、装置、电子设备及存储介质，通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例中所描述的对虾加工剥壳率检测方法流程示意图；

图2为本发明一实施例所描述的对虾剥壳机剥壳率检测方法的流程图

图3为本发明一实施例所描述的对虾加工剥壳率检测装置示意图；

图4为本发明一实施例所描述的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一实施例中所描述的对虾加工剥壳率检测方法流程示意图，如图1所示，包括：

步骤S101，将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；

其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。

具体的，本发明实施例中所描述的多个剥壳机加工成品对虾图片信息是指在对虾整个生产过程中，对虾加工生产线成品传送区根据预定时间获取的多个剥壳机加工成品对虾图片信息，获取剥壳机加工成品对虾图片信息的防潮高清摄像头架置于所述水平传送带正上方约60cm处，覆盖水平传送带运输区，以获得完整的剥壳加工成品的对虾图像，并确保图像中每个对虾的剥壳状态能够明确区分。

本发明实施例中所描述的预设对虾剥壳率检测模型根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片对初始化深度学习YOLO V4训练模型训练得到的。

本发明实施例检测得到的完全剥壳对虾数量done、未完全剥壳对虾数量raw及总对虾数量all为所述提取的帧图像中包含的完全剥壳对虾数量、未完全剥壳对虾数量及总对虾数量。其中，all＝done+raw。计算完全剥壳对虾数量与总对虾数量之比，以获得对虾剥壳机剥壳率。

对提取的每幅帧图像分别计算剥壳率，即完全剥壳对虾数量与总对虾数量之比；

具体地，每幅帧图片的剥壳率p

具体地，在所述的所有帧图像剥壳率中，剔除一个最大值及一个最小值之后取平均值，所得的剥壳率均值即为对虾加工生产线中剥壳机在本次剥壳任务中的剥壳率P；

具体地，所述对虾加工生产线中剥壳机在本次剥壳任务中的剥壳率P计算方式如下：

记p

P即为所求的对虾加工剥壳率信息。

本发明实施例通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。

在上述实施例的基础上，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法包括：

获取剥壳对虾原始数据集信息，对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息；

将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息。

所述对所述剥壳对虾原始数据集信息进行数据增强，得到剥壳对虾增强数据集信息的步骤，具体包括：

将所述剥壳对虾原始数据集信息分别进行数据量扩增、环境模拟和噪声模拟，得到数据扩增数据集、环境模拟数据集和噪声模拟数据集；

将所述数据扩增数据集、环境模拟数据集和噪声模拟数据集进行混合变换，得到剥壳对虾增强数据集信息。

具体的，本发明实施例中所描述的数据增强方法，包括基础数据量扩增、环境模拟、噪声模拟及混合变换；

具体地，将所述基础数据量扩增记为A包含5个函数，随机平移记为A1，随机旋转记为A2，随机裁剪记为A3，镜像翻转记为A4，随机缩放记为A5；所述的环境模拟记为B包含4个函数，亮度调整记为B1，饱和度调整记为B2，色调调整记为B3，增加光斑记为B4；所述的噪声模拟记为C包含5个函数，椒盐噪声记为C1，高斯噪声记为C2，模糊化记为C3，高斯滤波记为C4，腐蚀膨胀记为C5。所述混合变换步骤具体如下：

本发明实施例中所描述的混合变换具体为：

Step1：由计算机从列表[AB、AC、ABC]中随机选择一个元素，AB表示所述A与B类组合的混合变换，AC表示所述A与C类组合的混合变换，ABC表示所述A、B与C组合的混合变换；

Step2：在[B0，B1，B2，B3，B4]、[C0，C1，C2，C3，C4，C5]列表中，分别随机选择一个元素，其中B0、C0表示在该类函数中不选择任何函数，以此作为混合变换中的一部分Bm、Cn；

Step3：在二值列表[0，1]中随机选择一个元素，重复执行5次，生成形如“11001”的字符串；

Step4：自检所述生成的字符串，若字符串为“00000”，则重新执行Step3，直至满足条件；

Step5：将所述生成字符串中“1”的位置索引与所述A类中的索引对应并选择，并获得选择函数，如：

字符串“10101”表示，选择A1、A3、A5函数，即随机平移、随机裁剪、随机缩放；

Step6：对列表[A1、A2、A3、A4、A5、B、C]种的元素随机排序，并结合所述的选择函数，获得混合变换的顺序，如：

随机排序A3、A2、A4、B、C、A1、A5，结合Step2与Step5中的Bm、Cn、“10101”，获得混合变换的顺序，随机裁剪、环境模拟Bm、噪声模拟Cn、随机平移、随机缩放；

Step7：生成混合变换结果图像。

具体地，所述的随机平移、随机旋转、随机裁剪、随机缩放、亮度调整、饱和度调整、色调调整、增加光斑变换可根据需要使用多次。

设原图像函数表达式为：

其中P表示原图像,图像像素宽为w，高为h,pxy，亦p(x,y)表示图像中坐标为(x,y)处的像素值，1≤x≤w,1≤y≤h,p(x,y)可由r，g，b三通道值线性表示，即

p(x,y)＝f(r,g,b),0≤r,g,b≤255

变换理论基础为：

随机平移：p′(x,y)＝F

随机旋转：p′(x,y)＝F

随机裁剪：p′(x,y)＝F

镜像翻转：p′(x,y)＝F

随机缩放：p′(x,y)＝F

亮度调整：p′(x,y)＝λp(x,y)+b,λ为亮度系数，b为亮度偏置；

饱和度调整：p′(x,y)＝λf(r,g,b),λ为饱和度系数；

色调调整：p′(x,y)＝p(x,y)+b，b为色调偏置；

增加光斑：

为亮斑中心点，r为亮斑半径；

椒盐噪声：p′(x,y)＝f(0,0,0)或p′(x,y)＝f(255,255,255)，根据图像分辨率增加适量椒盐噪声；

高斯噪声：p′(x,y)＝f(r,g,b)+gauss(μ,σ,k),gauss(μ,σ,k)为高斯噪声函数，μ为均值，σ为方差，k为高斯噪声系数；

模糊化：p′(x,y)＝blur[p(x,y),(p,q)],(p,q)为模糊卷积核；

高斯滤波：p′(x,y)＝GaussianBlur[p(x,y),(p,q)]，(p,q)为高斯内核；

腐蚀膨胀：p′(x,y)＝ErodeDilate[p(x,y),(p,q),n],(p,q)为腐蚀膨胀内核，n为执行次数。

以上变换中，删除超出原图像区域的像素值，无像素值的像素点置为(255，255，255)(或(0，0，0))，最终得到剥壳对虾增强数据集信息。

本发明实施例在特殊领域，训练数据严重不足的情况下，通过独有的数据增强方式，有效扩充了训练数据，从而实现后续的有效训练。

在上述实施例的基础上，在所述将所述剥壳对虾增强数据集信息按照预设比例分为剥壳对虾训练集信息和剥壳对虾测试集信息的步骤之后，所述方法还包括：

对所述剥壳对虾训练集信息进行文本语义标注，得到带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片；

将所述带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片输入初始深度学习训练模型进行训练，直至训练模型的平均精度值超过预设值，停止训练，得到预设对虾剥壳率检测模型。

具体的，本发明实施例中所描述的语义标注可以是，采用LabelImg对图像做真实标注，所述真实标注的标注原则包括：明确区分对虾剥壳状态的完整对虾，以实际状态做真实标注；存在遮挡、粘连等异常现象对虾或图像边缘处的对虾，若可以明确为未完全剥壳对虾的，做未完全剥壳对虾标注，其余情况不做标注。

初始化深度学习YOLO V4训练模型，调整训练超参数，将所述数据增强后的训练集以及所述输入标注文本输入YOLO V4网络中进行模型训练，以获得检测模型及其mAP值，完全剥壳对虾和未完全剥壳对虾的AP值；

具体地，调整anchors尺寸以更加适应剥壳机加工成品对虾的尺寸，调整学习率及衰减系数以调节模型收敛趋势，调整输入网络图像尺寸以调节模型精度等。

根据所述的AP和mAP值，调整训练参数，重新训练模型，根据对AP及mAP的要求，重新调整训练超参数，直至训练模型的AP及mAP的要求符合要求，停止训练，得到预设对虾剥壳率检测模型。

本发明实施例通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。

在上述实施例的基础上，在所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型的步骤之前，所述方法还包括：

根据对虾传送带的速度，确定剥壳机加工成品对虾图片的图片采集频率信息；

根据所述图片采集频率信息获取对虾传送带上的剥壳机加工成品对虾图片。

具体的，根据所述水平传送带速度，在所述的实时采集剥壳机加工成品对虾图像中每3秒即90帧提取帧图像，防止图像提取时间间隔短而引起多幅图像变化不大，导致操作冗余的过采样和帧图像提取时间间隔长而引起多幅图像差异过大，帧图像之间连续性差，导致缺漏关键帧图像的漏采样。

在上述实施例的基础上，所述将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息的步骤，具体包括：

将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到多个图片对应的对虾加工剥壳率；

剔除多个图片对应的对虾加工剥壳率中的最大值和最小值后，取平均值，得到对虾加工剥壳率信息。

具体的，具体地，每幅帧图片的剥壳率p

具体地，在所述的所有帧图像剥壳率中，剔除一个最大值及一个最小值之后取平均值，所得的剥壳率均值即为对虾加工生产线中剥壳机在本次剥壳任务中的剥壳率P；

具体地，所述对虾加工生产线中剥壳机在本次剥壳任务中的剥壳率P计算方式如下：

记p

P即为所求的对虾加工剥壳率信息。

图2为本发明一实施例所描述的对虾剥壳机剥壳率检测方法的流程图，如图2所示，包括：

步骤S1：采集对虾加工生产线剥壳机加工成品的对虾图像，以建立原始数据集；

步骤S2：对所述原始数据集划分为训练集、测试集，分别对所述训练集、测试集进行数据增强，扩增数据集，构建检测数据集；

在步骤S2和步骤S3之间还包括：选择变换方式、分别进行环境模拟、基础数据量扩增、噪声模拟，然后进行混合变换，接着确定变换函数，然后随机生成变换参数，并保存，生成映射函数，对原图做映射变换，生成、保存变换图像，判断是否满足循环需求，若满足循环需求，则重新回到随机生成变换参数，并保存，若不满足循环需求，则进入步骤S3.

步骤S3：在所述数据增强后的训练集中，对完全剥壳对虾及未完全剥壳对虾做真实标注，以获得真实标注文本；

步骤S4：对所述真实标注文本进行归一化处理，以获得输入标注文本；

步骤S5：初始化深度学习YOLO V4训练模型，调整训练超参数，将所述数据增强后的训练集以及所述输入标注文本输入YOLO V4网络中进行模型训练，以获得检测模型及其mAP值，完全剥壳对虾和未完全剥壳对虾的AP值；

步骤S6：根据所述的AP和mAP值，调整所述训练参数，重新训练模型，以获得最优检测模型；

具体地，根据对AP及mAP的要求，重新调整训练超参数，重复执行步骤S5。

步骤S7：根据所述最优检测模型，在线实时采集剥壳机加工成品对虾视频图像，分别统计检测得到的完全剥壳对虾数量、未完全剥壳对虾数量及总对虾数量；

步骤S8：计算所述完全剥壳对虾数量与总对虾数量之比，以获得对虾剥壳机剥壳率。

图3为本发明一实施例所描述的对虾加工剥壳率检测装置示意图，如图3所示，包括：检测模块310，用于将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。

本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。

本发明实施例通过预设对虾剥壳率检测模型在训练时，利用针对检测场景的数据增强方法，模拟检测环境并快速扩充数据集，经过YOLO V4算法训练得到预设对虾剥壳率检测模型，并通过该模型对剥壳机加工成品的对虾实时图像进行检测，统计完全及未完全剥壳对虾个数，从而实现剥壳机剥壳率的精准、高效检测检测。

图4为本发明一实施例所描述的电子设备结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行如下方法：将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。

此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。

本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：将多个剥壳机加工成品对虾图片信息输入预设对虾剥壳率检测模型，得到对虾加工剥壳率信息；其中，所述预设对虾剥壳率检测模型是根据带完全剥壳文本标签的样本剥壳机加工成品对虾图片和带未完全剥壳文本标签的样本剥壳机加工成品对虾图片训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。