一种便携智能开壳机的状态识别方法、设备

技术领域

本发明涉及数据识别领域，具体涉及一种便携智能开壳机的状态识别方法、设备。

背景技术

由于便携智能开壳机具有体积小、便于携带、能够方便人们生活的优点，便携智能开壳机已经越来越普及。为了保证便携智能开壳机的出厂质量，便携智能开壳机生产厂家在便携智能开壳机出厂前需要对便携智能开壳机的状态进行识别，即检测待出厂的便携智能开壳机的性能是否符合出厂要求，符合出厂要求即状态正常，不符合出厂要求即状态不正常。现有的便携智能开壳机生产厂家多采用人工检测的方式对便携智能开壳机的状态进行识别，存在占用人力资源较多的问题。

发明内容

为了解决现有采用人工检测的方式对便携智能开壳机的状态进行识别时存在的占用人力资源较多的问题，本发明的目的在于提供一种便携智能开壳机的状态识别方法、设备。

一方面，本发明提供了一种便携智能开壳机的状态识别方法，包括以下步骤：

获取目标区域的RGB图像，并对所述目标区域的RGB图像进行灰度化处理，得到目标区域的灰度图像；所述目标区域位于待识别开壳机的出料口下方；

利用语义分割网络识别所述目标区域的灰度图像中的瓜子壳和瓜子仁，并利用边缘检测方法识别各瓜子壳和瓜子仁的轮廓，计算各瓜子壳和瓜子仁轮廓的尖锐程度；

计算各瓜子壳和瓜子仁轮廓内的各像素点灰度共生矩阵的特征值，根据所述特征值计算各瓜子壳和瓜子仁轮廓内的纹理规则程度；所述特征值包括纹理对比度描述因子和能量描述因子；

根据各瓜子壳和瓜子仁轮廓内的纹理规则程度和对应的尖锐程度计算任意两瓜子壳和瓜子仁轮廓之间的聚类距离，根据所述聚类距离对各瓜子壳和瓜子仁轮廓进行聚类，得到瓜子仁聚类簇；根据所述瓜子仁聚类簇中瓜子仁的数量判断待识别开壳机的实际开壳率，若所述实际开壳率不小于设定开壳率阈值，则判定待识别开壳机的状态正常；若所述实际开壳率小于设定开壳率阈值，则判定待识别开壳机的状态不正常。

另一方面，本发明还提供了一种便携智能开壳机的状态识别设备，包括处理器和存储器，所述处理器加载并执行所述存储器上存储的计算机程序，以实现上述的便携智能开壳机的状态识别方法。

进一步的，所述计算各瓜子壳和瓜子仁轮廓的尖锐程度，包括：

计算每一瓜子壳和瓜子仁轮廓上的边缘像素点的切线斜率变化率，绘制成切线斜率变化率-概率直方图，记为o-p直方图；

根据每一瓜子壳和瓜子仁轮廓对应的o-p直方图，得到每一瓜子壳和瓜子仁轮廓的尖锐程度：

其中，

进一步的，所述根据所述特征值计算各瓜子壳和瓜子仁轮廓内的纹理规则程度，包括：

利用如下公式计算各瓜子壳和瓜子仁轮廓内的纹理规则程度：

其中，

进一步的，所述根据各瓜子壳和瓜子仁轮廓内的纹理规则程度和对应的尖锐程度计算任意两瓜子壳和瓜子仁轮廓之间的聚类距离，包括：

利用如下公式计算聚类距离：

其中，d为两瓜子壳和瓜子仁轮廓之间的聚类距离，

进一步的，所述根据所述聚类距离对各瓜子壳和瓜子仁轮廓进行聚类，得到瓜子仁聚类簇，包括：

计算聚类效果面积评价指标

计算聚类效果直线评价指标

利用如下公式计算聚类效果综合评价指标：

其中，

设置K的初始值为2，聚类完成后将计算E的大小，记为E1；然后再设置K的值为3，再次计算E的大小，记为E2；比较E1和E2的大小，若E1大于E2，那么将K=3对应的聚类结果中平均面积第二大的聚类簇判定为瓜子仁聚类簇；若E1小于E2，那么将K=2对应的聚类结果中平均面积第二大的聚类簇判定为瓜子仁聚类簇。

进一步的，所述根据所述瓜子仁聚类簇中瓜子仁的数量判断待识别开壳机的实际开壳率，包括：

利用如下公式计算待识别开壳机的实际开壳率：

其中，L为待识别开壳机的实际开壳率，N为投入瓜子开壳机的瓜子数量，a为瓜子仁聚类簇中瓜子仁的数量。

有益效果：本发明基于获取的便携智能开壳机出料口下方的图像，实现了对便携智能开壳机状态的自动判断，解决现有采用人工检测的方式对便携智能开壳机的状态进行识别时存在的占用人力资源较多的问题。

附图说明

图1是本发明的一种便携智能开壳机的状态识别方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。

便携智能开壳机的状态识别方法实施例：

为了解决现有采用人工检测的方式对便携智能开壳机的状态进行识别时存在的占用人力资源较多的问题，本实施例提供了一种便携智能开壳机的状态识别方法，如图1所示，包括以下步骤：

（1）获取目标区域的RGB图像，并对所述目标区域的RGB图像进行灰度化处理，得到目标区域的灰度图像；所述目标区域位于待识别开壳机的出料口下方。

为了对待出厂的便携智能开壳机的状态进行识别，即检测待出厂的便携智能开壳机是否符合出厂要求，本实施例对待出厂的便携智能开壳机进行了测试。本实施例的便携智能开壳机为葵花籽（简称瓜子）开壳机，为了简便，接下来将待识别的便携智能开壳机简称为瓜子开壳机。

测试过程中，采用机械手臂将设定数量（记为N）的颗粒饱满的瓜子依次放入瓜子开壳机的进料口，将瓜子放入进料口完毕后，采集瓜子开壳机出料口下方的图像。如果瓜子开壳机的状态正常，那么采集到的图像中瓜子仁的数量约等于投入的瓜子的数量，该瓜子开壳机的开壳率较高，是符合出厂要求的；如果瓜子开壳机的状态不正常，那么采集到的图像中瓜子仁的数量小于投入的瓜子的数量，该瓜子开壳机的开壳率较低，是不符合出厂要求的。鉴于此，本实施例对采集的瓜子开壳机出料口下方的图像进行分析，以识别图像中的瓜子仁，得到图像中瓜子仁的数量，进而判定瓜子开壳机状态的是否正常。本实施例采用机械手臂进行瓜子的投入，作为其它实施方式，也可以采用其它方式实现瓜子的投入，本发明不对瓜子的投入方式做要求。

为了简便，接下来将采集到的待识别开壳机的出料口下方图像简称为目标区域图像；本实施例采集的目标区域图像为RGB图像，利用加权平均值法对该目标区域的RGB图像进行灰度化处理，得到目标区域的灰度图像。利用加权平均值法进行灰度化处理的过程为现有技术，此处不再赘述。

（2）利用语义分割网络识别所述目标区域的灰度图像中的瓜子壳和瓜子仁，并利用边缘检测方法识别各瓜子壳和瓜子仁的轮廓，计算各瓜子壳和瓜子仁轮廓的尖锐程度；

本实施例使用语义分割网络来区分目标区域的灰度图像中的背景区域和非背景区域，非背景区域即瓜子壳和瓜子仁区域，本实施例中的瓜子壳指的是未开壳成功的其内还有瓜子仁的瓜子，以及开壳成功的其内不含有瓜子仁的瓜子外皮。本实施例具体使用ResNet神经网络来区分目标区域的灰度图像中的背景区域和非背景区域，ResNet神经网络的输入为目标区域的灰度图像，输出为包含包子皮和瓜子仁的区域图像。在对ResNet神经网络进行训练的过程中，ResNet神经网络的标签分为两种，一种是背景，一种是瓜子壳和瓜子仁，将瓜子壳和瓜子仁区域标记为1，将背景区域标记为0。ResNet神经网络所用损失函数为交叉熵损失函数。

在得到了目标区域的灰度图像中的瓜子壳和瓜子仁区域后，使用现有的边缘检测方法得到目标区域中瓜子壳和瓜子仁的轮廓（此时还不能够区分轮廓是瓜子壳轮廓还是瓜子仁轮廓，因此先称为瓜子壳和瓜子仁轮廓）。为了实现对瓜子壳和瓜子仁的区分，考虑到瓜子仁的胚根部分比瓜子壳（本实施例此处的瓜子壳是相对较为完整的瓜子壳，而不是指被破碎的瓜子壳，开壳成功后的瓜子壳既有可能是相对较为完整的瓜子壳，也有可能是被破碎的瓜子壳）的胚根部分要尖锐的多，本实施例计算了各瓜子壳和瓜子仁轮廓的尖锐程度，具体过程如下：

计算每一瓜子壳和瓜子仁轮廓上的边缘像素点的切线斜率变化率，绘制成切线斜率变化率-概率直方图，记为o-p直方图。

根据每一瓜子壳和瓜子仁轮廓对应的o-p直方图，可以得到每一瓜子壳和瓜子仁轮廓的尖锐程度：

其中，

（3）计算各瓜子壳和瓜子仁轮廓内的各像素点灰度共生矩阵的特征值，根据所述特征值计算各瓜子壳和瓜子仁轮廓内的纹理规则程度；

瓜子壳相较于瓜子仁而言，瓜子壳具有以下特点：纹理为纵向纹理，即由瓜子壳一端到另一端的条状纹理；鉴于此，为了更好地区分瓜子壳和瓜子仁，本实施例还计算了各瓜子壳和瓜子仁轮廓内的纹理规则程度，具体过程如下：

对于任一瓜子壳和瓜子仁轮廓内的任一像素点，根据该像素点周围8邻域内的像素点构建该像素点对应的灰度共生矩阵。现有方法构建灰度共生矩阵时一般选择0 、45 、90 和135 这四个方向构建灰度共生矩阵，本实施例计算灰度共生矩阵时选择两个方向构建灰度共生矩阵，这两个方向的获取过程为：对于任一瓜子壳和瓜子仁轮廓，对该轮廓进行最小外接矩形的拟合，获取矩形长边中线以及宽边中线，将两个中线的方向作为灰度共生矩阵的两个方向。构建灰度共生矩阵的过程为现有技术，此处不再赘述。

利用如下公式计算各瓜子壳和瓜子仁轮廓内的纹理规则程度：

其中，

纹理对比度描述因子反映了图像的清晰度和纹理的沟纹深浅，纹理对比度描述因子越大，纹理的沟纹越深，反差越大，效果越清晰；反之，则沟纹较浅，效果模糊。能量描述因子反映了图像灰度分布均匀程度和纹理粗细度，若灰度共生矩阵的元素值相近，则能量较小，表示纹理细致；若灰度共生矩阵中一些值大，而其它值小，则能量值较大；能量值大表明一种较均一和规则变化的纹理模式。

当某瓜子壳和瓜子仁轮廓内各像素点对应的灰度共生矩阵的纹理对比度描述因子和能量描述因子越大时，该瓜子壳和瓜子仁轮廓对应的W越大，说明该轮廓内纹理越规律，那么该瓜子壳和瓜子仁轮廓越为瓜子壳对应的轮廓的可能性越大。

（4）根据各瓜子壳和瓜子仁轮廓内的纹理规则程度和对应的尖锐程度计算任意两瓜子壳和瓜子仁轮廓之间的聚类距离，根据所述聚类距离对各瓜子壳和瓜子仁轮廓进行聚类，得到瓜子仁聚类簇；根据所述瓜子仁聚类簇中瓜子仁的数量判断待识别开壳机的实际开壳率，若所述实际开壳率不小于设定开壳率阈值，则判定待识别开壳机的状态正常；若所述实际开壳率小于设定开壳率阈值，则判定待识别开壳机的状态不正常。

为了区分瓜子壳和瓜子仁，本实施例采用K-means算法对各瓜子壳和瓜子仁轮廓进行聚类。本实施例采用的聚类距离为：

其中，d为两瓜子壳和瓜子仁轮廓之间的聚类距离，

由于瓜子壳在被开壳后可能会裂开，形成一些碎壳，这些破壳会存在一些尖锐的角，容易与瓜子仁在进行聚类时混淆，因此，为了避免破碎的瓜子壳对聚类结果的影响，本实施例提供了一种自适应K值的K-means算法，K=2或3，通过改变K值和对改变K值后的聚类结果进行分析，进而确定优选K值。本实施例确定K值的过程如下：

①计算聚类效果面积评价指标；

本实施例进行测试用的瓜子为颗粒饱满的瓜子，若存在破碎瓜子壳，那么其轮廓面积应是最小的，故选取聚类簇中平均面积较大的两个聚类簇，计算这两个聚类簇之间的面积差异，若面积差异过大，则说明聚类效果不好，这两个聚类簇之间面积差异越小，说明聚类效果越好。利用如下公式计算聚类效果面积评价指标：

其中，

②计算聚类效果直线评价指标；

瓜子壳在被破碎时，易于从中间劈开形成直线边缘，使用霍夫直线检测便可将直线边缘识别，故本实施例通过霍夫直线检测平均面积第二大的聚类簇中各瓜子壳和瓜子仁轮廓，统计每个轮廓内是否含有直线，检测得到的直线越多，说明聚类效果越不好。

其中，

③计算聚类效果综合评价指标；

为了提高对聚类结果评价的准确性，本实施例还根据类内差异最小原则计算了各类的类内距离的均值，将该均值作为聚类效果评价因子e3；还根据类间差异最大原则计算了各类与其它类别的质心之间的距离的均值，将该均值作为聚类效果评价因子e4。类内差异最小原则和类间差异最大原则为现有技术，此处不再赘述。

利用如下公式计算聚类效果综合评价指标：

其中，

设置K的初始值为2，聚类完成后将计算E的大小，记为E1；然后再设置K的值为3，再次计算E的大小，记为E2。比较E1和E2的大小，若E1大于E2，那么将K=3对应的聚类结果中平均面积第二大的聚类簇判定为瓜子仁聚类簇；若E1小于E2，那么将K=2对应的聚类结果中平均面积第二大的聚类簇判定为瓜子仁聚类簇。

统计面积第二大的聚类簇的簇数，记为a，该值即瓜子仁聚类簇中瓜子仁的数量，即实际开壳成功的瓜子仁数量。根据实际开壳成功的瓜子仁数量计算瓜子开壳机的实际开壳率，公式如下：

其中，L为开壳机的实际开壳率，N为投入瓜子开壳机的瓜子数量，a为瓜子仁聚类簇中瓜子仁的数量。

设置阈值f=0.95，当瓜子开壳机实际开壳率L小于阈值f时，判定该瓜子开壳机运行状态差，为非正常状态，不可出厂；当瓜子开壳机实际开壳率L不小于阈值f时，判定该瓜子开壳机运行状态好，为正常状态，可出厂。

本实施例基于获取的便携智能开壳机出料口下方的图像，实现了对便携智能开壳机状态的自动判断，解决现有采用人工检测的方式对便携智能开壳机的状态进行识别时存在的占用人力资源较多的问题。

便携智能开壳机的状态识别设备实施例：

本实施例的便携智能开壳机的状态识别设备包括处理器和存储器，所述处理器加载并执行所述存储器上存储的计算机程序，以实现如上述便携智能开壳机的状态识别方法实施例的便携智能开壳机的状态识别方法。便携智能开壳机的状态识别方法已经在上述便携智能开壳机的状态识别方法实施例中进行了说明，此处不再赘述。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。