基于视觉检测与深度神经网络的鹰嘴桃分拣系统及装置

技术领域

本发明涉及分拣系统技术领域，尤其是基于视觉检测与深度神经网络的鹰嘴桃分拣系统及装置。

背景技术

目前，针对水果分拣的技术主要依赖人工实施，效率低下且容易受主观因素影响，容易出错。虽然一些自动化分拣设备已经出现，但对于肉质水果这种外观特征复杂的水果，相关技术仍然存在准确性和效率方面的问题。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明的目的在于提供一种高效、准确的基于视觉检测与深度神经网络的鹰嘴桃分拣系统及装置。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

一方面，本发明实施例提供了一种基于视觉检测与深度神经网络的鹰嘴桃分拣方法，包括以下步骤：

本发明实施例的基于视觉检测与深度神经网络的鹰嘴桃分拣方法，该方法包括：获取待分拣的肉质水果图像；对所述肉质水果图像进行图像分割处理，得到第一特征；将所述第一特征通过外观缺陷检测模型处理，得到外观检测结果；并通过所述外观检测结果对肉质水果进行淘汰处理，得到第一水果集；根据所述第一水果集中每个水果的种类与形状面积，确定所述水果的品质类别，根据所述品质类别，对所述水果进行分拣。本申请实施例通过对肉质水果图像进行图像分割处理，提升外观缺陷检测模型的检测效率；通过外观缺陷检测模型处理，对外观缺陷的水果进行淘汰处理；然后，根据水果的种类与形状面积，确定水果的品质类别，通过品质类别对水果进行分拣，提升分拣的准确度。

另外，根据本发明上述实施例的基于视觉检测与深度神经网络的鹰嘴桃分拣方法，还可以具有以下附加的技术特征：

进一步地，本发明实施例的基于视觉检测与深度神经网络的鹰嘴桃分拣方法，所述方法还包括：

通过红外摄像机扫描所述第一水果集中的每个水果，对水果进行肉质检测，根据肉质检测结果对所述第一水果集进行更新；

所述通过红外摄像机扫描所述第一水果集中的每个水果，对水果进行肉质检测，包括：

通过照明设备提供调节光源，通过红外摄像机扫描第一水果，确定所述第一水果的热辐射信息；所述第一水果集包括所述第一水果；

根据所述热辐射信息，确定所述第一水果的内部特征，对第一水果进行肉质检测。

进一步地，在本发明的一个实施例中，所述对所述肉质水果图像进行图像分割处理，得到第一特征，包括：

对所述肉质水果图像进行高斯滤波处理，得到第一图像；

计算所述第一图像的梯度，得到第一信息；

对所述第一信息进行非最大抑制处理，得到第二信息；

将所述第二信息通过双阈值筛选处理，得到第一特征。

进一步地，在本发明的一个实施例中，所述将所述第一特征通过外观缺陷检测模型处理，得到外观检测结果，包括以下步骤：

对所述第一特征进行预处理，得到第三信息；

通过基础网络提取所述第三信息的特征，得到第二特征；

将所述第二特征通过特征金字塔处理，得到第三特征；

通过检测头部对所述第三特征进行预测，得到外观检测结果。

进一步地，在本发明的一个实施例中，所述外观缺陷检测模型通过下列步骤训练得到：

获取待分拣的肉质水果图像样本；所述肉质水果图像样本包括肉质水果样本的真实分拣结果；

对所述肉质水果图像样本进行图像分割处理，得到第一特征样本；

将所述第一特征样本通过外观缺陷检测模型处理，得到样本检测结果；并根据所述样本检测结果与真实分拣结果采用损失函数计算损失值，根据所述损失值更新所述外观缺陷检测模型的参数，得到训练好的所述外观缺陷检测模型。

进一步地，在本发明的一个实施例中，所述肉质水果图像样本包括正样本和负样本，所述损失值通过下列步骤确定：

根据所述正样本，确定第一置信度损失、第一定位损失和第一类别损失；

根据所述负样本，确定第二置信度损失；

根据所述第一置信度损失、所述第二置信度损失、所述第一定位损失和所述第一类别损失，确定损失值。

进一步地，在本发明的一个实施例中，所述根据所述第一水果集中每个水果的种类与形状面积，确定所述水果的品质类别，包括：

根据所述第一水果集中每个水果的重量与形状面积之商，确定第一经验值；根据所述种类和所述第一经验值在分类标准中查找对应的品质，确定所述水果的品质类别；

或者，根据所述第一水果集中每个水果的重量与形状面积之商，确定第二经验值；对所述第二经验值按照种类进行由大到小或由小到大排序，根据排序结果，确定所述水果的品质类别。

另一方面，本发明实施例提出了一种基于视觉检测与深度神经网络的鹰嘴桃分拣系统，包括：

图像采集模块，用于获取待分拣的肉质水果图像；

图像处理模块，用于对所述肉质水果图像进行图像分割处理，得到第一特征；

神经网络分类模块，用于将所述第一特征通过外观缺陷检测模型处理，得到外观检测结果；并通过所述外观检测结果对肉质水果进行淘汰处理，得到第一水果集；

分拣控制模块，用于根据所述第一水果集中每个水果的种类与形状面积，确定所述水果的品质类别，根据所述品质类别，对所述水果进行分拣。

另一方面，本发明实施例提供了一种基于视觉检测与深度神经网络的鹰嘴桃分拣装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行时，使得所述至少一个处理器实现上述的基于视觉检测与深度神经网络的鹰嘴桃分拣方法。

另一方面，本发明实施例提供了一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于实现上述的基于视觉检测与深度神经网络的鹰嘴桃分拣方法。

本申请提供的方法包括：获取待分拣的肉质水果图像；对所述肉质水果图像进行图像分割处理，得到第一特征；将所述第一特征通过外观缺陷检测模型处理，得到外观检测结果；并通过所述外观检测结果对肉质水果进行淘汰处理，得到第一水果集；根据所述第一水果集中每个水果的种类与形状面积，确定所述水果的品质类别，根据所述品质类别，对所述水果进行分拣。本申请实施例通过对肉质水果图像进行图像分割处理，提升外观缺陷检测模型的检测效率；通过外观缺陷检测模型处理，对外观缺陷的水果进行淘汰处理；然后，根据水果的种类与形状面积，确定水果的品质类别，通过品质类别对水果进行分拣，提升分拣的准确度。

附图说明

为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员来说，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。

图1为本发明提供的基于视觉检测与深度神经网络的鹰嘴桃分拣方法的一种实施例的流程示意图；

图2为本发明提供的分拣装置的一种实施例的结构示意图；

图3为本发明提供的肉质检测过程的一种实施例的流程示意图；

图4为本发明提供的高斯滤波的一种实施例的示意图；

图5为本发明提供的梯度处理的一种实施例的示意图；

图6为本发明提供的非极大值抑制的一种实施例的示意图；

图7为本发明提供的非极大值抑制的另一种实施例的示意图；

图8为本发明提供的正负梯度的一种实施例的示意图；

图9为本发明提供的边缘分类的一种实施例的示意图；

图10为本发明提供的基于视觉检测与深度神经网络的鹰嘴桃分拣系统的一种实施例的结构示意图；

图11为本发明提供的基于视觉检测与深度神经网络的鹰嘴桃分拣装置的一种实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

目前，针对水果分拣的技术主要依赖人工实施，效率低下且容易受主观因素影响。虽然一些自动化分拣设备已经出现，但对于肉质水果这种外观特征复杂的水果，现有技术仍然存在准确性和效率方面的问题。

下面参照附图详细描述根据本发明实施例提出的基于视觉检测与深度神经网络的鹰嘴桃分拣方法和系统，首先将参照附图描述根据本发明实施例提出的基于视觉检测与深度神经网络的鹰嘴桃分拣方法。

参照图1，本发明实施例中提供一种基于视觉检测与深度神经网络的鹰嘴桃分拣方法，本发明实施例中的基于视觉检测与深度神经网络的鹰嘴桃分拣方法，可应用于终端中，也可应用于服务器中，还可以是运行于终端或服务器中的软件等。终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。本发明实施例中的基于视觉检测与深度神经网络的鹰嘴桃分拣方法主要包括以下步骤：

S100：获取待分拣的肉质水果图像；

S200：对肉质水果图像进行图像分割处理，得到第一特征；

S300：将第一特征通过外观缺陷检测模型处理，得到外观检测结果；并通过外观检测结果对肉质水果进行淘汰处理，得到第一水果集；

S400：根据第一水果集中每个水果的种类与形状面积，确定水果的品质类别，根据品质类别，对水果进行分拣。

在一些可能的实施方式中，本发明的目的是提供一种基于视觉检测与深度神经网络的肉质水果分拣设备，旨在通过图像处理技术和神经网络算法解决现有技术中存在的问题。具体包括以下主旨思想：

1.外观缺陷检测：使用图像处理技术，包括外观划痕、斑点和虫洞等缺陷的检测与识别，以保证分拣的准确性。

2.图像分割算法：采用Canny算子实现图像分割，使得形状特征更加明确可见，有助于分拣设备对肉质水果外形的识别和检查。

3.红外摄像机扫描：使用红外摄像机进行扫描，实现对肉质水果果肉品质的检测，以确保果肉质量的合格性。

4.重量与形状面积比例范围值确定肉质水果的类别：通过分析肉质水果的重量和形状面积比例范围的数值，将水果分为不同的类别，以便进行相应的分拣处理。

5.数据采样和神经网络分类：构建样例库，采用神经网络算法对肉质水果样品进行分类，并通过反馈机制来实现参数的动态调整，以提高分拣的精确性和效率。

本发明的肉质水果分拣设备包括图像采集模块、图像处理模块、神经网络分类模块和分拣控制模块。通过将上述技术要点结合，并合理配置相应的硬件和软件，可以实现对肉质水果的自动化、准确和高效的分拣。通过引入图像处理和深度神经网络技术，能够更准确、更快速地检测和分拣肉质水果，提高了分拣的质量和效率。具体地，本申请可提供一种基于视觉检测与深度神经网络的肉质水果分拣装置；一种肉质水果分拣设备，包括图像采集模块、图像处理模块、神经网络分类模块和分拣控制模块。一种基于图像处理的肉质水果外观缺陷检测方法，包括使用Canny算子实现图像分割、外观划痕、斑点和虫洞等缺陷的检测与识别步骤。一种基于红外摄像机的肉质水果果肉品质检测方法，包括通过红外摄像机扫描实现对肉质水果果肉品质的检测和质量判定。一种基于重量和形状面积比例的果肉品质分类方法，包括根据重量和形状面积比例的数值范围来确定果肉品质的类别。一种基于神经网络的肉质水果样品分类方法，包括构建样例库、使用神经网络对肉质水果样品进行分类，以及通过反馈实现参数调整的步骤。

可以理解的是，本申请实施例中待分拣的肉质水果图像可以是在如图2分拣装置上，对待分拣的肉质水果进行拍摄得到，然后通过本申请提出的分拣方法对水果进行分拣，根据分拣结果将水果置于相应的容器内。可以理解的是，本申请实施例中的水果可以是鹰嘴桃，也可以是其它桃子，还可以是芒果、梨等水果，本申请并不限制水果的具体种类。

可选地，在本发明的一个实施例中，该方法还包括：

通过红外摄像机扫描第一水果集中的每个水果，对水果进行肉质检测，根据肉质检测结果对第一水果集进行更新；

通过红外摄像机扫描第一水果集中的每个水果，对水果进行肉质检测，包括：

通过照明设备提供调节光源，通过红外摄像机扫描第一水果，确定第一水果的热辐射信息；第一水果集包括第一水果；

根据热辐射信息，确定第一水果的内部特征，对第一水果进行肉质检测。

在一些可能的实施方式中，参照图3所示的一种实施例，通过红外摄像机对水果进行拍摄，确定水果的肉质，将不符合要求的水果进行淘汰处理，更新第一水果集。具体地，使用特殊的照明设备调节或透射光源，以增强拍摄图片的细节和对比度。使用工业相机数字摄像机获取水果肉质图像，红外镜头能够捕捉到水果肉质的热辐射，从而提供关于水果内部特性的信息，如熟度、水分分布等。本申请实施例通过肉质检测，提升检测的准确度。

可选地，在本发明的一个实施例中，对肉质水果图像进行图像分割处理，得到第一特征，包括：

对肉质水果图像进行高斯滤波处理，得到第一图像；

计算第一图像的梯度，得到第一信息；

对第一信息进行非最大抑制处理，得到第二信息；

将第二信息通过双阈值筛选处理，得到第一特征。

在一些可能的实施方式中，本申请实施例通过Canny算子获得多边形的外接矩形。可以理解的是，图像的边缘是指图像局部区域亮度变化显著的部分，该区域的灰度剖面可以看作是一个阶跃，即从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。图像的边缘部分集中了图像的大部分信息，图像边缘的确定与提取对于整个图像场景的识别与理解是非常重要的，同时也是图像分割所依赖的重要特征，边缘检测主要是图像的灰度变化的度量、检测和定位。Canny边缘检测是一种使用多级边缘检测算法检测边缘的方法，通常情况下边缘检测的目的是在保留原有图像属性的情况下，显著减少图像的数据规模。有多种算法可以进行边缘检测。Canny的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：

(1)最优检测：算法能够尽可能多地标识出图像中的实际边缘，漏检真实边缘的概率和误检非边缘的概率都尽可能小；

(2)最优定位准则：检测到的边缘点的位置距离实际边缘点的位置最近，或者是由于噪声影响引起检测出的边缘偏离物体的真实边缘的程度最小；

(3)检测点与边缘点一一对应：算子检测的边缘点与实际边缘点应该是一一对应。为了满足这些要求，Canny使用了变分法(calculus of variations)，这是一种寻找优化特定功能的函数的方法。最优检测使用四个指数函数项表示，但是它非常近似于高斯函数的一阶导数。

需要说明的是，Canny边缘检测分为如下几个步骤：

步骤S11：应用高斯滤波平滑图像，目的是去除噪声。

步骤S12：计算图像梯度，得到可能边缘；

步骤S13：应用非最大抑制技术来消除边误检；

步骤S14：应用双阈值的方法筛选边缘信息；

步骤S15：利用滞后技术来跟踪边界。

其中，应用高斯滤波去除图像噪声过程，由于图像边缘非常容易受到噪声的干扰，为了避免检测到错误的边缘信息，通常需要对图像进行滤波以除去噪声。滤波的目的是平滑一些纹理较弱的非边缘区域，以便得到更准确的边缘。在实际处理过程中，通常采用高斯滤波去除图像中的噪声。参照图4所示的一种实施例，使用高斯滤波器T对原始图像O中像素值为226的像素点进行滤波，得到该点在滤波结果图像D内的值的过程。在滤波过程中，通过滤波器对像素点周围的像素计算加权平均值，获取最终滤波结果。对于高斯滤波器T，越临近中心的点，权值越大。对图像O中像素值为226的像素点，使用滤波器T进行滤波的计算过程及其结果为：结果＝1/56×(197×1+25×1+106×2+156×1+159×1+149×1+40×1+107×4+5×3+71×1+163×2+198×4+226×8+223×4+156×2+222×1+37×3+68×4+193×3+157×1+42×1+72×1+250×2+41×1+75×1)＝138。

可以理解的是，通常高斯滤波器(高斯核)并不是固定的，滤波器的大小也是可变的，高斯核的大小对于边缘检测的效果具有很重要的作用。滤波器的核越大，边缘信息对于噪声的敏感度就越低。不过，核越大，边缘检测的定位错误也会随之增加。一般来说，一个5×5的核能够满足大多数的情况。

计算梯度过程，本申请实施例只需要关注梯度的方向，梯度的方向与边缘的方向是垂直的。边缘检测算子返回水平方向的Gx和垂直方向的Gy。梯度的幅度G和方向θ(用角度值表示)为：

Θ＝atan22(G,G

其中，atan2(·)表示具有两个参数的arctan函数。梯度的方向总是与边缘垂直的，通常就近取值为水平(左、右)、垂直(上、下)、对角线(右上、左上、左下、右下)等8个不同的方向。

因此，在计算梯度时，会得到梯度的幅度和角度(代表梯度的方向)两个值。图5展示了梯度的表示法。其中，每一个梯度包含幅度和角度两个不同的值。为了方便观察，这里使用了可视化表示方法。例如，左上角顶点的值“2↑”实际上表示的是一个二元数对“(2,90)”，表示梯度的幅度为2，角度为90°。

非极大值抑制过程，在获得了梯度的幅度和方向后，遍历图像中的像素点，去除所有非边缘的点。在具体实现时，逐一遍历像素点，判断当前像素点是否是周围像素点中具有相同梯度方向的最大值，并根据判断结果决定是否抑制该点。

通过以上描述可知，该步骤是边缘细化的过程。针对每一个像素点：

(1)如果该点是正/负梯度方向上的局部最大值，则保留该点。

(2)如果不是，则抑制该点(归零)。如图6中，A、B、C三点具有相同的方向(梯度方向垂直于边缘)。判断这三个点是否为各自的局部最大值：如果是，则保留该点；否则，抑制该点(归零)。

通过比较判断可知，A点具有最大的局部值，所以保留A点(称为边缘)，其余两点(B和C)被抑制(归零)。在图7中，黑色背景的点都是向上方向梯度(水平边缘)的局部最大值。因此，这些点会被保留；其余点被抑制(处理为0)。这意味着，这些黑色背景的点最终会被处理为边缘点，而其他点都被处理为非边缘点。

“正/负梯度方向上”是指相反方向的梯度方向。例如，在图8中，黑色背景的像素点都是垂直方向梯度(向上、向下)方向上(即水平边缘)的局部最大值。这些点最终会被处理为边缘点。经过以上处理后，对于同一个方向的若干个边缘点，基本上仅保留了一个，因此实现了边缘细化的目的。

应用双阈值确定边缘过程，在完成非极大值抑制之后，图像的强边缘已经在当前获取的边缘图像内。但是，一些虚边缘可能也在边缘图像内。这些虚边缘可能是真实图像产生的，也可能是由于噪声产生的。对于由于噪声产生的虚边缘必须将其剔除。

因此设置两个阀值，分别为高阀值(maxVal)和低阀值(minVal)。根据当前边缘像素的梯度幅度与这两个阀值之间的关系，判断边缘的属性，具体步骤如下：

S21：如果当前边缘像素的梯度幅度大于或等于高阀值，则将当前边缘像素标记为强边缘(需要保留)。

S22：如果当前边缘像素的梯度幅度介于高阀值与低阀值之间，则将当前边缘像素标记为虚边缘(需要保留)。

S23：如果当前边缘像素的梯度幅度小于或等于低阀值，则抑制当前边缘像素(需要抛弃)。

在上述过程中，本申请实施例得到了虚边缘，需要对其做进一步处理。一般通过判断虚边缘和强边缘是否连接来确定虚边缘到底属于哪种情况。通常情况下，对于一个虚边缘：与强边缘连接，则将该边缘处理为边缘。与强边缘无连接，则该边缘为弱边缘，将其抑制。

如图9，左侧显示的是三个边缘信息，右侧是对边缘信息进行分类的示意图，具体划分如下：

A点的梯度值大于maxVal，因此A是强边缘。

B和C点的梯度值介于maxVal和minVal之间，因此B、C是虚边缘。

D点的梯度值小于minVal，因此D被抑制(抛弃)。需要注意的是，高阀值和低阀值不是固定的，需要针对不同的图像进行定义。

可选地，在本发明的一个实施例中，将第一特征通过外观缺陷检测模型处理，得到外观检测结果，包括以下步骤：

对第一特征进行预处理，得到第三信息；

通过基础网络提取第三信息的特征，得到第二特征；

将第二特征通过特征金字塔处理，得到第三特征；

通过检测头部对第三特征进行预测，得到外观检测结果。

在一些可能的实施方式中，本申请实施例中的外观缺陷检测(外观划痕、斑点、虫洞等)，形状识别与外观检查用Yolo v8神经网络模型。如果外观检测到缺陷，就确定为外观划痕、斑点、虫洞等不合格产品类别。外观检测法是一种非常常见的检测方法，它主要关注农产品的形态、颜色、气味和其他物理性状。例如，对于水果和蔬菜，外观检测法可以通过观察果形、颜色和肉质等特征来判断其成熟度和新鲜程度。对于动物产品，外观检测法可以通过观察肉质、颜色和气味等特征来确定产品新鲜程度和是否受到污染。

YOLOv8是一种基于YOLO(You Only Look Once)系列算法的目标检测模型。它是YOLOv3的改进版本，通过引入一些新的技术和优化，进一步提升了检测精度和速度。

YOLOv8的计算模型主要包括以下几个关键步骤：

S31、输入预处理：模型接受输入图像，并对图像进行预处理。预处理包括将图像调整为固定的输入尺寸、归一化像素值等操作。

S32、基础网络：YOLOv8使用了Darknet-53作为基础网络。Darknet-53是一个53层的卷积神经网络，用于提取图像的特征。

S33、特征金字塔：在Darknet-53的基础上，YOLOv8引入了特征金字塔网络。特征金字塔网络通过在不同层级的特征图上应用不同尺度的卷积核，从而获得多尺度的特征表示。这有助于检测不同大小的目标。

S34、检测头部：YOLOv8使用了三个检测头部，分别用于预测不同尺度的目标框。每个检测头部由一系列卷积层和全连接层组成，用于将特征图转换为目标框的坐标和类别概率。

S35、预测输出：通过将检测头部的输出进行解码，可以得到每个目标框的位置、类别和置信度等信息。为了提高检测精度，YOLOv8还使用了一些技术，如多尺度预测、筛选阈值和非极大值抑制等。

S36、后处理：最后，模型对预测结果进行后处理，包括过滤低置信度的目标框、解码框的位置、应用非极大值抑制等操作。

总体而言，YOLOv8通过结合Darknet-53、特征金字塔和多尺度预测等技术，实现了高效准确的目标检测。它在速度和精度上取得了较好的平衡，适用于实时场景中的目标检测任务。

可选地，在本发明的一个实施例中，外观缺陷检测模型通过下列步骤训练得到：

获取待分拣的肉质水果图像样本；肉质水果图像样本包括肉质水果样本的真实分拣结果；

对肉质水果图像样本进行图像分割处理，得到第一特征样本；

将第一特征样本通过外观缺陷检测模型处理，得到样本检测结果；并根据样本检测结果与真实分拣结果采用损失函数计算损失值，根据损失值更新外观缺陷检测模型的参数，得到训练好的外观缺陷检测模型。

可选地，在本发明的一个实施例中，肉质水果图像样本包括正样本和负样本，损失值通过下列步骤确定：

根据正样本，确定第一置信度损失、第一定位损失和第一类别损失；

根据负样本，确定第二置信度损失；

根据第一置信度损失、第二置信度损失、第一定位损失和第一类别损失，确定损失值。

在一些可能的实施方式中，本申请实施例通过正负样本匹配规则进行样本的选定。给每一个groundtrue box分配一个正样本，这个正样本是所有bbox中找一个与gt_box的重叠区域最大的一个预测框，也就是和该gt_box的iou最大的预测框.但是如果利用这个规则去寻找正样本，正样本的数量是很少的，这将使得网络难以训练。如果一个样本不是正样本，那么它既没有定位损失，也没有类别损失，只有置信度损失。因此，本申请实施例将损失分为三个部分：置信度损失，定位损失和类别损失。本申请实施例只有正样本才有这三类损失，而负样本只有置信度损失，所以在损失计算的过程中需要将anchor template划分为正样本与负样本两种情况来计算loss。以提升模型的预测效率和准确度。

可选地，在本发明的一个实施例中，根据第一水果集中每个水果的种类与形状面积，确定水果的品质类别，包括：

根据第一水果集中每个水果的重量与形状面积之商，确定第一经验值；根据种类和第一经验值在分类标准中查找对应的品质，确定水果的品质类别；

或者，根据第一水果集中每个水果的重量与形状面积之商，确定第二经验值；对第二经验值按照种类进行由大到小或由小到大排序，根据排序结果，确定水果的品质类别。

在一些可能的实施方式中，本申请实施例通过Canny算子实现图像分割算法获得外接矩形面积cm

可以理解的是，肉质水果果肉品质的检测图像处理算法可以多种方式来实现，具体地：

1颜色分析算法：通过获取图像中的颜色信息，如RGB通道值，可以对果肉的成熟程度进行评估。成熟的果肉通常具有特定的颜色特征，比如水果的皮色和果肉的色泽，可以基于这些特征来判断果肉品质的好坏。

2形状特征提取算法：这种算法通过提取果肉的形状特征，如圆度、长宽比等，来评估果实的完整性和品质。比如，成熟度较高的水果通常具有更规整的形状。

3纹理分析算法：通过对果肉的纹理特征进行分析，如纹路、细胞结构等，可以评估果实的质地和口感。成熟且优质的果肉往往具有细腻、均匀的纹理特征。

4基于深度学习的算法：近年来，深度学习技术在图像处理领域取得了很大的进展。通过使用卷积神经网络(CNN)等深度学习模型，可以对果肉图像进行特征提取和分类，以判断果肉的品质。这种方法通常需要大量的训练数据和模型优化。

需要注意的是，不同的水果可能需要使用不同的算法来进行果肉品质的检测，在具体的实际应用中，本领域技术人员还需要根据水果的特性来选择合适的算法。

从图像处理的角度来判断果肉肉质的均匀程度，可以采用以下方法：

1、灰度均衡化：使用灰度均衡化技术可以增强图像的对比度，使得图像中的细节更加清晰可见。通过对图像进行灰度均衡化，可以更准确地观察果肉的肉质均匀性，如是否存在明显的亮暗区域或色差。

2、纹理分析：可以使用纹理特征提取算法来评估果肉的均匀程度。具体包括灰度共生矩阵(GLCM)、局部二值模式(LBP)等。这些算法可以分析图像中的纹理信息，如纹路的连续性、均匀性等，从而判断果肉的肉质均匀程度。

3、均值滤波：使用均值滤波器可以平滑图像中的噪声，同时也可以平均化图像中的灰度值。通过对图像进行均值滤波处理，可以减小果肉图像中的细微噪声，使果肉的肉质均匀程度更易于观察。

4、肉质分割：通过图像分割算法，将果肉与其他部分(如果皮、籽)进行分离，然后针对果肉部分进行均匀性分析。常见的图像分割方法包括阈值分割、边缘检测、基于区域的分割等。根据果肉的均匀程度特征，可以评估果肉的质量。

需要注意的是，判断果肉肉质均匀程度不仅仅依靠图像处理算法，还需要结合实际场景和经验进行综合评估。因此，在实际应用中，可以将图像处理与其他技术手段相结合，以获得更准确的结果。

本申请实施例采用图像处理的网格化方法来检验果肉的肉质均匀性。网格化方法将图像分割为一系列网格或小区域，然后对每个小区域进行分析和比较，以评估果肉的均匀性。

具体步骤如下：

1、图像分割：将果肉图像分割为网格或小区域。如基于阈值分割、基于边缘检测、基于区域生长等方法，将果肉图像分割为一系列较小的区域。

2、特征提取：对于每个小区域，可以提取相关特征来描述果肉的肉质均匀性。具体的特征包括亮度(灰度)均值、方差、纹理特征(如灰度共生矩阵、局部二值模式等)等。

3、特征比较：对于每个小区域提取的特征，可以将其与其他区域的相应特征进行比较。比如，可以计算每个小区域特征值的方差，并与其他区域的方差进行对比，以评估果肉的均匀性。

4、结果分析：根据特征比较的结果，可以得出果肉的肉质均匀性信息。如果所有小区域的特征值相似，方差较小，则可以判断果肉的肉质相对均匀；反之，如果特征值差异较大，方差较大，则可能表示果肉的肉质不均匀。

需要注意的是，除了图像处理的网格化方法，还可以结合其他技术手段来进一步评估果肉的肉质均匀性，例如使用机器学习算法进行分类与评估。同时，准确评估果肉的肉质均匀性还需要考虑到更多因素，如光照条件、拍摄角度等，因此综合多种方法会更加准确可靠。

综上可知，本申请实施例提供的方法包括：获取待分拣的肉质水果图像；对肉质水果图像进行图像分割处理，得到第一特征；将第一特征通过外观缺陷检测模型处理，得到外观检测结果；并通过外观检测结果对肉质水果进行淘汰处理，得到第一水果集；根据第一水果集中每个水果的种类与形状面积，确定水果的品质类别，根据品质类别，对水果进行分拣。本申请实施例通过对肉质水果图像进行图像分割处理，提升外观缺陷检测模型的检测效率；通过外观缺陷检测模型处理，对外观缺陷的水果进行淘汰处理；然后，根据水果的种类与形状面积，确定水果的品质类别，通过品质类别对水果进行分拣，提升分拣的准确度。

其次，参照附图10描述根据本发明实施例提出的一种基于视觉检测与深度神经网络的鹰嘴桃分拣系统。

图10是本发明一个实施例的基于视觉检测与深度神经网络的鹰嘴桃分拣系统结构示意图，系统具体包括：

图像采集模块310，用于获取待分拣的肉质水果图像；

图像处理模块320，用于对肉质水果图像进行图像分割处理，得到第一特征；

神经网络分类模块330，用于将第一特征通过外观缺陷检测模型处理，得到外观检测结果；并通过外观检测结果对肉质水果进行淘汰处理，得到第一水果集；

分拣控制模块340，用于根据第一水果集中每个水果的种类与形状面积，确定水果的品质类别，根据品质类别，对水果进行分拣。

可见，上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

参照图11，本发明实施例提供了一种基于视觉检测与深度神经网络的鹰嘴桃分拣装置，包括：

至少一个处理器410；

至少一个存储器420，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器410执行时，使得所述至少一个处理器410实现所述的基于视觉检测与深度神经网络的鹰嘴桃分拣方法。

同理，上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

本发明实施例还提供了一种计算机可读存储介质，其中存储有处理器可执行的程序，处理器可执行的程序在由处理器执行时用于执行上述的基于视觉检测与深度神经网络的鹰嘴桃分拣方法。

同理，上述方法实施例中的内容均适用于本存储介质实施例中，本存储介质实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干程序用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行程序的定序列表，可以具体实现在任何计算机可读介质中，以供程序执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从程序执行系统、装置或设备取程序并执行程序的系统)使用，或结合这些程序执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供程序执行系统、装置或设备或结合这些程序执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的程序执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。