一种基于果实图像的果实品质检测方法

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于果实图像的果实品质检测方法。

背景技术

目前农产品品质问题时有发生，但传统农业普遍存在信息不透明、数据碎片化等问题，导致消费者难以判断农产品质量的可靠性与安全性。

近年来，关于图像快速获取的技术方面取得了一些进展。例如专利203744929发明了一种果实外观自动检测系统，该系统通过果实自动监测装置获取带有参照物和背景板的果实图像信息，通过传输装置将图片传到服务器。但是该专利仅针对果面信息进行获取，例如果实表面是否有损坏、果实大小等，未对果实内在品质进行预测，例如果实的单果重量或干物质含量，所获信息较少。

发明内容

为了解决无法通过果实的图像信息获取果实品质的问题，本发明提供了一种基于果实图像的果实品质检测方法。

第一方面，为了解决上述技术问题，本发明提供了一种基于果实图像的果实品质检测方法，包括以下步骤：

获取果实图像，果实图像中包含了单个完整果实；

对果实图像进行预处理，提取果实图像中果实的边缘线，得到果实对应的轮廓线图像；

根据预设的标准色卡，确定果实图像中果实的每度量像素，标准色卡包括果实图像中的各个颜色和各个每度量像素之间的对应关系，对于每个每度量像素，每度量像素表征了每个给定的度量单位存在的像素数；

获取轮廓线图像对应的轮廓线的像素宽度；

根据每度量像素和像素宽度，确定果实对应的实际尺寸；

根据所述果实对应的实际尺寸，通过标准模型预测所述果实对应的单果重量或干物质含量：

根据预测的单果重量或干物质含量，对果实的品质进行检测。

本发明提供的一种基于果实图像的果实品质检测方法的有益效果是：通过对果实图像中果实的边缘线进行提取，得到轮廓线图像，并根据轮廓线图像得到轮廓线的像素宽度，再根据标准色卡得到每度量像素，并根据像素宽度和每度量像素得到果实的实际尺寸，最后根据所述历史果实实际品质构建标准模型，对标准模型进行数据的吻合度验证，证明所得模型的标准性。再依据所建标准模型预测所述果实对应的单果重量或干物质含量，并根据单果重量或干物质含量实现对果实的品质检测，解决了现有技术中无法通过果实的图像信息获取果实品质的问题。

在上述技术方案的基础上，本发明的一种基于果实图像的果实品质检测方法还可以做如下改进。

进一步，上述方法中对果实图像进行预处理，提取果实图像中果实的边缘线，得到果实对应的轮廓线图像，包括：

对果实图像进行灰度化处理，得到灰度化图像；

对灰度化图像进行平滑处理，得到平滑图像；

对平滑图像进行阈值分割处理，得到二值化图像；

对二值化图像进行形态学处理，得到边界图像；

对边界图像进行边缘检测，得到轮廓线图像。

采用上述进一步方案的有益效果是：通过对果实图像进行灰度化处理、平滑处理、阈值分割处理、形态学处理和边缘检测，得到果实的边缘线，从而得到轮廓线图像。

进一步，上述方法中对果实图像进行灰度化处理，得到灰度化图像，包括：

根据果实图像，通过第一公式，确定灰度化图像，其中，第一公式为：

Gray(x

其中，Gray(x,j)表示灰度化图像，R(x,j)、G(x,j)和B(x,j)分别表示果实图像的红色分量、绿色分量和蓝色分量。

采用上述进一步方案的有益效果是：通过第一公式，将果实图像在三个通道的数据(红色分量、绿色分量和蓝色分量)统一到一个数值即Gray(x,j)，得到灰度化图像。

进一步，上述方法中对灰度化图像进行平滑处理，得到平滑图像，包括：

S11，将灰度图像区分为多个像素区域；

S12，对于每个像素区域，获取像素区域内每个像素点的像素值，并根据各个像素值和预设权重，确定加权平均值，将加权平均值替换像素区域内每个像素点的像素值，得到平滑图像。

采用上述进一步方案的有益效果是：通过加权平均值替换像素区域中的每个像素值，使得灰度化图像中的每个像素点的像素值更加平滑，得到平滑图像。

进一步，上述方法中对平滑图像进行阈值分割处理，得到二值化图像，包括：

S21，对平滑图像中每个像素的像素值作进行归一化处理；

S31，对于平滑图像中从0到255的每个像素值，将像素值作为当前像素值，将当前像素值对应的像素点作为第一像素点，将当前像素值之外的像素值对应的像素点作为第二像素点，计算第一像素点和各个第二像素点之间的方差值；

S32，将各个像素值对应的方差值中最大值对应的像素值作为目标阈值；

S33，根据平滑图像，通过第二公式，得到二值化图像，其中，第二公式为：

其中，g(x,y)表示二值化图像，f(x,y)表示平滑图像，t表示目标阈值。

采用上述进一步方案的有益效果是：通过在平滑图像中的各个像素值中找到目标阈值，从而通过目标阈值和第二公式将平滑图像中感兴趣区域(像素值大于t对应的区域)提取出来，得到二值化图像。

进一步，上述方法中对二值化图像进行形态学处理，得到边界图像，包括：

根据二值化图像，通过第三公式，确定边界图像，其中，第三公式为：

其中，M

采用上述进一步方案的有益效果是：通过第三公式，对二值化图像进行腐蚀和膨胀运算，从而消除二值化图像上狭窄处的分离与较小噪声点。

进一步，上述方法中对边界图像进行边缘检测，得到轮廓线图像，包括：

S51，对边界图像进行消除噪音处理，得到去噪图像；

S52，获取去噪图像中的每个像素点的梯度方向，得到梯度图像；

S53，根据梯度图像，去除梯度图像中的非边缘点，确定边缘图像；

S54，对于边缘图像中的每个像素点，将像素值高于第一阈值或者低于第二阈值的像素点筛选出来，以得到轮廓线图像，第一阈值大于第二阈值。

采用上述进一步方案的有益效果是：首先消除边界图像中的噪音，得到去噪图像，然后确定去噪图像中的每个梯度方向，根据梯度方向去除梯度图像中的非边缘点，得到边缘图像，最后将边缘图像中像素值大于第一阈值或低于第二阈值的像素点删选出来，得到轮廓线图像。

进一步，上述方法中根据每度量像素和像素宽度，确定果实对应的实际尺寸，包括：

根据每度量像素和像素宽度，通过第四公式，确定果实对应的实际尺寸，其中，第四公式为：

其中，know_width表示实际尺寸，object_width表示像素宽度，poxels_per_metric表示每度量像素。

采用上述进一步方案的有益效果是：通过第一公式得到果实的实际尺寸，以便后续根据果实的实际尺寸预测得到单果重量或干物质含量。

进一步，上述方法中根据所述果实对应的实际尺寸，通过标准模型预测所述果实对应的单果重量或干物质含量，包括：

根据历史果实实际品质，构建标准模型，对所述标准模型进行数据的吻合度验证，证明所述标准模型的标准性；

根据所述实际尺寸，通过第五公式和所述历史果实实际品质构建的标准模型，预测所述果实对应的单果重量或干物质含量，其中，所述第五公式为：

y＝ρ

其中，x表示实际尺寸，y表示预测的所述果实对应的单果重量或干物质含量，ρ

采用上述进一步方案的有益效果是：通过第五公式和历史果实实际品质构建的标准模型预测得到果实对应的单果重量或干物质含量，以便后续根据单果重量或干物质含量对果实的品质进行检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的一种基于果实图像的果实品质检测方法的流程示意图；

图2为本发明实施例的果实图像拍摄装置的结构示意图；

图3为本发明实施例的果实图像拍摄装置另一视觉的结构示意图；

图4为标准色卡的示意图；

图5为果实横径与其花后期的关系图；

图6为果实纵径与其花后期的关系图；

图7为单果重量与其花后期的关系图；

图8为干物质含量与其花后期的关系图；

图9为果实各属性与花后期的热力分析图；

图10为通过PCA方法得到的第一主成分变量与单果重量的预测结果；

图11为通过PCA方法得到的第一主成分变量与干物质含量的预测结果；

图12为干物质含量的残差值结果图；

图13为单果重量的残差值结果图；

图14为理论尺寸与实际尺寸的线性模型结果图；

图15为理论尺寸与实际尺寸的线性模型结果图；

图16为理论尺寸与实际尺寸的线性模型结果图。

具体实施方式

下列实施例是对本发明的进一步解释和补充，对本发明不构成任何限制。

以下结合附图描述本发明实施例的一种基于果实图像的果实品质检测方法以及系统。

如图1所示，本发明实施例的一种基于果实图像的果实品质检测方法，包括以下步骤：

S1，获取果实图像，果实图像中包含了单个完整果实。

可选的，本实施例可通过果实图像拍摄装置获取果实图像，如下果实图像拍摄装置包括：

如图2-图3所示，果实图像拍摄装置包括箱体1、顶部滑动盖2、LED灯带3、电源4、黑色背景吸光布5、便携袋6和手机袋7其中：

如图2所示，箱体1为一端开口的U型箱体，箱体1的顶部设置有一个圆形孔，顶部滑动盖2设置在圆形孔上，当需要更换果实时，无需打开便携袋6，直接从顶部滑动盖处更换果实即可。

另外，LED灯带3用于提供为拍摄提供光源；电源用于为LED灯带3提供电源，可使用带充电的电源，避免在无法连接电源时也能供电。

黑色背景吸光布5用于创造拍摄用的标准的暗室环境，统一果实拍摄的背景，避免出现因光源不均导致的果实图像色差问题。

另外，如图3所示，使用时，需要将箱体1装入便携袋6，然后打开顶部滑动盖2，把果实放入箱体1内部后再关闭顶部滑动盖2，此时，箱体1内部形成密闭的暗室环境，便携袋6上设置有手机袋7，用于放置拍摄用的手机或相机，手机袋7上有摄像孔，手机或相机透过摄像口对箱体1内部的果实进行拍摄，得到果实图像。

S2，对果实图像进行预处理，提取果实图像中果实的边缘线，得到果实对应的轮廓线图像。

其中，边缘线指的是果实的边缘所形成的密闭曲线，即果实的轮廓对应的曲线。

可选的，上述对果实图像进行预处理，提取果实图像中果实的边缘线，得到果实对应的轮廓线图像，包括：

S21，对果实图像进行灰度化处理，得到灰度化图像。

可选的，对果实图像进行灰度化处理，得到灰度化图像，包括：

根据果实图像，通过第一公式，确定灰度化图像，其中，第一公式为：

Gray(x,j)＝0.299*R(x,j)+0.587*G(x,j)+0.114*B(x,j)；

其中，Gray(x,j)表示灰度化图像，R(x,j)、G(x,j)和B(x,j)分别表示果实图像的红色分量、绿色分量和蓝色分量。对果实图像进行灰度化处理，便于后续对图像进行处理。

S22，对灰度化图像进行平滑处理，得到平滑图像。对灰度化图像进行平滑处理的目的是减少图像中的干扰信息，使得后续基于平滑图像提取的轮廓线图像更加准确的反映果实的轮廓。

可选的，上述对灰度化图像进行平滑处理，得到平滑图像，包括：

S221，将灰度图像区分为多个像素区域；

S222，对于每个像素区域，获取像素区域内每个像素点的像素值，并根据各个像素值和预设权重，确定加权平均值，将加权平均值替换像素区域内每个像素点的像素值，得到平滑图像。

S23，对平滑图像进行阈值分割处理，得到二值化图像。

可选的，上述对平滑图像进行阈值分割处理，得到二值化图像，包括：

S231，对平滑图像中每个像素的像素值作进行归一化处理；

S232，对于平滑图像中从0到255的每个像素值，将像素值作为当前像素值，将当前像素值对应的像素点作为第一像素点，将当前像素值之外的像素值对应的像素点作为第二像素点，计算第一像素点和各个第二像素点之间的方差值；

S233，将各个像素值对应的方差值中最大值对应的像素值作为目标阈值；

S234，根据平滑图像，通过第二公式，得到二值化图像，其中，第二公式为：

其中，g(x,y)表示二值化图像，f(x,y)表示平滑图像，t表示目标阈值。

S24，对二值化图像进行形态学处理，得到边界图像。其中，边界图像指的是图像中果实部分与非果实部分的交界处形成的图像。

可选的，上述对二值化图像进行形态学处理，得到边界图像，包括：

根据二值化图像，通过第三公式，确定边界图像，其中，第三公式为：

/>

其中，

S25，对边界图像进行边缘检测，得到轮廓线图像。

可选的，上述对边界图像进行边缘检测，得到轮廓线图像，包括：

S26，对边界图像进行消除噪音处理，得到去噪图像；

S27，获取去噪图像中的每个像素点的梯度方向，得到梯度图像；

S28，根据梯度图像，去除梯度图像中的非边缘点，确定边缘图像；

S29，对于边缘图像中的每个像素点，将像素值高于第一阈值或者低于第二阈值的像素点筛选出来，以得到轮廓线图像，其中，第一阈值大于第二阈值。

可选的，S29中，非边缘点指的像素值在第一阈值和第二阈值之间的像素点，其中，边缘点和非边缘点的确定是通过使用八领域算法，对梯度图像中每个像素点与周围的8个相邻像素点的像素值进行对比，从而将梯度图像中的每个像素点分为边缘点与非边缘点，八领域算法为现有技术，故不在此赘述。

可选的，S29中，第一阈值和第二阈值根据实际情况进行选择，本实施例中，可保证第一阈值和第二阈值的比值在2:1到3:1之间。

S3，根据预设的标准色卡，确定果实图像中果实的每度量像素，该标准色卡包括果实图像中的各个颜色和各个每度量像素之间的对应关系，对于每个每度量像素，每度量像素表征了每个给定的度量单位存在的像素数。

可选的，如图4所示，标准色卡中含有24个颜色，根据果实颜色来进行校正，已知标准色卡中每个色块的尺寸是1cm×1cm，每个色块代表一个颜色。

S4，获取轮廓线图像对应的轮廓线的像素宽度。

可选的，像素宽度指轮廓线内包含的像素点数量。

S5，根据每度量像素和像素宽度，确定果实对应的实际尺寸。

其中，实际尺寸指的是拍摄的果实图像中果实在现实环境中的真实尺寸，包括横径、纵径等与尺寸相关的参数。

可选的，上述根据每度量像素和像素宽度，确定果实对应的实际尺寸，包括：

根据每度量像素和像素宽度，通过第四公式，确定果实对应的实际尺寸，其中，第四公式为：

其中，know_width表示实际尺寸，object_width表示像素宽度，poxels_per_metric表示每度量像素。

S6，根据历史果实实际品质构建标准模型，对标准模型进行数据的吻合度验证，证明所得模型的标准性。再依据所建标准模型预测所述果实对应的单果重量或干物质含量，包括：

其中，干物质含量指的是果实在60℃--90℃的恒温下，充分干燥，余下的有机物的重量。

其中，本实施例中，可采用一元多次回归模型来对果实的尺寸与单果重量或干物质含量建立标准模型，预测所述果实对应的单果重量或干物质含量，单果重量或干物质含量各自对应了一元多次回归模型中不同的自适应参数不同。

可选的，根据实际尺寸和历史果实实际品质构建的标准模型，预测果实对应的单果重量或干物质含量，包括：

根据实际尺寸，通过第五公式和历史果实实际品质构建的标准模型，，预测果实对应的单果重量或干物质含量，其中，第五公式为：

y＝ρ

其中，x表示实际尺寸，y表示预测的果实对应的单果重量或干物质含量，ρ

可选的，为了验证本实施例中一元多次回归模型能够对果实的单果重量或干物质含量进行预测，通过如下实验进行证明：

以猕猴桃“1184”品种果实为例，我们检测了2019年果实生长周期，包括该品种发育期的单果重量、果实的横径、纵径和干物质含量等果实发育指标，如图6-图9所示，其中，图6-图9中，横坐标均表示果实开花后持续的天数(以下简称花后期)，图6纵坐标表示果实的横径，图7纵坐标表示果实的纵径，图8纵坐标表示单果重量，图9纵坐标表示干物质含量，为了验证果实的品质与果实各属性的关系(即花后期与单果重量、果实的横径、纵径和干物质含量的关系)，证明所得标准模型的可靠性，还根据真实采集到的“1184”品种果实的相关数据绘制了图10所示的热力图，其中，图10中delay表示花后期，transverse表示横径，longitudinal表示纵径，weight表示单果重量，dry matter content表示干物质质量。

根据图10可以看出，干物质含量、单果重量与花后期的相关性较强，且花后期和果实的横径与纵径之间的相关性同样较高，考虑到可能存在的多重共线性，因此干物质含量和单果重量的预测方法使用到了PCA法对花后期、果实横径、纵径等解释变量提取主成分以消除多重共线性的影响。使用PCA法从上述属性中可提取出三个主成分变量，按照信息保留率的大小进行排序并将其命名为第一主成分变量、第二主成分变量和第三主成分变量，主成分具体信息如表1所示：

表1

表1中显示，第一主成分变量的信息保留率高达99.93％，其余主成分保留的信息微乎其微，这意味着仅使用第一主成分变量(包含花后期、果实的横径和果实的纵径)也可以很好地替代上述猕猴桃属性进行果实品质的分析，本实例选择第一主成分变量进行后续建模实验。

具体的第一主成分变量值通过第六公式得到，其中花后期是按照将第一次采果时间(2019.4.29)记作0，晚于这个时间点N天再采果的猕猴桃，其delay属性记作N，第六公式为：

factor1＝9.993e-01*(delay-80.243)+2.769e-02*(Transverse-4.748)+2.393e-02*(Longitudinal-4.594)

其中，factor1表示第一主成分变量。

图11、图12是利用降维后得到的第一主成分变量进行一元三次回归模型拟合的结果，其中，图11-图12中横坐标表示第一主成分变量，图11纵坐标表示单果重量，图12纵坐标表示干物质含量，另外，图11-图12中训练值表示一元三次回归函数模型在训练时横坐标与纵坐标的关系，预测值表示一元三次回归函数模型训练完成后在实际使用时横坐标与纵坐标的关系，验证值表示猕猴桃真实采集到的横坐标与纵坐标的关系，由图11-图12可以看出，第一主成分变量中包含了花后期、果实的横径和果实的纵径，而随着横坐标值发生变化，纵坐标中训练值、预测值和验证值基本一致，因此，本实施例可以通过一元三次回归模型对果实的实际尺寸(果实的横径和果实的纵径)进行预测。

将采集到的猕猴桃的果实图像通过一元三次回归得到如下数学模型：

y＝-2.235e

y＝-1.697e

上式为第一主成分分别对单果重量、干物质含量作用的一元三次方程式。

通过一元三次回归模型得到表2所示的评估指标，具体如下：

表2

表2中，相关系数R表示单果重量或干物质含量(y)与果实的实际尺寸(x)之间的线性关系，决定系数R

为了解决测定猕猴桃生长期果实大小的问题，本实施例采用了线性建模的方法，利用椭球体的相比较的方式算出猕猴桃的理论尺寸，对实验组果实在花后70天、100天和150天成熟期理论尺寸与实际尺寸进行线性分析。具体的实验结果图15-图16所示，其中，图15-图16横坐标均表示理论尺寸，纵坐标均表示实际尺寸；1)当叶果比为0时，所得到的理论尺寸与实际尺寸的线性方程为y＝1.3692x-0.8753(R

S7，根据单果重量或干物质含量，对果实的品质进行检测。

本实施例中，通过一元多次回归模型中实际尺寸与单果重量或干物质含量的线性变化，能够预测得到果实的单果重量或干物质含量，再根据实际经验可以判断该果实在实际尺寸下应具备的单果重量或干物质含量情况，来检测果实的品质，例如猕猴桃的实际尺寸中横径为6-7cm。纵径为4-5cm，则单果重量一般为160g左右，干物质含量在14％-22％左右，而根据一元多次回归模型得到的单果重量如果为140g，则表明果实品质较低，或者干物质含量为8％，则也表明果实品质较低，若根据一元多次回归模型得到的单果重量如果为170g，则表明果实品质较高，或者干物质含量为24％，则也表明果实品质较高。

本发明实施例的一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的程序，所述处理器执行所述程序时实现上述一种基于果实图像的果实品质检测方法的部分或全部步骤。

其中，电子设备可以选用电脑，相对应地，其程序为电脑软件，且上述关于本发明的一种电子设备中的各参数和步骤，可参考上文中一种基于果实图像的果实品质检测方法的实施例中的各参数和步骤，在此不做赘述。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。