一种基于视觉特征的油料搅拌检测方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种基于视觉特征的油料搅拌检测方法。

背景技术

油料搅拌检测是指在生产中对油料混合的过程进行检测和控制的技术，油料搅拌的均匀程度直接影响产品的质量，是生产中油料搅拌的重要指标。可使用基于视觉的方法实现油料搅拌检测，通过摄像头对油料搅拌过程中的油料状态进行实时监控，判断油料搅拌是否均匀，油料内部是否出现悬浮物、异物，为搅拌的时间和频率提供参考。但是，油料中含有大量的香料，由于这些香料的密度较小，往往漂浮在油料表面，易被误判为油料不均匀的位置，对油料搅拌过程中的油料状态的监测产生影响。所以，需要一种可更加准确判断油料搅拌情况的检测方法。

发明内容

本发明提供一种基于视觉特征的油料搅拌检测方法，以解决现有的油料搅拌过程中的油料状态检测不准确的问题，所采用的技术方案具体如下：

本发明一个实施例提供了一种基于视觉特征的油料搅拌检测方法，该方法包括以下步骤：

获取油料图像，根据油料图像获取调料区域，获取调料区域内像素点的编号；

根据调料区域内像素点的编号确定每个有编号的像素点的相邻像素点，获取每个调料区域中每个编号的像素点对应的边界斜率特征值，根据调料区域中不同编号的像素点对应的边界斜率特征值，获取调料区域的区域分布同质性系数；

获取调料区域的中心和分割方向，进而获取第一直线，第一直线将调料区域分割为第一部分和第二部分，根据调料区域的第一部分和第二部分获取调料区域对应的区域分布异质性系数；

根据所有调料区域对应的区域分布同质性系数和区域分布异质性系数获取油料搅拌特征因子，根据油料搅拌特征因子获取特征因子序列，根据特征因子序列获取对油料搅拌检测的结果。

进一步，所述获取油料图像，根据油料图像获取调料区域，包括的具体方法为：

将相机获取的搅拌锅内油料图像记为油料图像，将油料图像转换为灰度图像，将获取的灰度图像记为油料灰度图像；

对油料灰度图像使用边缘检测算法，获取油料边缘图像；

对油料边缘图像进行连通域分析，获取多个连通域，将每个连通域记为一个调料区域。

进一步，所述获取调料区域内像素点的编号，包括的具体方法为：

选取调料区域的边缘上任意一像素点，将选取的像素点作为起始像素点，以顺时针为方向依次对调料区域边缘上的每个像素点进行编号，直至调料区域边缘上的所有像素点均有一个对应的编号，获取调料区域内每个像素点的编号。

进一步，所述根据调料区域内像素点的编号确定每个有编号的像素点的相邻像素点，包括的具体方法为：

将同一调料区域内每个像素点依次作为待分析像素点，将比待分析像素点的编号小一个数值的编号对应的像素点记为待分析像素点的相邻像素点。

进一步，所述获取每个调料区域中每个编号的像素点对应的边界斜率特征值，包括的具体方法为：

当待分析像素点与待分析像素点的相邻像素点的横坐标不同且待分析像素点的编号不为1时：

将待分析像素点的相邻像素点对应的纵坐标与待分析像素点对应的纵坐标的差值记为待分析像素点的纵坐标差值；

将待分析像素点的相邻像素点对应的横坐标与待分析像素点对应的横坐标的差值记为待分析像素点的横坐标差值；

将待分析像素点的纵坐标差值与横坐标差值的比值的绝对值记为待分析像素点的第一比值；

将以自然常数为底数，以待分析像素点的第一比值为指数的幂记为待分析像素点对应的边界斜率特征值；

当待分析像素点与待分析像素点的相邻像素点的横坐标相同或者待分析像素点的编号为1时：

将待分析像素点的边界斜率特征值赋值为第一预设阈值。

进一步，所述根据调料区域中不同编号的像素点对应的边界斜率特征值，获取调料区域的区域分布同质性系数，包括的具体方法为：

将调料区域中所有编号对应的像素点对应的边界斜率特征值的总体标准差记为第一标准差；

将第一标准差的倒数记为调料区域对应的区域分布同质性系数。

进一步，所述获取调料区域的中心和分割方向，进而获取第一直线，第一直线将调料区域分割为第一部分和第二部分，包括的具体方法为：

获取调料区域的几何质心，将调料区域的几何质心记为调料区域的中心；

获取调料区域延伸方向的垂直方向，将调料区域延伸方向的垂直方向记为调料区域的分割方向；

将过调料区域的中心，与调料区域的分割方向的方向相同的直线记为第一直线；

第一直线将调料区域分割为第一部分和第二部分。

进一步，所述根据调料区域的第一部分和第二部分获取调料区域对应的区域分布异质性系数，包括的具体方法为：

根据第一部分内包含的所有像素点到第一直线的欧式距离建立距离直方图，距离直方图的横轴为第一部分内包含的像素点到第一直线的欧式距离，纵轴为欧式距离出现的频次，组距为第三预设阈值；

将第一部分内包含的所有像素点到第一直线的欧式距离的最小值记为第一距离，将第一部分内包含的所有像素点到第一直线的欧式距离的最大值记为第二距离；

从第一距离开始，向第二距离方向，将距离直方图中横轴上的每组欧式距离在距离直方图中对应的频次依次排列为一组序列，将获取的序列记为第一部分对应的第一距离序列；

获取第二部分对应的第一距离序列，将第二部分对应的第一距离序列记为第二距离序列；

获取第一距离序列和第二距离序列之间的编辑距离；

将第一距离序列的长度和第二距离序列的长度的最大值记为第一最大值；

将第一距离序列和第二距离序列之间的编辑距离与第一最大值的比值记为区域分布异质性系数。

进一步，所述根据所有调料区域对应的区域分布同质性系数和区域分布异质性系数获取油料搅拌特征因子，包括的具体方法为：

将调料区域对应的区域分布同质性系数与区域分布异质性系数的比值记为调料区域对应的第二比值；

将油料图像中包含的所有调料区域对应的第二比值的均值记为油料图像对应的油料搅拌特征因子。

进一步，所述根据油料搅拌特征因子获取特征因子序列，根据特征因子序列获取对油料搅拌检测的结果，包括的具体方法为：

每间隔第一时间间隔常数，获取一次油料图像，按照油料图像获取的时间顺序，将油料图像对应的油料搅拌特征因子排列为特征因子序列；

对特征因子序列使用时间序列预测算法，获取下一间隔时间对应的油料搅拌特征因子的预测值；

根据下一间隔时间对应的油料搅拌特征因子，获取油料搅拌的混合搅拌锅的工艺参数的预估值；

当工艺参数值的预估值与当前时刻混合搅拌锅的对应工艺参数值的差值均小于等于第二预设阈值时，则认为油料搅拌过程中的油料状态未出现异常，否则，认为油料搅拌过程中的油料状态出现异常。

本发明的有益效果是：

本发明对油料搅拌过程中获取的油料图像中的调料区域进行分析，根据大料的边界信息规整的特征，对调料区域边缘的规则性进行评价，获取调料区域边缘每个像素点的边界斜率特征值，进而获取调料区域对应的区域分布同质性系数；其次，对调料区域内像素点分布的异质性特征进行评价，获取调料区域对应的区域分布异质性系数；然后，根据所有调料区域对应的区域分布同质性系数和区域分布异质性系数获取油料搅拌特征因子，得到油料搅拌过程中混合搅拌锅内搅拌情况的特征评价值，防止油料搅拌检测过程中油料表面的大料被误认为油料搅拌不充分的位置，根据油料搅拌特征因子获取特征因子序列，根据特征因子序列获取对油料搅拌检测的结果；在获取对油料搅拌检测的结果的过程中，深度分析油料中必然存在的大料的影响，解决油料中的大料被误认为搅拌不充分的位置而导致油料搅拌检测结果不准确的问题，提升油料搅拌过程中的油料状态检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的一种基于视觉特征的油料搅拌检测方法流程示意图；

图2为调料区域的分割方向示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的一种基于视觉特征的油料搅拌检测方法流程图，该方法包括以下步骤：

步骤S001、获取油料图像，根据油料图像获取调料区域，获取调料区域内像素点的编号。

需要对油料进行搅拌的场景众多，如面包、蛋糕和酱料制作等食品加工场景，本实施例选取火锅底料的制作这一油料搅拌的场景进行分析。

在火锅底料的生产中，需要在混合搅拌锅中放入大量牛油进行熬制，期间不断添加各种大料，如花椒、辣椒、八角、香叶等，并且还需要添加大量调味料，提升产品风味。在添加调味料时，容易在调味料表面形成凝固层，形成凝固的调味料团，如果不能将凝固的调味料团搅拌融化，容易造成火锅底料味道失衡，影响产品质量。为了便于区分，本方案中所述的大料指的是花椒、辣椒、八角、香叶、桂皮等固体块状调料。

在油料搅拌的混合搅拌锅上方安装高清的CCD相机。由于搅拌锅上方会存在大量油气，因此需要对相机镜头进行去油操作，通过对相机镜头加装UV滤镜，并在滤镜前施加额外的防油污保护涂层，以避免油气对成像质量的干扰。使用CCD相机实时获取搅拌锅内油料图像，将获取的图像记为油料图像，油料图像为RGB图像。将油料图像转换为灰度图像，将获取的灰度图像记为油料灰度图像。

在图像的获取时，不可避免会出现噪声的干扰，为了降低噪声对后续操作的影响，需要对油料灰度图像进行预处理。采用高斯滤波对油料灰度图像进行去噪，消除油料灰度图像中的随机噪声，实施者也可根据需要自行选取去噪算法。

对油料灰度图像使用Canny边缘检测算法，获取油料边缘图像，油料边缘图像为二值图像。对油料边缘图像进行闭运算，保证划分的物体边缘为闭合边缘。对油料边缘图像进行连通域分析，获取多个连通域。每个连通域即对应搅拌锅中一个调料区域，如一片香叶，一个凝固的调味料团，将每个连通域记为一个调料区域。其中，Canny边缘检测和连通域分析为公知技术，不再赘述。

分别对每个调料区域进行分析。取调料区域的边缘上任意一像素点，将选取的像素点作为起始像素点，以顺时针为方向依次对调料区域边缘上的每个像素点进行编号，直至调料区域边缘上的所有像素点均有一个对应的编号。

至此，获取调料区域以及调料区域内像素点的编号。

步骤S002、根据调料区域内像素点的编号确定每个有编号的像素点的相邻像素点，获取每个调料区域中每个编号的像素点对应的边界斜率特征值，根据调料区域中不同编号的像素点对应的边界斜率特征值，获取调料区域的区域分布同质性系数。

大料的边界信息是规整的，而凝固的调味料团的边界信息是无规则的，以此为基础分析调料区域的边界信息。

将同一调料区域内每个像素点依次作为待分析像素点，将比待分析像素点的编号小一个数值的编号对应的像素点记为待分析像素点的相邻像素点。

对每个调料区域内每个像素点的边界斜率特征值进行提取。

式中

当调料区域中有对应编号的像素点与其相邻像素点的横坐标不同且像素点的编号不为1时，则有对应编号的像素点可获取一个边界斜率特征值。

当有对应编号的像素点无法根据上述公式获取对应的边界斜率特征值时，则将对应编号的像素点的边界斜率特征值赋值为第一预设阈值。其中，第一预设阈值的经验值为0，实施者可根据需要自行设定。

至此，获取每个调料区域中每个编号的像素点对应的边界斜率特征值。

边界斜率特征值反映了调料区域中不同编号的像素点的斜率分布情况。当调料区域对应大料时，则同一调料区域内不同像素点对应的边界斜率特征值具有对称性，当调料区域对应凝固的调味料团时，则同一调料区域内不同像素点对应的边界斜率特征值杂乱无序。根据凝固的调味料团边缘的无序性，对每个调料区域边界信息的规则性进行分析。

将调料区域中所有编号对应的像素点对应的边界斜率特征值的总体标准差记为第一标准差，将第一标准差的倒数记为调料区域对应的区域分布同质性系数。

当调料区域对应大料时，则同一调料区域内不同像素点对应的边界斜率特征值具有对称性，调料区域中每个编号的像素点对应的边界斜率特征值一致性较强，即调料区域对应的区域分布同质性系数较大。

至此，获取每个调料区域对应的区域分布同质性系数。

步骤S003、获取调料区域的中心和分割方向，进而获取第一直线，第一直线将调料区域分割为第一部分和第二部分，根据调料区域的第一部分和第二部分获取调料区域对应的区域分布异质性系数。

对每个调料区域分别进行分析。

对调料区域使用加权几何平均法，获取调料区域的几何质心，将调料区域的几何质心记为调料区域的中心。

对调料区域使用PCA主成分分析，获取调料区域延伸方向的垂直方向，将调料区域延伸方向的垂直方向记为调料区域的分割方向。调料区域的分割方向示意图如图2所示。其中，PCA主成分分析为公知技术，不再赘述。

将过调料区域的中心，与调料区域的分割方向的方向相同的直线记为第一直线，第一直线将调料区域分割为第一部分和第二部分。由于对第一部分和第二部分的操作相同，所以，不另外对第一部分和第二部分进行区分。

根据第一部分内包含的所有像素点到第一直线的欧式距离建立距离直方图，距离直方图的横轴为第一部分内包含的像素点到第一直线的欧式距离，纵轴为欧式距离出现的频次，组距为第三预设阈值。其中，第三预设阈值的经验值为3。将第一部分内包含的所有像素点到第一直线的欧式距离的最小值记为第一距离，将第一部分内包含的所有像素点到第一直线的欧式距离的最大值记为第二距离。从第一距离开始，向第二距离方向，将距离直方图中横轴上的每组欧式距离在距离直方图中对应的频次依次排列为一组序列，将获取的序列记为第一部分对应的第一距离序列。

同理，获取第二部分对应的第一距离序列，为避免混淆，将第二部分对应的第一距离序列记为第二距离序列。

获取第一距离序列和第二距离序列之间的编辑距离。当两个序列越为相似时，则第一距离序列和第二距离序列之间的编辑距离越小，即第一部分和第二部分区域内像素点分布情况越为一致，调料区域内部的相似性越强。其中，获取两序列之间的编辑距离为公知技术，不再赘述。

获取调料区域对应的区域分布异质性系数。

式中，

调料区域对应的区域分布异质性系数反映了调料区域关于第一直线的分布异质性情况。当调料区域对应的第一距离序列和第二距离序列之间的编辑距离越大时，则调料区域对应的区域分布异质性系数越大，即调料区域内部关于第一直线的异质性特征越显著，调料区域对应的第一部分和第二部分关于第一直线的对称性特征越不明显，调料区域对应大料的置信度越低。

至此，获取每个调料区域对应的区域分布异质性系数。

步骤S004、根据所有调料区域对应的区域分布同质性系数和区域分布异质性系数获取油料搅拌特征因子，根据油料搅拌特征因子获取特征因子序列，根据特征因子序列获取对油料搅拌检测的结果。

获取油料搅拌特征因子。

式中，

调料区域对应的区域分布同质性系数反映了调料区域中包含的所有像素点对应的边界斜率特征值的一致性，调料区域对应的区域分布异质性系数反映了调料区域关于第一直线的分布异质性情况，当油料图像中包含的调料区域对应的区域分布同质性系数越大，区域分布异质性系数越小时，则油料图像对应的油料搅拌特征因子越大。

至此，获取油料图像对应的油料搅拌特征因子。

每间隔

将下一间隔时间对应的油料搅拌特征因子的预测值输入模糊PID控制器，获取油料搅拌的混合搅拌锅的工艺参数的预估值，将油料搅拌的混合搅拌锅的工艺参数调整为模糊PID控制器获取的工艺参数值的预估值，实现基于视觉特征对油料的搅拌控制。

当模糊PID控制器获取的工艺参数值的预估值与当前时刻混合搅拌锅的对应工艺参数值的差值均小于等于

至此，完成对油料搅拌的检测。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。