基于视觉检测的超声波清洗机反馈调节系统

技术领域

本发明涉及图像数据处理技术领域，具体涉及基于视觉检测的超声波清洗机反馈调节系统。

背景技术

超声波清洗机在对餐具进行清洗时，往往需要根据餐具等物品表面的污渍情况决定是否需要继续清洗，现有方法是通过神经网络检测图像中是否含有污渍，但神经网络受自身卷积核大小，即感受野的影响较大，感受野过大或过小均会影响神经网络的识别性能。基于此，本专利提出了一种基于视觉检测的超声波清洗机反馈调节系统，通过构建旋转不变链码，避免了餐具在清洗过程中位置，形态的变化，导致难以匹配，同时结合相邻帧变化得到污渍概率，进而决定是否继续清洗。

发明内容

本发明提供基于视觉检测的超声波清洗机反馈调节系统，以解决现有的问题。

本发明的基于视觉检测的超声波清洗机反馈调节系统采用如下技术方案：

本发明提供了基于视觉检测的超声波清洗机反馈调节系统，该系统包括以下模块：

图像数据采集模块：获取超声波清洗机的清洗仓内部图像，记为清洗图像；

图结构构建分析模块：将清洗图像中的连通域作为节点，将任意两个连通域质心之间的欧式距离作为对应边的边值，根据节点、边以及边值构建图结构；获取图结构中所有节点的若干个聚类结果，记为节点类别，获取任意节点类别对应图结构的邻接矩阵之间的相似度，根据相似度大小对节点类别进行划分，获得若干个组类别；

根据不同大小的窗口下，清洗图像中的极值点的极值性获得极值点的比较极值性；

旋转不变链码模块：根据比较极值性的大小获得保留点，根据保留点与清洗图像的中心点之间的距离获得保留点的保留度，根据相邻帧的清洗图像中保留度之间的数值大小，获得最终起始点，获取最终起始点所在的组类别中所有连通域的链码，将组类别中所有连通域链码连接后的链码记为旋转不变链码；

污渍概率模块：根据旋转不变链码之间的相似度获得污渍概率；

清洗机调节模块：根据污渍概率的大小对超声波清洗机进行反馈调节。

进一步的，所述组类别，获取方法如下：

首先，利用格里-纽曼算法对图结构进行聚类，获得若干个节点的聚类结果，将节点的聚类结果记为节点类别，任意节点类别含有若干个节点；

然后，格里-纽曼算法对图结构进行迭代聚类，在每个节点类别的数量发生变化时，获取每个节点类别对应图结构的邻接矩阵，获取两个邻接矩阵中，所有相同位置元素的平均比值，记为邻接矩阵的相似度，根据邻接矩阵的相似度对节点类别进行分组，将相似度大于预设相似度阈值的所有类别划分为一个组类别，同时保证得到的同一组类别中任意两个类别的相似度都大于预设相似度阈值，所有节点类别被划分后得到若干个组类别。

进一步的，所述比较极值性，获取方法如下：

首先，利用多个预设大小的窗口分别对清洗图像进行高斯滤波，获得对应的若干个滤波图像，并获取若干个滤波图像中的极值点以及极值点对应的极值性；

然后，将同一大小的窗口内所有极值点的极值性，按照从大到小的顺序排列，将对应大小的窗口内极值性大小排第二的极值性记为次极值性；

最后，任意极值点的比较极值性

其中，m表示对应大小的窗口内极值点的极值性，n表示对应大小的窗口内的次极值性，max()表示获取括号内的最大值。

进一步的，所述保留度，获取方法如下：

首先，将所有极值点中比较极值性最大的10个极值点进行保留，记为保留点；

然后，将清洗图像的中心点记为图像中心点，获取保留点与图像中心店之间的欧式距离；

最后，任意保留点的中心性s2的获取方法如下：

其中，d表示保留点与图像中心点之间的欧式距离，dmax表示所有保留点与图像中心点之间的最大欧式距离，e表示自然常数。

进一步的，所述最终起始点，获取方法如下：

首先，将最新获取的清洗图像记为当前帧清洗图像，将当前帧的上一帧清洗图像记为上一帧清洗图像，获取当前帧清洗图像和上一帧清洗图像中的所有保留点；

然后，将保留点的比较极值性s1与中心性s2的乘积，记为保留点的保留度，将保留度大于预设保留度阈值的像素点，记为候选起始点，获取当前帧清洗图像和上一帧清洗图像中的所有候选起始点；

最后，获取当前帧清洗图像中候选起始点，与上一帧清洗图像中的候选起始点的保留度大小相等的所有候选起始点，获得若干个等值起始点，将当前帧清洗图像内所有等值起始点中保留度最大的等值起始点，记为最终起始点。

进一步的，所述旋转不变链码，获取方法如下：

步骤（1），将最终起始点所在的连通域记为起始连通域，通过Dijkstra算法获取起始连通域的中心点，遍历起始连通域所在组类别中所有连通域的中心点，获得最短路径；

步骤（2），起始连通域的链码为：从最终起始点开始，以逆时针为方向，获得起始连通域的边缘对应的链码，记为起始链码；

步骤（3），在组类别中除起始连通域以外，以所有连通域的边缘上任意像素点为起始点，获得对应的链码，则每个连通域对应若干个链码，按照链码编码值在链码序列中的顺序，将一个链码序列转换成一个数值，记为链码值，则将任意连通域的所有链码值中，最小链码值所对应的链码作为对应连通域的链码；

步骤（4），根据最短路径的顺序，将任意组类别中所有连通域的链码首尾相连接，将连接后获得的链码记为组类别对应的旋转不变链码。

进一步的，所述污渍概率，获取方法如下：

首先，通过匈牙利算法对当前帧清洗图像和上一帧清洗图像中的组类别进行匹配，将当前帧清洗图像中的所有组类别的旋转不变链码作为左侧节点，将上一帧清洗图像中的所有组类别的旋转不变链码作为右侧节点，获取左侧节点和右侧节点之间的最优匹配关系，将最优匹配关系作为节点之间的边，则边的边值为对应旋转不变链码之间的余弦相似度；

然后，当前帧清洗图像的任意组类别对应区域的污渍概率P的获取方法为：

其中，s表示当前帧清洗图像的组类别，与上一帧清洗图像的组类别之间的最优匹配关系对应的余弦相似度；n1表示当前帧清洗图像的组类别所包含的连通域的数量；n2表示最优匹配关系下，上一帧清洗图像中所对应的组类别包含的连通域的数量；N表示当前帧清洗图像和上一帧清洗图像中所有组类别所包含连通域数量的总和；min()表示获取最小值；exp()表示以自然常数为底的指数函数。

进一步的，所述根据污渍概率的大小对超声波清洗机进行反馈调节，包括的具体步骤如下：

当污渍概率大于预设污渍概率阈值时，超声波清洗机继续进行清洗工作，直到检测到污渍概率小于预设污渍概率阈值，调节控制超声波清洗机停止清洗工作，并提示取出清洗完毕的餐具。

本发明的技术方案的有益效果是：通过对每次图聚类迭代过程中的组类别的相似度进行计算，得到了最终组类别，该组类别可以最大程度的表示被清洗物品自身的表面纹理图案，突出了纹理特性，有助于之后准确区分纹理和污渍；通过构建一个旋转不变的链码，避免了超声波清洗过程中餐具位置，形态的变化导致匹配准确性低的问题；通过相邻帧中污渍形状变化的特点，结合旋转不变链码，得到了不同组类别污渍概率，进而决定是否继续清洗，大大提高了检测精度，与对超声波清洗机进行反馈调节的智能化程度；与传统图像方法采用sift匹配来对上下帧进行匹配计算相比，避免了sift算子庞大的计算量，同时sift算子的多尺度在该场景下难以起到较大作用，因此通过构建旋转不变链码使得上下帧中的区域容易得到较高精度的匹配，对于当前超声波清洗场景更加适应，获得更高精度的检测效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于视觉检测的超声波清洗机反馈调节系统的模块流程图；

图2为餐盘表面的纹理图案示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于视觉检测的超声波清洗机反馈调节系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于视觉检测的超声波清洗机反馈调节系统的具体方案。

请参阅图1，其示出了本发明一个实施例提供的基于视觉检测的超声波清洗机反馈调节系统的模块流程图，该系统包括以下模块：

图像数据采集模块：在超声波清洗机在清洗餐具时，利用图像采集卡获取超声波清洗机中清洗餐具的清洗室内部图像，记为清洗图像。

图结构构建分析模块：获取清洗图像中的连通域，并利用图聚类方法获得若干个类别，利用各类别的相似度进行分组，获得组类别。

步骤（1），获取清洗图像中的边缘以及连通域，利用图聚类方法，获得若干个类别，获取各类别之间的相似度，根据相似度进行分组获得多个组类别。

由于超声波清洗机在对物品进行清洗时，为了更高效地清洗，需要对物品的污渍区域着重进行清洗，直到不存在污渍停止清洗，而实际中某些物品表面上自身的纹理图案，会被识别为污渍，因此需要将实际的污渍部分和物品表面上的纹理图案区分开来。

对于物体表面的纹理图案来说，属于物品本身，不会被清洗掉，而物体表面的污渍在清洗过程中，污渍的表面形状是在变化的。

为了将污渍和纹理图案区分开，需要将物体表面的纹理信息检测出来，如图2所示为餐盘表面的纹理图案示意图，由于通常情况下餐盘上的纹理图案都是重复的，单个连通域之间的相似度可能较小，但是多个连通域形成的组合之间的相似度会较大；

因此，本实施例通过对清洗图像中的连通域，利用图聚类的方法，获得对应的若干个组类别；另外，由于污渍形状的随机性较大，当组类别之间的相似度越大，且组类别中连通域的数量越多时，对应的组类别越可能是餐盘表面上的自身纹理图案。

所述组类别的获取方法为：

首先，通过分水岭算法得到清洗图像上的边缘信息，然后通过连通域检测，获得若干个连通域，将每个连通域作为节点，将任意两个连通域的质心之间的欧式距离作为边值，根据节点、边以及边值构建图结构；

然后，利用格里-纽曼算法对图结构中的节点进行聚类，获得若干个聚类结果，将聚类结果记为组类别；

需要说明的是，任意组类别中包含若干个连通域；

如图2所示，餐盘的印花区域中，相邻的单个印花所对应的连通域之间，相似度较小，但多个印花形成一个组合后，会使得不同区域的相似度非常大。

所述组类别的具体获取方法为：

首先，利用格里-纽曼算法对图结构进行聚类时，格里-纽曼算法是根据所有边所对应的边介数，多次迭代删除图结构中节点之间的边，获得若干个节点的聚类结果，将节点的聚类结果记为节点类别，任意节点类别含有若干个节点；

然后，格里-纽曼算法对图结构进行聚类时，是迭代聚类的，每一次迭代会使得节点类别的数量发生变化，则在每个节点类别的数量发生变化时，获取每个节点类别对应图结构的邻接矩阵，根据邻接矩阵的相似度对节点类别进行分组，将相似度大于预设相似度阈值的所有类别划分为一个组类别，同时保证得到的同一组类别中任意两个类别的相似度都大于预设相似度阈值，所有节点类别被划分后得到若干个组类别。

需要说明的是，邻接矩阵的相似度获取方法为：获取两个邻接矩阵中，所有相同位置元素的平均比值，记为邻接矩阵的相似度；

需要说明的是，根据经验预设相似度阈值为0.7，可根据情况进行调节；

通过计算可以得到每次类别数量发生变化时，对应的组类别，每次对应多个组类别，计算每个组类别内任意两个类别的邻接矩阵的相似度，将相似度均值作为该组类别的相似度，然后将所有组类别的相似度均值作为该次对应的相似度，将最大相似度值对应的类别数量变化对应的组类别情况作为最终组类别情况。

需要说明的是，组类别中节点类别的数量越少，越可能是污渍区域。

步骤（2），利用链码编码获取每个组类别对应的旋转不变链码，结合相邻帧变化获取每个组类别，获得每个组类别的污渍概率。

在超声波清洗过程中，为了让表面得到均匀的清洗，超声波清洗机通常会使用自动旋转或摆动装置，使被清洗物品在溶液中不断变换位置，在整个物品表面形成均匀、高强度的清洗效果，提高清洗效率和质量。

因此在通过相邻帧变化来区分纹理和污渍时，需要计算上一帧和下一帧清洗图像之间互相匹配的区域，由于物品位置变化会导致纹理区域的变化，为了降低误差，通过对每个组类别构建一个旋转不变的链码进而可以得到相互匹配的区域，而污渍区域由于在清洗过程中会发生变化，因此匹配度降低的大概率是污渍位置。

需要说明的是，旋转不变的链码常用的构建方法是：首先确定一个起点，然后根据其它点与起点之间的相对位置关系进行构建，则起点的选择关系到获得的链码是否在不同帧视频中都能进行完好的构建。

需要说明的是，获取链码的起点有两个要求，一个是在不同视角下的明显程度较大，不同帧图像中可以较为容易定位得到该点，另一个是靠近中心位置，因为越靠近中心位置，摄像机在对该区域进行拍照时，越不容易虚焦或者说即使虚焦，该点受到的影响较小。

采用从小到大的窗口，即窗口大小分别为3*3、5*5、…、11*11，分别用不同大小的窗口对清洗图像进行高斯滤波，获得对应的若干个滤波图像，根据像素点的极值性获取每个滤波图像上极值点的比较极值性，所述比较像素极值性即该点的值与次极值相比的极值性，记为极值点的比较极值性；

将同一大小的窗口内，所有极值点的极值性，按照从大到小的顺序排列，将对应大小的窗口内极值性大小排第二的极值性记为次极值性；

任意极值点的比较极值性

其中，m表示对应大小的窗口内极值点的极值性，n表示对应大小的窗口内的次极值性，max()表示获取括号内的最大值；

比较极值性是根据像素点的极值性获取，取决于窗口内次极值性和像素点的极值性之间的数值大小，将最大的极值性作为该窗口内对应点的极值性。例如：根据极大值计算得到的极值性比根据极小值计算得到的极值性大，则将极大值对应的极值性作为该窗口内的极值性，将极大值对应像素点作为该区域内的极值点。

旋转不变链码模块：根据所有极值点的极值性以及与图像的中心点之间的位置关系，获得保留点以及对应的保留度，根据相邻帧的清洗图像中保留点的保留度之间的对应关系，获得最终起始点，根据最终起始点获得各组类别对应的旋转不变链码。

首先，将所有极值点中比较极值性最大的10个极值点进行保留，记为保留点，获取保留点的中心性，即反映了保留点与清洗图像的中心点之间的距离，将清洗图像的中心点记为图像中心点；

则所述任意保留点的中心性s2的获取方法如下：

其中，d表示保留点与图像中心点之间的欧式距离，dmax表示所有保留点与图像中心点之间的最大欧式距离，e表示自然常数；

需要说明的是，任意保留点的中心性的获取方法中，利用dmax对d进行归一化是为了防止获得的中心性s2的数值均过小。

然后，将每个保留点的比较极值性s1与中心性s2的乘积，记为对应保留点的保留度，将保留度大于预设保留度阈值的像素点，记为候选起始点；

需要说明的是，根据经验预设保留度阈值为0.7，可根据情况进行调整。

另外，在对超声波清洗机的清洗过程进行实时监测时，得到连续帧的清洗图像，本实施例将最新获取的清洗图像记为当前帧清洗图像，将当前帧的上一帧清洗图像记为上一帧清洗图像，则通过上述中保留度的获取方法，获取当前帧清洗图像和上一帧清洗图像中所有保留点的保留度，并根据所有保留点的保留度的大小，获取当前帧清洗图像和上一帧清洗图像中的所有候选起始点；

最后，获取当前帧清洗图像中候选起始点，与上一帧清洗图像中的候选起始点的保留度大小相等的所有候选起始点，获得若干个等值起始点，将当前帧清洗图像内所有等值起始点中保留度最大的等值起始点，记为最终起始点；

将最终起始点所在的连通域记为起始连通域，通过Dijkstra算法获取起始连通域的中心点，遍历起始连通域所在组类别中所有连通域的中心点的最短路径，则起始连通域的链码为：从最终起始点开始，以逆时针为方向，获得起始连通域的边缘对应的链码，记为起始链码，同时在组类别中除起始连通域以外，以所有连通域的边缘上任意像素点为起始点，获得对应的链码，则每个连通域对应若干个链码，按照链码编码值在链码序列中的顺序，将链码序列转换成一个数值，记为链码值，则将任意连通域的所有链码值中的最小链码值，所对应的链码作为对应连通域的链码，并根据最短路径的顺序，将所有组类别中所有连通域的链码首尾相连接，将连接后获得的链码记为组类别对应的旋转不变链码。

污渍概率模块：根据相邻帧的清洗图像之间各组类别的旋转不变链码之间的余弦相似度，获得组类别对应区域的污渍概率。

通过计算，每个组类别得到了一个旋转不变链码，通过相邻帧中链码的匹配，就可以得到对应区域，对应区域的匹配率高的，大概率是本身纹理，匹配率低的，大概率是污渍区域。

具体的匹配方法为：通过匈牙利算法对当前帧清洗图像和上一帧清洗图像中的组类别进行匹配，将当前帧清洗图像中的所有组类别的旋转不变链码作为左侧节点，将上一帧清洗图像中的所有组类别的旋转不变链码作为右侧节点，获取两侧节点的最优匹配关系，将最优匹配关系作为节点之间的边，则边的边值为对应旋转不变链码之间的余弦相似度。

获得当前帧清洗图像的组类别，与上一帧清洗图像的组类别之间的最优匹配关系后，则当前帧清洗图像的任意组类别对应区域的污渍概率的获取方法为：

其中，s表示当前帧清洗图像的组类别，与上一帧清洗图像的组类别之间的最优匹配关系对应的余弦相似度；n1表示当前帧清洗图像的组类别所包含的连通域的数量；n2表示最优匹配关系下，上一帧清洗图像中所对应的组类别包含的连通域的数量；N表示当前帧清洗图像和上一帧清洗图像中所有组类别所包含连通域数量的总和；min()表示获取最小值；exp()表示以自然常数为底的指数函数。

需要说明的是，余弦相似度与污渍概率成反比，余弦相似度越小，污渍概率越大，因此利用1减余弦相似度表示反比例关系；n1和n2是指最优匹配关系中对应组类别各自包含的连通域数量，数量越少，污渍概率越大，N表示当前帧清洗图像和上一帧清洗图像中的所有组类别连通域数量和，目的是为了对分子进行归一化；另外，由于分母表示两帧，为了使得实际值不至于过小，导致数据失真，故引入常数2；比值

清洗机调节模块：根据污渍概率对超声波清洗机进行反馈调节。

根据每个组类别所对应区域的污渍概率的大小，对超声波清洗机进行调节，具体调节方法为：

当污渍概率大于预设污渍概率阈值时，超声波清洗机继续进行清洗工作，直到检测到污渍概率小于预设污渍概率阈值，调节控制超声波清洗机停止清洗工作，并提示取出清洗完毕的餐具。

需要说明的是，本实施例中所用的exp(-x)模型仅用于表示负相关关系和约束模型输出的结果处于

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。