基于轮廓位置索引的物料图像定位方法及装置
文献发布时间:2023-06-19 19:30:30
技术领域
本申请涉及图像识别领域,特别涉及一种基于轮廓位置索引的物料图像定位方法及装置。
背景技术
在轴承行业的生产过程中,存在大量的物料计数和识别应用,尤其对数量、品种、规格繁多的物料滚动体,无论是生产过程中的流动控制,还是入库验收,库存盘点,定量包装等诸多方面都离不开高效合理的物料定位与物料识别。
物料在产线上运动过程中,已有的视觉检测技术常用的手段通过斑点定位等方法识别出物体的几何中心和大概角度,存在精度差、容易误判等问题,而常用的模板匹配方式虽然精度可以满足要求,但搜索速度慢,不能满足生产节拍要求很快的场合。
因此,现有物料图像定位方法,存在识别过程精度低、速度慢的问题。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供的方案能够解决传送物料中,识别物料图像效率低和速度慢的问题。
一方面本申请提供一种基于轮廓位置索引的物料图像定位方法,包括:
识别样本物料图像的样本轮廓点,并计算样本轮廓点的样本轮廓索引数组;
识别待检测图像中待检测物料图像的待检测轮廓点,并计算待检测轮廓点的待检测轮廓索引数组;
根据第一预设像素步距,对比样本轮廓索引数组和待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点;
根据第二预设像素步距,在候选待检测轮廓点的预设像素范围内,对比样本轮廓索引数组和待检测轮廓索引数组,查找候选轮廓点中符合预设相似度阈值的目标轮廓点,其中,第二预设像素步距的长度小于第一预设像素步距的长度;
根据目标轮廓点的坐标,确定待检测物料在待检测图像中的位置信息。
可选地,识别样本物料图像的样本轮廓点,包括:
计算样本物料图像的横向梯度和样本物料图像的纵向梯度,并将样本物料图像的横向梯度和样本物料图像的纵向梯度图像合并;
对合并后的样本物料图像进行二值化处理,识别二值化处理后的样本物料图像的图像轮廓,得到样本物料图像的样本轮廓点。
可选地,样本轮廓索引数组包括样本轮廓点的二维坐标和样本轮廓点对应的索引号,样本轮廓点对应的索引号用于表示样本轮廓点在样本物料图像中的位置,计算样本轮廓点的样本轮廓索引数组,包括:
根据样本轮廓点在样本物料图像中的二维坐标,按照预设索引方向设置位置索引号,位置索引号为一维数组;
基于样本轮廓点的二维坐标和样本轮廓点的位置索引号,得到样本轮廓索引数组。
可选地,识别待检测图像中待检测物料图像的待检测轮廓点,包括:
计算待检测物料图像的横向梯度和待检测物料图像的纵向梯度,并将待检测物料图像的横向梯度和待检测物料图像的纵向梯度合并;
对合并后的待检测物料图像进行二值化处理,识别二值化处理后的待检测物料图像的图像轮廓,得到待检测物料图像的待检测轮廓点。
可选地,待检测轮廓索引数组包括待检测轮廓点的二维坐标和待检测轮廓点对应的索引号,待检测轮廓点对应的索引号用于表示待检测轮廓点在待检测图像中的位置,计算待检测轮廓点的待检测轮廓索引数组,包括:
根据待检测轮廓点的二维坐标和预设索引方向,获取待检测图像的位置索引号;
根据位置索引号和待检测轮廓点的二维坐标,生成待检测轮廓索引数组。
可选地,根据第一预设像素步距,对比样本轮廓索引数组和待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点,包括:
获取预设偏移角度集合,从预设偏移角度集合中选取偏移角度;
根据偏移角度和第一预设像素步距偏移样本轮廓索引数组,并将样本轮廓索引数组和待检测轮廓索引数组进行对比;
根据对比结果,绘制样本轮廓索引数组和待检测轮廓索引数组的第一热力图;
遍历预设偏移角度集合,得到待检测轮廓索引数组的第一热力图集合,从中选出相似度最高的第一热力图;
从相似度最高的第一热力图中,选取满足预设相似度阈值的点作为候选轮廓点。
可选地,根据对比结果,绘制样本轮廓索引数组和待检测轮廓索引数组的第一热力图,包括:
根据待检测轮索引数组中的轮廓点和样本轮廓索引数组的轮廓点的相似度,确定轮廓点对应的像素属性;
其中,轮廓点对应的像素属性包括根据轮廓点的相似度确定轮廓点的灰度值;
根据待检测轮廓索引数组的轮廓点对应的像素属性,生成第一热力图。
可选地,根据第二预设像素步距,在候选待检测轮廓点的预设像素范围内,对比样本轮廓索引数组和待检测轮廓索引数组,查找候选轮廓点中符合预设相似度阈值的目标轮廓点,其中,第二预设像素步距的长度小于第一预设像素步距的长度,包括:
获取预设偏移角度集合,从预设偏移角度集合中选取偏移角度;
在候选待检测轮廓点的预设像素范围内,根据偏移角度和第一预设像素步距偏移样本轮廓索引数组,并将样本轮廓索引数组和待检测轮廓索引数组进行对比;
根据对比结果,绘制样本轮廓索引数组和待见轮廓索引数组的第二热力图;
遍历预设偏移角度集合,得到待检测轮廓索引数组的第二热力图集合,从中选出相似度最高的第二热力图;
从相似度最高的第二热力图中,选取满足预设相似度阈值的点作为目标轮廓点。
本申请第二方面提供一种基于轮廓位置索引的物料图像定位装置,包括:
第一识别单元,用于识别样本物料图像的样本轮廓点,并计算样本轮廓点的样本轮廓索引数组;
第二识别单元,用于识别待检测图像中待检测物料图像的待检测轮廓点,并计算待检测轮廓点的待检测轮廓索引数组;
第一索引单元,用于根据第一预设像素步距,对比样本轮廓索引数组和待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点;
第二索引单元,用于根据第二预设像素步距,在候选待检测轮廓点的预设像素范围内,对比样本轮廓索引数组和待检测轮廓索引数组,查找候选轮廓点中符合预设相似度阈值的目标轮廓点,其中,第二预设像素步距的长度小于第一预设像素步距的长度;
确定单元,用于根据目标轮廓点的坐标,确定待检测物料在待检测图像中的位置信息。
本申请第二方面提供一种基于轮廓位置索引的物料图像定位装置,可选地,包括:
检测模块,用于识别传送带图像的感兴趣区域,提取待检测图像;
第一提取模块,用于对待检测图像进行预处理,根据物料形态特征对预处理后的待检测图像提取物料轮廓,得到第一物料图像;
第二提取模块,用于确定第一物料图像和背景像素的粘连比例,根据粘连比例、预设粘连阈值及预设尺寸核滤波器,对第一物料图像提取物料轮廓,得到第二物料图像;
第三提取模块,用于矫正第二物料图像,根据预设特征峰值筛选矫正后的第二物料图像,以获取目标物料轮廓,根据目标物料轮廓确定物料数量。
本申请第三方面提供一种电子设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如上的方法。
本申请第四方面提供一种计算机可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上的方法。
本申请提供的技术方案可以包括以下有益效果:
第一方面,本申请通过识别样本物料图像的样本轮廓点,计算样本轮廓点的样本轮廓索引数组;识别待检测图像中待检测物料图像的待检测轮廓点,并计算待检测轮廓点的待检测轮廓索引数组;通过将样本物料图像简化为索引数组,然后按照一定步距对样本轮廓索引数组进行多次选择转换得到一组多角度样本索引数组,再将多角度索引数组和待检测轮廓索引数组进行比较,从而提高了查找待检测点的准确率,实现物体定位识别高速度、高精度性、高实时性检测。
第二方面,本申请分两次检索,根据第一预设像素步距,对比样本轮廓索引数组和待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点;根据第二预设像素步距,在候选待检测轮廓点的预设像素范围内,对比样本轮廓索引数组和待检测轮廓索引数组,查找候选轮廓点中符合预设相似度阈值的目标轮廓点,其中,第二预设像素步距的长度小于第一预设像素步距的长度;根据目标轮廓点的坐标,确定待检测物料在待检测图像中的位置信息,通过多次检索逐步缩小检索范围,从而克服传统检测图像的精度低的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请实施例示出的基于轮廓位置索引的物料图像定位方法的流程示意图;
图2是本申请实施例示出的基于轮廓位置索引的物料图像定位装置的结构示意图;
图3是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在轴承行业的生产过程中,存在大量的物料计数和识别应用,尤其对数量、品种、规格繁多的物料滚动体,无论是生产过程中的流动控制,还是入库验收,库存盘点,定量包装等诸多方面都离不开高效合理的物料定位与物料识别。
物料在产线上运动过程中,已有的视觉检测技术常用的手段通过斑点定位等方法识别出物体的几何中心和大概角度,存在精度差、容易误判等问题,而常用的模板匹配方式虽然精度可以满足要求,但搜索速度慢,不能满足生产节拍要求很快的场合。已有的视觉检测技术常用的手段通过斑点定位等方法识别出物体的几何中心和大概角度,存在精度差、容易误判等问题,而常用的模板匹配方式虽然精度可以满足要求,但搜索速度慢,不能满足生产节拍要求很快的场合。
因此,现有物料图像定位方法,存在识别过程精度低、速度慢的问题。
针对上述的问题,目前尚未提出有效的解决方案。
本申请提供一种基于轮廓位置索引的物料图像定位方法,能够有效提高在物料传输过程中,对物料进行准确定位的方法,该方法与链板传输设备相结合,机械运动结合相机与打光配合,识别链板一定范围区域内的所有物料子,然后开始对物料图像进行处理后,进行计数。
该方法的应用场景包括:工控机电脑启动,系统上电后,启动设备软件并登录,软件启动机器视觉模块等待PLC信号触发检测信号,启动PLC运动控制模块,上料机开始将料输送到链板上,已经启动的工业相机和光源对物料进行实时拍摄和图像处理,根据本申请提供的基于轮廓位置索引的物料图像定位方法进行定位,然后将结果存储到数据库。
需要说明的是,本申请中的物料可以是滚子,例如圆柱滚子,但不限于圆柱滚子,还可以是其他形状的滚子。
图1是本申请实施例示出的基于轮廓位置索引的物料图像定位方法的流程示意图。该方法包括:
步骤S101,识别样本物料图像的样本轮廓点,并计算样本轮廓点的样本轮廓索引数组。
本实施例中的样本物料图像是采用平面相机拍摄的图片,因此需要对平面相机采集的样本图片进行检测和预处理以获取样本物料图像。
在一种实施例中,识别样本物料图像的样本轮廓点,包括:计算样本物料图像的横向梯度和样本物料图像的纵向梯度,并将样本物料图像的横向梯度图像和样本物料图像的纵向梯度图像合并;对合并后的样本物料图像进行二值化处理,识别二值化处理后的样本物料图像的图像轮廓,得到样本物料图像的样本轮廓点。
具体地,对于输入的图像函数
公式(1);
对于输入的图像函数
公式(2);
将样本物料图像的横向梯度和样本图像纵向梯度合并为得到合并后的图像G的计算公式如公式3所示,公式3将图像的每一个像素的横向梯度及纵向梯度进行结合,来计算图像像素的梯度的大小。
公式(3);
再对合并后的图像G二值化得到二值化图像
公式(4);
图像的二值化处理就是将图像上的点的灰度置为0或255,也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。图像的集合性质只与像素值为0或255的点的位置有关,不再涉及像素的多级值,使处理变得简单,而且数据的处理和压缩量小。为了得到理想的二值图像,一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体,其灰度值为255表示,否则这些像素点被排除在物体区域以外,灰度值为0,表示背景或者例外的物体区域。如果某特定物体在内部有均匀一致的灰度值,并且其处在一个具有其他等级灰度值的均匀背景下,使用阈值法就可以得到比较的分割效果。如果物体同背景的差别表现不在灰度值上(比如纹理不同),可以将这个差别特征转换为灰度的差别,然后利用阈值选取技术来分割该图像。动态调节阈值实现图像的二值化可动态观察其分割图像的具体结果。
在一种实施例中,样本轮廓索引数组包括样本轮廓点的二维坐标和样本轮廓点对应的索引号,样本轮廓点对应的索引号用于表示样本轮廓点在样本物料图像中的位置,计算样本轮廓点的样本轮廓索引数组,包括:根据样本轮廓点在样本物料图像中的二维坐标,按照预设索引方向设置位置索引号,位置索引号为一维数组;基于样本轮廓点的二维坐标和样本轮廓点的位置索引号,得到样本轮廓索引数组。
在本实施例中,为了方便查找轮廓点,可以按照逆时针方向,或根据样本物料图像的像素点的排列顺序,对轮廓点的索引号进行赋值,以方便后续根据位置索引即可寻找到对应的轮廓点。
具体地,样本轮廓索引数组包括样本轮廓点的二维坐标和样本轮廓点对应的索引号,样本轮廓点对应的索引号用于表示样本轮廓点在样本物料图像中的位置,计算样本轮廓点的样本轮廓索引数组,包括:根据样本轮廓点在样本物料图像中的二维坐标,按照预设索引方向设置位置索引号,索引号为一维数组;基于样本轮廓点的二维坐标和样本轮廓点的位置索引号,得到样本轮廓索引数组。具体地,在一维索引数组中添加轮廓点索引,可以采用公式5表示,其中
公式5;
步骤S102,识别待检测图像中待检测物料图像的待检测轮廓点,并计算待检测轮廓点的待检测轮廓索引数组。
在一种实施例中,识别待检测图像中待检测物料图像的待检测轮廓点,包括:计算待检测物料图像的横向梯度和待检测物料图像纵向梯度,并将待检测物料图像横向梯度和待检测物料图像纵向梯度图像合并;对合并后的待检测物料图像进行二值化处理,识别二值化处理后的待检测物料图像的图像轮廓,得到待检测物料图像的待检测轮廓点。
在本实施例中采用计算待检测图像的横向梯度图像和纵向梯度图像,主要是对待检测图像进行图像增强处理。横向梯度图像和纵向梯度图像放大不同的细节,从而使得合并后的图像的轮廓特征更为明显。二值化处理,使得物料边缘灰度值偏低,进而使得背景和物料连通域区分开。图像的二值化处理就是将图像上的点的灰度置为0或255,也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像。图像的集合性质只与像素值为0或255的点的位置有关,不再涉及像素的多级值,使处理变得简单,而且数据的处理和压缩量小。为了得到理想的二值图像,一般采用封闭、连通的边界定义不交叠的区域。所有灰度大于或等于阈值的像素被判定为属于特定物体,其灰度值为255表示,否则这些像素点被排除在物体区域以外,灰度值为0,表示背景或者例外的物体区域。如果某特定物体在内部有均匀一致的灰度值,并且其处在一个具有其他等级灰度值的均匀背景下,使用阈值法就可以得到比较的分割效果。如果物体同背景的差别表现不在灰度值上(比如纹理不同),可以将这个差别特征转换为灰度的差别,然后利用阈值选取技术来分割该图像。动态调节阈值实现图像的二值化可动态观察其分割图像的具体结果。
具体地,输入待检测图像的图像函数,分别计算出待检测图像横梯度(如上文公式1所示)和待检测图像纵向梯度(如上文公式2所示),合并待检测图像横向梯度和待检测图像纵向梯度为G(如上文公式3所示),再对其二值化得到处理好的图像(如上文公式4所示),其中h为预设定的边缘阈值。
在一种实施例中,待检测轮廓索引数组包括待检测轮廓点的二维坐标和待检测轮廓点对应的索引号,待检测轮廓点对应的索引号用于表示待检测轮廓点在待检测图像中的位置,计算待检测轮廓点的待检测轮廓索引数组,包括:根据待检测轮廓点的二维坐标和预设索引方向,获取待检测图像的位置索引号;根据位置索引号和待检测轮廓点的二维坐标,生成待检测轮廓索引数组。
在本实施例中,为了方便查找轮廓点,可以按照逆时针方向,或根据样本物料图像的像素点的排列顺序,对轮廓点的索引号进行赋值,以方便后续根据位置索引即可寻找到对应的轮廓点。为了保障索引的准确性,待检测轮廓索引的位置索引方向应与样本索引数组一致。
步骤S103,根据第一预设像素步距,对比样本轮廓索引数组和待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点。
在本实施例中,在检测过程中,先对待检测图片使用梯度算子获取边缘线条像素坐标,通过地址索引转换成一维索引数组,按一定步距进行偏置,再与样本数据进行重叠统计,并将统计结果绘制成重叠比例热力图,主要处理如下。
在一种实施例中,根据第一预设像素步距,对比样本轮廓索引数组和待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点,包括:获取预设偏移角度集合,从预设偏移角度集合中选取偏移角度;根据偏移角度和第一预设像素步距偏移样本轮廓索引数组,并将样本轮廓索引数组和待检测轮廓索引数组进行对比;根据对比结果,绘制样本轮廓索引数组和待检测轮廓索引数组的第一热力图;遍历预设偏移角度集合,得到待检测轮廓索引数组的第一热力图集合,从中选出相似度最高的第一热力图;从相似度最高的第一热力图中,满足预设相似度阈值的点为候选轮廓点。
在本实施例中,预设偏移角度合集包括先选定X轴角度,然后按照一定间隔角度,生成预设偏移角度集合。其中,每次选取预设偏移角度后,都将偏移后的样本轮廓索引数组和待检测索引数组进行对比,生成样本轮廓索引数组和待检测索引数组中每个像素点的相似度,并根据相似度生成此次偏移过程中,根据对比结果生成的热力图。也就是说,每次选取一个预设偏移角度进行对比,都生成一张热力图。
在一种实施例中,根据对比结果,绘制样本轮廓索引数组和待检测轮廓索引数组的热力图,包括:根据待检测轮索引数组中的轮廓点和样本轮廓索引数组的轮廓点的相似度,确定轮廓点对应的像素属性;其中,轮廓点对应的像素属性包括根据轮廓点的相似度确定轮廓点的灰度值;根据待检测轮廓索引数组的轮廓点对应的像素属性,生成热力图。
在本实施例中,采用公式(6)表示待检测轮廓索引数组的相似度,公式(6)中,待检测轮廓索引数组M偏置k步距b后与样本数组进行与运算后除以样本长度
公式(6);
在本实施例中,在选取相同预设偏移角度的对比过程中,对于待检测轮廓索引数组中的像素点根据对比结果生成热力图,其中,可以设置预设相似度阈值,如公式(7)所示,对于超过预设相似度阈值的像素点,赋予对应像素属性(在本实施例中为赋予灰度值255),对于不符合预设相似度阈值的相似点,则给予空白处理。
公式(7);
绘制相似度热力图S,其中,其中j为预设定的相似度阈值,将大于相似度阈值的图像赋予灰度值255。
在本实施例中,对热力图进行筛选,指定相似度阈值,筛选后的有效像素坐标为目标粗定位位置,也可以说,选取灰度值面积最大的热力图为相似度最高的热力图,也就是候选相似点最多的热力图。
在一种实施例中,还需对相似点最多的热力图进行判断,若相似点最多的热力图不满足预设要求,则判断待检测图像中无待检测物料图像。
步骤S104,根据第二预设像素步距,在候选待检测轮廓点的预设像素范围内,对比样本轮廓索引数组和待检测轮廓索引数组,查找候选轮廓点中符合预设相似度阈值的目标轮廓点,其中,第二预设像素步距的长度小于第一预设像素步距的长度。
本实施例中,使用更小的步距将候选待检测轮廓点
在一种实施例中,根据第二预设像素步距,在候选待检测轮廓点的预设像素范围内,对比样本轮廓索引数组和待检测轮廓索引数组,查找候选轮廓点中符合预设相似度阈值的目标轮廓点,其中,第二预设像素步距的长度小于第一预设像素步距的长度,包括:获取预设偏移角度集合,从预设偏移角度集合中选取偏移角度;在候选待检测轮廓点的预设像素范围内,根据偏移角度和第一预设像素步距偏移样本轮廓索引数组,并将样本轮廓索引数组和待检测轮廓索引数组进行对比;根据对比结果,绘制样本轮廓索引数组和待见轮廓索引数组的第二热力图;遍历预设偏移角度集合,得到待检测轮廓索引数组的第二热力图集合,从中选出相似度最高的第二热力图;从相似度最高的第二热力图中,选取满足预设相似度阈值的点作为目标轮廓点。
在本实施例中,预设偏移角度合集包括先选定X轴角度,然后按照一定间隔角度,生成预设偏移角度集合。其中,每次选取预设偏移角度后,都将偏移后的样本轮廓索引数组和待检测索引数组中的候选待检测轮廓点进行对比,生成样本轮廓索引数组和待检测索引数组中候选待检测轮廓点的相似度,并根据相似度生成此次偏移过程中,根据对比结果生成的热力图。也就是说,每次选取一个预设偏移角度进行对比,都生成一张热力图。
需要说明的是,对应待检测轮廓索引数组的候选待检测轮廓点,可以将待检测轮廓索引数组中除候选待检测轮廓点之外的像素点,空白处理,对于候选待检测轮廓点赋予第二组索引号,将重新赋予索引号的第二组索引数组与样本轮廓索引数组进行对比,以筛选出更为精准的像素点和更为精准地偏移像素距离。
在一种实施例中根据对比结果,绘制所述样本轮廓索引数组和所述待见轮廓索引数组的第二热力图;选取相似度最高的第二热力图,并根据预设相似度阈值,选取相似度的第二热力图中满足预设相似度阈值的候选待检测轮廓点为目标轮廓点,包括:根据第二索引数组(也就是候选待检测轮廓点的索引数组)和样本轮廓索引数组的轮廓点的相似度,确定轮廓点对应的像素属性;其中,轮廓点对应的像素属性包括根据轮廓点的相似度确定轮廓点的灰度值;根据待检测轮廓索引数组的轮廓点对应的像素属性,生成第二热力图。
在本实施例中,在选取相同预设偏移角度的对比过程中,对于待检测轮廓索引数组中的像素点根据对比结果生成热力图,其中,可以设置预设相似度阈值,如上文公式(7)所示,对于超过预设相似度阈值的像素点,赋予对应像素属性(在本实施例中为赋予灰度值255),对于不符合预设相似度阈值的相似点,则给予空白处理
在本实施例中,对热力图进行筛选,指定相似度阈值,筛选后的有效像素坐标为目标轮廓点,也可以说,选取灰度值面积最大的热力图为相似度最高的热力图,也就是目标轮廓点最多的热力图。
步骤S105,根据目标轮廓点的坐标,确定待检测物料在待检测图像中的位置信息。
在本实施例中,将目标轮廓点的坐标,与目标轮廓点在样本轮廓索引数组中的轮廓点进行对比,根据对比结果,计算目标轮廓点在样本物料图像和待检测物料图像中的位置差,并根据位置差确定待检测物料在待检测图中的位置信息。
如图2所示,本发明还提供本申请第二方面提供一种基于轮廓位置索引的物料图像定位装置,包括:
第一识别单元201,用于识别样本物料图像的样本轮廓点,并计算所述样本轮廓点的样本轮廓索引数组;
第二识别单元202,用于识别待检测图像中待检测物料图像的待检测轮廓点,并计算所述待检测轮廓点的待检测轮廓索引数组;
第一索引单元203,用于根据第一预设像素步距,对比所述样本轮廓索引数组和所述待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点;
第二索引单元204,用于根据第二预设像素步距,在所述候选待检测轮廓点的预设像素范围内,对比所述样本轮廓索引数组和所述待检测轮廓索引数组,查找所述候选轮廓点中符合所述预设相似度阈值的目标轮廓点,其中,所述第二预设像素步距的长度小于所述第一预设像素步距的长度;
确定单元205,用于根据所述目标轮廓点的坐标,确定待检测物料在所述待检测图像中的位置信息。
在一种实施例中,识别样本物料图像的样本轮廓点,包括:计算样本物料图像的横向梯度和样本物料图像的纵向梯度,并将样本物料图像的横向梯度和样本物料图像的纵向梯度图像合并;对合并后的样本物料图像进行二值化处理,识别二值化处理后的样本物料图像的图像轮廓,得到样本物料图像的样本轮廓点。
在一种实施例中,样本轮廓索引数组包括样本轮廓点的二维坐标和样本轮廓点对应的索引号,样本轮廓点对应的索引号用于表示样本轮廓点在样本物料图像中的位置,计算样本轮廓点的样本轮廓索引数组,包括:根据样本轮廓点在样本物料图像中的二维坐标,按照预设索引方向设置位置索引号,位置索引号为一维数组;基于样本轮廓点的二维坐标和样本轮廓点的位置索引号,得到样本轮廓索引数组。
在一种实施例中,识别待检测图像中待检测物料图像的待检测轮廓点,包括:计算待检测物料图像的横向梯度和待检测物料图像的纵向梯度,并将待检测物料图像的横向梯度和待检测物料图像的纵向梯度合并;对合并后的待检测物料图像进行二值化处理,识别二值化处理后的待检测物料图像的图像轮廓,得到待检测物料图像的待检测轮廓点。
在一种实施例中,待检测轮廓索引数组包括待检测轮廓点的二维坐标和待检测轮廓点对应的索引号,待检测轮廓点对应的索引号用于表示待检测轮廓点在待检测图像中的位置,计算待检测轮廓点的待检测轮廓索引数组,包括:根据待检测轮廓点的二维坐标和预设索引方向,获取待检测图像的位置索引号;根据位置索引号和待检测轮廓点的二维坐标,生成待检测轮廓索引数组。
在一种实施例中,根据第一预设像素步距,对比样本轮廓索引数组和待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点,包括:获取预设偏移角度集合,从预设偏移角度集合中选取偏移角度;根据偏移角度和第一预设像素步距偏移样本轮廓索引数组,并将样本轮廓索引数组和待检测轮廓索引数组进行对比;根据对比结果,绘制样本轮廓索引数组和待检测轮廓索引数组的第一热力图;遍历预设偏移角度集合,得到待检测轮廓索引数组的第一热力图集合,从中选出相似度最高的第一热力图;从相似度最高的第一热力图中,选取满足预设相似度阈值的点作为候选轮廓点。
在一种实施例中,根据对比结果,绘制样本轮廓索引数组和待检测轮廓索引数组的第一热力图,包括:根据待检测轮索引数组中的轮廓点和样本轮廓索引数组的轮廓点的相似度,确定轮廓点对应的像素属性;其中,轮廓点对应的像素属性包括根据轮廓点的相似度确定轮廓点的灰度值;根据待检测轮廓索引数组的轮廓点对应的像素属性,生成第一热力图。
在一种实施例中,根据第二预设像素步距,在候选待检测轮廓点的预设像素范围内,对比样本轮廓索引数组和待检测轮廓索引数组,查找候选轮廓点中符合预设相似度阈值的目标轮廓点,其中,第二预设像素步距的长度小于第一预设像素步距的长度,包括:获取预设偏移角度集合,从预设偏移角度集合中选取偏移角度;在候选待检测轮廓点的预设像素范围内,根据偏移角度和第一预设像素步距偏移样本轮廓索引数组,并将样本轮廓索引数组和待检测轮廓索引数组进行对比;根据对比结果,绘制样本轮廓索引数组和待见轮廓索引数组的第二热力图;遍历预设偏移角度集合,得到待检测轮廓索引数组的第二热力图集合,从中选出相似度最高的第二热力图;从相似度最高的第二热力图中,选取满足预设相似度阈值的点作为目标轮廓点。
本申请提供的技术方案可以包括以下有益效果:
第一方面,本申请通过识别样本物料图像的样本轮廓点,计算样本轮廓点的样本轮廓索引数组;识别待检测图像中待检测物料图像的待检测轮廓点,并计算待检测轮廓点的待检测轮廓索引数组;通过将样本物料图像简化为索引数组,然后按照一定步距对样本轮廓索引数组进行多次选择转换得到一组多角度样本索引数组,再将多角度索引数组和待检测轮廓索引数组进行比较,从而提高了查找待检测点的准确率,实现物体定位识别高速度、高精度性、高实时性检测。
第二方面,本申请分两次检索,根据第一预设像素步距,对比样本轮廓索引数组和待检测索引数组,查找待检测轮廓索引数组中符合预设相似度阈值的候选轮廓点;根据第二预设像素步距,在候选待检测轮廓点的预设像素范围内,对比样本轮廓索引数组和待检测轮廓索引数组,查找候选轮廓点中符合预设相似度阈值的目标轮廓点,其中,第二预设像素步距的长度小于第一预设像素步距的长度;根据目标轮廓点的坐标,确定待检测物料在待检测图像中的位置信息,通过多次检索逐步缩小检索范围,从而克服传统检测图像的精度低的问题。
图3是本申请实施例示出的电子设备的结构示意图。
参见图3,电子设备300包括存储器310和处理器320。
处理器320可以是中央处理单元(CentralProceSing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal ProceSor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-ProgrammableGate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器310可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM)和永久存储装置。其中,ROM可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器310可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器310可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、minSD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器310上存储有可执行代码,当可执行代码被处理器320处理时,可以使处理器320执行上文述及的方法中的部分或全部。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
- 一种基于输出图像像素位置索引的预畸变方法和装置
- 一种基于输出图像像素位置索引的预畸变方法和装置