一种西林瓶标签实时在线检测方法、系统及装置

技术领域

本发明属于工业视觉技术领域，尤其是涉及一种西林瓶标签实时在线检测方法、系统及装置。

背景技术

西林瓶具有密封性能好等多种优点，用于很多种药品的包装。标签是药品包装的重要组成部分，在用药安全方面发挥很重要的作用。有效检测药品标签，确保标签上药品信息准确，能够降低用药安全事故的发生，提升药品质量。目前市场上的检测装置主要检测西林瓶瓶身质量，但西林瓶标签检测以人工检测为主，检测准确率和实时性较低，影响了药品生产效率。

中国专利申请202210046989.4公开了一种药食品包装标签智能视觉检测方法，采用多目视觉图像采集方式获取瓶身柱状标签的多角度图像，通过多视角柱状标签平面展开与重建算法，将柱状分布的标签图像平面化并使用图像配准、图像拼接与融合技术重建瓶身标签全表面图像，针对特征不明显且难以描述的缺陷类型，构建基于深度学习的缺陷目标定位与分类算法，利用深度学习丰富的特征表达能力以及强大的端到端的学习能力，提高药品标签微观缺陷的识别能力，但该方法较为复杂，在标签检测的实时性上有待提升。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种西林瓶标签实时在线检测方法、系统及装置，提升西林瓶标签检测的准确率和实时性。

本发明的目的可以通过以下技术方案来实现：

一种西林瓶标签实时在线检测方法，包括以下步骤：

S1、捕获西林瓶生产线图像，并进行预处理；

S2、判断捕获图像内的西林瓶是否完整，若是，则执行步骤S3，若否，则返回步骤S1；

S3、判断捕获图像内的西林瓶是否经过检测，若是，则执行步骤S4，若否，则返回步骤S1；

S4、进行标签状态检测；

S5、将检测后的西林瓶标记为已检测，并对检测的西林瓶进行计数，返回步骤S1；

步骤S4中，首先进行有无标签检测，若无，则标记为不合格并剔除，若有，则进行标签内容检测，所述标签内容检测包括标签倾斜度检测和标签内容识别，对检测不合格的西林瓶进行标记并剔除。

进一步地，步骤S2具体如下：

S201、分别沿宽度方向和高度方向计算预处理后图像向像素均值，得到宽度方向像素均值向量V

S202、分别在宽度方向像素均值向量V

S203、若x

进一步地，所述有无标签检测通过以下算法实现：

1)分别计算预处理后图像像素均值u和像素方差

2)若u＜thresh_u且

进一步地，所述倾斜度检测通过以下算法实现：

1)截取预处理后图像中西林瓶所在区域图像的上半部分，并进行预处理；

2)提取周长最长的轮廓p；

3)在周长最长的轮廓p中查找左右距离最远的两个点b1、b2，并查找靠近b1、b2横坐标的纵坐标最小的点k1、k2；

4)基于k1、k2计算倾斜角度φ；

5)判断φ是否大于指定阈值thresh_angle，若是，则判定标签倾斜，标记为不合格并剔除，若否，则进行标签内容识别。

进一步地，所述预处理包括自适应二值化、腐蚀和膨胀操作。

进一步地，步骤S4中，所述标签内容识别通过以下算法实现：

1)获取标签倾斜检测中经过预处理的图像，同时对识别特征区域图像进行自适应二值化；

2)将所述经过预处理的图像和处理后的识别特征区域图像进行模板匹配；

3)判断是否匹配成功，若未匹配成功，则弃用该预处理图像，增加弃用帧数计数，然后判断弃用帧数计数是否大于弃用帧数阈值，若是，则将弃用帧数计数归零，标记为不合格并剔除；

若匹配成功，则获取识别特征区域位置，基于识别特征区域位置估算内容识别区域，对估算的内容识别区域和检测特征模板分别进行内容细分后，进行模板匹配，对内容识别区域的内容进行识别，所述识别内容包括汉字、数字和特定区域缺陷，将识别结果与检测标准进行对比，判断标签内容是否合格。

进一步地，所述模版匹配的具体过程为：根据处理后的识别特征区域图像，对经过预处理的图像进行截取，通过计算二者的相关性判断模板匹配是否成功。

进一步地，所述内容细分的具体过程为：首先查找轮廓cont，分别计算每个轮廓面积大小，筛除较小的轮廓；然后用外接矩形算法得到矩形参数rect，分配id并得到准确提取的待检测识别区域和准确提取检测识别特征区域。

本发明还提供一种西林瓶标签实时在线检测系统，包括图像处理模块、西林瓶定位检测计数模块和标签状态检测模块，其中，

图像处理模块用于捕获西林瓶生产线图像并进行预处理，判断西林瓶是否完全划入捕获图像内，以及判断捕获图像内的西林瓶是否经过检测；

西林瓶定位检测计数模块用于将检测后的西林瓶标记为已检测，并对检测的西林瓶进行计数；

标签状态检测模块包括有无标签检测子模块和标签内容检测子模块，所述标签内容检测子模块用于标签倾斜度检测和标签内容识别，检测不合格的西林瓶标记后剔除。

本发明还提供一种西林瓶标签实时在线检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现上述方法。

与现有技术相比，本发明具有以下有益效果：

1、本发明可对西林瓶标签状态进行有效检测，包括有无标签、标签是否倾斜和标签内容是否准确，并对不合格产品及时标记和剔除，具有较高的实时异常处理能力，显著提升了产品在多项指标上的合格率，降低用药安全事故的发生；特别地，在检测标签状态前，对捕获图像内的西林瓶是否完整进行判断，提高标签检测的准确性；此外，本发明能实时记录生产线上划过的西林瓶数量，并通过标记有效避免重复检测，提升了检测计数的准确性。

2、本发明在检测标签倾斜度时，截取西林瓶所在图像区域的上半部分，在标签上半部分边缘查找两个点，并基于查找的两个点计算倾斜角；在标签内容识别时，直接使用前一步标签倾斜检测中经过预处理的图像，通过上述轻量化的标签状态检测算法，减小了计算时间，具有较高的实时检测能力。

附图说明

图1为本发明方法总体流程图；

图2为判断捕获图像内的西林瓶是否完整算法流程图；

图3为标签倾斜度检测算法流程；

图4为标签内容识别算法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种西林瓶标签实时在线检测方法，如图1所示，包括以下步骤：

S1、捕获西林瓶生产线图像，并进行二值化预处理。

S2、判断捕获图像内的西林瓶是否完整，若是，则执行步骤S3，若否，则返回步骤S1；

其中，步骤S2具体流程如图2所示，在对标签进行检测前增加该步骤，有助于提升标签检测的有效性和准确性，同时，将不符合条件的图像中的西林瓶检测状态标记为未检测，可以有效避免重复检测，提升了检测计数的准确性：

S201、分别沿宽度方向和高度方向计算向像素均值，得到宽度方向像素均值向量V

S202、分别在宽度方向像素均值向量V

S203、分别比较x

特别需要说明的是，实际应用中，捕获画面中保证只有一个可检测的西林瓶，通过调整用于捕获图像的相机和生产线上的西林瓶位置，同时保证西林瓶之间满足一定间距即可实现。

S3、判断捕获图像内的西林瓶是否经过检测，若是，则执行步骤S4，若否，则返回步骤S1；

S4、进行标签状态检测，首先进行有无标签检测，若无，则标记为不合格并剔除，若有，则进行标签内容检测，所述标签内容检测包括标签倾斜度检测和标签内容识别，对检测不合格的西林瓶进行标记并剔除；

其中，有无标签检测通过以下算法实现：通过对已检测到的西林瓶区域分别计算像素均值u和像素方差

标签倾斜度检测可有效剔除标签贴歪的西林瓶，进行检测标签倾斜度时，为减小计算时间，截取西林瓶所在图像区域的上半部分，并在标签上半部分边缘查找两个点，并基于查找的两个点计算倾斜角，具体标签倾斜度检测算法流程如图3所示，包括以下步骤：

S401、截取预处理后图像中西林瓶所在区域图像的上半部分，并进行预处理(包括自适应二值化、腐蚀、膨胀操作)；

S402、查找轮廓，提取周长最长的轮廓p；

S403、在周长最长的轮廓p中查找左右距离最远的两个点b1、b2，并查找靠近b1、b2横坐标的纵坐标最小的点k1、k2；

S404、基于k1、k2计算倾斜角度φ；

S405、判断φ是否大于指定阈值thresh_angle，若是，则判定标签倾斜，若否，则正常，进行标签内容识别。

标签内容识别可有效检测标签内容是否准确(是否存在漏印、重印等情形)，其算法流程图如图4所示，包括以下步骤：

S411、为减小计算时间，使用倾斜检测算法中已进行过自适应二值化、腐蚀、膨胀等操作的预处理图片，同时对识别特征区域进行自适应二值化，所述识别特征区域是西林瓶图片中位置相对固定的图片特征，具体比如西林瓶上厂商标志等，根据样品得到。

将处理后的西林瓶所在区域图像和识别特征区域图像进行模板匹配，模板匹配即比较较大图片内部分区域与较小图片的相关性来截取区域，其中较小的图片为模板，对较大的图片即现有检测目标的进行截取，将截出的识别内容和已有模板进行匹配，本发明中，即把检测内容分割成略大于模板的图片(比如检测生产日期中的每个数字都分割提取要检测的较大图片)，与准备好的特征模板(数字，汉字，图片等根据厂商需求要提前准备模板)进行模板匹配。

对于大小为M×N的较大图像f(x,y)和大小为J×K的较小图像w(x,y)，f与w的相关性可表示为：

S412、判断是否匹配成功，即判断较大图像和较小图像的相关性是否满足阈值，阈值一般接近1，具体情况根据样品测试效果决定。

若未匹配成功，则视为该标签区域内没有需要检测识别的内容和识别特征，进入步骤S413；若匹配成功，则进入步骤S414。

S413、弃用该预处理图像，同时增加弃用帧数计数器discard，之后将discard与标定得到弃用帧数阈值thresh_dis进行比较，若discard＞thresh_dis，即相当于完整标签的图片分割成的thresh_dis帧图片都未检测到所需识别的标签内容，则将discard计数归零，并判断产品不合格；否则，继续下一帧。

S414、获取识别特征区域位置，基于识别特征区域位置估算内容识别区域。

S415、对估算的内容识别区域和检测特征模板分别进行内容细分，将细分结果进行模版匹配，得到识别结果；

其中，内容细分的具体过程为：首先通过查找轮廓cont，分别计算每个轮廓面积大小，筛除较小的轮廓；然后用外接矩形算法得到矩形参数rect，分配id并得到准确提取的待检测识别区域和准确提取检测识别特征区域；准确提取的待检测识别区域依次与准确提取检测识别特征区域进行模板匹配，对待识别内容区域的内容进行识别，所述识别内容，包括汉字、数字、特定区域(缺陷)，在检测识别生产日期、生产批号等连续字符串并进行拼接时，使用上文中为对象分配的标识id。

S416、将识别结果与检测标准进行对比，判断标签内容是否合格，若否，则标记为不合格并剔除。

在另一实施例中，还提供一种西林瓶标签实时在线检测系统，

包括图像处理模块、西林瓶定位检测计数模块和标签状态检测模块，其中，

图像处理模块用于捕获西林瓶生产线图像并进行预处理，判断西林瓶是否完全划入捕获图像内，以及判断捕获图像内的西林瓶是否经过检测；

优选地，所述图像处理模块基于海康工业相机sdk开发，最高捕捉帧率为250FPS；

西林瓶定位检测计数模块用于将检测后的西林瓶标记为已检测，并对检测的西林瓶进行计数；

标签状态检测模块包括有无标签检测子模块和标签内容检测子模块，所述标签内容检测子模块用于标签倾斜度检测和标签内容识别，检测不合格的西林瓶标记后剔除。

在另一实施例中，还提供一种西林瓶标签实时在线检测装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现上述方法。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。