标签数据处理系统

技术领域

本发明涉及产品标示领域，具体涉及一种用于在标签被制成之后检查或检验标签以确认它们是正确的且充分无缺陷的系统。标签可以显示诸如产品标识符、制造日期、批号以及项目号的信息，这些信息对于法规的符合或提供出处信息可能是必要的。这对于诸如药物(或用于追踪的候选药物)、航空零件以及医疗装置的高价值产品是特别重要的，其中必须建立并验证从制造开始、贯穿分配并且到最终产品的使用或安装点的“审计轨迹”。

背景技术

标签通常通过使用印刷机和适当的印刷介质来分批或按印数印刷，诸如在卷绕的背纸上的自粘的纸质标签。所用的典型印刷机是喷墨印刷机、激光印刷机、染料升华印刷机、点阵印刷机以及蜡热转印印刷机。由于成本和印刷速度的原因，蜡热印刷机倾向于优选用于标签应用。

所印刷的标签中的缺陷可能包括许多可能性，诸如划痕、斑点、缺失特征或点或点群集、边缘渗出、条带、条痕、错位、离轴旋转以及畸变。这些缺陷可能是由于印刷机辊错位、印刷机针头错位、油墨问题、纸张表面污染或光栅不匹配引起空白或歪斜而产生。

在过去，标签检验由通常定期取标签样本的受过训练的操作员通过目检来“手动”进行。该工作是重复且乏味的，这导致操作者表现不佳或出现其它人为错误。一项研究(Bill Smith，“Making war on defects”，IEEE Spectrum，第30卷，第9期，第43-47页，1993年)揭示了仅80％的准确率。人为干预限制了能够检验所印刷的标签的速度，而且增加了该过程的成本。对于必须检验每个单独标签(诸如药物标示)的过程，人工检验是不切实际的，除非仅印刷小批量的标签。

基于机器的目检能够使用各种基础技术来使用，这些技术通常涉及产生参考图像，实际印刷图像能够与该参考图像进行比较来识别有缺陷的图像。必须作出关于所印刷的标签的哪些部分是关键的、与“理想”的偏离量是能够允许的、以及如何测量这一点的决策。

美国专利4589141(1984年)公开了一种自动标签检验设备，在该自动标签检验设备中，电视摄像机拍摄标签的图像，该图像然后被发送到图案和图像识别电路，以便通过与所存储的参考标签图片进行比较来进行验证。操作者需要进行示教过程，在该示教过程中，通过使用操纵杆控制器来识别并突出标签的相关部分。

美国专利5755335(1995年)公开了一种用于在将用于药物包装的标签应用到容器之后检验标签的基于机器的方法。容器被放置在能够旋转的转盘上，并且标签通过在旋转期间检测标签的边缘来进行识别。然后评估标签是否符合标签的预定标准或规范，如果有不符合，则拒绝标签。

最近，US2002/0087574公开了一种用于自动检验在临床试验中使用的硬拷贝标签的方法，在该方法中，扫描装置在印刷标签之后读取标签。使用单独的检验机器来扫描标签，这些标签与主标签图像进行比较，该主标签图像被加载为主数据文件。根据所涉及的信息的灵敏度，标签的不同区域被分配有不同的印刷质量公差。如果标签没有达到所需的质量，则激活自动停止。

WO2011/090475公开了一种用于检测所印刷图像中的缺陷的自动检验系统。向印刷机发送光栅图像并将其印刷在印刷介质(诸如纸)上。扫描仪以比所印刷图像低的分辨率捕获介质上的所印刷图像的目标图像。将光栅图像转换为参考图像，并且将参考图像与目标图像进行比较，以便检测目标图像中的缺陷。该系统适于彩色图像，并且参考图像由青色、品红色、黄色以及黑色成分组成。在目标图像的各个颜色通道上使用结构相似性测量方法。

WO2014/108460(特此以引证的方式将其内容并入)公开了一种标签检验系统，在该标签检验系统中，扫描仪结合到印刷机壳体中，以便允许随着从印刷头卷绕标签而在线检验标签。在各个标签印刷过程(print run)之前，创建相关联的“训练图像”，该图像包括检验掩模，该检验掩模通过如下方式来配置要在所扫描的标签图像上进行的检验过程：定义包括关键数据的标签区域，并且根据期望在该区的扫描图像中发现的图像数据的性质和质量将适当的检验工具分配至一系列层中发热每个区域。通过将扫描图像划分成区域，并且选择针对区域内容优化的检验工具，所需的图像处理将不太麻烦和耗时。在诸如该系统的现有技术标签检验系统中，开发各个标签的参考或训练图像是麻烦的任务，通常基本上由熟练的操作员针对要印刷的各个标签印数手动地进行。训练图像的关键特征是它已经在印刷的标签上测试并且手动优化(即训练)，以便应用适当的工具和工具参数来产生对于给定标签格式的准确检验。训练图像和数学模型被存储以用于该标签的后续印刷过程。这样，可以创建并存储训练图像库，并且当在特定地理位置处进行标签印刷过程时，可以远程访问并下载这些训练图像。

这能够通过提供基于GUI的标签创建软件而在某种程度上实现自动化，该软件将允许设计标签格式和指定标签内容。一个单独的步骤拍摄最终标签(扫描或照相)的图像，并且对其进行评估，并且将检验工具和默认参数分配至标签的区域。操作员识别要检验的标签部分以及信息的性质，诸如文本或图片，其将是静态的或预期在批次间或在标签与标签之间变化。将存在不应变化的区域，诸如帧或边界。可以有诸如品牌名称、法规标记、条形码、颜色或阴影、点、图案的文本。还可以存在诸如使用或存储指令的信息。各种区域可以涉及不同的线细度、字体大小、字样、颜色、色调或对比度。一旦已经定义了区域并且为该区域指定了检验工具，则必须测试该工具以确保其能够进行充分的检验。这可以在一批实际标签被印刷之前很好地在预先印刷的虚拟标签上进行。为了优化检验过程，可以改变检验参数，诸如灵敏度、尺寸公差以及内边距，调节算法，并且重新运行测试。因此，建立训练图像(以及创建数学模型的系统)可能需要许多小时甚至几天的熟练工作以及迭代测试和调节。

这在产品标签不符合任何一组格式、布局或内容标准的行业中是一个特殊的问题，因此“现成”的训练图像很少可用。一种现有技术方法需要用户采用特定的标签标准，这些标准具有带有已建立区域的预定训练图像以及检验工具和算法。这些标准将集中地保持在远程服务器上，或者能够在标签印刷过程之前访问以从网站下载。然而，这将用户束缚于特定的供应商，并且抑制了标签设计的灵活性。

已经发现的另一个问题是，标签检验的数据处理需求是严重的，这需要复杂且耗时的图像分析例程和方法。计算机视觉软件在商业上和开放源代码上都是可实现的。一个商业供应商是康耐视公司(Cognex)，其具有VisionPro和Vision Library机器视觉软件。开放源代码供应商是Open CV(开放源代码计算机视觉类库)。这两者都提供了图像检验工具库。不可避免地，这些工具被配置为提供一般的视觉效用，并且不一定适于诸如所印刷标签检验的特定内容的需求。

典型分辨率为300或600dpi的标签的扫描图像包含大量信息，这些信息必须由图像处理技术和算法解码以允许解释。通常，在商业实现中，数据处理在远离印刷机/扫描仪组合的专用处理系统上进行。由此，对于各个扫描的标签，可能需要大量的时间来扫描，向处理器发送数据包，以便对其进行解码，并且在扫描下一个标签或评估其图像之前，标签通过或失败。因此，标签检验过程可能减慢标签印刷过程，并最终影响整个生产率和成本。

发明内容

根据本发明的一个方面，提供了一种产品标签印刷和检查系统，该产品标签印刷和检查系统包括数据处理装置，被配置为：

控制产品标签的印刷；

控制通过诸如光学扫描仪的图像采集装置来控制所印刷的标签的图像的采集和接收；以及

检查所印刷的标签是否存在缺陷，

其中，各个所印刷的标签符合该标签的标签格式规范，凭此，标签具有共同的布局并且包括位于标签上的一个或多个区域中的与所印刷的产品有关的信息，

其中，数据处理装置包括标签检查模块，在标签检查模块中提供标签的参考图像，并且检查模块被配置为使得：根据与标签区域中的预期信息内容和位置有关的预定质量控制指示符，将所采集的图像与参考图像顺序地进行比较，并且其中，如果标签不符合，则标记标签以供复查或拒绝。

标签格式规范可以在印刷过程之前以可访问文件的形式被确定和/或被存储。然后，在使用该标签格式的印刷过程之前，可以由数据处理系统对其进行检索。

系统通常被配置为输出用于控制印刷机的操作的控制信号。系统通常被配置为输出用于控制扫描仪的操作的控制信号。系统可以被配置为接收并处理从图像采集装置采集的输入信号。

在本发明的一方面，标签格式规范可以用于提供要发送到印刷机以用于印刷各个标签的指令。优选地，参考图像是根据标签格式规范构造的电子图像(e-image)。在优选方面，使用要发送到印刷机的指令来构造参考电子图像。在操作中，参考电子图像与所关联的标签的印刷并行地准备。

参考图像通常设置有检验掩模(mask)，该检验掩模将参考图像的区域与存储在系统中的检验工具相关联，这些工具被分配作为适合于要在所采集的图像上的对应区域处检验的信息的类型。在优选布置中，使用标签格式规范和规则集(或向导)将一个或多个检验工具分配至所关联的区域，以选择最佳检验工具和参数设置。

在优选方面，参考图像是根据用于在印刷标签时指示印刷机的信息构造的电子图像。通过使用发送到印刷机的图像来构造(或使用相同的过程来构造)参考电子图像，极大地限制预期印刷图像与所获得的扫描图像之间的差别能够变化的程度。然而，替代地，参考图像可以被获得作为样本符合标签的导入图像。

参考图像通常设置有检验掩模，该检验掩模将参考图像的区域与存储在系统中的检验工具相关联，这些工具适合于要在所采集的图像上的对应区域处检验的信息的类型。至少一个检验工具可以具有参数设置，并且在形成检验掩模时，参数被设置为对工具性能进行优化的值。通常大多数或所有的工具将具有一个或多个参数设置。

在本发明的特定方面，数据处理装置被配置为使得在印刷一批标签的过程开始时，使用标签格式规范建立参考图像及其关联的检验掩模，并且可选地分配检验工具参数。由此，通过汇编用于标签区域位置、区域信息和检验工具以及可选的检验工具参数的规范，可以实时配置参考图像及其关联的检验掩模。这可以通过如下文的检验掩模向导来进行。规范可以至少部分地通过导入当在印刷过程之前生成标签时预定的标签格式规范而得以汇编。

在构建检验掩模时，通常在检验工具(使用适于任务的工具)未能从区域提取预期特征的情况下，开始迭代过程，凭此，对工具参数进行调节，并且重复检验，直到检验成功。这种测试检验和迭代优化可以称为训练过程。

在现有技术过程中，这些检验掩模创建、所存储的电子图像和数学模型、测试和优化步骤在标签印刷步骤过程很早之前作为单独的过程进行。通过使掩模创建和优化过程实现自动化，并且选择适当的检验工具，本发明人能够在印刷过程开始时即时生成参考图像和数学模型，而不是依赖于预先准备和远程存储的电子图像和数学模型。

一旦检验掩模已经被创建和测试/优化，就能够开始在生产印刷过程中检查标签的过程。因此，检查模块优选地被配置为使得各个检验区域与参考图像的对应区域进行比较，以便评估标签作为整体的符合性。

优选地，黄金模板比较(GTC)用于比较参考图像和所采集的图像上的一个或多个区域。黄金模板比较非常适合于与文本或图片检验工具关联的一个或多个区域，并且优选地用于与文本或图片检验工具相关联的所有区域。

在本发明的又一方面，参考图像是通过使用信息构造的电子图像，该信息在准备印刷第一个标签图像时向印刷机发送印刷指令时使用。这代表了在标签图像中具体实施的印刷内容的理想版本。通过更新，能够对因标签而异的串行化数据进行电子图像允许。

为了确保有效处理，电子图像及其关联的检验掩模应该被构造为并行于印刷机被发送有印刷指令以及渲染要印刷的标签图像。由此，能够随着印刷机对图像进行渲染来构造掩模。

标签可以分批印刷，批次具有对于该批恒定的数据。在这种情况下，各个标签在印刷内容上应当是相同的。在许多情况下，将需要串行化数据(比如产品序列号)或随机化数据(该数据在药物试验中可能需要)。在这些情况下，所印刷的标签的一个或多个区域包含因标签而异的串行化或随机化信息。在这种情况下，可以在每次标签印刷之后修正电子图像的对应区域，使得响应于对标签印刷指令的对应变化，用变化后的信息填充(populate)信息有变化的区域。

为了便于图像比较步骤，可以采取各种措施来调节参考图像，以提供更接近的匹配，使得仅突出无意的缺陷或错误。因此，参考图像可以被调节为具有与扫描仪(以及由此其图像)的分辨率近似或优选相匹配的分辨率(通常以每英寸的点数(DPI)来测量)。

参考图像可以经过模糊滤波器，该模糊滤波器使参考图像模糊，以更接近所扫描图像的外观。由于扫描系统光学和图像传感器特性，扫描过程不可避免地引入模糊。作为电子图像的参考图像表示具有锐利边缘的理想图像。然而，与扫描的标签图像的更好比较考虑了不可避免的模糊(并且最好以匹配的分辨率进行)，以便将类似的内容进行比较。

系统可以被配置为使得所扫描图像经受几何变换，以便减少或校正所扫描图像中存在的任何畸变，并且其中，在比较参考图像与所扫描图像之前，将变换应用于所扫描图像。优选地，变换通过进行所扫描图像相对于参考图像的初步比较分析来导出。这再次确保了在标签检查比较步骤中，我们比较类似内容。鉴于在这种机器中存在相当紧密(tight)的机械公差，所扫描的图像在任何情况下都不可能表现出不能接受的极端畸变。这提供了通过对畸变量设置边界限制来简化变换询问过程的机会。变换可以从所扫描图像相对于参考图像的匹配多关键点分析导出。

根据本发明的又一方面，系统可以包括文本或图片检验工具，该检验工具依赖于将从参考图像中提取的关键点与所扫描图像的对应关键点相匹配，其中，通过记录关键点在x轴和y轴两者上的位移来计算所扫描图像的平移。可以从所记录的数据导出直方图，该直方图表示作为相对位移的函数的关键点对的频率，并且其中，采取直方图的峰值来表示准确的关键点位移的最佳估计。

为了优化并简化方法，通过合并(binning)在直方图峰值的预定距离内(诸如在10个像素内)不具有平移位移的关键点对，来从数据集合并(bin)重复的或虚假的关键点对(其不可避免地发生)，从而产生缩减的数据集。直方图峰值可以使用缩减的数据集来重新计算。

数据处理装置包括单个计算机或计算机的网络。至少采集或扫描控制和标签检查模块功能可以由公共计算机来执行。公共计算机优选地位于附近，以便允许与扫描仪的直接电缆连接。

系统优选地包括图像采集装置。该图像采集装置可以是数码相机，但通常是扫描仪。扫描仪可以：与印刷机集成在一起，或者作为印刷机的可拆卸添加物，或者作为与印刷机隔开布置的独立装置。扫描仪可以适于接收以所印刷的产品标签的形式从印刷机输出的印刷介质，并且依次对其进行扫描。

在本发明的又一方面，计算机硬件被加载有软件和/或设置有固件，当连接到印刷机和诸如扫描仪的图像采集装置时，该软件和/或固件适于作为如上文所述的数据处理系统。

在本发明的又一方面，提供了一种物理机器可读数据载体产品或数字媒体存储装置，该产品或装置加载有软件，该软件适于当在计算机硬件上运行时作为如上文所述的数据处理系统。在操作中，系统连接到印刷机和诸如扫描仪的图像采集装置。

适于与本发明一起使用或在本发明中使用的印刷机包括印刷头、可以是液体或蜡基的墨源、进纸和/或输纸机构、用于服务器计算机或联网计算机的物理或无线连接器。

图像采集装置可以是相机，但更典型地将是具有扫描头和传感器的扫描仪，如本领域已知的。扫描仪可以具有内部存储器，和/或将被配置为直接向数据处理单元发送扫描数据，如上文所述。

计算机通常将具有处理结构和存储器(其可以在计算机内部，或者在外部和/或远程定位)。可以有视觉显示单元和数据进入装置，诸如键盘、鼠标或其它这种装置。为了优化操作并最小化在长距离上发送数据，可以有单个计算机用于操作系统并控制印刷机和扫描仪(或其他采集装置)。

附图说明

下面仅通过示例的方式描述实施本发明的各个方面的模式。

在附图中：

图1是表示根据本发明实施例的标签印刷和检查系统的部件的示意性流程图。

图2是表示由根据本发明的系统进行的操作的示意性流程图。

图3是用于生成参考电子图像的流程图。

图4是概念简单标签设计的示例的屏幕截图。

图5是应用了信息块的相同图像。

具体实施方式

图1示意性地示出了用于本发明中的包括关联外围设备的标签印刷和检查系统。在该示例中，数据处理单元是计算机，该计算机由软件配置，以便能够进行下文描述以及如权利要求中阐述的本发明。数据处理加载有用于执行标签设计向导并进行印刷过程的软件，在印刷过程中，检查各个印刷的标签是否符合最小标准。如图所示，数据处理单元连接到印刷机(通常是蜡热印刷机)，该印刷机将加载有用于顺序印刷的卷绕的标签。随着印刷各个标签，标签被送到扫描仪，该扫描仪具有用于扫描各个标签的扫描头。扫描仪产生各个标签的扫描图像，并且该扫描图像被传送到数据处理单元，以用于分析和与如打算印刷的标签的参考图像进行比较。本发明在于数据处理单元的配置，这将在下面更详细地讨论。由此可见，本发明潜在地独立于印刷机和扫描仪，印刷机和扫描仪可以是本领域已知的任何这种合适的装置，尽管在一些情况下，它将包括这些外围设备。

在图2中，示意性地表示了由数据处理单元进行的处理。假定标签格式规范将要已经准备。配置用于标签的印刷过程，并且在第一步骤中，准备检验掩模(mask)，该步骤可以预先进行。操作者可以选择使用预先存在的标签设计(具有要检索的关联标签格式规范)。

一旦从存储器中检索到标签格式规范，就可以开始准备检验掩模。这可以在印刷批过程之前或开始时进行。作为第一步，创建检验掩模。检验掩模向导对标签内容(信息和布局)进行分析，并为将呈现的信息类型(例如文本、图像、徽标、线条等)选择适当的图像分析工具。

在印刷批过程开始时，生成被发送到印刷机的用于标签印刷的命令。使用相同的印刷指令来生成要印刷的第一个标签的电子图像。通过应用模糊掩模并通过调整大小以匹配扫描仪分辨率来调节电子图像，从而使电子图像尽可能接近。

然后，使用电子图像、关于标签规范的信息以及工具参数设置来训练检验掩模中指定的检验工具。

因此，系统可以被配置为进行初步检验工具训练过程，该过程在参考图像(或电子图像)上进行，并且系统运行为使得在检验工具未能从区域提取预期特征的情况下，开始迭代过程，凭此，调节工具参数并且重复检验，直到检验成功。一旦被训练，系统就准备好进行标签检查。

根据本发明的新方面，在进行训练的同时印刷标签。扫描仪被启动并采集所印刷的标签的扫描图像。然后通过使用在检验掩模中定义的检验工具将该标签扫描图像与电子图像进行比较。对于串行化数据(其因标签而异)，电子图像可以被重新配置为反映发送到印刷机的变化的标签信息。扫描和比较过程继续，直到已经印刷了该批次并且检查了所有标签。在标记了不符合标签的情况下，可以遵循各种响应，诸如中断印刷或拉响警报。如果内容不因标签而异，则不为其余标签重新生成电子图像和被训练的检验工具。

在以下页面中，我们详细描述了在特定实施例中实施本发明中涉及的各种过程步骤。

标签创建-标签向导

操作员使用标签生成软件来为同一产品或数据集的特定印刷过程或多个印刷过程创建标签。

标签格式包括一列区域，在该情况下是块。标签格式能够链接到模式，该模式将精确地指定产生标签所需的所有数据。一个模式能够引用另一模式以形成层次。可用于标签的所有数据将形成树结构，该树结构将作为停靠到标签编辑器一侧的变量窗格呈现给用户。

用户能够使用拖/放来用来自变量窗格的内容填充标签：

能够从窗格中拖出字符串变量并将其放入标签中以创建新的文本块。

能够将表现为一组有关变量上方的容器的参考变量拖入标签中以插入子标签。

多语言字符串变量在变量窗格中具有其自己的特定表示。

能够将图像变量拖到标签上，以便将可变图像添加到标签。

能够将变量拖到表内的单元格中，以便将默认内容添加到表的该单元格中。

块定位

标签上的块具有矩形边界框。可用的块将包括以下内容：

文本——丰富的文本格式化、自动换行和多个变量的插入。块中文本的宽度可以被拉伸或缩小。应用程序将允许文本自动适合它正在其中渲染的块。这由文本块上的适合空间参数控制。这然后将允许录入文本的最大和最小磅值。可选地，能够实现宽度拉伸，如果最佳磅值适合，则这将允许字体宽度增加，或者如果最小磅值溢出，则这将允许字体宽度减小。宽度拉伸具有最大和最小百分比设置。

条形码——根据本领域的标准实践，支持一系列条形码符号。为了在屏幕上正确地预览条形码块，界面将以控件为特征，该控件允许用户设置标签将被印刷到的印刷机的分辨率。这将计算所印刷的条形码在标签上将占据的空间。应用程序还将允许用户通过计算单位尺寸和线高的最佳适合来使条形码自动适合特定的块尺寸。

图片——位于标签设计系统内的仅图像实体将被支持，以添加到标签格式。

线——能够指定两点之间的水平或竖直线，具有如何划线的标准选项。

形状——矩形(包括圆角矩形)或椭圆形，可选地，被划线/填充的形状。

表格——能够指定特定数量的行和列。其它块能够放置在表格中，使得它们的位置和尺寸不必手动调节以使它们对齐；它们从表格的布置中自动获得它们的位置。

子标签——对另一标签格式的引用，因此所引用的标签在父标签上被渲染(参见下文)。

丰富的文本内容——当向标签添加文本块时，用户能够使用格式化的单个字符级控件或块级控件来添加丰富的文本内容。当打开文本块以供编辑时，字符级格式控件可用。

以下能力能够供用户使用：

1.选择用于所选文本的字体

2.选择用于所选文本的字体大小

3.切换用于所选文本的粗体

4.切换用于所选文本的斜体

5.切换用于所选文本的下划线

6.切换用于所选文本的删除线

7.左对齐所选文本

8.以所选文本为中心

9.右对齐所选文本

10.两端对齐所选文本

11.上标所选文本

12.下标所选文本

13.字体颜色和背景颜色的选择

当在模式内指定了丰富的文本变量类型时，这给予了用户指定文本内容以及与文本相关联的格式化的能力。这能够被用于使用下标或上标文本来指定化学式，并且为数据内而不是标签格式内的特定文本选择颜色。

子标签

任何标签格式本身能够用作另一标签格式内的块。位于另一标签的布局内的标签作为子标签。正如文本块能够被配置为使用变量来向其提供文本数据一样，子标签块必须被配置为使用变量来向其提供其需要的数据。子标签的使用能够扩展到任何所需的深度。因此特定批次可以使用定制标签，这些定制标签主要由通用产品标签通过将其定制作为覆盖整个空间的子标签来得以处理。然后，它们可以将额外的变量插入到中心的空白空间中。

标签变量

标签变量允许定义标签特定数据(即，因标签而异的信息)并将其放置在布局上。该数据能够是序列号、日期时间或列表。一旦定义，这些标签变量就对它们在其中被定义的标签格式是特定的。序列号将具有起始值、增量以及指示序列被迭代的次数的值。将指定序列号的最大长度，并且它也可以被配置为具有前导零。这些值可以是可用模式或提示变量内的恒定的、计算的字段。

检验掩模和训练

关于现有技术的独立视觉检验系统，操作员需要扫描真实的标签，然后执行费力的任务以手动地标记该扫描标签的各个区域并定义该区域如何被检验。根据本发明，向导结合标签系统为标签设计/内容所持有的知识使得该过程可以实现自动化；这将手动进行该操作所需的时间减少了相当大的量，而且被设计为消除了涉及视觉工程师的需要。

标签和印刷

用于标签检查的典型系统一方面包括印刷机，该印刷机从加载到印刷机服务计算机上的标签印刷软件接收标签印刷指令。在优选方面，印刷机是蜡热印刷机，其提供较低的每次印刷成本和快速印刷。然而，可以使用其它印刷机，包括喷墨印刷机、染料升华印刷机、点阵印刷机或激光印刷机。对于诸如医学或临床试验标示的应用，通常需要对各批中的每个所印刷的标签进行缺陷测试。

标签通常分批地印刷在贴附于背衬卷筒纸(backing web)的自粘的纸质标签上，标签能够从背衬卷筒纸剥离以用于贴附于容器或包装。当然，本发明不限于这种标签，并且能够使用任何合适的印刷介质，诸如：普通纸、聚合物膜、包装切口(用于形成容器)、纸板，条件是介质能够被输送经过印刷头以便允许在其上印刷。

最简单意义上的所印刷的标签可以是以字母数字文本表示的产品代码。更通常地，将存在文本的混合，这些文本诸如品牌、使用说明、批号、产品号、认证标志、制造日期、使用日期、重量值等。文本可以以相同或不同的字样、字体大小以及不同的定向(例如水平或竖直)呈现。文本可以使用不同的语言，或者可以是非拉丁文文本，诸如中文和日语符号或阿拉伯语字母。还可以有图片，诸如产品图像、商标、徽标、示意性说明。图片可以是单色调的、灰度色调的或抖动的。标签可以具有预先印刷的边界、框或其它图像和文本。

印刷信息可以是产品特定的、批次特定的或系列的(在各个标签具有诸如项目号或唯一产品序列号的不同信息的意义上)。数据也可以是非顺序的，并且对于临床试验，数据可以是随机化的。标签可以是不同形状、正方形、长方形、圆形、椭圆形或设计者指定的任何其它形状。标签可以以任何格式、布局、内容出现，并且具有静态的、批次特定的或产品/项目特定的信息。实际上，许多标签通常是直线的，但具有圆角。圆角是用于识别图像中的标签的位置和定向的有用视觉特征。

在一些实施例中，印刷的标签可以成批印刷，并且标签堆被传送到单独的扫描仪以用于标签的扫描。在这种情况下，扫描仪通常将包括牵引馈入(或类似物)，用于将一卷或手风琴式的印刷介质(在任何关联的背层上)拉动通过扫描仪。代替采集标签图像的扫描仪，将可以使用在照相传感器上采集的各个标签的数字图像。然而，本发明的优选布置是将扫描仪安装为紧接在印刷机的印刷头的下游，使得一旦印刷了标签，就扫描标签以采集所印刷的标签的扫描图像序列。印刷机和扫描仪可以集成在单个机器中，或者可以是组合在一起的两个单独的物品。通常，在标签印刷系统被修改以进行其中标签准确度是关键的并且必须检查的印刷过程的情况下，是后者。

为了解决出现的任何印刷问题，在大多数实施例中重要的是标签检查“即时”进行并且与标签印刷过程同步，使得如果检测到缺陷，则能够暂停或减慢印刷过程，或者调节印刷参数，以解决引起缺陷的问题。在缺陷检测与分批印刷分开的分批操作过程中，任何有缺陷的标签仍将被检测到，但是如果任何缺陷证明在标签的一部分上是系统性的，那么将出现相当大的时间和材料浪费。

可能出现的缺陷包括信息从其预期位置的漂移、划痕、斑点或“黑点”、缺失的部分或点、条痕、条带以及强度变化。缺陷可以是孤立的，或者可能形成可能随着时间而变得更坏的趋势。一些缺陷可能要求拒绝标签，而其它缺陷不太关键并且能够被允许，或者可以用于指示可能需要印刷机维修。然而，对于关键应用，诸如医学、药学或药物试验应用，我们主要关注检测和响应必须被拒绝的标签。还必须认识到，不仅在印刷期间，而且在扫描过程期间都可能引入误差，因此相对于所输送的印刷介质(例如，标签阵列)的扫描仪对齐、稳定性和公差对于避免错误结果和不必要的拒绝是至关重要的。然而，印刷机误差趋于占主要地位，因为它们固有地比涉及光学相互的扫描仪更倾向于产生缺陷(通过各种模式)。

然后，将扫描的图像各自与代表预期或目标标签内容的参考图像进行比较，通常是逐个进行比较。在本发明中，参考图像是数字或电子的“电子图像”，其从样本标签的实际图像中导出，或者在优选实施例中，是要发送到标签印刷机的导出的印刷指令。

检验掩模的准备

发明人已经确认，在设置检验掩模和对其进行检修以使其可靠工作时涉及的许多步骤可以由简单的规则来定义。这些规则可能需要使用多次，用于在所示信息的性质和格式上具有潜在相似性的不同标签。因此创建向导以自动化这些规则的建立。向导试图通过为标签上的各个块(包括印刷在标签上的不同产品数据集)识别适当的检验工具和灵敏度，来创建标签的良好检验。

在优选方面，本发明的系统能够通过使用检验掩模向导和脚本自动地标记用于检验的标签。向导可以相对于先前获得的标签图像来运行，以获得临时掩模。然后，临时掩模可以用于检验过程。在由于标准以下的初始性能而需要对临时掩模进行微调的可能情况下，向导能够被设置为自动地对图像处理进行改变，或者可以向操作员标记改变掩模的建议，然后操作员能够调用该建议。临时掩模由向导使用检验向导预先分析标签格式和内容来制作，以选择正确的图像处理检验工具(例如，文本或图片)和各个工具的灵敏度选项。向导还可适于检查标签上重叠内容的区，并提供掩蔽协议以便正确地处理这些区。一旦临时检验掩模被形成，则进行测试标签检验以查看是否出现任何训练错误或警告。然而，优选地，没有训练图像或转换的训练图像存储在数据处理装置(或任何关联的数据存储设施)中。

对于标签格式上的各个能够印刷的块，向导将选择适当的检验工具、检验灵敏度和搜索区，并将继续测试：当呈现有块的理想表示时，视觉检验运行时间部件能够成功地识别各个块。如果任何块未能通过初始尝试，则向导将遵循关于如何调节检验参数的预定协议，以便迭代地达到成功的识别。

例如，向导处理标签上的块，其最初通过设置具有高灵敏度和紧密搜索区的“高质量”检验工具来开始。如果随后进行的检验不能被视觉运行时间部件在理想的环境下成功地识别，则向导可以被编程为选择使用具有中等灵敏度(而不是高灵敏度)和紧密搜索区的“高质量”检验工具，以便实现识别通过。一旦对于所有标签区域获得了通过，检验掩模就能够用于标签印刷和检验过程。

在训练/测试时间期间，向导能够被指示使用扫描的结果来允许检验掩模的手动修改。向导将提供对检验掩模进行改变的建议，该建议可以被用户接受或拒绝。替代地，用户可以手动修改掩模设置，以便根据需要进行调节，以满足检验要求。建议通常将以文本形式呈现给用户，该文本形式具有应用改变或查看更多细节的选项。如果是这种情况，则优选地向用户示出与所做出的建议有关的错误或问题的图形示例。

为了简化创建检验掩模的过程，检验掩模向导可以用于自动创建候选检验掩模，然后对于目标标签格式训练检验掩模。检验掩模向导脚本定义图像分析过程将如何将各种类型的所设计和印刷的标签块与在检验掩模配置内具体实施的各种检验工具、它们的灵敏度和所定义的搜索区的每一个进行关联。脚本还将定义向导在不能“训练”或识别特定块的情况下应当如何动作。

在本发明的一个更详细的示例中，向导在训练时所采取的一些步骤是：

1.如果标签具有带圆角的标签贴纸，则创建4个角的固定层。

2.对于各个块，将使用基于检验向导配置文件中的预定设置的默认检验工具、灵敏度和搜索区。对于某些类型的块，可以有附加的决策。

a.如果块是文本的，则基于文本大小(以及如果使用诸如中文的一些复杂字符)来选择检验的准确度。

b.如果块为图片，则确定图像是否抖动，并使用适当的设置。

c.如果块是条形码并且单个条码列的大小较小，则仅设置为读取条形码而不对其定级。

3.考虑块离标签的边缘远近，来将默认内边距添加到块。

4.检查是否有任何块重叠。如果有，则通过使用内边距来尝试和减小块大小。如果不能使用内边距，则在没有印刷内容的块上切除多个除外情况。可能存在最终内容可能未知的一些块，在这种情况下，向导可生成建议以供用户对除外情况切除作出决策。

当测试扫描的图像时，向导将尝试并用替代设置解决常见的检验错误。例如，如果没有发现角，则将尝试检测暗角的设置(即，如果标签贴纸比背景暗)。

印刷过程

一旦为用于印刷一批标签的标签准备了掩模，就能够进行印刷过程。图中的流程图【流程图】示意性地示出了印刷过程。取回先前形成的检验掩模(参见上文)。标签生成软件以传送给印刷机的印刷指令的形式提供第一个标签的图像信息。使用相同的图像信息来生成要印刷的标签的电子或数字图像(电子图像)。这包括将被印刷的任何图片、文本、边界。通过重新缩放分辨率以匹配在检验过程中使用的标签扫描仪的分辨率(在存在分辨率差异时，这通常是真实的，因为扫描仪的分辨率通常将高于印刷机图像的分辨率)并且应用模糊层以模仿由于扫描仪的性能限制而将发生的不可避免的图像模糊，来修改整个电子图像。

检验工具训练

使用电子图像作为测试图像来测试/训练检验工具。该过程经过标签中的各个区域/块，并且进行以下操作：

1.创建为该区域/块指定的检验工具的实例。

2.基于灵敏度(以及任何先前由用户指定的覆盖)设置检验工具的参数。

3.在工具上运行训练阶段。这将给出电子图像、区域的位置以及区域的内容。如果工具需要，这将生成区域的数学模型。如果需要，工具还可以诸如通过提取模糊来产生区域的不同图像。

在该阶段，不同的工具做不同的工作。一些工具将电子图像用于图像数据，其它工具不需要电子图像，而仅使用区域的描述来指示内容的性质。

一个重要的工具是文本和图片工具。其提取了电子图像的关键点，并且生成了在对扫描标签进行实际检验时使用的图像相减/比较阶段中使用的各种模糊图像。

同时，标签图像被印刷到设置在可释放的背层上的标签上。印刷的图像由设置为紧接在印刷机印刷头下游的扫描仪来扫描。扫描的图像将具有由扫描仪特性或设置规定的分辨率，并且可能经受由扫描过程引起的扫描伪影以及由印刷图像中存在的印刷缺陷引起的伪影。

标签检验过程

然后，扫描的标签图像经受称为检验标签的检验过程。这运行不同的检验工具来针对电子图像检验扫描的标签。一组工具首先运行以找到标签内容的粗略位置(在大多数情况下从标签角开始)。一旦这些工具已经运行，则运行其余的工具。

对于各个区域，检验步骤：

1.使用在“训练检验工具”阶段创建的工具的实例。

2.给予该模块扫描的标签图像。

3.给予该模块从扫描的图像到训练的(电子图像)上的位置的变换。这是可以预期找到内容的粗略位置。

各个工具使用所提供的信息和它建立的任何模型，或者在训练阶段期间已经提供的信息，以进行检验。

文本和图片工具从扫描的标签图像中提取感兴趣区域。然后其将提取关键点。其将尝试并将它们与电子图像上的对应关键点匹配，如下所述。

特征提取

在参考电子图像与扫描图像之间的标签比较处理的重要部分是特征匹配步骤，在该步骤中，表征特征充当定义其它标签内容或区域的位置能够相对于的基准(或关键点)。在这种背景下，这种特征可以是边缘或优选地是角，或者是数学函数的结果，诸如在(x和y)两个方向上的偏导数。滤波器找到图像中的所有潜在特征。因为可能存在许多类似的特征，所以定义“描述符”来帮助匹配所寻求的表征特征。描述符是描述特征周围的图像区域的抽象方式。

习惯作法是寻找角状物体。该过程涉及大量且复杂的计算。定制现成的计算方法以能够匹配宽范围的图像，而不管图像的任何平移、旋转、歪斜或缩放如何。将来自电子图像的描述符与来自扫描图像的最相似的描述符进行比较。在许多可能的候选特征中，最佳匹配描述符被选择为在电子图像与扫描图像之间。因为将会发生由于旋转或平移或缩放引起的失配的量化，所以不能依赖于位置信息。为了处理缩放失配，将源图像缩放至多个级别，并且为这些级别中的每一个提取特征/描述符。这样，匹配过程就变成比例不变的。为了处理旋转，选择旋转不变描述符的形式。使用多缩放特征及其描述符能够大量增加处理时间。类似地，旋转不变描述符的使用会用到附加的处理时间。实际上，在单个标签中提取诸如角及其描述符的特征可能花费几秒钟。这意味着，用于标签的检验掩模的训练可能花费大量时间，这在进行现有技术的分批印刷过程很早之前朝向进行该步骤减轻。

本发明人已经认识到，对于印刷的且然后扫描的标签的分析，不需要在特征提取和描述符过程中使用缩放和旋转不变特征的能力。实际上，扫描图像将具有已知的分辨率，并且与参考电子图像相比通常仅示出非常轻微的旋转和缩放变化。可以预期看到标签的部分中的轻微局部缩放和旋转变化。然而，既不需要多缩放特征，也不需要提取多缩放集合或描述符。类似地，不需要旋转不变描述符。因此可以简化计算过程，并且可以从根本上减少处理时间。

此外，本发明人已经确认，所提取的特征(关键点)的匹配代表图像比较处理中的限制步骤。由于发现假阳性(假匹配)，尤其是由于存在诸如类似但不是目标关键点的“离群值”，因此前面提及的“最佳匹配”步骤可能是耗时的。重要的是使来自扫描图像的关键点与电子图像的关键点匹配，以便形成要应用于扫描图像的变换，以确保扫描图像和电子图像的一致配准在比较步骤期间是潜在可能的。用于创建这种变换的公式涉及求解或近似联立方程，这可能是耗时的，并且对于假阳性是浪费的，甚至潜在地产生将破坏整个标签比较过程的错误变换。

排除离群值的现有技术方法被称为随机采样和普查(RANSAC)。这是一个“试错”过程，在该过程中，从图像中选择3或4组关键点对。检查这些关键点对是否位于直线上。为这些点计算变换(即，假定它们是正确的目标特征)。将变换应用于所有其它点。对这些点进行普查，以证实它们是否在彼此的合理的终止距离(end distance)内。如果否(即超过某一阈值)，则放弃该试验，并挑选替代的随机点，该过程再次开始。提供最近的终止距离公差的点被用于发展该变换。当存在大量离群关键点时，该过程可能花费很长时间并且可能生成坏的变换。

当检验标签时，每当字母在给定区中重复时，文本的存在能够创建多个非唯一关键点。再次，图像的较大的旋转和缩放由于将其限制为微小的局部效应的印刷和扫描过程的约束而不发生。前者是个问题，并且可能使匹配更加困难。后者提供了简化图像处理中的计算的可能性。因为电子图像和扫描图像的图像大小是已知的并且能够匹配，所以当将关键点彼此匹配时，可以使用位置信息。所提取的位置信息是相对的而不是绝对的。

因此，根据本发明的另一方面，提供了一种将从电子图像中提取的关键点与扫描图像的关键点进行匹配的方法，其中，在x和y位移轴两者上计算图像的平移。然后创建表示关键点的频率作为相对位移的函数的直方图。

通过合并(binning)在直方图峰值的预定较小距离内(在一个示例中为在10个像素内)不具有平移位移的对，来形成实际关键点对的列表。由此，移除重复的关键点对，如同大多数离群关键点一样。因此，RANSAC阶段所需的计算处理被显著地减少，因此运行更快并且给出更可靠的变换。

因此，在检验掩模中定义的检验工具应用于先前识别的出现在掩模中且与工具相关联的特征、块以及区。作为检验过程的一部分，在扫描图像上识别标签。这可以通过识别某些固定特征(固定部)来进行。由于大多数标签具有弯曲的角特征，因此角可以用于该目的，并且定义“固定层”。图像在印刷期间的任何图像偏移或旋转或畸变将反映于角的预期位置的失配或畸变。由此，计算变换并将其应用于扫描图像，以便提供更好的匹配并允许扫描图像和电子图像标签内容的有效比较。

然后，通过先前选择的检验工具并根据诸如灵敏度、内边距(padding)等的关联参数，逐块或逐特征地分析扫描图像。因为选择了适当的工具并将其应用于局部区，所以与作为整体分析整个图像相比，图像处理更有效且耗时更少。

将来自扫描图像的文本块和图片块与从电子图像中分离的对应文本块和图片块进行比较。进行黄金模板比较(GTC)，由此，图像被重叠、变换并(如果需要，被缩放)以给出最佳配合，然后将图像彼此相减，以给出差别图像。美国专利5640200中更详细地描述了GTC过程的一个示例。

基于该差别(或失配)是否超过特定阈值，通过或拒绝标签。比如，文本或图像的缺失部分超出某一大小可以被认为是缺陷。

串行化数据

在标签上存在串行化数据(即，因标签而异的信息，诸如序列号或患者号)的情况下，将从印刷机指令导出的电子图像进行更新，以反映各个增量变化，从而电子图像信息将匹配于用于顺序印刷的标签的印刷和扫描图像。

具体实施例

图3的截屏中示出了概念印刷医疗装置标签10的简单示例。该标签包括具有带圆角12的大体长方形平面的纸片11。标签具有贴附到背层14的自粘的背面(不可见)。在标签的上端区域，存在用于示出产品批次数据的字母数字表示的文本13的区域。文本具有特定的字体设计、字体大小和字符间距。在批次数据下面还有示出产品描述信息的文本15。在这种情况下，字体设计、字体大小和字符间距与批次数据文本相匹配。在标签的中间区域存在示出了欧洲认证(CE)标志的简单图片16。其包括两种字体的混合。一种大字体用于CE，另一种较小字体用于右手侧的数字0473。在标签的下部区域是待贴标签的医疗装置的单色调抖动灰度图片17。

为了从该标签生成检验掩模，将长方形检验块18、19、20、21应用于四个文本中的每一个、以及用于标签角的角块22、23(图4)。对于各个块，运行检验向导脚本。因此在图5中，能够看到在被应用于标签之前的向导。一旦运行了向导，就能够查看或修改一系列对话框。存在调用向导的使用的开关。该向导使用标签格式规范来识别各个块(即，文本、或图片、抖动图片、条形码(如果存在)、非拉丁脚本(例如，阿拉伯语或中文))中的信息的性质。然后，对各个块(或区域)应用适当的检验工具。然后，向各个块应用一些预定的默认参数值。

向导遍历标签的各个块，并为将在实际标签检验过程期间使用的设置分配适当的“第一次尝试”。这包括从图像识别工具包(标签角工具、文本工具、图形工具、抖动图形工具等)中选择适当的检验工具。各种灵敏度水平可用于各种工具——低、中等和高。与块相关联的搜索区相对于块通常以“紧密”来开始，作为矩形延伸稍微超出块周界。内边距在所有的块边上通常被设置为0.5mm。

因此，向导最初识别标签的圆角22、23，然后它们作为参考点，从中能够基于标签格式的预先存在的知识来导出其它标签特征的预期位置。然后评估标签块，并且为各个块填充要尝试的工具和灵敏度。因此对于本示例，指定了用于掩模向导图5的以下设置：

·角——左上、右上、左下、右下

ο固定部：标签贴纸

ο固定点

ο检验工具：标签角

ο灵敏度：中等

ο搜索区：细且长

ο矩形：4mm x 4mm

然后识别批次数据文本，并指定适当的检验工具“文本”。灵敏度被设置为默认的“中等”。“搜索区”是紧密的，并且在块的所有边上应用0.5mm的内边距：

·文本——批次数据

ο固定部：标签贴纸

ο检验工具：文本

ο灵敏度：中等

ο搜索区：紧密

ο内边距：所有侧为0.5mm

为产品描述填充类似的设置集：

·文本——产品描述

ο固定部：标签贴纸

ο检验工具：文本

ο灵敏度：中等

ο搜索区：紧密

ο内边距：所有侧为0.5mm

认证标志图片调用细节：

·图片——CE标志

ο固定部：标签贴纸

ο检验工具：图形

ο灵敏度：高

ο搜索区：紧密

ο内边距：所有侧为0.5mm

·图片——产品图像

ο固定部：标签贴纸

ο检验工具：抖动的图形

ο灵敏度：高

ο搜索区：紧密

ο内边距：所有侧为0.5mm

总之，本发明在一个方面提供了一种产品标签印刷和检查系统，该产品标签印刷和检查系统包括数据处理装置，被配置为：控制产品标签的印刷；控制通过诸如光学扫描仪的图像采集装置进行的所印刷的标签的图像的采集和接收；以及检查所印刷的标签是否有缺陷，其中，各个所印刷的标签符合该标签的标签格式规范，凭此，标签具有共同的布局并且包括位于标签上的一个或多个区域中的与所印刷的产品有关的信息，其中，数据处理装置包括标签检查模块，在标签检查模块中提供标签的参考图像，并且检查模块被配置为使得：根据与标签区域中的预期信息内容和位置有关的预定质量控制指示符，将所采集的图像与参考图像顺序地进行比较，并且其中，如果标签不符合，则标记标签以供复查或拒绝。标签格式规范可以在印刷过程之前以可访问文件的形式确定和/或存储。然后，在使用该标签格式的印刷过程之前，可以由系统检索对其进行检索。在本发明的一个方面，标签格式规范可以用于提供要发送到印刷机以用于印刷各个标签的指令。由此，通过汇编用于标签区域位置、区域信息和检验工具以及可选的检验工具参数的规范，可以实时配置参考图像及其关联的检验掩模。