一种基于生产线上的产品质量确定方法和装置

技术领域

本申请涉及分拣技术领域，尤其涉及一种基于生产线上的产品质量确定方法和装置。

背景技术

我国目前有数万条食品本地生产线。工业自动化和智能化水平是衡量国家综合国力的重要指标之一。研发集约型、高精度、高速度的智能管控系统成为液态本地行业发展的必然趋势，全面推广应用对提高生产检测效率、保证食品生产质量、增强企业效益，无疑都将产生积极的影响。

制造业工厂现场在进行品检时，需要将质量不合格的产品分拣出来。随着自动化的不断发展，传统的人工分拣显然已经不能满足当下流水线的工作，传统的人工分拣方法，成本较高，效率低下，前期可能准确率很高，但是在长期作业的情况下，容易产生疲劳，导致误检的情况出现。自动化分拣系统可以极大的节约成本，且在长时间分拣的情况下能保证分拣效率。

一般制造业工厂具有多条生产线，自动化分析系统只能针对其中一条生产线判别产品为良品或不良品，在生产线较多的情况下，这样的判别模式就导致产品质量的判别效率低下。

发明内容

本申请实施例的目的在于提供一种基于生产线上的产品质量确定方法和装置，以解决产品质量的判别效率低下的问题。具体技术方案如下：

第一方面，提供了一种基于生产线上的产品质量确定方法，所述方法包括：

获取拍摄有待测试产品的至少两个子图像，其中，每个所述子图像中具有一个待测试产品，不同子图像中的待测试产品不同，每个所述待测试产品位于一条生产线上；

根据所述至少两个子图像中待测试产品的总数量启动相同数量的线程，其中，每个所述线程对应一条生产线；

采用多线程并行处理技术，控制多个线程同时对生产线上的不同子图像进行分析，识别所述子图像中的待测试产品的质量类别，其中，每个线程用于分析一个子图像，多个线程调用同一个识别模型进行图像分析，所述质量类别包括质量合格或质量不合格。

可选地，获取拍摄有待测试产品的至少两个子图像包括：

获取第一拍摄装置发送的总图像，其中，所述生产线上设有一个第一拍摄装置，所述第一拍摄装置用于拍摄全部生产线，所述总图像中包含每条生产线上的一个待测试产品；

根据所述总图像中待测试产品的总数量，将所述总图像拆分为相同数量的子图像。

可选地，获取拍摄有待测试产品的至少两个子图像包括：

获取每个第二拍摄装置发送的一个部分图像，其中，所述生产线上设有多个第二拍摄装置，所述第二拍摄装置用于拍摄至少两条生产线，所述部分图像中包含拍摄的每条生产线上的一个待测试产品；

根据所述部分图像中待测试产品的总数量，将每个所述部分图像拆分为对应的待测试产品的数量的子图像。

可选地，获取拍摄装置发送的图像之前，所述方法还包括：

通过光电传感器检测到光电信号的情况下，触发拍摄装置对所述待测试产品进行拍摄。

可选地，控制补光设备对生产线上的待拍摄的待测试产品进行进行补光之前，所述方法还包括：

控制每条生产线上待拍摄的待测试产品位于同一水平方向，其中，所述水平方向和所述生产线的方向垂直。

可选地，控制每个线程调用识别模型对一个子图像进行分析包括：

遍历获取到的每个子图像；

提取所述子图像中仅包括所述待测试产品的产品图像；

将所述产品图像缩放至预设尺寸；

控制每个线程调用识别模型对一个产品图像进行分析。

可选地，所述控制每个线程调用识别模型对一个子图像进行分析，识别所述子图像中的待测试产品的质量类别包括：

针对每个线程同时执行如下操作；

将所述子图像输入所述识别模型；

通过所述识别模型对所述子图像中的待测试产品进行分类，确定所述待测试产品是否符合质量要求。

第二方面，提供了一种基于生产线上的产品质量确定装置，所述装置包括：

获取模块，用于获取拍摄有待测试产品的至少两个子图像，其中，每个所述子图像中具有一个待测试产品，不同子图像中的待测试产品不同，每个所述待测试产品位于一条生产线上；

启动模块，用于根据所述至少两个子图像中待测试产品的总数量启动相同数量的线程，其中，每个所述线程对应一条生产线；

控制模块，用于采用多线程并行处理技术，控制多个线程同时对生产线上的不同子图像进行分析，识别所述子图像中的待测试产品的质量类别，其中，每个线程用于分析一个子图像，多个线程调用同一个识别模型进行图像分析，所述质量类别包括质量合格或质量不合格。

第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现任一所述的基于生产线上的产品质量确定方法步骤。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的基于生产线上的产品质量确定方法步骤。

本申请实施例有益效果：

本申请实施例提供了一种基于生产线上的产品质量确定方法，服务器获取多个子图像，每个子图像中包括一条生产线上的一个待测试产品，不同子图像中的待测试产品不同，然后启动和待测试产品的总数量相同的线程，采用多线程并行处理技术，每个线程均调用识别模型对一个子图像进行处理，这样即同时采用多个线程同时对生产线上的多个子图像进行处理，使图像采集、图像处理和结果输出等多个单元并发执行，同时得到多个待测试产品的产品质量，相对于现有技术只能采用一个线程针对一个图像进行识别，提高了产品质量的判别效率。

当然，实施本申请的任一产品或方法并不一定需要同时达到以上的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的识别模型的训练过程；

图2为本申请实施例提供的识别模型的使用过程；

图3为本申请实施例提供的一种基于生产线上的产品质量确定的方法流程图；

图4为本申请实施例提供的两路生产线的一个输出结果示意图；

图5为本申请实施例提供的两路生产线的另一个输出结果示意图；

图6为本申请实施例提供的一种基于生产线上的产品质量确定装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。

为了解决背景技术中提及的问题，根据本申请实施例的一方面，提供了一种基于生产线上的产品质量确定方法的实施例。

可选地，在本申请实施例中，上述基于生产线上的产品质量确定方法可以应用于由补光装置、光电传感器、拍摄装置、生产线、服务器103所构成的系统中。

本申请实施例提供了一种基于生产线上的产品质量确定方法，可以应用服务器，用于提高产品质量的判别效率。

下面将结合具体实施方式，对本申请实施例提供的一种基于生产线上的产品质量确定方法进行详细的说明，如图1所示，具体步骤如下：

步骤101：获取拍摄有待测试产品的至少两个子图像。

其中，每个子图像中具有一个待测试产品，不同子图像中的待测试产品不同，每个待测试产品位于一条生产线上。

在本申请实施例中，拍摄装置对生产线上的待测试产品进行拍摄，然后拍摄的图像发送至服务器，服务器对图像进行分析，得到至少两个子图像，每个子图像中具有一个待测试产品，不同子图像中的待测试产品不同，每个待测试产品位于一条生产线上。也就是说，每个子图像中具有一条生产线上的一个待测试产品。

步骤102：根据至少两个子图像中待测试产品的总数量启动相同数量的线程。

其中，每个线程对应一条生产线。

服务器综合每个子图像中待测试产品的总数量，然后启动同样数量的线程，由于每个待测试产品位于一条生产线上，这样每个线程对应一条生产线，由于每个子图像中包含一条生产线，即每个线程用于对其中一个子图像进行处理。

步骤103：采用多线程并行处理技术，控制多个线程同时对生产线上的不同子图像进行分析，识别子图像中的待测试产品的质量类别。

其中，每个线程用于分析一个子图像，多个线程调用同一个识别模型进行图像分析，质量类别包括质量合格或质量不合格。

服务器采用多线程并行处理技术，控制每个线程对一个子图像进行分析，也就是说，多个线程同时对生产线上的不同的子图像进行分析，多个线程调用同一个识别模型进行图像分析，即将子图像输入识别模型，识别模型确定该子图像的待测试产品的质量类别，从而确定该待测试产品质量合格或质量不合格。

服务器可以将识别结果传输给PLC工业产线，从而调整产线以提高产品质量符合率，实现了对生产设备故障隐患在线分析和预警。

在本申请中，服务器获取多个子图像，每个子图像中包括一条生产线上的一个待测试产品，不同子图像中的待测试产品不同，然后启动和待测试产品的总数量相同的线程，采用多线程并行处理技术，每个线程均调用识别模型对一个子图像进行处理，这样即同时采用多个线程同时对生产线上的多个子图像进行处理，使图像采集、图像处理和结果输出等多个单元并发执行，同时得到多个待测试产品的产品质量，相对于现有技术只能采用一个线程针对一个图像进行识别，提高了产品质量的判别效率。

作为一种可选的实施方式，获取拍摄有待测试产品的至少两个子图像包括两种实施例：

在一种实施例中，通过调整拍摄装置的高度和焦距，使得所有生产线都位于拍摄视野内，并且焦距最佳，这时采用一个第一拍摄装置对全部生产线进行拍摄，得到总图像，总图像中包含有每条生产线上的一个待测试产品，服务器得到总图像后，根据总图像中待测试产品的总数量，将总图像拆分为相同数量的子图像，这样每个子图像中包含一条生产线上的一个产品。

在另一种实施例中，通过调整拍摄装置的高度和焦距，使得部分生产线都位于拍摄视野内，并且焦距最佳，生产线上设有多个第二拍摄装置，这时采用第二拍摄装置对部分生产线进行拍摄，其中，部分生产线大于一条且小于全部生产线的数量，这样服务器得到多个部分图像，然后按照部分图像中包含的待测试产品的数量，对部分图像进行拆分，得到包含一条生产线上具有一个待测试产品的子图像。

在又一种实施例中，生产线上设有多个第三拍摄装置，采用每个第三拍摄装置对一条生产线进行拍摄，得到一个子图像，这样拍摄全部的生产线需要多个第三拍摄装置，服务器得到子图像后可以直接进行后续启动线程的操作。

作为一种可选的实施方式，获取拍摄装置发送的图像之前，方法还包括：每条生产线上具有多个待测试产品，只有一个待测试产品是即将进行拍摄并上传至服务器的，为了使第一拍摄装置或第二拍摄装置能够同时拍摄到多个待测试产品，可以控制每条生产线上待拍摄的待测试产品位于同一水平方向，水平方向和生产线的方向垂直。这样拍摄装置在其拍摄角度内，可以同时拍摄到多个待测试产品。

在生产线上加入光源进行补光，减少光照度的变化，由于触发拍摄装置还需要光电信号，因此，本申请通过光电传感器触发拍摄装置对待测试产品进行拍摄。

可选地，服务器在启动线程之前，需要遍历获取到的每个子图像，然后通过ROI(region of interest，感兴趣区域)提取子图像中仅包括待测试产品的产品图像，然后将产品图像缩放至预设尺寸，控制每个线程调用识别模型对一个产品图像进行分析。

若子图像尺寸过大，会导致图像分析效率降低，或子图像尺寸过小，会导致图像分析准确度降低，因此，本申请将子图像的尺寸缩放到预设尺寸，可以综合调整图像的分析效率和准确度，使图像分析效率和准确度达到一个平衡。

可选的，在使用识别模型之前，需要对初始模型进行训练，其过程为：通过图像采集模块来采集产品图像，生产流水线上的产品在补光的环境下，通过光电传感器触发，通信模块收到触发信号，控制工业相机采集产品图像(示例性的，每秒钟采集一帧)；所采集到的产

品图像进行缩放的预处理，然后添加到对应的样本文件夹中，作为对5应产品训练的样本图像。在训练模型阶段，将检测目标完好且满足质

量需求的样本称为正样本，其他的称为负样本，通过对正负样本的不同姿态进行采集，保证正负样本比例为1:1；在模型测试阶段，从相机中获取测试图像，对测试图像进行预处理后送入初始模型，对产品质

量实时动态检测。此处提供了三种常用的机器学习识别算法：SVM0(SupportVector Machine，支持向量机)模型，Adaboost模型和RF(Random Forest，随机森林)模型，可以利用采集到的样本分别对三个模型进行训练，并调整训练参数，得到最佳模型。将测试图像的输出结果，与已知类别的产品图像的输出结果，进行类别的对比，经过不断的调整模型参数，得到最终的识别模型。

图2为识别模型的训练过程。调整相机的高度和焦距，使得所需

要的生产线都位于视野内，并且焦距最佳，用光电传感信号来控制工业相机采集图像，加入光源负责补光，尽可能减少光照度的变化，以及算法结果的信号输出。对正负样本的不同姿态进行采集，训练SVM模型，Adaboost模型或RF模型，最后得到识别模型。

图3为识别模型的使用过程。选取其中一个模型进行产品类别的识别，通过实时测试，输出产品的质量结果。

图4为两路生产线的一个输出结果示意图，可以看出，1代表产品合格，0代表产品不合格，那么图4中的两路产品都合格。

图5为两路生产线的另一个输出结果示意图，可以看出，那么图5中的两路产品一个合格，一个不合格。

基于相同的技术构思，本申请实施例还提供了一种基于生产线上的产品质量确定装置，如图6所示，该装置包括：

获取模块601，用于获取拍摄有待测试产品的至少两个子图像，其中，每个子图像中具有一个待测试产品，不同子图像中的待测试产品不同，每个待测试产品位于一条生产线上；

启动模块602，用于根据至少两个子图像中待测试产品的总数量启动相同数量的线程，其中，每个线程对应一条生产线；

控制模块603，用于采用多线程并行处理技术，控制多个线程同时对生产线上的不同子图像进行分析，识别子图像中的待测试产品的质量类别，其中，每个线程用于分析一个子图像，多个线程调用同一个识别模型进行图像分析，质量类别包括质量合格或质量不合格。

可选地，获取模块601用于：

获取第一拍摄装置发送的总图像，其中，生产线上设有一个第一拍摄装置，第一拍摄装置用于拍摄全部生产线，总图像中包含每条生产线上的一个待测试产品；

根据总图像中待测试产品的总数量，将总图像拆分为相同数量的子图像。

可选地，获取模块601用于：

获取每个第二拍摄装置发送的一个部分图像，其中，生产线上设有多个第二拍摄装置，第二拍摄装置用于拍摄至少两条生产线，部分图像中包含拍摄的每条生产线上的一个待测试产品；

根据部分图像中待测试产品的总数量，将每个部分图像拆分为对应的待测试产品的数量的子图像。

可选地，该装置还用于：

控制补光设备对生产线上的待拍摄的待测试产品进行进行补光；

通过光电传感器检测到光电信号的情况下，触发拍摄装置对待测试产品进行拍摄。

可选地，该装置还用于：

控制每条生产线上待拍摄的待测试产品位于同一水平方向，其中，水平方向和生产线的方向垂直。

可选地，控制模块603用于：

遍历获取到的每个子图像；

提取子图像中仅包括待测试产品的产品图像；

将产品图像缩放至预设尺寸；

控制每个线程调用识别模型对一个产品图像进行分析。

可选地，控制模块603用于：

针对每个线程同时执行如下操作；

将子图像输入识别模型；

通过识别模型对子图像中的待测试产品进行分类，确定待测试产品是否符合质量要求。

根据本申请实施例的另一方面，本申请提供了一种电子设备，如图7所示，包括存储器703、处理器701、通信接口702及通信总线704，存储器703中存储有可在处理器701上运行的计算机程序，存储器703、处理器701通过通信接口702和通信总线704进行通信，处理器701执行计算机程序时实现上述方法的步骤。

上述电子设备中的存储器、处理器通过通信总线和通信接口进行通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。

存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

根据本申请实施例的又一方面还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质。

可选地，在本申请实施例中，计算机可读介质被设置为存储用于所述处理器执行上述方法的程序代码。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

本申请实施例在具体实现时，可以参阅上述各个实施例，具有相应的技术效果。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的单元来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。