基于机器视觉的工业智能质检设备及边云协同质检方法

技术领域

本发明属于工业产品智能质检领域，涉及一种基于机器视觉的工业智能质检设备及边云协同质检方法。

背景技术

在工业产品的加工生产过程中，往往会出现许多质量存在缺陷的不合格产品。这些导致大量的资源和时间浪费，并且，未能及时挑选出这些质量存在缺陷的产品，将会给生产企业带来巨大麻烦。因此，在企业的生产过程中，实现产品质检变得尤为重要。

尽管现代工业产品视觉质检技术已经取得了很大进步，但目前仍存在一些弊端。例如，在生产过程中产生的数据量很大，传统的产品质检设备往往需要耗费大量的时间和资源进行数据处理和分析，导致效率较低；在任务调度方面，传统的产品图像调度系统通常需要人工进行操作和管理，容易出现调度不当、任务堵塞等问题，影响系统的正常运行；在速度方面，由于产品质量视觉检测需要在生产线实时进行，因此系统的检测速度也是一个重要的指标。传统的产品质量视觉检测系统速度较慢，无法满足生产线实时检测的需求。

发明内容

有鉴于此，本发明的目的在于提供一种基于机器视觉的工业智能质检设备及边云协同质检方法，利用边缘计算和人工智能算法进行产品质量视觉检测，提高检测精度，并引入边云协同来解决生产过程中数据量过大时，难以保证数据存储及实时处理的问题。

为达到上述目的，本发明提供如下技术方案：

一种基于机器视觉的边云协同质检方法，该方法包括以下步骤：

1)采集工业生产加工环节中的产品图像，对有缺陷的产品图像的缺陷种类名称进行记录；

2)将筛选出的缺陷产品图像打上标签，并将标签数据格式转化为VOC数据集格式；

3)使用数据集训练基于深度学习的用于工业产品智能质检的算法模型，将训练好的算法模型封装后部署到边缘服务器和云服务器中；

4)通过高精度工业相机对实际工业生产加工环节中的产品进行图像采集，并将图像传输至边缘服务器中通过产品智能质检算法进行产品质量检测，记录缺陷产品种类及数量，并通过显示器可视化地展示。

本发明为避免输入的数据量过大导致边缘服务器无法满足实时监测的要求，因此采用边云协同调度算法协同调用边缘服务器和云服务器的资源以保证数据的存储及实时处理。

边云协同调度算法具体如下：

S1、计算在边缘服务器运行的目标识别任务的数量；

S2、确定使所有的在边缘服务器e

S3、获取各个目标识别任务的计算时间和数据的传输时间，并对目标识别任务的计算时间和数据的传输时间进行约束，以保证目标识别任务的时效性；

S4、将所有的目标识别任务按照深度学习任务的输入数据大小进行升序排序；

S5、对排序后的目标识别任务依次进行判断，所述判断具体为：对于一目标识别任务t，若剩余服务能力和剩余宽带的乘积最大的边缘服务器e能够满足步骤S2和S3中的约束条件，则在该边缘服务器e上运行目标识别任务t；若边缘服务器不满足步骤S2和S3中的约束条件，则改变所述产品智能质检算法的神经网络的层数k使边缘服务器e满足步骤S2和S3中的约束条件；若遍历所有的k值后边缘服务器e仍不能满足步骤S2和S3中的约束条件，则将第k′层神经网络之前的数据留在边缘服务器中处理，第k′层神经网络之后的数据传输至云服务器中处理。其中的第k′层神经网络是指使得边缘服务器e的计算开销最大的神经网络层。

进一步地，步骤S2中的约束条件具体为：

式中，b

进一步地，步骤S3中，对于目标识别任务的计算时间和数据的传输时间的约束条件为：

式中，E表示所有的边缘服务器的集合；T表示所有的目标识别任务的集合；X

Q

Q

式中，l

方案二、一种基于机器视觉的工业智能质检设备，该设备包括工业线扫相机、光源、产品传送装置、产品图像采集暗箱、边缘服务器和控制显示屏。其中工业线扫相机和光源设在产品图像采集暗箱中，产品图像采集暗箱设在产品传送装置上方；工业线扫相机和控制显示屏与边缘服务器连接，其中控制显示屏用于可视化地展示产品质检情况。边缘服务器与云服务器无线连接。在边缘服务器中部署有方案一所述的基于机器视觉的边云协同工业质检方法，以进行工业产品的智能质检。

本发明的有益效果在于：本发明利用边云协同和深度学习方法解决产品图像采集系统和产品智能质检算法模型配合工作时任务不能合理调度以及处理数据量大时传输时延较大的问题，提出一个具有图像采集、图像处理以及结果存储反馈等一套功能的实时产品智能质检设备。通过摄像头等设备对产品进行拍摄，将图像数据传输到边缘计算节点中进行初步处理和分析；然后将检测结果反馈给生产线进行实时控制。同时，本发明还提出了边云协同的资源调度算法，可协同调用边缘服务器和云服务器的资源以保证产品质检的实时性。本发明具有较高的普适性，可广泛应用于各种工业生产领域的视觉质检中，为生产企业提供高效、准确和稳定的数据处理和分析解决方案。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明智能质检流程图；

图2为本发明智能质检设备框架结构图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明一实施例如图1所示，为一种基于机器视觉的边云协同质检方法，该方法具体如下：

1)数据集构建：

1-1、利用高精度工业相机在实际工业生产加工环节中进行产品图像采集；

1-2、将采集到的大量图像数据中有缺陷的产品的图像筛选出来；

1-3、对有缺陷的产品图像的缺陷种类名称进行记录；

1-4、使用labelImage工具将筛选出来的产品图像打上相应的标签；

1-5、将打好的标签数据格式转化成VOC数据集格式；

1-6、将标签数据及图像按照1：4的比例划分为测试集和训练集。

2)训练质检算法

2-1、将基于深度学习的用于工业质检的算法模型在构建好的数据集上进行50轮训练；

2-2、在不同环境下对算法模型进行训练，得到不同环境下的数据集；

2-3、将步骤2-1得到的模型在新的数据集上进行增量训练；

2-4、反复重复步骤2-2和步骤2-3，直到模型可以精准地对缺陷产品图像进行检测。

3)部署训练模型：将训练得到的模型进行封装，并将封装好的模型部署到边缘服务器上。

该方法为解决生产过程中数据量过大时，难以保证数据存储及实时处理的问题，通过利用边云协同的方式实现数据及任务的调度，利用云端和边缘的特性，实现实时处理大量数据和任务，具体如下：

S1、确定在边缘服务器运行的目标识别任务的数量M

式中，E表示所有的边缘服务器的集合，并令e

S2、确定一约束条件，该约束条件为：所有在边缘服务器e

式中，b

S3、获取各个目标识别任务的计算时间Q

Q

式中，r

S4、为了保证目标识别任务的时效性，对目标识别任务的计算时间Q

式中，Q

S5、对于每个目标识别任务，遍历其所有的k，求得使l

S6、遍历所有的边缘服务器，找到当前情况下具有最强剩余服务能力的边缘服务器。

S7、将所有的目标识别任务先按照深度学习任务的输入数据大小进行升序排序。

S8、依次对排序后的每个目标识别任务进行判断：对于目标识别任务t，若剩余服务能力和剩余带宽乘积最大的边缘服务器e能够满足上述提出的两个约束条件，则在该边缘服务器e上运行该任务t，若该边缘服务器e不满足约束条件，则改变k的值，直至满足约束条件；若改变k后仍不能满足约束条件，则将该目标识别任务的前k层(此处k的值需回到步骤S5中所述的k值)神经网络的数据留在边缘服务器中进行处理，第k层以后的神经网络的数据上传至云服务器进行处理。

本发明另一实施例如图2所示，为一种基于机器视觉的工业智能质检设备，该设备包括：工业线扫相机、光源、产品传送装置、边缘服务器和产品图像采集暗箱。其中工业线扫相机和光源设在产品图像采集暗箱内，减少周围环境所带来的噪声干扰，提升产品图像检测的精度。在产品图像采集暗箱的外壁上设有控制显示屏，该控制显示屏能够实时地展示产品图象检测结果。边缘服务器中部署有产品智能质检算法模型，该模型对相机拍摄得到的照片进行产品质量检测，同时边缘服务器统计缺陷产品种类及数量，并传输至控制显示屏上以可视化的形式展示。此外，边缘服务器还与云服务器无线连接，可见部分数据传输至云服务器进行处理。

该设备的工作过程如下：

1)打开工业线扫相机及光源，确保相机可以清晰地拍摄产品传送装置上被传输的产品。

2)通过控制显示屏操作部署好的可视化界面软件，使得检测结果可以展示在显示屏上。

3)开启产品传送装置，将混有缺陷产品的工业产品放到产品传送装置上，使其匀速通过相机拍摄区域。

4)相机对通过拍摄区域的工业产品进行拍照，根据边云协同调度算法将拍摄得到的照片部署在边缘服务器上或者上传到云服务器上，边缘服务器或者云服务器上的产品智能质检算法模型进行产品质量检测，并统计缺陷产品种类及数量。

5)边缘服务器会将产品质量检测情况以及缺陷产品种类数量统计情况以可视化的形式在控制显示屏上展示出来。

6)缺陷产品检测图像被存储在边缘服务器上，方便用户进行缺陷产品图像回放。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。