一种基于深度学习的聚乙烯颗粒缺陷检测识别系统及方法

技术领域

本发明涉及聚乙烯颗粒缺陷识别技术领域，特别涉及一种基于深度学习的聚乙烯颗粒缺陷检测识别系统，本发明还涉及一种基于深度学习的聚乙烯颗粒缺陷检测识别方法。

背景技术

聚乙烯是一种重要的石油化工聚合物，用途广泛，生产效益好。但生产中受造粒机组年久运行、茂金属催化剂结焦等因素影响，产品偶见色粒、黑粒等不合格颗粒，影响产品整体质量和企业经济效益。

国内外针对聚乙烯颗粒自动化质检的技术较少，现有技术方案多基于传统的图像处理方法进行筛选，检测效率和系统的吞吐量都较低。另外，目前多数企业对部分产品人工质检筛除劣质颗粒，对余下产品降级降价销售。人工质检效率低，漏检率高。因此，生产线末端高效率智能化质检系统十分必要。

传统的机器视觉设备大多数硬件架构都是采用一台基于CPU的控制器，视觉处理程序一般位于Windows系统中的非实时用户模式中，进行代码分析和算法处理；而工艺流程自动化控制则多位于实时内核模式之中。由于非实时用户模式的任务执行机制采用的是优先级别，因此当CPU的负荷过高、内存过大、处理流程过多时，就可能会出现卡顿的现象，使得在非实时用户模式下的机器视觉在完成同一检测任务时最终所需要花费的时间却不一样，导致减慢生产节拍，影响生产效率；

申请号为CN201711003292.4的中国发明专利申请提供了一种大米色选机，其通过在大米落下的过程中由传感装置得到大米的图像呢，对图像中的大米进行识别，并将识别出的异色大米筛选出来，但该大米色选机仅采用单一模态相机进行一次分类，漏检和错检率较高。

申请号为CN201420354710.X的中国发明专利申请提供了一种具有单排进气管的色选机用喷嘴，但该喷嘴只有一次机会剔除异色物料，缺少连续剔除异色物料的能力。

发明内容

有鉴于此，本发明旨在提出一种基于深度学习的聚乙烯颗粒缺陷检测识别系统，以能够具有较好的使用效果。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深度学习的聚乙烯颗粒缺陷检测识别系统，其包括：

控制单元；

给料单元，用于使聚乙烯颗粒呈瀑布状落下；

识别单元，包括若干多模态相机，以及与各所述多模态相机连接的AI处理器；各所述多模态相机位于所述聚乙烯颗粒下落路径的一侧上，用于拍摄各所述聚乙烯颗粒的图像并发送至所述AI处理器，所述AI处理器与所述控制单元连接，所述AI处理器用于识别存在缺陷的聚乙烯颗粒并将其发送至所述控制单元；

筛选单元，相对于设有所述多模态相机的一侧，所述筛选单元包括设于所述聚乙烯颗粒下落路径另一相对侧上的若干空气喷嘴，各所述空气喷嘴呈矩形阵列排布，各所述空气喷嘴用于承接所述控制单元控制而开启或关闭，以将存在缺陷的所述聚乙烯颗粒吹离；

收集组件，包括正常颗粒收集单元和缺陷颗粒收集单元，分别用于供正常的所述聚乙烯颗粒和异常的聚乙烯颗粒落入。

进一步的，所述筛选单元还包括空气压缩机，所述空气压缩机的输出端与各所述空气喷嘴的输入端连接。

进一步的，所述给料单元包括上下平行布置的两条传送带，两条所述传送带之间设有用于供所述聚乙烯颗粒通过的间隙；且沿所述传送带的长度方向，各所述传送带的表面上间隔的设有可供所述聚乙烯颗粒卡入的卡槽。

相对于现有技术，本发明具有以下优势：

本发明所述的基于深度学习的聚乙烯颗粒缺陷检测识别系统，首先，通过设置多模态相机对下降的聚乙烯颗粒进行拍照，多模态相机能够多个维度的对聚乙烯颗粒进行拍照，进而AI处理器能够从多个维度对聚乙烯颗粒进行识别，从而能够具有较为准确的识别结果，漏检和错检率低；其次，通过设置矩形阵列排布的空气喷嘴，在聚乙烯颗粒下降的过程中，能够具有多次机会将存在缺陷的聚乙烯颗粒吹离，从而能够较好的对缺陷颗粒进行连续剔除；总得来说，本发明通过采用多相机加AI计算加速平台，实现目标的实时检测、跟踪、定位和瑕疵品自动控制剔除，对比目前业界现有技术基于传统CPU架构工控机为技术平台，通过单次的相机拍摄，基于图像的RGB色彩进行一次目标检测，根据检测结果，硬件执行进行一次异常目标的剔除，具备显著提高检测率、降低带出比、高速检测的特征。

此外，本发明还提供了一种基于深度学习的聚乙烯颗粒缺陷检测识别方法，其包括以下步骤：

使聚乙烯颗粒呈瀑布状落下；

由若干多模态相机连续拍摄下降中聚乙烯颗粒的图像并发送至AI处理器；

由AI处理器对各聚乙烯颗粒分别进行识别并追踪，并在识别单个聚乙烯颗粒异常的次数大于等于预设的次数阈值时，判断该聚乙烯颗粒为异常颗粒；

由控制单元控制相应的空气喷嘴开启，将异常的聚乙烯颗粒吹离。

进一步的，识别单个聚乙烯颗粒异常的步骤包括：统计全部聚乙烯颗粒的HSV色的颜色直方图，比较单个聚乙烯颗粒的HSV色的颜色直方图与全部聚乙烯颗粒的HSV色的颜色直方图，在单个聚乙烯颗粒的HSV色的颜色直方图与全部HSV色的颜色直方图的偏离值大于预设的偏离阈值时，判断该单个聚乙烯颗粒为异常颗粒。

进一步的，识别单个聚乙烯颗粒异常的步骤包括：

建立孪生神经网络模型，建立聚乙烯颗粒缺陷识别的模型M；

构建训练数据集；收集孪生神经网络的训练数据集；

训练孪生神经网络模型M；使用收集的训练数据集训练孪生神经网络模型M；

缺陷识别，使用训练后的孪生神经网络模型M对下降中的聚乙烯颗粒进行缺陷识别。

进一步的，识别单个聚乙烯颗粒异常的步骤包括：建立基于小样本和弱监督优化技术开发聚乙烯颗粒检测网络；通过多尺度特征融合和细粒度锚点框设计优化检测网络对小体积物体的定位和识别，实现单阶段聚乙烯颗粒检测网络。

进一步的，还包括以下步骤：建立样本库；基于生成对抗网络的数据生成方法，实现样本数据规模扩大。

进一步的，还包括以下步骤：基于预测梯度和注意力机制的元学习方法辅助网络学习；提高网络对颗粒物及颗粒物局部特征的识别能力。

进一步的，还包括以下步骤：通过知识蒸馏和基于hint-learning精简检测网络的主干网络；分步优化网络，使用弱监督技术结合己训练网络、标记数据和未标记数据进行网络的迭代优化，提升网络对聚乙烯颗粒的识别精度。

本发明的基于深度学习的聚乙烯颗粒缺陷检测识别方法与上述的基于深度学习的聚乙烯颗粒缺陷检测识别系统具有相同的有益效果，在此不再赘述。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例一所述的基于深度学习的聚乙烯颗粒缺陷检测识别系统的系统结构示意图；

图2为本本发明实施例二所述的给料单元的结构示意图；

图3为图2中A处的局部放大图；

图4为本发明实施例三所述的基于深度学习的聚乙烯颗粒缺陷检测识别方法的整体流程图；

图5为本发明实施例三所述多模态相机对聚乙烯颗粒拍照过程的示意图；

图6为本发明实施例三所述的聚乙烯颗粒常见的异常类型示意图；

图7为本发明实施例三所述的基于深度学习的聚乙烯颗粒缺陷检测识别方法的工作过程流程图；

图8为本发明实施例三所述的孪生神经网络的建立过程示意流程图。

附图标记说明：

1-控制单元，2-给料单元，31-多模态相机，32-AI处理器，4-收集组件，41-正常颗粒收集槽，42-异常颗粒收集槽，51-空气喷嘴，52-空气压缩机，6-传送带，601-卡槽。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

实施例一

本实施例涉及一种基于深度学习的聚乙烯颗粒缺陷检测识别系统，参考图1所示，其包括控制单元1、给料单元2、识别单元、筛选单元和收集组件4；其中，给料单元2用于使聚乙烯颗粒呈瀑布状落下；识别单元包括若干多模态相机31，以及与各多模态相机31相连接的AI处理器32；各多模态相机31位于聚乙烯颗粒下落路径的一侧上，用于拍摄各聚乙烯颗粒的图像并发送至AI处理器32，AI处理器32与控制单元1连接，AI处理器32用于识别存在缺陷的聚乙烯颗粒并将其发送至控制单元1。

相对于设有各多模态相机31的一侧，筛选单元包括设于聚乙烯颗粒下落路径另一相对侧上的若干空气喷嘴51，各空气喷嘴51呈矩形阵列排布，各空气喷嘴51用于承接控制单元1控制而开启或关闭，以将存在缺陷的聚乙烯颗粒吹离；收集组件4，包括正常颗粒收集单元和缺陷颗粒收集单元，分别用于供正常的聚乙烯颗粒和异常的聚乙烯颗粒落入。

参考图1所示，本实施例的给料单元2包括固设于架体上的漏斗，该漏斗呈倒锥状，且该漏斗垂直于其自身高度方向上的截面为矩形，在该漏斗的底端上设有长条形的开口，且该开口的宽度在一倍的聚乙烯颗粒直径和两倍的聚乙烯颗粒直径之间，以使聚乙烯颗粒单排连续的落下；本实施例中，在该漏斗的外侧壁上设有振动器，以避免该漏斗的开口堵塞。需要说明的是，给料单元2的结构也不限于此，该给料单元2例如还可以包括倒锥形的料仓，以及设于料仓出口端下方的、水平布置的给料板，并在给料板的底部设置有直线振动器，由直线振动器驱使给料板上的物料从给料板的一侧呈瀑布状落下。

参考图1所示，本实施例的识别单元包括若干矩形阵列布置的若干多模态相机31，多模态相机31的排布以能够拍摄全部聚乙烯颗粒由给料单元2落入收集单元的全过程为准，或者说，以各多模态相机31的拍摄角度能够覆盖聚乙烯颗粒由给料单元2落下后形成的平面为准，在此对多模态相机31的具体排布方式布置详述。

参考图1所示，本实施例中，空气喷嘴的排布同样以能够覆盖聚乙烯颗粒由给料单元2落下后形成的平面为准；除矩形阵列排布的空气喷嘴51外，本实施例的筛选单元还包括空气压缩机52，该空气压缩机52的输出端与上述各空气喷嘴51的输入端连接，用于向各空气喷嘴51供气；且在各空气喷嘴51和空气压缩机52之间设有电磁阀，电磁阀用于构成空气压缩机52和空气喷嘴51间的连通或断开，且各电磁阀与上述的控制单元1连接，用于承接可控制单元1的控制而开启或关闭。

本实施例中，参考图1所示，上述的正常颗粒收集单元具体包括设于给料单元2出料端正下方的成品收集槽，上述的缺陷颗粒收集单元具体包括设于成品收集槽一侧的次品收集槽；正常的聚乙烯颗粒因未受到空气喷嘴51的吹动，将落入正下方的成品收集槽内，缺陷的聚乙烯颗粒因受到空气喷嘴51的吹动，将向远离空气喷嘴51的一侧偏离，进而能够落入次品收集槽内。

本实施例的AI处理器32采用现有的AI推理专有芯片，本实施例的控制单元1采用CPU，其均可采用现有产品，在此对其不再赘述；相较于现有技术中，机器视觉设备大多数硬件架构都是采用一台基于CPU的控制器，视觉处理程序一般位于Windows系统中的非实时用户模式中，进行代码分析和算法处理；而工艺流程自动化控制则多位于实时内核模式之中；本实施的方案通过采用采用多相机加异构AI计算加速平台(CPU+FPGA)和嵌入式系统实现目标的实时检测、跟踪、定位和瑕疵品自动控制剔除，可利用CPU中央处理器芯片的综合管理性能、FPGA器件并行处理多级流水线、高速PCIe连接通道，以及专业AI视觉算法库，进而能够提高机器视觉系统的数据吞吐能力和数据处理能力。由一台控制器完成所有的控制任务，降低硬件成本，简化系统；实时系统运行视觉任务，保证每一次执行响应的时间足够稳定，加快生产节拍，提高工厂产能；任务内存间共享数据，多任务配合更高效方便；总得来说，本实施例的方案能够较好的满足工业机器视觉系统需要高实时性、高可靠性的要求。

此外，本实施的方案还能够较好的解决视觉检测应用中的同步性，具体的来说，对于视觉而言，照明的良好设计构成了视觉应用70％的成功权重，本实施例的方案由于采用同一控制器控制，使得照明的强度、频闪和相机的对焦、曝光、成像过程能够在极高的速度下实现同步，从而保证了成像质量；二是视觉系统与自动化系统的同步，集成视觉方案令视觉应用与机器工艺、控制无缝融合，同时与自身的控制、运动控制、I/O模块一起，使整体系统能够达到更高的精度和速度。

本实施例的基于深度学习的聚乙烯颗粒缺陷检测识别系统的工作过程为：给料单元2使聚乙烯颗粒呈瀑布状落下，由各多模态相机31拍摄各聚乙烯颗粒的图像并发送至AI处理器32，由AI处理器32识别出其中异常的聚乙烯颗粒，AI处理器32将异常聚乙烯颗粒以像素坐标包围盒输出至控制单元1，控制单元1将像素坐标转换得到异常聚乙烯颗粒位置，然后控制空气压缩机52和相应的空气喷嘴51间的电磁阀，由相应的空气喷嘴51将缺陷的聚乙烯颗粒吹离；最终使，正常的聚乙烯颗粒落入成品收集槽，而异常的聚乙烯颗粒落入次品收集槽内。

综上所述，本发明所述的基于深度学习的聚乙烯颗粒缺陷检测识别系统，首先，通过设置多模态相机31对下降的聚乙烯颗粒进行拍照，多模态相机31能够多个维度的对聚乙烯颗粒进行拍照，进而AI处理器32能够从多个维度对聚乙烯颗粒进行识别，从而能够具有较为准确的识别结果，漏检和错检率低。其次，通过设置矩形阵列排布的空气喷嘴51，在聚乙烯颗粒下降的过程中，能够具有多次机会将存在缺陷的聚乙烯颗粒吹离，从而能够较好的对缺陷颗粒进行连续剔除。

实施例二

本实施例涉及一种基于深度学习的聚乙烯颗粒缺陷检测识别系统，其与实施例一所述的基于深度学习的聚乙烯颗粒缺陷检测识别系统具有大致相同的结构，不同的地方在于：参考图2和图3所示，本实施例的给料单元包括上下平行布置的两条传送带6，两条传送带6之间设有用于供聚乙烯颗粒通过的间隙；且沿传送带的宽度度方向，各传送带的表面上间隔的设有多排卡槽，各排卡槽包括沿传送带长度方向间隔布置的多个卡槽601。

相比于实施例一的方案中聚乙烯颗粒可能存在弹跳，会影响相机对异常颗粒的检测；本实施例的给料单元通过采用上述结构的给料单元，聚乙烯颗粒由两传送带间隙的一端进入两传送带之间后能够卡入卡槽内，然后随传送带移动至末端后落下，据此能够通过调整传送带的转动速度，使聚乙烯颗粒的下落过程能够较好的匹配识别系统的追踪帧率，以及匹配筛选组件工作的最小间隔，进而能够具有较好的识别和筛选结果。

实施例三

本实施例涉及一种基于深度学习的聚乙烯颗粒缺陷检测识别方法，如图4和图7所示，其包括以下步骤：

使聚乙烯颗粒呈瀑布状落下；

由若干多模态相机31连续拍摄下降中聚乙烯颗粒的图像并发送至AI处理器32；

由AI处理器32对各聚乙烯颗粒分别进行识别并追踪，并在识别单个聚乙烯颗粒异常的次数大于或等于预设的次数阈值时，判断该聚乙烯颗粒为异常颗粒；

由控制单元1控制相应的空气喷嘴51开启，将异常的聚乙烯0颗粒吹离。

本实施例的基于深度学习的聚乙烯颗粒缺陷检测识别方法，通过对单个聚乙烯颗粒进行识别和追踪，并在识别单个聚乙烯颗粒异常的次数大于或等于预设的次数阈值时，判断该聚乙烯颗粒为异常颗粒；相比于现有技术中，一次比对即判断颗粒是否异常，本实施例的方案能够更好的避免错检和漏检。

具体的来说，同一个颗粒在不同角度下呈现的图像是不稳定的，参考图5所示，图5中聚乙烯颗粒的缺陷对于左侧相机来说不可见，对于右侧相机来说可见，显然，如果仅通过左侧相机拍摄的图案对聚乙烯颗粒进行缺陷识别，该颗粒则会被认为是正常颗粒，则造成了漏检；图6中示出了聚乙烯颗粒的异常类型，其中，自左至右依次为正常颗粒、部分颜色异常颗粒、严重颜色异常颗粒、完全颜色异常颗粒，显然，中间两种类型颗粒均可能存在被现有技术方案漏检的情形；此外，还可能会由于灯光原因，导致某些正常的颗粒上显现了存在缺陷的特征，这样正常的颗粒会被剔除，就造成了错检。与之相比，由于颗粒在下降过程中通常带有旋转运动，而且颗粒自由落体运动的轨迹是确定的，具体的来说，颗粒下降的位移符合公式d＝gt^2/2(其中，d是颗粒的位移，g是重力加速度，t是下落时间)，因此本实施例的方案据此能够实现对单个聚乙烯颗粒的追踪，拍摄出其各个角度下的图像，进行多次识别，例如，可在单个颗粒下降的过程中，对其进行10次检测，当其中有3次被判断为存在异常时，则最终判断其为异常颗粒，需要说明的是。预设的次数阈值也不仅可为3次，还可以为4次、5次或者其它数量，还可通过在工作过程中调整该次数阈值来调整筛选的准确度，总得来说相比于现有技术，本实施例的方案能够极大程度上的避免漏检和错检。

在此基础上，本实施例提供了一种能够较为方便的识别出颗粒存在异常的方法，具体的来说，单次识别聚乙烯颗粒异常的步骤包括：建立基于关键点不依赖锚点框的聚乙烯颗粒瑕疵检测网络；建立样本库，同时基于生成对抗网络的数据生成方法，实现样本数据规模扩大；基于预测梯度和注意力机制的元学习方法辅助网络学习，提高网络对颗粒物及颗粒物局部特征的识别能力；通过知识蒸馏和基于hint-learning精简检测网络的主干网络，提升聚乙烯颗粒检效率；分步优化网络，使用弱监督技术结合己训练网络、标记数据和未标记数据进行网络的迭代优化，能够进一步提升网络对聚乙烯颗粒的识别精度。

其中，基于关键点不依赖锚点框的聚乙烯颗粒瑕疵检测网络是通过获取目标的中心点来对颗粒进行定位，设计基于高斯分布的非二值化标签进行训练，具有较高的鲁棒性和适应能力。同时，该方案可以免除手工设定多类锚点框的繁琐性，也能在卷积网络运算中减少大量锚点框回归带来的运算负担，这对于颗粒在自由落体时快速的检测识别至关重要。

具体的来说，本实施例通过统计全部聚乙烯颗粒的HSV色的颜色直方图，比较单个聚乙烯颗粒的HSV色的颜色直方图与全部聚乙烯颗粒的HSV色的颜色直方图，在单个聚乙烯颗粒的HSV色的颜色直方图与全部HSV色的颜色直方图的偏离值大于预设的偏离阈值时，判断该单个聚乙烯颗粒为异常颗粒。采用本实施例的识别颗粒异常的方法，无需预先对识别网络进行大量的训练，从而能够降低工作量。

本实施例中，由于设计的方案计算效率较高，在基础框架的基础上，本实施例方案在网络深度和特征优化层面引入了诸多优化模块，这使得该方案可以在小颗粒瑕疵检测方面取得更优效果。具体的来说，在基础网络设计方案时，采用多模块堆叠的深层神经网络，每一模块采用自顶向下降低分辨率，紧接自底向上的返卷积提升特征图分辨率的方案，模块中的特征提取单元采用多路跳转连接，充分兼顾特征提取中语义信息的深层抽取同时不损失图像分辨率信息，从而保证了识别的准确和定位的精准。另外，使用多个结构相似模块堆叠的形式，整个网络在训练的过程中不仅在最后的输出端设置损失函数，同时也会在两个模块的连接处进行损失函数计算和反向传播，这种先进的网络设计方法可以实现中间监督，这样能够更好的进行训练，通过加深网络而提高检测和识别能力。

为了使本实施例的检测网络能够区分不同的瑕疵类型，本实施例的检测网络还包括注意力模块，以加强特征通道感知能力以及在空间方向的感知能力。

在实际的树脂颗粒瑕疵检测过程中，由于斑点等瑕疵可能会出现在颗粒的不同部位，且在颗粒自由落的过程中也伴随着角度变化，因此需要检测系统具有极高的有效性。因此，在人工智能算法模型训练时即需要将不同类型的瑕疵颗粒样本考虑在内，在有限类型范围的数据基础上，本实施例的方案还包括采用多种有效的数据增广手段获得尽可能丰富的训练样本的步骤；具体的来说，本实施例的数据增补技术包括随机旋转、镜像、仿射变换、颜色空间变换等；本实施例的数据增补技术还包括精细设计的细粒度样本剪切和随机组合技术，以增强人工智能模型的泛化能力；本实施例的数据增补技术还包括设计专用的生成对抗网络，精准生成瑕疵随机分布的训练样本。

本实施例还提供了一种能够识别出聚乙烯颗粒特定种类缺陷的方法，如图8所示，其包括以下步骤：建立孪生神经网络模型M；收集孪生神经网络的训练数据集；使用收集的训练数据集训练孪生神经网络模型M；使用训练后的孪生神经网络模型M对下降中的聚乙烯颗粒进行缺陷识别。具体的来说，本实施例的方案中，本实施例的够识别出聚乙烯颗粒特定种类缺陷的方法，使用具有特定种类缺陷的数据集对孪生神经网络模型M进行训练，然后由该训练后的孪生神经网络模型M对具有特定种类缺陷的聚乙烯颗粒进行识别。为了提高计算效率，本实施中，还包括对孪生神经网络模型M进行剪枝，以优化提取过程和特征向量的步骤。通过建立该孪生神经网络模型M，能够较好的对具有特定缺陷的聚乙烯颗粒的识别和剔除。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。