掌桥专利:专业的专利平台
掌桥专利
首页

产品外观检测装置及检测方法

文献发布时间:2024-04-18 19:59:31


产品外观检测装置及检测方法

技术领域

本申请涉及智能检测技术领域,尤其涉及产品外观检测装置及检测方法。

背景技术

在工业生产中,产品外观检测是品控的重要环节。以家电产品为例,由于其品类众多,包括空调外机、空调内机、洗衣机、烘干机、洗碗机等。以空调外机来看,其型号多达上千种,且产线也需要频繁换型。加之,产品外观面的标贴种类及检测任务繁多,例如商标、能效、冷媒、警示等标贴,后网罩、感温卡、螺钉、说明书等零配件,产品外观检测是确保其外观面上的标贴及零配件等不存在错、漏等问题,否则影响商品销售与使用。

相关技术中的产品外观检测技术,主要是通过设置多个工位,每个工位对产品进行相应的检测,使得检测数据较为复杂,可能会导致数据处理和模型训练的复杂性增加,且对于工位间协作的依赖性增大,可能会出现一些误检或者漏检的情况。

发明内容

本申请旨在至少解决相关技术中存在的技术问题之一。为此,本申请提出一种产品外观检测装置,可以一次性完成对传送组件上的待检产品的全面检测,减小了检测数据的复杂程度,可以有效的避免出现误检或者漏检的情况,实现对待检产品的高效、便捷、全面地检测。

本申请还提出一种产品外观检测方法。

根据本申请第一方面实施例的产品外观检测装置,包括:

传送组件,适于带动待检产品移动;

后侧面检测组件,设于所述传送组件的一侧,所述后侧面检测组件适于获取所述待检产品的后侧面的图像;

前侧面检测组件,设于所述传送组件的一侧,所述前侧面检测组件适于获取所述待检产品的前侧面的图像;

右侧面检测组件和左侧面检测组件,所述右侧面检测组件和所述左侧面检测组件分别设于所述传送组件的两侧,所述右侧面检测组件适于获取所述待检产品的右侧面的图像,所述左侧面检测组件适于获取所述待检产品的左侧面的图像;

顶面检测组件,设于所述传送组件的上方,所述顶面检测组件适于获取所述待检产品的顶面的图像;

图像处理模块,所述后侧面检测组件、所述前侧面检测组件、所述右侧面检测组件、所述左侧面检测组件和所述顶面检测组件均与所述图像处理模块连接,所述图像处理模块被配置为根据所述待检产品的后侧面的图像、前侧面的图像、右侧面的图像、左侧面的图像以及顶面的图像,确定所述待检产品的外观检测结果。

根据本申请实施例的产品外观检测装置,将待检产品放置在传送组件上,传送组件带动待检产品移动,当待检产品移动到相应的检测位置时,后侧面检测组件会获取待检产品的后侧面的图像并传输给图像处理模块,前侧面检测组件会获取待检产品的前侧面的图像并传输给图像处理模块,右侧面检测组件会获取待检产品的右侧面的图像并传输给图像处理模块,左侧面检测组件会获取待检产品的左侧面的图像并传输给图像处理模块,顶面检测组件会获取待检产品的顶面的图像并传输给图像处理模块,实现了一次性获取待检产品的五个面的图像,然后通过图像处理模块对五个面的图像进行分析处理,即可确定待检产品的外观检测结果是否合格。即本申请可以一次性完成对传送组件上的待检产品的全面检测,无需设置多个工位,减小了检测数据的复杂程度,可以有效的避免出现因工位间协作而导致误检或者漏检等情况,实现对待检产品的高效、便捷、全面地检测。

根据本申请的一个实施例,所述后侧面检测组件包括后相机以及沿着所述传送组件的传送方向依次设置的后光源和后光电感应器,所述后光电感应器适于检测所述待检产品的位置,基于所述后光电感应器被触发,所述后光源频闪,所述后相机对所述待检产品的后侧面进行拍摄。

根据本申请的一个实施例,所述前侧面检测组件包括前相机以及沿着所述传送组件的传送方向依次设置的前光电感应器和前光源,所述前光电感应器适于检测所述待检产品的位置,基于所述前光电感应器被触发,所述前光源频闪,所述前相机对所述待检产品的前侧面进行拍摄。

根据本申请的一个实施例,所述产品外观检测装置包括总光电感应器,所述总光电感应器适于检测所述待检产品的位置,其中,

所述右侧面检测组件包括右侧面光源和右侧面相机,所述右侧面光源和所述右侧面相机均位于所述传送组件的右侧,所述右侧面相机适于和所述待检产品的右侧面垂直,基于所述总光电感应器被触发,所述右侧面光源频闪,所述右侧面相机对所述待检产品的右侧面进行拍摄;和/或,

所述左侧面检测组件包括左侧面光源和左侧面相机,所述左侧面光源和左侧面相机均位于所述传送组件的左侧,所述左侧面相机适于和所述待检产品的左侧面垂直,基于所述总光电感应器被触发,所述左侧面光源频闪,所述左侧面相机对所述待检产品的左侧面进行拍摄;和/或,

所述顶面检测组件包括顶部光源和顶部相机,所述顶部光源和所述顶部相机均位于所述传送组件的上方,所述传送组件适于带动所述待检产品从所述顶部光源和所述顶部相机的下方经过,基于所述总光电感应器被触发,所述顶部光源频闪,所述顶部相机对所述待检产品的顶面进行拍摄。

根据本申请的一个实施例,所述产品外观检测装置包括局部检测组件,所述局部检测组件与所述图像处理模块连接,所述局部检测组件和所述前侧面检测组件位于所述传送组件的同一侧,所述局部检测组件适于获取所述待检产品的前侧面的局部图像。

根据本申请的一个实施例,所述局部检测组件包括上下驱动件和局部检测相机,所述上下驱动件设于所述传送组件的一侧,所述局部检测相机连接于所述上下驱动件,所述上下驱动件适于带动所述局部检测相机上下移动,以使得所述局部检测相机可对所述待检产品的前侧面的目标区域进行拍摄。

根据本申请的一个实施例,所述产品外观检测装置包括导斜组件,所述导斜组件设于所述传送组件,所述导斜组件位于所述待检产品的移动路径上,所述导斜组件适于使得所述待检产品相对于所述传送组件倾斜,以使得所述待检产品的后侧面朝向所述后侧面检测组件,所述待检产品的前侧面朝向所述前侧面检测组件。

根据本申请的一个实施例,所述导斜组件包括导斜驱动件和导斜件,所述导斜驱动件与所述导斜件连接,所述导斜驱动件适于带动所述导斜件相对于所述传送组件移动或转动。

根据本申请的一个实施例,所述产品外观检测装置包括产品信息检测组件,所述产品信息检测组件设于所述传送组件的首端,所述产品信息检测组件适于获取所述待检产品的条码信息。

根据本申请的一个实施例,所述产品外观检测装置包括异常排出机构,所述异常排出机构安装于所述传送组件的一侧,基于所述图像处理模块确定所述待检产品的外观检测结果不合格,所述异常排出机构适于将所述待检产品从所述传送组件移动到指定位置。

根据本申请第二方面实施例的产品外观检测方法,包括:

获取多帧外观图像,所述外观图像是对所述待检产品的后侧面、前侧面、右侧面、左侧面以及顶面进行拍摄后生成的;

对所述外观图像进行分析处理,确定所述待检产品的外观检测结果。

根据本申请的一个实施例,所述获取多帧外观图像,包括:

确定所述待检产品处于第一位置,控制所述后侧面检测组件对所述待检产品的后侧面进行拍摄,以获取所述待检产品的后侧面的外观图像;

确定所述待检产品处于第二位置,控制所述前侧面检测组件对所述待检产品的前侧面进行拍摄,以获取所述待检产品的前侧面的外观图像;

确定所述待检产品处于第三位置,控制所述右侧面检测组件对所述待检产品的右侧面进行拍摄,以获取所述待检产品的右侧面的外观图像,控制所述左侧面检测组件对所述待检产品的左侧面进行拍摄,以获取所述待检产品的左侧面的外观图像,控制所述顶面检测组件对所述待检产品的顶面进行拍摄,以获取所述待检产品的顶面的外观图像。

根据本申请的一个实施例,所述产品外观检测方法包括:

确定所述待检产品处于所述第二位置,控制对所述待检产品的前侧面的目标区域进行拍摄,以获取所述待检产品的前侧面处的局部外观图像。

根据本申请的一个实施例,所述对所述外观图像进行分析处理,确定所述待检产品的外观检测结果,包括:

基于所述待检产品的生产信息,从预先构建的外观模板库中调取与所述生产信息匹配的外观检测模板集;所述外观检测模板集中至少具有与所述外观图像一一对应的外观检测模板,每个所述外观检测模板中具有根据各检测项从外观图像样本中裁剪出的标识样本,所述外观图像样本与所述外观图像的拍摄角度一致;

获取每帧所述外观图像与所述外观图像样本之间的每个检测项的检测分值;

基于所有所述检测分值,确定所述待检产品的外观检测结果。

根据本申请的一个实施例,所述对所述外观图像进行分析处理,确定所述待检产品的外观检测结果,包括:

确定当前的所述待检产品的外观检测结果不合格;

控制将当前的所述待检产品移动至指定区域;和/或,控制发出警示信息,以提醒用户当前的所述待检产品的外观检测结果不合格。

本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的产品外观检测装置的结构示意图;

图2是本申请实施例提供的产品外观检测装置的结构简图;

图3是本申请实施例提供的产品外观检测方法的流程示意图之一;

图4是本申请实施例提供的产品外观检测方法的流程示意图之二。

附图标记:

1、传送组件;2、待检产品;3、后侧面检测组件;4、前侧面检测组件;

5、右侧面检测组件;6、左侧面检测组件;7;顶面检测组件;8、总光电感应器;

9、局部检测组件;11、导斜组件;110、信息检测光电感应器;

111、导斜驱动件;112、导斜件;120、读码器;31、后相机;

32、后光电感应器;41、前相机;42、前光电感应器;51、右侧面光源;

52、右侧面相机;61、左侧面光源;62、左侧面相机;71、顶部光源;

72、顶部相机;91、上下驱动件;92、局部检测相机。

具体实施方式

下面结合附图和实施例对本申请的实施方式作进一步详细描述。以下实施例用于说明本申请,但不能用来限制本申请的范围。

在本申请实施例的描述中,需要说明的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“后”、“前”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请实施例的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。

在本申请实施例的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请实施例中的具体含义。

在本申请实施例中,除非另有明确的规定和限定,第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触,或第一和第二特征通过中间媒介间接接触。而且,第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方,或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

下面结合图1至图4描述本申请的产品外观检测装置及检测方法。

根据本申请第一方面的实施例,如图1和图2所示,产品外观检测装置包括传送组件1、后侧面检测组件3、前侧面检测组件4、右侧面检测组件5、左侧面检测组件6和顶面检测组件7,传送组件1适于带动待检产品2移动,后侧面检测组件3设于传送组件1的一侧,后侧面检测组件3适于获取待检产品2的后侧面的图像,前侧面检测组件4设于传送组件1的一侧,前侧面检测组件4适于获取待检产品2的前侧面的图像,右侧面检测组件5和左侧面检测组件6分别设于传送组件1的两侧,右侧面检测组件5适于获取待检产品2的右侧面的图像,左侧面检测组件6适于获取待检产品2的左侧面的图像,顶面检测组件7设于传送组件1的上方,顶面检测组件7适于获取待检产品2的顶面的图像,后侧面检测组件3、前侧面检测组件4、右侧面检测组件5、左侧面检测组件6和顶面检测组件7均与图像处理模块连接,图像处理模块被配置为根据待检产品2的后侧面的图像、前侧面的图像、右侧面的图像、左侧面的图像以及顶面的图像,确定待检产品2的外观检测结果。

根据本申请实施例的产品外观检测装置,将待检产品2放置在传送组件1上,传送组件1带动待检产品2移动,当待检产品2移动到相应的检测位置时,后侧面检测组件3会获取待检产品2的后侧面的图像并传输给图像处理模块,前侧面检测组件4会获取待检产品2的前侧面的图像并传输给图像处理模块,右侧面检测组件5会获取待检产品2的右侧面的图像并传输给图像处理模块,左侧面检测组件6会获取待检产品2的左侧面的图像并传输给图像处理模块,顶面检测组件7会获取待检产品2的顶面的图像并传输给图像处理模块,实现了一次性获取待检产品2的五个面的图像,然后通过图像处理模块对五个面的图像进行分析处理,即可确定待检产品2的外观检测结果是否合格。即本申请可以一次性完成对传送组件1上的待检产品2的全面检测,无须设置多个工位,减小了检测数据的复杂程度,可以有效的避免出现因工位间协作而导致误检或者漏检等情况,实现对待检产品2的高效、便捷、全面地检测。

可以理解的是,本申请可以对生产线的每件产品进行扫码、拍照检测、异常判断、历史记录展示,对异常的产品,可以通过人机交互界面展示检测结果NG以及亮红灯进行提示,并单独保存异常产品的图像及结果便于工厂回溯,同时还可以通过异常排出机构将当前检测结果异常的产品剔出。

可以理解的是,后侧面检测组件3、前侧面检测组件4、右侧面检测组件5、左侧面检测组件6和顶面检测组件7中的至少部分检测组件可以在待检产品2移动到指定位置时,同时对待检产品2进行检测。也可以是待检产品2每移动到一个检测位置,后侧面检测组件3、前侧面检测组件4、右侧面检测组件5、左侧面检测组件6和顶面检测组件7中其中一个检测组件就对待检产品2进行检测。

可以理解的是,传送组件1例如为传送带或传送辊轮或其他任何合适的具有传送功能的部件。

在本申请的一个实施例中,如图1和图2所示,后侧面检测组件3包括后相机31以及沿着传送组件1的传送方向依次设置的后光源和后光电感应器32,后光电感应器32适于检测待检产品2的位置,基于后光电感应器32被触发,后光源频闪,后相机31对待检产品2的后侧面进行拍摄。

可以理解的是,传送组件1带动待检产品2移动,当待检产品2移动到后光电感应器32所在位置时,待检产品2会触发后光电感应器32,也就是说,当后光电感应器32被触发时,就说明待检产品2移动到指定位置,此时可以开始获取待检产品2的后侧面的图像。则此时后相机31开始对待检产品2的后侧面进行拍摄,后光源开始频闪,为后相机31的拍摄提供光线,使得后相机31可以顺利的获取到待检产品2的后侧面的图像,实现了对待检产品2的后侧面的动态拍摄。

可以理解的是,后光源和后光电感应器32是沿着待检产品2的移动方向依次设置的,使得待检产品2在移动到后光电感应器32处时,后光源位于待检产品2的后侧,以使得后光源可以为后相机31拍摄待检产品2的后侧面提供光线。

可以理解的是,后相机31相对于后光电感应器32更靠近传送组件1的首端,使得待检产品2移动到后光电感应器32处时,后相机31处于待检产品2的后侧,以使得后相机31可以顺利的对待检产品2的后侧进行拍摄。

在本申请的一个实施例中,如图1和图2所示,前侧面检测组件4包括前相机41以及沿着传送组件1的传送方向依次设置的前光电感应器42和前光源,前光电感应器42适于检测待检产品2的位置,基于前光电感应器42被触发,前光源频闪,前相机41对待检产品2的前侧面进行拍摄。

可以理解的是,传送组件1带动待检产品2移动,当待检产品2移动到前光电感应器42所在位置时,待检产品2会触发前光电感应器42,也就是说,当前光电感应器42被触发时,就说明待检产品2移动到指定位置,此时可以开始获取待检产品2的前侧面的图像。则此时前相机41开始对待检产品2的前侧面进行拍摄,前光源开始频闪,为前相机41的拍摄提供光线,使得前相机41可以顺利的获取到待检产品2的前侧面的图像,实现了对待检产品2的前侧面的动态拍摄。

可以理解的是,前光电感应器42和前光源是沿着待检产品2的移动方向依次设置的,使得待检产品2在移动到前光电感应器42处时,前光源位于待检产品2的前侧,使得前光源可以为前相机41拍摄待检产品2的前侧面提供光线。

可以理解的是,前相机41相对于前光电感应器42更靠近传送组件1的首端,使得待检产品2移动到前光电感应器42处时,前相机41处于待检产品2的前侧,以使得前相机41可以顺利的对待检产品2的前侧进行拍摄。

在本申请的一个实施例中,如图1和图2所示,产品外观检测装置包括总光电感应器8,总光电感应器8适于检测待检产品2的位置,其中,

右侧面检测组件5包括右侧面光源51和右侧面相机52,右侧面光源51和右侧面相机52均位于传送组件1的右侧,右侧面相机52适于和待检产品2的右侧面垂直,基于总光电感应器8被触发,右侧面光源51频闪,右侧面相机52对待检产品2的右侧面进行拍摄;和/或,

左侧面检测组件6包括左侧面光源61和左侧面相机62,左侧面光源61和左侧面相机62均位于传送组件1的左侧,左侧面相机62适于和待检产品2的左侧面垂直,基于总光电感应器8被触发,左侧面光源61频闪,左侧面相机62对待检产品2的左侧面进行拍摄;和/或,

顶面检测组件7包括顶部光源71和顶部相机72,顶部光源71和顶部相机72均位于传送组件1的上方,传送组件1适于带动待检产品2从顶部光源71和顶部相机72的下方经过,基于总光电感应器8被触发,顶部光源71频闪,顶部相机72对待检产品2的顶面进行拍摄。

可以理解的是,传送组件1带动待检产品2移动,当总光电感应器8被待检产品2触发时,说明此时可以开始对待检产品2的右侧面、左侧面和顶面进行拍摄。此时则控制右侧面光源51频闪,右侧面相机52在右侧面光源51频闪的配合下对待检产品2的右侧面进行拍摄;控制左侧面光源61频闪,左侧面相机62在左侧面光源61频闪的配合下对待检产品2的左侧面进行拍摄;控制顶部光源71频闪,顶部相机72在顶部光源71频闪的配合下对待检产品2的顶面进行拍摄;进而实现了同时对待检产品2的右侧面、左侧面和顶面进行动态拍摄。

可以理解的是,右侧面光源51和右侧面相机52位于传送组件1的两个相对侧的其中一侧,左侧面光源61和左侧面相机62则位于传送组件1的两个相对侧的另一侧,使得右侧面相机52和左侧面相机62可以分别对待检产品2的右侧面和左侧面进行拍摄。

可以理解的是,将右侧面相机52安装在会和待检产品2的右侧面垂直的位置,使得右侧面相机52获取的待检产品2的右侧面的图像的清晰度和大小是均匀的,保证了后续对待检产品2的右侧面的图像进行分析处理时可以得到准确的检测结果。

可以理解的是,将左侧面相机62安装在会和待检产品2的左侧面垂直的位置,使得左侧面相机62获取的待检产品2的左侧面的图像的清晰度和大小是均匀的,保证了后续对待检产品2的左侧面的图像进行分析处理时可以得到准确的检测结果。

在本申请的一个实施例中,如图1和图2所示,产品外观检测装置包括局部检测组件9,局部检测组件9与图像处理模块连接,局部检测组件9和前侧面检测组件4位于传送组件1的同一侧,局部检测组件9适于获取待检产品2的前侧面的局部图像。

可以理解的是,通过局部检测组件9可以对待检产品2的前侧面的局部进行拍摄,进而可以获取待检产品2的前侧面处的局部图像,以便于根据前侧面的局部图像确定待检产品2的前侧面的局部的细节,使得图像处理模块可以根据前侧面的局部的细节图像,对待检产品2的前侧面进行精准的分析处理。

在本申请的实施例中,如图1和图2所示,局部检测组件9包括上下驱动件91和局部检测相机92,上下驱动件91设于传送组件1的一侧,局部检测相机92连接于上下驱动件91,上下驱动件91适于带动局部检测相机92上下移动,以使得局部检测相机92可对待检产品2的前侧面的目标区域进行拍摄。

可以理解的是,通过上下驱动件91可以带动局部检测相机92上下移动,使得局部检测相机92可以移动到适合拍摄待检产品2的前侧面的局部细节的位置,确保了局部检测相机92的拍摄效果。且当待检产品2的规格发生变化时,上下驱动件91可以带动局部检测相机92上下移动以适应不同的待检产品2。

示例性的,局部检测组件9还可以包括有光源,光源随着局部检测相机92的移动而移动,当局部检测相机92对待检产品2进行拍摄时,光源频闪,为局部检测相机92的拍摄提供光线。

示例性的,局部检测相机92可以和前侧面检测组件4同时对待检产品2进行拍摄,局部检测相机92可以和前侧面检测组件4共用一个光源。例如局部检测相机92可以在前光源频闪时,对待检产品2的前侧面进行拍摄。

可以理解的是,上下驱动件91例如为驱动气缸或驱动电机或是其他任何合适的驱动件。

在本申请的一个实施例中,如图1和图2所示,产品外观检测装置包括导斜组件11,导斜组件11设于传送组件1,导斜组件11位于待检产品2的移动路径上,导斜组件11适于使得待检产品2相对于传送组件1倾斜,以使得待检产品2的后侧面朝向后侧面检测组件3,待检产品2的前侧面朝向前侧面检测组件4。

可以理解的是,将导斜组件11设置在待检产品2的移动路径上,当待检产品2移动到导斜组件11处时,待检产品2会沿着导斜组件11移动,使得待检产品2相对于传送组件1倾斜,由于后侧面检测组件3和前侧面检测组件4分别安装在传送组件1的两侧,进而可以使得待检产品2的后侧面朝向后侧面检测组件3,待检产品2的前侧面朝向前侧面检测组件4。则后侧面检测组件3可以正对待检产品2的后侧面,前侧面检测组件4可以正对待检产品2的前侧面,确保了后侧面检测组件3和前侧面检测组件4的拍摄角度的准确性,保证了待检产品2的后侧面和前侧面的成像清晰度。

可以理解的是,导斜组件11设于传送组件1的首端处,进而可以在待检产品2移动到后侧面检测组件3、前侧面检测组件4、右侧面检测组件5、左侧面检测组件6和顶面检测组件7之前,先对待检产品2进行导斜处理。

在本申请的实施例中,如图1和图2所示,导斜组件11包括导斜驱动件111和导斜件112,导斜驱动件111与导斜件112连接,导斜驱动件111适于带动导斜件112相对于传送组件1移动或转动。

可以理解的是,不同规格的待检产品2放置到传送组件1上时距离导斜组件11的距离也会有所不同。而导斜驱动件111可以带动导斜件112相对于传送组件1移动,可以将导斜件112带动到待检产品2的移动路径上,使得不同规格的待检产品2均会受到导斜件112的导斜作用而发生倾斜。

可以理解的是,通过导斜驱动件111可以带动导斜件112转动,以改变导斜件112的旋转角度,由于待检产品2是沿着导斜件112移动而发生倾斜的,则当导斜件112的旋转角度发生变化时,待检产品2的倾斜角度也会随着发生变化,进而可以根据实际情况调整待检产品2的倾斜角度。

在本申请的一个实施例中,产品外观检测装置包括导正组件,导正组件设于传送组件1的末端,导正组件适于将待检产品2摆正。

可以理解的是,传送组件1带动待检产品2移动到末端处时,导正组件可以将待检产品2摆正,避免待检产品2呈倾斜状态移动到下一个工位,避免对后续的生产造成影响。

可以理解的是,导正组件的结构可以和导斜组件11的结构相同,可以将导正组件的导正件的倾斜角度设置为和导斜件112的倾斜角度相同,导斜件112和导正件均朝向传送组件1的中间处倾斜,当待检产品2经过导正件时,导正件可以使得待检产品2相对于传送组件1摆正。

在本申请的一个实施例中,产品外观检测装置包括产品信息检测组件,产品信息检测组件设于传送组件1的首端,产品信息检测组件适于获取待检产品2的条码信息。

可以理解的是,在待检产品2放置到传送组件1上,传送组件1带动待检产品2移动,当待检产品2移动到产品信息检测组件处时,产品信息检测组件可以获取待检产品2的条码信息,然后在传送组件1的带动下,待检产品2移动到后侧面检测组件3、前侧面检测组件4、右侧面检测组件5、左侧面检测组件6和顶面检测组件7处。条码信息包括了待检产品2的型号、出口国、工单号、库存组织等信息,结合条码信息,使得图像处理模块可以对待检产品2的后侧面的图像、前侧面的图像、右侧面的图像、左侧面的图像以及顶面的图像进行精准的分析处理,保证了待检产品2的外观检测结果的准确性。

在本申请的实施例中,如图1和图2所示,产品信息检测组件包括信息检测光电感应器110和读码器120,信息检测光电感应器110和读码器120均设于传送组件1的首端处,基于信息检测光电感应器110被触发,读码器120读取待检产品2的条码信息。

可以理解的是,当待检产品2移动到信息检测光电感应器110处时,信息检测光电感应器110被触发,说明此时待检产品2的条码正对读码器120,则控制读码器120开始读取待检产品2的条码信息,以精准的获取得到待检产品2的条码信息。

在本申请的一个实施例中,产品外观检测装置包括异常排出机构,异常排出机构安装于传送组件1的一侧,基于图像处理模块确定待检产品2的外观检测结果不合格,异常排出机构适于将待检产品2从传送组件1移动到指定位置。

可以理解的是,图像处理模块会对待检产品2的后侧面的图像、前侧面的图像、右侧面的图像、左侧面的图像以及顶面的图像进行分析处理,进而确定待检产品2的外观检测结果。当图像处理模块确定待检产品2的外观检测结果不合格时,异常排出机构则会将当前检测结果不合格的产品从传送组件1处移动到其他位置,例如移动到暂存区域。

可以理解的是,在异常排出机构移动不合格的产品时,可以先控制传送组件1停止移动,以便于异常排出机构将不合格的产品移出传送组件1,当确定不合格的产品移出传送组件1后,再控制传送组件1继续移动。也可以控制传送组件1保持正常移动,异常排出机构在不合格产品移动的过程中将其移出传送组件1,例如通过机械手直接夹取不合格的产品并移动到指定位置。

可以理解的是,异常排出机构例如为机械手或电动推杆或是其他任何合适的可以将待检产品2从传送组件1移动到指定位置的结构。

可以理解的是,图像处理模块可以在确定待检产品2的后侧面的图像、前侧面的图像、右侧面的图像、左侧面的图像以及顶面的图像中的其中一个的检测结果不合格时,就判定待检产品2的外观检测结果不合格,也可以是待检产品2的后侧面的图像、前侧面的图像、右侧面的图像、左侧面的图像以及顶面的图像中的两个或两个以上的检测结果不合格时,就判定待检产品2的外观检测结果不合格。

根据本申请第二方面的实施例,需要说明的是,本发明各个实施例提供的产品外观检测方法的执行主体是客户端,可以是服务器、计算机设备,例如手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机、上网本或者个人数字助理等。

其中产品外观检测的对象可以包括市面上常见的具有一定外观形态的产品,一般来说具备读取到产品特有的生产信息的商品均可以作为本发明所提供的产品外观检测方法的实用对象。

为便于表述,在后续实施例中,均以家电产品或者家电产品中的冰箱为例进行说明,其不视为对本发明保护范围的具体限定。

如图3所示,产品外观检测方法,包括但不限于以下步骤:

步骤101:获取多帧外观图像,外观图像是对待检产品2的后侧面、前侧面、右侧面、左侧面以及顶面进行拍摄后生成的;

步骤102:对外观图像进行分析处理,确定待检产品2的外观检测结果。

根据本申请实施例的产品外观检测方法,对待检产品2的后侧面、前侧面、右侧面、左侧面以及顶面进行拍摄,以得到多帧外观图像,实现一次性获取待检产品2的多个面的外观图像。然后对外观图像进行分析处理,即对每个面对应的外观图像进行分析处理,实现一次性对待检产品2的多个面进行检测,然后综合每个面的检测结果确定待检产品2的外观检测结果,实现了对待检产品2的高效、全面的检测。

可以理解的是,待检产品2可以是任何一种家电产品,例如:冰箱、空调、电视机、微波炉、热水器等需要进行出厂外观检测的。

可以理解的是,对待检产品2进行检测时,主要的检测对象包括商标标识、能效标识、冷媒标识、警示标识,以及后网罩、感温卡、螺钉和说明书中的一种或者多种,还可以包括一些可以通过图像识别技术进行检查的明显外观缺陷,例如喷漆不均匀、机器组装缝隙大、因磕碰造成的外壳变形等,对此本申请不作具体限定。

可以理解的是,本实施例的技术方案,可以对生产线的每件产品进行扫码、拍照检测、异常判断、历史记录展示,对检测结果不合格的产品,会在人机交互界面展示检测结果NG以及亮红灯进行提示,并单独保存检测结果不合格产品的图像及结果便于工厂回溯,同时可以控制异常排出机构将当前检测结果不合格的产品剔出。

在保存检测结果不合格产品的图像时,可以对图像进行归类,例如判断图像是属于产品的后侧面的图像、前侧面的图像、右侧面的图像、左侧面的图像以及顶面的图像中的哪一个,并以此进行归类。

还可以在保存结果不合格产品的图像时,对图像进行标记,例如将不合格原因标记在图像上,以便于后续的工厂回溯。

在本申请的一个实施例中,获取多帧外观图像,包括:

确定待检产品2处于第一位置,控制后侧面检测组件3对待检产品2的后侧面进行拍摄,以获取待检产品2的后侧面的外观图像;

确定待检产品2处于第二位置,控制前侧面检测组件4对待检产品2的前侧面进行拍摄,以获取待检产品2的前侧面的外观图像;

确定待检产品2处于第三位置,控制右侧面检测组件5对待检产品2的右侧面进行拍摄,以获取待检产品2的右侧面的外观图像,控制左侧面检测组件6对待检产品2的左侧面进行拍摄,以获取待检产品2的左侧面的外观图像,控制顶面检测组件7对待检产品2的顶面进行拍摄,以获取待检产品2的顶面的外观图像。

可以理解的是,在获取待检产品2的外观图像时,先获取待检产品2的位置,根据待检产品2的具体位置,控制相应的检测组件对待检产品2的相应的面进行外观检测,保证了获取的待检产品2的外观图像的准确性。

具体的,当确定待检产品2处于第一位置时,说明此时待检产品2处于后侧面拍摄的最佳位置,则控制后侧面检测组件3对待检产品2的后侧面进行拍摄,以精准的获取待检产品2的后侧面的外观图像;当确定待检产品2处于第二位置时,说明此时待检产品2处于前侧面拍摄的最佳位置,则控制前侧面检测组件4对待检产品2的前侧面进行拍摄,以精准的获取待检产品2的前侧面的外观图像;当确定待检产品2处于第三位置时,说明此时待检产品2处于右侧面、左侧面和顶面的最佳拍摄位置,则控制右侧面检测组件5、左侧面检测组件6和顶面检测组件7同时对待检产品2进行拍摄,以精准的获取待检产品2的右侧面、左侧面和顶面的外观图像。

可以理解的是,可以通过光电感应器或红外传感器或其他任何合适的位置检测元件对待检产品2的位置进行检测。

在本申请的一个实施例中,产品外观检测方法包括:

确定待检产品2处于第二位置,控制对待检产品2的前侧面的目标区域进行拍摄,以获取待检产品2的前侧面处的局部外观图像。

可以理解的是,当待检产品2处于第二位置时,此时除了可以对待检产品2的前侧面进行拍摄,还可以对待检产品2的前侧面处的局部进行拍摄,以获取待检产品2的前侧面的局部外观图像,进而可以对待检产品2的前侧面的局部区域进行更加精准的分析,提高了待检产品2的外观检测的准确性。

在本申请的一个实施例中,对外观图像进行分析处理,确定待检产品2的外观检测结果,包括:

确定当前的待检产品2的外观检测结果不合格;

控制将当前的待检产品2移动至指定区域;和/或,控制发出警示信息,以提醒用户当前的待检产品2的外观检测结果不合格。

可以理解的是,对待检产品2的外观图像进行分析处理后,可以确定待检产品2的外观检测结果。

当确定当前的待检产品2的外观检测结果不合格时,则控制相应的设备将当前的检测不合格的待检产品2从传送组件1移动到指定区域,例如移动到暂存区域。

当确定当前的待检产品2的外观检测结果不合格时,也可以控制人机交互界面显示出警示信息,以提醒用户当前的待检产品2不合格,还可以控制发光灯或发生器工作,以提醒用户当前的待检产品2不合格。后续则可以由用户自行将当前的待检产品2从传送组件1处移出,也可以控制机械手等装置将待检产品2移走。

可以理解的是,在确定当前的待检产品2的外观检测结果不合格时,可以控制传送组件1停止工作,在确定当前的不合格的待检产品2从传送组件1处移走后,再控制传送组件1继续工作。

在本申请的一个实施例中,对外观图像进行分析处理,确定待检产品2的外观检测结果,包括:

步骤1011:基于待检产品2的生产信息,从预先构建的外观模板库中调取与生产信息匹配的外观检测模板集;外观检测模板集中至少具有与外观图像一一对应的外观检测模板,每个外观检测模板中具有根据各检测项从外观图像样本中裁剪出的标识样本,外观图像样本与外观图像的拍摄角度一致。

上述待检产品2的生产信息,主要是通过读码器120对粘贴在待检产品22上的制造执行系统条码进行扫描后获取到的,可以包括待检产品2的机型信息、出口国别信息、工单号、库存组织信息等,对此本发明不作具体限定。

在进行外观检测前,预先构建外观检测模板库,针对任何机型的产品,分别从不同拍摄角度对外观检测合格的家电样品进行拍摄,获取到该家电样品的多帧外观图像,作为外观图像样本。然后,针对外观检测过程中的所有检测项,分别从对应的每个外观图像样本中标注出与每个检测项相对应的标识样本。那么利用每帧外观图像样本,以及该外观图像样本中的所有标识样本,就可以构建出一个外观检测模板。

针对每个机型的产品,由于采集了不同拍摄角度下的外观图像样本,而每帧外观图像样本对应构建了一个外观检测模板,则每个机型的产品就预先构建了一个外观检测模板集。

需要说明的,可以根据每个机型的产品的生产信息的不同,为其对应的外观检测模板集标注一个查询标识,同时还可以根据外观图像样本拍摄角度的不同,为每个外观检测模板标注一个唯一标识信息。例如,根据机型信息生成该产品唯一的查询标识后,通过在查询标识后面加上不同的编码,构成不同外观检测模板的唯一标识信息,且不同的拍摄角度下获取的外观图像样本所对应的外观检测模板的唯一标识信息不同。

在外观检测过程中,就可以根据待检产品2的生产信息,根据与该生产信息相匹配的查询标识,查询到与该生产信息匹配的外观检测模板集,并调取出来。

需要说明的,一般来说会针对每个型号的产品构建其对应的外观检测模板集存储在外观模板库中。且一般来说,在每个外观检测模板集中一般会尽量多的收集不同拍摄视角下的外观图像样本,构建尽量完善的外观检测模板,这样能够确保在获取到待检产品2任一拍摄角度下的外观图像后,可以在外观模板库中调取到同一拍摄角度下的外观图像样本所对应的外观检测模板。

步骤1012:获取每帧外观图像与外观图像样本之间的每个检测项的检测分值。

作为一种可选实施例,比较外观图像与外观图像样本之间每个检测项的检查分值的方法,可以包括但不限于:

从外观图像中裁剪出与每个检测项相对应的标识图像;

针对任一检测项,针对任一检测项,计算任一检测项相关的标识图像与对应的标识样本之间的相似度,作为任一检测项的检测分值。

具体地,针对每帧外观图像,先根据各检测项从中标注并裁剪出对应的标识图像。

然后,获取外观检测模板中相同检测项对应的标识样本。

可以计算标识图像与该标识样本之间的相似度,作为外观图像与外观图像样本之间的该检测项的检测分值。

重复执行上述步骤,直至获取每个检测项的检测分值。

下面提供一个实施例对上述步骤进行说明,假设某一检测项是对于商标标识的检测,且假设商标是粘贴在待检产品2的右侧面。

首先,从所有外观图像中挑选出正视图,然后采用图像处理方法,从该正视图中标注出商标标识所在的区域,并裁剪出来作为该检测项的标识图像。

然后,根据该产品的生产信息从外观模板库中调取对应的外观检测模板集,进而从该外观检测模板集中筛选出正视图对应的外观检测模板。一般来说,该外观检测模板上具有商标标识对应的标识样本。

最后,计算上述标识图像与标识样本之间的相似度,作为检测分值,具体可以采用以下方式来实现:

先分别对标识图像与标识样本进行特征提取,构建成出特征向量。所采用的特征提取方法包括局部二值模式、直方图均衡化、梯度直方图等。然后,利用两个特征向量,计算标识图像与标识样本之间的相似度,可采用余弦相似度、欧几里得距离、马氏距离等中的一种。

当然,还可以采用其他方式进行标识图像与标识样本之间的相似度的计算。例如,可以采用网络模型分别对标识图像与标识样本进行特征提取等,对此本发明不作具体限定

步骤1013:基于所有检测分值,确定待检产品2的外观检测结果。

在获取到每帧外观图像中每个检测项的检测分值之后,就可以确定对于该待检产品2的外观检测结果是否正常。

一般来说,可以针对不同的检测项设置不同的检测阈值,在任一检测项的检测分值小于其对应的检测阈值,则认为该检测项是不合格的。那么对于整个待检产品2来说,若任一帧外观图像中的任一检测项不合格,则可以认为其外观检测结果是不合格的。

可以在客户端的人机交互界面显最终的检测结果,若所有检测项的检测结果均合格,则控制人机交互界面中将各检测项对应的三色灯设置为绿色灯亮,若任一检测项不合格,则将该任一检测项对应的三色灯设置为红灯灯亮,并由此触发产线停线,待异常排出机构将该待检产品2排出到暂存区后,可控制产线再次启动。

本发明提供的产品外观检测方法,利用产品的生产信息预先对该产品各检测项的外观检测信息进行结构化存档,在实时检测时,通过从结构化存档中调取对应的检测模板,以利用检测模板中各检测项的标识样本对实时拍摄的外观图像进行验证,能够一次性完成对产品全方位的外观检测,检测效率高且能有效满足产线频繁换型的外观检测需求。

在上述实施例中是默认为从预先构建的外观模板库中可以根据待检产品2的生产信息,调取出对应的外观检测模板集,但不排除部分产品因刚上线,还没有预先构建好对应的外观检测模板集的情况。图4是本发明提供的产品外观检测方法的流程示意图之二,如图4所示,在本发明提供的产品外观检测方法中,若基于待检产品2的生产信息确定外观模板库中没有与生产信息匹配的外观检测模板,则基于生产信息从图片库中调取外观图像样本集,外观图像样本集中至少包括与每帧外观图像的拍摄角度一致的外观图像样本;

针对任一外观图像样本,标识并裁剪出与每个检测项相对应的标识图像,以利用所有标识图像构建一外观检测模板;外观检测模板具有唯一标识信息,唯一标识信息是根据待检产品2的生产信息确定的;

将外观检测模板加入至外观模板库中。

本发明在根据待检产品2的生产信息,在外观模板库中没有检索到与待检产品2相匹配的外观检测模板的情况下,可以先暂停产线,快速地构建出对应的外观检测模板加入至外观模板库中,具体构建方法如下:

一般来说,在新型号的产品上线之前,会采集其不同拍摄角度下的外观图像样本存储至图片库中,且每个型号的产品相关的外观图像样本在存储时或配置有唯一的查询编码,该查询编码是基于该产品的生产信息生成的。

这样,可以根据待检产品2的生产信息从图片库中调取出该待检产品2各个拍摄角度下的外观图像样本,所有外观图像样本可以存储在一个外观图像样本集中。

进一步地,针对任何一个拍摄角度下的外观图像样本,以正视图为例,首先采用图片识别方法,标识正视图中的每个检测项相关的区域并裁剪下来,作为各检测项对应的标识图像。

以检测项为商标标识为例,首先在正视图中确定商标所在区域,然后将这个区域裁剪出来作为对商标标识检测这一检测项的标识图像。

针对任何一个外观图像样本,将其涉及的所有检测项相关的标识图像一一裁剪出来,与外观图像样本本身一起设计在一个界面上,作为一个外观检测模板存储至外观模板库中。

进一步地,为了能够根据待检产品2的生产信息快速、准确地从外观模板库中调取其对应的外观检测模板,可以根据生产信息为每个外观检测模板配置一个唯一标识信息,不同的外观检测模板的唯一标识信息存在一定的差异。

在完成为待检产品2不同拍摄角度下的外观图像样本生成对应的外观检测模板并存储在外观模板库之后,就可以继续执行产线检测了,在此不作赘述。

本发明提供的产品外观检测方法,可以依靠丰富的场景数据,包括图片库、外观模板库等,对于不同型号的产品,能实现高效地外观模板建模以及适配,能解决因产线换型带来无法高效执行外观检测的问题,便于项目的快速落地,且检测速度与检测精度可满足工业产线的要求,保障了产线生产的流畅性和产品的合格率。

基于上述实施例的内容,作为一种可选实施例,上述针对任一外观图像样本,标识并裁剪出与每个检测项相对应的标识图像,包括:

将外观图像样本输出至目标检测模型,获取目标检测模型输出的图像检测结果;图像检测结果为利用矩形框标注出每个检测项相对应的标识的外观图像样本;

将每个矩形框从外观图像样本中裁剪出来,作为每个检测项对应的标识图像。

具体地,下面以在正视图中标识出商标标识为例,简单的介绍当需要在外观图像样本上,标识并裁剪出与每个检测项相对应的标识图像时的操作步骤:

将待处理的正视图输入至训练好的目标检测模型中;目标检测模型输出图像检测结果,该图像检测结果可以是采用矩形框标注的方式标注出每个检测项所在区域的外观图像。

然后,对图像检测结果中的各个矩形框进行裁剪,就可以获取到每个矩形框所包含的标识图像。

最后,可以将每个裁剪出的标识图像保存到指定的文件夹中,以供后续构建外观检测模板用。

需要说明的是,上述目标检测模型可以是基于深度学习的网络模型,例如可以采用快速区域卷积神经网络、单次多框检测器、YOLO网络或者视网膜网络等中的一种作为基础网络,利用带有标签的样本图像进行训练后得到。

本发明提供的产品外观检测方法,在客户端进行外观检测模板的自动构建时,在选择新型号的产品时,构建模版的页面可以自动根据生产信息进行填图。

同时,基于生产型号,可以抽象出各检测面相关的外观图像样本的检测项,并将每帧外观图像样本中对应的检测项所在区域全部自动框选出来,例如:右侧面图中的商标标识、后视图中的铭牌标识与型号标识、前视图中的螺钉检测、后视图中的后网罩以及感温卡检测等。

在进行外观检测模板的自动建模时,用户无需在构建模版的页面做任何编辑,能提供基于自动框选出的矩形框做预览的功能。

用户在构建模版的页面点击提交后,在实际线上检测时会在检测页实时展示外观检测结果,不显示“未建模”模式。

需要补充说明的是,在用户完成外观检测模板的自动建模后,在用户手动对获取的外观检测模板做了任何编辑或修改,且再次提交时,检测页会实时展示操作后的新的外观检测模板,并遵循原有逻辑用于提供对于下一待检产品2的外观检测。

本发明针对现有的外观检测方法,在新型号的产品上线前,需要重新收集素材做针对性的训练这一缺陷,本发明提供了一种高效地智能建模方法,通过改变原有新型号的产品的上线外观检测机制,解决了新型号的产品适配慢,无法做到产线频繁换型快速检测的不足。

本发明通过将目标检测模型结合质检建模场景数据进行融合创新,对业务数据结构化,将图像分割算法在建模里做抽象归类,打磨出自学习的智能建模推荐能力,在客户端系统上实现根据产品的生产信息自动建模,将新型号的产品上线的时长由一周压缩至2分钟,有效解决产线频繁换型痛点。

作为可选实施例,本发明还提供了另一种在外观图像样本中,标识并裁剪出与每个检测项相对应的标识图像的方法,包括但不限于:

接收第一输入,第一输入为用户在人机交互界面所显示的外观图像样本上的首次点击操作;

响应第一输入,在外观图像样本上标注出第一闭合区;第一闭合区是以首次点击操作的位置点作为中心,至少包括与任一检测项相对应的标识区域;

接收第二输入,第二输入为用户在标识区域内的再次点击操作;

响应第二输入,在标识区域内标注出第二闭合区;第二闭合区是与再次点击操作的位置点最近的最小外接矩形;最小外接矩形内的标贴颜色占比大于第一预设阈值;

裁剪出第二闭合区作为任一检测项相对应的标识图像。

下面以在正视图中标识出商标标识为例进行说明。

在进行外观检测模板的构建时,客户端的人机交互界面上会展示构建模版的页面,在构建模版的页面上会显示有待检产品2的正视图。

用户通过控制鼠标执行第一输入,包括将光标放置在正视图上进行首次点击操作,客户端响应用户的第一输入,会在正视图上标注出所有包含各个检测项所对应区域,其中也包括包含商标标识所在区域的第一闭合区。

由于此时标注出了正视图上所有与检测项相关的区域,用户可以执行第二输入,以继续在上述包含商标标识所在区域内确定出商标标识所对应的表述图像。

其中,第二输入可以是用户在包含商标标识所在区域内的点击操作,此时可称作再次点击操作。

客户端接收到用户的第二输入之后,会自动的标识距离再次点击操作的位置点最近的一个目标标识区域的最小外接矩形,作为第二闭合区,该第二闭合区就是商标标识对应的标识图像。

其中,该目标标识区域的最小外接矩形内的标贴颜色的占比需要大于第一预设阈值。由于粘贴了标识的区域相较于未粘贴标识的区域,其对应的标贴颜色占比更大,通过设置上述条件就可以区别出商标标识所在区域与未粘贴商标标识所在区域。

需要说明的是,本发明在外观图像样本上标识并裁剪出与每个检测项相对应的标识图像的执行过程中,可以先采用上述实施例提供的利用目标检测模型进行自动标识为主,在确定自动标识结果中有部分检测项的表示图像没有自动生成的情况下,可以采用本实施例所提供的智能点选的方式进行辅助补充,也可以仅依靠本实施例所提供的智能点选的方式,有用户逐一对检测项相关的各个标识图像进行标注裁剪。

作为可选实施例,本发明还提供另一种在外观图像样本中,标识并裁剪出与每个检测项相对应的标识图像的方法,包括但不限于:

接收第三输入,第三输入为用户在人机交互界面所显示的外观图像样本上的框选操作;

响应第三输入,在框选操作的框选操作区域标注出至少一个第三闭合区;第三闭合区至少包括与任一检测项相对应的标识区域;

裁剪出第三闭合区作为任一检测项相对应的标识图像。

本实施例提供的是一种采用智能框选的方式对检测项相对应的标识区域进行标识的方法。

用户将鼠标的光标移动到人机交互界面所显示的外观图像样本上,并防止在检测项相对应的区域,可以采用按住鼠标后键并拖拽鼠标的光标的方式,在检测项相对应的区域内对具体区域进行框选操作。

经过框选操作后,会自动生成一个第三闭合区,该第三闭合区至少包括一个检测项相对应的标识区域。

可选地,该第三闭合区可以是检测项相对应的标识区域的最小外接矩形框。在检测项相对应的标识区域为其他形状时,例如圆形的情况下,该第三闭合区可以是最小外界圆形。

需要说明的是,上述第三闭合区内的标贴颜色占比一般要求大于第一预设阈值,即通过这一限制,以有效地区别出检测项相对应的标识区域所在区域与其他区域。

作为一种可选实施例,第三闭合区可以为框选操作区域面积用户若采用鼠标控制光标进行自定义多边形的绘制,如用户控制光标人工绘制了一个首尾相连的第三闭合区,也可以将用户人工绘制的第三闭合区作为框选操作区域,并将该框选操作区域作为一个检测项对应的标识区域。

例如,某个商标标识是三角形,用户可以通过控制光标沿该三角形的三个角绘制出第三闭合区,在可以直接将该第三闭合区作为商标标识的标识区域。

本发明提供的产品外观检测方法,提供了自动建模、智能点选、智能框选、手动绘制闭合区等多种手段供用户完成对于各个外观图像样本中各检测项相关的标识图像的标识,有利于快速响应外观检测模板的建模需求,能够支持空调、冰箱、洗衣机、洗碗机、饮水机等多品类产品的单工站全角度动态多任务并行检测,有效解决频繁转单需要重建标准及模板切换的需求。

基于上述实施例的内容,作为一种可选实施例,基于所有检测分值,确定待检产品2的外观检测结果,包括:

根据任一检测项的检测分值与第二预设阈值的比较结果,确定任一检测项的自动检测结果,并将所有检测项的自动检测结果展示在人机交互界面上;

获取用户的第四输入,第四输入是用户对自动检测结果为不合格的检测项的人工判定;

响应第四输入,确定自动检测结果为不合格的检测项的人工判定结果;

基于所有检测项的自动检测结果和/或人工判定结果,确定外观检测结果。

本发明通过读码器120读取产品外壳上粘贴的MES条码,获取到生产信息,如机型信息、出口国别信息、工单号、库存组织信息等,通过生产信息查询外观模板库中是否有预先存储的外观检测模板集。若有,则分别调取与当前待检产品2的每个外观图像的拍摄角度一致的外观图像样本所对应的外观检测模板。

若没有,则需要根据上述实施例提供的外观检测模板创建方法,在客户端快速创建模板。

针对每个检测项,分别将其所在外观图像中的标识图像与外观图像样本中对应的标识样本进行相似度计算,获取到每个检测项的检测分值。然后,将每个检测分值分别与第二预设阈值进行比较,若大于第二预设阈值,则说明两者的相似度是合格的,则认为该检测项的自动检测结果是合格的,此时输出自动OK指令。

若小于或者等于第二预设阈值,则说明两者的相似度是不合格的,此时输出自动NG指令。

需要说明的是,由于每个检测项所对应的标识图像的形状、颜色等均存在很大的区别,故可以针对各检测项设置不同的第二预设阈值。

客户端的首页会显示检测结果,并采用三色灯表征不同的检测结果。

绿色用于表征检测结果为正常,即自动OK;绿色用于表征检测结果为异常,即自动NG;黄色用于表征检测结果无效。

如果所有的检测结果均为正常,则待检产品2自动流转至下一工序;如果有任一检测项的检测结果是异常的客户端会发送停机指令给PLC,触发产线停线。

客户端检测首页、历史页的检测结果的三色灯的颜色是对齐一致的,用户需要在客户端检测首页操作,以确认发生异常时的真实情况。即若存在任一检测项的自动检测结果是自动NG或者无效时,则以人工判定结果作为最终的检测结果,分为三种情况:

1)无效,此时人工也不能确定检测出的结果是正常还是非正常;

2)人工OK,即人工确认该任一检测项的自动检测结果是有误的,人工判定结果是正常的;

3)人工NG,即人工判定结果是该任一检测项的检测结果是异常的。

基于上述实施例的内容,作为一种可选实施例,在基于所有检测分值,确定待检产品2的外观检测结果之后,还包括:

按照预先构建的检测项优先级列表,在所有自动检测结果和/或人工判定结果为不合格的所有检测项中,确定出优先级最高的目标检测项;

将目标检测项所在的外观图像展示在人机交互界面上。

作为一种可选实施例,外观图像包括正视图、后视图、后视图、前视图和俯视图,检测项包括商标标识、能效标识、冷媒标识、警示标识,以及后网罩、感温卡、螺钉和说明书。

可以结合下面的实施例进行说明:

实施例一、当检测出结果后,用户没有去客户端检测首页做人工确认时,空调外观检测的5个面,有一个检测面的自动检测结果是NG,则在人机交互界面上的总览页面大图显示“后视图-NG”结果。

此时,若存在多个检测面异常时:

情况1

正视图-OK,后视图-NG,后视图-NG,前视图-OK,俯视图-OK;

则在总览页面大图显示:后视图-NG。

情况2

正视图-OK,后视图-NG,后视图-NG,前视图-NG,俯视图-NG;

则在总览页面大图显示:后视图-NG。

实施例二、当检测出结果后,用户去客户端检测首页做人工确认时,空调外观检测的5个面,前视图人工确认结果为人工NG,后视图人工确认结果为人工OK,后视图人工确认结果为无效,则在总览页面大图显示:前视图-NG。

当整机有多个检测面异常、人工确认时:

情况1

正视图-人工OK,后视图-人工NG,后视图-无效,前视图-OK,俯视图-OK;

则在总览页面大图显示:后视图-人工NG。

情况2

正视图-人工OK,后视图-NG,后视图-NG,前视图-OK,俯视图-NG;

则在总览页面大图显示:后视图-NG。

情况3

正视图-OK,后视图-人工OK,后视图-无效,前视图-NG,俯视图-NG,则总览页面大图显示:前侧面-NG

当检测结果出来后用户去客户端检测首页做了人工确认时,实时检测结果同步刷新。

当检测结果出来后用户去客户端检测首页做了人工确认时,实时检测结果同步刷新。

本发明提供的产品外观检测方法,还设置有异常报警及提示功能,用于及时发现和处理异常情况,并提示错误原因。开启硬停状态以后,扫码/拍照/结果NG都会停线,人工需要点击相应的按钮,方可放行。

在读码器120的扫码失败时,检测页面弹窗提示,放行方式有3种:

第1种:使用读码器120补码成功;

第2种:点击桌面扫码放行的物理按钮;

第3种:点击页面弹窗的放行按钮。

当拍照失败,电脑页面会弹窗提示拍照失败,此待检产品2会停在拍照位,放行方式有3种:

第1种:设置相机直通模式,会自动跳转到相机直通设置界面;

第2种:点击页面放行按钮;

第3种:点击桌子上的放心物理按钮。

当检测加过NG,电脑界面会弹窗错误详情页,放行方式有2种

第1种:点击页面按钮放行

第2种:点击桌面物理按钮放行

作为一种可选实施例,针对任一检测项,针对任一检测项,计算任一检测项相关的标识图像与对应的标识样本之间的相似度,包括:

提取标识图像和标识样本中的文字信息;

计算文字信息的相似度,作为标识图像与标识样本之间的相似度。

作为一种可选实施例,由于很多检测项对应的表示图像中往往包括很多的文字,例如包括英文、中文等部分国家的文字。本发明在进行述标识图像与标识样本之间的相似度计算时,可以采用以下方式:

将获取到的标识图像中的信息转换成文字同时也将标识样本中信息转换成文字。

其中,标识图像中的信息转换成文字可以采用光学字符识别技术,结合专业的打光视觉成像硬件方案,采用OCR技术将图像信息转化为型号信息,提高产品信息的准确性和处理效率。

将图像信息转化为文字信息之后的应用场景,用户可以在检测首页点击前视图以及俯视图检测结果旁边的箭头,进入检测详情页,在检测详情页前边检测内容栏会将转化为文字的型号结果呈现出来。这样通过比较两段文字之间的相似度,作为标识图像与标识样本之间的相似度。

作为一种可选实施例,上述生产信息可以包括机型信息、出口国别信息和工单号中的至少一种。

在实际检测过程中,当不同产品的机型信息一致,但检测任务不一致时,使用机型信息+出口国别信息作为生产信息;当机型信息和出口国别信息均重复,但检测任务不一致时,可以使用机型信息+出口国别信息+工单号作为生产信息。一般来说,工单号可以设置在4-11位。

在实际外观检测时,扫码到MES条码后生成一条最新的工单号记录,条码号4-11位作为一个工单号,工单号栏可以下拉找到最近的一个工单号。用户可以在建模页面基于机型信息+出口国别信息+工单号建立外观检测模板模,出口国别信息下拉框里默认显示最新条码的国家,当用户知道对应机型的出口国时,可以采用手动下拉点选正确的出口国。

本发明提供的产品外观检测方法,通过读码器120将产品的生产信息,包括型号信息、出口国别信息、工单号、库存组织等产品信息结构化、规范化存档,实现快速、准确的查询和溯源。

最后应说明的是,以上实施方式仅用于说明本申请,而非对本申请的限制。尽管参照实施例对本申请进行了详细说明,本领域的普通技术人员应当理解,对本申请的技术方案进行各种组合、修改或者等同替换,都不脱离本申请技术方案的精神和范围,均应涵盖在本申请的权利要求范围中。

相关技术
  • 一种U形管件自动打点机
  • 一种儿科术中舒适护理管理装置及系统
技术分类

06120116521328