物品检测装置、物品检测方法、存储介质

技术领域

本发明涉及计算机技术领域，具体涉及一种物品检测装置、物品检测方法、存储介质。

背景技术

目前，当晶圆被人工或是机器手臂摆放到晶圆载具如晶舟盒或是晶圆传输盒之后，有一定的机率会发生晶圆斜置的情况。目前都是由作业员以人工目测的方式来观察晶圆是否倾斜放置。

然而，由于晶圆载具的外观并不是完全透明的，所以通常需要作业员从晶圆载具的六个方向仔细观察来确定晶圆是否倾斜放置。此外，晶圆在晶圆载具内的排列组合众多且当装满一定数量的时候，排列十分密集。因此，作业员较难观察出晶圆是否倾斜放置，进而导致辨别错误的情况发生。

发明内容

鉴于以上内容，有必要提出一种物品检测装置、物品检测方法、存储介质，可以快速准确地对载具内的物品的放置情况进行检测，提升检测效率的同时节省人力成本。

本发明的第一方面提供一种物品检测装置，所述物品检测装置包括至少一个灯光设备、至少一个摄像机，以及至少一个处理器，所述至少一个处理器与所述至少一个灯光设备和所述至少一个摄像机电气连接；其中，所述至少一个灯光设备和所述至少一个摄像机设置于一载具的相对两侧；所述处理器，用于控制所述至少一个灯光设备向所述载具发射光束；所述处理器，还用于控制所述至少一个摄像机对所述载具拍摄图像；所述处理器，还用于调用预先训练好的物品检测模型基于所拍摄的图像对所述载具内的物品的放置情况进行检测。

优选地，所述处理器还用于训练所述物品检测模型，包括：获取预设数量的与不同放置情况分别对应的图像，并对与每种放置情况所对应的图像标注类别，使得与不同放置情况所对用的图像携带类别标签，将作了类别标注后的所述预设数量的与不同放置情况分别对应的图像作为训练样本；将所述训练样本随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练深度神经网络获得所述物品检测模型，并利用所述验证集验证所述物品检测模型的准确率；及若所述准确率大于或者等于预设准确率时，则结束训练；若所述准确率小于所述预设准确率时，则增加训练样本的样本数量重新训练深度神经网络直至重新获得的所述物品检测模型的所述准确率大于或者等于所述预设准确率。

优选地，所述不同放置情况包括所述载具内的每个物品正确放置、所述载具内至少一个物品倾斜放置。

优选地，所述至少一个灯光设备设置于所述载具的上方，所述至少一个摄像机设置于所述载具的下方；或者所述至少一个灯光设备和所述至少一个摄像机设置于所述载具的左右两侧。

优选地，所述载具所承载的所述物品为规则物品。

优选地，所述载具为晶圆载具，所述载具内的物品为晶圆。

本发明第二方面提供一种利用所述物品检测装置实现物品检测的方法，该方法包括：控制所述至少一个灯光设备向所述载具发射光束；控制所述至少一个摄像机对所述载具拍摄图像；及调用预先训练好的物品检测模型基于所拍摄的图像对所述载具内的物品的放置情况进行检测。

优选地，该方法还包括训练所述物品检测模型，包括：获取预设数量的与不同放置情况分别对应的图像，并对与每种放置情况所对应的图像标注类别，使得与不同放置情况所对用的图像携带类别标签，将作了类别标注后的所述预设数量的与不同放置情况分别对应的图像作为训练样本；将所述训练样本随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练深度神经网络获得所述物品检测模型，并利用所述验证集验证所述物品检测模型的准确率；及若所述准确率大于或者等于预设准确率时，则结束训练；若所述准确率小于所述预设准确率时，则增加训练样本的样本数量重新训练深度神经网络直至重新获得的所述物品检测模型的所述准确率大于或者等于所述预设准确率。

优选地，所述不同放置情况包括所述载具内的每个物品正确放置、所述载具内至少一个物品倾斜放置。

本发明第二方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有多个模块，所述多个模块被处理器执行时实现所述的物品检测的方法。

本发明实施例中所述的物品检测装置、物品检测方法、存储介质，可以快速准确地对载具内的物品的放置情况进行检测，提升检测效率的同时节省人力成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本发明较佳实施例提供的物品检测装置的方框图。

图2举例说明发光设备和摄像机的设置。

图3是本发明较佳实施例提供的物品检测系统的功能模块图。

图4是本发明较佳实施例提供的物品检测方法的流程图。

如下具体实施方式将结合上述附图进一步说明本发明。

主要元件符号说明

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

参阅图1所示，为本发明较佳实施例提供的物品检测装置的架构图。

在一个实施例中，物品检测装置1包括，但不限于，至少一个灯光设备11、至少一个摄像机12、至少一个处理器13，以及存储器14。本实施例中，所述至少一个处理器13与所述至少一个灯光设备11、所述至少一个摄像机12，以及所述存储器14电气连接。

需要说明，图1所示仅为对本发明实施例的所述物品检测装置1的举例说明，不应解释为对本发明的限制。所述物品检测装置1可以包括比图1所示的更多或者更少的元件。例如，所述物品检测装置1还可以包括操作系统、通讯模块等。

本实施例中，所述物品检测装置1用于对载具2所承载的一个或多个物品21的放置情况进行检测。例如，检测所述一个或多个物品21在所述载具2内是否倾斜放置。

在一个实施例中，所述一个或多个物品21可以为规则物品，例如，是具有相同形状如圆形的晶圆，或者是其他具有相同形状如方形的主板等产品。所述一个或多个物品21在所述载具2上规则排列。本实施例中，所述载具2用于承载所述一个或多个物品21。例如所述载具2为晶舟盒或晶圆传输盒。

需要说明的是，晶圆是指硅半导体集成电路制作所用的硅晶片，由于其形状为圆形，故称为晶圆。

本实施例中，所述物品检测装置1可以为计算机装置，所述至少一个灯光设备11和所述至少一个摄像机12可以外置于该计算机装置。所述至少一个处理器13以及存储器14可以内置于该计算机装置。

在一个实施例中，所述至少一个灯光设备11可以为LED(Light-emitting diode)设备。所述至少一个摄像机12可以为高清摄像机。

在一个实施例中，所述至少一个灯光设备11和所述至少一个摄像机12设置于所述载具2的相对两侧。所述至少一个灯光设备11用于向该载具2发射光束。所述至少一个摄像机12用于对所述载具2拍摄图像。

为清楚说明本发明，本实施例以所述载具2为晶舟盒，所述一个多或多个物品21为晶圆为例说明。

请同时参阅图2所示，在一个实施例中，所述至少一个灯光设备11设置于所述载具2的上方，所述至少一个摄像机12设置于所述载具2的下方。在其他实施例中，所述至少一个灯光设备11和所述至少一个摄像机12也可以设置于所述载具2的左右两侧。

在一些实施例中，所述存储器14用于存储程序代码和各种数据，例如存储安装在所述物品检测装置1中的物品检测系统140，并在物品检测装置1的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器14包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读存储介质。

在一些实施例中，所述至少一个处理器13可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器13是所述物品检测装置1的控制核心(Control Unit)，利用各种接口和线路连接整个物品检测装置1的各个部件，通过运行或执行存储在所述存储器14内的程序或者模块，以及调用存储在所述存储器14内的数据，以执行物品检测装置1的各种功能和处理数据，例如通过执行所述物品检测系统140以对载具2内的物品21的放置情况(如是否倾斜放置)进行检测的功能。

在一个实施例中，所述处理器13用于控制所述至少一个灯光设备11向所述载具2发射光束。所述处理器13还于控制所述至少一个灯光设备11向所述载具2发射光束的同时，控制所述至少一个摄像机12对所述载具2拍摄图像。所述处理器13还用于调用预先训练好的物品检测模型基于所拍摄的图像对所述载具2内的所述一个或多个物品21的放置情况进行检测。例如，检测所述载具2内是否存在至少一个物品21倾斜放置。

在一个实施例中，所述处理器13可以预先训练好所述物品检测模型，并将该预先训练好的物品检测模型存储到所述存储器14中，从而当需要对载具2内的物品21的放置情况进行检测时，所述处理器13即可从所述存储器14中调用所述物品检测模型，基于所述摄像机12对所述载具2所拍摄获得的图像，实现对所述载具2内的物品21的放置情况进行检测。

在一个实施例中，所述处理器13训练所述物品检测模型的方法包括(a1)-(a3)：

(a1)获取预设数量的与不同放置情况分别对应的图像，并对与每种放置情况所对应的图像标注类别，使得与不同放置情况所对用的图像携带类别标签，将作了类别标注后的所述预设数量的与不同放置情况分别对应的图像作为训练样本。

本实施例中，所述不同放置情况包括第一种放置情况和第二种放置情况。该第一种放置情况为所述载具2内的每个物品21正确放置。所述第二种放置情况为所述载具2内至少一个物品21倾斜放置。

需要说明的是，所述物品21正确放置是相对于倾斜放置而言的，即所述物品21没有倾斜放置，或者可以定义为按照对物品21的放置要求/放置标准来放置该物品21的。

具体而言，可以选取与所述第一种放置情况所对应的图像500张，并对该500张图像分别标注为“1”，即以“1”作为标签。类似地，选取与所述第二种放置情况所对应的图像500张，并对该500张图像分别标注为“2”，即以“2”作为标签。将作了类别标注后的所述1000张图像作为训练样本。

本实施例中，所述预设数量的图像可以为所述至少一个灯光设备11从所述载具2的上方向所述载具2发射光束的同时，所述至少一个摄像机12或其他拍摄装置从所述载具2的下方对准所述载具2拍摄获得。

当然，在其他实施例中，当所述至少一个灯光设备11设置在所述载具2的左侧，所述至少一个摄像机12设置在所述载具2的右侧时，所述预设数量的图像则可以为所述至少一个灯光设备11从所述载具2的左侧向所述载具2发射光束的同时，所述至少一个摄像机12或其他拍摄装置从所述载具2的右侧对所述载具2拍摄获得。当所述至少一个灯光设备11设置在所述载具2的右侧，所述至少一个摄像机12设置在所述载具2的左侧时，所述预设数量的图像则可以为所述至少一个灯光设备11从所述载具2的右侧向所述载具2发射光束的同时，所述至少一个摄像机12或其他拍摄装置从所述载具2的左侧对所述载具2拍摄获得。

(a2)将所述训练样本随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练深度神经网络获得所述物品检测模型，并利用所述验证集验证所述物品检测模型的准确率。举例而言，可以首先按照标注的类别将与不同放置情况分别对应的图像分发到不同的文件夹里。例如，将与所述第一种放置情况所对应的图像分发到第一文件夹里，将与所述第二种放置情况所对应的图像分发到第二文件夹里。然后分别从所述第一文件夹和所述第二发文件提取第一预设比例(例如，70％)的图像作为训练集，利用该训练集训练深度神经网络获得所述物品检测模型；以及从所述第一文件夹和所述第二发文件里分别取剩余的第二预设比例(例如，30％)的图像作为验证集，利用所述物品检测模型对所述验证集进行检测，并基于所述物品检测模型的检测结果计算所述物品检测模型的准确率。

在一个实施例中，所述深度神经网络包括输入层、卷积层、池化层和全连接层。所述输入层输入图像，所述卷积层提取图像特征输出特征向量。所述池化层对特征向量进行压缩提取主要特征。所述全连接层连接所有的特征，将输出值送给分类器(如softmax分类器)。

(a3)若所述准确率大于或者等于预设准确率时，则结束训练；若所述准确率小于所述预设准确率时，则增加训练样本的样本数量重新训练深度神经网络直至重新获得的所述物品检测模型的所述准确率大于或者等于所述预设准确率。

参阅图3所示，本实施例中，所述物品检测系统140可以包括多个由程序代码段所组成的功能模块。所述物品检测系统140中的各个程序段的程序代码可以存储于所述物品检测装置1的存储器14中，并由所述至少一个处理器13所执行，以实现对所述载具2内的所述一个或多个物品21的放置情况进行检测。

本实施例中，所述物品检测系统140根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：执行模块1401、检测模块1402。本发明所称的模块是指一种能够被至少一个处理器(例如所述处理器13)所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器14中。上述各模块包括若干指令用以使得所述至少一个处理器13执行从而实现本发明各个实施例所述的对所述载具2内的所述一个或多个物品21的放置情况进行检测的功能。关于各模块的功能将结合图4详述。

参阅图4所示，本发明较佳实施例提供的物品检测方法的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。

步骤S1、所述执行模块1401控制所述至少一个灯光设备11向所述载具2发射光束。所述执行模块1401还于所述至少一个灯光设备11向所述载具2发射光束的同时，控制所述至少一个摄像机12对所述载具2拍摄图像。

步骤S2、所述检测模块1402调用预先训练好的物品检测模型基于所拍摄的图像对所述载具2内的物品21的放置情况进行检测。

具体地，所述检测模块1402将所拍摄的图像输入至所述物品检测模型从而得到所述载具2内的物品21的放置情况。

在一个实施例中，所述检测模块1402训练所述物品检测模型的方法包括(a1)-(a3)：

(a1)获取预设数量的与不同放置情况分别对应的图像，并对与每种放置情况所对应的图像标注类别，使得与不同放置情况所对用的图像携带类别标签，将作了类别标注后的所述预设数量的与不同放置情况分别对应的图像作为训练样本。

本实施例中，所述不同放置情况包括第一种放置情况和第二种放置情况。该第一种放置情况为所述载具2内的每个物品21正确放置。所述第二种放置情况为所述载具2内至少一个物品21倾斜放置。

需要说明的是，所述物品21正确放置是相对于倾斜放置而言的，即所述物品21没有倾斜放置，或者可以定义为按照对物品21的放置要求/放置标准来放置该物品21的。

具体而言，可以选取与所述第一种放置情况所对应的图像500张，并对该500张图像分别标注为“1”，即以“1”作为标签。类似地，选取与所述第二种放置情况所对应的图像500张，并对该500张图像分别标注为“2”，即以“2”作为标签。将作了类别标注后的所述1000张图像作为训练样本。

本实施例中，所述预设数量的图像可以为所述至少一个灯光设备11从所述载具2的上方向所述载具2发射光束的同时，所述至少一个摄像机12或其他拍摄装置从所述载具2的下方对准所述载具2拍摄获得。

当然，在其他实施例中，当所述至少一个灯光设备11设置在所述载具2的左侧，所述至少一个摄像机12设置在所述载具2的右侧时，所述预设数量的图像则可以为所述至少一个灯光设备11从所述载具2的左侧向所述载具2发射光束的同时，所述至少一个摄像机12或其他拍摄装置从所述载具2的右侧对所述载具2拍摄获得。当所述至少一个灯光设备11设置在所述载具2的右侧，所述至少一个摄像机12设置在所述载具2的左侧时，所述预设数量的图像则可以为所述至少一个灯光设备11从所述载具2的右侧向所述载具2发射光束的同时，所述至少一个摄像机12或其他拍摄装置从所述载具2的左侧对所述载具2拍摄获得。

(a2)将所述训练样本随机分成第一预设比例的训练集和第二预设比例的验证集，利用所述训练集训练深度神经网络获得所述物品检测模型，并利用所述验证集验证所述物品检测模型的准确率。

举例而言，可以首先按照标注的类别将与不同放置情况分别对应的图像分发到不同的文件夹里。例如，将与所述第一种放置情况所对应的图像分发到第一文件夹里，将与所述第二种放置情况所对应的图像分发到第二文件夹里。然后分别从所述第一文件夹和所述第二发文件提取第一预设比例(例如，70％)的图像作为训练集，利用该训练集训练深度神经网络获得所述物品检测模型；以及从所述第一文件夹和所述第二发文件里分别取剩余的第二预设比例(例如，30％)的图像作为验证集，利用所述物品检测模型对所述验证集进行检测，并基于所述物品检测模型的检测结果计算所述物品检测模型的准确率。

在一个实施例中，所述深度神经网络包括输入层、卷积层、池化层和全连接层。所述输入层输入图像，所述卷积层提取图像特征输出特征向量。所述池化层对特征向量进行压缩提取主要特征。所述全连接层连接所有的特征，将输出值送给分类器(如softmax分类器)。

(a3)若所述准确率大于或者等于预设准确率时，则结束训练；若所述准确率小于所述预设准确率时，则增加训练样本的样本数量重新训练深度神经网络直至重新获得的所述物品检测模型的所述准确率大于或者等于所述预设准确率。

需要说明的是，在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。