一种基于生成对抗网络的库位状态检测方法及系统、存储介质

技术领域

本发明涉及图像检测技术，尤其涉及一种基于GANomaly生成对抗网络以检测库位状态是否空置的检测方法及检测系统。

背景技术

仓库库位状态判断，在工业物流自动化领域有着广泛的应用价值，例如在仓库堆放区域，需要判断库位区域内是否存在货物后，才能通过调度系统指挥无人叉车进行取货放货操作。因此如何准确判断仓库库位状态的变化，对于自动化仓储管理至关重要。

目前现有技术主要通过识别货物在图像中的位置，结合划定的库位区域进行计算判断库位的状态。例如现有技术提供了一种库位检测方法和系统（中国专利申请号202210381020.2）其中，该库位检测系统包括安装在待检测库位区域上方一定高度的至少一个相机，至少一个相机的视野覆盖整个库位区域，用于采集库位区域的实时图像，库位区域包括若干库位，该方法包括：对至少一个相机采集到的实时图像进行拼接处理，以得到待检测库位区域的全局地图；基于深度学习框架训练待检测库位区域的目标识别模型；根据全局地图，通过训练后的目标检测模型对实时图像进行识别，以得到库位区域中各库位的状态信息和位置信息。

然而此类采用深度学习框架的目标检测技术在构思上，是为了得出一个库位是否被空置/占用的概率预测，因此在训练时，必然需要同时学习库位空置及占用两种状态下的各个视角、不同式样的样本图，因此在制作训练集及训练方面存在较高要求。

其次在检测适应性方面，现有目标检测技术，当面对库位上出现新种类的货物占位时，可能需要重新采集新种类货物的样本制作训练集，以训练更新模型，因此检测适应性较弱。

发明内容

为此本发明的主要目的在于提供一种基于生成对抗网络的库位状态检测方法及系统，以实现基于对抗网络来判断库位状态，以此降低制作训练集及训练的要求，并提高检测适应性。

为了实现上述目的，根据本发明的第一个方面，提供了一种基于生成对抗网络的库位状态检测方法，其步骤包括：

步骤S100，采集库位空置及占用状态下的多张图片，分别定义为正、负样本；

步骤S200，将正样本作为输入来训练GANomaly对抗网络，直至确保正样本与其重构图相似度达成预期目标；

步骤S300，将库位当前真实图输入训练后的GANomaly对抗网络，获取重构图后进行后处理，以获取比较值；根据正、负样本在训练后的GANomaly对抗网络中所生成的对应重构图之间的差值边界定义出库位状态判断值

在可能的优选实施方式中，所述步骤S300中，重构图的后处理步骤包括：获取对应重构图后与真实图进行差值计算，然后对差值计算后的重构图进行灰值化及自适应阈值二值化处理，之后再进行求和统计，以获取比较值，

在可能的优选实施方式中，所述步骤S300中：库位状态判断值

，其中/>

在可能的优选实施方式中，所述步骤S300中：

；

；

其中

为了实现上述目的，根据本发明的第二个方面，还提供了一种基于生成对抗网络的库位状态检测方法，其步骤包括：

步骤S100，采集库位空置及占用状态下的多张图片，分别定义为正样本

步骤S200，构建GANomaly对抗网络，将正样本

步骤S300，定义库位状态判断值

步骤S400将待检库位真实图

步骤S500判断

在可能的优选实施方式中，所述步骤S300中：

；/>

；

其中

为了实现上述目的，根据本发明的第三个方面，还提供了一种基于生成对抗网络的库位状态检测系统，其包括：

存储单元，用于存储包括如上任一所述基于生成对抗网络的库位状态检测方法步骤的程序，以供控制单元，处理单元，适时调取执行；

控制单元，用于操控相机采集库位空置及占用状态下的多张图片，分别定义为正、负样本；

处理单元，用于将正样本作为输入来训练GANomaly对抗网络，直至确保正样本与其重构图相似度达成预期目标；

控制单元还用于操控相机采集库位当前真实图；

处理单元还将真实图输入训练后的GANomaly对抗网络，以计算真实图与其重构图的差值，并进行灰值化及自适应阈值二值化处理，然后再进行求和统计以获取比较值；将比较值与库位状态判断值

为了实现上述目的，根据本发明的第四个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时实现上述任一项所述基于生成对抗网络的库位状态检测方法的步骤。

通过本发明提供的该基于生成对抗网络的库位状态检测方法及系统，可仅通过库位空置样本来训练对抗网络，因此相比现有技术，能够有效降低制作训练集及训练网络的难度，同时发明人巧妙的设计了，通过对真实图对应的重构图进行后处理，以获取比较值来与预设的库位状态判断值进行判断，以获取库位状态结果，从而一旦对抗网络训练完成，后续无论面对何种货物占据库位，皆无需再训练更新对抗网络模型，籍此以极大的提高了适应性，同时也巧妙的利用了对抗网络技术，实现了库位状态检测的功能。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明第一实施例的方法步骤示意图；

图2为本发明第一实施例的方法中的GANomaly对抗网络结构示意图；

图3为本发明第一实施例的方法中数据处理流程示意图；

图4为本发明第一实施例的方法中正、负样本及其对应重构图及差值二值图的示例图；

图5为本发明第二实施例的系统结构示意图。

具体实施方式

为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。

此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“S100”、“S200”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。

本发明所称的库位检测，实质上是为了检测库位状态是否异常的判断，然而异常检测过程中由于异常样存在样本少，变化多，差异大的问题，因此变数太多，但正常样本（库位空置状态样本）则较为稳定，为此发明人意图通过训练对抗网络来巧妙的实施库位状态判断，其构思在于，通过重建正常样本与重建异常样本的差异来区分是否异常，籍此以判别库位是否空置。

为此，如图图1至图4所示，本发明提供的该基于生成对抗网络的库位状态检测方法，其步骤包括：

步骤S100，制作正负样本数据集：采集库位空置及占用状态下的多张图片，分别定义为正样本

举例来说，首先在包含库位区域的图像中，框选截出如图4所示的正、负样本图，其中优选正样本训练样本数量为S，测试样本正样本数量为0.2*S，测试样本负样本数量为0.2*S。

其次将正、负样本

步骤S200，构建GANomaly对抗网络，将正样本

举例来说，GANomaly的整体结构如图2所示，上半部分采用一个编码器、解码器、编码器的网络结构，同时学习原图生成重构图，原图的潜在表达生成重构图的潜在表达，下半部分定义一个判别器。通过交替训练生成网络与对抗网络。

其中生成器网络

编码器网络

判别器网络

损失函数：GANomaly网络的损失函数有上部分生成器损失函数和下部分判别器的损失函数。上部分的有三部分：

；

其中

：

，

：

，

其中

生成器的总的损失函数为：

，

其中

判别器的损失与原始GAN一致，为BCE Loss：

，

其中

网络训练时通过交替训练上部分的生成器网络与下部分的判别器网络，其训练过程包括：

步骤S201 循环交替训练GANomaly的生成器与判别器，梯度更新方式为Adam，学习率初始值示例为0.0002。数据批次大小示例为64。

步骤S202循环训练完成条件：测试样本集中正样本与重构样本的差值极大值

步骤S203训练完成后，计算

步骤S300 计算库位状态判断值

具体来说，本发明使用GANomaly进行库位检测，不是通过判别器的真假分数进行。该判别器的作用是保证原始正样本图像

本方案的库位检测逻辑为，比较正常样本与其重构图的差值

例如：

，

，

其中

为：各负样本/>

进一步的，在优选实施方式中，发明人经过多次实验调整后，优选该

，

步骤S400 将待检库位真实图像

具体来说，在训练好GANomaly对抗网络，并计算获得

，

即，将获取的对应重构图与真实图进行差值计算，然后对差值计算后的重构图进行灰值化及自适应阈值二值化处理，之后再进行求和统计，以此获取比较值，其中

步骤S500 最终根据步骤S400获得的比较值

由此可见，与传统GANomaly网络的不同，传统GANomaly网络是通过判断网络的分数区分正负样本，而在本方案中，判别网络的得分并不做参考，而是需要生成网络的结果与原始输入的差值计算。用它做库位检测是利用训练是只有空库位的样本，对其生成效果好，而非空库位图片生成效果差，二种情况下输入图片与生成结果的差值相差较大，正好对应库位占用与不占用的两种状态的构思，籍此以巧妙利用GANomaly网络的特点，转而实现了库位状态的检测。

对应上述第一实施例，请参阅图5所示，本发明还提供了一种基于生成对抗网络的库位状态检测系统，其包括：

存储单元，用于存储包括对应上述实施例一中所示基于生成对抗网络的库位状态检测方法步骤的程序，以供控制单元，处理单元，适时调取执行；

控制单元，用于操控相机采集库位空置及占用状态下的多张图片，分别定义为正、负样本；

处理单元，用于将正样本作为输入来训练GANomaly对抗网络，直至达成预期目标，确保正样本与其重构图相似度尽可能高；

控制单元进一步用于操控相机采集库位当前真实图；

处理单元进一步将真实图输入训练后的GANomaly对抗网络，以计算真实图与其重构图的差值，并进行灰值化及自适应阈值二值化处理，然后再进行求和统计以获取比较值；将比较值与库位状态判断值

对应上述第一实施例，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其中所述计算机程序被处理器执行时实现上述实施例一中所述基于生成对抗网络的库位状态检测方法的步骤。

综上所述，通过本发明提供的该基于生成对抗网络的库位状态检测方法及系统，可仅通过库位空置样本来训练对抗网络，因此相比现有技术，能够有效降低制作训练集及训练网络的难度，同时发明人巧妙的设计了，通过对真实图对应的重构图进行后处理，以获取比较值来与预设的库位状态判断值进行判断，以获取库位状态结果，从而一旦对抗网络训练完成，后续无论面对何种货物占据库位，皆无需再训练更新对抗网络模型，籍此以极大的提高了适应性，同时也巧妙的利用了对抗网络技术，实现了库位状态检测的功能。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。