无人货柜商品上架判断方法、设备和存储介质

技术领域

本公开的实施例一般涉及无人售货技术领域，并且更具体地，涉及无人货柜商品上架判断方法、设备和存储介质。

背景技术

为了使人们的生活更加便捷，近年来在地铁站、公交站和医院等场所出现的自动售货柜越来越多。智能售货柜是一种基于移动支付场景随时取货及时扣款的自动售卖机器，由于自动售货柜不受时间、地点的限制，即当有购物需求时，人们可就地进行购买，从而在很大程度上节省了人力，而且，交易过程也十分简便，是一种全新的商业零售形式。

在无人货柜的商品运营中，一般需要根据销量和来货等因素挑选商品品类。无人货柜比较特殊的是，需要进行图像识别以确定商品是否被出售。因此，所挑选的商品品类是否可以上架智能柜，其前提是，需要保证对该品类的良好识别率的同时，不影响对其他品类的识别。这一操作，称为“选品”。

当前，选品普遍使用的方案为：通过有经验的，或者经过培训的人员审核预上新品类，经验性判断是否可以上新，保证新品识别率的同时不会影响线上识别率。但是，现有选品方案自动化程度，效率低，且造成了人力成本的浪费。

发明内容

有鉴于此，根据本公开的实施例，提供了一种提高选品自动化程度和效率，降低人力成本的无人货柜商品上架判断方案。

在本公开的第一方面，提供了一种无人货柜商品上架判断方法，包括：

获取预上架商品的预设视角的视图，所述预设视角的视图包括俯视图、侧视图中的至少一个；

利用预先训练的相似度识别模型确定所述预设视角的视图的抽象特征，根据所述抽象特征确定所述预上架商品和已上架商品的相似度；

利用预先训练的分类识别模型确定所述预上架商品和已上线商品的每个品类的相似程度的置信度，根据所述置信度选取已上线商品作为候选相似品类集；

根据所述相似度和所述置信度确定所述预上架商品和所述候选相似品类集中每个品类的相似度分数；

响应于所述相似度分数低于预设阈值，将所述预上架商品确定为可上架商品。

如上所述的方面和任一可能的实现方式，所述获取预上架商品的预设视角的视图，包括：

获取预上架商品的俯视图和侧视图。

如上所述的方面和任一可能的实现方式，所述利用预先训练的相似度识别模型确定所述预设视角视图的抽象特征，根据所述抽象特征确定所述预上架商品和已上架商品的相似度，包括：

利用预先训练的相似度识别模型分别确定所述预上架商品的俯视图和侧视图的抽象特征，并和已上架商品的俯视图和侧视图的抽象特征进行对比，确定所述预上架商品和已上架商品的相似度。

如上所述的方面和任一可能的实现方式，所述利用预先训练的分类识别模型确定所述预上架商品和已上线商品的每个品类的相似程度的置信度，根据所述置信度选取已上线商品作为候选相似品类集，包括：

利用预先训练的分类识别模型确定所述预上架商品和已上线商品的每个品类的相似程度的置信度，按照置信度由高到低的顺序选择预设数量的已上线商品的品类作为候选相似品类集。

如上所述的方面和任一可能的实现方式，所述根据所述相似度和所述置信度确定所述预上架商品和所述候选相似品类集中每个品类的相似度分数，包括：

将所述相似度值和所述置信度值的乘积作为所述预上架商品和所述候选相似品类集中每个品类的相似度分数。

如上所述的方面和任一可能的实现方式，还包括：

获取所述预上架商品的手持视图，根据所述手持视图确定所述预上架商品的尺寸，根据所述预上架商品的尺寸与所述候选相似品类集中每个品类的尺寸相似度分数，确定所述预上架商品是否为可上架商品。

如上所述的方面和任一可能的实现方式，所述响应于所述相似度分数低于预设阈值，将所述预上架商品确定为可上架商品，包括：

响应于所述相似度分数低于预设阈值和所述预上架商品的尺寸满足预设条件，将所述预上架商品确定为可上架商品。

如上所述的方面和任一可能的实现方式，还包括：

响应于所述相似度分数高于预设阈值，将所述预上架商品确定为不可上架商品。

在本公开的第二方面，提供了一种无人货柜商品上架判断装置，包括：

视图获取模块，用于获取预上架商品的预设视角的视图，所述预设视角的视图包括俯视图、侧视图中的至少一个；

相似度确定模块，用于利用预先训练的相似度识别模型确定所述预设视角的视图的抽象特征，根据所述抽象特征确定所述预上架商品和已上架商品的相似度；

候选相似品类集确定模块，用于利用预先训练的分类识别模型确定所述预上架商品和已上线商品的每个品类的相似程度的置信度，根据所述置信度选取已上线商品作为候选相似品类集；

相似度分数确定模块，用于根据所述相似度和所述置信度确定所述预上架商品和所述候选相似品类集中每个品类的相似度分数；

可上架商品确定模块，用于响应于所述相似度分数低于预设阈值，将所述预上架商品确定为可上架商品。

在本公开的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。

通过本公开的实施例的无人货柜商品上架判断方案，能够提高选品自动化程度，减少人力成本，提高选品准确性，加快选品时间。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开实施例一的无人货柜商品上架判断方法的流程图；

图2示出了本公开实施例二的无人货柜商品上架判断方法的流程图；

图3示出了本公开实施例三的无人货柜商品上架判断装置的结构示意图；

图4示出了本公开实施例四的无人货柜商品上架判断设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

如图1所示，为本公开实施例一的无人货柜商品上架判断方法的流程图。从图1中可以看出，本实施的无人货柜商品上架判断方法，可以包括以下步骤：

S101：获取预上架商品的预设视角的视图，所述预设视角的视图包括俯视图、侧视图中的至少一个。

本实施例的方法，通过对预上架无人货柜的商品进行特征识别，进而利用识别出来的特征训练分类识别模型，通过训练好的分类识别模型，自动将预上架的商品与无人货柜现有的商品进行区分，从而在发生商品交易时，能够对交易商品进行识别，根据商品信息和对应的标价核对用户的支付信息，同时，能够生成交易记录。此外，运营方也可以根据已售商品的信息对无人货柜内的商品进行补给等。当有新商品上架无人货柜时，为了保证良好的识别率，同时不影响其他品类的识别，首先，需要获取该商品的预设视角的视图，所述预设视角的视图包括至少一个视角的视图。例如俯视图、主视图和侧视图。通常情况下，商品的特征通过商品的包装和商品的形态来体现。以罐装饮料为例，该商品的拉环结构设计以及顶面(对应俯视图)凹刻或打印的文字能够体现该商品的特征，该商品的包装的侧面设计也能够体现该商品的特征，例如商品整体的颜色，商品的logo设计等。这些商品特征在预上架商品的预设视角的视图中体现为图像特征。

因此通过获取预上架商品的预设视角的视图，可以获取预上架商品的视图的特征。

在本实施例中，获取预上架商品的预设视角的视图，可以以人工上传的方式来获取预上架商品的预设视角的视图，也可以通过通信软件接收通过其他用户端发送的预上架商品的预设视角的视图。

作为本实施例的一个可选实施方式，所述预设视角的视图包括俯视图，通过俯视图即可获取商品的特征。

作为本实施例的另一个可选实施方式，所述预设视角的视图包括俯视图和主视图，其中，主视图为包括完整logo设计的视图或者包括大部分logo设计的视图。

在本实施例中，在获取俯视图时，可以通过对商品进行旋转，以获取多张俯视图，同理，也可以通过对商品进行旋转，获取多张侧视图。

S102：利用预先训练的相似度识别模型确定所述预设视角的视图的抽象特征，根据所述抽象特征确定所述预上架商品和已上架商品的相似度。

在本实施例中，所述相似度识别模型为预先训练的神经网络模型，该模型在训练过程中，以标注好的大量的商品视图为输入，以商品视图对应商品的抽象特征为输出，对神经网络模型进行训练，直到所述相似度识别模型识别出的商品的抽象特征与预先标注好的商品视图的抽象特征的损失函数的值小于预设阈值，完成所述相似度识别模型的训练。基于卷积神经网络的方法可以监督性的对图片相似性进行训练，具体的，可以提供若干对相似的图片，基于这些图片的相似性作为网络的训练目标，针对性的进行特征提取环节的训练和优化，常用的相似性对比的损失函数主要包括Constrative Loss和Triplet Loss等。本实施例中的抽象特征为对商品视图中的对象(即商品本身)进行深层推理得到的语义，例如商品外包装的颜色、商品某部分的形状或者某两部分之间的距离等。

在每次新上架商品时，都会由所述相似度识别模型对获取到的预设视角的视图进行识别，提取出抽象特征，提取出来的抽象特征表示了新上架商品所属的商品品类，将提取出的抽象特征和和提取出的历史抽象特征进行对比，进而确定预上架商品和已上架商品的相似度。

在本实施例中，由于提取出的历史抽象特征的数据量过于庞大，导致在将新提取出的抽象特征和提取出的历史抽象特征进行对比的过程中，计算量过大，因此，可以按比例从提取出的历史抽象特征中选取抽象特征来和新提取出的抽象特征进行对比。例如，提取出的历史抽象特征可以对应多个周期，每个周期对应一次新商品上架，则距离新提取出的抽象特征越近的周期，抽象特征的占比越大。

在本实施例中，所述预设视角的视图的抽象特征可以用特征向量来表示，所述特征向量可以有多个维度，每个维度对应一个类型的特征，所述抽象特征确定所述预上架商品和已上架商品的相似度可以用特征向量的余弦距离值表示。

作为本实施例的一个可选实施方式，可以预先训练两个相似度识别模型，一个为俯视图相似度识别模型M1，一个为侧视图相似度识别模型M2，当获取到的预上架商品的预设视角的视图仅包括俯视图时，利用相似度识别模型M1对所述预设视角的视图进行学习，输出对应的抽象特征A，则根据抽象特征A和已上架商品的抽象特征A来确定预上架商品和已上架商品的相似度。当获取到的预上架商品的预设视角的视图仅包括侧视图时，利用相似度识别模型M2对所述预设视角的视图进行学习，输出对应的抽象特征B，则根据抽象特征B和已上架商品的抽象特征B来确定预上架商品和已上架商品的相似度。当获取到的预上架商品的预设视角的视图包括俯视图和侧视图时，利用相似度识别模型M1对所述预设视角的视图进行学习，输出对应的抽象特征A，利用相似度识别模型M2对所述预设视角的视图进行学习，输出对应的抽象特征B，然后通过加权求和的方式，综合两个比较结果，得到预上架商品和已上架商品的每个品类的相似度。

S103：利用预先训练的分类识别模型确定所述预上架商品和已上线商品的每个品类的相似程度的置信度，根据所述置信度选取已上线商品作为候选相似品类集。

在本实施例中，当新上架商品时，在获取预上架商品的预设视角的视图后，还可以利用预先训练的分类识别模型确定所述预上架商品和已上线商品的每个品类的相似程度的置信度，即确定所述预上架商品属于已上线商品的哪个品类以及属于对应品类的概率，并根据所述置信度选取已上线商品品类作为候选相似品类集。

具体地，在训练分类识别模型时，可以利用商品的品类信息对分类识别模型进行训练，输出新上架商品属于的对应的品类以及属于该对应品类的概率，其中，商品的品类信息可以包括一级品类名、二级品类名和商品名等，例如芹菜的品类信息可以是“生鲜、蔬菜、芹菜”，绿茶的品类信息可以是“饮料、茶类、绿茶”，其中“饮料”为一级品类，二级品类除“茶类”外还可以包括“碳酸饮料”“无糖饮料”等，这里只是示例性的对商品的品类信息进行说明。属于该对应品类的概率例如可以是属于绿茶的概率为38％，属于红茶的概率为30％，属于可乐的概率为3％等。关于所述分类识别模型的训练原理与上述的相似度识别模型的训练原理相类似，这里不再详细阐述。

作为本实施例的一个可选实施方式，可以选取候选相似品类集中置信度最高的前几个品类(例如前5个)作为候选相似品类集，即选取预上架商品属于已上线商品的品类的概率最高的前几个品类。

S104：根据所述相似度和所述置信度确定所述预上架商品和所述候选相似品类集中每个品类的相似度分数。

在得到预上架商品和已上架商品的每个品类的相似度以及候选相似品类集后，可以根据所述相似度和所述置信度确定所述预上架商品和所述候选相似品类集中每个品类的相似度分数。例如，可以将所述相似度值和所述置信度值的乘积作为所述预上架商品和所述候选相似品类集中每个品类的相似度分数。

S105：若所述相似度分数低于预设阈值，将所述预上架商品确定为可上架商品。

在本实施例中，当计算得到所述预上架商品和所述候选相似品类集中每个品类的相似度分数后，可以将所述相似度分数与预设的相似度分数阈值进行对比，来判断所述预上架商品是否可上架。具体地，当所述相似度分数高于预设阈值时，则说明预上架商品与候选相似品类集中的品类的相似度过高，不能被很好的识别区分开。而当所述相似度分数低于预设阈值时，则说明预上架商品与候选相似品类集中的品类的相似度较低，能被识别区分开，因此可以确定为可上架商品。

本公开实施例的无人货柜商品上架判断方案，能够提高选品自动化程度，减少人力成本，提高选品准确性，加快选品时间。

如图2所示，为本公开实施例二的无人货柜商品上架判断方法的流程图。本实施例的无人货柜商品上架判断方法，包括以下步骤：

S201：获取预上架商品的俯视图和侧视图。

作为本公开的一个具体实施例，本实施例获取的是预上架商品的俯视图和侧视图。

S202：利用预先训练的相似度识别模型分别确定所述预上架商品的俯视图和侧视图的抽象特征，并和已上架商品的俯视图和侧视图的抽象特征进行对比，确定所述预上架商品和已上架商品的相似度。

S203：利用预先训练的分类识别模型确定所述预上架商品和已上线商品的每个品类的相似程度的置信度，根据所述置信度选取已上线商品作为候选相似品类集。

S204：根据所述相似度和所述置信度确定所述预上架商品和所述候选相似品类集中每个品类的相似度分数。

本实施例中的步骤S201至步骤S204的具体实现过程参见实施例一，这里不再重复赘述。

S205：获取所述预上架商品的手持视图，根据所述手持视图确定所述预上架商品的尺寸。

相对于实施例一，在本实施例中，还可以进一步获取所述预上架商品的手持视图，以手为参照物，可以确定所述预上架商品的尺寸大小。同时，也可以获取已上架商品的手持视图。通过比较已上架商品的大小和预上架商品的大小，也可以确定预上架商品和已上架商品的相似度。例如，同一品类的产品，包装一样，只是大小存在区别，例如同一品类的250ml的饮料和150ml的饮料，即使包装一样，也可以通过尺寸大小来区别开。

作为本实施例的一个可选实施方式，可以仅先获取预上架商品的俯视图和侧视图，当通过预上架商品的俯视图和侧视图不足以将预上架商品和已上架商品区分开时，可以进一步获取预上架商品的手持视图，进而通过尺寸大小来将预上架商品和已上架商品区分开。

作为本实施例的一个可选实施方式，也可以直接获取预上架商品的俯视图、侧视图和手持视图，当通过预上架商品的俯视图、侧视图和手持视图将预上架商品和已上架商品区分开。

同时，由于预上架商品的尺寸可以能不符合无人货柜的摆放要求，例如预上架商品的高度高于无人货柜的层间高度，因此，在判断预上架商品时候可上架时，也需要判断预上架商品的尺寸是否满足预设条件。

S206：响应于所述相似度分数低于预设阈值和所述预上架商品的尺寸满足预设条件，将所述预上架商品确定为可上架商品。

在本实施例中，在确定预上架商品确定是否为可上架商品时，只有当相似度分数是否低于预设阈值，以及预上架商品的尺寸满足预设条件时，将所述预上架商品确定为可上架商品。

本公开实施例的无人货柜商品上架判断方案，能够提高选品自动化程度，减少人力成本，提高选品准确性，加快选品时间。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。

图3示出了本公开实施例三的无人货柜商品上架判断装置的结构示意图。本实施例的无人货柜商品上架判断装置，包括：

视图获取模块301，用于获取预上架商品的预设视角的视图，所述预设视角的视图包括俯视图、侧视图中的至少一个；

相似度确定模块302，用于利用预先训练的相似度识别模型确定所述预设视角的视图的抽象特征，根据所述抽象特征确定所述预上架商品和已上架商品的相似度；

候选相似品类集确定模块303，用于利用预先训练的分类识别模型确定所述预上架商品和已上线商品的每个品类的相似程度的置信度，根据所述置信度选取已上线商品作为候选相似品类集；

相似度分数确定模块304，用于根据所述相似度和所述置信度确定所述预上架商品和所述候选相似品类集中每个品类的相似度分数；

可上架商品确定模块305，用于响应于所述相似度分数低于预设阈值，将所述预上架商品确定为可上架商品。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图4示出了本公开实施例四的无人货柜商品上架判断设备的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统包括中央处理单元(CPU)401，其可以基于存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中，还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也基于需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，基于需要安装在驱动器410上，以便于从其上读出的计算机程序基于需要被安装入存储部分408。

特别地，基于本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。