一种AI电子秤系统和称量方法

技术领域

本发明涉及称量领域，特别涉及一种AI电子秤系统称量方法。

背景技术

在生鲜果蔬行业中，称重秤为经营必备的刚需类设备，目前商家主要使用条码秤，通过PLU码(Price Look Up code，价格查询码)进行商品的管理，每个 PLU码对应一个商品。在门店SKU(stock keeping unit，存货单位)数量比较多时(一个典型生鲜果蔬类商家商品种类大多超过200个)，PLU码较难记忆清楚，在打秤时需临时查询，称重耗时比较长，为了避免高峰时期排队现象，需在门店增加秤台和打称员。上述称重秤需要增加额外的秤台和打秤员，从而增加了经营者的成本。另外，传统的PLU码较复杂，需要打秤员花时间学习记忆，并且容易使得打秤员遗忘而失误，从而提高了经营者的人力成本。

发明内容

本发明其中一个发明目的在于提供一种AI电子秤系统和称量方法，所述系统和称量方法采用人工智能进行称重物的图像识别，基于图像识别的结果建立图像索引，从而可以有效地提高称重的效率。

本发明其中一个发明目的在于提供一种AI电子秤系统和称量方法，所述系统和方法通过图像识别建立称重物的相似度排序，将高相似度的称重物前排输出，打秤员可以直接在前排输出的商品中进行选择，无需对称重商品进行检索，可以有效地提高称重效率。

本发明其中一个发明目的在于提供一种AI电子秤系统和称量方法，所述方法和系统无需打秤员进行学习，打秤员可以同时处理多个AI电子秤，从而有效降低经营者的招募和培训成本。

本发明其中一个发明目的在于提供一种AI电子秤系统和称量方法，所述方法和系统可在云端进行机械学习，云端将学习分辨的结果传输到AI电子秤，可以降低硬件成本。

本发明其中一个发明目的在于提供一种AI电子秤系统和称量方法，所述方法结和系统可以在模型不存在的情况下通过人工索引寻找，从而可以解决无法识别下的上面

为了实现至少一个上述发明目的，本发明进一步提供一种AI称量方法，所述称量方法包括如下步骤：

预建立称重物的图像识别模型和图像索引；

根据所述图像识别模型和图像索引建立图像分值模型；

获取称重物图像的特征矢量，并将所述特征矢量分别输入到图像识别模型和图像索引中，根据图像识别模型和图像索引计算和目标图像的总相似度分值；

根据计算的所述相似度分值输出排序和称量结果。

根据本发明其中一个较佳实施例，所述总相似度分值计算方法包括如下步骤：

获取称重物图像的特征矢量，根据索引获取检索结果N；

根据所述检索结果计算目标图像特征矢量的距离d

计算单个检索结果的相似度分值：

计算所有检索结果的相似度分值：

将所述重物图像的特征矢量输入所述图像识别模型输出相似度分值C；

获取总相似度分值：S＝C+αscore，其中α为调整权值。

根据本发明另一个较佳实施例，所述索引构建方法包括：根据称重物的属性进行进行粒度分类，根据所述图像识别模型生成的特征矢量构建图像索引。

根据本发明另一个较佳实施例，所述图像识别模型的训练方法包括：预先对所述称重物图像设置标签，根据称重秤的秤盘大小进行预裁剪，获取预裁剪后的称重图像分成训练集和测试集对所述图像识别模型进行训练。

根据本发明另一个较佳实施例，在所述训练集中加入包括随机旋转图像、切变图像和高斯噪音图像，用于增加所述图像识别的鲁棒性。

根据本发明另一个较佳实施例，所述图像识别模型的训练方包括：将预裁剪后的图像进行像素缩小，将缩小后的图像输入到所述图像识别模型，采用 Adam优化算法进行模型训练，并采用cosine learning rate decay(余弦学习率衰减)调整学习率。

根据本发明另一个较佳实施例，所述标签包括主标签和次标签，采用F1 scoreloss(F1分数损失函数)进行训练，并加入channel loss(通道损失函数)，用于对模型的正则化处理。

根据本发明另一个较佳实施例，采采用HNSW索引算法对建立的索引进行检索，根据索引检索相似特征的图像。

为了实现至少一个上述发明目的，本发明进一步提供一种AI电子秤系统，所述系统采用上述一种AI称量方法。

本发明进一步提供一种计算机可读存储介质，所述计算机刻可读存储介质保存并应用上述一种AI电子秤系统。

附图说明

图1显示的是本发明一种AI称量方法的流程示意图。

图2显示的是本发明中AI电子秤的处理流程示意图。

图3显示的是本发明中AI电子秤修正流程示意图。

图4显示的是本发明中AI电子秤识别流程示意图

图5显示的是本发明所述AI电子秤系统的详细处理流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

请结合图1-5，本发明公开了一种AI电子秤系统和称量方法，所述系统和方法需要在AI电子秤上安装摄像头，所述摄像头可以获取秤台前的称重物的图像数据，并通过实时拍摄形成数据流，将所述数据流输入到机器学习模型中进行识别，机器学习模型根据自身的训练集和获取的称重物图像进行相似度计算，根据相似度结果展示对应的商品列表。

另外，为了实现所述AI电子称量在离线状态下的应用，本发明在机器学习模型的基础上通过建立索引的方式保存在AI电子秤的本地存储器中，从而可以实现离网状态下的精准搜索，无需人工查询，可提高称重效率。

具体的，在本发明其中一个较佳实施例中，在云端建立称重物的图像识别模型，所述图像识别模型可以采用包括但不仅限于MobileNetv2模型，在云端建立图像识别模型并训练好后将所述识别模型索引到所述AI电子秤系统中，用于识别称重物图像。当所述摄像头采集到称重物图像的图像信息后，将所述称重物图像信息输入到所述图像识别模型中，所述图像识别模型生成称重物图像的图像矢量，根据所述图像矢量进行目标商品图像的搜索。为了更好地说明本发明，本发明以MobileNetv2模型为例，解释所述图像识别模型的训练和识别机制：预先获取相关的图像数据，并对所述图像数据进行预处理。所述预处理的过程包括但不仅限于对图像数据设置标签，以及对所述图像数据进行裁剪，设置标签的方式包括但不仅限于设置图像对应的商品编号、商品名称。由于摄像头通过拍摄采集到的原始图像数据可能包括一些无关的信息，比如秤台边缘，秤轴等，因此需要对所述原始的图像数据进行裁剪操作，根据秤台的大小对元素的图像边缘进行裁剪，获取采集后的图像数据。进一步将裁剪后的图像数据以7: 分成训练集和测试集，用于对所述MobileNetv2模型进行训练。需要说明的是，为了增加所述图像识别模型的鲁棒性，本发明可训练集中加入包括但不仅限于随机转换、切变和高斯噪声等图像增强功能。进一步将所述训练集中的图像进行缩小，缩小至224*224大小的图像，将缩小后的图像输入到所述MobileNetv2 模型中进行训练。

在上述MobileNetv2模型的训练过程中，采用Adam优化算法，并使用cosinelearning rate decay(余弦学习率衰减)方法调整学习率，从而可以使得所述MobileNetv2模型可以更快收敛。进一步的，本发明对每一图像进行标签设置，所述标签包括主标签和副标签，并采用多标签学习的方式进行学习。比如称重物是苹果，其标签可以是苹果、红富士，采用多标签学习方式可以提高模型输出的准确率。本发明优选F1 scoreloss(F1分数损失函数)进行训练，在训练过程中可以增加channel loss(通道损失函数)进行训练。可以大幅提高识别的准确率。

本发明在图像识别模型基础上建立图像索引，根据图像识别结果和图像索引建立图像分值模型，所述图像分值模型需要融合图像识别和索引，形成所述图像分值模型，所述图像分值模型的构建方法包括：

对称重物A仅限称重，根据所述图像识别模型获取图像特征矢量B，通过建立的索引检索到N个检索结果，所述N个检索结果，获取N个检索结果对应图像的特征矢量，计算单个检索结果对应图片特征矢量和目标称重物A的特征矢量B之间的距离d

在本发明其中一个较佳实施例中，若出现图像识别模型无法识别的情况时，可以直接通过人工搜索，并提取选中的搜索结果对应的图像特征矢量，并将所述特征矢量和拍照获得的目标称重无图像保存到索引中，后续可以根据保存的索引结果进行输出，并且仍然可以根据上述分值模型进行排序，输出排序后的分值。也就是说，当所述图像识别模型失效后，上述总分值S＝αscore,从而可以避免模型不存在而无法识别的问题。

需要说明的是，本发明中的图像识别模型可以在云端建立，并在AI电子秤系统的本地建立对应的索引，所述AI电子秤系统和云端的交互过程包括：

在用户选择完成商品后，将商品的编号和模型的图像矢量存入索引当中；

选择完成后，本系统会将选择的商品和图像地址上传到云端；

云端对于上报日志进行拉取；

云端对于日志中的图像进行下载；

对下载的图像进行预处理；

基于下载完成的图像和日志中的选中商品进行模型训练和索引的生成。

需要说明的是，本发明针对建立的索引，采用HNSW(Hierarchical NavigableSmall World，基于层次导航的小世界图)作为索引算法进行检索。可以在Intel i5 CPU上能在2ms内从10万条数据的索引中检索到结果，在电子秤端能在10 毫秒左右检索到结果。

在本发明另一较佳实施例中，所述图像分值模型还可以引入称重物类别进行分值排序，比如可以根据果蔬的细粒度进行分类，设置称重物的类目分，并设置类目分权值，摄像头识别称重物后可直接获取称重的类目得分，并根据所述类目得分的权值融合到所述分值模型中，获取称重物类目结果并映射到对应的称重物标签(ID)中，根据所述称重标签进行分值融合，获取具有分类排序分值结果。将分值结果对应前10的商品信息可视化显示。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线段、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线段的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线段、电线段、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。