一种基于视觉识别的商品盘点方法及装置

本公开是以下发明专利申请的分案申请：申请号：202210838836.3，申请日：2022年07月18日，发明名称：一种基于视觉识别的商品盘点方法及装置。

技术领域

本公开涉及信息处理技术，具体涉及一种基于视觉识别的商品盘点方法及装置。

背景技术

超市、商场等进行商品的收货、盘点等环节时，通常需要人工检查、清点，核对商品的类别、商品数量，并且将核对、清点的数据手动录入商品管理系统。商品的整个整理过程，费时费力，尤其是还需要针对商品的变化定期进行数据的整理更新，更增加了工作量。同时，人工的盘点、检查及清点，也会造成一定的统计误差，会给超市、商场的运营带来极大的经济风险。因此，商超的智能化运营一直是发展的方向和目标。

如CN113781730A给出了一种具有智能监控功能的智能超市，通过商品录入模块和监控模块与超市后台模块相连接，处理芯片识别计算商品信息，对商品信息的变化进行预警。以此，可以实现对超市的智能监控，可以降低人工统计的负担，并提高了统计的效率。

但是，该智能监控系统较为复杂、识别计算的效率较低，无法满足商品收货、盘点时即时识别、即时存储、即时输出的需求。

因此，如何设计一种快速、高效、准确、智能的商品盘点和收货方法，以实现对商品的即时识别，商品信息的即时存储和商品数据的即时输出是本领域技术人员亟待解决的问题。

发明内容

针对上述现有技术中存在的缺陷，本公开提供了一种基于视觉识别的商品盘点方法及装置，基于可进行智能收货、盘点的装置，自动分辨商品的种类，进行商品的重量校对，自动完成盘点和收货时的数据管理，给出商品的盘点单据，减少人工操作，降低误差，大幅提升了工作效率和准确度，并且节约运营成本。

一方面，本公开提供一种商品盘点装置，包括：秤盘，具有称重传感器，所述称重传感器被配置为感知被称重的商品的重量数值；显示触摸屏，被配置为与用户交互；图像采集组件，被配置为采集所述商品的图像；移动装置，被配置为使得所述商品盘点装置能够移动；供电电源，被配置为所述商品盘点装置供电；控制器，被配置为：基于所述图像采集组件采集的图像来识别称重的商品类别并确定对应商品类别的商品编码；将所述商品的重量或者数量数值和商品编码分别存入控制器的入库管理系统，形成商品的盘点数据；比对商品的盘点数据和账面库存，生成商品的盘点表，完成商品的盘点。

在一个实施例中，所述控制器接受用户对显示触摸屏上显示的识别的商品类别的反馈，将采集的图像加入存储器，并优化识别结果。

在一个实施例中，所述称重传感器被配置为重量值稳定后，确定为该商品的重量数值。

在一个实施例中，所述控制器被配置为：

采集商品图像，进行商品类别的识别分析以获取称重的商品类别；

给出对应商品类别的商品编码。

另一方面，提供一种操作商品盘点装置的方法，包括：第一用户移动所述商品盘点装置根据商品陈列货架顺序，逐一将商品放置到所述商品盘点装置的秤盘上，其中，所述称重传感器被配置为重量值稳定后，确定为该商品的重量数值，所述图像采集组件采集所述商品的图像，所述商品盘点装置的控制器基于所述图像采集组件采集的图像来识别称重的商品类别并确定对应商品类别的商品编码，所述显示触摸屏显示商品的重量数值或商品的数量；第一用户对在所述显示触摸屏上显示的商品的重量数值或商品的数量确认，其中，所述商品盘点装置的控制器将所述商品的重量数值和/或商品的数量和商品编码分别存入控制器的入库管理系统，形成商品的盘点数据；第二用户比对商品的盘点数据和系统账面库存差异并进行核对，然后生成商品的盘点单据，完成商品的盘点。

在一个实施例中，如果商品的账面库存与卖场商品的盘点数据、库存商品的盘点数据之间存在差值，则第二用户进行库存调整。

在一个实施例中，所述第一用户和所述第二用户是相同的用户或不同的用户。

在一个实施例中，所述第一用户是盘点人员，所述第二用户是复盘人员。

另一方面，本公开提供一种基于视觉识别的商品盘点方法，包括如下步骤：

搜索库存中的商品，对搜索到的商品称重；

重量值稳定后，确定为该商品的重量数值，随后采集称重商品的图像，并将商品的图像分析识别，获取称重的商品类别；

将商品的重量数值和商品的类别分别存入入库管理系统，形成商品的盘点数据；

比对商品的盘点数据和预先构建的商品的收货数据，生成商品的盘点单据，完成商品的盘点。

进一步的，库存中的商品包括卖场商品和库房商品，商品的盘点数据包括卖场商品的盘点数据和库房商品的盘点数据。

进一步的，重量值稳定后，确定为该商品的重量数值，具体包括：

连续不间断的采集放置称重商品的初始重量数值，并对相邻的初始重量数值进行分析处理；

根据相邻的初始重量数值、采集时间间隔及称重秤盘的分度值，对初始重量数值进行求导，计算公式如下：

其中，X

将商品的重量值迭代若干轮，直至

进一步的，并将商品的图像分析识别，获取称重的商品类别，具体包括：

通过边缘检测，裁剪去除商品的图像中商品目标以外的区域，得到处理后的裁剪图像；

裁剪图像经规范化压缩后，进行商品类别的识别分析；

给出对应商品类型的商品编码，获取称重的商品类别。

进一步的，通过边缘检测，裁剪去除商品的图像中商品目标以外的区域，具体包括；

对商品的图像进行滤波处理，获得平滑图像；

计算平滑图像的梯度幅值和梯度方向，获得梯度图像；

对梯度图像中的全部像素点进行幅值扫描，计算用于边缘识别的阈值，计算公式如下：

其中，H为阈值，P为梯度图像中像素的列数，Q为梯度图像中像素的行数，i为梯度图像中像素点横向坐标值，j为梯度图像中像素点纵向坐标值，T(i,j)为梯度图像中像素点(i,j)的幅值；

将幅值高于阈值的像素点确定为边缘点，幅值低于阈值预设倍数的像素点确定为非边缘点，其他的像素点确定为疑似边缘点；

疑似边缘点的相邻像素点中有边缘点，则视为边缘点；否则，视为非边缘点，连接边缘点，得到商品边缘曲线；

沿商品边缘曲线裁剪去除商品的图像中商品目标以外的区域。

进一步的，预先构建的商品的收货数据，具体预先构建方法包括如下步骤：

对待入库的商品称重，采集待入库的商品图像并识别商品类别，给出待入库商品的重量数值和商品的类别；

比对商品历史数据，验证待入库商品的视觉面积和重量的关系，完成入库检验；

将待入库的商品收货数据存入入库管理系统，完成商品的收货数据的预先构建。

进一步的，比对商品历史数据，验证待入库商品的视觉面积和重量的关系，完成入库检验，具体包括：

调取历史数据中的该待入库商品类型的核验标准值；

根据待入库商品的视觉面积和重量，给出待入库商品的单位视觉面积的重量数值，作为第一数据值；

比较第一数据值和核验标准值，符合设定的阈值条件，完成入库检验。

进一步的，校验标准值为预先设置，计算任一商品类型的待入库的校验标准值，具体包括：

取商品历史数据中的商品类别、商品重量和视觉面积的数据，集合相同商品类别的商品历史数据；

根据集合中同一商品类别的商品重量、视觉面积，给出该商品类别下单位视觉面积的重量数值，得到该商品类别的核验标准值。

进一步的，比对商品的盘点数据和预先构建的商品的收货数据，生成商品的盘点单据，完成商品的盘点，具体包括：

根据售卖数据，实时更新预先构建的商品的收货数据；

依据商品类别，将相同商品类别的商品的收货数据、卖场商品的盘点数据和库存商品的盘点数据进行对应梳理；

给出商品的收货数据与卖场商品的盘点数据、库存商品的盘点数据之间的差值，生成商品的盘点单据，完成商品的盘点。

第二方面，本公开还提供一种实施如以上商品盘点方法的装置，包括：装置主体，装置主体上方固定连接的显示触摸屏、控制器及图像采集组件，装置主体表面的秤盘以及驱动装置移动的动力组件；

显示触摸屏用于显示商品盘点及商品收货过程中的商品信息，控制器用于确定商品的重量数据，并控制图像采集组件采集商品的图像以及对商品的图像进行分析识别，给出商品类别。

本公开提供的基于视觉识别的商品盘点方法及装置，至少包括如下有益效果：

(1)基于视觉识别的商品盘点，自动分辨商品的种类，自动进行商品的重量校对，完成商品盘点和收货过程中的数据管理，减少人工操作，降低误差，大幅提升了工作效率和准确度，节约运营成本。

(2)根据多次采集到的商品重量信息，与采集时间间隔和秤盘的分度值进行迭代，得到稳定的商品重量数据，既提升了商品信息数据的准确度，又衔接图像采集过程，避免了图像采集组件的运行压力，降低了控制器的内存消耗，高效、便捷的实现了对不同类型商品的识别和数据存储。

(3)基于边缘检测，给出商品的视觉面积和商品的类型，阈值的设定更加适合具体应用场景，自适应性强，边缘识别精确度更高。

(4)对每种商品类型设计核验标准值，提高了商品收货过程中的精准度，消除人工手动填写可能出现的误差。

附图说明

图1为本公开提供的基于视觉识别的商品盘点方法的流程图；

图2为本公开提供的基于视觉识别的装置结构示意图；

图3为本公开提供的基于视觉识别的商品收货方法的流程图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

如图2所述，基于视觉识别装置包括：装置主体1，装置主体1上方固定连接的显示触摸屏2、控制器及图像采集组件3，装置主体表面的秤盘4以及驱动装置移动的动力组件5。

显示触摸屏2用于显示商品盘点及商品收货过程中的商品信息，控制器用于确定商品的重量数据，控制图像采集组件3采集商品的图像以及对商品的图像进行分析识别，给出商品类别。

采用图2所述的装置进行商品的盘点，如图1所示，包括如下步骤：

动力组件驱动装置按预定线路行进并搜索库存中的商品，对搜索到的商品称重；

重量值稳定后，确定为该商品的重量数值，随后图像采集组件采集称重商品的图像，并将商品的图像传入控制器进行分析识别，获取称重的商品类别；

将商品的重量数值和商品的类别分别存入控制器的入库管理系统，形成商品的盘点数据；

比对商品的盘点数据和预先构建的商品的收货数据，生成商品的盘点单据，完成商品的盘点。

预定线路可以根据库存中商品的具体排布情况及盘点、收获时的具体场景提前确定，在此不做限定。开始搜索的商品也可以提前设定，不具体限定从哪种类型的商品开始。

入库管理系统内存有所有的商品的盘点数据和商品的收货数据，以上两类数据均是通过装置在进行商品盘点和收货的过程中采集储存得到。

基于可进行智能收货、盘点的装置，自动分辨商品的种类，进行商品的重量校对，自动完成盘点和收货时的数据管理，给出商品的盘点单据，减少人工操作，降低误差，大幅提升了工作效率和准确度，并且节约运营成本。

库存中的商品包括卖场商品和库房商品，商品的盘点数据包括卖场商品的盘点数据和库房商品的盘点数据。

重量值稳定后，确定为该商品的重量数值，具体包括：

控制器连续不间断的采集放置在秤盘上的商品的初始重量数值，并对相邻的初始重量数值进行分析处理；

根据相邻的初始重量数值、采集时间间隔及秤盘的分度值，对初始重量数值进行求导，计算公式如下：

其中，X

将商品的重量值迭代若干轮，直至

根据多次采集到的商品重量信息，与采集时间间隔和秤盘的分度值进行迭代，得到稳定的商品重量数据，既提升了商品信息数据的准确度，又衔接图像采集过程，避免了图像采集组件的运行压力，降低了控制器的内存消耗，高效、便捷的实现了对不同类型商品的识别和数据存储。

将商品的图像传入控制器进行分析识别，获取称重的商品类别，具体包括：

控制器通过边缘检测，裁剪去除商品的图像中商品目标以外的区域，得到处理后的裁剪图像；

裁剪图像经规范化压缩后，传入控制器的识别单元，进行商品类别的识别分析；

给出对应商品类型的商品编码，获取称重的商品类别。

控制器通过边缘检测，裁剪去除商品的图像中商品目标以外的区域，具体包括；

对商品的图像进行滤波处理，获得平滑图像；

滤波处理可以采用高斯滤波函数，对商品的图像进行滤波以及降噪处理，通过控制平滑程度，获得处理后的平滑图像。

计算平滑图像的梯度幅值和梯度方向，获得梯度图像；

得到平滑图像后，对平滑图像的像素点在水平、垂直、45°、135°的四个方向进行求解偏导数，使用一阶有限差分来计算梯度幅值和梯度方向，

T

-[t(i-1,j+1)+2t(i-1,j)+t(i-1,j+1)]

T

-[t(i-1,j-1)+2t(i,j-1)+t(i+1,j-1)]

T

-[t(i-1,j)+2t(i-1,j-1)+t(i,j-1)]

T

-[t(i+1,j)+2t(i+1,j-1)+t(i,j-1)]

得到当前的梯度幅值T(i,j)和梯度幅角

扩展梯度幅值和梯度幅角的取值，能提高确定商品目标的边缘的准确度，不易丢失部分真实边缘。

对梯度图像中的全部像素点进行幅值扫描，计算用于边缘识别的阈值，计算公式如下：

其中，H为阈值，P为梯度图像中像素的列数，Q为梯度图像中像素的行数，i为梯度图像中像素点横向坐标值，j为梯度图像中像素点纵向坐标值，t(i,j)为(i,j)点的像素值，T(i,j)为梯度图像中像素点(i,j)的幅值；

将幅值高于阈值的像素点确定为边缘点，幅值低于阈值预设倍数的像素点确定为非边缘点，其他的像素点确定为疑似边缘点；

疑似边缘点的相邻像素点中有边缘点，则视为边缘点；否则，视为非边缘点，连接边缘点，得到商品边缘曲线；

沿商品边缘曲线裁剪去除商品的图像中商品目标以外的区域。

基于边缘检测，给出商品的视觉面积和商品的类型，阈值的设定更加适合具体应用场景，自适应性强，边缘识别精确度更高。

预先构建的商品的收货数据也是基于装置在收货环节采集、分析及存储得到，具体预先构建方法包括如下步骤：

驱动组件驱动装置对待入库的商品称重，图像采集组件采集待入库的商品图像并识别商品类别，给出待入库商品的重量数值和商品的类别；

比对商品历史数据，验证待入库商品的视觉面积和重量的关系，完成入库检验；

将待入库的商品收货数据存入控制器的入库管理系统，完成商品的收货数据的预先构建。

对待入库的商品称重过程，也与基于装置在盘点过程中的称重过程相同。即：

控制器连续不间断的采集放置在秤盘上的待入库的商品的初始重量数值，并对相邻的初始重量数值进行分析处理；

根据相邻的初始重量数值、采集时间间隔及秤盘的分度值，对初始重量数值进行求导，计算公式如下：

其中，X

将待入库的商品的重量值迭代若干轮，直至

对收货过程中待入库的商品的视觉面积及商品类别识别，也与基于装置在盘点过程中的商品类别识别过程相同。即：

控制器通过边缘检测，裁剪去除待入库的商品的图像中待入库的商品目标以外的区域，给出待入库的商品的视觉面积，得到处理后的裁剪图像；

裁剪图像经规范化压缩后，传入控制器的识别单元，进行待入库的商品类别的识别分析；

给出对应待入库的商品类型的商品编码，获取称重的待入库的商品类别。

控制器通过边缘检测，裁剪去除待入库的商品的图像中待入库的商品目标以外的区域，具体包括；

对待入库的商品的图像进行滤波处理，获得平滑图像；

滤波处理可以采用高斯滤波函数，对待入库的商品的图像进行滤波以及降噪处理，通过控制平滑程度，获得处理后的平滑图像。

计算平滑图像的梯度幅值和梯度方向，获得梯度图像；

得到平滑图像后，对平滑图像的像素点在水平、垂直、45°、135°的四个方向进行求解偏导数，使用一阶有限差分来计算梯度幅值和梯度方向，

T

-[t(i-1,j+1)+2t(i-1,j)+t(i-1,j+1)]

T

-[t(i-1,j-1)+2t(i,j-1)+t(i+1,j-1)]

T

-[t(i-1,j)+2t(i-1,j-1)+t(i,j-1)]

T

-[t(i+1,j)+2t(i+1,j-1)+t(i,j-1)]

得到当前的梯度幅值T(i,j)和梯度幅角

对梯度图像中的全部像素点进行幅值扫描，计算用于边缘识别的阈值，计算公式如下：

其中，H为阈值，P为梯度图像中像素的列数，Q为梯度图像中像素的行数，i为梯度图像中像素点横向坐标值，j为梯度图像中像素点纵向坐标值，t(i,j)为(i,j)点的像素值，T(i,j)为梯度图像中像素点(i,j)的幅值；

将幅值高于阈值的像素点确定为边缘点，幅值低于阈值预设倍数的像素点确定为非边缘点，其他的像素点确定为疑似边缘点；

疑似边缘点的相邻像素点中有边缘点，则视为边缘点；否则，视为非边缘点，连接边缘点，得到商品边缘曲线；

沿商品边缘曲线裁剪去除待入库的商品的图像中待入库的商品目标以外的区域。

比对商品历史数据，验证待入库商品的视觉面积和重量的关系，完成入库检验，具体包括：

调取控制器的历史数据中的该待入库商品类型的核验标准值；

根据待入库商品的视觉面积和重量，给出待入库商品的单位视觉面积的重量数值，作为第一数据值；

比较第一数据值和核验标准值，符合设定的阈值条件，完成入库检验。

如，假设待入库商品为苹果，调取出来的控制器的历史数据中的苹果的核验标准值，为0.05m

校验标准值为预先设置，计算任一商品类型的待入库的校验标准值，具体包括：

取商品历史数据中的商品类别、商品重量和视觉面积的数据，集合相同商品类别的商品历史数据；

根据集合中同一商品类别的商品重量、视觉面积，给出该商品类别下单位视觉面积的重量数值，得到该商品类别的核验标准值。

其中，核验标准值的计算公式如下：

其中，C

比对商品的盘点数据和预先构建的商品的收货数据，生成商品的盘点单据，完成商品的盘点，具体包括：

根据售卖数据，实时更新预先构建的商品的收货数据；

依据商品类别，将相同商品类别的商品的收货数据、卖场商品的盘点数据和库存商品的盘点数据进行对应梳理；

给出商品的收货数据与卖场商品的盘点数据、库存商品的盘点数据之间的差值，生成商品的盘点单据，完成商品的盘点。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。