一种基于边缘计算与机器深度学习的商品识别方法及系统

技术领域

本发明涉及智能零售技术领域，具体涉及一种基于边缘计算与机器深度学习的商品识别方法及系统。

背景技术

近年来，随着数据井喷式的增长和设备计算力的不断升级，以深度学习为主的人工智能技术得到巨大发展。目前，利，通过商品—动作—人的判别模型，对消费者购买的商品进行记录和跟踪，并在消费者离开商店后自动完成结算，这种自助结算的方式在整个购物过程都不存在排队结算的情况，效率较高，体验较好，但整套系统搭建起来成本很高，门店改造较大，技术实施起来较难，且较大的人员流量会导致系统失效。

发明内容

针对现有技术的不足，本发明提供了一种基于边缘计算与机器深度学习的商品识别方法包括：

根据目标商品的时序图像得到目标商品边框特征图像；

利用所述目标商品边框特征图像获取目标商品识别结果。

优选的，所述根据目标商品的时序图像得到目标商品边框特征图像包括：

利用目标商品的不同时序图像得到目标商品的时序图像集合；

根据所述时序图像集合中各时序图像基于ORB算法得到时序图像集合中各时序图像的特征描述子；

利用所述各时序图像的特征描述子基于K临近法得到各时序图像的匹配描述特征点；

利用所述匹配描述特征点获取目标商品的拼接图像；

利用所述目标商品的拼接图像基于轮廓跟踪法得到目标商品边框特征图像。

进一步的，所述利用各时序图像的特征描述子基于K临近法得到各时序图像的匹配描述特征点包括：

对各时序图像进行灰度化处理后，利用灰度化的各时序图像的特征描述子基于K临近法得到各时序图像的初始匹配特征值；

判断所述初始匹配特征值是否小于预先设定的标准阈值，若是，则获取所述初始匹配特征值对应的特征描述子作为匹配描述特征点，否则，不进行操作。

进一步的，所述利用匹配描述特征点获取目标商品的拼接图像包括：

根据匹配描述特征点带入预先设定的单应变换矩阵，得到目标商品的实际匹配描述特征点；

利用所述实际匹配描述特征点获取目标商品的拼接图像。

进一步的，所述单应变换矩阵的预先设定包括：

利用所述各时序图像的匹配描述特征点得到单应变换矩阵特征点集合；

利用所述单应变换矩阵特征点集合计算单应变换矩阵。

进一步的，所述利用单应变换矩阵特征点集合计算单应变换矩阵的计算式如下：

其中，x’,y’,z’分别为齐次坐标，H为单应变换矩阵，P为单应变换矩阵特征点集合的特征点，h为行列式元素，x

进一步的，所述利用实际匹配描述特征点获取目标商品的拼接图像包括：

利用实际匹配描述特征点计算实际匹配描述特征点拟合误差值后，得到实际匹配描述特征点拟合误差值集合；

获取实际匹配描述特征点拟合误差值集合中实际匹配描述特征点拟合误差值对应的实际匹配描述特征单应矩阵；

根据所述目标商品的时序图像与深度时序图像利用所述实际匹配描述特征单应矩阵获取目标商品的拼接图像；

其中，深度时序图像为目标商品的时序图像对应的背景图像。

优选的，所述利用目标商品边框特征图像获取目标商品识别结果包括：

将目标商品边框特征图像带入预先训练的识别模型，得到目标商品初始识别结果；

利用所述目标商品初始识别结果基于预先建立的特征识别库，得到目标商品识别结果；

其中，预先建立的特征识别库为待识别商品的属性特征库。

进一步的，所述识别模型的训练包括：

获取待识别商品的属性特征建立训练集；

以所述训练集为输入，训练集中各待识别商品的属性特征对应的识别结果为输出，基于DenseNet神经网络进行训练，得到识别模型。

基于同一发明构思，本发明还提供了一种基于边缘计算与机器深度学习的商品识别系统，包括：

图像获取模块，用于根据目标商品的时序图像得到目标商品边框特征图像；

商品识别模块，用于利用所述目标商品边框特征图像获取目标商品识别结果。

与最接近的现有技术相比，本发明具有的有益效果：

根据目标商品的时序图像得到目标商品边框特征图像；利用所述目标商品边框特征图像获取目标商品识别结果，利用拼接后的深度图像完成定位，并在拼接后的RGB图像中获得目标区域，可以实现快速精确的目标定位，为多商品识别过程提供支持，提高识别效率的同时也保证了识别的准确性。

附图说明

图1是本发明提供的一种基于边缘计算与机器深度学习的商品识别方法流程图；

图2是本发明提供的一种基于边缘计算与机器深度学习的商品识别系统流程图；

图3是本发明提供的一种基于边缘计算与机器深度学习的商品识别方法具体实施示意图；

图4是本发明提供的RGB-D商品采集示意图；

图5是本发明提供的待检测商品时序示意图；

图6是本发明提供的图像拼接流程示意图；

图7是本发明提供的DenseNet流程示意图；

图8是本发明提供的多任务DenseNet流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1：

本发明提供了一种基于边缘计算与机器深度学习的商品识别方法，如图1所示，包括：

步骤1：根据目标商品的时序图像得到目标商品边框特征图像；

步骤2：利用所述目标商品边框特征图像获取目标商品识别结果。

步骤1具体包括：

1-1：利用目标商品的不同时序图像得到目标商品的时序图像集合；

1-2：根据所述时序图像集合中各时序图像基于ORB算法得到时序图像集合中各时序图像的特征描述子；

1-3：利用所述各时序图像的特征描述子基于K临近法得到各时序图像的匹配描述特征点；

1-4：利用所述匹配描述特征点获取目标商品的拼接图像；

1-5：利用所述目标商品的拼接图像基于轮廓跟踪法得到目标商品边框特征图像。

步骤1-3具体包括：

1-3-1：对各时序图像进行灰度化处理后，利用灰度化的各时序图像的特征描述子基于K临近法得到各时序图像的初始匹配特征值；

1-3-2：判断所述初始匹配特征值是否小于预先设定的标准阈值，若是，则获取所述初始匹配特征值对应的特征描述子作为匹配描述特征点，否则，不进行操作。

步骤1-4具体包括：

1-4-1：根据匹配描述特征点带入预先设定的单应变换矩阵，得到目标商品的实际匹配描述特征点；

1-4-2：利用所述实际匹配描述特征点获取目标商品的拼接图像。

步骤1-4-1具体包括：

1-4-1-1：利用所述各时序图像的匹配描述特征点得到单应变换矩阵特征点集合；

1-4-1-2：利用所述单应变换矩阵特征点集合计算单应变换矩阵。

步骤1-4-1-2具体包括：

其中，x’,y’,z’分别为齐次坐标，H为单应变换矩阵，P为单应变换矩阵特征点集合的特征点，h为行列式元素，x

步骤1-4-2具体包括：

1-4-2-1：利用实际匹配描述特征点计算实际匹配描述特征点拟合误差值后，得到实际匹配描述特征点拟合误差值集合；

1-4-2-2：获取实际匹配描述特征点拟合误差值集合中实际匹配描述特征点拟合误差值对应的实际匹配描述特征单应矩阵；

1-4-2-3：根据所述目标商品的时序图像与深度时序图像利用所述实际匹配描述特征单应矩阵获取目标商品的拼接图像；

其中，深度时序图像为目标商品的时序图像对应的背景图像。

步骤2具体包括：

2-1：将目标商品边框特征图像带入预先训练的识别模型，得到目标商品初始识别结果；

2-2：利用所述目标商品初始识别结果基于预先建立的特征识别库，得到目标商品识别结果；

其中，预先建立的特征识别库为待识别商品的属性特征库。

步骤2-1具体包括：

获取待识别商品的属性特征建立训练集；

以所述训练集为输入，训练集中各待识别商品的属性特征对应的识别结果为输出，基于DenseNet神经网络进行训练，得到识别模型。

实施例2：

本发明提供了一种基于边缘计算与机器深度学习的商品识别系统，如图2所示，包括：

图像获取模块，用于根据目标商品的时序图像得到目标商品边框特征图像；

商品识别模块，用于利用所述目标商品边框特征图像获取目标商品识别结果。

所述根据目标商品的时序图像得到目标商品边框特征图像包括：

利用目标商品的不同时序图像得到目标商品的时序图像集合；

根据所述时序图像集合中各时序图像基于ORB算法得到时序图像集合中各时序图像的特征描述子；

利用所述各时序图像的特征描述子基于K临近法得到各时序图像的匹配描述特征点；

利用所述匹配描述特征点获取目标商品的拼接图像；

利用所述目标商品的拼接图像基于轮廓跟踪法得到目标商品边框特征图像。

所述利用各时序图像的特征描述子基于K临近法得到各时序图像的匹配描述特征点包括：

对各时序图像进行灰度化处理后，利用灰度化的各时序图像的特征描述子基于K临近法得到各时序图像的初始匹配特征值；

判断所述初始匹配特征值是否小于预先设定的标准阈值，若是，则获取所述初始匹配特征值对应的特征描述子作为匹配描述特征点，否则，不进行操作。

所述利用匹配描述特征点获取目标商品的拼接图像包括：

根据匹配描述特征点带入预先设定的单应变换矩阵，得到目标商品的实际匹配描述特征点；

利用所述实际匹配描述特征点获取目标商品的拼接图像。

所述单应变换矩阵的预先设定包括：

利用所述各时序图像的匹配描述特征点得到单应变换矩阵特征点集合；

利用所述单应变换矩阵特征点集合计算单应变换矩阵。

所述利用单应变换矩阵特征点集合计算单应变换矩阵的计算式如下：

其中，x’,y’,z’分别为齐次坐标，H为单应变换矩阵，P为单应变换矩阵特征点集合的特征点，h为行列式元素，x

所述利用实际匹配描述特征点获取目标商品的拼接图像包括：

利用实际匹配描述特征点计算实际匹配描述特征点拟合误差值后，得到实际匹配描述特征点拟合误差值集合；

获取实际匹配描述特征点拟合误差值集合中实际匹配描述特征点拟合误差值对应的实际匹配描述特征单应矩阵；

根据所述目标商品的时序图像与深度时序图像利用所述实际匹配描述特征单应矩阵获取目标商品的拼接图像；

其中，深度时序图像为目标商品的时序图像对应的背景图像。

所述利用目标商品边框特征图像获取目标商品识别结果包括：

将目标商品边框特征图像带入预先训练的识别模型，得到目标商品初始识别结果；

利用所述目标商品初始识别结果基于预先建立的特征识别库，得到目标商品识别结果；

其中，预先建立的特征识别库为待识别商品的属性特征库。

所述识别模型的训练包括：

获取待识别商品的属性特征建立训练集；

以所述训练集为输入，训练集中各待识别商品的属性特征对应的识别结果为输出，基于DenseNet神经网络进行训练，得到识别模型。

实施例3：

一种基于边缘计算与机器深度学习的商品识别方法，如图3所示，包括：

步骤1：基于RGB-D信息的图像拼接及目标定位；

步骤2：使用基于多属性联合的物体识别方法进行商品的识别；

1-1：如图4所示，RGB-D传感器负责采集传送带上的商品图像，在传送带运转的情况下，将得到RGB-D时序图像；

1-2：对不同图像进行特征点提取，提取后进行二进制描述，把图像转化为二进制数据；

1-3：构建RGB图像坐标转换模型，并将该转换模型应用到深度图上，从而完成RGB-D时序图像的拼接；

1-4：其对拼接后的深度图进行相关的图像处理操作后，使用轮廓跟踪算法进行定位，可以获得少量且质量更高的目标边框。

1-1为装置内取商品图像的过程，取得的商品图像传入下一步骤；

对1-2的具体描写：

图像的特征点可以简单的理解为图像中比较显著显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。

对商品图像的特征点提取使用的是ORB算法，该算法对候选特征点周围一圈的像素值进行检测，如果候选点周围领域内有足够多的像素点与所选候选点的灰度值差别足够大，则认为该候选点为一个特征点。(提取特征点方法)

图像处理为二进制数据：获取到特征点后，使用BRIEF算法对特征点进行二进制描述，也就是，在每一个特征点的邻域内，选择N对像素点，如果一对像素点中前者的灰度值大于后者灰度值，则生成二进制串中的1，否则为0，所有点对都进行比较后，得到一个长度为N的二进制串，该串即为此特征点处的特征描述子。

本实施例中，一种基于边缘计算与机器深度学习的商品识别方法，如图5所示，展示了使用ORB算法在两个时序图上的特征点检测的效果。使用ORB算法计算得到各特征点处的特征描述子后，使用K近邻算法(所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中)进行特征点匹配并通过最近距离比次近距离的方式进行筛选后的效果。

对1-3的具体描写：

进行图像拼接的关键是确定各时序图图像中点坐标之间的几何关系，构建坐标转换模型。

在满足被拍摄物体在同一平面上或拍摄视点不发生空间位置变化的条件下，各图像间的几何关系可以由一个全局单应矩阵表示。

在对输入中的RGB图像进行灰度化后，使用ORB算法提取两幅图像的特征点并使用K近邻算法进行特征点匹配，第一幅图像Ii中每个特征点P在第二幅图Ij中都有K个与其最相近的特征点(使用k临近算法)，如果P到最近点Q的距离与到次近点距离的比值小于指定阈值(按照实际情况设定，阈值越小代表精度越高)，则该特征点对(P,Q)匹配成功，否则剔除。按照这种方式可筛选出较优的匹配点对(至少需要4对特征点才能确定具有八自由度的单应矩阵，特征点对越多越好)，其中(P,Q)是一对特征点分别在不同图像中的坐标。然后，根据匹配点对求单应矩阵H，使得拟合误差E(H)最小,表达式(一)如下

表达式(一)

下方为表达式的具体解读：min代表最小值，意思是求取E(H)的最小值。

式中，H(P)是利用单应矩阵将图像Ii中的坐标点P转换到图像Ij中。计算H(P)，首先要把P点坐标(x

说明：在这里引入一个新的概念：单应性变换。它用来描述物体在世界坐标系和像素坐标系之间的位置映射关系，对应的变换矩阵称为单应性矩阵，h

将该齐次坐标(x’,y’,z’)转化为二维非齐次坐标H(P)(上述表达式一中所需)：

H(P)即为P转换后在图像Ij中的对应坐标。因此，可以计算得到欧氏距离(即：上述表达式一中求和表达式内部元素)，h

进一步可转换为矩阵相乘的形式：

随机采样4对特征点，求出一个单应矩阵H；然后，将H应用到所有的特征点对上，计算拟合误差，重复多次，得到一个能拟合最多数量特征点对的H*。最后，利用H*分别对RGB时序图像和配准后的深度时序图像进行透视变换(透视变换常用于移动机器人视觉导航研究中，由于摄像机与地面之间有一倾斜角，而不是直接垂直朝下(正投影)，有时希望将图象校正成正投影的形式，就需要利用透视变换。)，统一不同图像的像素点坐标。进而完成图像的拼接。

目标定位具体包括：

如图6所示，在得到拼接后的RGB图像和深度图像后，通过前景深度图像(商品的深度图像)减去背景深度图像(本装置中即为传送带的深度图像)得到去除背景信息后的深度图像；

对该图像进行二值化得到一个目标区域为白色，背景区域为黑色的二值图像；再使用闭运算操作填充目标区域的孔洞；

使用开运算对背景区域的噪声进行滤除；

利用轮廓跟踪算法得到所有目标区域的外边界；

最后，基于这些边界得到物体在拼接后的RGB图像中的矩形区域，完成商品的定位；

步骤2具体内容：

要识别商品可以划分出种类、品牌、包装等属性维度。

一个商品在种类维度下，可以拥有牛奶或饼干等属性标签，在品牌维度下，可以有伊利或蒙牛等标签，而在包装维度下，又可以有袋装或盒装等标签。

因此，普遍存在多个物体在某个属性维度下有着不同的属性标签，而在其他属性维度下可能有着相同属性标签的情况。

如果仅以某个属性维度下的标签来引导网络模型的训练过程，模型只能在该维度下学习信息，却无法学习到其他维度下的相关信息，而这些信息可能对识别过程具有一定的指导作用。

对计算机来说，如果可以获得对物体属性的认识，就可以对物体获得更为深刻的认识。对于包含信息较为复杂的物体，从多个属性的角度对其进行描述，可以从错综复杂的特征信息中揭示出更多重要的隐含信息，这些隐含信息对识别过程将会起到一定的辅助作用，有利于改善物体识别的效果。

2-1：引导网络同时学习物体在不同属性维度下的多种属性特征，使用多任务学习的方式，如图7所示，将DenseNet作为基础的卷积神经网络设计了，如图8所示，多任务DenseNet。

在多任务DenseNet中，去除了网络结构中的线性输出层，并添加了多个分支。每个分支只包含一个全连接隐层和一个分类决策层，全连接隐层由线性全连接、BN、ReLU组成，决策层由FC和Softmax组成。这种添加方式不仅可以使网络学习到输入图像在不同属性维度下的特征信息，而且多个任务分支共享绝大部分结构不会带来太多的计算量和内存占用。

2-2：所示的多任务学习模型在训练结束后可用来提取物体的多种属性特征，基于这些特征利用联合特征分类器进行决策。

2-3：在得到物体的多种属性特征后，对多种属性特征进行拼接并基于拼接后的特征进行最终的预测；完成整个商品的识别过程。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。