扫码协调图像识别及借助分区杆校验的零食分类方法

技术领域

本发明涉及商品分类特别是散装零食分类技术领域，具体涉及一种扫码协调图像识别及借助分区杆校验的零食分类方法。

背景技术

目前对于零食类等散装食品的计价方法为：商家从购物篮里人为筛选出称重价相同的零食，然后统一称重后统一计价，这样的称重方式依赖人为对各类型零食的称重价格的记忆和分拣，难免出错，且当所购零食具有多个称重价时，需要多次分拣及称重行为，非常繁琐，容易造成结账排队。

为了解决上述问题，商家期待能够如各大商超目前应用成熟的自助结账机一样实现消费者对散装零食的自助结账，但由于散装零食的扫码标签尺寸较小，消费者对所购数量较多的散装零食一一扫码非常麻烦，且现有的自助结账机不具有批量称重的功能，也无法实现对具有相同称重价格的各类型散装食品的统一称重计价，因此，现有的自助结账机无法适用对散装零食的分类并计价。

图像识别技术日益成熟，近些年得到了广泛应用，目前也有一些利用图像识别技术对散装食品进行分类识别的研究，但散装食品的尺寸通常较小，现有的图像识别技术提取散装食品的分类特征比较困难，导致对散装食品的分类准确度不够理想，这也是目前图像识别技术难以应用到散装食品分类场景的主要原因。另外，若要实现对散装零食的精准分类，现有方案需要提取散装零食的细节特征，特征提取方法复杂，耗时较长，也难以确保基于传统图像识别技术的自助结账的效率。

所以综上，如何在散装零食因尺寸较小不便于批量人为扫码、自助结账机不带称重功能、现有的图像识别技术对散装零食分类准确度不够理想等问题下破局，免去称重环节，实现消费者对散装零食的自助结账成为目前该领域亟待解决的技术问题。

发明内容

本发明以克服散装零食不便于通过标签批量人为扫码，通过改进现有图像分类算法，提升对散装零食分类的准确率和分类速度，并免去称重环节，实现对散装零食的自助结账为目的，提供了一种扫码协调图像识别及借助分区杆校验的零食分类方法。

为达此目的，本发明采用以下技术方案：

提供一种扫码协调图像识别及借助分区杆校验的零食分类方法，透明的零食传送带下划分有若干个网格，每个所述网格中安装有条码扫取及图像采集设备，所述零食分类方法包括步骤

S1，每个所述条码扫取及图像采集设备尝试扫取摊铺在分类计价设备的第一区域的所安装的所述网格上方的零食商品条码，并在扫取到第一条码后完成一级分类并进一步采集条码图像；第一图像采集设备采集摊铺在所述第一区域的各零食的第一全局图；

S2，生成扫取到所述第一条码的对应类型的零食在所述第一全局图上的第一虚拟整体图，然后机器从所述第一全局图中匹配出与所述第一虚拟整体图具有相似度的图像块并过滤；

S3，对所述第一全局图中经步骤S2过滤剩余的各所述图像块，以在所述图像块中以最大框选匹配度框选住具有最大面积的第一颜色块的具有固定尺寸的第一矩形框与同样以最大框选匹配度框选住具有最小面积的第二颜色块的具有固定尺寸的第二矩形框的尺寸比值为分类特征进行二级分类；

S4，根据一级分类结果和二级分类结果进行计价后，通过所述透明传送带将各零食传送至购物袋。

作为优选，执行步骤S4时，还需要根据三级分类结果进行计价，计价流程为：

完成步骤S3的二级分类后，判断是否完成对所述第一全局图中的每个所述图像块的分类，

若是，则根据所有分类结果计价后通过所述透明传送带将各零食传送至购物袋；

若否，则借助分区杆对所述第一全局图中未分类的各所述图像块进行三级分类并完成计价后将各零食传送至所述购物袋。

作为优选，所述条码图像的图像信息包括扫取到的所述第一条码相对所述网格的第一朝向特征，所述第一朝向特征为矩形的所述第一条码的左上顶点p1、右上顶点p2与所述网格的中心点p0的两条连线分别与水平线的夹角。

作为优选，步骤S2中，所述第一虚拟整体图与所述图像块进行相似度匹配的方法包括步骤：

A1，获取扫取到的所述第一条码指代的类型绑定的零食整体图像信息，包括零食整体图像的尺寸特征、形状特征、条码在所述零食整体图像中的位置特征、条码相对所述零食整体图像的第二朝向特征；

A2，根据所述零食整体图像信息还原出扫取到的所述第一条码对应的所述零食整体图像，然后将所述零食整体图像中具有第二朝向的第二条码重合叠加到具有第一朝向的所述第一条码上，以将还原的所述零食整体图像生成为在所述第一全局图上的所述第一虚拟整体图；

A3，从所述第一全局图中提取出所述第一虚拟整体图的相似度匹配对象，并计算各匹配对象与所述第一虚拟整体图的第一面积交并比；

A4，判断所述第一面积交并比是否大于预设阈值，

若是，则判定相似度匹配成功；

若否，则判定相似度匹配失败。

作为优选，步骤A3中，从所述第一全局图中提取所述第一虚拟整体图的相似度匹配对象的方法包括步骤：

A31，筛选出与扫取到所述第一条码的第一网格相邻的上、下、左、右、左上、左下、右上、右下的各第二网格；

A32，从所述第一全局图中提取出由所述第一网格及其相邻的各所述第二网格形成的局部图；

A33，从所述局部图中识别出所述图像块作为所述第一虚拟整体图的相似度匹配对象。

作为优选，对矩形框数据库中的各矩形框按照尺寸由大到小排列为矩形框列表，并定义尺寸由大到小为遍历所述矩形框列表的第一方向，由小到大为遍历所述矩形框列表的第二方向，步骤S3中，进行二级分类的方法包括步骤：

S31，根据预设提取策略，沿所述第一方向和/或所述第二方向从所述矩形框列表中分别提取出具有最大尺寸的第一矩形框，和/或提取出具有最小尺寸的第二矩形框；

S32，以所述第一矩形框和/或所述第二矩形框框选出所述图像块上的各颜色块；

S33，计算所述第一矩形框与框选的各所述第一颜色块的第二面积交并比作为第一框选匹配度，和/或计算所述第二矩形框与框选的各所述第二颜色块的第三面积交并比作为第二框选匹配度；

S34，判断是否产生大于第一框选匹配度阈值的所述第一框选匹配度，且产生大于第二框选匹配度阈值的所述第二框选匹配度，

若是，则转入步骤S35；

若否，则返回步骤S31；

S35，计算匹配成功的所述第一矩形框和所述第二矩形框的尺寸比值作为二级分类特征，并匹配出所述尺寸比值对应的零食商品类型。

作为优选，步骤S31中的所述提取策略包括步骤：

S311，判断对所述矩形框列表的上一次遍历是否未产生所述第一框选匹配度且未产生所述第二框选匹配度，

若是，则从所述矩形框列表中过滤掉上一次遍历提取的所述第一矩形框和所述第二矩形框，然后返沿所述第一方向和所述第二方向重新提取具有最大尺寸的所述第一矩形框和具有最小尺寸的所述第二矩形框；

若否，则转入步骤S312；

S312，判断上一次遍历是否产生所述第一框选匹配度，

若是，则从所述矩形框列表中过滤掉上一次遍历提取的所述第二矩形框，然后沿所述第二方向重新提取具有最小尺寸的所述第二矩形框；

若否，则从所述矩形框列表中过滤掉上一次遍历提取的所述第一矩形框，然后沿所述第一方向重新提取具有最大尺寸的所述第一矩形框。

作为优选，进行三级分类的方法包括步骤：

B1，所述透明传送带将位于所述第一区域的各零食通过所述分区杆的二次摊铺并传送到第二区域后，第二图像采集设备采集摊铺在所述第二区域的各零食的第二全局图；

B2，提取所述第二全局图中与所述第一全局图的差异区域；

B3，采用所述的二级分类方法完成对各所述差异区域的零食商品分类。

作为优选，步骤S1中，对一级分类成功的各所述网格做第一标记，步骤S3中，对二级分类成功的各所述图像块做第二标记，步骤B2中，提取所述差异区域的方法包括步骤：

C1，分类计价设备以所述第二图像采集设备采集到所述第二全局图为指令，激活安装在未做所述第一标记的各所述网格中的所述条码扫取及图像采集设备的条码扫取功能，并对处于所述第二区域的各零食进行条码扫取；

C2，通过步骤A1-A2记载的方法生成步骤C1扫取到的第二条码的对应类型的零食在所述第二全局图上的第二虚拟整体图；

C3，通过步骤A31-A33记载的方法从所述第二全局图中识别出作为所述第二虚拟整体图的相似度匹配对象的所述图像块；

C4，匹配出与每张所述第二虚拟整体图具有相似度的所述图像块并做好所述第二标记，然后将所述第二全局图中未做所述第二标记的各所述图像块作为所述差异区域。

作为优选，各所述网格随所述透明传送带同步被传送。

本发明具有以下有益效果：

1、通过透明传送带以及在传送带下划分的每个网格中设置条码扫取及图像采集设备，并通过这些设备对摊铺在相应网格上方的散装零食尝试进行条码扫取，实现了对各散装零食的一级分类，利于减少机器对摊铺在第一区域的各散装零食采集的第一全局图的图像分类识别的对象数量；

2、对于成功扫取条码信息的散装零食，根据条码扫取及图像采集设备采集到的条码图像信息（包括条码相对条码扫取及图像采集设备所安装的网格的第一朝向特征），并根据条码图像信息与相应类型的散装零食的整体图像信息（包括整体图像形状特征、尺寸特征、条码在整体图像的位置特征、条码相对零食整体图像的第二朝向特征）的绑定关系，生成该散装零食在第一全局图上的虚拟整体图，然后机器从第一全局图中匹配出与每个虚拟整体图具有相似度的图像块并过滤，在图像识别的二级分类环节高准确度地减少了二级分类对象；

3、在图像识别的二级分类环节，通过固定尺寸的矩形框提取作为二级分类对象的图像块中的具有最大及最小尺寸的第一颜色块、第二颜色块，并以分别框选第一颜色块和第二颜色块的第一矩形框、第二矩形框的尺寸比值为二级分类特征，减少了对颜色块边界识别的计算量，提高了二级分类速度。需要强调的是，通过固定尺寸的矩形框计算二级分类特征的优势在于：固定尺寸的矩形框的尺寸是结合各类型零食外包装上的各尺寸颜色块的具体尺寸事先确定的，固定尺寸的同个矩形框可以框选住在该尺寸下的各种尺寸的颜色块，只不过框选的饱满度（框选饱满度同样定义为框选匹配度，饱满度定义为颜色块的像素面积与矩形框的面积占比）不同，采用固定尺寸的数量有限的事先确定的矩形框相比较现有的以颜色块的面积来自动生成适配的矩形框的传统区域图像识别方式而言，对颜色块边界识别的计算量大幅降低，首先能够提升对颜色块的框选速度，另外，由于矩形框尺寸固定，各尺寸矩形框的面积已知，免去了传统框选方式每次对需要根据颜色块的面积计算框选颜色块的矩形框尺寸的麻烦，且最大尺寸矩形框与最小尺寸矩形框的尺寸比值的数量有限，能够更快速地以该分类特征为依据，识别出该分类特征对应的零食商品类型；

4、对于散装零食堆叠等影响一级和二级分类准确度的情况，通过分区杆克服堆叠，并在第一全局图上的各散装零食从由分区杆划分的第一区域被传送到第二区域后，采集克服堆叠后的第二全局图，并对第二全局图中除已做一级分类标记和二级分类标记外的其他散装零食区域图像进行三级分类，进一步减少了对各散装零食分类的错漏，确保了分类准确度；

5、三级分类方法中，通过差异区域的提取来识别一级分类和二级分类中可能出现的错漏区域。三级分类中，对一级分类和二级分类作了技术融合，进一步确保了分类精度；

6、将对同类商品的分类次数作为对相应类型散装零食的购买数量的统计结果，并根据该类型散装零食的单包价格直接进行计价，免去了称重环节。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的扫码协调图像识别及借助分区杆校验的零食分类方法的实现步骤图；

图2是是分类计价设备的示意图；

图3是第一全局图和第二全局图的对比示例图；

图4是生成的虚拟整体图与图像块进行相似度匹配的示例图；

图5是扫取到条码后筛选网格的示例图；

图6是以固定尺寸的矩形框从零食图像中框选出颜色块的示例图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的扫码协调图像识别及借助分区杆校验的零食分类方法，如图1所示，包括步骤：

S1，当散装零食被摊铺到透明传送带（透明传送带下划分有若干个网格，每个网格中安装有条码扫取及图像采集设备，为了便于后续算法计算，所有网格的尺寸、形状等优选均相同）上的第一区域后，每个条码扫取及图像采集设备尝试扫取所安装的网格上方的零食商品条码，并在扫取到第一条码后完成一级分类（条码中嵌入有零食类型，扫取到条码即代表实现了对该零食的分类），并进一步采集条码图像（条码图像的图像信息包括扫取到的第一条码相对所在网格的第一朝向特征，第一朝向特征可以用如图4中示例的条码图像的左上顶点p1、右上顶点p2与网格的中心点p0的两条连线分别与水平线的夹角确定，也可以用其他方式确定朝向特征，在此不做详细说明），另外，如图2中所示，第一图像采集设备（优选安装于第一区域的上方）同时采集摊铺在第一区域的各零食的第一全局图；

S2，生成扫取到第一条码的对应类型的零食在第一全局图上的第一虚拟整体图（生成方法在下述步骤A1-A2中阐述），然后机器从第一全局图中匹配出与第一虚拟整体图具有相似度的图像块并过滤（此处过滤指的是：对该图像块做终止继续分类的标记）；

第一虚拟整体图与图像块进行相似度匹配的方法具体包括如下步骤：

A1，获取扫取到的第一条码指代的类型所绑定的零食整体图像信息，包括零食整体图像的尺寸特征、形状特征、条码在零食整体图像中的位置特征（比如假设零食整体图像为矩形，可用条码的中心位点与零食整体图像的中心位点的距离作为条码的位置特征）、条码相对零食整体图像的第二朝向特征（如图4中示例，假设零食整体图像为矩形，可用条码的左上顶点p1与零食整体图像的左上顶点p3的连线，条码的右上顶点p2与零食整体图像的右上顶点p4的连线分别与水平线的夹角确定，不同的零食形状可采用不同的方法来确定条码相对零食整体图像的第二朝向特征，由于第二朝向特征的确定方法并非本申请要求权利保护的范围，因此也不做具体说明）；

A2，根据零食整体图像信息还原出扫取到的第一条码对应的零食整体图像，然后将该零食整体图像中具有第二朝向的第二条码重合叠加到具有第一朝向的第一条码上，以将还原的零食整体图像生成为在第一全局图上的第一虚拟整体图（如图4中的附图标记“300”所示）；这里需要说明的是，第一条码和第二条码重合叠加的过程实质是基于两幅条码图像的朝向特征进行匹配叠加的过程，比如可以首先识别出均为矩形的第一条码和第二条码上的4个顶点，然后将第二条码以第一条码的朝向叠加到第一条码上，当第二条码上的4个顶点相应的叠加到第一条码上的4个顶点表示重合叠加成功（只要第二条码上的每个顶点与第一条码上相应顶点的重合率高于设定的重合率阈值即认定重叠成功，重合率可以为顶点与顶点间的距离）；

A3，从第一全局图中提取出第一虚拟整体图的相似度匹配对象，并计算各匹配对象与第一虚拟整体图的第一面积交并比；

步骤A3中，从第一全局图中提取第一虚拟整体图的相似度匹配对象的方法具体包括如下步骤：

A31，筛选出与扫取到第一条码的第一网格相邻（如图5中所示的正中间的网格）的上、下、左、右、左上、左下、右上、右下的各第二网格；这里需要说明的是，网格筛选是尽可能筛选，比如对于扫取到第一条码的边缘网格，可能只能筛选出相邻的上、左、右、左上、右上共5个第二网格；

A32，从第一全局图中提取出由第一网格及其相邻的各第二网格形成的局部图；

A33，从局部图中识别出图像块（如图4中的附图标记“400”所示）作为第一虚拟整体图的相似度匹配对象。这里需要说明的是，从局部图中识别图像块采用的现有的图像识别方法，比如识别出局部图中像素连续的区域作为图像块。

另外，图像块的像素面积可以采用现有的区域图像面积计算方法计算而得，不做具体说明，而第一虚拟整体图的面积是已知的（相应类型的零食外包装的面积事先计算并保存，机器在步骤A3计算第一面积交并比时，直接从数据库中获取第一虚拟整体图的面积即可），因此，步骤A3中，第一面积交并比的计算并不复杂。

关于第一虚拟整体图和图像块的相似度匹配流程在执行完步骤A3后，转入步骤：

A4，判断步骤A3计算的第一面积交并比是否大于预设阈值，

若是，则判定相似度匹配成功（相似度匹配成功后，将参与相似度匹配的该图像块从第一全局图中过滤掉，不作为后续的二级分类对象，以减少二级分类对象的数量，加快后续的二级分类速度）；

若否，则判定相似度匹配失败。

完成对第一全局图上的二级分类对象的过滤筛选后，如图1所示，本实施例提供的一种扫码协调图像识别及借助分区杆校验的零食分类方法转入步骤：

S3，对第一全局图中经步骤S2过滤剩余的各图像块，以在图像块中以最大框选匹配度框选住具有最大面积的第一颜色块的具有固定尺寸的第一矩形框与同样以最大框选匹配度框选住具有最小面积的第二颜色块的具有固定尺寸的第二矩形框的尺寸比值为分类特征进行二级分类；

本发明中，一级分类是通过安装在透明传送带下方的相应网格中的条码扫取及图像采集设备扫零食外包装的条码实现的，但顾客将各类零食摊铺到传送带上时，有些零食是条码朝下，但有些是条码朝上的，条码朝上时，条码扫取及图像采集设备便无法扫取到条码，便也无法实现对这些零食的一级分类，因此对于这些零食，需要通过二级分类进行进一步识别。

以下对二级分类的方法进行具体阐述：

在进行二级分类前，首先需要对矩形框数据库中的各矩形框按照尺寸由大到小排列为矩形框列表，并定义尺寸由大到小为遍历该矩形框列表的第一方向，由小到大为遍历该矩形框列表的第二方向，进行二级分类的方法具体包括如下步骤：

S31，根据预设提取策略，沿第一方向和/或（何时采用“和”，何时采用“或”在后续内容中会着重说明）第二方向从矩形框列表中提取出具有最大尺寸的第一矩形框，和/或提取出具有最小尺寸的第二矩形框；

S32，以第一矩形框和/或第二矩形框框选出图像块上的各颜色块；这里需要说明的是，图像块表示的是摊铺在传送带上的零食图像，颜色块指的是零食图像上的某种颜色的连续像素组成的区域图像块，从零食图像上识别出颜色块采用的是现有图像识别算法，目前从图像中识别出某种颜色构成的区域图像块的技术已经非常成熟，且对于颜色块的识别算法也并非本发明要求权利保护的范围，因此不做具体说明。

第一矩形框或第二矩形框从图像块上框选出颜色块的方法与现有的通过自适应生成矩形框的方式去框选目标图像区域的算法原理类似，不同的是，本发明中采用的矩形框并非为匹配目标区域的面积尺寸自适应生成，而是采用尺寸固定的矩形框，在对作为框选目标的颜色块进行框选时，尽可能多的沿目标区域的边界框选住颜色块即可，对于框选目标区域的边界计算量大幅减少。比如，如图6中所示的，用提取出的具有固定尺寸的第一矩形框500和第二矩形框600分别框选出第一颜色块和第二颜色块；

S33，计算第一矩形框与框选的各第一颜色块的第二面积交并比作为第一框选匹配度，和/或计算第二矩形框与框选的各第二颜色块的第三面积交并比作为第二框选匹配度；

S34，判断是否产生大于第一框选匹配度阈值的第一框选匹配度，且产生大于第二框选匹配度阈值的第二框选匹配度，

若是，则转入步骤S35；

若否，则返回步骤S31；

S35，计算匹配成功的第一矩形框和第二矩形框的尺寸比值作为二级分类特征，并匹配出该尺寸比值对应的零食商品类型。

步骤S31中所述的提取策略具体包括如下步骤：

S311，判断对矩形框列表的上一次遍历是否未产生第一框选匹配度且未产生第二框选匹配度，

若是，则从矩形框列表中过滤掉上一次遍历提取的第一矩形框和第二矩形框，然后沿第一方向和第二方向重新提取具有最大尺寸的第一矩形框和具有最小尺寸的第二矩形框；

若否，则转入步骤S312；

S312，判断上一次遍历是否产生第一框选匹配度，

若是，则从矩形框列表中过滤掉上一次遍历提取的第二矩形框，然后沿第二方向重新提取具有最小尺寸的第二矩形框；

若否，则从矩形框列表中过滤掉上一次遍历提取的第一矩形框，然后沿第一方向重新提取具有最大尺寸的第一矩形框。

这里需要说明的是，通过遍历矩形框列表的方式对图像块进行二级分类时，遍历结束后若未匹配到具有第一框选匹配度的第一矩形框和具有第二框选匹配度的第二矩形框，则代表未寻找到该图像块的二级分类特征，即对该图像块的二级分类失败，则在第一全局图中将该图像块标记为未分类成功的零食图像区域，以待后续再尝试进行三级分类。

当零食在透明传送带上被摊铺均匀（不存在零食重叠等异常情况）时，通过一级分类和二级分类，对散装零食已达到了理想的分类精度，此时可以依据一级和二级的分类结果对所购零食进行计价。每类小包零食都有相应的重量，事先可以称重得到，并将称重信息录入到机器中。计价时，计算识别到该类零食的次数与该零食的单包重量，可以得到所购买的该类零食的总重量，然后计算该类零食的总重量与称重价格即可完成对该类零食的计价。因此，在不存在零食重叠等异常情况时，完成步骤S1-S3记载的一级和二级分类后，如图1所示，本实施例提供的扫码协调图像识别及借助分区杆校验的零食分类方法转入步骤：

S4，根据一级分类结果和二级分类结果进行计价后，通过透明传送带将各零食传送至购物袋。

但由于可能存在摊铺未均匀出现零食叠加等异常情况，可能导致一级和二级分类对象有遗漏，发生少计价的情况，为了解决这个问题，在执行步骤S4时，优选还根据三级分类结果进行计价，计价流程为：

完成步骤S3的二级分类后，判断是否完成对第一全局图中的每个图像块的分类（判断方法为：步骤S1中，对一级分类成功的各网格做第一标记，第一标记体现在第一全局图上（通过该第一标记，机器可以直接判断，形成在第一全局图上的做有该第一标记的图像块已完成分类）；步骤S3中，对二级分类成功的各图像块做第二标记，机器同样可以根据第二标记直接判断，形成在第一全局图上的做有该第二标记的图像块已完成分类，若还存在未做任何标记的图像块，则判定未完成对第一全局图中的所有图像块的分类），

若是，则根据所有分类结果（包括一级分类结果、二级分类结果和三级分类结果）计价后通过透明传送带将各零食传送至购物袋；

若否，则借助分区杆对第一全局图中未分类的各图像块进行三级分类并完成计价后将各零食传送至购物袋。

进行三级分类的方法包括步骤：

B1，透明传送带将位于第一区域的各零食通过图2中所示的分区杆100及人为的二次摊铺并传送到第二区域后，第二图像采集设备（优选安装于第二区域的上方）采集摊铺在第二区域的各零食的第二全局图（第一全局图和第二全局图的对比示例请见图3）；分区杆距离传送带的高度是预先根据各类型零食的外包装的厚度设定的，比如商超内的所有散装零食的外包装厚度具有2个厚度范围，第一厚度范围为大于5cm，第二厚度范围为0-5cm，则可以将分区杆的高度设置为5cm，而对于外包装厚度大于5cm的散装零食，需要消费者通过图2中所示的扫码设备200自行扫条码计价，这些零食不参与机器的各级分类，这也减少了机器分类的对象，对于提升整体的零食机器分类速度有利。而对于外包装厚度小于5cm的各零食，叠加在一起后可能出现叠加高度大于5cm或小于5cm的情况，对于叠加高度小于5cm的情况，需要商家或消费者自己人为对叠加的零食进行二次摊铺，而对于叠加高度大于5cm的情况，由分区杆来进行二次摊铺，这样减少了人为二次摊铺的数量，当叠加的零食数量较多时，能够协助人为快速进行二次摊铺，利于传送带快速将各零食传送到第二区域。

这里还需说明的是，传送带以完成对第一全局图的一级和二级分类为指令，将各零食由第一区域传送到第二区域。第二图像采集设备对处于第二区域的各零食采集第二全局图的时机为：形成在第一全局图中的所有网格全部被其探测到（设置在传送带下的网格随传送带被同步传送）。第二图像采集设备判断是否在第二区域探测到形成在第一全局图中的所有网格的方法为：第一图像采集设备采集第一全局图的视野范围是确定的，比如以图2中所示的网格①、②、③、④为视野范围的边界点，只要探测到这4个边界点，即表示视野范围覆盖了第一区域中的所有网格。所以第二图像采集设备只要在第二区域探测到相同的这4个边界点，即判定原本形成在第一区域的所有网格已被传送到第二区域，并再次以该4个边界点围合的视野范围采集第二全局图即可。而对于4个边界点的识别可以采用不同的网格颜色特征，比如边界点①、②、③、④的网格颜色分别为红、橙、黄、蓝，而其他网格的颜色设置为透明色。

B2，提取第二全局图中与第一全局图的差异区域，提取方法具体为：

步骤S1中，对一级分类成功的各所述网格做第一标记（第一标记还体现在第一全局图中，体现方法比如为：网格是随传送带同步传送的，网格扫取到条码后，可以点亮网格的颜色灯，灯的颜色形成在第一全局图中作为第一标记），步骤S3中，对二级分类成功的各所述图像块做第二标记（第二标记体现在第一全局图中，体现方法比如为：对二级分类成功的图像块标记虚拟颜色，标有虚拟颜色的图像块表示二级分类已成功），然后通过如下方法步骤提取第二全局图与第一全局图的差异区域：

C1，分类计价设备以第二图像采集设备采集到第二全局图为指令，激活安装在未做第一标记的各网格中的条码扫取及图像采集设备的条码扫取功能，并对处于第二区域的各零食进行条码扫取；

C2，通过上述步骤A1-A2记载的方法生成步骤C1扫取到的第二条码的对应类型的零食在第二全局图上的第二虚拟整体图；

C3，通过上述步骤A31-A33记载的方法从第二全局图中识别出作为第二虚拟整体图的相似度匹配对象的图像块；

C4，匹配出与每张第二虚拟整体图具有相似度的图像块并做好所述第二标记，然后将所述第二全局图中未做第二标记的各图像块作为差异区域。

提取到差异区域后，三级分类方法转入步骤：

B3，采用步骤S31-S35以及步骤S311-S312记载的二级分类方法完成对各差异区域的零食商品分类。

综上，本发明通过设置在透明传送带下方的条码扫取设备的条码扫取实现对摊铺的零食的一级分类；基于一级分类中扫取到的条码的朝向特征生成虚拟整体图，并采用与零食的真实图像块进行匹配的方式筛选二级分类对象，利于提升二级分类中的图像分类速度；通过固定尺寸的矩形框提取作为二级分类对象的图像块中的具有最大及最小尺寸的第一颜色块、第二颜色块，并以分别框选第一颜色块和第二颜色块的第一矩形框、第二矩形框的尺寸比值为二级分类特征，减少了对颜色块边界识别的计算量，提高了二级分类速度；通过三级分类校验一、二级分类的错漏，且三级分类融合了前两级分类的优势，分类更加准确。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。