一种基于图像识别的餐盘计数统计方法及装置

技术领域

本发明涉及图像识别技术领域，具体来说，涉及一种基于图像识别的餐盘计数统计方法及装置。

背景技术

现有对餐盘进行计数统计的系统大都为光感计数器，通过在传送带两侧放置发光组件和光感组件进行计数，餐盘通过光感组件时会遮住发光组件的光，通过后，光感组件再次感光，计数加1，完成一次计数操作，但其计数原理有一定局限性，就是两个餐盘在发光组件和感光组件之间不能有遮挡，否则计数会减少，出现计数偏差。

发明内容

本发明的目的在于提出一种基于图像识别的餐盘计数统计方法及装置，以克服现有技术中存在的上述不足。

为实现上述技术目的，本发明的技术方案是这样实现的：

一种基于图像识别的餐盘计数统计方法，所述方法包括以下步骤：

构建餐盘识别的网络模型；

获取传送装置上餐盘的视频图像，读取视频帧；

使用网络模型识别出各个视频帧中的餐盘，并使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；

使用电子围栏技术对餐盘进行计数。

一种基于图像识别的餐盘计数统计装置，所述装置包括：

餐盘传送模块，用于传送餐盘；

图像采集模块，用于采集餐盘的视频图像，并将所述视频图像发送给餐盘识别模块；

餐盘识别模块，用于读取视频帧，并识别出各个视频帧中的餐盘；

餐盘跟踪模块，使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；

餐盘计数模块，用于使用电子围栏技术对餐盘进行计数。

本发明的有益效果：本发明能够显著提高对餐盘检测计数的准确性。

附图说明

图1是本发明实施例所述方法的流程图；

图2是本发明实施例所述方法的应用示例图；

图3是本发明实施例所述装置的功能模块结构框图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，根据本发明的实施例所述的一种基于图像识别的餐盘计数统计方法，所述方法包括以下步骤：

构建餐盘识别的网络模型。

获取传送装置上餐盘的视频图像，读取视频帧。

使用网络模型识别出各个视频帧中的餐盘，并使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧。具体的，使用网络模型Yolov3对餐盘进行识别，结果的形式为目标位置、置信度和分类置信度，基础构造为基于卷积神经网络的特征提取层以及基于anchor的目标检测结构，目标位置的检测以固定的anchor为基准，回归出偏离值以获得最终的结果，目标的多个不同的置信度在输出后需要经过sigmoid函数处理。

获取的每一帧的目标检测结果采用跟踪算法处理，具体使用卡尔曼滤波算法，细节如下：

预测模型

这里我们描述对象模型，即表示和用于将目标的标识传播到下一帧。我们近似的框架间位移都有一个线性等速模型独立于其他物体和相机运动。状态每个目标的模型如下：

其中u和v分别代表目标的中心横纵坐标，s和r表示目标的BBox的尺寸大小和比例，注意长宽比应该为一个常量。因此后面三个量表示预测的下一帧，当检测与目标关联时，检测到的边界框用于更新目标状态，其中通过卡尔曼方法对速度分量进行了优化求解。如果没有检测与目标关联，则只需使用线性速度模型。

数据关联

使用匈牙利指派算法进行数据关联，使用的cost矩阵为原有目标在当前帧中的预测位置和当前帧目标检测框之间的IOU，当然小于指定IOU阈值的指派结果是无效的。使用IOU能够解决目标的短时被遮挡问题，这是因为目标被遮挡时，检测到了遮挡物，没有检测到原有目标，假设把遮挡物和原有目标进行了关联。那么在遮挡结束后，因为相近大小的目标IOU往往较大，因此很快就可以恢复正确的关联。这是建立在遮挡物面积大于目标的基础上的。

如果连续T帧没有实现已追踪目标预测位置和检测框的IOU匹配，则认为目标消失。系统中设置T＝1，原因有二，一是匀速运动假设不合理，二是系统主要关注短时目标追踪。此时，尽早删除已丢失的目标有助于提升追踪效率。但是，问题就出现了，这样的话目标的ID一定会频繁的切换，这样就会造成跟踪计数的不准确。此时应使用KFC算法匹配丢失帧，保证跟踪计数的准确性。

使用电子围栏技术对餐盘进行计数。具体的，如图2所示，视频中的餐盘水平移动，由于跟踪算法的参与，每个框将会获得一个数字ID标识身份，每当有一个框跨越了设定的线(电子围栏)后，计数增加，并记录ID。

如图3所示，基于以上本发明公开的一种基于图像识别的餐盘计数统计方法，本发明还公开了一种基于图像识别的餐盘计数统计装置，所述装置包括：

餐盘传送模块，用于传送餐盘；

图像采集模块，用于采集餐盘的视频图像，并将所述视频图像发送给餐盘识别模块；

餐盘识别模块，用于读取视频帧，并识别出各个视频帧中的餐盘；

餐盘跟踪模块，使用卡尔曼滤波跟踪算法对识别出的餐盘进行跟踪、使用匈牙利算法进行数据关联以及使用KFC算法匹配丢失帧；

餐盘计数模块，用于使用电子围栏技术对餐盘进行计数。

本发明实施例所述的基于图像识别的餐盘计数统计装置的上述各个功能模块，分别对应本发明的基于图像识别的餐盘计数统计方法的各个操作步骤，这里不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。