一种基于菜品留样的菜品识别方法及其系统

技术领域

本发明涉及菜品留样和菜品识别技术领域，特别是一种基于菜品留样的菜品识别方法及其系统。

背景技术

随着国家“新基建”的积极推进，鼓励人工智能技术的大力发展和落地，以及政策上的有力支持，传统团餐行业竞相往智慧团餐方向快速转型。以往的团餐行业面临很大技术壁垒，但随着新时代的科技发展，已被逐一击破。首当其中的就是菜品识别技术，近几年得到蓬勃发展已被广泛用于整个团餐行业。

目前的菜品识别主要有基于RFID识别方式和基于深度学习与图像识别的方式。

基于RFID的菜品识别是，基于物联网RFID技术和云计算技术的餐饮综合解决方案。通过在菜品结算台上加装桌面高频读写器一体机，把RFID芯片安装在各种碗碟器皿底部，将装有RFID芯片的碗碟放在结算台上，即可实现菜品的识别。然而，其需要食堂采购一批嵌有RFID标签的餐盘，通过RFID专用编辑器在标签上录入菜品信息。RFID标签识别的方式精度非常精准，但每个餐盘都需要预先嵌入标签来标记菜品信息，当食堂更换菜品时，需要对大批量的餐盘重新修改RFID标签信息，或重新采购一批餐盘，成本消耗较大。而且餐盘长时间的清洗和高温消毒，或餐盘间的碰撞都会降低RFID标签寿命。

基于深度学习和图像识别的菜品识别，是通过深度学习的目标检测网络，定位摄像头捕捉到的各个碗碟位置坐标信息，再经深度卷积神经网络提取各个菜品的特征信息，与预先建立的菜品特征检索库逐一比对，从而快速实现菜品的自动识别。该方式当遇到新菜品时，只需录入一张新菜品图片，将其特征添加到菜品特征库，即可快速实现该类菜品的识别，具有极高的灵活性和扩展性。与RFID方式相比，省去了菜品出品设备和出品流程，对用餐工作人员约束低，且去除餐具依赖，更换新菜品时可直接使用现有餐具，极大降低采购成本。此外，深度学习方式还能做水果、饮料和数量等复杂的识别。然而，基于深度的菜品识别方式，容易受外部环境光干扰降低识别率。菜品的烹饪技巧和搭配的多样性及地域、文化等差异性，导致每个餐厅的菜品特征库种类繁多，数据庞大，若每次用餐都和餐厅的菜品大库进行特征比对识别，很大程度上影响菜品识别率，用户使用体验差。

发明内容

本发明的目的在于提供一种提高菜品识别率的基于菜品留样的菜品识别方法及其系统，以便提升用户使用体验。

本发明所述的基于菜品留样的菜品识别方法，包括：

菜品留样：

获取留样菜品图片，通过目标检测网络定位留样菜品图片中各个菜品的位置坐标，根据各个菜品的位置坐标语义分割各个菜品子图，得到去除餐具的纯菜品区域图片；

将纯菜品区域图片经度量学习模型进行提取特征后，与食堂菜品总库每个菜品类别逐一比对，根据相似度分数最高值分类，得到各个菜品的对应类别；

根据得到各个菜品的对应类别自动添加到当餐菜谱名单，得到当餐出品的菜谱及每个留样类别菜品的纯菜品区域图；

加权融合：

根据当餐出品的菜谱，从食堂菜品大库中，筛选对应菜品图片信息，得到当餐菜品库，将每个留样类别菜品的纯菜品区域图进行特征提取后，与当餐菜品库的图片进行加权融合得到新菜品库；

结算：

获取当前用餐菜品图片，通过目标检测算法，定位当前用餐菜品图片中各个菜品的位置坐标，根据各个菜品的位置坐标切割各个菜品子图，得到包含餐具的菜品子图；

将包含餐具的菜品子图经度量学习模型进行提取特征后，逐一与新菜品库当餐菜图进行特征比对，如识别出各类别对应的菜品则进行结算。

作为本发明的一种优选方案，将包含餐具的菜品子图经度量学习模型进行提取特征后，逐一与新菜品库当餐菜图进行特征比对，如识别不出各类别对应的菜品，则记录并累计各个菜品的出错次数以及出错菜品图片的特征，将这些出错样本的特征进行存储，得到错图特征库，将错图特征库设置为当餐有效，并在用餐结束后自动清除；

判断各个类别菜品的出错次数，若大于预设的出错次数阈值，则将出错类别菜品图片的特征融合到新菜品库中。

作为本发明的一种优选方案，加权融合的计算方法如下，设菜品类别A：

1、当餐菜品库下的菜品类别A，对应菜品图片为：image

2、留样类别菜品的纯菜品区域图特征下的菜品类别A，对应菜品图片为：image

3、求当餐菜品库和留样类别菜品的纯菜品区域图特征下A菜品的特征相似度similarity，由上述1和2得：

4、新菜品库下的菜品类别A，经加权融合得到代表特征为：

Feature

作为本发明的一种优选方案，食堂菜品总库具体由基于transformer网络蒸馏骨干网络，训练一个具有学习和泛化能力的特征提取模型，通过该模型建立食堂菜品库对应的特征检索的食堂菜品大库。

本发明所述的一种基于菜品留样的菜品识别系统，其特征在于，包括：

菜品留样端：

采集留样菜品图片，通过目标检测网络定位留样菜品图片中各个菜品的位置坐标，根据各个菜品的位置坐标语义分割各个菜品子图，得到去除餐具的纯菜品区域图片；

将纯菜品区域图片经度量学习模型进行提取特征后，与食堂菜品总库每个菜品类别逐一比对，根据相似度分数最高值分类，得到各个菜品的对应类别；

根据得到各个菜品的对应类别自动添加到当餐菜谱名单，得到当餐出品的菜谱及每个留样类别菜品的纯菜品区域图并发送至加权融合端；

加权融合端：

接收当餐出品的菜谱和每个留样类别菜品的纯菜品区域图，并从食堂菜品大库中，筛选对应菜品图片信息，得到当餐菜品库，将每个留样类别菜品的纯菜品区域图进行特征提取后，与当餐菜品库的图片进行加权融合得到新菜品库并发送至结算端；

结算端：

采集当前用餐菜品图片，通过目标检测算法，定位当前用餐菜品图片中各个菜品的位置坐标，根据各个菜品的位置坐标切割各个菜品子图，得到包含餐具的菜品子图；

将包含餐具的菜品子图经度量学习模型进行提取特征后，逐一与新菜品库当餐菜图进行特征比对，如识别出各类别对应的菜品则进行结算。

作为本发明的一种优选方案，结算端还对包含餐具的菜品子图经度量学习模型进行提取特征后，逐一与新菜品库当餐菜图进行特征比对，如识别不出各类别对应的菜品，则记录并累计各个类别菜品的出错次数以及出错类别菜品图片的特征，将这些出错样本的特征进行存储，得到错图特征库，将错图特征库设置为当餐有效，并在用餐结束后自动清除；

判断各个菜品的出错次数，若大于预设的出错次数阈值，则将出错类别菜品图片的特征发送至加权融合端与新菜品库进行融合。

作为本发明的一种优选方案，加权融合端的加权融合计算如下，设菜品类别A：

1、当餐菜品库下的菜品类别A，对应菜品图片为：image

2、留样类别菜品的纯菜品区域图特征下的菜品类别A，对应菜品图片为：image

3、求当餐菜品库和留样类别菜品的纯菜品区域图特征下A菜品的特征相似度similarity，由上述1和2得：

4、新菜品库下的菜品类别A，经加权融合得到代表特征为：

Feature

作为本发明的一种优选方案，菜品留样端的食堂菜品总库具体由基于transformer网络蒸馏骨干网络，训练一个具有学习和泛化能力的特征提取模型，通过该模型建立食堂菜品库对应的特征检索的食堂菜品大库。

本发明的有益效果：

菜品留样负责在开餐前获取食堂当餐的出品菜谱，从原本的食堂总库识别精准浓缩到一个范围较小的只用于当餐菜品库识别，有效减少结算侧的识别计算，能够显著提高菜品识别率；另外，由于留样菜品的盛装餐具与客户真实用餐时菜品的餐具存在极大差异，为降低餐具的干扰，提高留样菜品对结算菜品识别精度的贡献，通过根据各个菜品的位置坐标语义分割各个菜品子图，能够有效提高菜品识别精度；此外，在留样完成后会得到当餐菜谱和每个留样类别菜品的纯菜品区域图，由于留样的菜品份量少，且盛装的餐具与客户用餐在结算识别时的菜品餐具差异巨大，通过在留样的时候在菜品定位环节引入语义分割模型，精确提取菜品区域，剔除碗碟等非菜品的干扰，形成每个留样类别菜品的纯菜品区域图，通过当餐菜谱用于从食堂总库中筛选用于结算识别的当餐菜品库，由加权融合机制，将每个留样类别菜品的纯菜品区域图进行特征提取后，与当餐菜品库的图片进行特征加权融合，从而保证结算识别的精度，提高菜品识别率，极大提升用户的使用体验。

在结算时自动记录并累计各个类别菜品的出错次数以及出错类别菜品图片的特征，将这些出错样本的特征进行存储，得到错图特征库，该库当餐有效，用餐结束后自动清理，不影响食堂菜品总库，从而进一步提高结算识别的效率；此外，结算识别时通过判断各个类别菜品的出错次数，若大于预设的出错次数阈值，证明该类菜品的原有菜品特征代表性较弱，导致该类菜品识别率低，此时将出错类别菜品图片的特征与新菜品库进行融合，从而能够提高常错类别菜品的识别精度，进一步提高菜品识别率，很好地提升用户使用体验。

附图说明

图1为本发明一种基于菜品留样的菜品识别方法的流程示意图。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于菜品留样的菜品识别方法，如图1所示，包括：

菜品留样：

S1、获取留样菜品图片，通过目标检测网络定位留样菜品图片中各个菜品的位置坐标，根据各个菜品的位置坐标语义分割各个菜品子图，得到去除餐具的纯菜品区域图片。

菜品留样负责在开餐前获取食堂当餐的出品菜谱，从原本的食堂总库识别精准浓缩到一个范围较小的只用于当餐菜品库识别，有效减少结算侧的识别计算，能够显著提高识别的精度，提高菜品识别率；另外，由于留样菜品的盛装餐具与客户真实用餐时菜品的餐具存在极大差异，为降低餐具的干扰，提高留样菜品对结算菜品识别精度的贡献，通过根据各个菜品的位置坐标语义分割各个菜品子图，从而有效提高菜品识别率。

S2、将纯菜品区域图片经度量学习模型进行提取特征后，与食堂菜品总库每个菜品类别逐一比对，根据相似度分数最高值分类，得到各个菜品的对应类别。

食堂菜品总库可由基于transformer网络蒸馏骨干网络，训练一个具有学习和泛化能力的特征提取模型，通过该模型建立食堂菜品库对应的特征检索的食堂菜品大库，从而能够提高比对的精度，进一步提高菜品的识别的精度和效率。

S3、根据得到各个菜品的对应类别自动添加到当餐菜谱名单，得到当餐出品的菜谱及每个留样类别菜品的纯菜品区域图。

加权融合：

S4、根据当餐出品的菜谱，从食堂菜品大库中，筛选对应菜品图片信息，得到当餐菜品库，将每个留样类别菜品的纯菜品区域图进行特征提取后，与当餐菜品库的图片进行加权融合得到新菜品库。其中，当餐菜品库里的菜品数据临时有效，只作用于当餐，用餐结束后自动清除，且留样的每类菜品只有一张图片作为当餐各菜品的特征代表。

加权融合的计算方法如下，设菜品类别A：

1、当餐菜品库下的菜品类别A，对应菜品图片为：image

2、留样类别菜品的纯菜品区域图特征下的菜品类别A，对应菜品图片为：image

3、求当餐菜品库和留样类别菜品的纯菜品区域图特征下A菜品的特征相似度similarity，由上述1和2得：

4、新菜品库下的菜品类别A，经加权融合得到代表特征为：

Feature

结算：

S5、获取当前用餐菜品图片，通过目标检测算法，定位当前用餐菜品图片中各个菜品的位置坐标，根据各个菜品的位置坐标切割各个菜品子图，得到包含餐具的菜品子图。

S6、将包含餐具的菜品子图经度量学习模型进行提取特征后，逐一与新菜品库当餐菜图进行特征比对，如识别出各类别对应的菜品则进行结算。

如识别不出各类别对应的菜品，则记录并累计各个类别菜品的出错次数以及出错类别菜品图片的特征，将这些出错样本的特征进行存储，得到错图特征库，将错图特征库设置为当餐有效，并在用餐结束后自动清除，不影响食堂菜品总库，从而进一步提高结算识别的效率。

判断各个类别菜品的出错次数，若大于预设的出错次数阈值，则将出错类别菜品图片的特征融合到新菜品库中，证明该类类别菜品的原有菜品特征代表性较弱，导致该类菜品识别率低，此时将出错类别菜品图片的特征与新菜品库进行融合，从而能够提高常错类别菜品的识别精度，进一步提高菜品识别率，很好地提升用户使用体验。

结算菜品识别融合错图特征的方法如下：

假设A类别菜品，在当餐识别过程中，统计其识别出错M次，则留样类别菜品的纯菜品区域图特征下的A类别菜品的特征为：

本发明提供了一种基于菜品留样的菜品识别系统，包括：

菜品留样端：菜品留样端是指具备称重模块、摄像头模块、显示屏模块和不干胶打印模块等设备。可通过人脸识别，或输入身份编号等方式验证登录权限，登录菜品留样端。

通过登录菜品留样端采集留样菜品图片，由目标检测网络定位留样菜品图片中各个菜品的位置坐标，根据各个菜品的位置坐标语义分割各个菜品子图，得到去除餐具的纯菜品区域图片。将纯菜品区域图片经度量学习模型进行提取特征后，与食堂菜品总库每个菜品类别逐一比对，根据相似度分数最高值分类，得到各个菜品的对应类别，食堂菜品总库是基于transformer网络蒸馏骨干网络，训练一个具有学习和泛化能力的特征提取模型，通过该模型建立食堂菜品库对应的特征检索的食堂菜品大库，从而能够提高比对的精度，进一步提高菜品的识别的精度和效率。根据得到各个菜品的对应类别自动添加到当餐菜谱名单，得到当餐出品的菜谱及每个留样类别菜品的纯菜品区域图并发送至加权融合端。

加权融合端指的是后台服务器，后台接收当餐出品的菜谱和每个留样类别菜品的纯菜品区域图，并从食堂菜品大库中，筛选对应菜品图片信息，得到当餐菜品库，将每个留样类别菜品的纯菜品区域图进行特征提取后，与当餐菜品库的图片进行加权融合得到新菜品库并发送至结算端。其中，在后台中设置当餐菜品库里的菜品数据临时有效，只作用于当餐，用餐结束后自动清除，且留样的每类菜品只有一张图片作为当餐各菜品的特征代表。后台对加权融合的计算方法如下，设菜品类别A：

1、当餐菜品库下的菜品类别A，对应菜品图片为：image

2、留样类别菜品的纯菜品区域图特征下的菜品类别A，对应菜品图片为：image

3、求当餐菜品库和留样类别菜品的纯菜品区域图特征下A菜品的特征相似度similarity，由上述1和2得：

4、新菜品库下的菜品类别A，经加权融合得到代表特征为：

Feature

结算端指的是结算台，结算台调用摄像头实时采集菜品图片，当满足菜品动静检测算法要求时，则采集当前用餐菜品图片，通过目标检测算法，定位当前用餐菜品图片中各个菜品的位置坐标，根据各个菜品的位置坐标切割各个菜品子图，得到包含餐具的菜品子图；然后将包含餐具的菜品子图经度量学习模型进行提取特征后，逐一与新菜品库当餐菜品图进行特征比对，如识别出各类别对应的菜品则进行结算。如识别不出各类别对应的菜品，则记录并累计各个类别菜品的出错次数以及出错类别菜品图片的特征，将这些出错样本的特征进行存储，得到错图特征库，将错图特征库设置为当餐有效，并在用餐结束后自动清除；判断各个类别菜品的出错次数，若大于预设的出错次数阈值，则将出错类别菜品图片的特征发送至加权融合端与新菜品库进行融合。结算台对菜品识别融合错图特征的方法如下：假设A类别菜品，在当餐识别过程中，统计其识别出错M次，则留样类别菜品的纯菜品区域图特征下的A类别菜品的特征为：

由于同一个厨师，在不同时间制作相同的一道菜受各自外部影响会存在较大差异，从而导致结算台识别使用的当餐菜品库中某些菜品与食堂当餐真实出品的菜品相似度低，通过在结算时自动记录并累计各个菜品的出错次数以及出错菜品图片的特征，将这些出错样本的特征进行存储，得到错图特征库，该库当餐有效，用餐结束后自动清理，不影响食堂菜品总库，从而进一步提高结算识别的效率；此外，结算识别时通过判断各个菜品的出错次数，若大于预设的出错次数阈值，证明该类菜品的原有菜品特征代表性较弱，导致该类菜品识别率低，此时将出错菜品图片的特征与新菜品库进行融合，从而能够提高常错类别菜品的识别精度，进一步提高菜品识别率，很好地提升用户使用体验。

作为本发明优选的实施方案，在本说明书的描述中，参考术语“优选的”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上实施例仅用来说明本发明的详细方案，本发明并不局限于上述详细方案，即不意味着本发明必须依赖上述详细方案才能实施。所属技术领域的技术人员应该明了，对本发明的任何改进，对本发明产品各原料的等效替换及辅助成分的添加、具体方式的选择等，均落在本发明的保护范围和公开范围之内。